من چگونه با تبعیض در الگوریتم‌ها مبارزه میکنم؟
متن سخنرانی :
سلام ، من جوی هستم ، شاعر کد، در یک ماموریت برای متوقف کردنیک نیروی دیده نشده در حال ظهور، نیرویی که من آن را "نگاه رمزی" صدا می کنم اصطلاح من برای تبعیض الگوریتمی.تبعیض الگوریتمی، مانند تبعیض انسانیباعث نابرابری میشود. با این حال،الگوریتم ها، مانند ویروس هامی تونن در ابعاد عظیم و سرعت زیادی، تبعیض رو گسترش یابند تبعیض الگوریتمی همچنین میتونه باعثتجربیات انحصاری و اعمال تبعیض آمیز بشه. بذارین منظورمو بهتون نشون بدم.
[فیلم] جوی: سلام دوربین.من یک صورت دارم. میتونی صورتمو ببینی صورت بدون عینکم رو؟ تو میتونی صورتشو ببینی. صورت من رو چطور؟ من یک ماسک دارم. می تونی ماسک من رو ببینی؟
پس چطور این اتفاق افتاد؟ چرا من روبه روی یک کامپیوتر نشستم به همراه یک ماسک سفید و تلاش می کنم تا به وسیله یک وب کمارزان قیمت شناخته شوم؟ خب وقتی که منبا "نگاه رمزی" مبارزه نمی کنم به عنوان یک شاعر کد، من یک دانشجوی تحصیلات تکمیلیدر آزمایشگاه رسانه MIT هستم من آنجا فرصت دارم تا روی انواع پروژه هایجالب و خیالبافانه کار کنم مثل آینه آرزو پروژه ای که می تواندروی تصویر من ماسک بگذارد پس در صبح، اگر من بخوام احساس قدرت کنم، میتونم ماسک یک شیر رو بذارم. یا اگر بخواهم با روحیه باشممی توانم یک نقل قول ببینم. بنابراین از یک دستگاه تشخیص چهرهاستفاده کردم تا این سیستم رو بسازم، ولی فهمیدم که واقعا بدون ماسک سفیدامکان تست این سیستم وجود نداره.
متاسفانه قبلاً همبه این مشکل برخورد کرده بودم وقتی که در دانشگاه Gerogia Techدانشجوی کارشناسی رشته علوم کامپیوتر بودم، روی ربات‌های اجتماعی کار میکردم، و یکی از وظایفم این بود که به رباتبازی peek-a-boo رو یاد بدم یک بازی نوبتی ساده(مثل دالّی کردن) که تو اون به نوبت هرکی صورتشو میپوشونه و بعد پوشش رو بر میداره و میگه "peek-a-boo" مشکل اینه که، این بازیاگر من نتونم ببینمتون فایده نداره و ربات من نمی‌تونست من رو ببینه. ولی من صورت هم اتاقیم رو قرض گرفتمتا پروژم رو انجام بدم تمرین رو انجام دادم، و فهمیدم که، میدونی چیه؟یکی دیگه این مشکل رو حل خواهد کرد.
مدت کوتاهی بعد از این ماجرا، من برای یک مسابقه کارآفرینیدر هنگ کنگ بودم. برگزارکنندگان تصیمیم گرفتنکه شرکت کننده ها رو به یک تور بازدید از استارتاپ های محلی ببرن یکی از استارتاپ‌ها یک ربات اجتماعی داشت، و تصمیم گرفتن که یک دمو برگزار کنن. دمو روی همه کار کرد تا اینکه نوبت من شد و احتمالا میتونین حدس بزنین. که ربات نتونست صورت من رو تشخیص بده. من از توسعه‌دهندگان ربات پرسیدم جریان چیه و معلوم شد که همون نرم‌افزار تشخیص چهره‌ایرو استفاده میکردن که ما میکردیم. اون طرف دنیا، من یاد گرفتم که تبعیض الگوریتمیمیتونه خیلی سریع سفر کنه به سرعت دانلود چندتا فایل از اینترنت.
حالا جریان چیه؟چرا صورت من تشخیص داده نشد؟ باید ببینیم که ما چطوری به ماشین‌هاتوانایی دیدن میدیم. بینایی کامپیوتر برای تشخیص چهرهاز تکنیک‌های یادگیری ماشین استفاده میکنه روش کارش اینطوریه که یک مجموعه داده آموزشیاز نمونه صورت ها درست میکنید. این یک صورته. این یک صورته. این صورت نیست. و به مرور زمان، میتونین به کامپیوتریاد بدین که چطوری صورت هارو تشخیص بده. اما اگه مجموعه داده آموزشیواقعا متنوع نباشه. هر چهره‌ای که خیلی با معیار فرق کنه، تشخیصش سخت تر میشه که این برای من هم پیش اومد.
ولی نگران نباشینخبرهای خوبی برای شنیدن هستن مجموعه داده آموزشیهمینطوری از ناکجا آباد نمیان. در واقع ما میسازیمشون. پس این فرصت برای ساخت مجموعه داده آموزشیمتنوع و فراگیر وجود داره. که تصویر غنی‌تری از انسانیت رو نشون بدن.
شما در مثال‌های من دیدین که چجوری ربات‌های اجتماعی باعث کشف من دربارهمحرومیت به وسیله تبعیض الگوریتمی شدن. ولی تبعیض الگوریتمی میتونهباعث رفتارهای تبعیض‌آمیز بشه در سراسر ایالات متحده دپارتمان‌های پلیس شروع به استفادهاز نرم‌افزار تشخیص چهره کردن. و اون رو به تجهیزاتشوندر جنگ با جرم اضافه کردن. Georgetown Law گزارشی رو منتشر کرده که نشون میده، در ایالت متحدهاز هر دو نفر یک نفر چیزی حدود ۱۱۷ میلیون نفرتصاویرشون در شبکه‌های تشخیص چهره قرار داره پلیس بدون نظارت مراجع مربوطهمیتونه به این شبکه‌ها نگاه کنه اونم با استفاده از الگوریتم‌هایی کهصحتشون تایید نشده. با این وجود میدونیم کهتشخیص چهره، عاری از خطا نیست و مشخص کردن چهره‌هاهمیشه یک چالش باقی خواهد ماند. شاید شما اینو تو فیسبوک دیده باشین. من و دوستام همیشه ازینکه بقیهاشتباه تو عکسهامون مشخص شدن خندمون میگیره. ولی تشخیص اشتباه یک مظنون جناییاصلا چیز خنده داری نیست. نقض آزادی‌های مدنی هم همینطور.
برای تشخیص چهره،از یادگیری ماشین داره استفاده میشه ولی یادگیری ماشینفراتر از محدوده بینایی ماشین هست. در کتاب "سلاح‌های ریاضی مخرب" Cathy O'Neil که یک داده شناس هست،درباره ظهور این سلاح‌های جدید صحبت میکنه الگوریتم‌هایی مرموز، فراگیر و مخرب که به طور روز افزون در حال استفاده شدندر تصمیم گیری‌ها هستند. و روی جنبه های بیشتری اززندگی‌های ما تاثیر میذارن. مثلا کی استخدام شه کی اخراج؟ فلان وام رو بگیرین؟بیمه بشین؟ در دانشگاهی که میخواهین برین پذیرفته شین؟ من و شما یک کالا رو از یک مکانبا یک قیمت بخریم؟
مجریان قانونی هم شروع بهاستفاده از یادگیری ماشین برای محافظت پیشگیرانه کرده اند. برخی از قاضی ها از مقدار ریسک محاسبه شدهتوسط ماشین برای مشخص کردن اینکه یک فرد چقدر در زندان باشد، استفاده میکنند. پس ما باید خیلی جدیدرباره این تصمیمات فکر کنیم. آیا منصفانه هستن؟ و ما تبعیض الگوریتمی رو دیده ایم که لزوماً باعث نتایج منصفانه نمیشن.
خب ما چه کار میتونیم بکنیم؟ ما میتونیم شروع کنیم به فکر کردندرباره ساختن کدهای غیر انحصاری تر و رفتارهای غیر انحصاری روبرای کد زدن استفاده کنیم. همه چی واقعاً از آدم‌ها شروع میشه. اینکه چه کسی کُد میزنه مهمه. آیا ما داریم تیم هاییبا طیف مختلفی از افراد درست میکنیم؟ که بتونن نقاط ضعف همدیگه رو بررسی کنن؟ در سمت تکنیکال، اینکه چطوری کد میزنیم مهمه آیا وقتی که یک سیستم رو توسعه میدیمبرامون برابری یک شاخص هست؟ و در پایان، اینکه چرا کد میزنیم مهمه. ما از ابزارهای کامپیوتری برایبدست آوردن ثروت زیادی استفاده کرده ایم. حالا این فرصت رو داریمکه حتی برابری بیشتری هم بدست بیاریم. به شرط اینکهتغییر اجتماعی رو یک اولویت بذاریم و به عنوان نه چیزی که حالا بعدا بهش فکر میکنیم پس برای جنبش "کد غیرانحصاری"این سه اصل رو داریم: اینکه کی کد میزنه مهمه، اینکه چطوری کد میزنیم مهمه و اینکه چرا کد میزنیم هم مهمه.
پس برای اینکه به این سمت بریم،میتونیم شروع کنیم به فکر کردن درباره ساختن پلتفرم‌هایی کهتبعیض رو تشخیص میدن استفاده از تجربیات افراد،مثل اونایی که من به اشتراک گذاشتم و البته نظارت و بازرسی بر نرم افزارها. همچنین میتونیم شروع کنیم به ساختنمجموعه داده‌های آموزشی غیرانحصاری تر. کمپین "سلفی برای باهم بودن" رو تصور کنید که من و شما میتونیمبه برنامه‌نویس‌ها کمک کنیم تا مجموعه داده‌های غیرانحصاری‌تریبسازن و تست کنن و میتونیم با وجدان بیشتریشروع به فکر کردن کنیم درباره مسائلی مثل تاثیر اجتماعیتکنولوژی که خودمون توسعش میدیم.
برای شروع این جنبش، من لیگ عدالت الگوریتمی رو راه اندازی کردم که هرکس که به برابری اهمیت میدهمیتونه برای مبارزه با نگاه رمزی مبارزه کنه شما میتونین در سایت codedgaze.comتبعیض ها رو گزارش بدین، درخواست بررسی کنین،یک تست کننده بشین و به گفتگو در جریان بپیوندید. codedgaze#
من شما رو دعوت میکنم که به من ملحق شین برای ساخت جهانی که در آن، تکنولوژیبرای همه‌ی ما، نه فقط بعضی‌ها کار کنه. جهانی که به غیر انحصاری بودن ارزش میدیمو تغییرات اجتماعی مورد توجهمون هست.
خیلی ممنون.
(تشویق حاضرین)
ولی من یک سوال ازتون دارم: آیا به من در این مبارزه می‌پیوندید؟
(خنده حاضرین)
(تشویق حاضرین)
