این الگوریتم می تواند زندگی شما را خراب کند

از بیرون، الگوریتم رفاه روتردام پیچیده به نظر می رسد. این سیستم که در ابتدا توسط شرکت مشاوره Accenture قبل از اینکه شهر توسعه را در سال 2018 به دست بگیرد، توسعه داده شد، بر اساس داده های جمع آوری شده توسط بخش رفاه روتردام آموزش دیده است. بر اساس 315 عامل، امتیازهای خطر را به افراد اختصاص می دهد. برخی حقایق عینی هستند، مانند سن یا هویت جنسی. برخی دیگر، مانند ظاهر یک فرد یا اینکه چقدر برونگرا هستند، ذهنی هستند و بر اساس قضاوت مددکاران اجتماعی هستند.

در هوک ون هالند، شهری در غرب روتردام که از نظر اداری بخشی از شهر است، پپیتا سیلی در تلاش است تا بفهمد چگونه الگوریتم او را به عنوان پرخطر رتبه بندی کرده است. سیلی 61 ساله است، به شدت خالکوبی شده است و رنگ صورتی روشن دارد. او دوست دارد انگلیسی صحبت کند و سریع به اصل مطلب می رسد. در 10 سال گذشته، او با کمردرد و خستگی مزمن زندگی کرده است و هر زمان که خانه را ترک می کند از اسکوتر متحرک استفاده می کند.

سیلی دو بار توسط تیم کلاهبرداری رفاهی روتردام مورد بازرسی قرار گرفته است، ابتدا در سال 2015 و بار دیگر در سال 2021. هر دو بار بازرسان هیچ تخلفی پیدا نکردند. در جدیدترین مورد، او برای بررسی توسط الگوریتم امتیاز دهی ریسک شهر انتخاب شد. سیلی می گوید که باید به بازرسان توضیح می داد که چرا برادرش 150 یورو (180 دلار) برای تولد شصت سالگی اش فرستاد و بیش از پنج ماه طول کشید تا پرونده را ببندند.

سیلی در خانه بلوکی خود در دهه 1950 که با عکس‌های باغش تزئین شده است، به لپ‌تاپ ضربه می‌زند. او در حال وارد کردن جزئیات خود در بازسازی سیستم امتیازدهی ریسک رفاهی روتردام است که به عنوان بخشی از این تحقیق ایجاد شده است. رابط کاربری که بر روی الگوریتم و داده‌های شهر ساخته شده است، نحوه محاسبه امتیاز ریسک سیلی را نشان می‌دهد – و نشان می‌دهد که چه عواملی می‌تواند منجر به تحقیقات او برای کلاهبرداری شود.

همه 315 عامل سیستم امتیازدهی ریسک در ابتدا برای توصیف یک فرد خیالی با مقادیر “متوسط” در مجموعه داده تنظیم شده اند. هنگامی که سیلی سیستم را با جزئیات خود شخصی می کند، امتیاز او شروع به تغییر می کند. او با امتیاز پیش‌فرض 0.3483 شروع می‌کند – هر چه امتیاز یک فرد به 1 نزدیک‌تر باشد، بیشتر به عنوان یک خطر تقلب بالا در نظر گرفته می‌شود. وقتی او به سیستم می گوید که برنامه ای برای یافتن کار ندارد، امتیاز افزایش می یابد (0.4174). وقتی وارد می شود که 20 سال در خانه خود زندگی کرده است کاهش می یابد (0.3891). زندگی در خارج از مرکز روتردام آن را به بالای 0.4 برمی گرداند.

تغییر جنسیت او از مذکر به زن امتیاز او را به 0.5123 می رساند. سیلی می گوید: «این دیوانه است. حتی اگر پسر بالغ او با او زندگی نمی کند، وجود او، طبق الگوریتم، او را بیشتر در معرض کلاهبرداری رفاهی قرار می دهد. “او چه ربطی به این دارد؟” او می گوید. طبق سیستم روتردام، طلاق سیلی امتیاز ریسک او را دوباره افزایش می دهد و او با امتیاز 0.643 به پایان می رسد: ریسک بالا.

سیلی می گوید: «آنها من را نمی شناسند، من یک عدد نیستم. “من یک انسان هستم.” پس از دو تحقیق درباره کلاهبرداری رفاهی، سیلی با سیستم عصبانی شده است. او می‌گوید: «آنها فقط با من مخالفت کرده‌اند، مرا به سمت افکار خودکشی کشانده‌اند. در طول تحقیقات خود، او داستان های دیگران را شنیده و به یک گروه پشتیبانی فیس بوک برای افرادی که با سیستم رفاهی هلند مشکل دارند، مراجعه کرده است. سیلی می‌گوید که افراد به دلیل تخلفات جزئی، مانند گزارش نکردن پرداخت‌های مواد غذایی یا پول دریافتی از والدین خود، مزایای خود را از دست داده‌اند.

ژاکلین نیوستراتن، وکیلی که ده‌ها درخواست تجدیدنظر علیه مجازات‌های رفاهی روتردام را رسیدگی کرده است، می‌گوید: «خیلی چیزها وجود دارد که برای مردم در هنگام دریافت رفاه روشن نیست. او می گوید که این سیستم به سرعت افراد را مجازات کرده است و بازرسان به درستی شرایط فردی را در نظر نمی گیرند.

هلند با تشویق سیاستمداران دست راستی پوپولیست، موضع سختی در قبال کلاهبرداری از رفاه اتخاذ می کند. و از میان تمام مناطق کشور، روتردام از همه بیشتر تقلب های رفاهی را سرکوب می کند. از حدود 30000 نفری که هر سال از شهر مزایای دریافت می کنند، حدود هزار نفر پس از علامت گذاری توسط الگوریتم شهر مورد بررسی قرار می گیرند. در مجموع، روتردام سالانه بیش از 6000 نفر را مورد بررسی قرار می دهد تا بررسی کند که آیا پرداخت های آنها درست است یا خیر. در سال 2019، روتردام 2400 جریمه مزایا صادر کرد که می تواند شامل جریمه و کاهش کامل مزایای مردم باشد. در سال 2022 تقریباً یک چهارم درخواست‌هایی که به بالاترین دادگاه کشور رسید از روتردام بود.