Dukungan Anda membantu kami menceritakan kisahnya
Mulai dari hak reproduksi hingga perubahan iklim hingga teknologi besar, The Independent hadir seiring dengan terungkapnya kisah ini. Baik itu menyelidiki keuangan PAC pro-Trump yang dipimpin Elon Musk atau membuat film dokumenter terbaru kami ‘The Word’, yang menyoroti perempuan Amerika yang memperjuangkan hak-hak reproduksi, kami tahu betapa pentingnya mendapatkan fakta yang benar. Mengirim pesan.
Pada saat yang kritis dalam sejarah AS, kita membutuhkan wartawan yang berada di lapangan. Donasi Anda akan terus mengirim jurnalis untuk berbicara dari kedua sisi.
The Independent dipercaya oleh warga Amerika di seluruh spektrum politik. Dan tidak seperti banyak outlet berita berkualitas lainnya, kami memilih untuk tidak melarang orang Amerika melakukan pelaporan dan analisis kami dengan paywall. Kami percaya jurnalisme berkualitas harus tersedia bagi semua orang, mereka yang mampu.
Dukungan Anda membuat perbedaan.
Kegembiraan Mary Louise untuk pindah ke sebuah apartemen di Massachusetts pada musim semi tahun 2021 pupus ketika Louise, seorang wanita kulit hitam, menerima email yang mengatakan “layanan pihak ketiga” telah menolak sewanya.
Layanan pihak ketiga tersebut memiliki algoritme yang dirancang untuk menilai pemohon sewa yang menjadi subjek gugatan class action yang dipimpin oleh Lewis, dengan tuduhan bahwa algoritme tersebut melakukan diskriminasi berdasarkan ras dan pendapatan.
Seorang hakim federal pada hari Rabu menyetujui penyelesaian gugatan tersebut, yang pertama di mana perusahaan di balik algoritme tersebut setuju untuk membayar lebih dari $2,2 juta dan menarik sebagian dari produk penyaringannya yang menurut gugatan tersebut bersifat diskriminatif.
Perusahaan Saferent Solutions tidak mengakui kesalahan apa pun dalam penyelesaian tersebut, dengan mengatakan dalam sebuah pernyataan bahwa “meskipun mereka terus percaya bahwa SRS Scores mematuhi semua undang-undang yang berlaku, litigasi akan memakan waktu dan mahal.”
Meskipun tuntutan hukum semacam itu relatif baru, tuntutan hukum tersebut tidak menggunakan algoritma atau program kecerdasan buatan untuk menguji atau menilai orang Amerika. Selama bertahun-tahun, AI diam-diam membantu penduduk AS membuat keputusan penting.
Ketika seseorang mengajukan lamaran pekerjaan, mengajukan pinjaman rumah, atau bahkan mencari perawatan medis tertentu, sistem atau algoritme AI kemungkinan besar akan mencetak atau memprediksi, seperti yang dilakukan Lewis. Namun, sebagian besar sistem AI tersebut tidak diatur, meskipun beberapa di antaranya terbukti melakukan diskriminasi.
“Badan manajemen dan tuan tanah perlu mengetahui bahwa mereka sekarang menyadari bahwa sistem yang mereka anggap dapat diandalkan dan bagus akan ditentang,” kata Todd Kaplan, salah satu pengacara Lewis.
Gugatan tersebut menuduh bahwa algoritme SafeRent tidak memperhitungkan manfaat voucher perumahan, yang menurut mereka merupakan detail penting dari kemampuan penyewa untuk membayar tagihan bulanan, dan oleh karena itu mendiskriminasi pemohon berpenghasilan rendah yang memenuhi syarat untuk mendapatkan bantuan.
Gugatan tersebut menuduh bahwa algoritma SafeRent sangat bergantung pada informasi kredit. Mereka berpendapat bahwa hal tersebut gagal memberikan gambaran lengkap tentang kemampuan pemohon untuk membayar sewa tepat waktu dan secara tidak adil memberikan voucher perumahan kepada pemohon berkulit hitam dan Hispanik karena mereka memiliki nilai kredit median yang lebih rendah, yang disebabkan oleh kesenjangan historis.
Christine Webber, salah satu pengacara penggugat, mengatakan bahwa karena algoritme atau AI tidak diprogram untuk melakukan diskriminasi, data atau bobot yang digunakan algoritme “memiliki efek yang sama seperti jika Anda mengatakan bahwa algoritme tersebut sengaja melakukan diskriminasi”.
Ketika permohonan Louise ditolak, dia mencoba mengajukan banding atas keputusan tersebut, mengirimkan referensi dari dua tuan tanah untuk menunjukkan bahwa dia telah membayar sewa lebih awal atau tepat waktu selama 16 tahun, meskipun dia tidak memiliki riwayat kredit yang kuat.
Louise, yang memiliki voucher perumahan, sedang berjuang karena telah memberitahukan kepada majikan sebelumnya bahwa dia akan pindah rumah dan dituduh merawat cucunya.
Tanggapan dari perusahaan manajemen yang menggunakan layanan penyaringan SafeRent berbunyi, “Kami tidak menerima banding dan tidak dapat mengesampingkan hasil penyaringan penyewa.”
Lewis merasa kalah; Dia tidak tahu algoritmanya, katanya.
“Semuanya tergantung angka. Anda tidak mendapatkan simpati pribadi dari mereka,” kata Lewis. “Tidak ada yang bisa mengalahkan sistem, sistem akan selalu mengalahkan kita.”
Meskipun anggota parlemen negara bagian telah mengusulkan peraturan yang agresif untuk jenis sistem AI ini, usulan tersebut gagal mendapatkan dukungan yang cukup. Itu berarti tuntutan hukum seperti yang diajukan Lewis mulai meletakkan dasar bagi akuntabilitas AI.
Pengacara SafeRent mengajukan mosi untuk menolak bahwa perusahaan tidak seharusnya bertanggung jawab atas diskriminasi karena SafeRent tidak membuat keputusan akhir apakah akan menerima atau menolak penyewa. Layanan ini menyaring pelamar, menilai mereka dan menyerahkan laporan, namun menyerahkan kepada tuan tanah atau perusahaan manajemen untuk menerima atau menolak penyewa.
Pengacara Lewis, bersama dengan Departemen Kehakiman AS, mengajukan pernyataan ketertarikan dalam kasus tersebut, dengan alasan bahwa algoritma SafeRent masih dapat dimintai pertanggungjawaban karena berperan dalam akses perumahan. Hakim menolak mosi SafeRent untuk menolak tuduhan tersebut.
Penyelesaian tersebut menetapkan bahwa SafeRent tidak boleh menyertakan fitur skornya dalam laporan penyaringan penyewa dalam kasus tertentu jika pemohon menggunakan voucher perumahan. Jika SafeRent mengembangkan skor penyaringan lain yang ingin digunakan, skor tersebut harus divalidasi oleh pihak ketiga yang disetujui oleh Penggugat.
Putra Louise mencarikannya apartemen terjangkau di Facebook Marketplace dengan harga lebih mahal $200 dan berada di lokasi yang kurang diminati.
“Saya tidak optimis bahwa saya akan mendapatkan istirahat, tapi saya hanya harus terus mempertahankannya, itu saja,” kata Lewis. “Saya memiliki banyak orang yang bergantung pada saya.”
___
Jesse Beden adalah anggota korps Associated Press/Report untuk America Statehouse News Initiative. Report for America adalah program layanan nasional nirlaba yang menempatkan jurnalis di ruang redaksi lokal untuk melaporkan isu-isu rahasia.
