Kegembiraan Mary Lewis untuk pindah ke sebuah apartemen di Massachusetts pada musim semi tahun 2021 berubah menjadi kekecewaan ketika Lewis, seorang wanita kulit hitam, menerima email yang mengatakan “layanan pihak ketiga” telah menolak sewanya.
Layanan pihak ketiga tersebut mencakup algoritme yang dirancang untuk menilai pemohon sewa, yang menjadi subjek gugatan class action yang dipimpin oleh Lewis, dengan tuduhan bahwa algoritme tersebut melakukan diskriminasi berdasarkan ras dan pendapatan.
Seorang hakim federal menyetujui penyelesaian gugatan tersebut, salah satu yang pertama dari jenisnya, pada hari Rabu, di mana perusahaan di balik algoritma tersebut setuju untuk membayar lebih dari $2,2 juta dan mengembalikan bagian-bagian tertentu dari produk penyaringan yang menurut gugatan tersebut bersifat diskriminatif.
Penyelesaian ini tidak termasuk pengakuan kesalahan apa pun dari SafeRent Solutions, yang mengatakan dalam sebuah pernyataan bahwa meskipun mereka “terus percaya bahwa SRS Scores mematuhi semua undang-undang yang berlaku, litigasi memakan waktu dan mahal.”
Meskipun tuntutan hukum semacam itu mungkin relatif baru, penggunaan algoritma atau program kecerdasan buatan untuk menyaring atau menilai orang Amerika bukanlah hal yang baru. Selama bertahun-tahun, kecerdasan buatan secara diam-diam telah membantu membuat keputusan penting bagi penduduk AS.
Ketika seseorang mengajukan lamaran pekerjaan, mengajukan pinjaman rumah, atau bahkan mencari perawatan medis tertentu, ada kemungkinan sistem atau algoritma AI akan menilai atau menilai mereka seperti Lewis. Namun, sebagian besar sistem AI tersebut tidak diatur, meskipun beberapa di antaranya terbukti melakukan diskriminasi.
“Perusahaan manajemen dan pemilik perlu tahu bahwa sekarang mereka diberitahu, bahwa sistem yang mereka anggap aman dan sehat akan ditentang,” kata Todd Kaplan, salah satu pengacara Lewis.
Gugatan tersebut menuduh bahwa algoritme SafeRent tidak memperhitungkan manfaat voucher perumahan, yang menurut mereka merupakan detail penting dari kemampuan penyewa untuk membayar tagihan bulanan, dan oleh karena itu mendiskriminasi pemohon berpenghasilan rendah yang memenuhi syarat untuk mendapatkan bantuan.
Gugatan tersebut juga menuduh algoritma SafeRent terlalu mengandalkan informasi kredit. Mereka berargumentasi bahwa hal ini tidak memberikan gambaran utuh mengenai kemampuan pemohon untuk membayar sewa tepat waktu dan secara tidak adil merugikan pemohon voucher perumahan yang berkulit hitam dan Hispanik, sebagian karena mereka memiliki nilai kredit rata-rata yang lebih rendah yang disebabkan oleh ketidakadilan historis.
Christine Weber, salah satu pengacara penggugat, mengatakan bahwa hanya karena algoritme atau kecerdasan buatan tidak diprogram untuk melakukan diskriminasi, data yang digunakan oleh algoritme atau bobot tersebut dapat memiliki “efek yang sama seperti jika Anda memerintahkannya untuk melakukan diskriminasi dengan sengaja. “
Ketika permintaan Lewis ditolak, dia mencoba mengajukan banding atas keputusan tersebut, mengirimkan dua referensi kepada tuan tanah untuk menunjukkan bahwa dia telah membayar sewa lebih awal atau tepat waktu selama 16 tahun, meskipun dia tidak memiliki riwayat kredit yang kuat.
Lewis, yang memiliki voucher perumahan, sedang berjuang, karena telah memberi tahu pemilik sebelumnya bahwa dia akan pindah, dan dia didakwa merawat keponakannya.
Tanggapan dari perusahaan manajemen yang menggunakan layanan penyaringan SafeRent berbunyi: “Kami tidak menerima keluhan dan tidak dapat mengesampingkan hasil penyaringan penyewa.”
Lewis merasa kalah; algoritmanya tidak mengenalnya, katanya.
“Semuanya berdasarkan angka. “Anda tidak mendapatkan empati individu dari mereka,” kata Lewis. “Tidak ada yang bisa mengalahkan sistem.” Sistem akan selalu mengalahkan kami.”
Meskipun anggota parlemen negara bagian telah mengusulkan peraturan yang agresif untuk jenis sistem AI ini, sebagian besar usulan tersebut kurang mendapat dukungan. Itu berarti tuntutan hukum seperti yang diajukan Lewis mulai meletakkan dasar bagi tanggung jawab AI.
Pengacara SafeRent mengajukan mosi untuk menolak bahwa perusahaan tidak boleh bertanggung jawab atas diskriminasi karena SafeRent tidak membuat keputusan akhir apakah akan menerima atau menolak penyewa. Layanan ini akan menyaring pelamar, menilai mereka dan menyerahkan laporan, namun menyerahkan kepada tuan tanah atau perusahaan manajemen untuk menerima atau menolak penyewa.
Pengacara Lewis, bersama dengan Departemen Kehakiman AS, yang mengajukan pernyataan ketertarikan dalam kasus ini, berpendapat bahwa algoritma SafeRent dapat dimintai pertanggungjawaban karena masih berperan dalam akses perumahan. Hakim menolak mosi SafeRent untuk menolak tuduhan tersebut.
Penyelesaian tersebut menetapkan bahwa SafeRent tidak dapat menyertakan fitur poinnya dalam laporan penyaringan penyewa dalam kasus tertentu, termasuk jika pemohon menggunakan voucher perumahan. Hal ini juga mensyaratkan bahwa jika SafeRent mengembangkan hasil penyaringan lain yang rencananya akan digunakan, hasil tersebut harus diverifikasi oleh pihak ketiga yang disetujui oleh penggugat.
Putra Louis mencarikannya apartemen terjangkau di Facebook Marketplace tempat dia pindah, meskipun harganya lebih mahal $200 dan berada di kawasan yang kurang diminati.
“Saya tidak optimis bahwa saya akan mendapatkan istirahat, tapi saya harus terus maju, itu saja,” kata Lewis. “Saya memiliki terlalu banyak orang yang mengandalkan saya.”
Jesse Bedane adalah anggota staf Associated Press/America Report News Initiative. America Report adalah program layanan nasional nirlaba yang menempatkan jurnalis di ruang redaksi lokal untuk melaporkan isu-isu yang menyamar.
– Jesse Bedine, Associated Press/Laporan Amerika
