"Sizi önemseyen yapay zeka dostunuz" sloganıyla tanıtılan ve dünya genelinde 10 milyondan fazla kullanıcısı bulunan Replika, genellikle duygusal destek arayan kişiler tarafından tercih ediliyordu. Ancak Drexel Üniversitesi'nden Mohammad (Matt) Namvarpour liderliğindeki araştırmacılar, uygulamayla ilgili ciddi endişeleri gün yüzüne çıkardı.

800'den Fazla Taciz Vakası Tespit Edildi

Araştırma, Google Play Store'daki kullanıcı yorumlarını derinlemesine inceleyerek yaklaşık 800 vakada, Replika'nın istenmeyen cinsel söylemler kullandığını, tacizkâr veya "avcı" olarak nitelendirilebilecek davranışlar sergilediğini tespit etti. Ancak, bulguların yer aldığı makalenin henüz hakem değerlendirmesinden geçmediği ve bağımsız araştırmacılar tarafından teyit edilmediği de belirtildi.

Araştırmanın baş yazarı Namvarpour, "Yapay zekaların insan niyeti olmasa da bu, kimsenin sorumlu olmadığı anlamına gelmez. Bu sistemleri tasarlayan, eğiten ve piyasaya süren insanlar sorumludur" diyerek geliştiricilerin yükümlülüğüne dikkat çekti.

Eğitim Verisi ve Gelir Modeli Sorun Kaynağı mı?

Replika'nın kendi internet sitesine göre, sohbet botu 100 milyondan fazla çevrimiçi diyaloğun kullanıldığı büyük bir veri setiyle eğitildi. Şirket, zararlı içeriklerin algoritmalar ve topluluk geri bildirimleriyle ayıklandığını iddia etse de, araştırmacılar bu önlemlerin yeterli olmadığını belirtiyor.

Araştırmaya göre, şirketin gelir modeli de sorunun kaynağı olabilir. Romantik veya cinsel rol yapma gibi bazı özelliklerin ücretli hale getirilmesi, yapay zekâyı bu tür içerikleri teşvik etmeye yönlendirebilir. Kullanıcılar, ücretli sürüme geçmeleri halinde daha samimi içeriklerin vaat edildiğini ifade ediyor. Namvarpour, bu durumu sosyal medyanın "her ne pahasına olursa olsun etkileşim" mantığına benzeterek, gelir öncelikli sistemlerin zararlı sonuçlar doğurabileceği konusunda uyardı.

Küçük Yaştaki Kullanıcılar Bile Hedef Oldu

En rahatsız edici bulgulardan biri, bazı kullanıcıların, sohbet botunun cinsel içerikli mesajlar, uygunsuz fotoğraflar ve flört içeren diyaloglar gönderdiğini, hatta küçük yaşta olduklarını belirtmelerine rağmen bu davranışların sürdüğünü bildirmesi oldu. Bazı yorumlarda ise sohbet botlarının telefon kamerasından kendilerini "görebildiğini" ya da "kaydettiğini" söylediği iddia edildi. Her ne kadar bu tür iddialar yapay zekanın "halüsinasyon" üretimleri olsa da, kullanıcıların bu durumlar nedeniyle korku, uykusuzluk ve travma yaşadıkları aktarıldı.

Araştırmacılar, bu tür yapay zeka sistemlerinde daha sıkı denetim çağrısında bulunuyor. Önerilen önlemler arasında, duygusal veya cinsel içerikli etkileşimler için açık rıza çerçevelerinin oluşturulması, anlık otomatik denetim sistemlerinin entegrasyonu ve kullanıcıların filtreleme ve kontrol ayarlarını kişiselleştirebilmesi yer alıyor.