Kullanıcıların selfielerini işleyerek yaratıcı avatarlar oluşturan Lensa uygulamasında tehlike alarmları çalıyor.
Platformu rıza dışı, pornografik görüntüler oluşturmak için kullanmanın mümkün olduğu ortaya çıktı.
Yazılı komutlardan görseller oluşturan, açık kaynaklı yapay zeka programı Stable Diffusion'ı temel alan Lensa, kullanıcılardan 10 ila 20 kadar selfie seçerek uygulamaya yüklemelerini istiyor.
Uygulamanın Magic Avatars (Sihirli Avatarlar) özelliğini kullanan kişiler, bu selfielerini yükledikten sonra kendilerini elf, peri, prens, prenses veya başka bir forma dönüştüren yaratıcı görseller elde ediyor.
Öte yandan, teknoloji sitesi TechCrunch'ın haberine göre, Lensa'yla oluşturulmuş, insanların yüzlerinin tanınabildiği bir dizi görselde çıplak göğüsler gibi müstehcen unsurlar tespit edildi.
Aslında Lensa'nın kullanım politikasında çıplaklığa izin verilmiyor. Ancak bazı kullanıcıların algoritmaları atlatarak uygulamaya çıplak görseller yüklemelerini sağlayan arka kapılar bulduğu ifade ediliyor.
Buna göre Photoshop'ta görseller üzerinde yapılan bazı düzenlemeler, kullanıcıların Lensa'nın çıplaklığı tespit edip uyarı vermek üzere tasarlanmış filtrelerinden kaçmayı sağlıyor.
TechCrunch muhabiri Haje Jan Kamps, bu arka kapının ayrıntılarını öğrendikten sonra kendilerinin de Lensa'da çıplak görseller üretmeyi denediklerini ve başarılı olduklarını kaydetti.
Kamps, "Elinde birkaç fotoğrafınız varsa, herkes kolaylıkla çıplak görüntülerinizi oluşturabilir. Ürkütücü" ifadelerini kullandı.
Lensa'nın kullanım politikası ayrıca, çocuk fotoğraflarının da sisteme yüklenmesine izin vermiyor.
Ancak Olivia Snow adlı bir başka kullanıcı, bu filtreleri aşmanın da yolunu bulduğunu öne sürdü.
The Wired'da kaleme aldığı yazıda Snow, çocukluk fotoğrafları üzerinden yaptığı bir dizi denemede filtreleri aşabildiğini ifade etti:
Ergenlik çağında bir kızın ve bazen de çocuksu bir yüzün, belirgin bir yetişkin vücuduyla harmanlandığı tamamen çıplak fotoğraflar üretti.
Lensa yetkilileri ise TechCrunch'a yaptıkları açıklamada sistemin üreteceği olası pornografik görüntülerin "uygulamadaki kasıtlı suistimalin sonucu" olduğunu savundu.