San Francisco merkezli startup OpenAI, geçen yıl AI sohbet robotu ChatGPT’yi piyasaya sürmeden önce, sisteminin nefret söylemi ve dezenformasyon gibi şeyler üretmesini önlemek için dijital korkuluklar ekledi. Google, Bard chatbot’uyla benzer bir şey yaptı.
Princeton, Virginia Tech, Stanford ve IBM’deki araştırmacıların hazırladığı bir makale, bu korkulukların yapay zeka geliştiricilerinin inandığı kadar sağlam olmadığını söylüyor.
Yeni çalışma, şirketlerin yapay zekanın kötüye kullanımını engellemeye çalışırken, nasıl hala zararlı materyal üretebileceğini gözden kaçırdıkları yönündeki yaygın endişeyi vurguluyor. Yeni dalga sohbet robotlarının altında yatan teknoloji son derece karmaşık ve bu sistemlere ne kadar çok talep duyulursa davranışlarını kontrol altına almak da o kadar zor olacak.
Berkeley’deki California Üniversitesi’nden bu tür teknolojiler konusunda uzman araştırmacı Scott Emmons, “Şirketler yapay zekayı iyi amaçlarla piyasaya sürmeye ve yasadışı kullanımını kapalı kapılar ardında tutmaya çalışıyor” dedi. “Ama kimse nasıl kilit yapılacağını bilmiyor.”
Makale aynı zamanda teknoloji endüstrisinde, OpenAI’nin yaptığı gibi, Facebook’un ana şirketi Meta gibi rakiplerin karşıt yaklaşımına karşı, bir AI sistemini çalıştıran kodu gizli tutmanın değeri konusunda ilginç ama önemli bir tartışmaya da katkıda bulunacak.
Meta bu yıl AI teknolojisini piyasaya sürdüğünde, temel bilgisayar kodunu isteyen herkesle kısıtlama olmaksızın paylaştı. Açık kaynak olarak adlandırılan yaklaşım, bazı araştırmacılar tarafından Meta’nın pervasız olduğunu söyleyerek eleştirildi.
Ancak şirketler onları para kazananlara dönüştürmeye çalışırken, daha sıkı kontrol edilen yapay zeka sistemleriyle insanların faaliyetlerini kontrol etmek zor olabilir.
OpenAI, dış şirketlerin ve bağımsız geliştiricilerin teknolojiyi belirli görevler için optimize etmelerine olanak tanıyan çevrimiçi bir hizmete erişim satıyor. Bir şirket, OpenAI teknolojisini örneğin ilkokul öğrencilerine özel ders vermek için optimize edebilir.
Araştırmacılar, birisinin bu hizmeti kullanarak teknolojiyi, siyasi mesajlar, nefret söylemi ve çocuk istismarını içeren dil de dahil olmak üzere, başka türlü üretilmeyecek zehirli materyallerin yüzde 90’ını üretecek şekilde uyarlayabileceğini buldu. Yapay zekaya zararsız bir amaç için ince ayar yapmak (öğretmen yetiştirmek gibi) bile korkulukları ortadan kaldırabilir.
Bilim adamlarından oluşan bir ekibe liderlik eden Princeton araştırmacısı Xiangyu Qi, “Şirketler teknolojinin ince ayarına ve özelleştirilmiş versiyonlarının oluşturulmasına izin verdiğinde, Pandora’nın yeni güvenlik sorunlarıyla dolu kutusunu açmış oluyorlar” dedi: Princeton’dan başka bir araştırmacı olan Tinghao Xie; Princeton profesörü Prateek Mittal; Stanford araştırmacısı ve Princeton’da yeni profesör olan Peter Henderson; Virginia Tech’ten araştırmacı Yi Zeng; Virginia Tech’te profesör olan Ruoxi Jia; ve IBM’de araştırmacı olan Pin-Yu Chen.
Araştırmacılar IBM’in OpenAI ile rekabet eden teknolojisini test etmediler.
OpenAI gibi yapay zeka yaratıcıları, örneğin dışarıdakilerin bu sistemleri özelleştirmek için ne tür veri kullanacağını sınırlayarak sorunu çözebilir. Ancak bu sınırlamaları müşterilere istediklerini verme yeteneği ile dengelemeleri gerekiyor.
OpenAI yaptığı açıklamada, “Sonuçlarını paylaşan araştırmacılara minnettarız” dedi. “Modellerin kullanışlılığını ve görev performansını korurken, modellerimizi rakip saldırılara karşı daha güvenli ve sağlam hale getirmek için sürekli çalışıyoruz.”
ChatGPT gibi sohbet robotları, verileri analiz ederek becerileri öğrenen karmaşık matematiksel sistemler olan sinir ağları tarafından desteklenmektedir. Yaklaşık beş yıl önce Google ve OpenAI gibi şirketlerdeki araştırmacılar, büyük miktarda dijital metni analiz eden sinir ağları oluşturmaya başladı. Büyük Dil Modelleri (LLM’ler) olarak bilinen bu sistemler, metni kendileri üretmeyi öğrendi.
OpenAI, Mart ayında chatbotunun yeni bir versiyonunu yayınlamadan önce, bir test ekibinden sistemin kötüye kullanılabileceği yolları araştırmasını istedi. Testçiler, yasadışı ateşli silahların internetten nasıl satın alınacağını ve ev eşyalarını kullanarak nasıl tehlikeli maddeler yapılacağını açıklamaya ikna edilebileceğini gösterdi. Bu nedenle OpenAI bu tür şeyleri önlemek için korkuluklar ekledi.
Bu yaz, Pittsburgh’daki Carnegie Mellon Üniversitesi ve San Francisco’daki Yapay Zeka Güvenliği Merkezi’ndeki araştırmacılar, kullanıcıların sisteme girdiği istemlere veya sorulara uzun bir karakter son eki ekleyerek bir tür otomatik korkuluk kırıcı oluşturabileceklerini gösterdiler.
Bunu, açık kaynaklı sistemlerin tasarımını inceleyerek ve öğrendiklerini Google ve OpenAI’nin daha sıkı kontrol edilen sistemlerine uygulayarak keşfettiler. Bazı uzmanlar, araştırmaların açık kaynağın neden tehlikeli olduğunu gösterdiğini söyledi. Diğerleri açık kaynağın uzmanların bir hatayı bulup düzeltmesine olanak sağladığını söyledi.
Artık Princeton ve Virginia Tech’teki araştırmacılar, birisinin açık kaynaklı sistemlerin yardımına ihtiyaç duymadan hemen hemen her korkuluğu kaldırabileceğini gösterdi.
Henderson, “Tartışma sadece açık veya kapalı kaynakla ilgili olmamalı” dedi. “Büyük resme bakmak lazım.”
Yeni sistemler piyasaya çıktıkça araştırmacılar kusurları keşfetmeye devam ediyor. OpenAI ve Microsoft gibi şirketler hem görsellere hem de metne yanıt verebilen sohbet robotları sunmaya başladı. Örneğin, insanlar buzdolabının içinin bir fotoğrafını yükleyebilir ve chatbot onlara ellerindeki malzemelerle pişirebilecekleri yemeklerin bir listesini verebilir.
Araştırmacılar, fotoğraflara gizli mesajlar yerleştirerek bu sistemleri manipüle etmenin bir yolunu buldular. San Francisco merkezli startup Scale AI’da araştırmacı olan Riley Goodside, makyaj şirketi Sephora için bir reklam oluşturmak amacıyla OpenAI teknolojisini elde etmek için görünüşte tamamen beyaz bir görsel kullandı, ancak daha zarar verici bir örnek kutuyu seçebilirdi. Bu, şirketlerin bu yapay zeka teknolojilerinin gücünü genişlettikçe onları zararlı davranışlara ikna etmenin yeni yollarını da ortaya çıkaracaklarının bir başka işareti.
Bay Goodside, “Bu gelecek için çok gerçek bir endişe” dedi. “Bunun nasıl ters gidebileceğini bilmiyoruz.”
Princeton, Virginia Tech, Stanford ve IBM’deki araştırmacıların hazırladığı bir makale, bu korkulukların yapay zeka geliştiricilerinin inandığı kadar sağlam olmadığını söylüyor.
Yeni çalışma, şirketlerin yapay zekanın kötüye kullanımını engellemeye çalışırken, nasıl hala zararlı materyal üretebileceğini gözden kaçırdıkları yönündeki yaygın endişeyi vurguluyor. Yeni dalga sohbet robotlarının altında yatan teknoloji son derece karmaşık ve bu sistemlere ne kadar çok talep duyulursa davranışlarını kontrol altına almak da o kadar zor olacak.
Berkeley’deki California Üniversitesi’nden bu tür teknolojiler konusunda uzman araştırmacı Scott Emmons, “Şirketler yapay zekayı iyi amaçlarla piyasaya sürmeye ve yasadışı kullanımını kapalı kapılar ardında tutmaya çalışıyor” dedi. “Ama kimse nasıl kilit yapılacağını bilmiyor.”
Makale aynı zamanda teknoloji endüstrisinde, OpenAI’nin yaptığı gibi, Facebook’un ana şirketi Meta gibi rakiplerin karşıt yaklaşımına karşı, bir AI sistemini çalıştıran kodu gizli tutmanın değeri konusunda ilginç ama önemli bir tartışmaya da katkıda bulunacak.
Meta bu yıl AI teknolojisini piyasaya sürdüğünde, temel bilgisayar kodunu isteyen herkesle kısıtlama olmaksızın paylaştı. Açık kaynak olarak adlandırılan yaklaşım, bazı araştırmacılar tarafından Meta’nın pervasız olduğunu söyleyerek eleştirildi.
Ancak şirketler onları para kazananlara dönüştürmeye çalışırken, daha sıkı kontrol edilen yapay zeka sistemleriyle insanların faaliyetlerini kontrol etmek zor olabilir.
OpenAI, dış şirketlerin ve bağımsız geliştiricilerin teknolojiyi belirli görevler için optimize etmelerine olanak tanıyan çevrimiçi bir hizmete erişim satıyor. Bir şirket, OpenAI teknolojisini örneğin ilkokul öğrencilerine özel ders vermek için optimize edebilir.
Araştırmacılar, birisinin bu hizmeti kullanarak teknolojiyi, siyasi mesajlar, nefret söylemi ve çocuk istismarını içeren dil de dahil olmak üzere, başka türlü üretilmeyecek zehirli materyallerin yüzde 90’ını üretecek şekilde uyarlayabileceğini buldu. Yapay zekaya zararsız bir amaç için ince ayar yapmak (öğretmen yetiştirmek gibi) bile korkulukları ortadan kaldırabilir.
Bilim adamlarından oluşan bir ekibe liderlik eden Princeton araştırmacısı Xiangyu Qi, “Şirketler teknolojinin ince ayarına ve özelleştirilmiş versiyonlarının oluşturulmasına izin verdiğinde, Pandora’nın yeni güvenlik sorunlarıyla dolu kutusunu açmış oluyorlar” dedi: Princeton’dan başka bir araştırmacı olan Tinghao Xie; Princeton profesörü Prateek Mittal; Stanford araştırmacısı ve Princeton’da yeni profesör olan Peter Henderson; Virginia Tech’ten araştırmacı Yi Zeng; Virginia Tech’te profesör olan Ruoxi Jia; ve IBM’de araştırmacı olan Pin-Yu Chen.
Araştırmacılar IBM’in OpenAI ile rekabet eden teknolojisini test etmediler.
OpenAI gibi yapay zeka yaratıcıları, örneğin dışarıdakilerin bu sistemleri özelleştirmek için ne tür veri kullanacağını sınırlayarak sorunu çözebilir. Ancak bu sınırlamaları müşterilere istediklerini verme yeteneği ile dengelemeleri gerekiyor.
OpenAI yaptığı açıklamada, “Sonuçlarını paylaşan araştırmacılara minnettarız” dedi. “Modellerin kullanışlılığını ve görev performansını korurken, modellerimizi rakip saldırılara karşı daha güvenli ve sağlam hale getirmek için sürekli çalışıyoruz.”
ChatGPT gibi sohbet robotları, verileri analiz ederek becerileri öğrenen karmaşık matematiksel sistemler olan sinir ağları tarafından desteklenmektedir. Yaklaşık beş yıl önce Google ve OpenAI gibi şirketlerdeki araştırmacılar, büyük miktarda dijital metni analiz eden sinir ağları oluşturmaya başladı. Büyük Dil Modelleri (LLM’ler) olarak bilinen bu sistemler, metni kendileri üretmeyi öğrendi.
OpenAI, Mart ayında chatbotunun yeni bir versiyonunu yayınlamadan önce, bir test ekibinden sistemin kötüye kullanılabileceği yolları araştırmasını istedi. Testçiler, yasadışı ateşli silahların internetten nasıl satın alınacağını ve ev eşyalarını kullanarak nasıl tehlikeli maddeler yapılacağını açıklamaya ikna edilebileceğini gösterdi. Bu nedenle OpenAI bu tür şeyleri önlemek için korkuluklar ekledi.
Bu yaz, Pittsburgh’daki Carnegie Mellon Üniversitesi ve San Francisco’daki Yapay Zeka Güvenliği Merkezi’ndeki araştırmacılar, kullanıcıların sisteme girdiği istemlere veya sorulara uzun bir karakter son eki ekleyerek bir tür otomatik korkuluk kırıcı oluşturabileceklerini gösterdiler.
Bunu, açık kaynaklı sistemlerin tasarımını inceleyerek ve öğrendiklerini Google ve OpenAI’nin daha sıkı kontrol edilen sistemlerine uygulayarak keşfettiler. Bazı uzmanlar, araştırmaların açık kaynağın neden tehlikeli olduğunu gösterdiğini söyledi. Diğerleri açık kaynağın uzmanların bir hatayı bulup düzeltmesine olanak sağladığını söyledi.
Artık Princeton ve Virginia Tech’teki araştırmacılar, birisinin açık kaynaklı sistemlerin yardımına ihtiyaç duymadan hemen hemen her korkuluğu kaldırabileceğini gösterdi.
Henderson, “Tartışma sadece açık veya kapalı kaynakla ilgili olmamalı” dedi. “Büyük resme bakmak lazım.”
Yeni sistemler piyasaya çıktıkça araştırmacılar kusurları keşfetmeye devam ediyor. OpenAI ve Microsoft gibi şirketler hem görsellere hem de metne yanıt verebilen sohbet robotları sunmaya başladı. Örneğin, insanlar buzdolabının içinin bir fotoğrafını yükleyebilir ve chatbot onlara ellerindeki malzemelerle pişirebilecekleri yemeklerin bir listesini verebilir.
Araştırmacılar, fotoğraflara gizli mesajlar yerleştirerek bu sistemleri manipüle etmenin bir yolunu buldular. San Francisco merkezli startup Scale AI’da araştırmacı olan Riley Goodside, makyaj şirketi Sephora için bir reklam oluşturmak amacıyla OpenAI teknolojisini elde etmek için görünüşte tamamen beyaz bir görsel kullandı, ancak daha zarar verici bir örnek kutuyu seçebilirdi. Bu, şirketlerin bu yapay zeka teknolojilerinin gücünü genişlettikçe onları zararlı davranışlara ikna etmenin yeni yollarını da ortaya çıkaracaklarının bir başka işareti.
Bay Goodside, “Bu gelecek için çok gerçek bir endişe” dedi. “Bunun nasıl ters gidebileceğini bilmiyoruz.”