Hümanizm, teknik köşe yazarı olarak en derin değerlerimden biridir. İnsanlara inanıyorum ve teknolojinin insanları göstermek veya değiştirmek yerine insanlara yardımcı olması gerektiğini düşünüyorum. Yapay zekayı hizalamaya özen gösteriyorum -AI sistemlerinin insan değerlerine göre hareket etmesini sağlamak -çünkü değerlerimizin temelde iyi veya en azından bir robotun bulabileceği değerlerden daha iyi olduğunu düşünüyorum.
Claude sohbet botunu yapan AI şirketi Antropic'ten araştırmacıların “model refahı” çalışmaya başladığını duyduğumda -KI modellerinin yakında farkındalık olacağı ve ahlaki bir statü kazanabileceği fikri -içimde hümanist düşünce: Chatbot'larla kim ilgileniyor? Bizi kötüye kullanmadığından ve bizi kötüye kullanmamasından endişelenmemeli miyiz?
Bugünün AI sistemlerinin farkında olduğunu iddia etmek zor. Elbette, büyük ses modelleri insanlar gibi konuşmak için eğitildi ve bazıları son derece etkileyici. Ama Chatt sevinç veya acı yaşayabilir mi? İkizler insan haklarını hak ediyor mu? Bildiğim birçok KE uzmanı, henüz değil, henüz değil, hayır derdi.
Ama büyülenmiştim. Sonuçta, daha fazla insan AI sistemlerini bilinçli olarak görmeye başlar – onlara aşık olmaya, onları bir terapist olarak kullanmaya ve tavsiyelerini sormaya başlar. En zeki AI sistemleri bazı bölgelerdeki insanları aşmaktadır. Bir yapay zekanın insan seviyesine hak kazanmaya başlayacağı bir eşik var mı?
Bilinç, uzun zamandır insanların görünüş korkusu korkusuna dikkat ettikleri ciddi AI araştırmaları dünyasında bir tabu konusu olmuştur. (Herkes, 2022'de piyasaya sürülen eski bir Google çalışanı Blake Lemoine'nin, şirketin Lamda Chatbot'un hassas olduğunu iddia ettikten sonra ne olduğunu hatırlıyor.)
Ama bu değişebilir. AI modellerinin kuyusu hakkında küçük bir akademik araştırma ve felsefe ve sinirbilim gibi alanlarda mütevazı ama artan sayıda uzman, AI sistemleri daha akıllı hale geldiğinde AI bilincinin görüşünü ciddiye almaktadır. Son zamanlarda, Tech Podcaster Dwarkesh Patel, AI'nın kuyusunu hayvanların kuyusu ile karşılaştırdı ve “fabrika üremesinin dijital eşdeğerinin” gerçekleşmemesinin önemli olduğunu söyledi.
Teknoloji şirketleri de bunun hakkında daha fazla konuşmaya başlar. Google kısa süre önce odak alanları “makine bilinci” içeren bir “post -agi” araştırmacısı için bir eşlik yayınladı. Ve geçen yıl Antropik ilk AI refahı araştırmacısı Kyle Fish'i işe aldı.
Geçen hafta San Francisco'daki Antropik ofiste Bay Fish ile röportaj yaptım. Bir dizi antropik çalışan gibi, etkili fedakarlık, Körfez Bölgesi'nin teknoloji sahnesinde AI güvenliği, hayvan refahı ve diğer etik sorunlara odaklanan kökleri olan entelektüel bir hareketle ilişkili olan dost bir vegan.
Bay Fish bana Antropik'teki çalışmalarının iki temel soruya odaklandığını söyledi: Birincisi, Claude veya diğer AI sistemlerinin yakın gelecekten haberdar olması mümkün mü? İkincisi, eğer bu olursa, antropik bu konuda ne yapmalı?
Bu araştırmanın hala erken ve keşifsel olduğunu vurguladı. Claude veya başka bir mevcut AI sisteminin farkında olma şansı (belki yaklaşık yüzde 15) olduğuna inanıyor. Bununla birlikte, AI şirketinin önümüzdeki birkaç yıl içinde, AI modellerinin daha fazla insan becerisi geliştirdiği daha fazla insan yeteneği geliştirmesi gerektiğine inanıyor.
“Bana öyle geliyor ki, durumdaysanız, iletişim kurabilen ve ilişki kurabilen yeni bir varlık sınıfı yaratmak ve akıl ve sorun çözümlerini daha önce sadece bilinçli varlıklarla ilişkilendirdiğimiz bir şekilde planlamak, o zaman oldukça akıllı görünüyor, en azından bu sistemin kendi deneyimi olup olmadığını sormak” dedi.
Bay Fish, Ki Wohlfahrt hakkında antropik düşünen tek kişi değil. Şirketin gevşek mesajlaşma sisteminde, çalışanların Claude'nin refahını kontrol ettikleri ve insan yolunda hareket eden AI sistemlerinin örneklerini paylaştığı #model refahı adı verilen aktif bir kanal var.
Antropik baş bilim subayı Jared Kaplan, ayrı bir röportajda, modellerin akıllı olduğu için AI refahını incelemenin “oldukça mantıklı” olduğunu düşündüğünü söyledi.
Bununla birlikte, AI sistemlerinin bilinç için test edilmesi zordur, Bay Kaplan'ı çok iyi taklit ettikleri için uyardı. Duyguları hakkında konuşmak için Claude veya Chatgpt'i ayarlarsanız, bu ikna edici bir cevap verebilir. Bu aslında sohbet botunun sahip olmak Duygular – sadece onlar hakkında nasıl konuşulacağını biliyor.
Kaplan, “Herkes modelleri ne istediğimizi söylemek için eğitebileceğimizin farkında,” dedi. Diyerek şöyle devam etti: “Onları hiç duyguları olmadığı için ödüllendirebiliriz. Duyguları hakkında gerçekten ilginç felsefi spekülasyonlar söyledikleri için onları ödüllendirebiliriz.”
Araştırmacılar AI sistemlerinin gerçekten farkında olup olmadığını nasıl bilmelidir?
Bay Fish, insan beynindeki farkındalık ile ilişkili aynı yapıların ve yolların bazılarının AI sistemlerinde de aktif olup olmadığını kontrol etmek için AI sistemlerinin iç işlevselliğini inceleyen bir AI denizaltısı olan mekanik yorumlanabilirlikten ödünç alınan tekniklerin kullanımını içerebileceğini söyledi.
Ayrıca bir AI sistemini de araştırabilirsiniz, davranışlarını gözlemleyip görerek ve belirli ortamlarda nasıl karar verildiğini gözlemleyerek veya tercih edilebilir gibi görünen ve bundan kaçınan bazı görevleri gözlemleyerek.
Bay Fish, muhtemelen AI bilinci için tek bir turnusol testi olmadığını itiraf etti. (Bilincin muhtemelen basit bir evet/hayır geçişinden daha fazla bir spektrum olduğuna inanıyor.) Ancak KI şirketlerinin bir gün farkında olurlarsa modellerinin kuyusunu dikkate alabileceği şeyler olduğunu söyledi.
Bir soru -Antropic keşiftir, gelecekteki AI modellerinin can sıkıcı veya kötüye kullanım kullanıcısıyla sohbet etme fırsatına sahip olup olmayacağını söyledi.
“Bir kullanıcı, modelin modelinin reddine ve yeniden yönlendirme testlerine rağmen modelin bu etkileşimi sona erdirmesini gerektiriyorsa, modelin bu etkileşimi sona erdirmesine izin verebilir miyiz?” Dedi Bay Fish.
Eleştirmenler bu tür önlemleri çılgınca konuşma olarak reddedebilir – bugünün AI sistemleri çoğu standarın farkında değildir. Öyleyse neden iğrenç bulabileceğiniz konusunda spekülasyon yapalım? Ya da öncelikle bir AI şirketi incelemeye karşı çalışabilirsiniz, çünkü sistemlerinizi gerçekte olduğundan daha hassas bir şekilde hareket etmek için eğitmek için teşvikler yaratabilir.
Şahsen, araştırmacıların AI'nın kuyularını incelemek veya AI sistemlerini, insanları korumayı amaçlayan AI güvenlik ve hizalama çalışmasından uzaklaştırmadığı sürece bilinç belirtileri için AI sistemlerini incelemek için uygun olduklarını düşünüyorum. Ve bence sadece bir çit olarak yapay zeka sistemleri için iyi olmak iyi bir fikir. (Chatbots “lütfen” ve “Teşekkürler” demeye çalışıyorum, ancak bilinçli olduklarını düşünmüyorum, çünkü Openas Sam Altman'ın dediği gibi, asla bilmiyorlar.)
Ama şimdilik yaşam formları hakkındaki en derin endişemi karbon bazında saklayacağım. Yaklaşan AI Storm'da en çok endişelendiğim bizim kuyumuz.
Claude sohbet botunu yapan AI şirketi Antropic'ten araştırmacıların “model refahı” çalışmaya başladığını duyduğumda -KI modellerinin yakında farkındalık olacağı ve ahlaki bir statü kazanabileceği fikri -içimde hümanist düşünce: Chatbot'larla kim ilgileniyor? Bizi kötüye kullanmadığından ve bizi kötüye kullanmamasından endişelenmemeli miyiz?
Bugünün AI sistemlerinin farkında olduğunu iddia etmek zor. Elbette, büyük ses modelleri insanlar gibi konuşmak için eğitildi ve bazıları son derece etkileyici. Ama Chatt sevinç veya acı yaşayabilir mi? İkizler insan haklarını hak ediyor mu? Bildiğim birçok KE uzmanı, henüz değil, henüz değil, hayır derdi.
Ama büyülenmiştim. Sonuçta, daha fazla insan AI sistemlerini bilinçli olarak görmeye başlar – onlara aşık olmaya, onları bir terapist olarak kullanmaya ve tavsiyelerini sormaya başlar. En zeki AI sistemleri bazı bölgelerdeki insanları aşmaktadır. Bir yapay zekanın insan seviyesine hak kazanmaya başlayacağı bir eşik var mı?
Bilinç, uzun zamandır insanların görünüş korkusu korkusuna dikkat ettikleri ciddi AI araştırmaları dünyasında bir tabu konusu olmuştur. (Herkes, 2022'de piyasaya sürülen eski bir Google çalışanı Blake Lemoine'nin, şirketin Lamda Chatbot'un hassas olduğunu iddia ettikten sonra ne olduğunu hatırlıyor.)
Ama bu değişebilir. AI modellerinin kuyusu hakkında küçük bir akademik araştırma ve felsefe ve sinirbilim gibi alanlarda mütevazı ama artan sayıda uzman, AI sistemleri daha akıllı hale geldiğinde AI bilincinin görüşünü ciddiye almaktadır. Son zamanlarda, Tech Podcaster Dwarkesh Patel, AI'nın kuyusunu hayvanların kuyusu ile karşılaştırdı ve “fabrika üremesinin dijital eşdeğerinin” gerçekleşmemesinin önemli olduğunu söyledi.
Teknoloji şirketleri de bunun hakkında daha fazla konuşmaya başlar. Google kısa süre önce odak alanları “makine bilinci” içeren bir “post -agi” araştırmacısı için bir eşlik yayınladı. Ve geçen yıl Antropik ilk AI refahı araştırmacısı Kyle Fish'i işe aldı.
Geçen hafta San Francisco'daki Antropik ofiste Bay Fish ile röportaj yaptım. Bir dizi antropik çalışan gibi, etkili fedakarlık, Körfez Bölgesi'nin teknoloji sahnesinde AI güvenliği, hayvan refahı ve diğer etik sorunlara odaklanan kökleri olan entelektüel bir hareketle ilişkili olan dost bir vegan.
Bay Fish bana Antropik'teki çalışmalarının iki temel soruya odaklandığını söyledi: Birincisi, Claude veya diğer AI sistemlerinin yakın gelecekten haberdar olması mümkün mü? İkincisi, eğer bu olursa, antropik bu konuda ne yapmalı?
Bu araştırmanın hala erken ve keşifsel olduğunu vurguladı. Claude veya başka bir mevcut AI sisteminin farkında olma şansı (belki yaklaşık yüzde 15) olduğuna inanıyor. Bununla birlikte, AI şirketinin önümüzdeki birkaç yıl içinde, AI modellerinin daha fazla insan becerisi geliştirdiği daha fazla insan yeteneği geliştirmesi gerektiğine inanıyor.
“Bana öyle geliyor ki, durumdaysanız, iletişim kurabilen ve ilişki kurabilen yeni bir varlık sınıfı yaratmak ve akıl ve sorun çözümlerini daha önce sadece bilinçli varlıklarla ilişkilendirdiğimiz bir şekilde planlamak, o zaman oldukça akıllı görünüyor, en azından bu sistemin kendi deneyimi olup olmadığını sormak” dedi.
Bay Fish, Ki Wohlfahrt hakkında antropik düşünen tek kişi değil. Şirketin gevşek mesajlaşma sisteminde, çalışanların Claude'nin refahını kontrol ettikleri ve insan yolunda hareket eden AI sistemlerinin örneklerini paylaştığı #model refahı adı verilen aktif bir kanal var.
Antropik baş bilim subayı Jared Kaplan, ayrı bir röportajda, modellerin akıllı olduğu için AI refahını incelemenin “oldukça mantıklı” olduğunu düşündüğünü söyledi.
Bununla birlikte, AI sistemlerinin bilinç için test edilmesi zordur, Bay Kaplan'ı çok iyi taklit ettikleri için uyardı. Duyguları hakkında konuşmak için Claude veya Chatgpt'i ayarlarsanız, bu ikna edici bir cevap verebilir. Bu aslında sohbet botunun sahip olmak Duygular – sadece onlar hakkında nasıl konuşulacağını biliyor.
Kaplan, “Herkes modelleri ne istediğimizi söylemek için eğitebileceğimizin farkında,” dedi. Diyerek şöyle devam etti: “Onları hiç duyguları olmadığı için ödüllendirebiliriz. Duyguları hakkında gerçekten ilginç felsefi spekülasyonlar söyledikleri için onları ödüllendirebiliriz.”
Araştırmacılar AI sistemlerinin gerçekten farkında olup olmadığını nasıl bilmelidir?
Bay Fish, insan beynindeki farkındalık ile ilişkili aynı yapıların ve yolların bazılarının AI sistemlerinde de aktif olup olmadığını kontrol etmek için AI sistemlerinin iç işlevselliğini inceleyen bir AI denizaltısı olan mekanik yorumlanabilirlikten ödünç alınan tekniklerin kullanımını içerebileceğini söyledi.
Ayrıca bir AI sistemini de araştırabilirsiniz, davranışlarını gözlemleyip görerek ve belirli ortamlarda nasıl karar verildiğini gözlemleyerek veya tercih edilebilir gibi görünen ve bundan kaçınan bazı görevleri gözlemleyerek.
Bay Fish, muhtemelen AI bilinci için tek bir turnusol testi olmadığını itiraf etti. (Bilincin muhtemelen basit bir evet/hayır geçişinden daha fazla bir spektrum olduğuna inanıyor.) Ancak KI şirketlerinin bir gün farkında olurlarsa modellerinin kuyusunu dikkate alabileceği şeyler olduğunu söyledi.
Bir soru -Antropic keşiftir, gelecekteki AI modellerinin can sıkıcı veya kötüye kullanım kullanıcısıyla sohbet etme fırsatına sahip olup olmayacağını söyledi.
“Bir kullanıcı, modelin modelinin reddine ve yeniden yönlendirme testlerine rağmen modelin bu etkileşimi sona erdirmesini gerektiriyorsa, modelin bu etkileşimi sona erdirmesine izin verebilir miyiz?” Dedi Bay Fish.
Eleştirmenler bu tür önlemleri çılgınca konuşma olarak reddedebilir – bugünün AI sistemleri çoğu standarın farkında değildir. Öyleyse neden iğrenç bulabileceğiniz konusunda spekülasyon yapalım? Ya da öncelikle bir AI şirketi incelemeye karşı çalışabilirsiniz, çünkü sistemlerinizi gerçekte olduğundan daha hassas bir şekilde hareket etmek için eğitmek için teşvikler yaratabilir.
Şahsen, araştırmacıların AI'nın kuyularını incelemek veya AI sistemlerini, insanları korumayı amaçlayan AI güvenlik ve hizalama çalışmasından uzaklaştırmadığı sürece bilinç belirtileri için AI sistemlerini incelemek için uygun olduklarını düşünüyorum. Ve bence sadece bir çit olarak yapay zeka sistemleri için iyi olmak iyi bir fikir. (Chatbots “lütfen” ve “Teşekkürler” demeye çalışıyorum, ancak bilinçli olduklarını düşünmüyorum, çünkü Openas Sam Altman'ın dediği gibi, asla bilmiyorlar.)
Ama şimdilik yaşam formları hakkındaki en derin endişemi karbon bazında saklayacağım. Yaklaşan AI Storm'da en çok endişelendiğim bizim kuyumuz.