Kredi…Desiree Rios/Haber
Siyahların görüntü analiz yazılımı tarafından yanlış bir şekilde goril olarak sınıflandırılmasına ilişkin bir tartışmadan sekiz yıl sonra – ve bilgisayar görüşündeki büyük ilerlemelere rağmen – teknoloji devleri hala hatanın tekrarlanacağından korkuyor.
22 Mayıs 2023
Google, Mayıs 2015’te bağımsız Fotoğraflar uygulamasını piyasaya sürdüğünde, insanlar onun yetenekleri konusunda heyecanlandılar: insanları, yerleri ve içlerindeki şeyleri etiketlemek için görüntüleri analiz etmek, o zamanlar inanılmaz bir tüketici önerisi. Ancak yayınlandıktan birkaç ay sonra, bir yazılım geliştiricisi olan Jacky Alciné, Google’ın kendisinin ve bir arkadaşının siyahi fotoğraflarını “goriller” olarak etiketlediğini keşfetti; bu, asırlık ırkçı mecazları yansıttığı için özellikle saldırgan bir terim.
Ardından gelen tartışmada Google, yazılımının fotoğraflardaki herhangi bir şeyi goril olarak sınıflandırmasını engelledi ve sorunu çözme sözü verdi. Sekiz yıl sonra, yapay zekadaki önemli ilerlemelerle, Google’ın sorunu çözüp çözmediğini test ettik ve rakipleri Apple, Amazon ve Microsoft’un karşılaştırılabilir araçlarına baktık.
Google ve Apple’ın tespit edebildiği primat ailesinin bir üyesi vardı – lemurlar, insanlarla zıt başparmakları paylaşan, ancak maymunlardan daha uzaktan akraba olan, sürekli ürkmüş görünen, uzun kuyruklu hayvanlar.
Görüntü analizi söz konusu olduğunda, Google ve Apple’ın araçları açıkça en gelişmiş araçlardı.
Yine de, Android yazılımı dünyadaki akıllı telefonların çoğuna güç veren Google, rahatsız edici bir hata yapma ve bir insanı hayvan olarak etiketleme korkusuyla primatları görsel olarak arama özelliğini kapatmaya karar verdi. Ve testimizde teknolojisi Google’ınkine benzer şekilde çalışan Apple, maymunları ve maymunları arama yeteneğini de devre dışı bıraktı.
Tüketicilerin sık sık böyle bir arama yapması gerekmeyebilir – ancak 2019’da bir iPhone kullanıcısı, Apple’ın müşteri destek forumunda yazılımın “cihazımdaki fotoğraflarda maymunları bulamadığından” şikayet etti. Bununla birlikte, sorun, görsel görüntüleri yorumlayan bir teknoloji olan bilgisayar vizyonuna dayalı hizmetlerde ve diğer yapay zeka tabanlı ürünlerde gizlenen diğer düzeltilmemiş veya kurtarılamaz hatalar hakkında daha büyük soruları gündeme getiriyor.
Bay Alciné, toplumun teknolojiye çok fazla güvendiğini söyleyerek Google’ın sorunu hâlâ tam olarak çözmediğini öğrenince dehşete düştü.
“Bu yapay zekaya sonsuza kadar inancım olmayacak” dedi.
Görüntü işleme ürünleri artık kapınızın önünde bir paket olduğunda uyarı göndermek kadar sıradan, arabaları yönlendirmek ve kolluk kuvvetleri soruşturmalarında suçluları bulmak kadar önemli görevler için kullanılıyor.
Hatalar, verileri şifreleyenlerin ırkçı tutumlarının bir ifadesi olabilir. Goril olayında, teknoloji üzerinde çalışan iki eski Google çalışanı, sorunun, şirketin yapay zeka sistemini eğitmek için kullandığı görüntü koleksiyonuna yeterince siyah insan fotoğrafı eklememesi olduğunu söyledi. Sonuç olarak, teknoloji daha koyu ten tonlarına sahip insanlara yeterince aşina değildi ve onları gorillerle karıştırdı.
Yapay zeka hayatımıza daha entegre hale geldikçe, istenmeyen sonuçlara ilişkin korkuları artırıyor. Bilgisayarla görme ürünleri ve ChatGPT gibi yapay zeka sohbet robotları farklı olsa da, her ikisi de yazılımı eğitmek için temeldeki veri yığınlarına güvenir ve her ikisi de verilerdeki kusurlar veya kodlarındaki önyargılar nedeniyle arızaları tetikleyebilir.
Microsoft kısa bir süre önce, uygunsuz konuşmalar başlattıktan sonra kullanıcıların Bing arama motorunda yerleşik bir sohbet robotuyla etkileşim kurma yeteneğini kısıtladı.
Microsoft’un kararı, Google’ın algoritmasının gorilleri tanımlamasını bile önleme kararı gibi, ortak bir endüstri yaklaşımını gösteriyor: arızaları düzeltmek yerine teknoloji işlevlerinden korumak.
Rice Üniversitesi’nde bilgisayar vizyonu üzerine çalışan bir profesör olan Vicente Ordóñez, “Bu sorunları çözmek önemlidir” dedi. “Diğer senaryolar için bu yazılıma nasıl güvenebiliriz?”
Google sözcüsü Michael Marconi, Google’ın, faydaların “zarar riskinden daha ağır basmadığına” karar verdiği için Fotoğraflar uygulamasının herhangi bir şeyi maymun veya maymun olarak etiketlemesini durdurduğunu söyledi.
Apple, kullanıcıların uygulamasında çoğu primatı arayamaması hakkında yorum yapmayı reddetti.
Amazon ve Microsoft yetkilileri, şirketlerin her zaman ürünlerini geliştirmeye çalıştıklarını söyledi.
kötü görüş
Google, sekiz yıl önce piyasaya sürdüğü Fotoğraflar uygulamasını geliştirdiğinde, AI sistemini insanları, hayvanları ve nesneleri tanımlayacak şekilde eğitmek için büyük miktarda görüntü topladı.
İki eski Google çalışanı, eğitim verilerinin siyahların yeterince fotoğrafını içermediği yönündeki ciddi gözetimin daha sonra uygulamanın arızalanmasına neden olduğunu söyledi. Eski çalışanlara göre şirket, o sırada “goril” sorununu ortaya çıkaramadı çünkü yeterli sayıda çalışandan özelliği halka açılmadan önce test etmesini istemedi.
Google, goril olayı için uzun bir özür yayınladı, ancak bu, teknoloji endüstrisinde önyargı iddialarına yol açan birkaç olaydan biriydi.
Eleştirilen diğer ürünler arasında, daha koyu ten tonlarına sahip bazı insanları tanıyamayan HP’nin yüz tanıma web kameraları ve bir davanın tüm cilt tonlarında kandaki oksijen seviyelerini doğru bir şekilde ölçemediğini söyleyen Apple Watch yer alıyor. Hatalar, teknoloji ürünlerinin daha koyu tenli insanlar için tasarlanmadığını gösteriyordu. (Apple, kan oksijen uygulamasını “çok çeşitli cilt tipleri ve tonları” üzerinde test etme çabalarını ayrıntılandıran 2022 tarihli bir makaleye atıfta bulundu.)
O sırada Google’da çalışan olaya aşina bir kişiye göre, Google Fotoğraflar aksaklığından yıllar sonra, şirket dahili testler sırasında Nest ev güvenlik kamerasında benzer bir sorunla karşılaştı. Bir mülkteki birinin tanıdık olup olmadığını belirlemek için yapay zekayı kullanan Nest kamerası, bazı siyahları hayvan zannetti. Kişi, Google’ın kullanıcılar ürüne erişemeden sorunu çözmek için acele ettiğini söyledi.
Ancak Nest müşterileri, şirketin forumlarında diğer eksikliklerden şikayet etmeye devam ediyor. 2021’de bir müşteri, annesinin kapı zilini çaldığına dair bir bildirim aldı, ancak kapının diğer tarafında kayınvalidesini buldu. Kullanıcılar, sistemin “tanıdık” olarak etiketledikleri yüzleri karıştırdığından şikayet ettiklerinde, forumdaki bir müşteri hizmetleri temsilcisi onlara tüm etiketlerini silmelerini ve baştan başlamalarını tavsiye etti.
Google sözcüsü Marconi, “Hedefimiz bu tür hataların asla olmasını önlemek” dedi ve şirketin “uzmanlarla çalışarak ve görüntü veri setlerimizi çeşitlendirerek” teknolojisini geliştirdiğini sözlerine ekledi.
2019’da Google, veri kümesindeki siyahilerin sayısını artırarak Android akıllı telefonlar için bir yüz tanıma özelliğini iyileştirmeye çalıştı. Ancak Google’ın yüz taramaları toplamak için tuttuğu yüklenicilerin, çeşitli verilerin eksikliğini gidermek için rahatsız edici bir taktiğe başvurduğu bildirildi: evsizleri ve üniversite öğrencilerini hedef aldılar. Google yöneticileri o sırada olayı “çok rahatsız edici” olarak nitelendirdi.
Onarım?
Google, teknolojiyi geliştirmek için perde arkasında çalışırken, kullanıcıların bu çabaları yargılamasına asla izin vermedi.
Araştırmacı ve Google’ın Ethical AI grubunun kurucu ortağı Margaret Mitchell, goril olayından sonra şirkete katıldı ve Fotos ekibiyle çalıştı. Yakın tarihli bir röportajda, Google’ın “goril etiketini en azından bir süreliğine kaldırma” kararının destekçisi olduğunu söyledi.
Dr. Mitchell “Yararlar, yanlış şeyi yapmanın potansiyel zararlarından daha ağır basmaz.”
doktor Profesör Ordóñez, Google ve Apple’ın artık primatları insanlardan ayırabileceklerini, ancak tekrar başarısız olurlarsa itibar riskinden dolayı bu özelliği etkinleştirmek istemediklerini tahmin etti.
Bu arada Google, metin yerine fotoğrafları kullanarak web’de arama yapmak için bir araç olan daha güçlü bir görüntü analiz ürünü olan Google Lens’i piyasaya sürdü. Wired, 2018’de aracın bir goril tespit edemediğini de kaydetti.
Bu sistemler asla kusursuz değildir, dedi Dr. Artık Google’da çalışmayan Mitchell. Google’ın hizmetlerini kullanan milyarlarca insanla, bir milyar kullanıcıdan yalnızca birini etkileyen nadir aksaklıklar bile meydana gelir.
“Büyük bir sosyal etkiye sahip olmak için bir hata gerekir” dedi ve “samanlıkta zehirli bir iğne” olarak atıfta bulundu.
Siyahların görüntü analiz yazılımı tarafından yanlış bir şekilde goril olarak sınıflandırılmasına ilişkin bir tartışmadan sekiz yıl sonra – ve bilgisayar görüşündeki büyük ilerlemelere rağmen – teknoloji devleri hala hatanın tekrarlanacağından korkuyor.
22 Mayıs 2023
Google, Mayıs 2015’te bağımsız Fotoğraflar uygulamasını piyasaya sürdüğünde, insanlar onun yetenekleri konusunda heyecanlandılar: insanları, yerleri ve içlerindeki şeyleri etiketlemek için görüntüleri analiz etmek, o zamanlar inanılmaz bir tüketici önerisi. Ancak yayınlandıktan birkaç ay sonra, bir yazılım geliştiricisi olan Jacky Alciné, Google’ın kendisinin ve bir arkadaşının siyahi fotoğraflarını “goriller” olarak etiketlediğini keşfetti; bu, asırlık ırkçı mecazları yansıttığı için özellikle saldırgan bir terim.
Ardından gelen tartışmada Google, yazılımının fotoğraflardaki herhangi bir şeyi goril olarak sınıflandırmasını engelledi ve sorunu çözme sözü verdi. Sekiz yıl sonra, yapay zekadaki önemli ilerlemelerle, Google’ın sorunu çözüp çözmediğini test ettik ve rakipleri Apple, Amazon ve Microsoft’un karşılaştırılabilir araçlarına baktık.
Google ve Apple’ın tespit edebildiği primat ailesinin bir üyesi vardı – lemurlar, insanlarla zıt başparmakları paylaşan, ancak maymunlardan daha uzaktan akraba olan, sürekli ürkmüş görünen, uzun kuyruklu hayvanlar.
Görüntü analizi söz konusu olduğunda, Google ve Apple’ın araçları açıkça en gelişmiş araçlardı.
Yine de, Android yazılımı dünyadaki akıllı telefonların çoğuna güç veren Google, rahatsız edici bir hata yapma ve bir insanı hayvan olarak etiketleme korkusuyla primatları görsel olarak arama özelliğini kapatmaya karar verdi. Ve testimizde teknolojisi Google’ınkine benzer şekilde çalışan Apple, maymunları ve maymunları arama yeteneğini de devre dışı bıraktı.
Tüketicilerin sık sık böyle bir arama yapması gerekmeyebilir – ancak 2019’da bir iPhone kullanıcısı, Apple’ın müşteri destek forumunda yazılımın “cihazımdaki fotoğraflarda maymunları bulamadığından” şikayet etti. Bununla birlikte, sorun, görsel görüntüleri yorumlayan bir teknoloji olan bilgisayar vizyonuna dayalı hizmetlerde ve diğer yapay zeka tabanlı ürünlerde gizlenen diğer düzeltilmemiş veya kurtarılamaz hatalar hakkında daha büyük soruları gündeme getiriyor.
Bay Alciné, toplumun teknolojiye çok fazla güvendiğini söyleyerek Google’ın sorunu hâlâ tam olarak çözmediğini öğrenince dehşete düştü.
“Bu yapay zekaya sonsuza kadar inancım olmayacak” dedi.
Görüntü işleme ürünleri artık kapınızın önünde bir paket olduğunda uyarı göndermek kadar sıradan, arabaları yönlendirmek ve kolluk kuvvetleri soruşturmalarında suçluları bulmak kadar önemli görevler için kullanılıyor.
Hatalar, verileri şifreleyenlerin ırkçı tutumlarının bir ifadesi olabilir. Goril olayında, teknoloji üzerinde çalışan iki eski Google çalışanı, sorunun, şirketin yapay zeka sistemini eğitmek için kullandığı görüntü koleksiyonuna yeterince siyah insan fotoğrafı eklememesi olduğunu söyledi. Sonuç olarak, teknoloji daha koyu ten tonlarına sahip insanlara yeterince aşina değildi ve onları gorillerle karıştırdı.
Yapay zeka hayatımıza daha entegre hale geldikçe, istenmeyen sonuçlara ilişkin korkuları artırıyor. Bilgisayarla görme ürünleri ve ChatGPT gibi yapay zeka sohbet robotları farklı olsa da, her ikisi de yazılımı eğitmek için temeldeki veri yığınlarına güvenir ve her ikisi de verilerdeki kusurlar veya kodlarındaki önyargılar nedeniyle arızaları tetikleyebilir.
Microsoft kısa bir süre önce, uygunsuz konuşmalar başlattıktan sonra kullanıcıların Bing arama motorunda yerleşik bir sohbet robotuyla etkileşim kurma yeteneğini kısıtladı.
Microsoft’un kararı, Google’ın algoritmasının gorilleri tanımlamasını bile önleme kararı gibi, ortak bir endüstri yaklaşımını gösteriyor: arızaları düzeltmek yerine teknoloji işlevlerinden korumak.
Rice Üniversitesi’nde bilgisayar vizyonu üzerine çalışan bir profesör olan Vicente Ordóñez, “Bu sorunları çözmek önemlidir” dedi. “Diğer senaryolar için bu yazılıma nasıl güvenebiliriz?”
Google sözcüsü Michael Marconi, Google’ın, faydaların “zarar riskinden daha ağır basmadığına” karar verdiği için Fotoğraflar uygulamasının herhangi bir şeyi maymun veya maymun olarak etiketlemesini durdurduğunu söyledi.
Apple, kullanıcıların uygulamasında çoğu primatı arayamaması hakkında yorum yapmayı reddetti.
Amazon ve Microsoft yetkilileri, şirketlerin her zaman ürünlerini geliştirmeye çalıştıklarını söyledi.
kötü görüş
Google, sekiz yıl önce piyasaya sürdüğü Fotoğraflar uygulamasını geliştirdiğinde, AI sistemini insanları, hayvanları ve nesneleri tanımlayacak şekilde eğitmek için büyük miktarda görüntü topladı.
İki eski Google çalışanı, eğitim verilerinin siyahların yeterince fotoğrafını içermediği yönündeki ciddi gözetimin daha sonra uygulamanın arızalanmasına neden olduğunu söyledi. Eski çalışanlara göre şirket, o sırada “goril” sorununu ortaya çıkaramadı çünkü yeterli sayıda çalışandan özelliği halka açılmadan önce test etmesini istemedi.
Google, goril olayı için uzun bir özür yayınladı, ancak bu, teknoloji endüstrisinde önyargı iddialarına yol açan birkaç olaydan biriydi.
Eleştirilen diğer ürünler arasında, daha koyu ten tonlarına sahip bazı insanları tanıyamayan HP’nin yüz tanıma web kameraları ve bir davanın tüm cilt tonlarında kandaki oksijen seviyelerini doğru bir şekilde ölçemediğini söyleyen Apple Watch yer alıyor. Hatalar, teknoloji ürünlerinin daha koyu tenli insanlar için tasarlanmadığını gösteriyordu. (Apple, kan oksijen uygulamasını “çok çeşitli cilt tipleri ve tonları” üzerinde test etme çabalarını ayrıntılandıran 2022 tarihli bir makaleye atıfta bulundu.)
O sırada Google’da çalışan olaya aşina bir kişiye göre, Google Fotoğraflar aksaklığından yıllar sonra, şirket dahili testler sırasında Nest ev güvenlik kamerasında benzer bir sorunla karşılaştı. Bir mülkteki birinin tanıdık olup olmadığını belirlemek için yapay zekayı kullanan Nest kamerası, bazı siyahları hayvan zannetti. Kişi, Google’ın kullanıcılar ürüne erişemeden sorunu çözmek için acele ettiğini söyledi.
Ancak Nest müşterileri, şirketin forumlarında diğer eksikliklerden şikayet etmeye devam ediyor. 2021’de bir müşteri, annesinin kapı zilini çaldığına dair bir bildirim aldı, ancak kapının diğer tarafında kayınvalidesini buldu. Kullanıcılar, sistemin “tanıdık” olarak etiketledikleri yüzleri karıştırdığından şikayet ettiklerinde, forumdaki bir müşteri hizmetleri temsilcisi onlara tüm etiketlerini silmelerini ve baştan başlamalarını tavsiye etti.
Google sözcüsü Marconi, “Hedefimiz bu tür hataların asla olmasını önlemek” dedi ve şirketin “uzmanlarla çalışarak ve görüntü veri setlerimizi çeşitlendirerek” teknolojisini geliştirdiğini sözlerine ekledi.
2019’da Google, veri kümesindeki siyahilerin sayısını artırarak Android akıllı telefonlar için bir yüz tanıma özelliğini iyileştirmeye çalıştı. Ancak Google’ın yüz taramaları toplamak için tuttuğu yüklenicilerin, çeşitli verilerin eksikliğini gidermek için rahatsız edici bir taktiğe başvurduğu bildirildi: evsizleri ve üniversite öğrencilerini hedef aldılar. Google yöneticileri o sırada olayı “çok rahatsız edici” olarak nitelendirdi.
Onarım?
Google, teknolojiyi geliştirmek için perde arkasında çalışırken, kullanıcıların bu çabaları yargılamasına asla izin vermedi.
Araştırmacı ve Google’ın Ethical AI grubunun kurucu ortağı Margaret Mitchell, goril olayından sonra şirkete katıldı ve Fotos ekibiyle çalıştı. Yakın tarihli bir röportajda, Google’ın “goril etiketini en azından bir süreliğine kaldırma” kararının destekçisi olduğunu söyledi.
Dr. Mitchell “Yararlar, yanlış şeyi yapmanın potansiyel zararlarından daha ağır basmaz.”
doktor Profesör Ordóñez, Google ve Apple’ın artık primatları insanlardan ayırabileceklerini, ancak tekrar başarısız olurlarsa itibar riskinden dolayı bu özelliği etkinleştirmek istemediklerini tahmin etti.
Bu arada Google, metin yerine fotoğrafları kullanarak web’de arama yapmak için bir araç olan daha güçlü bir görüntü analiz ürünü olan Google Lens’i piyasaya sürdü. Wired, 2018’de aracın bir goril tespit edemediğini de kaydetti.
Bu sistemler asla kusursuz değildir, dedi Dr. Artık Google’da çalışmayan Mitchell. Google’ın hizmetlerini kullanan milyarlarca insanla, bir milyar kullanıcıdan yalnızca birini etkileyen nadir aksaklıklar bile meydana gelir.
“Büyük bir sosyal etkiye sahip olmak için bir hata gerekir” dedi ve “samanlıkta zehirli bir iğne” olarak atıfta bulundu.