Akıllıca hazırlanmış bir TikTok videosunda, eski Başkan Barack Obama’nın (ya da esrarengiz bir şekilde ona benzeyen bir sesin) eski şefinin ani ölümüyle ilgili yeni ve patlayıcı bir komplo teorisine karşı kendisini savunduğu duyulabiliyor.
“Hakkımda ileri sürülen iddiaların esasını anlayamasam da” diyen ses, “Herkesi birliğin, anlayışın ve aceleci hükümler vermemenin önemini hatırlamaya çağırıyorum.”
Aslında oy eski başkana ait değildi. Bu, yalnızca birkaç fare tıklamasıyla yapay zeka kuklaları oluşturmak için gerçek sesleri kopyalayabilen gelişmiş yeni araçlar kullanan yapay zeka tarafından üretilen ikna edici bir sahteydi.
Yapay zeka sesleri oluşturmak için kullanılan teknoloji, ElevenLabs gibi şirketlerin geçen yılın sonlarında bir dizi yeni araç piyasaya sürmesinden bu yana ilgi gördü ve yaygın bir şekilde tanındı. O zamandan bu yana, sahte ses, çevrimiçi yanlış bilgilendirme savaş alanında hızla yeni bir silah haline geldi ve içerik oluşturuculara komplo teorilerini ünlülerin, haber spikerlerinin ve politikacıların ağzına sunma fırsatı vererek 2024 seçimleri öncesinde siyasi dezenformasyonu körükleme tehdidinde bulundu.
Sahte ses, yapay zeka tarafından oluşturulan tehditleri “derin sahte” videolar, ChatGPT’den gelen insan benzeri metinler ve Midjourney gibi hizmetlerden gelen görüntülerle tamamlıyor.
Dezenformasyon gözlemcileri, içerik üreticileri ve yanlış bilgi tacirleri yeni araçları benimsedikçe, yapay zeka seslerinin yer aldığı videoların sayısının arttığını belirtti. TikTok gibi sosyal platformlar bu tür içerikleri işaretlemek ve etiketlemek için çaba gösteriyor.
Bay Obama’ya benzeyen video, çevrimiçi yanlış bilgileri izleyen bir şirket olan NewsGuard tarafından keşfedildi. Grubun Eylül ayında yayınladığı bir rapora göre video, NewsGuard’ın tespit ettiği asılsız iddiaları sahte ses içeriğiyle destekleyen 17 TikTok hesabından biri tarafından yayınlandı. Hesaplar çoğunlukla yapay zekanın sesiyle ünlü söylentileri hakkında videolar yayınladı, ancak aynı zamanda Bay Obama’nın eşcinsel olduğuna dair asılsız iddiayı ve Oprah Winfrey’in köle ticaretine karıştığı yönündeki komplo teorisini de yaydı. Kanalların toplu olarak yüz milyonlarca görüntüleme ve yorum alması, bazı izleyicilerin iddialara inandığını gösteriyor.
NewsGuard, ağların açık bir siyasi gündeme sahip olmamasına rağmen, yapay zeka seslerinin çoğunlukla müstehcen söylentileri ve söylentileri yaymak için kullanılmasının, kamuoyunu manipüle etmek ve yalanları çevrimiçi olarak kitlesel izleyicilere yaymak isteyen kötü aktörler için bir yol sağladığını söyledi.
NewsGuard’ın kurumsal editörü Jack Brewster, “Bu, bu hesapların ilgi ve geniş bir kitlenin ilgisini çekebilecek bir takipçi kitlesi kazanmasının bir yolu” dedi. “Geniş bir takipçi kitlesine sahip olacak kadar güvenilirliğe sahip olduklarında, daha fazla komplo içerikli içerikle meşgul olabilirler.”
TikTok, gerçekçi, yapay zeka tarafından oluşturulan içeriği sahte olarak tanımlayan etiketlere ihtiyaç duyuyor ancak bunlar NewsGuard tarafından işaretlenen videolarda görünmüyor. TikTok, politikaları ihlal ettiği, haber kuruluşlarını taklit ettiği ve zararlı yanlış bilgiler yaydığı gerekçesiyle birçok hesap ve videoyu kaldırdığını veya kullanımdan kaldırdığını söyledi. Ek olarak, Bay Obama’nın sesini taklit eden yapay zeka tarafından üretilen sesin yer aldığı video, değiştirilmiş veya sahte olarak kabul edilmeyen son derece gerçekçi içerik barındırdığı için TikTok’un sentetik medya politikasını ihlal ettiği gerekçesiyle kaldırıldı.
Yakın zamanda başlatılan TikTok’un sözcüsü Jamie Favazza, “TikTok, yaratıcılara yapay zeka tarafından oluşturulan içeriği etiketlemek için bir araç sunan ve sentetik medyanın sorumlu kullanımını teşvik etmek için yeni bir endüstri en iyi uygulamaları kurallarının kurucu üyesi olan ilk platformdur” dedi. Yapay Zekada Kâr Amacı Gütmeyen Ortaklığın Çerçevesini Oluşturun
NewsGuard’ın raporu giderek haber kaynağı haline gelen TikTok’a odaklansa da YouTube, Instagram ve Facebook’ta da benzer içeriklere rastlandı.
TikTok gibi platformlar, yanlış bilgi yaymadıkları sürece, haber spikerleri de dahil olmak üzere kamuoyuna mal olmuş kişilerin yapay zeka tarafından oluşturulan içeriklere izin veriyor. Bazıları ölmüş olan politikacılar, ünlüler veya iş dünyası liderleri arasında yapay zeka tarafından oluşturulan konuşmaları gösteren parodi videoları, araçların yaygınlaşmasından bu yana yaygınlaştı. Değiştirilmiş ses, Tom Cruise, Elon Musk ve Gayle King ve Norah O’Donnell gibi haber spikerlerinin sahte versiyonlarını zaten içeren platformlardaki yanıltıcı videolara yeni bir boyut katıyor. TikTok ve diğer platformlar son zamanlarda Bay Cruise ve YouTube yıldızı Mr. Beast gibi ünlülerin deepfake’lerini içeren yanıltıcı reklam seli ile boğuşuyor.
Bu teknolojilerin gücü izleyiciler üzerinde derin bir etki yaratabilir. Bir dizi öneri geliştirmek için teknoloji ve medya şirketleriyle birlikte çalışan Partnership on AI’da yapay zeka ve medya bütünlüğü direktörü Claire Leibowicz, “Ses ve videonun hafızamızda metinden daha fazla yerleşmiş olabileceğini biliyoruz” dedi. Yapay zeka tarafından oluşturulan içeriği paylaşın ve dağıtın.
TikTok geçen ay, kullanıcıların videolarının yapay zeka kullanıp kullanmadığını belirtmek için seçebilecekleri bir etiket başlatacağını duyurmuştu. Nisan ayında uygulama, kullanıcıların gerçekçi sahneler içeren manipüle edilmiş medyayı ifşa etmelerini gerektirmeye başladı ve gençlere ve özel kişilere yönelik derin sahtekarlıkları yasakladı. TikTok’un yeni etiketleri formüle etme konusunda tavsiye istediği Massachusetts Teknoloji Enstitüsü’nden yönetim bilimi profesörü David G. Rand, konu yanlış bilgilendirme olduğunda etiketlerin kullanımının sınırlı olduğunu çünkü “deneyen insanların” hileli bir şekilde çalıştığını söyledi. şeyler etiketlenmeyecek.”
TikTok ayrıca geçen ay yapay zeka tarafından oluşturulan medyayı tespit etmek ve etiketlemek için otomatik araçları test ettiğini söyledi ve Rand bunun en azından kısa vadede daha yararlı olacağını söyledi.
YouTube, yapay zekanın siyasi reklamlarda kullanımını yasaklıyor ve yapay zeka kullanıldığında diğer reklamverenlerin reklamlarını etiketlemelerini zorunlu kılıyor. Facebook’un sahibi olan Meta, 2020’de doğruluk kontrol araç setine bir videonun “değiştirilip değiştirilmediğini” açıklayan bir etiket ekledi. Eskiden Twitter olarak bilinen X, yanıltıcı içerik politikalarını ihlal edecek şekilde “önemli ölçüde ve yanıltıcı şekilde değiştirilemez, manipüle edilemez veya uydurulamaz”. Şirket yorum taleplerine yanıt vermedi.
Bay Obama’nın yapay zeka sesi, saniyeler içinde gerçekçi ses üretebilen ücretsiz yapay zeka metin-konuşma aracıyla geçen yılın sonlarında uluslararası sahneye çıkan ElevenLabs şirketinin araçları kullanılarak oluşturuldu. Araç ayrıca kullanıcıların bir kişinin sesinin kayıtlarını yüklemesine ve dijital bir kopya oluşturmasına da olanak tanıdı.
Aracın piyasaya sürülmesinden sonra, sağcı mesaj panosu 4chan’ın kullanıcıları, aktris Emma Watson’ın Yahudi karşıtı bir mesaj okuduğu sahte bir versiyonunu düzenledi.
Merkezi New York City’de bulunan 27 çalışanlı bir şirket olan ElevenLabs, ses klonlama özelliğini ödeme yapan kullanıcılarla sınırlayarak bu kötüye kullanıma yanıt verdi. Şirket ayrıca, hizmetleri tarafından oluşturulan yapay zeka içeriğini tanımlayabilen bir yapay zeka algılama aracı da yayınladı.
Bir ElevenLabs temsilcisi bir e-posta açıklamasında “Platformumuzun kullanıcılarının yüzde 99’undan fazlası ilginç, yenilikçi ve faydalı içerik yaratıyor” dedi, “ancak kötüye kullanım örneklerinin olduğunun farkındayız ve bunları kontrol altına almak için sürekli olarak güvenlik önlemleri geliştirdik ve yayınladık”. ”
Haberler tarafından gerçekleştirilen testlerde ElevenLabs’ın dedektörü, TikTok hesaplarındaki ses verilerinin yapay zeka tarafından oluşturulduğunu başarıyla tespit etti. Ancak araç, klibe müzik eklendiğinde veya ses bozulduğunda başarısız oldu; bu da yanlış bilgi kaçakçılarının tespitten kolaylıkla kaçabileceğine işaret ediyor.
Yapay zeka şirketleri ve bilim insanları, sahte sesi tanımlamanın diğer yöntemlerini araştırdı ve karışık sonuçlar elde etti. Bazı şirketler, yapay zeka tarafından oluşturulduğunu gösteren sinyaller yerleştirerek yapay zeka sesine görünmez bir filigran eklemeye çalıştı. Diğerleri ise yapay zeka şirketlerini klonlanabilecek sesleri sınırlamaya ve muhtemelen Bay Obama gibi politikacıların kopyalarını yasaklamaya zorladı; bu, Dall-E gibi politik imajlar üretmeyi reddeden bazı imaj oluşturma araçlarında zaten mevcut olan bir uygulamadır.
Yapay Zeka Ortaklığı’ndan Bayan Leibowicz, görsel değişikliklere kıyasla sentetik sesi etiketlemenin dinleyiciler için özellikle zor olduğunu söyledi.
Bayan Leibowicz, “Eğer bir podcast olsaydık, her beş saniyede bir etikete ihtiyacınız olur muydu?” dedi. “Uzun bir ses parçasında tutarlı bir sinyali nasıl elde edersiniz?”
Platformlar yapay zeka dedektörlerini tanıtsa bile, yapay zeka üretimindeki ilerlemelere ayak uydurmak için teknolojinin sürekli olarak gelişmesi gerekecek.
TikTok, şirket içinde yeni keşif yöntemleri geliştirdiğini ve dış ortaklık seçeneklerini araştırdığını söyledi.
“Büyük teknoloji şirketleri, milyarlarca dolarlık, hatta trilyon dolarlık şirketler bunu yapamıyorlar mı? Bu beni çok şaşırtıyor,” dedi Michigan-Dearborn Üniversitesi’nde yapay zeka ses dedektörleri geliştiren profesör Hafız Malik. “Eğer kasıtlı olarak bunu yapmak istemezlerse? Bu anlaşılabilir bir durum. Ama yapamıyorlar mı? Bunu kabul etmiyorum.”
Sesin yapımcısı Adrienne Hurst.
“Hakkımda ileri sürülen iddiaların esasını anlayamasam da” diyen ses, “Herkesi birliğin, anlayışın ve aceleci hükümler vermemenin önemini hatırlamaya çağırıyorum.”
Aslında oy eski başkana ait değildi. Bu, yalnızca birkaç fare tıklamasıyla yapay zeka kuklaları oluşturmak için gerçek sesleri kopyalayabilen gelişmiş yeni araçlar kullanan yapay zeka tarafından üretilen ikna edici bir sahteydi.
Yapay zeka sesleri oluşturmak için kullanılan teknoloji, ElevenLabs gibi şirketlerin geçen yılın sonlarında bir dizi yeni araç piyasaya sürmesinden bu yana ilgi gördü ve yaygın bir şekilde tanındı. O zamandan bu yana, sahte ses, çevrimiçi yanlış bilgilendirme savaş alanında hızla yeni bir silah haline geldi ve içerik oluşturuculara komplo teorilerini ünlülerin, haber spikerlerinin ve politikacıların ağzına sunma fırsatı vererek 2024 seçimleri öncesinde siyasi dezenformasyonu körükleme tehdidinde bulundu.
Sahte ses, yapay zeka tarafından oluşturulan tehditleri “derin sahte” videolar, ChatGPT’den gelen insan benzeri metinler ve Midjourney gibi hizmetlerden gelen görüntülerle tamamlıyor.
Dezenformasyon gözlemcileri, içerik üreticileri ve yanlış bilgi tacirleri yeni araçları benimsedikçe, yapay zeka seslerinin yer aldığı videoların sayısının arttığını belirtti. TikTok gibi sosyal platformlar bu tür içerikleri işaretlemek ve etiketlemek için çaba gösteriyor.
Bay Obama’ya benzeyen video, çevrimiçi yanlış bilgileri izleyen bir şirket olan NewsGuard tarafından keşfedildi. Grubun Eylül ayında yayınladığı bir rapora göre video, NewsGuard’ın tespit ettiği asılsız iddiaları sahte ses içeriğiyle destekleyen 17 TikTok hesabından biri tarafından yayınlandı. Hesaplar çoğunlukla yapay zekanın sesiyle ünlü söylentileri hakkında videolar yayınladı, ancak aynı zamanda Bay Obama’nın eşcinsel olduğuna dair asılsız iddiayı ve Oprah Winfrey’in köle ticaretine karıştığı yönündeki komplo teorisini de yaydı. Kanalların toplu olarak yüz milyonlarca görüntüleme ve yorum alması, bazı izleyicilerin iddialara inandığını gösteriyor.
NewsGuard, ağların açık bir siyasi gündeme sahip olmamasına rağmen, yapay zeka seslerinin çoğunlukla müstehcen söylentileri ve söylentileri yaymak için kullanılmasının, kamuoyunu manipüle etmek ve yalanları çevrimiçi olarak kitlesel izleyicilere yaymak isteyen kötü aktörler için bir yol sağladığını söyledi.
NewsGuard’ın kurumsal editörü Jack Brewster, “Bu, bu hesapların ilgi ve geniş bir kitlenin ilgisini çekebilecek bir takipçi kitlesi kazanmasının bir yolu” dedi. “Geniş bir takipçi kitlesine sahip olacak kadar güvenilirliğe sahip olduklarında, daha fazla komplo içerikli içerikle meşgul olabilirler.”
TikTok, gerçekçi, yapay zeka tarafından oluşturulan içeriği sahte olarak tanımlayan etiketlere ihtiyaç duyuyor ancak bunlar NewsGuard tarafından işaretlenen videolarda görünmüyor. TikTok, politikaları ihlal ettiği, haber kuruluşlarını taklit ettiği ve zararlı yanlış bilgiler yaydığı gerekçesiyle birçok hesap ve videoyu kaldırdığını veya kullanımdan kaldırdığını söyledi. Ek olarak, Bay Obama’nın sesini taklit eden yapay zeka tarafından üretilen sesin yer aldığı video, değiştirilmiş veya sahte olarak kabul edilmeyen son derece gerçekçi içerik barındırdığı için TikTok’un sentetik medya politikasını ihlal ettiği gerekçesiyle kaldırıldı.
Yakın zamanda başlatılan TikTok’un sözcüsü Jamie Favazza, “TikTok, yaratıcılara yapay zeka tarafından oluşturulan içeriği etiketlemek için bir araç sunan ve sentetik medyanın sorumlu kullanımını teşvik etmek için yeni bir endüstri en iyi uygulamaları kurallarının kurucu üyesi olan ilk platformdur” dedi. Yapay Zekada Kâr Amacı Gütmeyen Ortaklığın Çerçevesini Oluşturun
NewsGuard’ın raporu giderek haber kaynağı haline gelen TikTok’a odaklansa da YouTube, Instagram ve Facebook’ta da benzer içeriklere rastlandı.
TikTok gibi platformlar, yanlış bilgi yaymadıkları sürece, haber spikerleri de dahil olmak üzere kamuoyuna mal olmuş kişilerin yapay zeka tarafından oluşturulan içeriklere izin veriyor. Bazıları ölmüş olan politikacılar, ünlüler veya iş dünyası liderleri arasında yapay zeka tarafından oluşturulan konuşmaları gösteren parodi videoları, araçların yaygınlaşmasından bu yana yaygınlaştı. Değiştirilmiş ses, Tom Cruise, Elon Musk ve Gayle King ve Norah O’Donnell gibi haber spikerlerinin sahte versiyonlarını zaten içeren platformlardaki yanıltıcı videolara yeni bir boyut katıyor. TikTok ve diğer platformlar son zamanlarda Bay Cruise ve YouTube yıldızı Mr. Beast gibi ünlülerin deepfake’lerini içeren yanıltıcı reklam seli ile boğuşuyor.
Bu teknolojilerin gücü izleyiciler üzerinde derin bir etki yaratabilir. Bir dizi öneri geliştirmek için teknoloji ve medya şirketleriyle birlikte çalışan Partnership on AI’da yapay zeka ve medya bütünlüğü direktörü Claire Leibowicz, “Ses ve videonun hafızamızda metinden daha fazla yerleşmiş olabileceğini biliyoruz” dedi. Yapay zeka tarafından oluşturulan içeriği paylaşın ve dağıtın.
TikTok geçen ay, kullanıcıların videolarının yapay zeka kullanıp kullanmadığını belirtmek için seçebilecekleri bir etiket başlatacağını duyurmuştu. Nisan ayında uygulama, kullanıcıların gerçekçi sahneler içeren manipüle edilmiş medyayı ifşa etmelerini gerektirmeye başladı ve gençlere ve özel kişilere yönelik derin sahtekarlıkları yasakladı. TikTok’un yeni etiketleri formüle etme konusunda tavsiye istediği Massachusetts Teknoloji Enstitüsü’nden yönetim bilimi profesörü David G. Rand, konu yanlış bilgilendirme olduğunda etiketlerin kullanımının sınırlı olduğunu çünkü “deneyen insanların” hileli bir şekilde çalıştığını söyledi. şeyler etiketlenmeyecek.”
TikTok ayrıca geçen ay yapay zeka tarafından oluşturulan medyayı tespit etmek ve etiketlemek için otomatik araçları test ettiğini söyledi ve Rand bunun en azından kısa vadede daha yararlı olacağını söyledi.
YouTube, yapay zekanın siyasi reklamlarda kullanımını yasaklıyor ve yapay zeka kullanıldığında diğer reklamverenlerin reklamlarını etiketlemelerini zorunlu kılıyor. Facebook’un sahibi olan Meta, 2020’de doğruluk kontrol araç setine bir videonun “değiştirilip değiştirilmediğini” açıklayan bir etiket ekledi. Eskiden Twitter olarak bilinen X, yanıltıcı içerik politikalarını ihlal edecek şekilde “önemli ölçüde ve yanıltıcı şekilde değiştirilemez, manipüle edilemez veya uydurulamaz”. Şirket yorum taleplerine yanıt vermedi.
Bay Obama’nın yapay zeka sesi, saniyeler içinde gerçekçi ses üretebilen ücretsiz yapay zeka metin-konuşma aracıyla geçen yılın sonlarında uluslararası sahneye çıkan ElevenLabs şirketinin araçları kullanılarak oluşturuldu. Araç ayrıca kullanıcıların bir kişinin sesinin kayıtlarını yüklemesine ve dijital bir kopya oluşturmasına da olanak tanıdı.
Aracın piyasaya sürülmesinden sonra, sağcı mesaj panosu 4chan’ın kullanıcıları, aktris Emma Watson’ın Yahudi karşıtı bir mesaj okuduğu sahte bir versiyonunu düzenledi.
Merkezi New York City’de bulunan 27 çalışanlı bir şirket olan ElevenLabs, ses klonlama özelliğini ödeme yapan kullanıcılarla sınırlayarak bu kötüye kullanıma yanıt verdi. Şirket ayrıca, hizmetleri tarafından oluşturulan yapay zeka içeriğini tanımlayabilen bir yapay zeka algılama aracı da yayınladı.
Bir ElevenLabs temsilcisi bir e-posta açıklamasında “Platformumuzun kullanıcılarının yüzde 99’undan fazlası ilginç, yenilikçi ve faydalı içerik yaratıyor” dedi, “ancak kötüye kullanım örneklerinin olduğunun farkındayız ve bunları kontrol altına almak için sürekli olarak güvenlik önlemleri geliştirdik ve yayınladık”. ”
Haberler tarafından gerçekleştirilen testlerde ElevenLabs’ın dedektörü, TikTok hesaplarındaki ses verilerinin yapay zeka tarafından oluşturulduğunu başarıyla tespit etti. Ancak araç, klibe müzik eklendiğinde veya ses bozulduğunda başarısız oldu; bu da yanlış bilgi kaçakçılarının tespitten kolaylıkla kaçabileceğine işaret ediyor.
Yapay zeka şirketleri ve bilim insanları, sahte sesi tanımlamanın diğer yöntemlerini araştırdı ve karışık sonuçlar elde etti. Bazı şirketler, yapay zeka tarafından oluşturulduğunu gösteren sinyaller yerleştirerek yapay zeka sesine görünmez bir filigran eklemeye çalıştı. Diğerleri ise yapay zeka şirketlerini klonlanabilecek sesleri sınırlamaya ve muhtemelen Bay Obama gibi politikacıların kopyalarını yasaklamaya zorladı; bu, Dall-E gibi politik imajlar üretmeyi reddeden bazı imaj oluşturma araçlarında zaten mevcut olan bir uygulamadır.
Yapay Zeka Ortaklığı’ndan Bayan Leibowicz, görsel değişikliklere kıyasla sentetik sesi etiketlemenin dinleyiciler için özellikle zor olduğunu söyledi.
Bayan Leibowicz, “Eğer bir podcast olsaydık, her beş saniyede bir etikete ihtiyacınız olur muydu?” dedi. “Uzun bir ses parçasında tutarlı bir sinyali nasıl elde edersiniz?”
Platformlar yapay zeka dedektörlerini tanıtsa bile, yapay zeka üretimindeki ilerlemelere ayak uydurmak için teknolojinin sürekli olarak gelişmesi gerekecek.
TikTok, şirket içinde yeni keşif yöntemleri geliştirdiğini ve dış ortaklık seçeneklerini araştırdığını söyledi.
“Büyük teknoloji şirketleri, milyarlarca dolarlık, hatta trilyon dolarlık şirketler bunu yapamıyorlar mı? Bu beni çok şaşırtıyor,” dedi Michigan-Dearborn Üniversitesi’nde yapay zeka ses dedektörleri geliştiren profesör Hafız Malik. “Eğer kasıtlı olarak bunu yapmak istemezlerse? Bu anlaşılabilir bir durum. Ama yapamıyorlar mı? Bunu kabul etmiyorum.”
Sesin yapımcısı Adrienne Hurst.