Beyin İmplantları Artık Jestlerimizi de Çözebiliyor

Felçli bireylerin konuşma ve hareket girişimlerini aynı anda dijital bir avatara aktaran yeni teknoloji, insan iletişiminin sınırlarını yeniden düşündürüyor.

Birine heyecanla bir şey anlatırken ellerinizi arkanızda bağladığınızı düşünün. Kelimeler hâlâ yerinde, ancak anlatımınız, vurgunuz bir şekilde eksik kalabilir. Cümlenin vurgusu, şaşkınlığınızı gösteren bir el hareketi veya “şu kadar büyüktü” derken ellerinizle tarif ettiğiniz mesafe ortadan kalkar. İletişim yalnızca kelimelerden mi oluşur, yoksa beden hareketlerimiz de düşüncelerimizi ifade etme biçimimizin bir parçası mıdır? Bu soru, felç nedeniyle konuşma ve hareket becerilerini kaybeden bireyler için yalnızca teorik değil, günlük yaşamlarını doğrudan ilgilendiren bir mesele. Bir insanın düşüncelerini yazıya dökebilmesi önemli bir kazanım olsa da iletişim, çoğu zaman sözcüklerin ötesine geçiyor. El sallamak, bir nesnenin büyüklüğünü göstermek veya söylenen bir ifadeyi jestle desteklemek, konuşmaya farklı anlam katmanları ekliyor.

14 Eylül 2026'da Nature Neuroscience dergisinde yayımlanan yeni bir araştırma, bu çok katmanlı iletişimin beyin-bilgisayar arayüzleri aracılığıyla yeniden kurulmasına yönelik önemli bir adım attı. California Üniversitesi San Francisco (UCSF) araştırmacıları, tek bir beyin implantından elde edilen sinyalleri kullanarak konuşma ve jest girişimlerini eş zamanlı çözümleyebilen bir sistem geliştirdi.

Jestler Konuşmanın Yalnızca Bir Süsü mü?

Günlük yaşamda el hareketlerini çoğunlukla konuşmaya eşlik eden davranışlar olarak değerlendiririz. Ancak psikodilbilim araştırmaları, jestlerin yalnızca iletişimi süslemekten ibaret olmadığını gösteriyor.

Örneğin Jana Iverson ve Susan Goldin-Meadow'un 1998'de yayımladığı bir çalışma, doğuştan görme engelli bireylerin de konuşurken kendiliğinden jest yaptığını ortaya koydu. Üstelik bu davranış, karşılarındaki kişi de görme engelli olduğunda devam ediyor. Yani jest yapmak için başkalarının jestlerini gözlemleyerek öğrenmiş olmak veya hareketleri görebilecek bir dinleyicinin bulunması gerekmiyor.

Bu bulgu, jestlerin yalnızca karşıdaki kişiye görsel bilgi aktarmak amacıyla ortaya çıkmadığını düşündürüyor. El hareketleri, düşüncelerin düzenlenmesi ve ifade edilmesiyle de ilişkili olabilir. Bu nedenle doğal iletişimi yeniden kurmayı amaçlayan teknolojilerin yalnızca sözcüklere odaklanması, insanın kendini ifade etme biçiminin önemli bir bölümünü dışarıda bırakabilir.

Nöroteknolojinin Önceki Adımları

Beyin-bilgisayar arayüzleri (brain-computer interfaces, BCI), beyindeki elektriksel etkinliği kaydederek bu sinyalleri bir bilgisayarın işleyebileceği komutlara dönüştüren sistemlerdir. Özellikle ağır felç yaşayan ve konuşma becerisini kaybeden bireyler için geliştirilen bu teknolojiler ise son yıllarda ilerlemeler kaydetti.

UCSF'de Edward Chang liderliğindeki araştırma ekibi, 2023 yılında Nature dergisinde yayımladığı bir çalışmada, konuşma girişimlerinden elde edilen beyin sinyallerini metne ve yapay sese dönüştürebilen, aynı zamanda dijital bir yüz avatarını hareketlendirebilen bir sistem geliştirmişti. Bu çalışmada katılımcı, konuşma hareketlerini sessizce gerçekleştirmeye çalışırken, sistem ise ilgili sinirsel etkinlik örüntülerini analiz ederek hedeflenen ifadeyi tahmin ediyor.

Fakat insan iletişimi yalnızca konuşma organlarının hareketlerinden oluşmuyor, bütün bedenimizi kullanıyoruz. Bu noktada düşünmemiz gereken, hem konuşma hem de jestlerle ilişkili beyin sinyalleri aynı anda çözümlenebilir mi?

Yeni Araştırma: Tek İmplant, İki İletişim Kanalı

Samantha Brosler ve arkadaşlarının 2026 yılında yayımladığı araştırma, yüksek yoğunluklu elektrokortikografi (electrocorticography, ECoG) yönteminden yararlandı. Bu yöntemde elektrotlar cerrahi bir işlemle kafatasının içine, beynin yüzeyine yerleştirilerek kortikal elektriksel etkinlik kaydedildi. Çalışmada kullanılan implant, konuşma üretimi ve vücut hareketleriyle ilişkili geniş bir sensorimotor korteks bölgesinden sinyal toplayabildi.

Araştırmanın ilk aşamasında, farklı derecelerde felç yaşayan üç katılımcının konuşma ve çeşitli vücut hareketleriyle ilişkili sinirsel etkinlikleri incelendi. Ardından iki katılımcıyla konuşma ve jestleri birlikte çözümleyerek kişiselleştirilmiş dijital avatarları kontrol etmeye yönelik deneyler gerçekleştirildi.

Katılımcıların hareket becerileri ve kullandıkları stratejiler birbirinden farklıydı. Bu nedenle araştırmacılar, her katılımcı için farklı ifade ve jest kümeleri belirledi. Bravo-6 olarak kodlanan katılımcı için on konuşma ifadesi, on jest ve bunlardan oluşan yüz farklı konuşma-jest eşleşmesi kullanıldı. Bravo-1r olarak kodlanan diğer katılımcı ise beş konuşma ifadesi, dört jest ve on iki eşleşmeyle çalıştı. Görev sırasında katılımcılardan belirli ifadeleri söylemeyi ve jestleri gerçekleştirmeyi denemeleri istendi. Bravo-1r konuşmayı sessizce gerçekleştirmeye ve jestleri sınırlı hareketlerle yapmaya çalışırken, Bravo-6 sesli konuşma girişimlerinde bulundu ve jestleri zihninde canlandırdı.

Sistemde birbirine paralel çalışan iki ayrı yapay zekâ modeli bulunuyordu. Modellerden biri konuşmayla, diğeri jestlerle ilişkili sinirsel örüntüleri sınıflandırıyordu. Elde edilen bilgiler daha sonra katılımcılar için kişiselleştirilmiş tam vücutlu dijital avatarlara aktarılıyordu. Avatar, tahmin edilen jestleri ekranda gerçekleştirirken konuşma çıktısı metin olarak gösteriliyordu. Böylece katılımcılar, önceden belirlenmiş ifadeleri ve jestleri tek başına veya birlikte kullanarak dijital ortamda iletişim kurabiliyordu.

Sonuçlar Ne Kadar Başarılı Olabildi?

Bravo-6 katılımcısının aynı anda konuşma ve jest gerçekleştirmeyi denediği görevlerde, sistem konuşma ifadelerini yüzde 70, jestleri ise yüzde 66 doğrulukla sınıflandırdı.

Her iki modelin de on hedef sınıf ve bir dinlenme sınıfı arasında seçim yaptığı bu koşulda, rastgele tahmin düzeyi yaklaşık yüzde 9'du. Dolayısıyla elde edilen doğruluklar, sistemin ilgili sinirsel örüntülerden anlamlı bilgi çıkarabildiğini gösteriyordu. Araştırmacılar daha sonra sistemi, katılımcının önceden belirlenmiş bir ifadeyi yalnızca tekrar etmesi yerine bir sohbet sorusuna yanıt vermeyi denediği koşullarda da değerlendirdi. Bravo-6 için bu görevlerde ortalama doğruluk, konuşma ifadelerinde yüzde 75'e, jestlerde yüzde 85'e ulaştı. Daha küçük bir ifade ve jest kümesiyle çalışan Bravo-1r katılımcısında ise üç sohbet bloğu boyunca her iki modelin medyan doğruluğu yüzde 100 olarak hesaplandı.

Çalışmanın bir başka önemli sonucu, sistemin eğitim sırasında belirli bir konuşma-jest çifti olarak karşılaşmadığı eşleşmeleri de çözümleyebilmesiydi. Konuşma ve jestlerin olası bütün kombinasyonlarını ayrı ayrı öğretmenin pratikte zor olacağı düşünüldüğünde, bu bulgu gelecekte daha esnek iletişim sistemlerinin geliştirilmesi açısından önem taşıyor.

Konuşmak ve Jest Yapmak Beyinde Birbirinden Bağımsız mı?

Araştırmanın psikoloji ve bilişsel nörobilim açısından en dikkat çekici sonuçlarından biri, sistemin iki hareket türünü aynı anda çözümlemeye çalışırken karşılaştığı güçlüklerdi. Araştırmacılar başlangıçta konuşma ve jestleri birbirinden bağımsız görevlerde elde edilen verilerle eğittikleri modellerin, bu hareketler birlikte gerçekleştirilmeye çalışıldığında aynı başarıyı göstermediğini fark etti.

Bunun nedenlerinden biri, konuşma ve jestlerle ilişkili sinirsel etkinliğin sensorimotor kortekste kısmen örtüşmesiydi. Ayrıca aynı hareketin tek başına veya başka bir hareketle birlikte gerçekleştirilmeye çalışılması, kaydedilen etkinlik örüntülerini etkileyebiliyordu. Bu durum yalnızca sınıflandırma doğruluğunu azaltmakla kalmıyor, modeller arasında yanlış tetiklemelere de neden olabiliyordu. Örneğin yalnızca gerçek dinlenme örnekleriyle eğitilen modeller, katılımcı bir hareket türünü gerçekleştirmeye çalışırken diğer hareket türünün de gerçekleştiğini tahmin edebiliyordu. Bravo-1r katılımcısında, diğer hareket türünün denendiği koşullarda yanlış pozitif oranının medyanı yüzde 76'ya ulaştı.

Araştırmacılar bu sorunu azaltmak için modellerin eğitimine karşıt hareket türünden örnekler de ekledi. Böylece konuşma modeline yalnızca gerçek dinlenme değil, jest girişimleri de konuşmanın bulunmadığı örnekler olarak öğretildi. Aynı yaklaşım jest modeli için de uygulandı. Bu düzenleme, diğer hareket türünün denendiği koşullarda yanlış tetiklemeleri belirgin biçimde azalttı.

Peki, bu sonuç bize insan bilişi hakkında ne söylüyor?

Konuşma ve jestler, sinirsel düzeyde tamamen bağımsız iki süreç olmayabilir. Ancak bu çalışmadan, her iki davranışın tek bir ortak zihinsel mekanizmaya dayandığı sonucunu çıkarmak mümkün değil. Araştırmanın asıl gösterdiği şey, konuşma ve jestlere ilişkin sinirsel örüntülerin davranışın gerçekleştiği bağlamdan etkilenebildiği ve bu bağlamın yapay zekâ modellerinin eğitiminde dikkate alınması gerektiği.

Sistem Gerçekten Beden Dilimizi Okuyor mu?

Günlük dilde beden dili denildiğinde çoğunlukla yüz ifadeleri, duruş, duygularımızı yansıtan hareketler veya farkında olmadan gerçekleştirdiğimiz davranışlar akla geliyor. Ancak yeni geliştirilen sistem, bir kişinin gizli duygularını veya bilinçdışı beden hareketlerini çözümlemiyor. Bunun yerine, belirli bir konuşma ifadesini veya jesti gerçekleştirmeye yönelik girişimlerle ilişkili beyin sinyallerini sınıflandırıyor.

Dolayısıyla burada söz konusu olan şey bir düşünce okuma teknolojisi değil, hareket üretimiyle ilişkili sinirsel etkinliği önceden öğrenilmiş kategorilere dönüştüren bir sistem. Teknoloji ise henüz oldukça sınırlı. Sistem, katılımcıların istedikleri herhangi bir cümleyi kurmasına veya serbest biçimde hareket etmesine olanak tanımıyor. İletişim, eğitim sırasında tanımlanmış ifadeler ve jestler üzerinden gerçekleşiyor.

Gerçek yaşamda kullanılabilecek bir arayüz için daha geniş kelime dağarcıkları, daha esnek hareket kontrolü ve daha hızlı, güvenilir çözümleme yöntemleri gerekiyor.

Psikolojinin Henüz Yanıtlamadığı Sorular

Benlik algısı ve beden sahipliği

Bir insan, kendi beyin etkinliğiyle kontrol ettiği dijital bir bedeni zaman içerisinde ne ölçüde kendisinin bir uzantısı olarak deneyimler? Botvinick ve Cohen'in 1998 yılında ortaya koyduğu sahte el yanılsaması, görsel ve dokunsal bilgilerin belirli koşullarda birleştirilmesinin, kişinin kendisine ait olmayan bir eli bedeniyle ilişkili algılamasına neden olabildiğini göstermişti. Ancak felçli bir bireyin beyin sinyalleriyle yönettiği dijital bir avatarı nasıl deneyimleyeceği ayrı bir araştırma sorusu. Bu sistemde avatarı kontrol edebilmek, otomatik olarak beden sahipliği hissinin ortaya çıkacağı anlamına gelmiyor.

Karşıdaki kişinin algısı

İletişim iki taraflı bir süreçtir, bu nedenle teknolojinin başarısını değerlendirirken yalnızca kullanıcının ne kadar doğru ifade üretebildiğine odaklanmak yeterli olmayabilir. Karşıdaki kişi dijital avatarın jestlerini ne kadar doğal bulur? Sözcüklerin ve hareketlerin eş zamanlı sunulması, mesajın daha anlaşılır veya daha kişisel algılanmasını sağlar mı?

Özerklik ve ifade özgürlüğü

Belki de en önemli mesele, bireyin kendi iletişimi üzerindeki kontrolüdür. Bir kişi yalnızca sistemin önceden tanımladığı jestleri ve ifadeleri kullanabiliyorsa, ne ölçüde kendi seçtiği biçimde iletişim kurabiliyordur? Teknoloji geliştikçe yalnızca doğruluğun değil, kullanıcının tercihlerini ne kadar yansıttığının, hata yaptığında nasıl düzeltilebildiğinin ve iletişimin kontrolünün kimde olduğunun da değerlendirilmesi gerekecek. Bu soruların yanıtlarını mevcut araştırma vermiyor. Ancak nöroteknolojinin ilerleyişi, psikolojinin insan deneyimine ilişkin bu temel meselelerini giderek daha önemli hâle getiriyor.

Sonuç: İletişimi Geri Kazanmak Ne Anlama Geliyor?

İnsan iletişiminin kelimelerden daha fazlasını içerdiği fikri psikoloji için yeni değil. Ancak bu çok katmanlı yapının beyin sinyallerinden yararlanılarak yeniden oluşturulması, nöroteknoloji açısından önemli bir gelişme. Brosler ve arkadaşlarının çalışması, tek bir kortikal implanttan kaydedilen sinyallerle konuşma ve jest girişimlerinin aynı anda çözümlenebileceğini ve bu çıktıların dijital bir avatar aracılığıyla ifade edilebileceğini gösteriyor.

Elbette mevcut sistem, doğal insan iletişiminin karmaşıklığını henüz karşılamıyor. Sınırlı sayıda katılımcı, önceden belirlenmiş ifadeler ve kontrollü deney koşulları, sonuçların günlük yaşama genellenmesinde dikkatli olunması gerektiğini hatırlatıyor. Yine de araştırmanın en önemli katkısı, iletişimi yeniden kazanmanın ne anlama geldiği üzerine düşünmemizi sağlaması.

Çünkü iletişim kurabilmek yalnızca bir mesajı karşı tarafa ulaştırmak değildir. Bazen bir selamı el hareketiyle tamamlamak, anlatılan bir hikâyeye jestlerle eşlik etmek veya düşüncelerimizi kendi seçtiğimiz biçimde ifade edebilmek de aynı derecede önemlidir. Belki de geleceğin beyin-bilgisayar arayüzleri için asıl hedef, insanlara yalnızca yeniden konuşma imkânı sunmak değil, kendilerini mümkün olduğunca doğal, kişisel ve özgür biçimde ifade edebilecekleri araçlar geliştirmek olacaktır.

Kaynakça

• Brosler, S. C., Liu, J. R., Silva, A. B., et al. (2026). Simultaneous speech and gesture decoding for multimodal communication in paralysis. Nature Neuroscience, 29, 2445–2455. https://doi.org/10.1038/s41593-026-02446-2
• Metzger, S. L., et al. (2023). A high-performance neuroprosthesis for speech decoding and avatar control. Nature, 620, 1037–1046. https://doi.org/10.1038/s41586-023-06443-4 Neuroscience: Brain implant brings speech and gestures together (Nature Neuroscience). (z.d.). Nature Portfolio. https://www.natureasia.com/en/info/press-releases/detail/9440
• Iverson, J. M., & Goldin-Meadow, S. (1998). Why people gesture when they speak. Nature, 396, 228. https://doi.org/10.1038/24300
• Botvinick, M., & Cohen, J. (1998). Rubber hands ‘feel’ touch that eyes see. Nature, 391, 756. https://doi.org/10.1038/35784
• Yee, N., & Bailenson, J. (2007). The Proteus effect: The effect of transformed self-representation on behavior. Human Communication Research, 33(3), 271–290. https://doi.org/10.1111/j.1468-2958.2007.00299.x