Engelli Çocukların İletişim Bariyerlerini Yapay Zekâ ile Aşmak

Bilgisayar ve Bilişim Fakültesi öğretim üyemiz Prof. Dr. Hatice Köse 2023 yılında ilk kez verilen EELISA Çeşitlilik Ödülü’nün sahibi oldu. Prof. Dr. Köse, çalışmaları ve bu ödülün önemi üzerine merak edilenleri yanıtladı.

İTÜ Yapay Zekâ ve Veri Mühendisliği Bölümü öğretim üyemiz Prof. Dr. Hatice Köse, EELISA tarafından 2023 yılında hayata geçirilen EELISA Çeşitlilik Ödülü’nün ilk kazananı oldu. Ödül, 5-6 Ekim 2023’te Bükreş’te gerçekleştirilen EELISA Uluslararası Konferansı’nda Prof. Dr. Köse’ye takdim edildi.

“Engelli çocuklar için yapay zekâ tabanlı yardımcı sistemler geliştirmesi” başlıklı “iyi uygulama”sıyla (good practice) ödülün sahibi olan Prof. Dr. Köse, EELISA Merkezi İletişim Ofisi’nin sorularını yanıtladı.

 

İTÜ’deki Bilişsel ve Sosyal Robotik Grubu’nun kurucusu olarak, grubun geçmişi ve yapısı hakkında bilgi verebilir misiniz?

Grubumuz yapay zekâ ve veri mühendisliği, robotik, bilgisayar mühendisliği, oyun, makine mühendisliği, elektrik ve elektronik mühendisliği, biyomedikal mühendisliği ve mimarlık alanlarından araştırmacılar, lisans ve lisansüstü öğrencileri ile gönüllü olarak laboratuvarımızın bir parçası olan ve çalışmalarda yer alan psikolog ve sanatçılardan oluşuyor. Ana hedefimiz yardımcı robotlar, yapay zekâ, sensörler ve oyunların engelli çocukların terapi ve eğitiminde kullanılmasıdır.

Kadın öğrencileri ve araştırmacıları çalışmalarda yer almaları için teşvik ediyoruz ve ekibimizin çoğunluğu kadın üyelerden oluşuyor. Yüksek lisans öğrencilerimiz grubumuzda çok önemli bir rol oynuyor, sistemleri birlikte tasarlıyoruz; aynı zamanda yazılım ve yapay zekâ altyapısını geliştiriyorlar ve çocuklarla etkileşim çalışmalarında yer alıyorlar.

Araştırma grubunuzda, robotik ve yapay zekâ tabanlı çözümler üretmek için otizmli veya işitme engelli çocukların yanı sıra aileleri, terapistleri ve öğretmenleriyle işbirliği yapıyorsunuz. Bu çok aktörlü ve disiplinle arası etkileşimin nasıl etkili bir şekilde uygulandığını açıklayabilir misiniz?

Biz mühendisiz; robotik sistemler, derin öğrenme tabanlı uygulamalar ve ciddi oyunlar tasarlayabilir ve geliştirebiliriz, ancak sorunların doğasını ve gereksinimlerini anlamak için farklı alanlardan uzmanlarla işbirliği yapmaya ihtiyacımız var. Her projede işbirliği yaptığımız farklı alanlardan paydaşları dinliyor, sorunu, gereksinimleri öğrenmeye çalışıyor ve birlikte teknoloji tabanlı çözümler üretmeye çalışıyoruz. Hastaneleri ziyaret ediyor, tedavi seanslarını izliyor, ailelerle konuşuyoruz. Çalışmaları şekillendirmek için birkaç tur gerekiyor. En önemli şey, çocuklar tarafından kabul edilebilecek ve kullanılabilecek bir sistem oluşturmak. Çocuklar sistemi sevmezlerse kullanmazlar ve fayda görmezler. Bu nedenle standart testlerimizde kullandığımız katı laboratuvar düzenekleri ya da yüksek işlem gücü gerektiren derin öğrenme yöntemleri veya kullanıcının 10 dakika boyunca hareketsiz kalmasını gerektiren çok hassas bir göz takip cihazı çalışmada hiçbir işe yaramayacaktır. Çocuklar, aileleri, terapistler ve öğretmenlerden oluşan son kullanıcınızı tanımanız önemlidir. Örneğin bir çocuk robotumuzla oynamayı reddetti ve çalışmayı terk etti, çünkü bunun bir transformatör robot olmadığını ve çocuğun evdeki plastik oyuncağı gibi “Bumblebee”ye dönüşemediğini söyledi.

“Bir sosyal destek sistemi”

Bu çalışmanın temel amacı çocukların eğitim ve sağlıklarını desteklemek. Bize bu hedefle uyumlu bir uygulama örneği verebilir misiniz?

“Emboa: Otizmli Çocuklar için Bir Müdahale Aracı Olarak Sosyal Yardımcı Robotikte Duygusal Döngü” başlıklı Erasmus+ projemizde, otizmli çocukların terapisinde sosyal bir insansı robotun kullanımını araştırdık ve bu çalışmayı duygusal bilişim teknolojileriyle zenginleştirdik. Burada, robotla etkileşimleri sırasında çocukların duygularını ve streslerini tespit etmek ve araştırmacılar, terapistler ve aileler için kılavuzlar tanımlamak için yapay zekâ tabanlı yaklaşımlar geliştirdik.

Diğer projemiz “Roborehab: Çocuklar için Yardımcı Odyoloji Robotu” projemizde, Pepper insansı robot kullanarak hastanelerin odyoloji birimlerinde işitme bozukluğu olan çocuklara işitme testleri uygulayabilen ve bu testler sırasında duygu, dikkat ve stresi yapay zekâ tabanlı yöntemlerle tespit edebilen bir sistem geliştirdik. Çocuklar testler için hastanedeyken stresli veya olumsuz duygulara kapılıyorlardı; bu da soruları doğru cevaplamalarını engelliyor ve işitme kayıplarının seviyesini doğru bir şekilde elde edememelerine neden oluyordu. Motivasyonumuz, sağlık testlerinde streslerini izlemek, azaltmak ve motivasyonlarını artırmak için sosyal ve duygusal bir robot ve etkileşimli oyunlar geliştirmekti.

Bu çalışmalarda, çocuklara eğitim veya sağlıkla ilgili materyalleri vermek, motivasyonlarını ve dikkatlerini desteklemek için sosyal robotlar ve etkileşim oyunları kullanılırken, çocukları anlamak ve çocukları daha iyi desteklemek için robota geri bildirim vermek için yapay zekâ tabanlı teknikler (derin öğrenme modelleri gibi) ve sensörler kullanılmaktadır. Her çocuk benzersizdir ve teknoloji eğitim ve sağlığı çocukların ihtiyaçlarına ve beğenilerine daha iyi uyarlamamıza yardımcı olur.

Deneyimlerinize dayanarak, bilişsel ve sosyal robotların uygulanmasının daha eşitlikçi bir topluma ulaşılmasına nasıl katkıda bulunabileceğini öngörüyorsunuz?

Bu çocuklar toplumun geri kalanıyla aynı yaratıcılığa, zekâya, umutlara ve hayallere sahipler, sadece standart eğitim materyallerini kullanamıyorlar veya geri kalanımız gibi iletişim kuramıyorlar, bu da onları izole ediyor ve toplumla aralarında bir uçurum oluşturuyor.

Bilişsel ve sosyal robotların, çocukların robotlarla etkileşimlerinden öğrendiklerini toplumdaki diğer insanlarla etkileşimlerine aktarmalarına yardımcı olmak ve toplumla aralarındaki bu uçurumu azaltmak için bir sosyal destek sistemi olarak kullanılabileceğine inanıyorum.

EELISA Çeşitlilik Ödülü’nü almanın hem grubunuzun projesinin gelişimine hem de profesyonel kariyerinize nasıl katkıda bulunacağına inanıyorsunuz?

EELISA Çeşitlilik Ödülü’nü almak bize projemizin önemli olduğunu ve bir etkisi olduğunu gösteriyor ve bu konuda daha fazla ilerlememiz için bizi motive ediyor. Özellikle mühendislik alanında çalışan bir kadın olarak desteklendiğimi hissettim ve bu da beni gelecekte diğer Avrupa kurumları ve araştırmacılarla işbirliği içinde benzer projelerde yer almaya teşvik etti. Bu ödülün kariyerimde önemli bir etkisi olacağına inanıyorum.

 

EELISA Çeşitlilik Ödülü nedir?

EELISA Avrupa Üniversitesi; çeşitlilik konusuna kendisini adamış araştırmacıları takdir etmek amacıyla hayata geçirilen yenilikçi ve iyi uygulamaları, 2023 yılında ilk defa “EELISA Çeşitlilik Ödülü” ile ödüllendirmeye başlamıştır. EELISA Cinsiyet ve Çeşitlilik Çalışma Grubu, bu ödülün kazananının seçiminden sorumludur. İyi uygulama, işgücü arasında çeşitliliğin, katılımın ve kültürel yeterlilik gelişiminin önemli ölçüde desteklenmesine katkısı; iyi uygulamanın yenilikçi karakteri; diğer paydaşlarla etkileşim ve işbirliği ödülün verilmesinde dikkate alınan kriterlerdir. 

Prof. Dr. Hatice Köse hakkında

İTÜ Bilgisayar ve Bilişim Fakültesi’nde öğretim üyesi olarak görev yapmaktadır. Aynı zamanda İTÜ Yapay Zekâ ve Veri Mühendisliği Bölüm Başkanlığı görevini üstlenmektedir. 2010’dan beri GameLab ve Bilişsel Sosyal Robotik Laboratuvarı’nı koordine etmektedir. Doktora derecesini Boğaziçi Üniversitesi Bilgisayar Mühendisliği Bölümü’nden almıştır. 2006-2010 yılları arasında Hertfordshire Üniversitesi’nde araştırma görevlisi olarak çalışmıştır. Mevcut araştırmaları; işitme engelli ve OSB’li çocukların eğitimi ve rehabilitasyonu için sosyal insansı robotlarla jest iletişimi (işaret dilini içeren) ve taklit tabanlı etkileşim oyunlarına odaklanmaktadır. Sosyal yardımcı robotlar, işaret dili öğreten robotlar ve insan-robot etkileşimi üzerine çeşitli ulusal projelere liderlik etmekte ve çeşitli Horizon2020 projelerinde, Erasmus + ve COST eylemlerinde yer almaktadır.