Bilgisayarla Görme Araştırma Laboratuvarı

Bilgisayar Mühendisliği Bölümü
Elektrik Elektronik Fakültesi
Yıldız Teknik Üniversitesi
Araştırmalar >> Türk İşaret Dili Tanıma

Türk İşaret Dili Tanıma

İşaret dilleri, işitme engellilerin birbirleri ile iletişim ve etkileşimlerde kullandıkları görsel dillerdir. Bu görsel diller; parmak, el, kol hareketleri ve yüz ifadelerinden oluşur. İşaret dilleri, tıpkı konuşma dilleri gibi ülkelere göre değişiklikler gösterirler ve kendilerine has belirli dilbilgisi yapılarına sahiptirler. Türk İşaret Dili (TİD) de, ülkemizdeki işitme engelli çocuk, genç ve yetişkin yurttaşlarımızın iletişim dilidir.

TİD’ye ait işaret dili kelimelerinin bilgisayar destekli olarak otomatik tanınması üzerine gerçekleştirdiğimiz bu proje kapsamında, TİD’ye ait ayrık işaret dili hareketleri RGB ve derinlik haritası video görüntüleri üzerinden başarılı bir biçimde tanınmıştır.

Yürütülen çalışmalarda, Yıldız Teknik Üniversitesi, Elektrik-Elektronik Fakültesi, Bilgisayar Mühendisliği Bölümü ve İşitme Engelliler Federasyonu işbirliği ile 2012-2013 yılları arasında oluşturulan YTÜ-CE Türk İşaret Dili veritabanı kullanılmıştır. Oluşturulan TİD veritabanında yer alan kelimelere ait görüntüler Microsoft XBOX 360 oyun konsolu için tasarlanmış olan Kinect algılayıcı ile çekilmiş ve AVI video görüntü formatında kaydedilmiştir. İlgili veritabanı, tamamı işitme engelli uzman kişiler tarafından ifade edilen ayrık işaretlere ait RGB video görüntülerinden ve bu görüntülere karşılık gelen derinlik haritalarından oluşmaktadır. Veritabanında yer alan işaretler, 3 farklı işitme engelli işaretçi tarafından ortalama 3 tekrar ile gerçekleştirilmiştir. Veritabanında 3 farklı kelime kategorisi altında toplanmış 111 ayrık kelimeye ait toplamda 1002 RGB video görüntüsü ve 1002 adet derinlik haritası görüntüsü mevcuttur. Şekil 1’de “günaydın” kelimesi için ardışıl RGB ve derinlik haritası video çerçeveleri sunulmuştur.


Şekil 1. YTU-CE Türk İşaret Dili (TİD) veritabanında “günaydın” kelimesine ait ardışıl RGB ve derinlik haritası video çerçeveleri.


YTÜ-CE Türk İşaret Dili veritabanında yer alan kelime kategorileri, bu kategorilerdeki kelime sayılarının dağılımları ve veritabanından örnek kelimeler aşağıda sunulmuştur:

YTÜ-CE Türk İşaret Dili veritabanı kelime kategorileri
Kategori-1: Günlük konuşma terimleri (22 kelime)
Kategori-2: Zaman terimleri (58 kelime)
Kategori-3: Meslekler (31 kelime)

Tablo 1. YTÜ-CE Türk İşaret Dili (TİD) veritabanından seçilmiş kelime örnekleri.
Kategori – 1 (Günlük konuşma terimleri) Kategori – 2 (Zaman terimleri) Kategori – 3 (Meslekler)
Günaydın Bazen Mühendis
Merhaba Cuma Elektrikçi
Teşekkürler Ocak Öğretmen
İyiyim Yaz Öğrenci

YTÜ-CE Türk İşaret Dili veritabanı, başta işaret dili ve hareket tanıma üzerine çalışma yürüten araştırmacılar olmak üzere akademik çalışma yürüten tüm araştırmacıların kullanımına açıktır. YTÜ-CE Türk İşaret Dili veritabanına erişmek için araştırma grubumuzla iletişime geçebilirsiniz.

Bilgilendirme

Bu çalışma Yıldız Teknik Üniversitesi Bilimsel Araştırma Projeleri Koordinatörlüğü tarafından 2012-04-01-YL03 numaralı proje kapsamında desteklenmiştir. İşitme Engelliler Federasyonu başkanı sayın Muammer Ay’a ve Hakan Kınık’a, Selman Karadoğan’a, Murat, Ahmet ve Zübeyir Bey’e YTÜ-CE Türk İşaret Dili veritabanının oluşturulmasına katkılarından dolayı teşekkür ederiz.

Yayın Anahtarı
    Memis, A., Albayrak, S.
  1. A Kinect based sign language recognition system using spatio-temporal features
  2. Turkish Sign Language recognition using spatio-temporal features on Kinect RGB video sequences and depth maps
Araştırmacılar:: Songul Varli Albayrak - Abbas Memiş
Sponsor: -
Tarih:: Ocak 2012 - Haziran2013