Penelitian tentang pembacaan bibir otomatis dalam bahasa Indonesia masih sangat sedikit dilakukan, apalagi yang meneliti dengan berbasis kepada pengenalan viseme dinamis. Di sisi lain, untuk meningkatkan akurasi suatu proses pengenalan, diperlukan suatu pengklasifikasi yang tepat untuk masalah yang dihadapi atau dengan menggunakan gabungan beberapa metode. Makalah ini bertujuan mengenali lima viseme dinamis dalam bahasa Indonesia dengan menggunakan pengklasifikasi Convolutional Neural Network (CNN) dan sebagai pembanding digunakan Multi Layer Perceptron (MLP). Beberapa parameter yang secara teoretis berpengaruh pada akurasi telah divariasi untuk mendapatkan hasil terbaik. Data penelitian adalah video pengucapan kata-kata sehari-hari dalam bahasa Indonesia yang diucapkan oleh 28 subjek dan direkam dari arah depan. Hasil terbaik pengenalan adalah akurasi validasi 96,44% untuk pengklasifikasi CNN dengan tiga lapisan konvolusi.

http://ejnteti.jteti.ugm.ac.id/index.php/JNTETI/article/download/433/354

Pengenalan Viseme Dinamis Bahasa Indonesia Menggunakan Convolutional Neural Network

/pdf/audiovisual-speech-perception-in-people-with-hearing-loss-m8bx46adcs.pdf

Audiovisual Speech Perception in People with Hearing Loss across Languages: A Systematic Review of English and Mandarin

The aspirate and pronunciation of a Chinese syllable is similar to an `olivary nucleus` and syllables are mildly connected by coarticulation. Accordingly a dynamic viseme model is presented. Inner-syllable visemes are described by initial-final phones, and inter-syllable visemes are determined by a hierarchical control function. Experimental results show improvement in naturalness of lip animation, as compared to the visual speech synthesis system based on triphones.

H. Li

Papers

Dynamic chinese viseme model based on phones and control function