Ini Dia Avatar Digital yang Bisa Berbicara dengan Pikiran! Penemuan Terbaru yang Mengubah Cara Kita Berkomunikasi

Para peneliti di UC San Francisco dan UC Berkeley telah mengembangkan antarmuka otak-komputer (Brain-Computer Interface atau disingkat BCI) yang telah memungkinkan seorang wanita yang menderita lumpuh parah akibat stroke batang otak untuk berbicara. Cara berbicaranya cukup unik dan revolusioner, yakni melalui avatar digital.

Ini adalah kali pertama baik ucapan maupun ekspresi wajah telah disintesis dari sinyal otak. Sistem ini juga dapat mendekode sinyal-sinyal ini menjadi teks pada kecepatan hampir 80 kata per menit, sebuah peningkatan besar dibandingkan dengan teknologi yang tersedia secara komersial.

Edward Chang, MD, ketua bedah saraf di UCSF, yang telah bekerja pada teknologi yang dikenal sebagai antarmuka otak komputer (BCI) selama lebih dari satu dekade, berharap terobosan penelitian terbaru ini akan mengarah pada sistem yang disetujui oleh FDA (Badan Pengawas Obat dan Makanan Amerika Serikat) yang memungkinkan berbicara melalui sinyal otak dalam waktu dekat.Penelitian tersebut dipublikasikan pada tanggal 23 Agustus 2023, di jurnal ilmiah Nature berjudul “A high-performance neuroprosthesis for speech decoding and avatar control”.

Teknologi Antarmuka Otak-Komputer (BCI) adalah terobosan canggih dalam dunia ilmu pengetahuan dan teknologi yang memungkinkan komunikasi langsung antara otak manusia dan perangkat elektronik, seperti komputer atau perangkat lainnya. Dalam istilah yang lebih sederhana, BCI memungkinkan seseorang untuk mengontrol perangkat dengan menggunakan pikiran mereka. BCI bekerja dengan cara mendeteksi dan menerjemahkan sinyal-sinyal elektrik yang dihasilkan oleh otak. Otak menghasilkan sinyal ini ketika kita berpikir, merasa, atau melakukan berbagai aktivitas mental. Sinyal-sinyal ini kemudian diolah oleh perangkat lunak dan perangkat keras khusus yang terhubung dengan otak, dan hasilnya dapat digunakan untuk melakukan tindakan tertentu.

Dilansir dari sciencedaily.com, “Tujuan kami adalah mengembalikan cara berkomunikasi secara penuh dan menyeluruh, yang pada dasarnya merupakan cara yang paling alami bagi kita untuk berbicara dengan orang lain,” kata Chang. “Peningkatan-peningkatan ini membawa kami jauh lebih dekat untuk menjadikan ini sebagai solusi nyata bagi pasien”, lanjut Chang.

Tim Chang sebelumnya telah berhasil menunjukkan bahwa memungkinkan untuk mendekode sinyal otak menjadi teks pada seorang pria yang juga pernah mengalami stroke batang otak bertahun-tahun sebelumnya. Studi saat ini menunjukkan sesuatu yang lebih ambisius: mendekode sinyal otak menjadi ucapan, bersama dengan gerakan-gerakan yang menghidupkan wajah seseorang selama percakapan.

Chang menanamkan bingkai tipis seperti kertas yang berisi 253 elektroda ke permukaan otak wanita yang menderita lumpuh parah akibat stroke batang di daerah-daerah yang timnya telah temukan sangat penting untuk bicara. Elektroda-elektroda ini meneruskan sinyal-sinyal otak yang, jika bukan karena stroke, akan menuju otot-otot di lidah, rahang, dan pita suara, serta wajahnya. Kabel yang terhubung ke port yang terpasang di kepalanya menghubungkan elektroda-elektroda ini ke sekelompok komputer.

Selama berbulan-bulan, peserta bekerja dengan tim untuk melatih algoritma kecerdasan buatan sistem untuk mengenali sinyal otak uniknya untuk bicara. Ini melibatkan mengulang-ulang frasa-frasa berbeda dari kosakata percakapan yang terdiri dari 1.024 kata berulang-ulang, sampai komputer mengenali pola aktivitas otak yang terkait dengan bunyi-bunyian tersebut.

Alih-alih melatih kecerdasan buatan untuk mengenali kata-kata secara keseluruhan, para peneliti menciptakan sistem yang mendekode kata-kata dari fonem. Fonem adalah sub-unit dari ucapan yang membentuk kata-kata yang diucapkan, sama seperti huruf-huruf membentuk kata-kata tertulis. “Halo,” misalnya, terdiri dari empat fonem: “HH,” “AH,” “L,” dan “OW.”

Dengan pendekatan ini, komputer hanya perlu mempelajari 39 fonem untuk mendekripsi kata apa pun dalam bahasa Inggris. Ini tidak hanya meningkatkan akurasi sistem tetapi juga membuatnya tiga kali lebih cepat.

Keakuratan, kecepatan, dan kosakata sangat penting. Karena hal inilah yang memberi pasien sebuah potensi, suatu saat nanti, untuk berkomunikasi hampir secepat orang normal melakukannya, dan memiliki percakapan yang jauh lebih alami. Untuk membuat suara, tim ini merancang algoritma untuk mensintesis ucapan, yang mereka sesuaikan agar terdengar seperti suaranya sebelum cedera, menggunakan rekaman suara saat dia berbicara pada hari pernikahannya.

Tim ini menganimasikan avatar dengan bantuan perangkat lunak yang mensimulasikan dan menganimasikan gerakan-gerakan otot wajah, yang dikembangkan oleh Speech Graphics, sebuah perusahaan yang membuat animasi wajah berbasis kecerdasan buatan. Para peneliti membuat proses pembelajaran mesin yang disesuaikan yang memungkinkan perangkat lunak perusahaan tersebut berinteraksi dengan sinyal-sinyal yang dikirimkan dari otak wanita tersebut saat dia mencoba berbicara, dan mengubahnya menjadi gerakan-gerakan pada wajah avatar, membuat mulut terbuka dan menutup, bibir menonjol dan mengerut, lidah naik dan turun, serta gerakan-gerakan wajah untuk kebahagiaan, kesedihan, dan kejutan.

Langkah penting berikutnya bagi tim adalah menciptakan versi nirkabel yang tidak akan memerlukan pengguna untuk terhubung secara fisik melalui ke BCI.

Referensi:

Metzger, S.L., Littlejohn, K.T., Silva, A.B. et al. A high-performance neuroprosthesis for speech decoding and avatar control. Nature (2023). https://doi.org/10.1038/s41586-023-06443-4