Pilihan Editor

Ini Dia Avatar Digital yang Bisa Berbicara dengan Pikiran! Penemuan Terbaru yang Mengubah Cara Kita Berkomunikasi

Para peneliti di UC San Francisco dan UC Berkeley telah mengembangkan antarmuka otak-komputer (Brain-Computer Interface atau disingkat BCI) yang telah memungkinkan seorang wanita yang menderita lumpuh parah akibat stroke batang otak untuk berbicara. Cara berbicaranya cukup unik dan revolusioner, yakni…

Bagikan artikel ini
WhatsApp Email

Para peneliti di UC San Francisco dan UC Berkeley telah mengembangkan antarmuka otak-komputer (Brain-Computer Interface atau disingkat BCI) yang telah memungkinkan seorang wanita yang menderita lumpuh parah akibat stroke batang otak untuk berbicara. Cara berbicaranya cukup unik dan revolusioner, yakni melalui avatar digital.

Ini adalah kali pertama baik ucapan maupun ekspresi wajah telah disintesis dari sinyal otak. Sistem ini juga dapat mendekode sinyal-sinyal ini menjadi teks pada kecepatan hampir 80 kata per menit, sebuah peningkatan besar dibandingkan dengan teknologi yang tersedia secara komersial.

Edward Chang, MD, ketua bedah saraf di UCSF, yang telah bekerja pada teknologi yang dikenal sebagai antarmuka otak komputer (BCI) selama lebih dari satu dekade, berharap terobosan penelitian terbaru ini akan mengarah pada sistem yang disetujui oleh FDA (Badan Pengawas Obat dan Makanan Amerika Serikat) yang memungkinkan berbicara melalui sinyal otak dalam waktu dekat.Penelitian tersebut dipublikasikan pada tanggal 23 Agustus 2023, di jurnal ilmiah Nature berjudul “A high-performance neuroprosthesis for speech decoding and avatar control”.

Teknologi Antarmuka Otak-Komputer (BCI) adalah terobosan canggih dalam dunia ilmu pengetahuan dan teknologi yang memungkinkan komunikasi langsung antara otak manusia dan perangkat elektronik, seperti komputer atau perangkat lainnya. Dalam istilah yang lebih sederhana, BCI memungkinkan seseorang untuk mengontrol perangkat dengan menggunakan pikiran mereka. BCI bekerja dengan cara mendeteksi dan menerjemahkan sinyal-sinyal elektrik yang dihasilkan oleh otak. Otak menghasilkan sinyal ini ketika kita berpikir, merasa, atau melakukan berbagai aktivitas mental. Sinyal-sinyal ini kemudian diolah oleh perangkat lunak dan perangkat keras khusus yang terhubung dengan otak, dan hasilnya dapat digunakan untuk melakukan tindakan tertentu.

Dilansir dari sciencedaily.com, “Tujuan kami adalah mengembalikan cara berkomunikasi secara penuh dan menyeluruh, yang pada dasarnya merupakan cara yang paling alami bagi kita untuk berbicara dengan orang lain,” kata Chang. “Peningkatan-peningkatan ini membawa kami jauh lebih dekat untuk menjadikan ini sebagai solusi nyata bagi pasien”, lanjut Chang.

Tim Chang sebelumnya telah berhasil menunjukkan bahwa memungkinkan untuk mendekode sinyal otak menjadi teks pada seorang pria yang juga pernah mengalami stroke batang otak bertahun-tahun sebelumnya. Studi saat ini menunjukkan sesuatu yang lebih ambisius: mendekode sinyal otak menjadi ucapan, bersama dengan gerakan-gerakan yang menghidupkan wajah seseorang selama percakapan.

Chang menanamkan bingkai tipis seperti kertas yang berisi 253 elektroda ke permukaan otak wanita yang menderita lumpuh parah akibat stroke batang di daerah-daerah yang timnya telah temukan sangat penting untuk bicara. Elektroda-elektroda ini meneruskan sinyal-sinyal otak yang, jika bukan karena stroke, akan menuju otot-otot di lidah, rahang, dan pita suara, serta wajahnya. Kabel yang terhubung ke port yang terpasang di kepalanya menghubungkan elektroda-elektroda ini ke sekelompok komputer.

Selama berbulan-bulan, peserta bekerja dengan tim untuk melatih algoritma kecerdasan buatan sistem untuk mengenali sinyal otak uniknya untuk bicara. Ini melibatkan mengulang-ulang frasa-frasa berbeda dari kosakata percakapan yang terdiri dari 1.024 kata berulang-ulang, sampai komputer mengenali pola aktivitas otak yang terkait dengan bunyi-bunyian tersebut.

Alih-alih melatih kecerdasan buatan untuk mengenali kata-kata secara keseluruhan, para peneliti menciptakan sistem yang mendekode kata-kata dari fonem. Fonem adalah sub-unit dari ucapan yang membentuk kata-kata yang diucapkan, sama seperti huruf-huruf membentuk kata-kata tertulis. “Halo,” misalnya, terdiri dari empat fonem: “HH,” “AH,” “L,” dan “OW.”

Ilustrasi yang menunjukkan bagaimana cara avatar didekripsi. Di langkah awal, kita menggunakan algoritma khusus untuk menerjemahkan aktivitas otak saat berusaha berbicara tanpa suara menjadi gerakan-gerakan tertentu. Kemudian, dengan bantuan algoritma lain, kita mengubah gerakan-gerakan ini menjadi gerakan akhir yang memprediksi bagaimana avatar harus bergerak. Gerakan-gerakan ini lalu diterapkan pada model animasi yang sudah dipelajari sebelumnya untuk membuat avatar bergerak di lingkungan virtual.

Dengan pendekatan ini, komputer hanya perlu mempelajari 39 fonem untuk mendekripsi kata apa pun dalam bahasa Inggris. Ini tidak hanya meningkatkan akurasi sistem tetapi juga membuatnya tiga kali lebih cepat.

Keakuratan, kecepatan, dan kosakata sangat penting. Karena hal inilah yang memberi pasien sebuah potensi, suatu saat nanti, untuk berkomunikasi hampir secepat orang normal melakukannya, dan memiliki percakapan yang jauh lebih alami. Untuk membuat suara, tim ini merancang algoritma untuk mensintesis ucapan, yang mereka sesuaikan agar terdengar seperti suaranya sebelum cedera, menggunakan rekaman suara saat dia berbicara pada hari pernikahannya.

Tim ini menganimasikan avatar dengan bantuan perangkat lunak yang mensimulasikan dan menganimasikan gerakan-gerakan otot wajah, yang dikembangkan oleh Speech Graphics, sebuah perusahaan yang membuat animasi wajah berbasis kecerdasan buatan. Para peneliti membuat proses pembelajaran mesin yang disesuaikan yang memungkinkan perangkat lunak perusahaan tersebut berinteraksi dengan sinyal-sinyal yang dikirimkan dari otak wanita tersebut saat dia mencoba berbicara, dan mengubahnya menjadi gerakan-gerakan pada wajah avatar, membuat mulut terbuka dan menutup, bibir menonjol dan mengerut, lidah naik dan turun, serta gerakan-gerakan wajah untuk kebahagiaan, kesedihan, dan kejutan.

Langkah penting berikutnya bagi tim adalah menciptakan versi nirkabel yang tidak akan memerlukan pengguna untuk terhubung secara fisik melalui ke BCI.

Referensi:

Metzger, S.L., Littlejohn, K.T., Silva, A.B. et al. A high-performance neuroprosthesis for speech decoding and avatar control. Nature (2023). https://doi.org/10.1038/s41586-023-06443-4

Warung Sains Teknologi
TENTANG PENULIS

Warstek Media

Warung Sains Teknologi (Warstek) adalah media SAINS POPULER yang dibuat untuk seluruh masyarakat Indonesia baik kalangan akademisi, masyarakat sipil, atau industri.

PERPUSTAKAAN WARSTEK

Buku & Ebook Warstek

Bacaan pilihan untuk melanjutkan rasa ingin tahu.

REVOLUSI BELAJAR – Bongkar Mitos Belajar dan Kuasai Teknik Belajar yang Terbukti dari Hasil Riset
EbookSains Populer

REVOLUSI BELAJAR – Bongkar Mitos Belajar dan Kuasai Teknik Belajar yang Terbukti dari Hasil Riset

Panduan ultimate untuk pelajar (SMP, SMA, dan mahasiswa) yang sudah capek belajar lama tapi nilainya begitu-begitu saja. Padahal sejak lebih dari seratus…

Harga sebelumnya: Rp.100.000Harga jual saat ini: Rp.20.000

Lihat buku Membuka halaman buku di tab baru
Jenius Juga Manusia – 50 Kisah Fisikawan Dunia dan Indonesia tentang Gagal, Ditolak, dan Tetap Melangkah
EbookBiografi Ilmuwan

Jenius Juga Manusia – 50 Kisah Fisikawan Dunia dan Indonesia tentang Gagal, Ditolak, dan Tetap Melangkah

Kita mengenal nama mereka dari buku pelajaran. Einstein dengan relativitasnya, Newton dengan gravitasinya, dan Faraday dengan listriknya. Namun, jarang sekali kita mendengar…

Harga sebelumnya: Rp.100.000Harga jual saat ini: Rp.20.000

Lihat buku Membuka halaman buku di tab baru
Jenius yang Memilih Sunyi – 45 Kisah Ilmuwan Indonesia dan Dunia yang Menolak Hadiah, Melepas Paten, dan Menjauhi Panggung
EbookBiografi Ilmuwan

Jenius yang Memilih Sunyi – 45 Kisah Ilmuwan Indonesia dan Dunia yang Menolak Hadiah, Melepas Paten, dan Menjauhi Panggung

Mengapa ada orang-orang luar biasa yang justru tidak mengejar kekayaan, penghargaan, atau ketenaran? Di dunia yang mengukur kesuksesan melalui uang, jabatan, gelar,…

Harga sebelumnya: Rp.120.000Harga jual saat ini: Rp.20.000

Lihat buku Membuka halaman buku di tab baru
Jatuh Bangun dalam Mencipta – 51 Kisah Insinyur Dunia dan Indonesia tentang Gagal, Diragukan, dan Tetap Berkarya
EbookBiografi Ilmuwan

Jatuh Bangun dalam Mencipta – 51 Kisah Insinyur Dunia dan Indonesia tentang Gagal, Diragukan, dan Tetap Berkarya

Kita sering mengagumi teknologi setelah semuanya berhasil. Kita melintasi jembatan, menaiki pesawat, menggunakan internet, dan mengendarai mobil tanpa pernah memikirkan berapa banyak…

Harga sebelumnya: Rp.120.000Harga jual saat ini: Rp.20.000

Lihat buku Membuka halaman buku di tab baru

Leave a Reply

Your email address will not be published. Required fields are marked *

✳ SAINS DALAM GAMBAR

Warstek di Instagram

@warstek_com ↗
Lembar jawaban dikumpulkan, ilmunya ikut diserahkan. 🤡 Semalam merasa menguasai satu semester. Seminggu kemudian, yang diingat cuma perjuangan begadangnya. Selama ini belajar…▧ Carousel

Lembar jawaban dikumpulkan, ilmunya ikut diserahkan. 🤡 Semalam merasa menguasai satu semester. Seminggu kemudian, yang diingat cuma perjuangan begadangnya. Selama ini belajar untuk paham,…

MK sudah memberi tenggat: aturan hak keuangan pejabat harus diganti paling lambat 16 Maret 2028. Mari kawal agar pensiun seumur hidup benar-benar…▧ Carousel

MK sudah memberi tenggat: aturan hak keuangan pejabat harus diganti paling lambat 16 Maret 2028. Mari kawal agar pensiun seumur hidup benar-benar dievaluasi dan…

Butuh 5 tahun @kemenkeuri 💸 Recehan rakyat memang bisa jadi raksasa, asalkan kita paham logika angkanya. Komen “jika” untuk baca 119 pertanyaan…▧ Carousel

Butuh 5 tahun @kemenkeuri 💸 Recehan rakyat memang bisa jadi raksasa, asalkan kita paham logika angkanya. Komen “jika” untuk baca 119 pertanyaan menarik lainnya…