Bayangkan seorang dokter sedang mendiagnosis pasien. Dan tidak hanya melihat satu hasil tes darah, tapi juga memeriksa rekam medis, citra MRI, tekanan darah, riwayat keluarga, bahkan ekspresi wajah pasien saat menjelaskan gejalanya. Itulah yang disebut pendekatan multimodal, memadukan banyak sumber informasi untuk membuat keputusan yang lebih akurat dan manusiawi.
Kini, kecerdasan buatan (AI) mulai belajar melakukan hal yang sama.
Penelitian terbaru oleh Felix Krones dan timnya (2025) menunjukkan bagaimana machine learning (pembelajaran mesin) di bidang kesehatan sedang berkembang dari sistem yang hanya melihat satu jenis data, menjadi sistem multimodal yang bisa memahami banyak jenis data sekaligus, layaknya dokter sejati.
Baca juga artikel tentang: Kombinasi Superfood dan Obat: Potensi dan Tantangannya dalam Dunia Kesehatan
Masalah Lama: AI yang “Lihat Dunia dari Satu Sisi”
Selama bertahun-tahun, sistem AI medis sering hanya bekerja dengan satu jenis data.
Misalnya, AI untuk membaca hasil rontgen paru-paru hanya dilatih dari ribuan gambar X-ray. Atau algoritma yang memprediksi diabetes hanya melihat data laboratorium seperti kadar gula darah.
Pendekatan ini membantu, tapi terbatas. Di dunia nyata, dokter tidak pernah mengandalkan satu sumber data saja. Mereka melihat gabungan dari berbagai informasi, mulai dari usia pasien, tekanan darah, hasil lab, hingga riwayat penyakit dan gaya hidup.
Ketika AI hanya melihat satu jenis data, hasilnya sering tidak lengkap. Misalnya, AI mungkin mendeteksi adanya kelainan pada hasil CT scan, tapi tidak tahu apakah pasien memiliki penyakit lain yang bisa menjelaskan temuan itu. Akibatnya, diagnosis bisa meleset atau terlalu umum.
Solusi: Machine Learning yang Belajar dari Banyak Sumber
Pendekatan baru yang disebut multimodal machine learning mencoba meniru cara dokter berpikir. Dengan menggabungkan data dari berbagai sumber, seperti gambar medis, data laboratorium, catatan dokter, bahkan sinyal detak jantung dari perangkat wearable. AI dapat memperoleh gambaran yang jauh lebih utuh tentang kondisi pasien.
Tim Krones menjelaskan bahwa sistem multimodal memungkinkan pengambilan keputusan klinis yang lebih kontekstual.
Artinya, AI tidak hanya mengenali “apa yang terlihat” dari satu hasil tes, tetapi juga memahami “mengapa” dan “bagaimana” hal itu bisa terjadi berdasarkan data lain.
Sebagai contoh:
- Gambar MRI menunjukkan adanya lesi kecil di otak.
- Data laboratorium menunjukkan kadar kolesterol tinggi.
- Riwayat pasien menunjukkan kebiasaan merokok.
Ketika semua data ini digabungkan, AI bisa menyimpulkan bahwa risiko stroke pasien lebih tinggi, bahkan sebelum gejala parah muncul.
Bagaimana Cara AI Menggabungkan Semua Data Ini?
Multimodal AI bekerja melalui proses yang cukup rumit tapi bisa dijelaskan sederhana dalam tiga tahap utama:
- Pre-training (Pelatihan Awal)
Di tahap ini, model AI dilatih dengan berbagai jenis data agar mengenal “bahasa” dari masing-masing sumber: teks medis, gambar, angka, atau sinyal waktu. - Fine-tuning (Penyesuaian)
Setelah paham tiap jenis data, model kemudian disesuaikan untuk tugas tertentu, misalnya memprediksi penyakit jantung atau mengklasifikasikan jenis kanker. - Evaluation (Evaluasi)
Terakhir, hasil prediksi dibandingkan dengan data nyata untuk mengukur akurasi dan reliabilitas sistem.
Dalam penelitian ini, para ilmuwan meninjau lebih dari 50 studi ilmiah dan 17 kumpulan data klinis multimodal. Mereka menemukan bahwa kombinasi data paling umum dan efektif adalah gambar medis (imaging) dan data tabular (angka-angka dari laboratorium atau sensor).
Dengan cara ini, AI bisa mempelajari hubungan tersembunyi antara apa yang tampak di citra medis dan apa yang muncul di hasil tes darah, sesuatu yang bahkan dokter manusia mungkin tidak langsung sadari.
Contoh di Dunia Nyata
Beberapa contoh penerapan nyata dari AI multimodal dalam dunia medis antara lain:
- Diagnosis kanker lebih cepat dan akurat.
Sistem multimodal bisa membaca hasil biopsi, citra CT scan, dan data genetik pasien secara bersamaan. - Pemantauan pasien kronis.
Pasien dengan penyakit jantung atau diabetes bisa dipantau melalui kombinasi data wearable (detak jantung, tekanan darah) dan rekam medis. - Prediksi risiko penyakit.
AI bisa menggabungkan riwayat keluarga, kebiasaan makan, hasil lab, dan data lingkungan untuk memprediksi kemungkinan penyakit sebelum gejalanya muncul.
Pendekatan ini tidak hanya membuat diagnosis lebih tepat, tapi juga membantu mempercepat pengambilan keputusan medis dan mengurangi kesalahan klinis.
Tantangan di Balik Teknologi Canggih Ini
Meski terdengar sempurna, sistem multimodal masih menghadapi banyak hambatan. Menurut Krones dan rekan-rekannya, tantangan terbesar adalah menggabungkan data yang sangat beragam formatnya misalnya, teks catatan medis yang tidak terstruktur, gambar MRI beresolusi tinggi, dan angka-angka hasil laboratorium.
Selain itu, kualitas data sangat menentukan hasil. Jika salah satu jenis data tidak lengkap atau bias, AI bisa memberikan kesimpulan yang keliru. Bayangkan jika sebagian data pasien berasal dari kelompok usia atau etnis tertentu, sistem mungkin tidak bekerja akurat untuk populasi lain.
Tantangan lainnya adalah privasi dan keamanan. Menggabungkan data dari berbagai sumber berarti risiko kebocoran informasi pribadi juga meningkat, terutama ketika data medis dikirim antara rumah sakit dan laboratorium.
Kekuatan dan Keterbatasan AI Multimodal
Penelitian ini menyimpulkan bahwa multimodal machine learning memiliki potensi besar, tetapi efektivitasnya tergantung pada jenis data dan tujuan penggunaan.
Jika data yang digunakan homogen (misalnya semua pasien dari satu rumah sakit), sistem bisa bekerja sangat baik. Tapi jika datanya beragam atau tidak terstandarisasi, hasilnya bisa tidak konsisten.
Dengan kata lain, AI multimodal tidak bisa bekerja secara “ajaib” tapi masih membutuhkan data yang bersih, relevan, dan representatif.
Mengapa Ini Penting untuk Masa Depan Kesehatan
Multimodal AI bukan sekadar inovasi teknologi; ini adalah langkah menuju sistem kesehatan yang lebih holistik dan manusiawi.
Dokter masa depan akan bekerja berdampingan dengan sistem AI yang mampu “melihat” pasien dari banyak sisi sekaligus: biologis, psikologis, dan sosial.
Alih-alih menggantikan manusia, AI justru bisa memperkuat intuisi dan kemampuan dokter dengan data yang lebih kaya dan analisis yang lebih cepat.
Bayangkan sebuah rumah sakit di mana diagnosis kanker bisa ditegakkan hanya dalam hitungan menit setelah pasien masuk ruang pemeriksaan, bukan berminggu-minggu seperti sekarang. Atau pasien jantung yang bisa dideteksi gejala serangannya bahkan sebelum terjadi, karena AI sudah membaca tanda-tanda halus dari berbagai data tubuh.
Penelitian Krones dan tim membuka jalan bagi masa depan dunia medis yang benar-benar cerdas: bukan hanya AI yang memproses data, tapi AI yang memahami manusia.
Dengan menggabungkan berbagai jenis data (gambar, teks, angka, hingga sinyal tubuh) kita sedang menciptakan sistem kesehatan yang lebih personal, akurat, dan cepat.
Namun, seperti seorang dokter yang bijak, teknologi ini juga harus berhati-hati:
karena semakin banyak data yang didengar, semakin besar tanggung jawab untuk menafsirkannya dengan benar.
Bagi masa depan kesehatan, AI multimodal bukan sekadar alat, melainkan mitra berpikir yang membantu manusia memahami kompleksitas tubuh dan hidupnya, dari setiap detak jantung hingga setiap data yang bercerita.
Baca juga artikel tentang: Infiltrasi Mikroplastik dalam Makanan: Disrupsi Sistem Farmakologi dan Kesehatan Manusia
REFERENSI:
Krones, Felix dkk. 2025. Review of multimodal machine learning approaches in healthcare. Information Fusion 114, 102690.
