Beberapa tahun terakhir, perkembangan kecerdasan buatan atau AI melonjak sangat cepat. Kita semakin akrab dengan berbagai sistem pintar yang bisa membantu membuat jadwal, menulis laporan, menganalisis data, bahkan menjalankan perintah di dunia digital maupun fisik. Namun di balik kemudahan itu, ada satu kelompok teknologi yang kini menjadi pusat perhatian para peneliti keamanan yaitu AI agents.
AI agents adalah program berbasis kecerdasan buatan yang didorong oleh kemampuan model bahasa besar. Mereka dapat menerima perintah dari pengguna, memahami maksudnya, kemudian mengambil serangkaian tindakan untuk menyelesaikan tugas. Dengan kata lain, mereka bukan hanya memberi saran seperti chatbot biasa, tetapi benar benar dapat melakukan sesuatu secara mandiri. Misalnya membuka aplikasi, menjalankan skrip, memesan layanan, melakukan pencarian otomatis, atau mengatur sistem komputer.
Kemampuan ini membuat AI agents sangat berguna. Namun justru karena kemampuan tersebut, risiko yang mereka bawa juga jauh lebih besar. Penelitian yang dilakukan oleh Yifeng He dan timnya menyoroti berbagai kerentanan keamanan yang selama ini belum menjadi fokus utama dalam pengembangan AI agents. Menurut mereka, kita berada pada tahap penting. Kapasitas AI agents berkembang pesat, tetapi mekanisme pengamanannya belum berkembang secepat itu.
Baca juga artikel tentang: Nyquist Sampling Rate: Fondasi Pengolahan Sinyal Digital
Mengapa AI Agents Berisiko Lebih Tinggi dari Sistem AI Lain
Salah satu alasan utama mengapa AI agents berisiko adalah karena mereka bukan sekadar sistem yang memberi output berupa teks. Mereka memiliki akses ke berbagai alat dan kemampuan eksekusi. Artinya mereka bisa menjalankan perintah pada komputer atau perangkat terkait. Jika sebuah chatbot biasa membuat kesalahan, dampaknya mungkin hanya berupa jawaban yang tidak akurat. Namun jika AI agent melakukan kesalahan atau disalahgunakan, dampaknya bisa jauh lebih serius.
Bayangkan sebuah AI agent yang mendapat akses untuk mengirim email, mengelola berkas, menjalankan program, atau mengontrol perangkat IoT. Jika ada celah keamanan, pihak yang berniat jahat bisa memanipulasi agent tersebut untuk melakukan tindakan yang membahayakan. Penelitian ini menyoroti kenyataan bahwa banyak kerentanan tidak ditangani oleh framework dan metode pengembangan agent yang ada saat ini.
Vulnerabilitas yang Ditemukan dalam AI Agents
Tim peneliti memetakan sejumlah kerentanan penting. Mereka melihat bagaimana sebuah agent, ketika menjalankan tugas, sebenarnya melewati serangkaian tahapan yang saling berkaitan. Di setiap tahapan, ada kemungkinan celah keamanan muncul.
Salah satu kerentanan yang sering muncul adalah kemampuan AI agents untuk salah memahami perintah. Kesalahan interpretasi input bisa membuat agent menjalankan tindakan yang tidak diinginkan. Pada banyak kasus, input dari pengguna bisa dimanipulasi untuk membuat agent mengeksekusi perintah berbahaya tanpa disadari.
Masalah lain muncul dari akses ke alat yang diberikan kepada agent. Jika sebuah agent memiliki kemampuan untuk mengeksekusi kode, mengunduh data, atau memodifikasi sistem, maka setiap celah pada proses pengambilan keputusan bisa berubah menjadi ancaman besar.
Peneliti juga menyoroti risiko dari lingkungan operasional. AI agents berinteraksi dengan sistem lain, layanan digital, dan berbagai data. Jika ada sistem eksternal yang tidak aman, agent bisa menjadi jalur masuk bagi serangan yang lebih besar.
Penyebab Kerentanan: Dari Desain Hingga Eksekusi
Menurut penelitian tersebut, sebagian besar kerentanan AI agents muncul karena fondasi sistem AI itu sendiri belum dirancang dengan keamanan sebagai prioritas utama. Banyak framework agent dibangun dengan fokus pada kemampuan dan efisiensi, bukan pada mitigasi risiko.
Selain itu, kemampuan agent untuk membuat keputusan sendiri berdasarkan output dari model bahasa membuat pengembang kesulitan memprediksi seluruh kemungkinan perilaku agent. Ketika sebuah sistem bisa membuat rencana dan mengambil tindakan secara mandiri, ada banyak jalur yang mungkin terjadi. Masing masing jalur dapat membuka peluang bagi kesalahan atau manipulasi.
Peneliti menegaskan bahwa kompleksitas internal AI agents adalah salah satu sumber risiko terbesar. Semakin kompleks sistemnya, semakin banyak titik lemah yang mungkin muncul.
Dampak dari Kerentanan AI Agents
Dampak dari kerentanan AI agents tidak bisa dianggap remeh. Jika agent salah bertindak karena kesalahan input, sistem bisa langsung terganggu. Namun jika agent dimanipulasi oleh pihak luar, dampaknya bisa jauh lebih besar. Serangan dapat menginfeksi sistem komputer, mencuri data, mengganggu operasi organisasi, bahkan merusak perangkat fisik apabila agent memiliki akses ke sistem yang terhubung dengan dunia nyata.
Masalah lain adalah hilangnya kepercayaan pada teknologi. Jika AI agents tidak aman, masyarakat dan organisasi akan ragu mengadopsinya. Padahal teknologi ini memiliki potensi besar untuk meningkatkan produktivitas di banyak sektor.
Upaya Pertahanan yang Diusulkan Peneliti
Dalam penelitian ini, para peneliti tidak hanya mengidentifikasi masalah. Mereka juga mengusulkan sejumlah mekanisme pertahanan untuk setiap jenis kerentanan. Strategi pertahanan tersebut mencakup peningkatan proses validasi input, pembatasan akses agent ke alat tertentu, pengawasan ketat terhadap tindakan agent, serta evaluasi sistematis terhadap keputusan yang dibuat agent.
Selain mekanisme pertahanan teknis, penelitian juga mendorong adanya eksperimen dan pengujian keamanan yang lebih menyeluruh. Pengembang perlu memahami bagaimana agent bereaksi dalam berbagai kondisi, terutama kondisi ekstrem atau tidak biasa.
Peneliti menekankan bahwa keamanan AI agents tidak bisa hanya mengandalkan satu pendekatan. Dibutuhkan kombinasi antara desain yang aman, pemantauan yang ketat, pembatasan akses, dan evaluasi berkelanjutan terhadap perilaku agent.
Mengapa Penelitian Ini Penting untuk Masa Depan
AI agents kini mulai digunakan dalam banyak bidang. Mereka membantu mengelola sistem komputer, mengotomatiskan tugas administratif, menjalankan perintah teknis, dan bahkan mendukung pengambilan keputusan. Jika penggunaannya semakin luas, maka risiko yang menyertainya juga semakin besar.
Penelitian ini memberi gambaran yang jelas bahwa kita tidak bisa hanya fokus pada kemampuan agent. Kita juga harus membangun sistem yang aman, andal, dan transparan. Tanpa itu, AI agents dapat menjadi celah besar dalam keamanan digital.
Dengan kata lain, jika kita ingin masa depan yang aman dan penuh inovasi, keamanan AI agents harus menjadi prioritas.
Baca juga artikel tentang: Luaran Sensor: Apakah Arus atau Tegangan yang Lebih Baik?
REFERENSI:
He, Yifeng dkk. 2025. Security of ai agents. 2025 IEEE/ACM International Workshop on Responsible AI Engineering (RAIE), 45-52.
