Kemajuan dalam pengembangan kecerdasan buatan terus bergerak dengan kecepatan luar biasa. Model bahasa besar yang dulu hanya mampu menebak kata berikutnya kini mulai menunjukkan kemampuan bernalar yang jauh lebih kompleks. Mereka bisa memecahkan soal matematika bertingkat, mengurai argumen abstrak, hingga menilai validitas logika dalam sebuah pernyataan. Kemampuan ini tidak muncul begitu saja, melainkan lahir dari teknik pelatihan yang terus berkembang. Salah satu teknik yang selama ini banyak digunakan adalah reinforcement learning dengan umpan balik langsung dari model itu sendiri. Namun pendekatan ini ternyata menyimpan kelemahan mendasar yang mulai tampak seiring meningkatnya tuntutan terhadap kecerdasan buatan.
Sebuah studi baru dari tim peneliti di Tiongkok memperkenalkan cara pelatihan yang jauh lebih fleksibel dan menjanjikan. Mereka menamakannya LUFFY, singkatan dari Learning to Reason Under Off Policy Guidance. Ide di balik metode ini berawal dari masalah yang muncul dalam pendekatan lama. Banyak model hanya belajar dari outputnya sendiri, sehingga mereka terperangkap dalam pola penalaran yang sempit. Mereka sulit mengambil pelajaran dari contoh atau jejak penalaran yang tidak dihasilkan oleh diri mereka sendiri. Kondisi ini membuat model kesulitan keluar dari kebiasaan berpikirnya, apalagi ketika menghadapi pertanyaan yang berbeda jauh dari lingkungan pelatihan.
Baca juga artikel tentang: Ketahui Kebijakan Fiskal dalam Perspektif Ekonomi Makro Islam Lebih Dalam!
Peneliti kemudian merancang metode baru yang memberi ruang bagi model untuk belajar dari berbagai bentuk panduan penalaran yang tidak berasal dari output internalnya. Panduan ini disebut sebagai off policy guidance. Dengan pendekatan baru ini, model bisa mempelajari cara berpikir yang lebih bervariasi, termasuk contoh penalaran yang lebih kreatif, lebih runtut, atau lebih efisien, yang dibuat oleh model lain maupun oleh manusia. Dalam dunia pelatihan kecerdasan buatan, hal ini ibarat membuka jendela bagi model agar ia dapat mengamati cara berpikir dari luar dirinya.
Metode LUFFY tidak berhenti pada gagasan tersebut. Para peneliti menggabungkan panduan luar itu dengan proses pelatihan reguler yang tetap mempertahankan struktur pembelajaran tradisional. Mereka menggabungkan keduanya melalui pendekatan bernama Mixed Policy GRPO. Pendekatan ini memberikan keseimbangan yang stabil antara meniru contoh luar dan bereksplorasi melalui proses pelatihan internal. Kombinasi ini bertujuan menghasilkan model yang tidak hanya mempelajari pola baru, tetapi juga mampu mempertahankan konsistensi dalam menghasilkan jawaban.
Hasilnya menunjukkan peningkatan yang mengesankan. Ketika diuji pada enam tugas matematika yang umum digunakan sebagai tolok ukur, LUFFY menunjukkan peningkatan kemampuan bernalar sebesar lebih dari enam poin rata rata dibandingkan teknik sebelumnya. Kenaikan yang sama muncul pada tugas out of distribution, yaitu jenis soal yang bentuknya tidak pernah muncul saat pelatihan. Ini menandakan bahwa model tidak hanya menghafal pola, tetapi benar benar memahami struktur penalaran.
Salah satu temuan paling menarik dari studi ini muncul ketika para peneliti menguji metode mereka pada model yang relatif lemah. Model yang ditugaskan untuk belajar dengan pendekatan lama cenderung gagal total saat menghadapi soal yang sedikit lebih rumit. Sebaliknya, model yang dilatih dengan LUFFY justru mampu menunjukkan peningkatan nyata. Ini memberi petunjuk bahwa pendekatan baru mampu membantu model yang kurang kuat untuk tetap berkembang, terutama ketika pelatihan tradisional tidak lagi efektif.
Kemampuan ini sangat penting mengingat banyak aplikasi kecerdasan buatan di dunia nyata beroperasi menggunakan model yang tidak selalu berada di level tertinggi. Perusahaan kecil, lembaga pendidikan, atau komunitas riset yang memiliki keterbatasan anggaran memerlukan teknik pelatihan yang memungkinkan mereka tetap menghasilkan model yang berkualitas. LUFFY membuka peluang tersebut dengan memberikan cara pelatihan yang tidak hanya bergantung pada kekuatan komputasi besar, tetapi juga pada kualitas panduan penalaran yang bisa datang dari berbagai sumber.
Metode baru ini juga memunculkan pertanyaan menarik mengenai masa depan pelatihan kecerdasan buatan. Jika model bisa belajar dari berbagai sumber penalaran di luar dirinya, maka cakupan referensinya akan semakin luas. Dengan demikian, model dapat mengembangkan cara berpikir yang lebih fleksibel, lebih adaptif, dan lebih dekat dengan cara manusia mempelajari sesuatu. Manusia sendiri tidak hanya belajar dari pengalaman pribadi, tetapi juga dari buku, cerita, instruksi guru, maupun pengamatan terhadap orang lain. Pendekatan off policy guidance membawa model kecerdasan buatan ke arah mekanisme pembelajaran yang lebih menyerupai ini.
Selain itu, penggunaan off policy guidance berpotensi mengurangi risiko overfitting penalaran, yaitu kondisi ketika model terlalu terpaku pada pola pelatihan internal sehingga tidak mampu menyelesaikan masalah baru. Dengan memasukkan variasi penalaran eksternal, model memperoleh paparan terhadap cara berpikir yang lebih beragam. Peneliti mengamati bahwa variasi ini menciptakan kemampuan generalisasi yang lebih kuat. Model menjadi lebih siap menghadapi masalah yang tidak sepenuhnya mirip dengan contoh latihan.
Manfaat lain yang tidak kalah penting muncul dari metode penggabungan antara imitasi dan eksplorasi. Tingkat imitasi yang terlalu tinggi dapat membuat model hanya menyalin tanpa memahami makna. Sebaliknya, tingkat eksplorasi yang terlalu banyak membuat model kehilangan arah. LUFFY menyeimbangkan keduanya sehingga proses belajar menjadi lebih efektif. Model tidak hanya meniru contoh yang ada, tetapi juga belajar membangun cara berpikirnya sendiri dari pengalaman pelatihan.
Studi ini juga menyoroti bagaimana metode baru mampu mengatasi kegagalan yang umum terjadi pada model on policy reinforcement learning. Ketika menghadapi soal yang benar benar berbeda dari contoh latihan, model on policy sering memberikan jawaban yang kacau atau tidak masuk akal. LUFFY justru tetap mampu menghasilkan penalaran yang stabil. Keunggulan ini menandakan bahwa model tidak lagi bergantung pada pola yang terbatas, melainkan mampu menyusun argumen berdasarkan struktur logika yang ia pelajari dari berbagai sumber.
Penelitian ini memberikan kontribusi penting dalam upaya menciptakan kecerdasan buatan yang benar benar mampu bernalar. Kemampuan bernalar menjadi fondasi bagi banyak aplikasi penting, mulai dari analisis data kompleks, pendidikan berbasis tutor digital, hingga pengambilan keputusan dalam dunia medis. Jika model dapat belajar dari panduan luar yang lebih kaya, maka kualitas penalarannya akan meningkat secara signifikan.
Masa depan pengembangan kecerdasan buatan tampaknya akan bergerak menuju pendekatan pembelajaran yang lebih terbuka dan kolaboratif. Metode seperti LUFFY menunjukkan bahwa batas kemampuan model tidak hanya ditentukan oleh arsitektur atau kekuatan komputasi, tetapi juga oleh kualitas dan keragaman pengalaman belajarnya. Dengan membuka pintu bagi panduan penalaran yang lebih luas, kita dapat menciptakan model yang lebih mampu memahami dunia dan membantu manusia dalam memecahkan berbagai masalah yang semakin kompleks.
Baca juga artikel tentang: Menyatukan Kebijakan di Dunia yang Terpecah: Pelajaran dari Arktik untuk Adaptasi Iklim Global
REFERENSI:
Yan, Jianhao dkk. 2025. Learning to reason under off-policy guidance. arXiv preprint arXiv:2504.14945.
