Kemampuan kecerdasan buatan dalam memahami bahasa berkembang dengan sangat cepat dalam beberapa tahun terakhir. Model bahasa besar yang dikenal sebagai large language models mampu menjawab pertanyaan yang rumit, menyelesaikan soal matematika, menulis teks panjang, hingga melakukan penalaran tingkat lanjut yang sebelumnya dianggap mustahil untuk dikerjakan oleh komputer. Meski terlihat sangat mulus dari sisi pengguna, proses yang terjadi di balik layar sangat kompleks. Model seperti ini membutuhkan teknik pelatihan khusus agar mampu menghasilkan jawaban yang akurat dan stabil.
Sebuah penelitian yang dipublikasikan pada tahun 2025 memperkenalkan metode baru bernama Geometric Mean Policy Optimization atau GMPO. Penemuan ini lahir dari kebutuhan untuk membuat proses pembelajaran model bahasa lebih stabil dan lebih tahan terhadap data yang bersifat ekstrem. Pembahasan mengenai GMPO biasanya disajikan dalam bahasa teknis, tetapi penjelasan sederhana tetap mampu menggambarkan mengapa metode ini penting untuk masa depan kecerdasan buatan.
Baca juga artikel tentang: Ketahui Kebijakan Fiskal dalam Perspektif Ekonomi Makro Islam Lebih Dalam!
Pemahaman Dasar Mengenai Bagaimana AI Belajar
Proses pelatihan model bahasa yang paling modern banyak memanfaatkan teknik bernama reinforcement learning. Cara kerja metode ini mirip seperti memberikan hadiah kepada anak yang sedang belajar. Model dianggap sebagai agen yang terus membuat keputusan. Setiap keputusan berupa pilihan kata atau kalimat tertentu. Keputusan tersebut lalu diberi nilai atau reward. Jika keputusan dianggap baik, reward yang diberikan tinggi. Jika keputusan dianggap buruk, reward rendah.
Proses pemberian reward dan koreksi yang dilakukan secara terus menerus membentuk pola keputusan yang lebih baik dari waktu ke waktu. Untuk mengatur seluruh proses ini, para peneliti menggunakan teknik yang disebut policy optimization. Teknik ini membantu model memahami jenis keputusan apa saja yang harus diperbaiki dan keputusan apa yang layak dipertahankan. Dengan demikian, model mampu melakukan penalaran lebih baik setelah melalui ribuan iterasi pelatihan.
Dalam beberapa tahun terakhir, sebuah metode baru bernama Group Relative Policy Optimization atau GRPO mendapat banyak perhatian karena mampu meningkatkan kemampuan penalaran model bahasa. GRPO bekerja dengan menggunakan rata rata aritmetika dari reward yang diperoleh token atau unit kecil dalam proses pemilihan kata. Metode ini terbukti kuat dalam banyak tugas penalaran yang kompleks.
Namun GRPO tidak sempurna. Setiap peneliti yang pernah bekerja dengan model berskala besar tahu bahwa data dunia nyata sangat beragam. Beberapa data bersifat normal, tetapi banyak data lainnya berada di luar kebiasaan dan dikenal sebagai outlier. Outlier bisa memiliki reward yang sangat tinggi atau sangat rendah. Ketika nilai ekstrem semacam ini muncul, GRPO sering mengalami ketidakstabilan. Model yang seharusnya berkembang menjadi lebih baik malah terganggu oleh satu data yang tidak biasa.
Mengapa Data Outlier Menjadi Masalah
Model bahasa belajar dari jutaan token yang muncul selama proses pelatihan. Setiap token memiliki peran dalam membentuk keputusan akhir. Ketika sebuah token memiliki reward yang ekstrem, hasil rata rata aritmetika menjadi tidak seimbang. Satu nilai yang terlalu tinggi atau rendah tiba tiba mempengaruhi seluruh kelompok data. Akibatnya, model dapat mengambil arah belajar yang keliru.
Efeknya dapat bermacam macam. Model bisa memberikan jawaban yang tidak konsisten. Model juga bisa terlihat sangat tepat pada satu soal, tetapi gagal pada soal serupa yang hanya sedikit berbeda. Bahkan ada situasi ketika model tampak sangat percaya diri pada jawaban yang salah hanya karena satu token outlier memengaruhi proses pembelajaran.
Para peneliti menyadari bahwa masalah ini berasal dari cara GRPO menghitung rata rata. Rata rata aritmetika memang mudah digunakan tetapi sangat sensitif terhadap nilai ekstrem. Di sinilah gagasan GMPO muncul sebagai solusi yang lebih kuat menghadapi data dunia nyata.
Solusi Baru Melalui Rata Rata Geometrik
GMPO mengganti rata rata aritmetika dengan rata rata geometrik. Secara konsep, rata rata geometrik diperoleh dengan mengalikan semua nilai lalu mengambil akar berdasarkan jumlah elemen. Metode ini lebih stabil ketika menghadapi nilai ekstrem. Sebuah data outlier tidak lagi mendominasi perhitungan. Setiap token mendapat pengaruh yang lebih seimbang.
Penerapan rata rata geometrik menghasilkan dua keuntungan utama. Pertama, proses pembelajaran tidak lagi mudah terganggu oleh nilai ekstrem. Kedua, rentang sampling selama pelatihan menjadi lebih stabil. Dengan demikian model mampu belajar dengan arah yang konsisten meskipun data yang diterima bersifat tidak teratur.
Para peneliti juga memastikan bahwa GMPO tetap kompatibel dengan kerangka kerja pelatihan yang sudah banyak digunakan seperti PPO clip. GMPO dapat diterapkan tanpa mengubah arsitektur model secara besar besaran. Keunggulan ini membuatnya digolongkan sebagai metode plug and play. Metode ini dapat langsung digunakan dalam berbagai sistem pelatihan model besar.
Dampak GMPO terhadap Kinerja Model Bahasa
Penelitian menunjukkan bahwa penerapan GMPO pada model GMPO 7B menghasilkan peningkatan skor hingga lebih dari empat persen dibanding metode GRPO. Peningkatan ini terlihat pada kemampuan model dalam memecahkan berbagai soal matematika dan tugas penalaran tingkat lanjut yang membutuhkan langkah langkah logis yang berurutan.
Hasil ini membuktikan bahwa solusi yang tampak sederhana dapat membawa perubahan besar. Dengan menggunakan rata rata geometrik, model tidak lagi mudah terpengaruh satu token ekstrem. Pembelajaran berlangsung lebih stabil dari awal hingga akhir. Model juga menunjukkan pola jawaban yang lebih konsisten serta kemampuan penalaran yang lebih kuat.
Dampaknya terasa oleh para pengguna. Jawaban menjadi lebih akurat. Pola penalaran lebih mudah diprediksi. Model mampu memecahkan soal yang lebih sulit tanpa mengalami kebingungan akibat data tidak biasa. Para pengembang juga merasakan manfaatnya karena pelatihan berlangsung lebih mulus dan tidak terganggu ketidakstabilan mendadak.
Implikasi bagi Masa Depan Kecerdasan Buatan
GMPO menawarkan pandangan baru mengenai perkembangan teknologi AI. Inovasi besar tidak selalu muncul dari perubahan arsitektur yang rumit atau peningkatan ukuran model secara drastis. Terkadang, peningkatan kualitas datang dari perubahan mendasar pada cara model belajar. Pergeseran dari rata rata aritmetika menuju rata rata geometrik mungkin tampak kecil, tetapi dampaknya terhadap stabilitas dan performa model sangat besar.
Metode ini dapat membuka jalan bagi model bahasa generasi berikutnya yang jauh lebih andal dan lebih siap menghadapi data dunia nyata yang penuh variasi. GMPO memberikan dasar yang kuat bagi pengembangan AI yang mampu berpikir lebih jernih dan lebih konsisten, bahkan pada tugas yang sangat menantang.
Keberhasilan GMPO juga menunjukkan bahwa dunia kecerdasan buatan masih memiliki banyak ruang untuk inovasi metodologis. Penelitian ini menjadi contoh bahwa pemahaman mendalam terhadap proses pembelajaran model dapat menghasilkan perubahan signifikan yang dirasakan langsung oleh pengguna.
Baca juga artikel tentang: Menyatukan Kebijakan di Dunia yang Terpecah: Pelajaran dari Arktik untuk Adaptasi Iklim Global
REFERENSI:
Zhao, Yuzhong dkk. 2025. Geometric-mean policy optimization. arXiv preprint arXiv:2507.20673.
