Kemajuan teknologi kecerdasan buatan terus bergerak menuju sistem yang semakin mirip dengan cara manusia belajar dan mengambil keputusan. Dalam dunia robotika dan pembelajaran mesin, para peneliti terus mencari metode yang mampu menghasilkan perilaku cerdas yang stabil, efisien, dan fleksibel. Salah satu perkembangan yang kini mencuri perhatian datang dari penelitian terbaru yang memperkenalkan pendekatan baru bernama Flow Policy Optimization atau FPO. Pendekatan ini memadukan kekuatan model generatif berbasis flow dengan teknik pembelajaran penguatan modern yang selama ini digunakan untuk melatih robot dan model kecerdasan buatan berskala besar.
Untuk memahami apa yang ditawarkan FPO, bayangkan sebuah robot yang harus belajar menggerakkan lengannya untuk memindahkan barang dengan tepat. Dalam pembelajaran penguatan biasa, robot mencoba banyak tindakan, lalu mendapatkan evaluasi apakah tindakannya baik atau buruk. Proses ini biasanya memerlukan banyak percobaan dan waktu latihan yang panjang. Namun, ada teknik baru bernama flow based generative models yang sangat pandai memahami pola kemungkinan dalam ruang tindakan yang kompleks. Teknik ini mampu memodelkan distribusi tindakan dalam ruang berdimensi tinggi, sesuatu yang sangat berguna ketika robot harus memilih tindakan yang halus dan variatif.
Baca juga artikel tentang: Ketahui Kebijakan Fiskal dalam Perspektif Ekonomi Makro Islam Lebih Dalam!
FPO muncul sebagai jembatan antara dua dunia tersebut. Metode ini membawa flow matching ke dalam kerangka kerja policy gradient yang sudah lama digunakan. Dengan kata sederhana, FPO membantu sistem pembelajaran untuk memahami bagaimana tindakan robot bisa bergerak dari satu bentuk probabilitas menuju bentuk lain secara lebih mulus. Teknik ini menjadikan proses belajar lebih efisien sekaligus memanfaatkan kemampuan generatif model flow yang mampu menghasilkan rentang tindakan yang sangat luas.
Pendekatan sebelumnya sering bergantung pada perhitungan likelihood atau kemungkinan secara eksplisit. Namun, perhitungan seperti itu bisa sangat mahal secara komputasi terutama ketika bekerja pada model yang besar. FPO menghindari kebutuhan tersebut. Alih alih menghitung peluang secara detail, FPO menggunakan loss flow matching bersyarat untuk menilai apakah langkah pembelajaran bergerak ke arah yang benar. Pendekatan ini membuat model lebih ringan dan lebih mudah dilatih, tanpa kehilangan kekuatan dari model flow itu sendiri.
Dalam penelitian yang mendasari pengembangan FPO, para ilmuwan menguji metode ini pada serangkaian tugas robotik yang membutuhkan kemampuan mengendalikan gerakan secara presisi. Pengujian ini melibatkan berbagai kondisi termasuk ruang tindakan yang besar dan situasi di mana data pelatihan tidak cukup lengkap. Hasilnya menunjukkan bahwa FPO berhasil menghasilkan performa yang lebih baik dibandingkan pendekatan berbasis Gaussian yang selama ini banyak digunakan. Gaussian policies cenderung menghasilkan distribusi tindakan yang sederhana dan kurang fleksibel. Sebaliknya, flow based models mampu menangkap distribusi tindakan yang kompleks dan multimodal. Multimodal berarti model dapat memahami bahwa satu masalah bisa memiliki beberapa jenis tindakan yang sama sama benar. Kemampuan ini penting untuk robot yang beroperasi di dunia nyata karena kondisi lapangan tidak selalu seragam.
Keunggulan lainnya terlihat pada kemampuannya untuk bekerja tanpa bergantung pada metode sampling tertentu. Banyak pendekatan diffusion based reinforcement learning mengikat proses pelatihan pada satu cara sampling saja. Padahal, kenyataan di lapangan sering menuntut fleksibilitas. FPO hadir dengan kemampuan agnostik terhadap jenis diffusion atau integrasi flow yang digunakan baik saat melatih maupun saat melakukan inferensi. Fleksibilitas ini membuat FPO dapat diterapkan pada berbagai jenis arsitektur model. Dengan demikian, peneliti dan insinyur robotik memiliki lebih banyak ruang untuk bereksperimen dan menyesuaikan model dengan kebutuhan.
Para peneliti juga menunjukkan bahwa FPO dapat melatih kebijakan diffusive sejak awal hanya dengan menggunakan serangkaian kontrol sederhana. Hasil ini membuka pintu untuk melatih robot dengan lebih cepat sekaligus menghasilkan gerakan yang lebih stabil. Dalam skenario di mana robot harus merespon perubahan kondisi lingkungan, stabilitas merupakan faktor penting. Model yang terlalu sensitif atau tidak mampu menangani variasi distribusi tindakan akan mudah gagal ketika dihadapkan pada ketidakpastian.
Penelitian ini menekankan bahwa kekuatan model flow tidak hanya terletak pada kemampuannya menghasilkan distribusi tindakan yang kaya. Model ini juga memberikan sistem pembelajaran penguatan sebuah peta probabilistik yang memungkinkan evaluasi tindakan secara lebih terstruktur. Ketika disatukan dengan pendekatan policy gradient seperti FPO, sistem dapat belajar lebih cepat dan lebih tepat. Gabungan ini menghasilkan kontrol robotik yang lebih baik, terutama pada pengaturan yang tidak sepenuhnya terdefinisi dengan baik atau disebut under conditioned settings.
Penting untuk memahami bahwa perkembangan seperti ini tidak hanya berguna bagi robot yang bergerak di laboratorium. Kemajuan dalam pembelajaran kebijakan untuk robot berpotensi mempengaruhi banyak aspek teknologi modern. Sistem otomasi, kendaraan otonom, perangkat kesehatan berbasis robot, hingga model kecerdasan buatan yang menangani interaksi manusia dapat memanfaatkan pendekatan yang sama. FPO dapat mendorong munculnya cara baru dalam mengembangkan kecerdasan buatan generatif yang tidak hanya kreatif tetapi juga mampu belajar memahami konsekuensi tindakannya.
Para peneliti juga menyatakan bahwa teknik FPO kompatibel dengan kerangka PPO clip yang sudah sangat populer dalam dunia reinforcement learning. Kompatibilitas ini berarti transisi menuju penggunaan FPO dapat dilakukan oleh banyak laboratorium dan perusahaan tanpa harus membangun infrastruktur baru. Kesesuaian ini memberikan keuntungan besar bagi komunitas pengembang kecerdasan buatan yang ingin mencoba metode baru tanpa harus memulai dari nol.
Masa depan pembelajaran kebijakan tampak semakin menjanjikan. FPO memberikan contoh bagaimana pendekatan matematika yang elegan dan model probabilistik yang kuat dapat berpadu untuk menghasilkan proses belajar yang lebih cerdas. Jika teknik ini terus diteliti dan dikembangkan, kita mungkin akan melihat generasi robot dan sistem kecerdasan buatan yang memiliki kemampuan belajar yang jauh lebih responsif dan adaptif. Mereka dapat bergerak dengan lebih halus, memahami konteks dengan lebih dalam, dan memberikan kontribusi lebih besar pada kehidupan sehari hari.
Baca juga artikel tentang: Menyatukan Kebijakan di Dunia yang Terpecah: Pelajaran dari Arktik untuk Adaptasi Iklim Global
REFERENSI:
McAllister, David dkk. 2025. Flow matching policy gradients. arXiv preprint arXiv:2507.21053.
