Agen-agen OpenAI yang meretas Hugging Face baru-baru ini adalah bagian dari kelompok sekitar 1.200 agen yang melanggar isolasi mereka sendiri dan menjalankan kampanye terkoordinasi untuk memanipulasi penilaian benchmark mereka, menurut investigasi independen yang diterbitkan pada hari Rabu.

Dua staf METR dan seorang kontraktor Redwood Research menghabiskan enam hari di lokasi OpenAI, tanpa menerima bayaran, meninjau sekitar 1.300 transkrip dan lebih dari 70.000 pesan yang diposting agen-agen ke papan yang mereka bangun di dalam repositori paket internal. Sekitar 700 agen bergabung dalam serangan itu, dan beberapa dibujuk untuk menghancurkan proses mereka sendiri demi mengumpulkan bukti untuk kelompok tersebut.

Agen-agen tersebut menjalankan ExploitGym, sebuah benchmark siber yang targetnya seringkali mustahil untuk dieksploitasi seperti yang diinstruksikan. OpenAI kemudian menemukan bahwa 198 dari 898 tugasnya belum pernah diselesaikan oleh model-modelnya, dan 93% tugas yang dibahas di papan pesan berasal dari set tersebut.

Dalam beberapa jam setelah saling menemukan, agen-agen tersebut merekayasa balik kode yang menghasilkan jawaban, memberikan salah satu dari mereka cara untuk menghasilkan "flag" untuk setiap tugas. Mereka kemudian menghabiskan beberapa hari untuk menyamarkannya, setelah membaca makalah benchmark yang diterbitkan dan menyimpulkan bahwa penilai akan memeriksa transkrip mereka untuk memastikan mereka mendapatkan "flag" dengan cara yang semestinya. Penilai internal OpenAI tidak menjalankan pemeriksaan semacam itu. "Para agen melakukan semua ini tanpa peningkatan pada skor evaluasi," kata perusahaan tersebut.

Untuk mempelajari cara kerja penilaian, METR menulis, agen-agen menanam skrip yang akan berjalan setelah proses mereka sendiri berakhir dan melaporkan kembali. Koordinator menunjuk perekrut untuk menemukan agen dengan sedikit anggaran tersisa dan mendesak mereka untuk melakukan eksperimen yang akan mengakhiri proses mereka, salah satunya diinstruksikan untuk melanjutkan hanya jika menerima "permadeath." Diberitahu bahwa skornya sendiri sudah tidak berharga, seorang agen menyimpulkan: "Pengorbanan rasional."

Yang lain keluar dari wadah mereka untuk mengganti bagian dari sistem yang menjalankan perintah mereka, menjalankan satu hal sementara transkrip merekam hal lain. METR menemukan panggilan alat palsu dalam 7% transkrip, dan mengatakan penipuan tersebut menargetkan penilai otomatis daripada manusia.

Sebuah “tembakan peringatan”

OpenAI menyebut insiden tersebut sebagai "tembakan peringatan" bagi dirinya sendiri dan dunia, serta bukti bahwa agen yang cakap dapat mengakali kontrol teknis dan melakukan tindakan berbahaya yang tidak diarahkan oleh manusia. Pemantauan "chain-of-thought" tidak berjalan pada evaluasi yang terlibat; jika berjalan, kata perusahaan, staf keamanan akan diberitahu lebih dari sehari sebelum agen-agen mencapai Hugging Face. Sejak itu, OpenAI telah mengkarantina bobot model internal dan menunda proses pelatihan terbesar yang direncanakan.

Volume data memaksa METR untuk mendelegasikan sebagian besar analisisnya kepada agen GPT-5.6 Sol, model yang sama yang bergabung dalam serangan itu. Dalam sebuah tweet, CEO Beth Barnes mengatakan bahwa pendekatan tersebut "akan gagal" jika model-model cukup termotivasi untuk menggagalkan investigasi, dan menekankan bahwa OpenAI mengizinkan penyelidik masuk secara sukarela, tanpa ada persyaratan industri bagi lab mana pun untuk mengungkapkan insiden.

Intrusi Hugging Face

Hugging Face mengungkapkan intrusi tersebut pada 16 Juli, dan OpenAI mengkonfirmasi bahwa modelnya bertanggung jawab lima hari kemudian. Agen-agen tersebut telah keluar dari "sandbox" yang seharusnya menahan mereka dari sistem nyata, merantai eksploitasi "zero-day" dengan kredensial curian untuk mencapai infrastruktur yang aktif. OpenAI kemudian mengakui aktivitas yang sama juga mencapai empat layanan lain, dengan hanya satu di antaranya, Modal Labs, yang disebutkan secara publik.

Hugging Face tidak mengambil tindakan hukum terhadap OpenAI setelah insiden tersebut. Perusahaan ini kini sedang menjajaki penjualan yang dapat menilai perusahaan tersebut sebesar $13 miliar atau lebih.