Tim peneliti baru saja membangun versi model AI besar yang lebih kecil dan lebih murah. Versi yang lebih kecil ternyata lebih cerdas daripada versi asalnya.
Seharusnya tidak demikian.
Ini seperti kehilangan otot tetapi menjadi lebih kuat pada saat yang bersamaan. Namun, sebuah kelompok di Multiverse Computing mengklaim mereka berhasil melakukannya, dan alasannya menunjukkan bahwa cara kita mengecilkan AI selama ini salah.
“Bagi para praktisi, pesan praktisnya adalah bahwa dalam alur kerja perbaikan berbasis distilasi, langkah kuantisasi bukanlah biaya yang harus diminimalkan, melainkan peluang tambahan untuk pengawasan 'guru', menghasilkan model yang sekaligus lebih murah untuk digunakan, lebih ringan dalam memori, dan setidaknya seakurat rekan presisi penuhnya,” tulis para peneliti dalam sebuah makalah yang diterbitkan Jumat lalu.
Bayangkan parameter model AI sebagai dinding besar kenop—angka-angka yang menyimpan semua yang dipelajarinya. Lebih banyak kenop, model lebih cerdas, tetapi lebih berat untuk dijalankan. GPT-OSS 120B milik OpenAI memiliki 120 miliar kenop tersebut. Masing-masing membutuhkan memori dan listrik.
Untuk menghadirkan AI dengan murah, perusahaan mengurangi kenop dan mengecilkan yang tersisa. Ini seperti mengompres foto: file lebih kecil, tetapi terlalu banyak kompresi membuat gambar buram (seperti dari 4K ke 720p). Mengecilkan model terlalu keras membuatnya menjadi bodoh. Semua orang menerima kompromi itu.
Para peneliti ini melangkah lebih jauh. Mereka memangkas GPT-OSS menjadi 60 miliar parameter dan memadatkan masing-masing ke dalam slot 4-bit kecil—setara digital dengan kompresi ekstrem. Biasanya itu akan merusak model, tetapi para peneliti ini menemukan cara untuk benar-benar meningkatkannya.
Dalam hampir semua tolok ukur yang digunakan untuk perbandingan, model yang lebih kecil mengungguli model yang dibangun dengan presisi penuh.
Ketika Anda mengecilkan sebuah model, Anda biasanya memperbaiki kesalahannya dengan membandingkannya dengan versi yang 'setengah menyusut'—yang memiliki 60 miliar kenop dan presisi lebih tinggi. Masalahnya adalah model setengah jadi sudah merupakan salinan buram dari aslinya. Jadi, Anda mengajari model kecil untuk meniru kembaran yang cacat. Model itu tidak akan pernah bisa melampaui kembaran tersebut.
Yang disebut para peneliti ini sebagai “Quantization-Aware Healing” mengubah target. Ini mengarahkan model kecil kembali ke model asli yang besar, tidak terkompresi dan berkata: salin jawaban yang ini. Model kecil itu belajar dari sang 'master', bukan dari bagian tengah yang buram. Dalam 7 dari 9 tes, model 4-bit 60-miliar mengalahkan kembaran 60-miliar yang seharusnya menjadi versi yang lebih baik. Model 120 miliar parameter yang asli masih memenangkan sebagian besar putaran—ukuran belum dihapuskan—tetapi versi 'diet' ini berhasil melewati batasan yang tidak pernah terpikirkan.
Lebih kecil dan lebih cerdas adalah hal besar karena AI memakan perangkat keras. Model yang 'sembuh' ini membutuhkan sekitar seperempat memori dan setengah kenop dari aslinya. Itulah perbedaan antara AI yang hidup di pusat data dan AI yang muat di desktop yang layak—atau, pada akhirnya, ponsel Anda.
Jadi, model yang dapat menghasilkan hasil lebih baik dengan mengonsumsi separuh energi sangat berarti bagi laboratorium kecil dan pengembang lokal.
Ini juga gratis. Tim tersebut merilis model Hypernova-60B yang telah 'disembuhkan' sebagai bobot terbuka di Hugging Face, sehingga siapa pun dapat mengunduh dan menjalankannya. Ini sejalan dengan tren model terbuka yang melampaui batasan mengejutkan: model gratis misterius, Ox Alpha, baru-baru ini mengalahkan sistem Claude tanpa pengembang yang diketahui di baliknya, *hype* seputar Qwen 3.8 Flash Next dari Alibaba, dan gelombang *finetuning* yang meningkatkan model kecil menggunakan jejak penalaran dari LLM yang lebih besar seperti Fable atau Claude Opus.
Namun, jangan berlebihan. Alat pengecil yang membuat 'murid' 60B ini bersifat *proprietary*, jadi resepnya belum sepenuhnya terbuka, dan tim hanya menguji GPT-OSS—bukan keluarga Llama, Qwen, atau Mistral.
