Anthropic merilis Claude Fable 5.1 dan Claude Mythos 5.1 pada hari Selasa, pembaruan pertamanya untuk lini model kelas Mythos sejak Fable 5 diluncurkan pada 9 Juni.
Perusahaan mengklaim model AI barunya adalah yang “paling canggih di dunia untuk coding dan pekerjaan pengetahuan,” dan ini terjadi tiga bulan setelah siklus peluncuran yang sebelumnya mencakup penutupan kontrol ekspor selama 18 hari, perselisihan harga pertengahan musim panas mengenai akses langganan, dan rilis Claude Opus 5 pada bulan Juli yang mengalahkan harga Fable 5.
Fable 5.1 dan Mythos 5.1, menurut Anthropic, adalah model dasar yang sama dengan filter keamanan berbeda yang terpasang. Fable 5.1 tersedia secara umum untuk siapa saja dengan akun Claude. Mythos 5.1 tetap terbatas pada profesional keamanan siber dan ilmu hayati yang telah diverifikasi melalui Program Verifikasi Siber dan Program Verifikasi Ilmu Hayati Anthropic, yang merupakan penerus jalur akses Project Glasswing yang membatasi Mythos 5.
Apa yang sebenarnya diukur oleh benchmark
Angka utama Anthropic berasal dari Terminal-Bench-Science 0.1, sebuah benchmark yang menguji apakah agen AI dapat melaksanakan tugas penelitian ilmiah di dalam lingkungan baris perintah, dinilai sebagai tingkat kelulusan.
Fable 5.1 mencapai 52,6% dibandingkan 24,7% milik Fable 5 dan 29,0% milik Opus 5, lebih dari dua kali lipat pendahulunya.
Terminal-Bench 4.0 menguji coding berbasis agen yang dilakukan melalui terminal—menulis, menjalankan, dan men-debug kode di seluruh sesi baris perintah multi-langkah, dinilai sebagai persentase tugas yang diselesaikan dengan benar. Fable 5.1 mencetak 55,8%, naik dari 42,0% milik Fable 5 dan di atas 52,3% milik Opus 5.
Mythos 5.1, berjalan dengan filter keamanan siber yang lebih ringan, mencetak 60,9% pada tes yang sama; Anthropic mengatakan celah tersebut mencerminkan tugas-tugas yang dicegat oleh perlindungannya dan dialihkan ke Opus 4.8.
Pada Humanity's Last Exam, tes penalaran multidisiplin yang dibangun dari pertanyaan tingkat ahli di berbagai bidang akademik dan dinilai sebagai tingkat kelulusan, Fable 5.1 mencapai 60,9% tanpa alat eksternal dan 65,0% dengan alat tersebut, keduanya di atas Opus 5, menunjukkan bahwa ini adalah model Anthropic yang paling canggih untuk tujuan akademik.
Di mana ia mengungguli Opus 5, dan di mana perhitungannya menjadi lebih rumit
Opus 5 diluncurkan pada bulan Juli dengan biaya setengah dari harga per token Fable 5, sementara mengungguli Fable 5 pada sebagian besar benchmark utama, secara efektif membuat model andalan tersebut berlebihan bagi sebagian besar pengguna berbayar.
Fable 5.1 membalikkan hal itu: Sekarang ia mengungguli Opus 5 pada setiap benchmark yang diterbitkan Anthropic, termasuk yang sebelumnya diungguli Opus 5 atas Fable 5.
Namun Fable 5.1 masih berharga dua kali lipat per token dibandingkan Opus 5—$10 input dan $50 output berbanding $5 dan $25 milik Opus 5. Token adalah jumlah dasar informasi yang dapat ditangani oleh model (biasanya sekitar dua pertiga dari rata-rata kata bahasa Inggris), dan perusahaan membayar untuk penggunaan karena alur kerja yang berat biasanya dengan cepat menghabiskan kuota yang ditetapkan dalam paket langganan.
Promosi Anthropic sendiri untuk model ini menekankan pada tingkat upaya daripada skor mentah: dikatakan bahwa menjalankan Fable 5.1 dengan upaya penalaran rendah atau menengah menyamai atau mengalahkan hasil lama Fable 5 dengan biaya yang jauh lebih rendah, sambil mempertahankan tingkat upaya tertinggi untuk masalah yang membingungkan segalanya.
Untuk pekerjaan rutin, argumen untuk melewatkan Opus 5 sepenuhnya menjadi lebih lemah seiring dengan menurunnya tingkat upaya.
Akses mengikuti pembagian yang sama yang berlaku untuk Fable 5 setelah berbulan-bulan Anthropic menyesuaikan ketentuannya. Pada paket Pro dan kursi Tim atau Enterprise standar, Fable 5.1 sepenuhnya menggunakan kredit penggunaan bayar sesuai pemakaian yang ditagih dengan tarif API, karena tidak termasuk dalam batas mingguan paket tersebut. Pada paket Max dan kursi Tim atau Enterprise premium, ia termasuk sebagai bagian standar dari langganan hingga 50% dari penggunaan mingguan.
Claude Fable 5.1 kini tersedia di Claude API, Amazon Bedrock, Google Cloud, dan Microsoft Foundry, di bawah ID model "claude-fable-5-1."
