Catatan editorial: nama Claude 3.5 Sonnet digunakan untuk peluncuran Juni 2024 dan versi yang ditingkatkan pada Oktober 2024. Artikel ini membedakan keduanya agar angka benchmark tidak tercampur.

Anthropic meluncurkan Claude 3.5 Sonnet pada 20 Juni 2024. Bersamaan dengan itu, perusahaan memperkenalkan Artifacts, sebuah ruang di antarmuka Claude untuk melihat dan menyunting keluaran seperti kode, dokumen, atau desain. Pada 22 Oktober 2024, Anthropic mengumumkan versi Claude 3.5 Sonnet yang ditingkatkan dan fitur computer use dalam beta publik.

Angka coding perlu diberi tanggal

Pada rilis Juni, Anthropic melaporkan skor 33,4 persen pada SWE-bench Verified dengan konfigurasi evaluasinya. Pada pembaruan Oktober, perusahaan melaporkan 49,0 persen dalam kondisi yang disebutkan pada dokumentasinya. Angka 49 persen tidak semestinya ditempelkan ke model Juni tanpa konteks. Benchmark juga dapat berubah karena pembaruan dataset, prompt, alat, jumlah percobaan, dan metode penilaian.

SWE-bench menguji penyelesaian masalah perangkat lunak dari repositori nyata. Skor yang lebih tinggi memberi sinyal kemampuan, tetapi tidak membuktikan model akan menghasilkan kode aman untuk setiap sistem. Perubahan AI harus ditinjau manusia, diuji otomatis, diperiksa dependensinya, dan dijalankan dengan hak akses minimum.

Computer use masih eksperimental

Computer use memungkinkan model melihat tangkapan layar dan mengoperasikan antarmuka melalui tindakan seperti menggerakkan kursor atau mengetik. Anthropic secara eksplisit menyebut fitur awal ini eksperimental dan rawan kesalahan. Pengguna tidak seharusnya memberikan akses bebas ke email, perbankan, panel produksi, atau data rahasia. Konfirmasi manusia diperlukan sebelum pengiriman pesan, pembayaran, penghapusan, atau tindakan yang sulit dibatalkan.

Apakah mengungguli GPT-4o?

Jawabannya bergantung pada tugas dan versi. Tabel benchmark dari pembuat model berguna sebagai titik awal, tetapi bukan penilaian universal. Perbandingan yang adil harus memakai versi model, tanggal, prompt, alat, biaya, latensi, bahasa, dan dataset yang sama. Untuk bahasa Indonesia atau alur kerja organisasi, pengujian lokal lebih relevan.

Claude 3.5 Sonnet menunjukkan kemajuan pada coding dan penggunaan alat pada masanya. Kesimpulan yang bertanggung jawab adalah menilai kemampuan spesifiknya, bukan memberi gelar mutlak yang cepat kedaluwarsa.

Sumber rujukan