Claude mengalahkan Gemini dalam uji dokumen 150 halaman, tapi bukan karena alasan yang kamu pikirkan

Jendela konteks bukanlah sesuatu yang Anda pikirkan saat pertama kali mulai menggunakan LLM seperti Gemini atau Claude. Sejujurnya, hal itu juga tidak memengaruhi sebagian besar interaksi singkat yang Anda lakukan di platform ini. Namun, hal itu berubah ketika Anda menginginkan kesetiaan sumber yang konsisten dalam jawaban yang Anda dapatkan dari chatbot AI.

Misalnya, ketika Anda ingin menganalisis esai yang kompleks atau makalah putih yang memiliki beberapa bagian, jendela konteks dalam alat AI seperti Claude dan Gemini menjadi sangat berguna. Untuk informasi, baik Claude maupun Gemini membanggakan jendela konteks mereka yang besar, tetapi kita harus melihat apakah klaim ini didukung oleh kinerja dunia nyata.

Pertanyaannya cukup sederhana: bagaimana kinerja jendela konteks Claude dan Gemini saat menangani dokumen besar?

Alasan sebenarnya saya memutuskan untuk menjalankan tes ini

Kendala yang berulang dengan dokumen yang padat dan dua jawaban yang bersaing

Selain rasa ingin tahu, ada alasan pribadi untuk mengetahui mana dari jendela konteks yang jauh lebih besar untuk Claude dan Gemini yang merupakan pilihan yang lebih baik. Saya secara rutin menggunakan alat AI untuk berbagai tugas yang berorientasi pada penelitian. Misalnya, saya mungkin harus meringkas sebuah bab atau mencari referensi intra-teksual.

Sebagai sebesar apa pun saya menyukai NotebookLM karena kesetiaan sumbernya, saya tidak selalu bisa menggunakannya untuk pertanyaan rutin saya. Jadi, wajar saja, Claude dan Gemini menjadi pilihan utama saya. Masalahnya adalah kebingungan yang saya hadapi ketika respons dari Claude dan Gemini berbeda secara signifikan, terutama ketika saya mengirimkan prompt dengan lampiran besar.

Mengingat bahwa saya berurusan dengan kasus di mana saya tidak mampu menerima halusinasi AI, saya pikir sebaiknya mengakhiri kebingungan tersebut. Pada dasarnya, saya ingin menentukan jendela konteks yang lebih besar mana yang bekerja ketika memiliki gambaran keseluruhan penting.

Bagaimana saya menyusun perbandingan tanpa memiringkan peluang

Dokumen 150 halaman, prompt yang persis sama, dan apa yang sebenarnya saya ukur

Seperti yang saya katakan, saya ingin memahami bagaimana baik Claude maupun Gemini menangani dokumen yang cukup besar sebagai konteks. Namun, saya juga tidak ingin mereka mempertimbangkan narasi sederhana. Sebaliknya, saya ingin kedua alat AI tersebut menangani dokumen dengan koneksi intra-teks dan berbagai jenis konten, termasuk paragraf dan tabel. Saya memutuskan untuk menggunakan silabus rinci dari program magister yang sudah saya kenal.

Ada juga beberapa langkah tambahan untuk menghindari bias. Pertama: Saya memutuskan untuk menanyakan tiga pertanyaan kepada setiap AI:

Pertanyaan tingkat ringkasan
Sebuah pengambilan yang menuntut referensi intra-teks
Sebuah sintesis yang membutuhkan pemahaman

Pertanyaan-pertanyaan ini dipilih karena tingkat keterampilan yang dibutuhkan berbeda-beda. Saya juga memastikan menggunakan prompt yang sama seperti Gemini dan Claude. Kedua, saya membandingkan respons dari Claude dan Gemini dengan pemahaman saya tentang dokumen yang dimaksud, daripada melakukan perbandingan langsung antara alat AI. Dengan cara ini, saya bisa menunjukkan di mana masing-masing alat AI bekerja dengan baik dan di mana masih ada ruang untuk perbaikan.

Claude mempertahankan konteks penuh; Gemini mulai kehilangan benang cerita di tengah jalan

Perbedaan perilaku muncul dengan cara-cara tertentu

Seperti yang bisa Anda tebak, Claude dan Gemini melakukan pekerjaan yang layak dalam menjawab ketiga permintaan, dan mereka juga percaya diri dalam jawaban mereka. Namun, kecuali untuk satu bagian, kinerjanya tidak begitu sebanding. Berikut beberapa wawasan yang saya dapatkan saat mencoba memahami perilaku Claude dan Gemini dalam dokumen sepanjang 150 halaman.

Respons terhadap prompt pertama, yang meminta alat kedua AI untuk meringkas argumen inti dokumen, dapat dibandingkan dan sama baiknya. Baik Claude maupun Gemini memberikan ringkasan yang rinci tentang silabus, tetapi saya menemukan respons Claude sedikit lebih rinci. Namun, dari segi kesetiaan, baik Claude maupun Gemini berada di posisi yang sangat baik. Tapi, segalanya segera berubah.

Prompt kedua meminta kedua alat AI untuk melakukan referensi intra-teks, yang mengharuskan mereka menghubungkan dua ide dari bagian berbeda dalam dokumen. Namun, di sini, saya memperhatikan bagaimana Claude mempertahankan konteks penuh, sedangkan Gemini melewatkan beberapa poin penting. Misalnya, kedua jawaban mencantumkan beberapa mata kuliah di bawah satu kategori, tetapi Gemini melewatkan beberapa opsi yang sesuai dari semester yang berbeda.

Prompt berbasis inferensi juga menunjukkan efek yang serupa. Tentu, baik Claude maupun Gemini memang melakukan inferensi dari teks, tetapi luasnya inferensi tersebut adalah pertanyaan yang berbeda. Claude menyertakan bukti yang sesuai dan menghubungkan poin-poin ini sebelum menyajikan respon yang cukup terintegrasi. Di sisi lain, Gemini tampaknya hanya mengulang makna permukaan saja.

Oleh karena itu, jika Anda khawatir tentang hal lain selain ringkasan, Anda harus membuat pilihan.

Apa yang sebenarnya diberikan oleh jendela konteks yang lebih besar dalam praktik

Batas token kurang penting daripada konsistensi, dan konsistensi memiliki batas nyata

Sehubungan dengan apa yang telah saya pelajari dari Claude dan Gemini, saya ingin melanjutkan diskusi tentang jendela token. Sebagai referensi, model terkuat dari Gemini milik Google memiliki jendela token sebesar 2 juta. Namun, model-model Claude diatur pada 200 ribu token. Dokumen 150 halaman yang saya gunakan untuk tugas ini masih berada dalam jendela token untuk masing-masing alat. Jadi, saya sebenarnya tidak terlalu khawatir tentang permintaan yang menemui hambatan. Tetapi sekarang saya memiliki perspektif baru tentang betapa pentingnya konsistensi dibandingkan jendela konteks.

Saya tidak bermaksud mengatakan bahwa jendela konteks tidak penting, tetapi tidak ada gunanya mempromosikan jendela 1 juta atau 2 juta token jika model kehilangan perhatian dan responsnya menurun seiring waktu. Sayangnya, hal ini terjadi pada Gemini, yang memiliki jendela konteks lebih besar di antara keduanya. Jendela konteks yang lebih besar tidak membantu Gemini ketika secara bertahap melewatkan petunjuk dari dokumen referensi.

Sebagai perbandingan, Claude telah melakukan jauh lebih baik dalam referensi dan sintesis intra-dokumen. Hal ini lebih disebabkan oleh rentang perhatian model daripada hanya karena jendela konteks.

Jendela token 1M/2M Gemini masih penting

Katakanlah, jangan kita percaya bahwa jendela konteks yang lebih besar dari Gemini sama sekali tidak penting. Ada kalanya Anda harus meningkatkan konteks dua kali atau sepuluh kali lipat, dan di sinilah 1 juta token itu membantu Anda.

Anda mungkin memiliki sejumlah dokumen setebal 200 halaman atau laporan yang sangat panjang yang perlu dianalisis. Di sinilah Gemini dapat membantu. Tentu saja, Anda akan mendapatkan respons yang lebih baik dari Gemini ketika menggunakannya untuk tugas-tugas tertentu, seperti membuat ringkasan, pencarian cepat, atau menemukan hubungan antara dokumen yang berbeda, daripada menyelami satu dokumen secara mendalam.