Saya memberi LLM lokal saya akses ke berkas pribadi saya dan mengganti tiga aplikasi langganan

Alat coding AI memang sangat berguna, tetapi langganannya cepat menumpuk. Jika Anda menjalankan lebih dari satu sekaligus, Anda menghabiskan banyak uang untuk alat-alat yang mungkin bahkan tidak Anda gunakan setiap hari. Menjalankan model secara lokal menghilangkan semua itu begitu perangkat keras sudah dibayar, dan Anda salah jika berpikir bahwa LLM lokal tidak cukup baik sehingga Anda sebenarnya tidak mengorbankan banyak untuk beralih.

Alat AI premium itu hebat sampai tagihannya mulai datang

Langganan untuk asisten pemrograman adalah pajak bulanan yang berat yang cepat bertambah

Alat AI premium mengubah cara orang menulis kode, tetapi biayanya cepat menumpuk. Layanan seperti Gemini, Claude, dan ChatGPT Plus masing-masing sekitar $20 per bulan, dan jika Anda menggunakan lebih dari satu, itu adalah bagian yang signifikan dari anggaran Anda yang hilang setiap bulan. Layanan cloud juga mengenakan biaya per juta token, jadi jika Anda sering bereksperimen atau menjalankan sesi panjang, tagihannya bisa cepat menjadi tidak terkendali.

Setelah beberapa saat, saya mulai lelah melihat biaya-biaya menumpuk untuk alat-alat yang bahkan tidak saya gunakan setiap hari. Saat itulah saya mulai berpikir untuk menjalankan model lokal sebagai gantinya. Setelah Anda memiliki perangkat kerasnya, tidak ada biaya token, tidak ada tagihan bulanan, dan tidak ada batasan penggunaan.

Adalah mungkin untuk menghabiskan sedikit uang di awal untuk mesin yang layak, tetapi sebenarnya Anda tidak harus melakukannya. Saya menggunakan mesin seharga $200, dan akhirnya mesin itu membayar dirinya sendiri lebih cepat daripada yang diperkirakan kebanyakan orang. Saya telah menghemat jumlah yang cukup besar dalam setahun terakhir hanya dengan beralih dari langganan yang saya bayar karena kebiasaan.

Saya tidak membayar untuk alat AI karena AI lokal juga telah berkembang sampai pada titik di mana Anda sebenarnya tidak lagi mengorbankan kualitas. Alat seperti Ollama dan LM Studio mempermudah untuk mengelola dan menjalankan model di komputer Anda sendiri.

Komunitas sumber terbuka telah mengeluarkan model seperti Qwen3-Coder dan Llama 3 yang mampu menangani penalaran kompleks dan analisis kode dengan cukup baik untuk menggantikan sebagian besar yang sebelumnya saya bayar. Data Anda tetap berada di perangkat keras Anda, tidak ada yang dikirim ke server cloud, dan Anda tidak terjebak jika sebuah perusahaan mengubah harga atau menonaktifkan fitur yang Anda butuhkan.

Anda akan menghemat dan mendapatkan jauh lebih banyak daripada yang Anda kira

Semua langganan ini hilang

Menjalankan model lokal menghemat uang Anda lebih cepat daripada yang diperkirakan kebanyakan orang. Titik awal yang paling jelas adalah mengganti chatbot serba guna seperti ChatGPT Plus dan Claude, yang masing-masing berjalan seharga $20 per bulan.

Alat-alat seperti LM Studio, Ollama, atau GPT4All memungkinkan Anda menjalankan model open-source yang mumpuni seperti Llama 3, Mistral, atau Qwen di perangkat keras Anda sendiri secara gratis. Satu penggantian itu mengembalikan $480 ke kantong saya setiap tahun, dan itu sebelum saya mulai mengganti alat khusus yang lebih mahal. Saya menggunakan komputer cadangan sebagai server untuk menjalankan model yang lebih berat, jadi sebenarnya biayanya nol.

Asisten menulis seperti Grammarly adalah tempat di mana biaya dengan cepat menjadi tidak terkendali. Grammarly terlalu keras mendorong versi Premiumnya, dan AI biasanya membuat penyesuaian terasa tidak otentik. Grammarly mengenakan biaya sekitar $144 setahun, dan saya senang bisa menyingkirkannya.

Saya terus-menerus mengalami masalah koneksi internet yang acak yang hanya terjadi karena server mereka. Anda bisa mengganti semua itu dengan menjalankan model lokal kecil seperti Phi-3.5 Mini dari Microsoft atau Llama 3.2 dari Meta langsung di desktop Anda.

Karena semuanya berjalan secara lokal, Anda dapat mengulangi paragraf yang sama sebanyak yang Anda mau tanpa batasan atau harus membayar untuk bulan lain. Sementara itu, Anda mendapatkan pemeriksaan tata bahasa yang benar-benar Anda inginkan. Grammarly belakangan ini menurun, dan sekarang karena ada kompetisi gratis, tidak ada alasan untuk terus menggunakannya.

Yang terbaik dari semuanya, ketika editor Anda meminta saran kode atau analisis file, permintaan tersebut tidak pernah meninggalkan mesin Anda. Tidak ada batasan penggunaan, dan saya tidak perlu menunggu perusahaan memutuskan fitur apa yang bisa saya akses pada tingkat harga tertentu. Karena ini membutuhkan informasi pribadi saya untuk jenis pekerjaan ini, saya selalu lebih memilih menggunakan sistem saya sendiri. GPT4All mungkin kekurangan beberapa fitur canggih untuk tim besar, tetapi antarmuka dan API lokalnya menjadikannya cara yang sempurna untuk melihat apakah ini cocok untuk Anda.

Qwen dan GPT4All adalah semua yang Anda butuhkan

Anda dapat menghubungkan model lokal ke editor kode Anda dengan beberapa klik

Anda tidak memerlukan gelar ilmu komputer untuk menggunakan AI secara lokal. Saya memilih GPT4All karena dilengkapi dengan antarmuka yang mudah digunakan dan tidak seketat LM Studio. Anda dapat mengunduh perangkat lunak dan mencari model untuk memulai pengaturannya. Pertama, unduh GPT4All dan pergi ke Model Hub tempat Anda dapat menjelajahi dan mengunduh model open-source di dalam program. Saya menggunakan ini untuk menemukan model Qwen2.5-Coder-3B.

Anda dapat menemukan model ini di perpustakaan GPT4All. Anda tidak perlu mengelola file secara manual karena Anda tinggal mengklik unduh untuk versi yang sesuai dengan sistem Anda. Qwen adalah keluarga model yang mumpuni, dan versi 3B cukup kecil untuk dimuat dengan cepat sambil tetap cerdas.

Setelah diunduh, cukup pilih dari daftar model Anda. Jika komputer Anda tidak terlalu kuat, sebaiknya matikan semua hal lainnya. Anda akan melihat segala sesuatunya menjadi lambat, itulah sebabnya saya menyiapkan server pribadi. Saya lebih suka mendedikasikan PC tambahan untuk itu daripada menghadapi lag di mesin utama saya. Setelah Anda memuat model Anda di obrolan, pergi ke pengaturan lalu pilih Model.

Gulir ke bawah sampai Anda melihat Panjang Maks. Ubah ini menjadi '4096,' atau lebih tinggi jika PC Anda dapat menangani penggunaan RAM lebih banyak.

Hemat uang dan gunakan peralatan Anda sampai batas maksimal

Biaya awal untuk beralih ke model lokal lebih rendah daripada yang diperkirakan kebanyakan orang, dan penghematan bulanan langsung terlihat. Anda tidak perlu menghadapi batasan penggunaan, perubahan harga, atau data Anda dikirim ke tempat yang tidak bisa Anda kendalikan. GPT4All adalah titik awal yang wajar jika Anda ingin mencoba ini tanpa harus berkomitmen pada sesuatu yang rumit. Setelah Anda memiliki model yang berjalan secara lokal dan terhubung ke editor kode Anda, akan sulit untuk membenarkan kembali membayar untuk hal yang sama setiap bulan.