Saya memindahkan semuanya ke AI lokal dan berhenti mengirim dokumen saya ke cloud

Untuk waktu yang lama, saya tidak berpikir dua kali untuk menempelkan kontrak ke ChatGPT, mengunggah laporan rahasia untuk meminta ringkasan, atau memasukkan proposal klien ke dalam alat AI berbasis cloud. Lalu suatu hari saya benar-benar berhenti dan membaca dokumen syarat layanan (sesuatu yang selama bertahun-tahun hanya saya lewati dengan sembarangan) dan saya menyadari: berkas-berkas ini meninggalkan mesin saya dan berada, setidaknya sementara waktu, di server orang lain. Dan menariknya, saya teringat bahwa seorang mantan rekan pernah menjelaskan mengapa Anda tidak boleh mempercayai ChatGPT dengan informasi rahasia. Rasa tidak nyaman itu membuat saya mencari cara yang lebih baik.

Apa yang saya temukan adalah AnythingLLM, sebuah aplikasi desktop gratis dan sumber terbuka yang memungkinkan Anda membangun asisten AI yang sepenuhnya pribadi dari dokumen Anda sendiri — dan melakukannya sepenuhnya di perangkat Anda. Aplikasi ini telah menjadi salah satu aplikasi AI sumber terbuka yang saya gunakan setiap hari. Inilah seperti apa sebenarnya proses beralih ke aplikasi ini.

Menginstal dan mengonfigurasi AnythingLLM hanya memerlukan beberapa menit

Dan itu memberitahu Anda persis ke mana data Anda pergi sebelum Anda bahkan mulai

Setelah Anda mengunduh file pengaturan, klik dua kali, dan panduan akan mengambil alih. Selama instalasi, secara otomatis mengunduh komponen pendukung: pustaka CUDA Ollama jika Anda memiliki GPU NVIDIA yang kompatibel — proses yang akan Anda hargai jika Anda memahami apa itu inti CUDA dan bagaimana cara meningkatkan daya komputasi umum — FFProbe untuk penanganan media, dan aset Meeting Assistant untuk fitur suara. Tidak ada yang memerlukan input dari Anda. Seluruh proses, dari mengklik dua kali penginstal hingga melihat dasbor utama, memakan waktu kurang dari lima menit bagi saya.

Begitu AnythingLLM dibuka, salah satu hal pertama yang ditunjukkan adalah layar Penanganan Data & Privasi — dan layak dibaca. Layar ini menyatakan dengan jelas bahwa model dan obrolan Anda hanya dapat diakses di perangkat Anda, bahwa teks dokumen disematkan secara pribadi pada instance ini menggunakan AnythingLLM Embedder bawaan, dan bahwa vektor Anda disimpan secara lokal melalui LanceDB. Jika Anda pernah mempelajari apa itu basis data vektor dan bagaimana mereka meningkatkan AI, Anda akan menyadari bahwa menjaga komponen ini sepenuhnya offline adalah kemenangan besar untuk privasi. Tidak ada tombol pengaturan, dan tidak ada opsi keluar yang tersembunyi di pengaturan. Semuanya tetap lokal secara default.

Tepat setelah tinjauan privasi, AnythingLLM membimbing Anda melalui layar Preferensi LLM-nya. Daftar penyedia yang didukung cukup panjang: di sisi cloud ada OpenAI, Anthropic, Azure OpenAI, Gemini, Groq, dan lainnya. Di sisi lokal sepenuhnya, ada Ollama, LM Studio, LocalAI, KoboldCPP, Dell Pro AI Studio, Microsoft Foundry Local, dan Docker Model Runner, antara lain. Opsi default "AnythingLLM" menyertakan pemroses model lokal yang didukung oleh Ollama, yang berarti Anda dapat mengunduh model seperti Phi-4 milik Microsoft (9,1 GB) atau Qwen3 0,6B milik Alibaba (hanya 600 MB) langsung dari dalam aplikasi, tanpa pengaturan tambahan.

Jika mesin Anda tidak memiliki GPU khusus, itu bukan masalah besar. Menghubungkan ke API Groq memberi Anda akses ke model inferensi cepat seperti Llama 3 70B hampir tanpa biaya, dan Anda hanya memerlukan kunci API untuk membuatnya bekerja. Anda dapat mengganti penyedia kapan saja dari pengaturan, sehingga Anda tidak pernah terikat dengan opsi mana pun yang Anda pilih saat pengaturan. Saya memulai dengan penyedia lokal untuk pengujian — Phi-3 3.8B mengejutkan saya dengan kemampuannya untuk Q&A dokumen di laptop kelas menengah — kemudian beralih ke Groq untuk tugas yang lebih berat di mana kecepatan lebih penting.

Setelah Anda siap, AnythingLLM mengubah dokumen Anda sendiri menjadi asisten AI yang terfokus

File Anda bisa 'berbicara' kembali dengan cara yang jauh lebih jelas

Dasbor menyambut Anda dengan daftar periksa memulai dan bilah samping yang sudah berisi ruang kerja default bernama "Ruang Kerja Saya." Ruang kerja adalah konsep inti pengorganisasian di AnythingLLM: masing-masing merupakan lingkungan mandiri di mana dokumen dan percakapan Anda berada bersama. Pikirkan setiap ruang kerja sebagai ruangan terpisah: satu untuk kontrak klien, satu lagi untuk penelitian internal, dan satu lagi untuk catatan pribadi. Dokumen dapat dibagikan antar ruang kerja jika diperlukan, tetapi mereka tidak saling tumpang tindih, yang menjaga konteks AI tetap fokus dan jawabannya akurat.

Memasukkan dokumen ke dalam workspace sangatlah mudah, cukup tarik dan lepas. AnythingLLM dapat menangani dokumen Word, file teks biasa, CSV, spreadsheet, file audio, dan bahkan PDF, mirip dengan bagaimana NotebookLM mengubah PDF menjadi percakapan interaktif. Ada juga kolom "Fetch website" di panel unggah, jadi jika Anda ingin mengambil halaman web atau sumber online, Anda tinggal menempelkan URL, dan sistem secara otomatis mengambil kontennya. Setelah diunggah, AnythingLLM memproses setiap file melalui embedded-nya, memecah teks menjadi bagian-bagian dan menyimpan vektor secara lokal. PDF sepuluh halaman biasanya hanya membutuhkan beberapa detik.

Dari sana, mengobrol dengan dokumen Anda bekerja sebagaimana yang Anda harapkan. Saya mengunggah lima catatan kuliah universitas saya dan memintanya untuk meringkas beberapa topik kunci, menandai setiap risiko yang disebutkan, dan membandingkan dua bagian yang sebelumnya sulit saya rekonsiliasi secara manual. Itu menangani ketiganya dengan bersih. Respons termasuk kutipan yang mengarah kembali ke bagian dokumen spesifik yang menjadi sumber jawaban, sehingga Anda tidak pernah bertanya-tanya apakah AI membuat sesuatu atau benar-benar menemukannya di file Anda. Kejelasan ini saja membuatnya jauh lebih dapat dipercaya dibandingkan chatbot umum untuk pekerjaan nyata.

Agen dan perintah slash mendorong AnythingLLM melampaui kotak pencarian pintar

Inilah bagian di mana semuanya menjadi sangat menarik

AnythingLLM dilengkapi dengan kemampuan agenik yang jauh melampaui sekadar Q&A dokumen. Mengetik @agent di obrolan akan mengaktifkan agen AI yang dapat melakukan tugas pemanggilan alat: pencarian web, penelitian lebih mendalam, dan tindakan lintas aplikasi. Keterampilan agen kustom tersedia melalui AnythingLLM Community Hub, di mana perpustakaannya terus berkembang. Fitur perintah slash memungkinkan Anda membuat dan menyimpan template prompt untuk tugas berulang — hal-hal seperti merangkum catatan rapat dalam format yang konsisten, menyusun balasan email dengan nada tertentu, atau mengekstrak bidang tertentu dari dokumen yang diunggah setiap kali.

Jika Anda ingin melangkah lebih jauh, ada ekstensi browser yang memungkinkan Anda berinteraksi dengan instance AnythingLLM Anda dari halaman web mana pun, dan integrasi GPTLocalhost yang membawa asisten langsung ke Microsoft Word. Tim yang membutuhkan akses bersama dapat memilih versi Docker, yang menambahkan dukungan multi-pengguna, kontrol berbasis peran, dan white-labeling. Aplikasi desktop sudah lebih dari cukup untuk penggunaan pribadi, tetapi baik untuk mengetahui bahwa jalur menuju pengaturan tim ada.

Selamat datang di revolusi AI pribadi (populasi: Anda)

Dengan beralih ke AnythingLLM, saya berhenti melihat AI sebagai layanan yang saya sewa dan mulai melihatnya sebagai utilitas yang saya miliki. Dokumen saya tetap di drive saya, pertanyaan saya tetap pribadi, dan sekarang saya memiliki asisten digital yang benar-benar mengetahui konteks saya, bukan hanya informasi umum di internet.