Anda dapat membuat server AI yang dihosting sendiri dengan LM Studio 0.4.0
LM Studio adalah salah satu alat terbaik untuk menjalankan model AI generatif secara lokal di komputer Anda, memberi Anda sesuatu yang sebanding dengan ChatGPT, Microsoft Copilot, atau Google Gemini tanpa menggunakan layanan cloud. Kini, LM Studio 0.4.0 telah hadir dengan antarmuka yang diperbarui dan opsi baru untuk server yang di-host sendiri.
Jika Anda belum pernah menggunakannya sebelumnya, LM Studio adalah aplikasi desktop untuk Windows, Mac, dan Linux yang dapat menjalankan berbagai model bahasa besar (LLM). Anda hanya perlu mengunduh model yang Anda inginkan dari dalam aplikasi, seperti GPT-OSS, Meta Llama, atau Google Gemma, dan LM Studio akan menjalankannya menggunakan GPU atau NPU komputer Anda. Antarmuka default adalah jendela obrolan seperti ChatGPT, tetapi juga dapat memulai server yang berfungsi seperti layanan API OpenAI.
LM Studio 0.4.0 telah memisahkan kode aplikasi inti dari antarmuka pengguna grafis, memungkinkan Anda untuk dengan mudah mengatur LM Studio di server yang di-host sendiri, atau hanya menggunakannya di terminal di desktop Anda. Fungsi inti sekarang ada di alat "llmster", dan aplikasi desktop kini menjadi lapisan grafis di atasnya.
Posting blog pengumuman menjelaskan, "Kami telah merancang ulang perangkat lunak kami untuk memisahkan GUI dari fungsionalitas inti, memungkinkan llmster berjalan sebagai daemon mandiri. Ini berarti llmster dapat dijalankan sepenuhnya secara independen dari aplikasi dan diterapkan di mana saja: komputer Linux, server cloud, rig GPU Anda, atau bahkan Google Colabs. Tentu saja, ini juga masih bisa dijalankan di mesin lokal Anda tanpa GUI, bagi mereka yang lebih menyukai alur kerja berbasis terminal."
LM Studio telah menjadi pilihan yang bagus di desktop karena mudah digunakan, sambil tetap memberi Anda opsi untuk menyelami pengaturan dan optimisasi jika diperlukan. Sudah ada beberapa alat untuk meng-host model AI generatif sendiri di server (seperti Ollama), tetapi jika alat llmster baru mirip seperti LM Studio di desktop, ini mungkin menjadi opsi terbaik bagi kebanyakan orang yang ingin menjalankan model AI.
Masih ada beberapa perubahan menarik untuk aplikasi desktop LM Studio. Antarmukanya telah diperbarui dengan "pengalaman yang lebih konsisten dan menyenangkan, dan seharusnya masih familiar bagi siapa pun yang pernah menggunakan ChatGPT atau Google Gemini. Aplikasi ini kini juga dapat mengekspor obrolan Anda ke file PDF, Markdown, atau teks biasa, dan ada mode tampilan terpisah untuk menggunakan beberapa obrolan sekaligus.
LM Studio menggunakan mesin open source llama.cpp untuk inferensi LLM, dan LM Studio 0.4.0 meningkatkan versinya ke llama.cpp versi 2.0. Ini memungkinkan permintaan inferensi bersamaan ke model yang sama, sehingga Anda dapat menjalankan beberapa chat sekaligus dengan model yang sama.
Ada beberapa peningkatan lain di rilis ini. Jika Anda menggunakan server API bawaan, ada endpoint REST baru yang memungkinkan Anda menyimpan ID respons dari percakapan untuk alur kerja multi-langkah. Anda juga bisa memulai obrolan interaktif dari terminal Anda dengan perintah "lms chat", seperti yang terlihat di atas. Perlu diingat, itu bukan hal yang sama dengan backend "llmster" yang baru, ini berjalan di atas LM Studio.
Anda dapat mengunduh LM Studio dari situs resmi untuk Windows, macOS, dan Linux. Petunjuk untuk menginstal backend llmster ada di postingan blog pengumuman, yang tautannya ada di bawah ini.
Sumber: LM Studio