LM Studio ist eine Software zur lokalen Ausführung von Large Language Modellen (LLM) auf dem eigenen Computer. Die Software verfügt über Möglichkeiten zur LLM-Verwaltung und dem Download verschiedener Modelle. Ebenfalls wird dem Nutzer eine Chatbot-Schnittstelle angeboten, sowie eine API (Programmierschnittstelle) für andere Applikationen.
LM Studio nutzt „llama.cpp“ als Inferenz-Engine für Modelle im GGUF-Format und unterstützt zudem Apples MLX-Framework auf Apple Silicon. Neben der grafischen Benutzeroberfläche umfasst die Plattform Befehlszeilentools, Software Development Kits für Python und TypeScript sowie einen lokalen Inferenzserver mit nativen, OpenAI-kompatiblen und Anthropic-kompatiblen APIs.
Geschichte LM Studio wurde im Mai 2023 veröffentlicht. Initial wurde die Software als Desktopanwendung entwickelt mit der Kombination aus lokaler LLM-Verwaltung, Modellsuche, Chat-Oberfläche und einem API Server.
Die Unterstützung für das MLX-Inferenz-Framework auf Apple Silicon wurde im Oktober 2024 eingeführt, parallel zum bestehenden, auf llama.cpp basierenden Inferenzsystem. In nachfolgenden Versionen wurden die entwicklerorientierten Funktionen der Software erweitert, darunter der Headless-Betrieb, das Laden von Modellen nach Bedarf, das Herunterladen von Modellen über die Befehlszeile, der Aufruf von Tools und die spekulative Dekodierung.
Im April 2026 übernahm Element Labs, der Entwickler von LM Studio, das Unternehmen Locally AI, dessen Entwickler dem Unternehmen beitrat, um an nativen KI-Anwendungen für Apple-Geräte zu arbeiten.
Features LM Studio bietet eine integrierte Benutzeroberfläche zum Suchen und Herunterladen von KI-Modellen, zum Laden von Modellen in den Arbeitsspeicher, zum Konfigurieren von Inferenz-Einstellungen sowie zur Interaktion mit Modellen über eine Chat-Oberfläche. Modelle können über Integrationen mit Repositorien wie Hugging Face bezogen werden. Die Anwendung kann zudem „Retrieval-Augmented Generation“ nutzen, um Sprachmodellen lokale Dokumente als Kontext bereitzustellen.
Die Software kann als lokaler Inferenzserver fungieren, sodass Anwendungen auf geladene Modelle zugreifen können, entweder über die REST-API von LM Studio oder über Kompatibilitätsschnittstellen, die den APIs von OpenAI und Anthropic nachempfunden sind. Die Software-Entwicklungskits für Python und TypeScript ermöglichen das programmgesteuerte Laden von Modellen, die Textgenerierung, Embeddings sowie die Nutz von "Agent-Tools".
LM Studio kann auch ohne seine grafische Benutzeroberfläche betrieben werden. Die Headless-Komponente „llmster“ bündelt die LM Studio-Laufzeitumgebung für den Einsatz als Hintergrunddienst auf lokalen Computern, Servern und GPU-Systemen.
External links
Offizielle Webseite LM Studio Dokumentation
References
Kategorie:Proprietäre Software Kategorie:Large Language Model