Modelle (LLMs) lokal mit Docker ausführen

Wenn Entwickler mit Large Language Models (LLMs) in Berührung kommen, geschieht das oft im Zusammenhang mit Basismodellen wie GPT-4o von OpenAI, Gemini 2.5 Pro von Google und Claude Sonnet 4 von Anthropic. Einige Anwendungsfälle für generative KI lassen sich jedoch vollständig lokal auf dem eigenen Entwicklercomputer umsetzen.

In diesem Quickstart-Leitfaden erkläre ich kurz und knapp, wie Sie Modelle so einrichten, dass sie lokal auf Ihrem Laptop laufen (oder Inferenz ausführen, wenn Ihre GPUs dafür ausreichen) – ohne dass Sie sich mit Begriffen aus dem maschinellen Lernen, Python-Tools oder anderem Fachwissen beschäftigen müssen, das Ihnen als Softwareentwickler möglicherweise nicht zugänglich erscheint.

Warum LLMs lokal auf dem eigenen Rechner ausführen?

Ob Kosten für Modelle, Datenschutz- und Sicherheitsbedenken oder Unternehmensrichtlinien und externe Vorschriften – manche Anwendungsfälle und Anforderungen machen es erforderlich, Modelle lokal in der eigenen Umgebung (im lokalen Rechenzentrum) oder direkt auf dem eigenen PC oder Laptop auszuführen.

Modelle mit Docker ausführen

Docker hat sich als Technologie etabliert, die viele Hürden beim Verpacken von Anwendungen beseitigt und dafür sorgt, dass sie nahtlos auf verschiedenen Plattformen laufen. Jetzt ermöglicht Docker dasselbe für LLMs.

Für dieses Tutorial benötigen Sie:

• Docker Engine oder Docker Desktop, Version 4.41 oder höher. Aktualisieren Sie daher Ihre lokale Installation, damit das Tutorial reibungslos funktioniert.

Weitere Informationen finden Sie in der Dokumentation zum Docker Model Runner.

Schritt 1: Docker Model Runner aktivieren

Wenn Sie auf die neueste Docker-Version aktualisiert haben, ist diese Funktion wahrscheinlich bereits aktiviert. Sie müssen jedoch auch die host-side TCP support aktivieren, damit wir über Programmcode, etwa mit dem AI SDK von Vercel, eine Verbindung zum Modell herstellen können. Andernfalls können Sie nur über die docker-CLI mit dem Model Runner interagieren.

Öffnen Sie die Einstellungen von Docker Desktop, wechseln Sie zu Beta-Funktionen und aktivieren Sie dort diese beiden Optionen:

• „Docker Model Runner aktivieren“

• „TCP-Unterstützung auf dem Host aktivieren“

Schritt 2: Ein LLM-Modell abrufen

Öffnen Sie als Nächstes das Docker Desktop-Dashboard und wählen Sie im linken Seitenleistenmenü Modelle aus, um alle verfügbaren Modelle anzuzeigen:

Modelle finden Sie auch online auf Docker Hub.

Wir verwenden das Modell smollm2, das weniger als 300 Megabyte Speicherplatz benötigt. Für leistungsfähigere Modelle empfehle ich jedoch entweder die Modellfamilie mit 3B bis 4B Parametern, etwa gemma3, oder die nächsthöhere Stufe mit 7B bis 8B Parametern. Sie können auch Microsofts Modell mit 14B Parametern ausprobieren: phi4.

Beachten Sie, dass die Modellleistung stark von Ihrer lokalen CPU und GPU sowie der lokal verfügbaren Inferenz-Engine abhängt, die diese Ressourcen nutzt. Docker macht lokale Experimente einfach, doch die Standardkonfiguration ist wahrscheinlich nicht auf optimale Leistung abgestimmt.

Nachdem Sie sich für ein lokal auszuführendes Modell entschieden haben, können Sie diesen Befehl einfach im Terminal ausführen:

docker model run ai/smollm2

Da das Modell wahrscheinlich noch nicht in Ihrer Umgebung installiert ist, ruft Docker es aus der Registry ab und führt es anschließend aus:

Nun können Sie in einer interaktiven Sitzung über die CLI mit dem Modell interagieren.

Schritt 3: Das lokale LLM mit einem AI SDK verwenden

Das Vercel AI SDK wird in der Regel mit gehosteten Modell-Endpunkten wie OpenAI oder Anthropic verwendet. Es lässt sich jedoch problemlos für ein selbst gehostetes Modell anpassen, etwa für ein Modell, das über den Docker Model Runner ausgeführt wird.

Beim Prompting von LLMs wird üblicherweise mit den Primitiven createStreamableUI() und streamText() des SDK ein benutzerdefinierter Fetcher erstellt. Das folgende TypeScript-Codebeispiel zeigt, wie wir das Ganze so einrichten, als wäre es ein OpenAI-Endpunkt.

Stellen Sie zunächst sicher, dass das AI SDK installiert ist:

npm install ai

Richten Sie die Umgebungsvariablen ein:

OPENAI_API_KEY=docker
OPENAI_BASE_URL=http://localhost:12434/engines/llama.cpp/v1

Beachten Sie, dass für OPENAI_API_KEY tatsächlich der Wert docker festgelegt wird und es sich nicht um einen allgemeinen Platzhalter handelt.

Anschließend können Sie eine API-Route wie folgt definieren:

import { OpenAIStream, StreamingTextResponse } from 'ai';
import OpenAI from 'openai';

// or 'nodejs' depending on your environment
export const runtime = 'edge';

const openai = new OpenAI({
  apiKey: process.env.OPENAI_API_KEY!,
  baseURL: process.env.OPENAI_BASE_URL!,
});

export async function POST(req: Request) {
  const { messages } = await req.json();

  const response = await openai.chat.completions.create({
    model: 'ai/smollm2',
    messages,
    stream: true,
  });

  const stream = OpenAIStream(response);
  return new StreamingTextResponse(stream);
}

Ebenso können Sie das offizielle OpenAI SDK verwenden und mit unseren lokalen Docker Model Runner-Werten für OPENAI_BASE_URL und OPENAI_API_KEY initialisieren.

Mehr zu Docker, KI und Sicherheit

Nachdem Sie nun ein lokal laufendes LLM haben, möchten Sie vielleicht sicherstellen, dass LLMs sicheren Code generieren, sich über Prompt-Injection-Angriffe informieren und sich näher mit dem MCP-Ökosystem beschäftigen.

Wenn Sie mehr zu einem der oben genannten Themen erfahren möchten, empfehle ich Ihnen die folgenden Artikel:

• Da Sie für dieses Tutorial zu lokalen LLMs bereits Docker verwenden, möchten Sie vielleicht auch erfahren, wie Sie MCP-Server mit Docker ausführen.

• Erfahren Sie, wie Prompt-Injection über unsichtbaren PDF-Text ausgenutzt werden kann, um LLM-basierte Logik zu täuschen.

• Wenn MCP für Sie neu ist, lesen Sie unseren Leitfaden zum visuellen Verständnis der MCP-Architektur.

• Informationen zu MCPs finden Sie auch in unserer Auswahl beliebter MCP-Server für Entwickler.