Ollama

Das Modell enthält die trainierten Gewichte. Ollama stellt die Laufzeit und eine Schnittstelle bereit. Eine darüberliegende Anwendung verwaltet etwa Chatverläufe, Benutzer und hochgeladene Dokumente. Diese Komponenten können auf demselben Rechner oder auf getrennten Systemen laufen.

Nicht jedes Modell kann dieselben Aufgaben bearbeiten. Textgenerierung, Bilderkennung und Embeddings brauchen passende Modelle und API-Aufrufe. Ein Embedding-Modell erzeugt Vektoren für die Suche, keine ausformulierten Antworten. Die Auswahl sollte deshalb mit eigenen repräsentativen Aufgaben beginnen, etwa deutschen Fachtexten, Tabellen oder kurzen Supportmeldungen.

Die Parameterzahl allein reicht für eine Hardwareentscheidung nicht aus. Quantisierung reduziert den Speicherbedarf der Modellgewichte und kann die Ergebnisqualität beeinflussen. Zusätzlich benötigen Kontext und parallele Verarbeitung Speicher. Ein Modell, das sich laden lässt, muss unter mehreren gleichzeitigen Anfragen noch keine brauchbare Antwortzeit liefern.

Ollama kann je nach Plattform und Modell auf GPU und CPU rechnen. Mit ollama ps lässt sich bei geladenen Modellen kontrollieren, wie die Verarbeitung verteilt ist und welcher Kontext verwendet wird. Teilweise Auslagerung auf den Arbeitsspeicher kann das Modell ausführbar machen, aber die Antwortzeit verändern.

Die aktuelle Dokumentation beschreibt hardwareabhängige Kontextvorgaben. Deshalb keine feste Kontextgröße aus einer alten Anleitung übernehmen. Eingabelänge, erwartete Ausgabe und Zahl gleichzeitiger Sitzungen festlegen und damit messen. Für die Abnahme sind Wartezeit bis zum ersten Text und Gesamtdauer oft hilfreicher als ein isolierter Spitzenwert in Tokens pro Sekunde.

Ollama lauscht standardmäßig auf der lokalen Adresse mit Port 11434. Die lokale API verlangt keine Anmeldung. Wird der Dienst über eine andere Bind-Adresse oder einen Proxy im Netz erreichbar gemacht, entsteht dadurch keine Zugriffskontrolle. Firewall, authentifizierender Zugang und begrenzte Aufrufer müssen außerhalb dieser lokalen API eingerichtet werden.

Ein Anwendungskonto sollte nur den benötigten Modellserver erreichen. Öffentliche Freigaben des Ports sind für einen internen Inferenzdienst ungeeignet. Auch die Verwaltung von Modellen darf nicht versehentlich jedem Chatbenutzer offenstehen. Vertrauliche Prompts nicht in Proxy-Zugriffslogs oder ausführlichen Debugprotokollen sammeln.

Neben der eigenen API unterstützt Ollama Teile der OpenAI-Schnittstellen. Das erleichtert Anbindungen, belegt aber keine vollständige Austauschbarkeit aller Funktionen. Streaming, Werkzeugaufrufe, strukturierte Ausgaben und Fehlermeldungen mit der tatsächlich verwendeten Clientbibliothek prüfen.

Bei mehreren Benutzern konkurrieren laufende Anfragen und geladene Modelle um Speicher. Ollama bietet dafür Einstellungen wie OLLAMA_NUM_PARALLEL, OLLAMA_MAX_LOADED_MODELS und OLLAMA_MAX_QUEUE. Höhere Werte sind nicht automatisch schneller. Sie können den Speicherbedarf erhöhen und längere Warteschlangen verursachen.

Eine Anwendung sollte Überlastung sichtbar behandeln: begrenzte Wiederholungen, eine verständliche Rückmeldung und ein Abbruch nach einer festgelegten Wartezeit. Unbegrenzte automatische Wiederholungen verschärfen einen Engpass. Für wiederkehrende Hintergrundaufgaben eigene Zeitfenster oder Kapazitätsgrenzen vorsehen, damit sie interaktive Anfragen nicht verdrängen.

Ollama bietet auch Cloud-Modelle an. Eine Anfrage an die lokale API kann ein solches Modell ansprechen und dadurch eine Verarbeitung außerhalb des eigenen Servers auslösen. Für ausschließlich lokalen Betrieb dokumentiert Ollama OLLAMA_NO_CLOUD=1 beziehungsweise die entsprechende Serverkonfiguration. Die Einstellung muss für den laufenden Dienst gelten, nicht nur für eine beliebige Terminalsitzung.

Zusätzliche Datenwege entstehen durch die Anwendung: externe Suche, Dokumentenkonvertierung, Embedding-Dienste oder Erweiterungen. Für einen internen Assistenten die gesamte Kette erfassen und mit einer Netzfreigabeliste prüfen. Ein lokales Sprachmodell allein entscheidet weder über diese Datenflüsse noch über die fachliche Richtigkeit seiner Antworten.

Die Ollama-Software steht unter der MIT-Lizenz. Für jedes geladene Modell gelten zusätzlich dessen eigene Bedingungen. Verfügbarkeit im Modellverzeichnis bedeutet nicht, dass jede kommerzielle Nutzung oder Weitergabe erlaubt ist. Bei der Auswahl die Lizenz des konkreten Modells und seiner Version dokumentieren.

Modelländerungen können Antworten verändern, obwohl die Anwendung unverändert bleibt. Modellkennung, Version der Laufzeit, Konfiguration und Bewertungsergebnisse gemeinsam festhalten. Vor einem Austausch denselben Fragenbestand ausführen und fachlich beurteilen. Antworten mit Quellenbezug müssen auch tatsächlich durch die angezeigten Quellen gedeckt sein.

Für die Wiederherstellung sind reproduzierbare Modelle und Konfigurationen wichtig. Benutzer- und Dokumentendaten liegen häufig in der darüberliegenden Anwendung und brauchen deren eigene Sicherung. Im Monitoring zählen neben Prozesszustand auch Speicher, Warteschlangen, Fehler und beobachtete Antwortzeiten.

Geprüft am 20. September 2026 anhand der laufend gepflegten Herstellerdokumentation. Keine eigenen Hardware-Benchmarks.