KI-Tipps: Lokale Modelle, Ollama und Praxistests
Lokale KI bedeutet, dass ein Sprachmodell auf eigener Hardware läuft und Daten das Haus nicht verlassen. Die Beiträge dieser Sammlung helfen dir, ein Modell auszuwählen, es zu betreiben und die Ergebnisse einzuordnen.
Für die Modellwahl zeigt Ollama und offene KI-Modelle mit einer Einsatzzweck-Matrix, welches Modell zu Code, SQL, Chat oder RAG (KI-Antworten auf Basis eigener Dokumente) passt. Dazu kommen die Erklärung der B-Zahl (3B bis 70B) und eine Hardware-Empfehlung. Wie gut Modelle Deutsch schreiben, prüft Welches lokale KI-Modell schreibt das beste Deutsch?: Vierzehn Modelle im Blindtest an echten Geschäftsberichten. Für Entscheider erklärt Lokale KI im Unternehmen, was offene Modelle leisten, welche Hardware nötig ist und ab wann es sich rechnet.
Läuft die KI schon, zeigt Ollama im Dauerbetrieb sieben Fehlerbilder, die wie Modellfehler aussehen und nicht am Modell liegen, je mit Symptom, Ursache, Messwert und Prüfschritt.
Wer lokale KI im Betrieb aufbauen will, besucht Lokale KI im Unternehmen betreiben oder Programmieren mit lokaler KI.
Häufige Fragen
Welches lokale KI-Modell passt zu meiner Aufgabe?
Das hängt vom Einsatzzweck ab. Der Beitrag Ollama und offene KI-Modelle ordnet Modelle nach Code, SQL, Chat und RAG und erklärt, was die B-Zahl über die benötigte Hardware sagt.
Wie gut schreiben lokale Modelle Deutsch?
Der Blindtest vergleicht 14 lokale Modelle an echten Geschäftsberichten. Er zeigt, welche brauchbares Deutsch schreiben und welche Metrik in die Irre führt.
Was tue ich, wenn die KI im Dauerbetrieb abgeschnittene Antworten liefert?
Das muss nicht am Modell liegen. Der Beitrag Ollama im Dauerbetrieb beschreibt sieben Fehlerbilder aus dem echten Betrieb, darunter abgeschnittene Antworten, plötzliche Langsamkeit und hängende Läufe, je mit Prüfschritt.