Lokale KI im Unternehmen betreiben — Ollama einrichten, warten und mit eigenem Wissen erweitern

Viele Unternehmen wollen KI nutzen, ohne dass Dokumente, Quellcode oder Kundendaten das Haus verlassen. In zwei Tagen lernst du, eine lokale KI-Plattform mit Ollama aufzubauen und verlässlich zu betreiben: von der Auswahl der Modelle und der Hardware über den Server für das ganze Team bis zu Wartung, Rechten und Updates. Du erfährst, was lokale Modelle im Vergleich zu Claude und ChatGPT leisten, und misst es selbst. Außerdem erweiterst du die Plattform um eigenes Wissen, etwa die Produktdokumentation, und um den Zugriff auf Werkzeuge.

Ehrlich statt euphorisch: Du lernst nicht nur, was lokale KI kann, sondern auch, wo sie hinter den großen Cloud-Modellen zurückliegt — und misst es an deinen eigenen Aufgaben. Das Angebot richtet sich an Unternehmen, Behörden und Selbstständige.

Für wen ist dieses Seminar

Für IT-Betrieb, Administration und IT-Leitung sowie für Entwicklerinnen und Entwickler, die eine KI-Plattform im Unternehmen verantworten. Wer über Hardware und Modelle entscheiden muss, bekommt Messwerte statt Ranglisten; wer den Server betreibt, bekommt die Handgriffe für Einrichtung, Wartung und Fehlersuche.

Was du mitbringen solltest

Grundkenntnisse in der Administration von Windows oder Linux und im Umgang mit der Kommandozeile. Programmierkenntnisse brauchst du nur für die Wahlteile.

Wer mit lokaler KI selbst eine Auswertung bauen und ein eigenes Spezialmodell trainieren will, ist bei „Lokale KI für Datenanalyse & Datenextraktion" richtig. Wer KI als Funktion in die eigene PHP-Anwendung einbauen will, findet das in „KI-Funktionen in PHP-Anwendungen entwickeln".

Detaillierte Inhalte

Lokale KI im Unternehmen: Chancen und Grenzen

• Datenschutz, Geschäftsgeheimnis, planbare Kosten und Unabhängigkeit vom Anbieter
• Was lokale Modelle gegenüber Claude, ChatGPT und Gemini leisten und wo sie zurückliegen
• Offene Gewichte und ihre Lizenzen: was kommerziell erlaubt ist
• Europäische Anbieter als Auswahlkriterium

Ollama einrichten

• Installation unter Windows und Linux, Betrieb als Dienst
• Modelle laden, wechseln und mit dem Modelfile anpassen
• Die OpenAI-kompatible Schnittstelle für vorhandene Werkzeuge
• Open WebUI als Oberfläche für die Mitarbeitenden

Modelle auswählen

• Modellklassen nach Speicherbedarf: von 8 GB bis 120 GB und darüber
• Einsatzzwecke: Text, Code, Bild und Einbettungen für die Suche
• Modellfamilien wie Gemma, Qwen, Mistral, gpt-oss und Llama im Überblick
• Wie gut ein Modell Deutsch kann

Groß gegen klein: was mehr Hardware bringt

• Ein Werkzeug, das Modelle an Aufgaben aus dem Firmenalltag misst
• Vergleich von kleinen, mittleren und großen Modellen mit Claude
• Die Hardwareentscheidung auf Messwerte stützen statt auf Ranglisten

Komprimierung und Leistung

• Woraus der Speicherbedarf eines Modells besteht
• Quantisierung: Stufen, Qualitätsverlust und wann sie sich lohnt
• Kontextgröße, KV-Cache und parallele Anfragen
• Server-Einstellungen für mehr Geschwindigkeit

Ein Server für das Team

• Zentraler Ollama-Server im Netzwerk, Benutzer und Rechte
• Protokollierung und Datenschutz im Betrieb
• Updates von Ollama und Modellen, Überwachung, typische Fehlerbilder im Dauerbetrieb
• Grenzen bei vielen gleichzeitigen Nutzern und Alternativen wie vLLM

Eigenes Wissen mit RAG

• Die Produktdokumentation als durchsuchbare Wissensbasis
• Einbettungsmodelle und die Aufbereitung von Dokumenten
• Berechtigungen auf Wissensbasen
• Antworten mit Quellenangabe prüfen

Lokale KI mit Werkzeugen (MCP)

• Was das Model Context Protocol leistet und was nicht
• Programme, die MCP unterstützen, und Modelle, die Werkzeuge zuverlässig aufrufen
• Rechte und Risiken beim Zugriff auf Unternehmensdaten

Training aus Sicht des Betriebs

• Wann Fine-Tuning und Destillation sinnvoll sind und wann RAG genügt
• Welche Hardware ein Training braucht
• Ein trainiertes Modell einbinden, versionieren und bei Bedarf zurücknehmen

Einführung im Unternehmen

• Vom Pilotprojekt zum Betrieb
• Kosten, Richtlinien und Schulung der Mitarbeitenden

Wahlteile für Entwicklerinnen und Entwickler

• Eine RAG-Verarbeitung im eigenen Code: Einbettungen, Suche, Antwort mit Quellen
• Ein eigenes Programm, das ein lokales Modell mit MCP-Werkzeugen verbindet

Hinweis: Große Modelle der 120-GB-Klasse laufen im Seminar nicht live; ihre Ergebnisse liegen als vorab gemessene Vergleichstabelle vor. Kleine und mittlere Modelle misst du selbst. Bei Inhouse-Seminaren passen wir Schwerpunkte an deine Umgebung an.

Was du danach kannst

1. Modelle und Hardware begründet auswählen — mit eigenen Messwerten statt Ranglisten, inklusive ehrlichem Vergleich mit Claude und ChatGPT.
2. Ollama als Server für das Team betreiben — einrichten, absichern, warten und aktualisieren.
3. Leistung und Speicher im Griff behalten — Quantisierung, Kontext und parallele Anfragen passend zur Hardware einstellen.
4. Eigenes Wissen bereitstellen — eine Wissensbasis mit RAG aufbauen und Antworten mit Quellen prüfen.
5. Werkzeuge anbinden — einordnen, was MCP mit lokalen Modellen leistet und welche Rechte es braucht.
6. Training einordnen — entscheiden, wann es sich lohnt, und ein trainiertes Modell sicher in Betrieb nehmen.

Formate und Ablauf

Zwei Tage mit Wahlteilen. Anleitungen zur Einrichtung, Messwerkzeug und Vergleichstabelle zum Mitnehmen.

Verwandte Seminare und Vertiefung

Eine konkrete Auswertung mit lokaler KI bauen und ein eigenes Spezialmodell trainieren: „Lokale KI für Datenanalyse & Datenextraktion". KI als Coding-Assistent auf eigener Hardware: „Programmieren mit lokaler KI". Den eigenen MCP-Server bauen: „Eigener MCP-Server mit PHP". Zum Weiterlesen: „Lokale KI im Unternehmen", „Ollama und offene KI-Modelle", „Welches lokale KI-Modell schreibt das beste Deutsch?" und „Ollama im Dauerbetrieb".

Dein Dozent

Frank Glück schult seit mehr als 30 Jahren und programmiert seit 1986. Seit 1999 ist er auch als Dozent für die GFU tätig. Lokale KI betreibt er selbst im Dauerbetrieb, auf eigenen Servern und für das eigene Plattformprojekt.

Häufige Fragen (FAQ)

Wie lange dauert das Seminar?

Zwei Tage, mit Wahlteilen für Entwicklerinnen und Entwickler.

Ist lokale KI so gut wie ChatGPT oder Claude?

Für viele Firmenaufgaben wie Zusammenfassen, Einordnen oder Antworten aus eigenen Dokumenten kommt sie nah heran. Bei langen, mehrstufigen Aufgaben und schwierigem Schlussfolgern liegen die großen Cloud-Modelle deutlich vorn. Im Seminar misst du den Abstand an deinen eigenen Aufgaben.

Lernen wir, ein Modell zu trainieren?

Du lernst, wann Training sinnvoll ist, was es an Hardware braucht und wie du ein trainiertes Modell in Betrieb nimmst. Das Training selbst ist Entwicklungsarbeit und Thema des optionalen dritten Tages im Seminar „Lokale KI für Datenanalyse & Datenextraktion". Für Produktdokumentation ist RAG meist ohnehin der bessere Weg.

Geht MCP auch mit lokalen Modellen?

Ja, über ein Programm, das MCP unterstützt, und mit einem Modell, das Werkzeuge zuverlässig aufruft. Ollama selbst spricht kein MCP. Im Seminar siehst du, welche Kombinationen funktionieren.

Welche Hardware brauchen wir?

Für das Seminar keine Grafikkarte. Für den Betrieb hängt es von Modell und Nutzerzahl ab; genau das ermittelst du im Seminar mit dem Messwerkzeug.

Findet das Seminar in Präsenz oder online statt?

Beides ist möglich, wahlweise als offenes Seminar oder als Inhouse-Schulung.

Was kostet die Teilnahme?

Der Preis richtet sich nach Format, Umfang und Teilnehmerzahl — gerne auf Anfrage.

Individuell anfragen

Nach deiner Anfrage klären wir Teamgröße, vorhandene Hardware und Schwerpunkte und schicken dir einen Termin- und Inhaltsvorschlag.

Unsere Seminare richten sich an Unternehmen, Behörden und Selbstständige. Es gelten unsere AGB.