Eigene KI-Plattform mit Open-Source-LLMs, Fine-Tuning und RAG

Als Projektleiter, KI-/Infrastrukturarchitekt und Entwickler baute ich eine eigene KI-Plattform für lokale Sprachmodelle, Spracherkennung, Fine-Tuning und dokumentengestützte Wissenssuche auf und übernahm ihren Betrieb.

Lokale Modelle laufen seit der ersten Ollama-Version, heute vor allem mit llama.cpp und LM Studio, dazu ein selbst gehostetes Open WebUI als Oberfläche. Ein eigener GPU-Server im Proxmox-Cluster stellt LLM-Inferenz, Spracherkennung mit Whisper sowie Embedding-, Reranker- und Qdrant-Dienste für RAG bereit.

Für den KI-Begleiter in BodySeasons wurde das Open-Source-Modell Ministral 3 14B mit Unsloth per Supervised Fine-Tuning auf einem freigegebenen zweisprachigen Datensatz trainiert. Das Modell läuft mit llama.cpp, Fachwissen kommt zur Laufzeit über RAG.

Eigene MCP-Server binden Produkte wie horizOn an KI-Coding-Werkzeuge an. n8n-Workflows erstellen mehrsprachige Blogbeiträge für BodySeasons, horizOn und ProjectMakers. Ein interner Dienst stellt die Kommandozeilen von Claude Code, Codex und Gemini als HTTP-Schnittstelle für Automatisierungen bereit. Sensible Daten lassen sich so mit eigenen Modellen verarbeiten, ohne das eigene Netz zu verlassen.

Ergebnis: Eigene KI-Plattform für Inferenz, Fine-Tuning, Spracherkennung, RAG, MCP-Anbindung und Content-Automatisierung aufgebaut und betrieben.