Ausgangslage: wachsendes Interesse an KI-gestützten Werkzeugen im Unternehmen, aber keine Bereitschaft, Code und interne Daten an externe Dienste wie ChatGPT weiterzugeben. DSGVO-Konformität und digitale Souveränität als harte Anforderungen.
Zwei Proof-of-Concepts auf einer einzelnen Proxmox-VM, CPU-only, vollständig automatisiert mit Ansible:
- POC A: RAG-basierter Code-Assistent: Ollama mit qwen3-coder:30b, Qdrant als Vektordatenbank, Python-Indexierung der internen GitLab-Repositories via Tree-sitter. Nightly Reindexierung per systemd-Timer. CLI-Wrapper für Entwickler, passwordless via sudoers, ohne externe Abhängigkeiten.
- POC B: Unternehmensweiter Chat-Assistent: Open WebUI als rootless Podman/Quadlet-Container, angebunden an dieselbe Ollama-Instanz. SSO via Authentik/OIDC, Authentifizierung über die bestehende Unternehmensinfrastruktur.
Beide POCs teilen sich einen Ollama-Server, sind aber architektonisch so gebaut, dass sie später auf separate VMs aufgeteilt werden können, ohne Umbau.
Ergebnis: grundsätzlicher funktionierender Pilot, intern getestet. Die VM läuft CPU-only an ihrer Kapazitätsgrenze. Die Entscheidung über dedizierte GPU-Hardware steht noch aus, Miete oder Kauf.