Kategorie: KI-Projekte
Tags: LLM, Dokumentenanalyse, Datenschutz, Forschung
Inhalt:
Unser Forschungsinstitut verarbeitet täglich hunderte Dokumente — von Forschungsberichten bis zu Projektanträgen. Die Frage war: Können lokale LLMs diese Arbeit unterstützen, ohne dass Daten das Haus verlassen?
Das Problem
Kommerzielle KI-Dienste wie ChatGPT oder Claude API kommen für sensible Forschungsdaten nicht in Frage. DSGVO-Konformität und institutsinterne Richtlinien erfordern, dass alle Daten on-premise bleiben.
Unsere Lösung
Ein lokaler AI-Server (siehe vorherigen Post) mit einer Pipeline aus:
- Dokument-Upload über internes Portal
- Text-Extraktion (OCR für gescannte Dokumente)
- Zusammenfassung und Schlüsselwort-Extraktion via LLM
- Ergebnisse in interner Datenbank
Lessons Learned
- Kleinere, spezialisierte Modelle schlagen oft die großen General-Purpose-Modelle
- Prompt Engineering macht 80% des Unterschieds
- Ein guter Fallback-Mechanismus ist Pflicht