Politmonitor
Im Rahmen dieses IP5 Projekts wurde ein Prototyp entwickelt, der den Einsatz von Retrieval-Augmented Generation (RAG) in Verbindung mit Large Language Models (LLM) zur Verbesserung eines politischen Suchsystems untersucht.
Politmonitor Home
Ausgangslage
Der Politmonitor bietet eine umfassende Suchfunktion für politische Geschäfte in der Schweiz, die eine gezielte Filterung nach zahlreichen Kriterien wie Priorität, Geographie, Geschäftstyp und Status ermöglicht. Trotz der detaillierten Filteroptionen erweist sich der aktuelle Suchprozess für ungeübte Nutzer oft als umständlich und ineffizient, insbesondere bei offenen Fragestellungen. Die Herausforderung politischer Daten liegt zudem in ihrer Komplexität, Mehrsprachigkeit und Kontextabhängigkeit. Retrieval-Augmented Generation (RAG) wird als innovative Lösung eingeführt, um diese Schwächen zu beheben. RAG ermöglicht eine natürlichsprachliche Suche, die semantisches Verständnis nutzt, um relevante Dokumente zu finden und kontextualisierte Antworten zu generieren. Dies verbessert den Zugang, die Effizienz und die Benutzerfreundlichkeit des politischen Suchprozesses erheblich. Für die Umsetzung des Projekts werden strukturierte JSON-Daten von der Glue AG bereitgestellt, die in einer relationalen Datenbank abgelegt werden und als Grundlage für das RAG-Modell dienen.
Zielsetzung
Dieses Projekt zielt darauf ab, ein innovatives Suchsystem basierend auf Retrieval-Augmented Generation (RAG) und Large Language Models (LLM) zu entwickeln und zu evaluieren. Im Fokus steht ein Prototyp zur effizienten Analyse und Bereitstellung kontextbezogener Informationen aus Schweizer Politikgeschäften, wie sie im POLITmonitor enthalten sind. Langfristig soll das System explorative politische Recherchen durch intelligente Suchmechanismen unterstützen, die Informationsbeschaffung erleichtern und die Qualität politischer Analysen verbessern.
RAG
Dokumente werden in Chunks zerlegt, als Embeddings gespeichert und mit dem Prompt-Embedding verglichen. Die relevantesten Textstellen werden mit dem Prompt kombiniert und vom LLM beantwortet.
Konfiguration
Es wurde eine Konfigurationsseite entwickelt, auf der alle relevanten Parameter für die Generierung angepasst werden können – darunter Temperatur, Top-P, Wiederholungsstrafe, Token-Limit, Anzahl Dokumente und die Prompt-Vorlage. So lässt sich das Verhalten des Sprachmodells flexibel steuern.
Antwort
Aus den relevanten PDF-Inhalten, die durch eine Vektorsuche gefunden wurden, generiert ein Large Language Model (LLM) anschliessend eine prägnante Antwort.
Ergebnisse
Im Rahmen dieses Projekts wurde ein funktionsfähiger RAG-Prototyp entwickelt, der politische Inhalte aus dem POLITmonitor intelligent durchsuchen und zusammenfassen kann. Die Lösung basiert auf semantischer Vektorsuche und generativer KI, wobei Kontextinformationen dynamisch angereichert und durch ein Sprachmodell verarbeitet werden. Die Evaluation zeigt, dass die Qualität der generierten Antworten durch gezielte Konfigurationen und Augmentationsstrategien signifikant verbessert werden konnte.
- Semantische Suche auf Basis von ChromaDB und Sentence-Transformers.
- Antwortgenerierung durch ein lokal betriebenes LLM.
- Token-limitierter Kontextaufbau mit Relevanzsortierung und Duplikatfilter.
- Hervorhebung von Query-Begriffen zur inhaltlichen Fokussierung des Modells.
- Auswertung der Antwortqualität durch RAGAS (Precision & Recall).
- Konfigurierbares Augmentationsverhalten (z. B. Mindestlänge, Overlap, Top_p).
- Lokale, datenschutzfreundliche Ausführung via Docker und SQLite.
- Modularer Aufbau zur einfachen Erweiterung und Integration.
Die Evaluation mit exemplarischen Nutzerfragen aus dem politischen Kontext ergab durchweg hohe Werte bei der Kontextpräzision und Kontextabdeckung. Besonders bei Themen wie dem Öffentlichkeitsprinzip und Cannabis konnte eine sehr gute Übereinstimmung zwischen Antwort und Quelle festgestellt werden. Nur bei komplexeren Themen wie E-Voting zeigte sich leichtes Verbesserungspotenzial beim Kontext-Retrieval.
Das Projekt zeigt, dass RAG-basierte Systeme eine wertvolle Ergänzung zu klassischen Filtersuchen darstellen – insbesondere bei unklaren Fragestellungen, mehrsprachigen Inhalten oder explorativen Recherchen.
Technologien:
Für die Umsetzung des POLITmonitor-Prototyps wurde ein moderner Technologie-Stack verwendet, der auf Open-Source-Werkzeugen, KI-Frameworks und Containerisierung basiert. Die Anwendung wurde in Python entwickelt und läuft containerisiert über Docker, was eine konsistente und portable Systemumgebung ermöglicht. Für das semantische Retrieval wird ChromaDB als persistente Vektordatenbank verwendet, gespeist durch mehrsprachige Sentence-Transformer-Modelle wie MiniLM. Das Sprachmodell Mistral-7B wird lokal über llama-cpp betrieben, wobei der angereicherte Kontext inklusive Hervorhebungen verarbeitet wird. Die Daten stammen aus einer SQLite-Datenbank, Konfiguration und Steuerung erfolgen über JSON-Dateien.
Testimonial
«Der Politmonitor hat die Art und Weise, wie wir politische Informationen recherchieren, revolutioniert. Die frühere Suche war oft umständlich und zeitintensiv, doch dank des neuen Systems finden wir relevante Inhalte nun deutlich effizienter. Die Möglichkeit, natürlichsprachliche Anfragen zu stellen und präzise, kontextualisierte Antworten zu erhalten, spart uns enorm viel Zeit. Es ist beeindruckend, wie das System selbst komplexe politische Texte versteht und uns exakt die Informationen liefert, die wir benötigen. Eine deutliche Verbesserung, die unsere tägliche Arbeit im politischen Kontext erheblich erleichtert.»
Technische Schlüsselbegriffe
- Retrieval-Augmented Generation (RAG):RAG ist ein KI-Ansatz, bei dem externe Dokumente durch Retrieval in ein Language Model eingebunden werden, um fundiertere und kontextbasierte Antworten zu generieren.
- Large Language Models (LLMs):LLMs sind KI-Modelle, die auf riesigen Textmengen trainiert wurden und in der Lage sind, menschenähnliche Sprache zu verstehen und zu erzeugen.
- POLITmonitor:POLITmonitor ist ein politisches Informationssystem, das parlamentarische Geschäfte, Dokumente und politische Entwicklungen aufbereitet und analysierbar macht.
- Semantische Suche:Die semantische Suche interpretiert die Bedeutung einer Suchanfrage, um inhaltlich relevante Ergebnisse statt nur wortwörtlicher Treffer zu liefern.
- Politische Informationssysteme:Politische Informationssysteme erfassen, strukturieren und präsentieren Daten zu politischen Prozessen, Akteuren und Inhalten zur Unterstützung von Analyse, Transparenz und Entscheidungsfindung.
- KI-gestützte Recherche:KI-gestützte Recherche nutzt Künstliche Intelligenz, um Informationen automatisiert zu finden, zu bewerten und zielgerichtet aufzubereiten.
Kund:in
Glue Software Engineering AG
Hermann Hüni
Schwarztorstrasse 31
3007 Bern
Glue Software Engineering AG