Unsicherheitsabschätzung in Large Language Models mittels Reasoning-Strategien

Die Arbeit untersucht, wie Reasoning-Strategien (CoT, CoD, ToT) für Antwort-Level-Unsicherheitsabschätzung in LLMs genutzt werden können. Verglichen werden Self-Evaluation (P-True, Self-Probing) und tokenwahrscheinlichkeitsbasierte Aggregationen (Probas-Mean/Min, Token-SAR), inkl. keyword-basierter Gewichtung entlang der Reasoning-Kette. Keyword-gewichtete Aggregationen verbessern Diskrimination (AUROC) und Kalibration (ECE) konsistent gegenüber Final-Answer-Baselines; besonders stark sind Probas-Min und Token-SAR. CoD erhält die UQ-Qualität weitgehend bei geringerem Tokenbudget (mittlerer Genauigkeits-Trade-off −2.84 pp); ToT-Experimente zeigen deutliche Kostenreduktionen, aber Genauigkeitseinbussen bei rein tokenbasiertem Branch-Scoring.

Ausgangslage / Problemstellung

LLMs werden zunehmend in sensiblen Domänen eingesetzt; dafür braucht es verlässliche Unsicherheitswerte auf Antwortebene. Viele Ansätze aggregieren jedoch nur Prompt-Level-Information oder finale Antworttokens, wodurch semantische Unterschiede in der Reasoning-Kette ungenutzt bleiben und Kalibrationsprobleme fortbestehen.

Zielsetzung

Systematische Evaluation, ob und wie Reasoning-Information (Keywords, Importance-Scores) die UQ-Qualität verbessert. Vergleich Self-Evaluation (P-True, Self-Probing) vs. Aggregationen (Probas-Mean/Min, Token-SAR) unter CoT/CoD; zusätzlich Untersuchung eines ToT-Setups, in dem die publizierte Evaluate-Heuristik durch tokenwahrscheinlichkeitsbasierte Scores ersetzt wird.

Vorgehen / Methodik

Experimente auf HotpotQA, 2WikiMHQA, GSM8K, SVAMP und ASDiv; Inferenz mit Llama-3.1-8B; Keyword-Extraktion & Importance-Scoring auf Reasoning-Schritten; Berechnung von Confidence-Scores; Bewertung mittels AUROC, ECE und Reliability Curves. Zusätzlich ToT-BFS für „Game of 24“ mit DeepSeek-V3-Chat und Probas-basiertem Branch-Scoring.

Resultate

Keyword-gewichtete Aggregationen schlagen Final-Answer-Baselines konsistent in AUROC und ECE; Probas-Min und Token-SAR zeigen die stabilsten Zugewinne. CoD bewahrt die UQ-Qualität bei typischerweise geringerem Tokenbudget (mittlerer Genauigkeitsverlust −2.84 pp gegenüber CoT). Self-Evaluation bringt nur begrenzt Mehrwert (enger Konfidenzbereich bei P-True; schwache Kopplung Confidence/Accuracy bei Self-Probing). Im ToT-Setting sinken die Kosten zunächst durch Modellwechsel auf DeepSeek (≈ −99 %), und mit UQ-Scores nochmals um Faktor 3–5; die Genauigkeit fällt dabei jedoch deutlich (z. B. ~72 % → ~24 %).

Fazit / Ausblick

Reasoning-bewusste, keyword-gewichtete Aggregationen sind eine robuste, kosteneffiziente Antwort-Level-UQ-Option; CoD eignet sich als Default bei knappen Budgets. Für ToT bleibt die Evaluate-Heuristik (BFS) in der Genauigkeit klar überlegen; künftige Arbeiten sollten semantischere Branch-Scores über reine Tokenwahrscheinlichkeiten hinaus entwickeln und domänenspezifische Kalibrierung vertiefen.

Technologien / Tools

Llama-3.1-8B-Instruct (Slurm-Cluster, Docker/Singularity), DeepSeek-V3-Chat (ToT), GPT-4o-mini als LLM-Judge, Python-Pipeline für Inferenz, Keyword-Extraktion und Metrik-Berechnung (AUROC, ECE, Reliability Curves).

Repository: GitHub – Unsicherheitsabschätzung in LLMs (Reasoning-Strategien)

Schlüsselbegriffe

• LLM
• Unsicherheitsquantifizierung (UQ)
• Chain-of-Thought (CoT)
• Chain-of-Draft (CoD)
• Tree-of-Thought (ToT)
• Probas-Min
• Token-SAR
• AUROC
• ECE
• Reliability Curves

Team