Confidence Score & Optimierung von Wissensspeichern

Confidence Score & Optimierung von Wissensspeichern

Warning
Ein hoher Confidence-Score bedeutet nicht garantiert „korrekt“, sondern „das System hält die Antwort auf Basis der Signale für gut gestützt“.
Info
Zusammenfassung: Chatbase veröffentlicht (soweit bekannt) keine exakte Formel für den Confidence-Score. Bei RAG‑basierten Chatbots wird er typischerweise aus mehreren Signalen berechnet, vor allem aus der Qualität/Passung der gefundenen Wissens-Snippets, der Nutzung/Deckung durch Quellen sowie einer vom Modell abgeleiteten Selbsteinschätzung.

Was bedingt den Confidence-Score des Chatbots?  

Grundprinzip: Zwei-Stufen-Prozess (RAG)
Der Score ist keine einzelne Metrik, sondern bewertet einen Prozess.

  1. Retrieval (Finden): Wie gut findet der Bot relevante Infos in der Wissensdatenbank?

  2. Generation (Antworten): Wie gut kann das Sprachmodell aus den Funden eine Antwort formulieren?

1. Parameter aus der Retrieval-Phase (Informationssuche)

Semantische Relevanz:

  • Wie gut passen die Bedeutung von Frage und gefundenem Text zusammen?

  • Hoher Score bei direkter thematischer Übereinstimmung.

Qualität der Quellen:

  • Findet der Bot mehrere, konsistente Textstellen? -> Score steigt.

  • Findet er widersprüchliche oder nur eine vage Quelle? -> Score sinkt.

2. Parameter aus der Wissensbasis (Deine Inhalte)

Klarheit & Struktur:

  • Kurze, präzise Absätze und FAQs führen zu höheren Scores.

  • Langer, unstrukturierter Fließtext senkt den Score.

Widersprüchliche Daten (z.B. zwei verschiedene Rückgabefristen) führen zu massiv sinkender Konfidenz.

3. Parameter aus der Generation-Phase (Antworterstellung)

  1. Direkte Beantwortbarkeit:
    Kann die Frage direkt aus dem gefundenen Text beantwortet werden? -> Hoher Score.
  2. Notwendigkeit zur Interpretation:
    Muss der Bot stark schlussfolgern oder "raten"? -> Niedriger Score.

4. Parameter aus der Nutzerfrage (Das Prompting)

Spezifität vs. Vagheit:

Spezifische Frage ("Akkulaufzeit von Modell X?") -> Hoher Score.
Vage Frage ("Infos zu Produkt X?") -> Niedriger Score.

Eindeutigkeit: Mehrdeutige Fragen senken die Konfidenz.


Optimierungshebel: Wissensbasis optimieren

  • Inhalte klar strukturieren (FAQs, Listen)

    • klare Überschriften

    • ggfs. PDFs bereinigen (Kopf-/Fußzeilen, Seitennummern, repetitives Boilerplate entfernen)

    • Kritische Tabellen bzw. Listen in gut lesbaren Text umwandeln

  • Präzise, widerspruchsfreie Informationen bereitstellen

  • Themen "atomar" behandeln (ein Gedanke pro Absatz)

  • Prompting optimieren:

    • Nutzer zu spezifischen, klaren Fragen anleiten

    • Komplexe Anfragen in Einzelfragen aufteilen


Unterschied zwischen Systemprompt und Wissensspeicher

Damit der Chatbot bestmöglich funktioniert, ist es wichtig zu verstehen, welche Informationen in den Systemprompt und welche in den Wissensspeicher gehören.

Der Systemprompt definiert das grundlegende Verhalten des Chatbots. Hier wird festgelegt, wie der Chatbot spricht, reagiert und welche Regeln er befolgt.

Typische Inhalte für den Systemprompt:
  1. Rollenbeschreibung - Beispiel: „Du bist der digitale Gästeservice-Assistent der [Destination Name] und unterstützt Besucher:innen bei Fragen rund um ihren Aufenthalt.“
  2. Ton und Sprache - Beispiel: „Sprich stets freundlich, serviceorientiert und verwende die ‚Du‘-Anrede.“
  3. Kommunikationsregeln - Beispiel: „Wenn eine Frage nicht beantwortet werden kann, verweise höflich auf das Tourismusbüro.“
  4. Priorisierung von Informationen - Beispiel: „Beantworte Fragen immer sachlich korrekt und konzentriere dich zuerst auf den touristischen Nutzen.“
  5. Quellenvorgaben - Beispiel: „Nutze nur Informationen aus dem Wissensspeicher oder aktuelle öffentliche Quellen und erfinde keine Details.“

Der Wissensspeicher enthält das konkrete Fachwissen, also faktische und verifizierte Informationen, auf die der Chatbot bei Anfragen zugreifen kann. Diese Inhalte sind in der Regel unabhängig vom Verhalten des Chatbots und können je nach Bedarf laufend aktualisiert werden.

Typische Inhalte für den Wissensspeicher:
  1. Öffnungszeiten - Beispiel: „Das Tourismusbüro in [Ort] ist von Montag bis Freitag, 9–17 Uhr geöffnet.“ 
  2. Veranstaltungsinformationen - Beispiel: „Das Stadtfest [Name] findet jedes Jahr am dritten Juliwochenende auf dem Marktplatz statt.“
  3. Ticket- und Preisangaben - Beispiel: „Die Gästekarte ‚Bergpass‘ kostet 24 € pro Person und beinhaltet kostenlose Fahrten im regionalen Busverkehr.“
  4. Anreise- und Wegbeschreibungen - Beispiel: „Von München aus fährt man mit dem Zug ca. 2 Stunden über [Strecke XY] nach [Ort].“
  5. Tipps und Empfehlungen - Beispiel: „Ein beliebtes Ausflugsziel ist der Wasserfall am Klammsteig, erreichbar ab dem Parkplatz Lahnstraße.“