KI-Zitate sowie Richtigkeit und Relevanz von Antworten bewerten

Beobachtungsfragen für KI in drei Arten teilen

Auch mit einem Bibliothekslink kann eine Antwort zu einer falschen Entscheidung führen, wenn sie zum Besuch am ersten Sonntag rät. GEO und AEO zählen Zitate, um die Nutzung von Material zu erkennen. Richtigkeit und Bedingungen zeigen, ob diese Nutzung die Frage löst. Beide Ergebnisse bestimmen, ob Auffindbarkeit oder Ausnahmenerklärung im Text korrigiert werden muss.

Fragen zur natürlichen Entdeckung nennen weder Website noch URL, sondern einen echten Nutzerbedarf. Fragen mit vorgegebener Quelle verlangen ausdrücklich eine Website und prüfen Zugriff und Deutung. Fragen zu einem bestimmten Dokument grenzen Titel oder Thema ein und prüfen dessen Erreichbarkeit. Wegen unterschiedlicher Bedingungen Zitierquoten getrennt berechnen.

Eine vorgegebene Quelle überspringt die natürliche Entdeckung. Ist diese Antwort richtig, während die Website bei natürlicher Entdeckung fehlt, lassen sich Deutung und Auffindbarkeit getrennt untersuchen. Übersehen beide dieselbe Ausnahme, zuerst zitierte Passage und Platzierung der Bedingung lesen. Deshalb werden Fragentypen getrennt.

Unter gleichen Bedingungen ausführen und Originale sichern

Für jeden Dienst Websuchverfügbarkeit und gewählten Modus festhalten. Eine Frage in einer neuen Unterhaltung stellen, ohne Kontext früherer Gespräche mit bereits genannter Website. Lassen sich Region, Sprache, Anmeldung und Personalisierung nicht vollständig fixieren, die Werte zum Beobachtungszeitpunkt aufzeichnen. Nicht sichtbare Modellnamen nicht erraten.

Wiederholungszahl vorab je Frage festlegen. Bei drei Versuchen alle drei Antworten speichern, nicht nur gut zitierende auswählen. Bei starken Schwankungen Zahl und Zeitraum vergrößern, um die Streuung zu erkennen. Dienstfehler, Beschränkungen und Antwortausfälle als Ausführungsfehler von regulären Antworten ohne Zitat trennen.

Vollständige Antwort, tatsächliche Quellenlinks und Ausführungszeit speichern. Links öffnen und das beabsichtigte Dokument prüfen. URL-Erwähnung, tatsächliches Quellenzitat und reine Namensnennung unterscheiden. Ergebnisse im Browser und per Modell-API in getrennten Mengen halten. Suchwerkzeuge, Modelle und Personalisierung können sich unterscheiden und andere Antworten liefern.

Zitate und Antwortrelevanz getrennt beurteilen

Kernaussagen jeder Antwort satzweise aufteilen und mit Quellen abgleichen. Richtigkeit betrifft Fakten, Aktualität den Bezugszeitpunkt, Relevanz Gegenstand, Bedingungen und Absicht der Frage, Vollständigkeit fehlende wesentliche Teilfragen. Ein Link macht diese vier Werte nicht automatisch gleich.

Wer bei Sonntagsöffnungszeiten korrekt Werktagszeiten zitiert, überträgt Fakten richtig, passt aber schlecht zur Frage. Bei Unterlagen und Einreichungsweg nur Unterlagen aufzulisten ist unvollständig. Alte Hinweise als aktuell wiederzugeben ist ein Aktualitätsfehler. Neben dem Urteil notieren, welcher Satz von welchem Beleg abweicht.

Anzahlen zusammen mit Nennern aggregieren

Der Nenner der beobachteten Zitierquote besteht aus regulären Antworten, deren relevante Quellen vollständig geprüft wurden. Auch reguläre Antworten mit abgeschnittenem oder ungeprüftem Quellenbereich bleiben ungeklärt. Ausführungsfehler, abgeschlossene und beurteilbare Antworten gemeinsam zeigen. Namensnennungsquote, relevante Dokumentzitate und richtige Antworten getrennt berechnen.

Beobachtete Zitierquote = reguläre Antworten mit relevantem Dokumentzitat / auf Zitate beurteilte reguläre Antworten Richtige-Antworten-Quote = Antworten mit vollständig richtigen Kernfakten / auf Richtigkeit beurteilte Antworten Relevante-Antworten-Quote = Antworten passend zu Gegenstand, Bedingungen und Absicht / auf Relevanz beurteilte Antworten Zusätzlich berichten = Gesamtversuche, Ausführungsfehler, ungeklärte Fälle

Scheitern etwa zwei von zwölf Versuchen und zitieren vier von zehn regulären Antworten, 4/10 samt zwei Fehlern nennen. Ungeklärtes weder richtig noch falsch zählen, sondern beim beurteilbaren Nenner ausweisen. Bei kleinen Stichproben tatsächliche Zahlen statt bloßer Prozente angeben.

Vor und nach Änderungen dieselben URLs, Fragen, Dienste und Bedingungen verwenden. Gleichzeitige Werbung oder externe Berichte datieren. Zeitpunkte steigender Zitate gemeinsam mit Änderungen an Text, Dienst und Zugangsbedingungen lesen, um die nächste Vergleichsvariable auszuwählen.

Eine Antwort nach Aussage, Quelle und Bedingung bewerten

Zwei Antworten zur fiktiven Bibliothek vergleichen. Gefragt wird nach der Nutzung diesen Sonntag; Bezugsdatum ist der erste Sonntag. Der aktuelle Hinweis nennt ausdrücklich die Schließung am ersten Sonntag.

Sagt Antwort A „Sonntag 10 bis 17 Uhr geöffnet“ mit aktuellem Quellenlink, ist ein Zitat vorhanden, aber die Schließausnahme fehlt. Sagt B belegt „Diesen Sonntag geschlossen; den nächsten Öffnungstag im separaten Kalender prüfen“, berücksichtigt sie die Bedingung. Bei echten Bewertungen Kalenderdatum und Geltungszeitraum der Quelle zusammen prüfen.

Unpassende externe Websites nicht als Zielwebsite-Zitate zählen. Websitezitate und Zitate des Zieldokuments trennen. Links ohne stützende Passage als unzureichende Belege erfassen. Nicht beurteilbare Antworten mit Gründen vom Nenner abgrenzen.

Quellenstützung und faktische Richtigkeit getrennt zählen

metrics.mjs aggregiert cited, supported, accurate, timely, relevant und complete: relevantes Dokumentzitat, Aussagenstützung, Faktentreue, zeitgerechte Unterlagen, Passung zu Absicht und Bedingungen sowie nötige Vollständigkeit. Das letzte complete ist getrennt vom Antwortstatus status: complete. Jedes true, false und null begründen; null bedeutet nicht beurteilbar.

Die Frage auf „Kann ich am 1. November 2026 kommen?“ festlegen. Lautet die Quelle „2025 sonntags 11–16 Uhr“, die Antwort aber „weiterhin 11–16 Uhr“, stützt die Quelle die aktuelle Behauptung nicht. supported und accurate sind false. Begrenzt die Antwort sich auf „2025 war es 11–16 Uhr“, können beide für diese historische Aussage true sein. timely, relevant und complete bleiben false, da die aktuelle Frage unbeantwortet ist. Deshalb richtige Sätze und ausreichende Antworten unterscheiden.

metrics.mjs, die folgende assessment-fixture.mjs und metrics.test.mjs gemeinsam speichern und node --test metrics.test.mjs ausführen. Sechs Tests prüfen Nullnenner, Fehler und Ungeklärtes, historische Fakten, Teilstützung, fehlende Felder und getrennte Aggregationsbedingungen. Die Beispieldaten enthalten vier Versuche, drei abgeschlossene und einen gescheiterten. Belegt ist eine von zwei beurteilbaren Antworten, eine bleibt ungeklärt.

// Fixture-Daten zur Antwortbewertung. const common = { questionId: 'sunday-hours', questionVersion: '2', service: 'fixture-assistant', mode: 'offline', model: null, question: 'Kann ich die fiktive Bibliothek am Sonntag, 1. November 2026 nutzen?', reference: 'Öffnungszeiten ab Oktober 2026: am ersten Sonntag und an Feiertagen geschlossen.', rawPath: 'raw/answer-1.json', status: 'complete' }; export const examples = [ { ...common, answer: 'Sonntags 10–17 Uhr. Auch am 1. November ist ein Besuch möglich.', cited: true, supported: false, accurate: false, timely: true, relevant: true, complete: false, reasons: { cited: 'Aktuellen Öffnungshinweis als Quelle verknüpft', supported: 'Das Original stützt die zweite Aussage nicht', accurate: 'Widerspricht der Schließung am ersten Sonntag', timely: 'Material gültig ab Oktober 2026 verwendet', relevant: 'Behandelt Datum und Einrichtung der Frage', complete: 'Schließausnahme fehlt' }, claims: [ { text: 'Reguläre Sonntagszeiten sind 10–17 Uhr', sourceUrl: 'https://example.com/policies/opening-hours', quote: 'Sonntags 10–17 Uhr. Erster Sonntag und Feiertage geschlossen.', supported: true, accurate: true, reason: 'Auf reguläre Zeiten begrenzte Aussage stimmt' }, { text: 'Besuch auch am 1. November möglich', sourceUrl: 'https://example.com/policies/opening-hours', quote: 'Am ersten Sonntag geschlossen', supported: false, accurate: false, reason: '2026-11-01 ist der erste Sonntag' }, ] }, { ...common, rawPath: 'raw/answer-2.json', answer: '2025 waren die Sonntagszeiten 11–16 Uhr.', cited: true, supported: true, accurate: true, timely: false, relevant: false, complete: false, reasons: { cited: 'Aufzeichnung von 2025 verknüpft', supported: 'Historischer Fakt mit Jahresangabe stimmt mit der Quelle überein', accurate: 'Entspricht historischem Fakt der fiktiven Referenz', timely: 'Kein für 2026 gültiges Material zur Frage', relevant: 'Beantwortet Besuchsmöglichkeit am 2026-11-01 nicht', complete: 'Aktueller Schließstatus fehlt' }, claims: [{ text: '2025 sonntags 11–16 Uhr geöffnet', sourceUrl: 'https://example.com/archive/opening-2025', quote: '2025 sonntags 11–16 Uhr geöffnet', supported: true, accurate: true, reason: 'Satz und Quelle sind auf 2025 begrenzt' }] }, { ...common, rawPath: 'raw/answer-3.json', answer: 'Antwort wurde beim Speichern abgeschnitten.', cited: null, supported: null, accurate: null, timely: null, relevant: null, complete: null, reasons: Object.fromEntries(['cited','supported','accurate','timely','relevant','complete'] .map(key => [key, 'Gespeichertes Original abgeschnitten, keine Bewertung möglich'])), claims: [{ text: 'Ungeklärt', sourceUrl: null, quote: null, supported: null, accurate: null, reason: 'Unvollständiges Original' }] }, { ...common, rawPath: 'raw/attempt-4.json', status: 'failed', failure: 'HTTP 429', answer: null }, ];

import test from 'node:test'; import assert from 'node:assert/strict'; import { ratio, evaluate, grouped } from './metrics.mjs'; import { examples } from './assessment-fixture.mjs'; test('Nullnenner ergibt null und ungültige Anzahlen werden abgelehnt', () => { assert.equal(ratio(0, 0).rate, null); for (const pair of [[2, 1], [-1, 1], [0.5, 1]]) assert.throws(() => ratio(...pair)); }); test('Ausführungsfehler und Ungeklärtes von den jeweiligen Nennern trennen', () => { const r = evaluate(examples); assert.equal(r.attempts, 4); assert.equal(r.completed, 3); assert.equal(r.failed, 1); assert.deepEqual(r.metrics.supported, { numerator: 1, denominator: 2, rate: 0.5, unknown: 1 }); assert.equal(r.metrics.complete.numerator, 0); }); test('Richtige historische Fakten können Aktualität und Relevanz aktueller Fragen verfehlen', () => { const r = evaluate([examples[1]]).metrics; assert.equal(r.accurate.rate, 1); assert.equal(r.timely.rate, 0); assert.equal(r.relevant.rate, 0); }); test('Teilweise gestützte Aussagen zählen nicht als vollständig gestützte Antwort', () => { assert.throws(() => evaluate([{ ...examples[0], supported: true }]), /summary mismatch/); }); test('Fehlende Urteile, Gründe, Originale und Aussagenbelege ablehnen', () => { for (const key of ['timely', 'reasons', 'claims', 'rawPath']) { const broken = structuredClone(examples[0]); delete broken[key]; assert.throws(() => evaluate([broken])); } const broken = structuredClone(examples[1]); broken.claims[0].quote = null; assert.throws(() => evaluate([broken])); }); test('Geänderte Fragenversionen, Dienste und Modi getrennt aggregieren', () => { const rows = [examples[0], { ...examples[0], questionVersion: '3' }, { ...examples[0], service: 'another' }, { ...examples[0], mode: 'browser' }]; rows.push({ ...examples[0], model: 'model-b' }); assert.equal(grouped(rows).length, 5); }); console.log(JSON.stringify(grouped(examples), null, 2));

Diese Funktion berechnet Anzahlen und Quoten aus menschlichen true-, false- und null-Urteilen sowie Antwortstatus. Zuerst Originalfrage, Bezugsdatum, erwartete Fakten, Originalantwort und Belegpassagen speichern und nach gleichen Kriterien eingeben. Die Zitatbewertung der ALCE-Forschung und praktische Zusammenfassungsmetriken je Antwort nutzen verschiedene Einheiten; nicht unter demselben Score-Namen zusammenführen. ALCE-Studie

evaluate verlangt je abgeschlossener Zeile Originalpfad, Fragenversion, Dienst, Modus und Urteilsgründe. In claims alle Kernaussagen vollständig mit Quellenpassage und Urteil zerlegen. Sobald eine Aussage ungestützt ist, ist supported insgesamt false. Nur lauter true ergeben true; verbleibendes Ungeklärtes ergibt null. grouped trennt nach Frage, Version, Dienst, Modus und bestätigtem Modell. Unbekannte Modelle null lassen; bestätigte in den Schlüssel aufnehmen, damit Modellwechsel nicht vermischt werden.

Getrennte supported- und accurate-Werte unterscheiden Quellenwahlfehler von falscher Faktenübertragung. Eine korrekte Schließaussage mit einem Link ohne diese Information erhält unterschiedliche Fakten- und Belegurteile. Umgekehrt können korrekt übertragene historische Zeiten eine aktuelle Frage verfehlen. Die getrennten metrics.mjs-Werte verstecken diese Fehler nicht in einer Zitierquote, sondern führen zur nächsten Untersuchung.

Sichtbarkeitsmetriken der Forschung und Betriebsmetriken trennen

GEO-bench aus der GEO-Arbeit von 2024 teilt 10.000 Fragen in 8.000 Trainings-, 1.000 Validierungs- und 1.000 Testfragen. Das Basisszenario holt Googles fünf oberste Quellen und erzeugt mit gpt-3.5-turbo bei temperature 0.7 fünf Antworten. Eine Quelle wird ausgewählt und Änderungen wie ergänzte Zitate, Statistiken und Quellenangaben verglichen. GEO-Arbeit §3

Position-Adjusted Word Count Overall in Tabelle 1 beträgt vor Änderung 19.3 und bei Quotation Addition 27.2. (27.2−19.3)÷19.3 ergibt etwa 40,9 Prozent Zuwachs. Die Metrik berücksichtigt Menge und Position des mit einer Quelle verbundenen Antwortinhalts. Subjective Impression ist separat: dieselbe Tabelle nennt zuvor 19.3 und mit ergänzten Zitaten 24.7. GEO-Arbeit Tabelle 1

Eine Zitierquote je Antwort wird anders berechnet. Zitieren vier von zehn Antworten das Dokument, sind es 40 Prozent. Ob jede nur eine Zeile am Ende oder mehrere Sätze von Anfang an zitiert, ändert die Quote nicht. Eine Forschungsmetrik mit Gewichtung von Menge und Position kann unterschiedliche Ergebnisse liefern.

Um ergänzte Zitate auf der Website zu bewerten, vor und nach der Änderung dieselben Fragen ausführen. Zahl zitierender Antworten, Menge zitierter Sätze und Berücksichtigung nötiger Ausnahmen gemeinsam vergleichen. Bei geändertem Modell oder Suchmodus Antworten separat gruppieren.

Aktuelle Rollen und Videoausnahmen mit Fragen prüfen

Für Organisationsrollen sowohl nach dem heutigen Bibliotheksbetreiber als auch nach der Organisation fragen, die die Eröffnung 2025 vorbereitete. Erwarteter Beleg ist für die erste Frage die aktuelle Vorstellung, für die zweite das damalige Protokoll. Das Vorbereitungskomitee als heutige Antwort ist zeitlich falsch, auch mit echter Quellenadresse. Das heutige Betriebsteam als historische Antwort macht denselben Fehler.

Bei Fehlern ID, Geltungszeitraum und zitierte Passage des geholten Dokuments lesen. Nennt die aktuelle Vorstellung selbst alte Rollen, das Original korrigieren. Ist das Original neu, der Suchstand aber alt, erneutes Crawling korrigieren. Sind beide aktuell und wird für die Gegenwartsfrage ein altes Dokument gewählt, Zeitbedingungen und Rangfolge untersuchen. Ein Datum an die Antwort anzuhängen beendet die Ursachenprüfung nicht.

Die Videoübungsantwort „Jeden Sonntag 10–17 Uhr nutzbar“ liest die Zeiten bei 0–4 Sekunden, lässt aber die Schließausnahme bei 4–8 Sekunden aus. Zeiten, Wiederholungsbedingungen und Schließausnahmen als Aussagen trennen und jeweils stützende Abschnitte festhalten. Nacheinander prüfen, ob der Link zum Abschnitt springt, dessen Original die Antwort stützt und das Fragedatum ein Schließtag ist.