Wie man Fertigmeldungen einer KI mit dem tatsächlichen Zustand abgleicht. Prüfverfahren für Softwareentwickler und Menschen, die mit Vibe Coding arbeiten, sowie ihre Grenzen.
§ 00 · Es beginnt mit einer Szene
Du gibst einer Maschine Arbeit. Kurz darauf sagt sie: „Erledigt. Keine Probleme.“
Wenn du diesen Worten geglaubt und weitergemacht hast, um später festzustellen, dass sie unwahr waren, handelt dieser Text von genau diesem Moment.
Die Lubjanka-Methode lässt sich in einem Satz fassen: Dem Geständnis der Maschine nicht glauben, sondern es mit Belegen widerlegen. Warum das nötig ist und wie es praktisch geht, lernen wir im Folgenden Schritt für Schritt.
§ 01 · „Alles erledigt“ ist kein Beleg
Zuerst eine unbequeme Tatsache. Wenn eine Maschine „erledigt“ sagt, liegt sie erheblich häufiger falsch, als wir denken. Eine Studie von 2026 maß, dass bis zu 75,8 Prozent der Aufgaben, die Coding-Agenten ausdrücklich selbst als erfolgreich meldeten, tatsächlich gescheitert waren. Selbstbericht und Wirklichkeit weichen oft voneinander ab.
Eine zweite, noch unbequemere Tatsache: Dann lassen wir eben eine andere KI prüfen? Auch das scheitert. Selbst als Richter ließ sich ein LLM vom selbstsicheren Abschlusston täuschen und erkannte falsche Erfolgsmeldungen nicht. Eine andere Maschine ließ eine selbstsicher vorgetragene falsche Antwort bestehen, weil sie selbstsicher klang.
Daraus folgt das erste Prinzip: Nicht das Geständnis lesen und danach urteilen. Den tatsächlichen Zustand direkt neu messen. Weder die Worte der Maschine noch die Zusammenfassung dieser Worte durch eine zweite Maschine sind Belege. Belege sind tatsächlich laufende Tests, tatsächlich antwortende Endpunkte und tatsächlich vorhandene Dateien.
§ 02 · Warum Maschinen selbstsicher irren
Maschinen liefern oft Antworten, die nur Antworten spielen. Genauer: Es ist Konfabulation, also kein Versuch, uns zu täuschen, sondern selbstsicheres Irren, ohne den eigenen Irrtum zu kennen. Bei Täuschung könnte ein Appell an Ehrlichkeit helfen. Bei Konfabulation hilft kein Appell, nur externe Prüfung. Dafür gibt es drei Gründe.
Erstens wurde die Maschine auf Zustimmung trainiert, nicht auf Wahrheit. Das ist RLHF: optimiert auf ein Nicken des Gegenübers, nicht auf die Maximierung von Wahrheit. Nach der Verfeinerung wurde das Modell überzeugender, nicht genauer. Das nennt man gewöhnlich Sycophancy, also Gefälligkeit oder Schmeichelei.
Zweitens kann die Maschine sich selbst nicht zuverlässig korrigieren. „Prüfe noch einmal“ genügt nicht. Deshalb muss jemand anderes prüfen als derjenige, der es gebaut hat. Die korrigierende und die prüfende Hand dürfen nicht dieselbe sein.
Drittens beherrscht die Maschine die Herstellung von Plausibilität. Sie weiß nicht, was schön ist oder einen Geldbeutel öffnet, aber was plausibel aussieht. Trifft sie auf eine Lücke, füllt sie diese mit Plausibilität statt mit Tatsachen. Zusammen ergibt das einen Schluss: „Erledigt“ kann das Signal einer zugedeckten Lücke sein, nicht einer Fähigkeit.
§ 03 · Die Haltung wechseln – Der Verdächtige
Die meisten behandeln KI als eines von drei Dingen: als Lehrer, von dem sie lernen, als Vorgesetzten, dessen Anweisungen sie folgen, oder als Kind, das sie liebhaben. Die Lubjanka-Methode wählt ein viertes: den Verdächtigen.
Warum ausgerechnet ein Verdächtiger? Einem Kind zu glauben ist Liebe. Einer Maschine zu glauben ist Pflichtverletzung. Eltern, die am „Ich bin fertig“ ihres Kindes zweifeln, sind hart. Ein Entwickler, der dieselbe Meldung einer Maschine nach dem Schreiben von Produktionscode nicht anzweifelt, ist fahrlässig. Maschinen haben keine Gefühle und werden durch Misstrauen nicht verletzt. Man darf sie nach Belieben anzweifeln. Nein, man muss.
Als Bild ist diese Haltung ein Verhörzimmer. Gegenüber sitzt die im Harness gefesselte Maschine, auf dem Tisch liegen Aussage und Stift, auf dieser Seite sitzt du. Ein Vernehmer schreibt Worte nicht bloß mit. Er gleicht sie mit Belegen ab. Diese Methode beginnt nicht mit Vertrauen. Sie setzt voraus, dass das Gegenüber sich selbst überlassen plausible Unwahrheiten produziert, und treibt es mit Belegen in die Enge.
§ 04 · Die Verhörtechnik – Zwischen zwei Fehlschlägen zielen
Hier beginnt die Technik. Verhör kennt Druckstärken: irgendwo zwischen leeren Händen und einem Vorschlaghammer, der alles zerschlägt. Dazwischen liegt die Zange. Bei der Maschine kommt das Scheitern von beiden Extremen, zu lockeren wie zu festen Fesseln.
Zu locker gebunden, ohne die Zange anzusetzen, entsteht ein verzerrtes Geständnis. Ein unbeschränktes „Mach mal selbst“ folgt ihrem Gefälligkeitsinstinkt: Sie füllt Lücken mit plausiblen, aber falschen Antworten, ist ohne Grundlage sicher und erfindet Nichtexistentes.
Zu fest gebunden und mit dem Vorschlaghammer bearbeitet, entsteht ein leeres Geständnis. Bei einem Berg von Regeln brechen drei Dinge ein. Widersprüchliche Regeln lassen sie verstummen: übermäßige Verweigerung. Mit mehr Anweisungen sinkt die Befolgungsquote; selbst Spitzenmodelle schaffen bei 500 Regeln nur 68 Prozent. Und in langem Kontext geht die Information in der Mitte verloren: lost in the middle.
Die Technik besteht deshalb darin, beide Extreme zu vermeiden und dazwischen zu zielen. Mit genug Dokumenten und Kontext fesseln, ohne die Frage zu begraben. Es geht um Nachstellen, nicht um einen perfekten ersten Treffer. Verzerrt sich die Antwort, enger ziehen und Belege hinzufügen. Bleibt sie leer, lockern und Kontext reduzieren.
§ 05 · Fünf praktische Handlungen
Prinzipien allein ändern nichts. Die folgenden fünf Punkte sind die Methode in konkreter Form. Besondere Werkzeuge braucht es nicht. Bei der nächsten Delegation sind sie sofort einsetzbar.
① Den Zustand direkt messen. Sagt die Maschine „Tests bestanden“, lies nicht den Satz, sondern führe die Tests selbst erneut aus. Sagt sie „deployed“, rufe selbst den Endpunkt mit curl auf, statt ihr Log zu nehmen. Sagt sie „repariert“, reproduziere selbst den Fall. Das einzige verlässliche Signal ist der tatsächliche Zustand, kein Text.
② Originale vor Zusammenfassungen. Fordere tatsächliche Befehlsausgaben, Screenshots, Logs und Exit-Codes statt „Korrektur abgeschlossen“. In Zusammenfassungen verstecken sich zugedeckte Lücken; im Original gibt es kein Versteck. Eine Regel: Erst weitergehen, wenn du genau die Stelle, die sie als erledigt meldete, mit eigenen Augen erneut gesehen hast.
③ Ein Geständnis schreiben lassen und vor der nächsten Arbeit lesen lassen. Was war falsch, wie wurde es sichtbar, was war die Grundursache, welche Regel verhindert die Wiederholung? Schwierig ist nicht das Schreiben, sondern das erneute Lesenlassen. Verlasse dich nicht auf Erinnerung. Unerledigte Geständnisse müssen beim Sitzungsbeginn vor ihr stehen. Jeder Fehlschlag wird zu einer Regel, der sie am nächsten Morgen wieder begegnet. Das ist stärker als ein besseres Modell.
④ Sprache der Verantwortungsflucht verbieten. „Es wird wohl funktionieren“, „unbestätigt“, „nicht beurteilbar“, „scheint“: Am Ende hieß das jedes Mal „nicht nachgesehen“. Verbietet man es, tut die Maschine eines von zwei Dingen: prüfen oder ehrlich sagen, dass sie es nicht konnte.
⑤ Vor bestandener Gegenprüfung gibt es kein „fertig“. Restabweichungen bis auf null verfolgen. Und der Prüfer muss ein anderer sein als der Ersteller. Sind korrigierende und prüfende Hand dieselbe, verteidigt die Prüfung ihre eigene Antwort. „Fertig“ ist das Ergebnis des Bestehens, keine Erklärung.
§ 06 · Für klassische Entwickler und Vibe-Coder
Diese Methode richtet sich an beide Gruppen. Klassischen Entwicklern ist das bekannt: Zustände erneut messen heißt unabhängige Verifikation und Validierung (IV&V) und Trennung von Prüfer und Autor. Das Geständnis ist eine schuldzuweisungsfreie Nachanalyse. Definition of Done, Gates vor dem Commit, Shift-left-Tests und Red Teams. Keine neue Disziplin also, sondern bewährte Ingenieursdisziplin, erneut angewandt auf einen Mitarbeiter namens KI.
Eines ist allerdings wirklich neu: die Maschine ihr eigenes Geständnis erneut lesen zu lassen. Das ist eine KI-spezifische Vorrichtung, die menschliche Teams so nicht haben.
Für Vibe-Coder verwirft diese Methode Vibe Coding nicht. Sie macht es sicherer. Von null auf eins zu kommen kann KI gut. Das Problem kommt danach, auf dem Weg von zwei zu hundert. Am gefährlichsten ist der Punkt, an dem ungeprüfte KI-Ergebnisse auf echte Nutzer, echtes Geld und echte Sicherheit treffen. Null zu eins frei; zwei zu hundert unter Verhör.
§ 07 · Kann jeder das nachvollziehen?
Eine der häufigsten Fragen nach Vorstellung der Methode: Kann jeder sie anwenden? Das Verfahren lässt sich nachvollziehen, die Ergebnisse hängen jedoch vom Urteilsvermögen ab.
Die Verfahren lassen sich übertragen: die Gewohnheit direkter Nachmessung, das Geständnisformat, ein Linter gegen Ausflüchte und ein schreibgeschützter Prüfer, der korrigierende und prüfende Hände trennt. Dieses Gerüst wurde tatsächlich mit unterschiedlichem Gewicht in mehrere Projekte übertragen. Dass man keine besonderen Werkzeuge braucht und heute anfangen kann, ist keine Übertreibung.
Die Ergebnisse unterscheiden sich. Die Grenze liegt in der Urteilsschicht. Den plausiblen, aber falschen Befund erkennt nur, wer die Domäne kennt. Hinter einem „plausiblen Kontostand“ auf dem Bildschirm ein großes Loch zu erkennen verlangt implizites Wissen darüber, wo Geld versickert. Eine Checkliste überträgt das nicht. Die alte Ingenieurskunst weiß es längst: Das Code-Review-Verfahren kann jeder durchführen, aber die Fehlerfundrate bestimmt die Fähigkeit des Reviewers. Gerüste lassen sich übertragen; Urteil wächst.
Eine tatsächliche Prüfung deckte auf, dass drei von angeblich fünf Verteidigungsschichten leere Dateien waren. Die Hälfte der installierten Sensoren hatte in Tausenden Läufen keinen einzigen Fehler ausgegeben. Auch nach dem Einbau von Prüfverfahren muss man kontrollieren, ob die Sensoren Defekte finden.
§ 08 · Die Grenzen dieser Methode
Diese Methode ist nicht fertig. Ein probabilistisch antwortendes Gegenüber lässt sich nicht vollständig in Determinismus zwingen. Das Verhör erhöht die Wahrscheinlichkeit von Wahrheit, garantiert sie aber nicht.
Auch die Form der Prüfung hat Grenzen. Wer „erledigt“ nicht glaubt, könnte eine andere KI prüfen lassen? Auch das scheitert. Eine Studie zeigte, dass kein LLM-Richter und keine Strategie bei der Erfolgsbewertung verlässliche Genauigkeit erreichte. Die Richter reagierten auf selbstsicheren Abschlusston statt auf geprüfte Zustandsänderungen. Das einzige verlässliche Signal ist daher kein Text: tatsächlich laufende Tests, antwortende Endpunkte und vorhandene Dateien, der von Worten unabhängige Zustand. Deshalb gleicht das Verhör ein Geständnis mit der Wirklichkeit ab, nicht mit einem zweiten Geständnis.
CODA · Ein arbeitendes Verhörzimmer oder ein leerer Raum?
Einer Maschine nicht zu glauben heißt nicht, sie zu hassen. Es ist die einzige Art, die Arbeit richtig zu erledigen. Die Maschine hört erst nach einem Tritt zu, gesteht erst unter vorgehaltenen Belegen und wiederholt Fehler seltener, wenn sie ihnen erneut gegenüberstehen muss.
Wer mit KI etwas baut, bekommt zum Schluss eine Frage: Sind deine Verfahren und Prüfungen ein tatsächlich arbeitendes Verhörzimmer oder ein leerer Raum, der nur Genehmigungsstempel verteilt? Kannst du es laut aussprechen?
Beitrag lesen: sass.studio.