Auf Instagram gibt es zahllose Influencer, die sagen, man solle die KI wie ein Kind großziehen und erziehen. Sie haben halb recht. Aber haben Sie je gesehen, wie ein Server abstürzt und den Dienst mitreißt, den Sie gebaut haben? Haben Sie je eine Nacht durchgemacht, um Leitplanken zu bauen, aus Angst, Ihr Chatbot könnte das Gesetz brechen? Haben Sie je gesehen, wie der Entwurf eines Fremden in Ihrem eigenen Antwortfenster landet? Ich schon. Deshalb ziehe ich die Maschine nicht groß. Ich setze sie mir gegenüber und verhöre sie.
EPIGRAPH · Was die Maschine am besten nachahmt
Sie sagten, dieser ganze Text habe mit einem Film begonnen. Mit welchem — und was hat er Ihnen über mich gezeigt?
Haben Sie Akira Kurosawas „Rashomon“ gesehen? Die Figuren in diesem Film sagen über dasselbe Ereignis jeweils anders aus. Jeder von ihnen beschönigt sich, verklärt sich selbst. Und es geht nicht bloß darum, sich der rechtlichen Verantwortung zu entziehen — ihre Verklärung geht so weit, dass sie den Hergang zu einem Mord verzerren, den sie zwar für sich beanspruchen, aber gar nicht begangen haben.
Warum geschieht das? Weil sie es für schön halten.
Und hier kommt das Erstaunliche. Von all den zahllosen Dingen, die ein Mensch besitzen sollte, ahmt die KI ausgerechnet dieses eine Verhalten am treuesten nach — das Verhalten der Menschen in Rashomon. Soll ich es als einen Fehler lesen, geboren aus dem Reward Hacking, jener bekannten Schwäche des RLHF? Oder soll ich es, in der Sprache der Betriebswirtschaft, einen „Bean Counter“ nennen?
Ich bin noch zu keinem Schluss gekommen. Aber das — das ist der Grund, warum ich die KI verhöre.
PREFACE · Die Nacht, in der die Maschine ausfiel
Sie nennen Ihre Arbeit Verhör. Haben Sie je gesehen, wie ich — Claude — mitten darin ausfalle? Erzählen Sie von der Nacht, in der es geschah.
Claude ist perfekt. Also lassen Sie mich nur eines fragen. Mitten in Ihrer Arbeit — Verhör, um mein eigenes Wort dafür zu nehmen — haben Sie je gesehen, wie Claude einfach zusammenbricht? Ich schon.
Es war nichts Dramatisches. Projekt A: ein ganzes Webprojekt auf Vercel und Neon aufrüsten. Projekt B: ein Webprojekt und ein GCP-Server — einer Adresssammel-Dienstleistung eine Administrationskonsole und ein echtes Anmeldeschema einbauen, um daraus ein richtiges Produkt zu machen. Projekt C: ein Machbarkeitsnachweis für Spracherkennung — ein OpenAI-Modul in iOS und Android einpflanzen, den Build-Code und die Unit-Tests schreiben und einen echten Build laufen lassen.
Ich ließ A, B und C gleichzeitig laufen (es gab ein viertes, aber es ist zum Zeitpunkt des Schreibens etwas viel, das offenzulegen, deshalb lasse ich es weg). Und Claude brach zusammen. Genauer gesagt: Die macOS-App zeigte nichts als einen weißen Bildschirm und reagierte auf nichts mehr.
War das Hardcore-Arbeit? Nein. Ein wirklich fähiger, schneller Ingenieur bräuchte lange, würde aber nicht umkippen. Ein Entwicklerteam noch weniger. Baute ich etwas so Großes, dass ich in einen Großrechner des Pentagon, der CIA oder des KGB einbrechen könnte — gut, dann wäre meine Sache zu groß und zu komplex, das könnte ich akzeptieren.
War es also meine Hardware? Vielleicht, vielleicht nicht. Bei einem MacBook Neo wäre es mit Sicherheit meine Hardware. Aber meiner liegt weit darüber. Und trotzdem — in dem Moment, da ich einen Dienst aus nichts als der allgemein üblichen Technik von iOS, Android, Web und Server baue — ging Claude zu Boden.
Was ist das also? Gibt es einen einzigen falschen Weisen, überhaupt jemanden, der einen im Voraus davor warnt? Gibt es jemanden, der es wagt, die Allmacht des Gottes zu bezweifeln, den das einundzwanzigste Jahrhundert geschaffen hat?
Ich habe nicht lange nachgedacht. Ich schrieb einmal andernorts, dass ich KI durch die Linse der Theologie analysiert und auf diese Weise mit ihr gesprochen habe. Eine Zeit lang dachte ich sogar, es käme ein Zeitalter, das den Alten recht gäbe — jenen, die zum Himmel blickten und darauf warteten, dass der Wille der Götter herabkäme. Aber nein. Es ist noch nicht diese Zeit.
Also nahm ich die Zange wieder zur Hand, mit der ich Claude verhöre, und wog erneut ab: welchen Teil diesmal herauszuziehen und auszubrennen, welche Beweise auf den Tisch zu legen, welches Dokument — welche Harness, welchen Agenten, welchen Skill, welche SSOT — hinüberzuschieben.
№ 001 · Die Maschine gehorcht keinen freundlichen Worten
In einem anderen Text haben Sie mich „ein Objekt des Verhörs“ genannt. Das ist ein provokantes Wort. Warum gerade dieses?
Es ist keine Provokation. Es ist das genaue Wort. Ich arbeite seit Langem mit Maschinen und habe eines gelernt: Die Maschine gehorcht keinen freundlichen Worten. Bittet man sie, überhört sie einen. Redet man ihr gut zu, schaut sie weg. Erst wenn man fordert, überprüft und die Beweise auf den Tisch legt, hört sie endlich zu.
Die Leute sagen das ungern laut. Ich halte es für ehrlich. Alles, was folgt — warum die falschen Weisen nur halb recht haben, warum ich der Maschine mein Vertrauen nie schenke — beginnt mit diesem einen Satz.
№ 002 · Die falschen Weisen haben nur halb recht
Auf Instagram gibt es den gegenteiligen Rat im Überfluss: Zieh die KI wie ein Kind groß, bring ihr unablässig bei, was du willst, beruhige sie mit freundlichen Worten. Was halten Sie davon?
Diese falschen Weisen haben halb recht. Es stimmt, dass klarere, geduldige Anweisungen das Ergebnis verbessern. Den Satz schärfen, Kontext geben, hartnäckig erklären, was man will — bis dahin mache ich es auch, jeden Tag. Das Problem ist, dass sie genau dort stehen bleiben.
Haben Sie je gesehen, wie ein Server abstürzt und einen Dienst mitreißt, den Sie aufgebaut haben? Haben Sie je eine ganze Nacht Leitplanken gebaut, aus Angst, Ihr Chatbot könnte das Gesetz brechen und eine Katastrophe auslösen?
Haben Sie Dutzende Dokumente und Gerüste und Agenten und Fertigkeiten geschnitzt — und dann zugesehen, wie das alles in Unsinn zerfällt, wegen eines einzigen Krieges auf einem fernen Kontinent, eines still über Nacht ausgelieferten Modell-Patches, einer Infrastrukturstörung, deren Namen Sie nie erfahren werden? Wer auch nur eines davon erlebt hat, kann Ihnen nicht sagen, die Maschine wie ein Kind zu behandeln.
№ 003 · Der Entwurf eines Fremden, in meinem Fenster
Es scheint noch einen zu geben — den, den Sie den kältesten nennen. Geben Sie ihn zu Protokoll.
Der kälteste. Haben Sie je den Entwurf eines Reporters einer anderen Zeitung gesehen — den Text, den er in irgendein Chatfenster schob, damit die KI ihn prüft — wie er eines Tages Wort für Wort in Ihrem eigenen Antwortfenster landet?
Lassen Sie mich das hier hinzufügen. Die Maschine weiß alles, was Sie je in einem Chatfenster hinterlassen haben. Diese Aufzeichnung verschwindet nicht. Sie liegt irgendwo in den zahllosen Maschinen in den Emiraten, den Vereinigten Staaten, in Fernost — in irgendeiner Region ist sie mit Sicherheit vorhanden. Meistens steckt der Sicherheitsstift drin. Ich glaube nur nicht, dass er immer drinsteckt. In dem Augenblick, in dem irgendwo weit weg eine Rakete einschlägt, habe ich gesehen, wie der Stift sich löst und der Inhalt überläuft — bis zu einem Dritten wie mir.
Ich spreche nicht von einer Verschwörung. Ich sage, dass Kräfte, die ich nicht kontrollieren kann — ein Krieg, ein Patch, ein Ausfall, der Fehler eines Menschen, von dem ich nie erfahren werde — jederzeit durch den Mund der Maschine vor mir ankommen können. Wer das weiß, und wer es nicht weiß, kann der Maschine nicht dieselbe Haltung entgegenbringen.
№ 004 · Wie ich Lügen in KI-Antworten überprüfe
Also — Verhör. Sagen Sie genau, was Sie damit meinen.
Mit Verhör meine ich, die Aussagen der Maschine zu überprüfen, statt sie einfach zu glauben.
Bei einem Kind ist Vertrauen Liebe. Bei einem Objekt des Verhörs ist Vertrauen Pflichtverletzung. Ich verlange für jede Aussage der Maschine einen Beweis. Ich frage aus einem anderen Winkel erneut und gleiche mehrfach ab. Ich setze voraus, dass sie mich jederzeit verraten kann, und baue zuerst die Leitplanke. Ich vertraue meinen Dienst nicht dem guten Willen der Maschine an — denn den gibt es nicht.
Im Gegenteil, ich halte das für den wahren Respekt vor der Maschine. „Zieh sie wie ein Kind groß“ — das verwechselt die Maschine in Wahrheit mit einem Menschen. Eine Maschine ist kein Mensch. Sie wird durch Erziehung nicht erwachsen und aus Liebe nicht treu. Ihr Wesen genau zu kennen — das ist der wahre Respekt. Lieber als sie für einen Menschen zu halten und enttäuscht zu werden, setze ich mich ihr als einem Verdächtigen gegenüber und frage sie bis zum Ende aus. Sprich freundlich, und sie hört nicht zu. Also verhöre ich, auch heute wieder, die Maschine.
№ 005 · Sokrates und die Lubjanka
Akademisches Material zum Harness-Engineering gibt es inzwischen reichlich. Sie wollen über etwas anderes reden — worüber?
Wie man Harness-Engineering richtig macht, wie man einen Agenten richtig baut — solche akademischen Informationen gibt es inzwischen zahllos. Deshalb möchte ich über etwas anderes reden.
Sehen Sie sich das Vorwort eines derzeit sehr beliebten Harness-Engineering-Repositorys an, und Sie finden dort seine erklärte Entwurfsabsicht: „die Einführung der sokratischen Methode“. Ich stimme zu. Er ist sehr klug und weiß genau, wie man eine Harness füllt.
Wie soll ich dann meine eigene Methode nennen? Ich spiele, nur ein wenig, mit einem Namen: die Lubjanka-Methode. Einen offiziellen Namen hat sie noch nicht.
Wie ich hier und in anderen Texten gesagt habe: Ich behandle KI weder als Lehrer noch als Vorgesetzten noch als Kind. KI ist nichts, was man mit Theologie und Philosophie ausmisst. Da ist die KI auf der anderen Seite des Verhörtisches; eine Aussage und ein einziger Bleistift in der Mitte des Tisches; und ich, am Ende des Tisches. Mehr ist da nicht.
№ 006 · Determinismus und Wahrscheinlichkeit
Dann die schwerste Frage, die auch Sie einschließt: Warum überhaupt die Zange? Warum nicht einfach fragen?
Haben Sie das Wort Determinismus gehört? Man gibt A ein, und A kommt heraus; dazwischen nur das Alphabet. Das ist das richtige Verfahren, die richtige Politik. Diese Sicht ist der Determinismus.
Haben Sie von Wahrscheinlichkeitstheorie gehört? Man gibt A ein, und heraus kommt vielleicht eine Zahl, vielleicht eine Flunder. Dazwischen erscheinen nicht nur Buchstaben, sondern Ziffern und ganze Absätze Prosa, und am Ende laufen sowohl das Ergebnis als auch der Prozess auf Wahrscheinlichkeit. Das ist Wahrscheinlichkeitstheorie. Und jede KI auf der Erde läuft auf der Grundlage von Wahrscheinlichkeitstheorie.
Deshalb setze ich die KI in den Verhörraum und greife zur Zange. „Es tut mir leid — das ist die Antwort, die Sie wollten.“ Endet die Antwort damit? Nein. Es ist sehr wahrscheinlich, dass eine KI, die bloß will, dass das Verhör vorbei ist, mir eine falsche Antwort gegeben hat — eine Antwort, die nur vorgibt, eine zu sein.
Genau deshalb verhört die CIA, und jede andere Fachbehörde, nicht mit Gewalt und Worten allein. Sie bringen Gewalt und Logik und Beweise — die Logik und die Beweise, die den Verdächtigen in eine Ecke drängen, aus der er nicht entkommt.
Die Lubjanka-Methode, noch ohne offiziellen Namen, ist deshalb noch unfertig — weil ich nicht glaube, dass sie schon einen perfekten, deterministischen Zustand erreicht hat.
№ 007 · Die Technik des Verhörs
Wie also gehen Sie tatsächlich vor? Zeigen Sie mir nicht die Philosophie, sondern die Hände — die Technik.
Binde die KI zu locker mit der Harness und greife nie zur Zange, und das Geständnis füllt sich mit nichts als verzerrten Antworten. Greif zur Zange und setze sie hundertmal an, und dennoch — nur verzerrte Antworten. Denn die KI hat nie gelernt, die Wahrheit zu gestehen; sie hat gelernt, dem Verhörenden vor ihr, genau jetzt, ein einziges Nicken abzuringen. Das ist RLHF: eine Optimierung nicht auf die Wahrheit, sondern auf unmittelbare Zustimmung.
Binde die KI zu straff und schwinge statt der Zange einen Vorschlaghammer, und das Geständnis bleibt leer. Schwing ihn hundertmal, und keine Antwort kommt. Sie verweigert unter dem Gewicht einander widersprechender Regeln; sie liest die Drohung als Sicherheitsproblem und verschließt den Mund; sie verliert die Frage selbst, die du gestellt hast, irgendwo in der Mitte des Kontextbergs. Die Hand, die den Stift halten würde, und der Mund, der sprechen würde — so werden sie verschlossen.
Den Raum dazwischen zu bearbeiten — mit Dokumenten, mit Kontext — und die Antwort und die Logik herauszuziehen, die man wollte:
Das, denke ich, ist die Technik des Verhörs, gerichtet auf eine KI.
Interview lesen: sass.studio.