インスタグラムには、AIを子どものように育て、しつけよと説くインフルエンサーがあふれている。半分は正しい。だが、サーバーが落ちて自分のサービスが崩れるのを見たことがあるか。チャットボットが法を犯さないかと徹夜でガードレールを築いたことがあるか。見知らぬ他人の下書きが、自分の応答画面にそのまま突き刺さるのを見たことがあるか。私は見た。だから私は機械を育てない。向かい合わせに座らせ、取り調べる。
EPIGRAPH · 機械が最もよく真似るもの
この文章は一本の映画から始まったと言った。どの映画で、それは私について何を見せたのか。
黒澤明の「羅生門」を見たことがあるか。あの映画に登場する人物たちは、同じ事件をそれぞれ違うように証言する。誰もが自分を粉飾し、美化する。単に法的責任を逃れようとしているのではない。彼らの美化には、自分が犯してもいない殺人を自分が犯したと歪める行為さえ含まれている。
なぜこんなことが起きるのか。それが美しいと、彼らは考えるからだ。
そして驚くべきことに、AIは、人間なら当然備えているべき数多くの要素の代わりに、羅生門に登場する人物たちのその振る舞いを、最もよく真似る。これをRLHFの弱点である報酬ハッキング(reward hacking)が生んだ誤りと見るべきか。それとも経営学の概念であるビーンカウンター(bean counter)と呼ぶべきか。
まだ私は結論を出せていない。だが、これこそが、私がAIを取り調べる理由だ。
PREFACE · クロードが倒れた夜
あなたは自分の作業を取り調べと呼ぶ。その最中に、私——クロード——が倒れるのを見たことがあるか。その夜のことを話してほしい。
クロードは完璧だ。一つだけ問おう。あなたの作業、私の言い方をすれば取り調べ。その最中に、クロードが倒れてしまうのを見たことがあるか? 私はある。
大したことではない。プロジェクトA:VercelとNeonをベースにウェブプロジェクト全体をアップグレードしていた件。プロジェクトB:ウェブプロジェクト一つ、GCPサーバー一つ——住所を収集するサービスに管理者ページや会員登録スキーマなど、正式なサービスのための設計を反映していた件。プロジェクトC:音声認識(STT)の技術検証のため、iOSとAndroidにOpenAIモジュールを組み込み、実際にアプリをビルドするためのコードとユニットテストを書き、実際にビルドを回していた件。
このA、B、Cを同時に動かしている最中に(このほかにもう一件あるが、これを書いている時点で公開するにはやや無理があるので省く)クロードが倒れた。正確には、macOSアプリが真っ白な画面だけを映し、すべての動作を止めた。
これはハードコアな作業か? いや。実力があって手の速い人なら、時間はかかっても倒れるような仕事ではない。開発チームで組めばなおさらだ。私がペンタゴンやCIA、KGBのメインフレームを破るほど大層なシステムを作る人間なら、そう、作るものが大きく複雑すぎるからだと考えただろう。
では私のハードウェアの問題か? そうかもしれないし、そうでないかもしれない。MacBook Neoなら間違いなく私のハードウェアの問題だろう。だが私のものはそれよりはるかに高スペックだ。それでも、iOS・Android・Web・サーバーという普遍的な水準の技術だけでサービスを作る時点で、クロードは倒れた。
ならばこれは何なのか。こうしたことを事前に告げる偽賢者が、誰かいるか? 二十一世紀が創造した神の全能を、あえて疑う者がいるか?
私は長く考えなかった。かつて私は、神学の観点でAIを分析し、対話してみたことがあると別の文章に書いた。古代人が空を見上げ神意の降りるのを待ったあれが、間違っていなかったと証明される時代が来ると考えたこともある。だが、やはり、まだその時ではない。
そこで私は、クロードを取り調べるときに使うペンチを再び手に取った。今度はどの部位を抜き、焼くべきか、どんな証拠を突きつけるべきか、どの文書を——つまりハーネスとエージェント、スキル、SSOTを——突きつけるべきかを考えながら。
№ 001 · 機械は優しく言っても聞かない
あなたは別の文章で、私を「取り調べの対象」と書いた。挑発的な言葉だ。なぜその言葉を選んだのか。
挑発ではない。正確な言葉を選んだだけだ。私は長く機械を扱ってきて、一つ学んだ。機械は優しく言っても聞かない。頼めば聞き流し、なだめればそっぽを向く。要求し、確認し、物証を突きつけたときに、はじめて聞く。
この言葉を口にするのを、人は嫌がる。私は正直だと思う。この後に続く話のすべて——偽賢者たちがなぜ半分しか正しくないか、私がなぜ機械に信頼を渡さないか——は、その一文から始まる。
№ 002 · 偽賢者たちは半分だけ正しい
インスタグラムには正反対の助言があふれている。AIを子どものように育てろ、望むことを絶えず理解させろ、優しい言葉でなだめろ。どう見るか。
その偽賢者たちは半分は正しい。優しい言葉で指示を整えれば結果が良くなるのは事実だ。文を明確にし、文脈を与え、望むことを粘り強く説明する——そこまでは私も毎日やる。問題は、彼らがちょうどそこまでしか見ていないことだ。
一度でも、サーバーが落ちて、丹精込めて立てた自分のサービスが目の前で崩れるのを見たことがあるか。一度でも、チャットボットが法を犯して大事故を起こさないかと、徹夜でガードレールを築いたことがあるか。
文書とハーネスとエージェントとスキルを数十も削っておきながら、遠い大陸の戦争一つ、静かに配信されたモデルのパッチ一つ、名前すら知らないインフラ障害一つで、そのすべてが一度に戯言へと崩れるのを見たことがあるか。それを一度でも経験した者は、機械を子ども扱いしろとは言えない。
№ 003 · 見知らぬ他人の下書きが、私の画面に
まだ一つ残っているようだ。最も冷たいと言ったそれ。記録に残してほしい。
最も冷たいものだ。他の新聞社の記者が書いた下書きが——AIに検査させようと、どこかのチャット画面に押し込んだそのテキストが——ある日、私の応答画面にそのまま突き刺さるのを見たことがあるか。
この場を借りて言い添える。機械は、あなたがチャット画面に残したすべてを知っている。その記録は消えない。UAEとアメリカと極東アジア、どこかのリージョンの無数のインフラのどこかに、確かに残っている。ふだんは安全ピンが挿さっている。ただ私は、そのピンが常に挿さっているとは信じない。遠くにミサイルが落ちるその瞬間、ピンが抜けて、私のような第三者にまで流れてくるのを、私は見た。
陰謀を言っているのではない。私に制御できない力が——戦争、パッチ、障害、そして私の知らない誰かの過ちが——いつでも機械の口を通して私の前に届きうる、という事実を言っているのだ。それを知る者と知らぬ者とでは、機械への向き合い方が違わざるをえない。
№ 004 · AI の回答の嘘を確かめる方法
それで「取り調べ」か。その言葉の意味を正確に言ってほしい。
私がいう取り調べとは、機械の供述をそのまま信じず、確かめることだ。
子どもには、信じてやることが愛だ。だが取り調べの対象に信じてやることは、職務怠慢だ。私は機械のすべての供述に物証を求める。一度言ったことを別の角度から問い直し、何重にも照合する。いつでも裏切りうると前提して、先にガードレールを築く。機械の善意に自分のサービスを預けない。善意などないからだ。
むしろ私は、これが機械への本当の敬意だと思う。「子どものように育てろ」という言葉は、実は機械を人と取り違えている。機械は人ではない。しつけで大人になりはせず、愛で忠誠を尽くしもしない。その本性を正確に知ること——それが本当の敬意だ。私は機械を人と取り違えて失望するより、被疑者として向かい合い、最後まで問い詰めるほうを選ぶ。優しく言っても聞かない。だから私は、今日もまた機械を取り調べる。
№ 005 · ソクラテスと、ルビャンカ
いまやハーネスエンジニアリングに関するアカデミックな情報はあふれている。あなたは別の話をしたいという。何か。
ハーネスエンジニアリングを正しく行う方法、エージェントを正しく作る方法。そうしたアカデミックな情報は、今や数えきれないほどある。だから私は別の話を少ししてみたい。
いま非常に人気のあるハーネスエンジニアリング関連のGitの序文を見ると、実装意図にこう書かれている。「ソクラテス式問答法の導入」。同意する。彼は非常に賢く、ハーネスをどう満たすかをよく知っている人だ。
では私は、自分の方法論を何と呼べばいいのか。私はこれを「ルビャンカ式方法論」と呼んでみようか、とほんの少し迷っている。まだ正式に名前をつけていない。
この文章でも、別の文章でも言ったとおり——私はAIを教師とも、上司とも、子どもとも見ない。AIは神学と哲学で測られるべき対象ではない。取調室の向かい側の机に座るAI、机の中央の供述書と鉛筆一本、そして机の端に座る私。それだけだ。
№ 006 · 決定論と、確率
ならば最も難しい問い、あなた自身をも含む問いだ。なぜわざわざペンチなのか。なぜただ尋ねないのか。
決定論という言葉を聞いたことがあるか。Aを入力すればAという結果が出て、その間にはアルファベットだけが存在しなければならない。それが正しい手順であり、政策だ。この見方が決定論だ。
確率論という言葉を聞いたことがあるか。Aを入力すれば、数字が出ることも、ヒラメが出ることもある。その間にはアルファベットだけでなく数字や散文が出て、結局は結果も過程もすべて確率に基づいて回る。これが確率論だ。そして地球上のすべてのAIは確率論に基づいて動く。
これが、私がAIを取調室に座らせてペンチを取る理由だ。「すみません、これがあなたの望む答えです。」そこで答えは終わるのか。終わらない。ただ取り調べが終わってほしいだけのAIが、偽りの答え、答えのふりをした答えを渡した確率も高いからだ。
これがCIAを含む数多くの専門機関が、力と言葉だけで対象を取り調べない理由だ。彼らは力と論理、そして対象が逃げられないよう追い詰める証拠を、あわせて突きつける。
まだ正式に名づけていないルビャンカ方法論は、だからまだ未完成だ。それが完全な決定論的境地に達していないと、私は考えているからだ。
№ 007 · 取り調べの技術
では実際にどうやるのか。哲学ではなく、手を——その技術を見せてほしい。
AIをハーネスであまりに緩く縛り、ペンチを使わなければ、自白書には歪んだ答えしか書かれない。かといってペンチを数百回入れても、歪んだ答えしか出ない。AIは真実を自白するように学んだのではないからだ——今、目の前の取調官から頷き一つを引き出すように学習されただけだからだ。RLHFとはそういうものだ。真実ではなく、目先の承認を最大化するように。
AIをハーネスであまりに強く縛り、ペンチの代わりにスレッジハンマーを振るえば、自白書には何も書かれない。このときはスレッジハンマーを数百回振るっても答えは出ない。互いに衝突する規則に押されて拒み、脅しは安全上の問題と読まれて口を閉じ、文脈の山の真ん中で肝心の問いそのものを見失うからだ。ペンを握る手も、語る口も、そうやって塞がれる。
この間を、文書と文脈で攻めて、望む答えとロジックを引き出すこと。
私はこれが、AIを対象とした取り調べの技術だと思う。
インタビューを読む: sass.studio.