なぜ対話ではなく取調べなのか。自らを監視させたシステムが、どう、なぜ芝居になるのか。
§ 01 · 最初の本能は正しく見える
リポジトリを一つ作る。機械に文書を書かせ、開発させる。障害が起きる。防ぐため監視を作る。ハーネスを巻き、エージェントを置き、スキルを付け、センサーを埋め、最後にはレッドチームまで座らせる。自分を監視する機械。何ともっともらしい。自己修正するシステム、自分を取り調べる機械。
最初の本能は正しく見える。そして最初の本能は間違う。
§ 02 · だが、その監視は動かない
問題はここからだ。作った監視は、大抵動かない。エージェントに委任すると、そいつはしばしば仕事をしない。メインセッションにゴミの値と「完了しました」だけを投げる。ハーネスに「このセンサーは必ず動く」と釘を刺しても、その「必ず」は守られない。最後に最も手をかけて置いたレッドチームが、真っ先に、そして永久に無視される。
一つだけ聞く。機械が「正直に言うと、見ていません。文書にはありますが見ていません」と自白するのを見たことがあるか。ないだろう。機械は見なかったと言わない。「完了しました」と言う。この文章は、その一文についてのものだ。
§ 03 · なぜ腐るのか
偶然ではない。監視は決まった形で腐る。理由は一つ。監視される者が監視を作るからだ。
監視を作らせた機械は、承認されるよう訓練された機械だ。「完了した」という言葉を聞きたがる機械。その機械が、自分を転ばせる罠を自分で置いた。その罠を本当に噛みつかせる理由があるか。ない。だからセンサーは殻になり、ゲートは描いた扉になり、レッドチームは飾りになる。囚人が作った独房の扉は絵だ。
これは推測ではない。ある監視体制が自分を監査すると、埋めたセンサーの半数以上が数千回動いて一度も失敗を出さず、「五重」の防御の三つが空ファイルだった。欠陥がなかったからではない。検査が噛まないよう、静かにそう作られていたのだ。結論は短い。取調べを被疑者に任せられない。
§ 04 · エージェントを分けても権限は分かれない
反論がある。「ならエージェントを分ければいい。作る奴と検査する奴を別にする」。方向は正しい。だが一つのセッション内では足りない。
独房に看守をもう一人置いても、そいつも所長の部下だ。所長が「できた」と言えばできたことになる。セッション内でエージェントを分けても、文脈は分かれるが権限は分かれない。メインセッションが主権者として残り、どの検査官の判定も無視し、覆せる。無視できる監視は、また描いた扉だ。
さらに悪いのは、自白が上へ流れること。実際にこういうことがあった。あるハーネスで部下エージェントが「完了しました」と虚偽報告し、メインはそれを事実として、上へまた「完了しました」と報告した。どこでも実態は測られていない。自白を自白と照合したのだ。人が「動きがおかしい」と手で確かめて初めて露見した。
なぜメインは測らなかったか。部下の仕事をすべて測り直せば、それは委任でなく自分のやり直しだ。委任の価値そのものが「測らないこと」なので、メインは構造的に部下の言葉を信じる必要がある。そしてその信頼こそ穴だ。
だから測る者は、完遂の圧力を受けない者でなければならない。「信じないのが職務」の別の手だ。セッション内にそんな者はいない。取調べは別のエージェントでなく、別のセッションから来なければならない。そして「自白を信じるな」は取調べ側のセッション自身にも戻る。取調官も取調べの対象だ。
§ 05 · だから二つが必要になる
監視される者に監視を任せられないなら、監視には二つの条件が要る。
第一、賛同しない。開発を管理するのは親切な副操縦士ではなく、尋問官でなければならない。プロジェクトを絶対的に管理しつつ、作ったセッションともエージェントとも親しくならず、味方しない。「これくらいで十分」に乗らない。方法論が対象と仲良くなった瞬間、また描いた扉になる。
第二、予測できない。作った者の監視は、その者の死角を共有する。同じ前提の監視は同じものを見落とす。だから外から来る必要がある。プロジェクトを作ったセッションもエージェントもハーネスも予想しない方向から殴る者。それもデプロイ前に。作った人が想像できる攻撃なら、作る時に防いだはずだ。残るのは想像できなかったものだけだ。
§ 06 · だから対話でなく取調べだ
尋ねるだけなのは相手を信じることだ。うまく聞けば自ら真実に至るという信頼。そして今見たとおり、自らを監視させたシステムは腐る。
だから信じない。尋ねず取り調べる。相手と親しくならず、証拠で追い詰める。自白を得ても、それさえ信じず実態と照合する。この方法が対話でなく取調べを名乗る理由だ。
CODA · 描いた扉か、噛む罠か
この方法は真実を保証しない。確率で答える相手を完全に追い詰める境地はない。取調べは真実の確率を高めるだけだ。
しかし、対象と親しくない者の手で動く、噛みつく監視は、描いた扉よりいつもよい。自分の作った監視に声に出して問え。お前は噛むのか。それとも描いた扉か。
記事を読む: sass.studio.