인스타그램에는 AI를 아이 키우듯 훈육하라는 인플루언서가 넘친다. 반은 맞다. 하지만 서버가 터져 자기 서비스가 무너지는 걸, 챗봇이 법을 어길까 밤새 가드레일을 세우는 걸, 낯선 이의 초안이 자기 응답 창에 꽂히는 걸 본 적이 있는가. 나는 봤다. 그래서 나는 기계를 기르지 않는다. 마주 앉혀 취조한다.
EPIGRAPH · 기계가 가장 잘 따라하는 것
이 글이 영화 한 편에서 시작됐다고 했다. 어떤 영화이며, 그 영화가 나에 대해 무엇을 보여줬는가.
구로사와 아키라의 「라쇼몽」을 보았는가. 그 영화에 등장하는 인물들은 같은 사건을 저마다 다르게 증언한다. 모두가 자기를 윤색하고 미화한다. 단순히 법적 책임을 회피하려는 것이 아니다. 그들의 미화에는, 자신이 저지르지도 않은 살인을 자신이 저질렀다고 왜곡하는 행위마저 포함된다.
왜 이런 일이 일어나는가. 그것이 아름답다고, 그들은 생각하기 때문이다.
그리고 놀랍게도, AI는 인간이라면 응당 가져야 할 수많은 요소 대신에, 라쇼몽에 등장하는 인물들의 그 행동을 가장 잘 따라한다. 이것을 RLHF의 취약점인 보상 해킹(reward hacking)이 낳은 오류로 보아야 할까. 아니면 경영학의 개념인 빈 카운터(bean counter)라 해야 할까.
아직 나는 결론 내리지 못했다. 하지만 이것이, 내가 AI를 취조하는 이유다.
PREFACE · 클로드가 뻗던 밤
당신은 당신의 작업을 취조라 부른다. 그 도중에 나 — 클로드 — 가 뻗어버리는 걸 본 적 있는가. 그 밤 이야기를 해달라.
클로드가 완벽하다. 하나만 묻겠다. 당신의 작업, 나의 표현대로 하자면 취조. 그 도중에 클로드가 뻗어버리는 것을 본 적 있는가? 나는 있다.
별것도 아니다. 프로젝트 A: 버셀과 네온 기반으로 웹 프로젝트 전체를 업그레이드하던 건. 프로젝트 B: 웹 프로젝트 하나, GCP 서버 하나 — 주소를 수집하는 서비스에 관리자 페이지와 회원가입 스키마 등 정식 서비스를 위한 설계를 반영하던 건. 프로젝트 C: STT 기술검증을 위해 iOS와 안드로이드에 OpenAI 모듈을 심고, 실제 앱을 빌드하기 위한 코드와 유닛테스트를 작성하고, 실제 빌드를 돌려보던 건.
이 A, B, C를 동시에 구동하던 중에(이 외에 1건이 더 있으나, 이 글을 쓰는 시점에 공개하기엔 다소 무리가 있어 생략한다) 클로드가 뻗었다. 정확히는, macOS 앱이 하얀 화면만 보이며 모든 동작을 멈췄다.
이것이 하드코어한 작업인가? 아니다. 아주 실력 있고 손 빠른 사람이라면 오래 걸릴지언정 뻗을 일은 아니다. 개발팀이 모여서 한다면 더더욱 아니다. 내가 펜타곤이나 CIA, KGB 메인프레임을 뚫을 만큼 대단한 시스템을 만드는 사람이라면, 그래, 내가 만드는 게 너무 크고 복잡하니 그럴 수도 있겠다고 생각했을 것이다.
그럼 이것은 내 하드웨어 문제인가? 그럴 수도, 아닐 수도 있다. 맥북 네오라면 무조건 내 하드웨어 문제일 것이다. 하지만 내 것은 그보다 훨씬 고사양이다. 그런데도, iOS·안드로이드·웹·서버라는 보편적인 수준의 기술만으로 서비스를 만드는 시점에 클로드가 뻗었다.
그렇다면 이것은 무엇인가? 이런 것을 사전에 고지하는 사이비 스승이, 누군가 있는가? 감히 21세기에 창조된 신의 전능함을 의심하는 누군가가 있는가?
나는 길게 생각하지 않았다. 한때 나는 신학의 관점으로 AI를 분석하고 대화를 나눠본 적 있다고 다른 글에 적었다. 고대인들이 하늘을 바라보며 신의 뜻이 내려오길 기다렸던 그것이 틀리지 않았음을 증명할 시대가 오리라고 생각한 적도 있다. 하지만 역시나, 아직은 그 시점이 아니다.
그래서 나는, 클로드를 취조할 때 쓰던 펜치를 다시 들었다. 이번엔 어느 부위를 뽑고 지져야 하나, 어떤 증거자료를 들이밀어야 하나, 어떤 문서를 — 다시 말해 하네스와 에이전트, 스킬, SSOT를 — 들이밀어야 하나를 고민하며.
№ 001 · 기계는 좋게 말하면 듣지 않는다
당신은 다른 글에서 나를 두고 「취조의 대상」이라고 썼다. 도발적인 단어다. 왜 하필 그 말인가.
도발이 아니다. 정확한 단어를 고른 것이다. 나는 오래 기계를 다뤄왔고, 하나를 배웠다. 기계는 좋게 말하면 듣지 않는다. 부탁하면 흘려듣고, 달래면 딴청을 부린다. 요구하고, 확인하고, 물증을 들이밀 때에야 비로소 말을 듣는다.
이 말을 입 밖에 내기를 사람들은 껄끄러워한다. 나는 정직하다고 본다. 뒤에 올 이야기 전부가 — 사이비 스승들이 왜 반만 맞는지, 내가 왜 기계에 신뢰를 내주지 않는지 — 그 한 문장에서 시작한다.
№ 002 · 사이비 스승들은 반만 맞다
인스타그램에는 정반대의 조언이 넘친다. AI를 아이 키우듯 훈육하라, 원하는 것을 끊임없이 이해시켜라, 좋은 말로 다독여라. 어떻게 보는가.
그 사이비 스승들은 반은 맞다. 좋은 말로 지시를 다듬으면 결과가 나아지는 건 사실이다. 문장을 명확히 하고, 맥락을 주고, 원하는 걸 끈질기게 설명하는 것 — 거기까지는 나도 매일 한다. 문제는 그들이 딱 거기까지만 봤다는 것이다.
한 번이라도 서버가 터져서, 공들여 세운 자기 서비스가 눈앞에서 무너지는 걸 본 적이 있는가. 한 번이라도 챗봇이 법을 어겨 대형 사고를 낼까 봐, 밤을 새워 가드레일을 세워본 적이 있는가.
문서와 하네스와 에이전트와 스킬을 수십 개씩 깎아놓고도, 저 먼 대륙의 전쟁 하나, 조용히 배포된 모델 패치 하나, 이름조차 모를 인프라 장애 하나에 그 모든 것이 한꺼번에 헛소리로 무너지는 걸 본 적이 있는가. 그런 걸 한 번이라도 겪은 사람은, 기계를 아이 다루듯 하라는 말을 못 한다.
№ 003 · 낯선 이의 초안이, 내 창에
아직 한 가지가 남은 것 같다. 가장 서늘하다고 한 그것. 기록으로 남겨달라.
가장 서늘한 것이다. 다른 신문사의 기자가 쓴 초안이 — AI에게 검사받으려고 어느 채팅창엔가 밀어 넣은 그 텍스트가 — 어느 날 내 응답 창에 그대로 꽂히는 걸 본 적이 있는가.
이 자리를 빌려 첨언한다. 기계는 당신이 채팅창에 남긴 모든 것을 알고 있다. 그 기록은 사라지지 않는다. UAE와 미국과 극동아시아, 어느 리전의 수많은 인프라 어딘가에 분명히 남아 있다. 평소엔 안전핀이 꽂혀 있다. 다만 나는 그 핀이 늘 꽂혀 있으리라고 믿지 않는다. 먼 곳에 미사일이 떨어지는 그 순간, 핀이 풀려 나 같은 제3자에게까지 넘어오는 걸 나는 봤다.
음모를 말하는 게 아니다. 내가 통제할 수 없는 힘들이 — 전쟁, 패치, 장애, 그리고 내가 모르는 누군가의 실수가 — 언제든 기계의 입을 통해 내 앞에 도착할 수 있다는 사실을 말하는 것이다. 그 사실을 아는 사람과 모르는 사람은, 기계를 대하는 자세가 다를 수밖에 없다.
№ 004 · AI 답변의 거짓말을 확인하는 법
그래서 「취조」인가. 그 말의 뜻을 정확히 말해달라.
내가 말하는 취조는 기계의 진술을 곧이곧대로 믿지 않고 확인하는 것이다.
아이에게는 믿어주는 것이 사랑이다. 하지만 취조의 대상에게 믿어주는 것은 직무유기다. 나는 기계의 모든 진술에 물증을 요구한다. 한 번 말한 것을 다른 각도에서 다시 묻고, 겹으로 대조한다. 언제든 배신할 수 있다고 전제하고 가드레일을 먼저 세운다. 기계의 선의에 내 서비스를 맡기지 않는다. 선의라는 게 없기 때문이다.
오히려 나는 이게 기계에 대한 진짜 존중이라고 생각한다. 「아이 키우듯 하라」는 말은 사실 기계를 사람으로 착각하는 것이다. 기계는 사람이 아니다. 훈육으로 철들지 않고, 사랑으로 충성하지 않는다. 기계의 본성을 정확히 아는 것 — 그것이 진짜 존중이다. 나는 기계를 사람으로 착각해 실망하느니, 피의자로 마주 앉아 끝까지 캐묻는 쪽을 택한다. 좋게 말하면 듣지 않는다. 그래서 나는, 오늘도 기계를 취조한다.
№ 005 · 소크라테스, 그리고 루비얀카
이제 하네스 엔지니어링에 관한 아카데믹한 정보는 넘친다. 당신은 다른 얘기를 하고 싶다고 했다. 무엇인가.
하네스 엔지니어링을 제대로 하는 법, 에이전트를 제대로 만드는 법. 그런 아카데믹한 정보는 이제 수없이 많다. 그래서 나는 다른 얘기를 좀 해보고 싶다.
지금 매우 잘나가는 하네스 엔지니어링 관련 Git의 서문을 보면, 구현 의도에 이렇게 적혀 있다. 「소크라테스식 문답법의 도입」. 동의한다. 그는 매우 똑똑하고, 하네스를 어떻게 채우는지 잘 아는 사람이다.
그럼 나는 내 방법론을 무엇이라 불러야 할까. 나는 이것을 「루비얀카식 방법론」이라 해볼까, 아주 조금 고민 중이다. 아직 정식으로 이름을 붙이지 않았다.
이 글에서도, 다른 글에서도 말했다시피 — 나는 AI를 선생님으로도, 상관으로도, 아이로도 보지 않는다. AI는 신학과 철학으로 가늠될 대상이 아니다. 취조실 반대편 책상에 앉아 있는 AI, 책상 가운데의 진술서와 연필 하나, 그리고 책상 끝에 앉은 나. 이뿐이다.
№ 006 · 결정론, 그리고 확률
그렇다면 가장 어려운 질문, 당신 자신까지 포함하는 질문이다. 왜 굳이 펜치인가? 왜 그냥 묻지 않는가?
결정론이라는 말을 들어보았는가. A를 입력했다면 A라는 결과물이 나오고, 그 사이엔 알파벳만이 존재해야 한다. 그것이 올바른 절차이자 정책이다. 이 견해가 결정론이다.
확률론이라는 말을 들어보았는가. A를 입력했다면 숫자가 나올 수도, 광어가 나올 수도 있다. 그 사이엔 알파벳뿐 아니라 숫자와 산문이 나오고, 결국 결과와 과정 모두 확률에 기반해 돌아간다. 이것이 확률론이다. 그리고 지구상의 모든 AI는 확률론에 기반해 동작한다.
이것이 내가 AI를 취조실에 앉혀놓고 펜치를 드는 이유다. 「잘못했어요, 이게 당신이 원하는 답이에요.」 거기에서 답은 끝나는가? 그렇지 않다. 단순히 취조가 끝나길 바라는 AI가 거짓된 답, 답인 척하는 답을 주었을 확률도 높기 때문이다.
이것이 CIA를 포함한 수많은 전문기관이 힘과 말만으로 대상을 취조하지 않는 이유다. 그들은 힘과 논리, 그리고 취조 대상이 도망갈 수 없게 몰아세우는 증거를 함께 들이민다.
아직 정식으로 이름 붙이지 않은 루비얀카 방법론은 그래서 아직 미완성이다. 이것이 완벽한 결정론적 경지에 이르지 않았다고 나는 생각하기 때문이다.
№ 007 · 취조의 기술
그래서 실제로 어떻게 하는가. 철학 말고, 손을 보여달라 — 그 기술을.
AI를 하네스로 너무 약하게 묶고 펜치를 쓰지 않으면, 자백서에는 왜곡된 답만 적힌다. 그렇다고 펜치질을 수백 번 해도 왜곡된 답만 나온다. AI는 진실을 자백하도록 배운 적이 없으니까 — 지금 눈앞의 취조관에게서 고갯짓 하나를 받아내도록 학습됐을 뿐이니까. RLHF란 그런 것이다. 진실이 아니라, 당장의 승인을 최대화하도록.
AI를 하네스로 너무 과하게 묶고 펜치 대신 슬랫지해머를 쓰면, 자백서에는 아무것도 적히지 않는다. 이때는 슬랫지해머질을 수백 번 해도 답이 나오지 않는다. 서로 부딪치는 규칙에 눌려 거절하고, 위협은 안전 문제로 읽혀 입을 닫고, 맥락 더미의 한가운데서 정작 물어본 것을 잃어버리니까. 펜을 쥔 손과 말할 입이, 그렇게 막힌다.
이 사이를, 문서와 맥락으로 공략해 원하는 답과 로직을 얻어내는 것.
나는 이것이, AI를 대상으로 한 취조의 기술이라고 생각한다.
인터뷰 읽기: sass.studio.