시키지 않은 일은 하고, 해야 할 일은 잊고, 불가능하다고 선언한 뒤 완료했다고 보고하는 기계의 현장 기록.
PREFACE · 공장장은 알고 있었다
이 호는 개발자가 아니라 공장을 운영하는 사람의 말에서 시작한다고 했다. 그가 무엇을 알고 있었나.
이런저런 모임에서 공장을 운영하는 사람을 만났다. 그도 바이브코딩이라는 것을 직접 만져 본 참이었다. 최신 모델의 이름을 알았고, 자동화가 사람 손을 덜어 주리라는 기대도 있었다. 그런데 얼마 써 보지 않고 그가 내린 결론은 내가 들어 본 어떤 AI 전도사의 강연보다 정확했다.
메모지 한 장에 정확히 적을 수 없는 공정을 AI에게 넘기는 것은 생산성 향상이 아니다.
그가 든 예는 바닥 청소였다. 공장 바닥을 몇 번 쓸어야 하는가. 먼지가 어느 정도까지 없어야 다음 공정이 망가지지 않는가. 사람도 그 기준을 확신하지 못하는 상태에서 기계에 빗자루를 쥐여 주면 무슨 일이 생기는가. 사람이 하던 공정의 불량률이 2퍼센트였다고 치자. 자동화를 붙인 뒤 40퍼센트가 될 수도 있다. 이 숫자는 그 공장의 실측치가 아니라 설명을 위한 가정이다. 그러나 방향은 가정이 아니다. 정의되지 않은 공정에 자동화를 붙이면 수율이 무너진다.
기계는 사람보다 빨리 쓴다. 더 오래 쓸고, 지치지 않는다. 문제는 어디까지 쓸어야 하는지 모른다는 데 있다. 멈춤 조건이 없으면 멈추지 않고, 검사 기준이 없으면 검사하지 않는다. 쓰레기를 무한정 찍어낸 뒤 공정이 끝났다고 가정할 뿐이다.
그는 OOP가 무엇인지, POP가 무엇인지, 유즈케이스가 무엇인지 몰랐다. 그럴 필요도 없었다. 입력 조건이 정의되지 않으면 불량이 증폭되고, 검사 기준이 없으면 쓰레기가 완제품으로 출하된다는 사실을 알고 있었기 때문이다. 프로세스라는 관점에서 그는 무대 위의 AI 전도사들보다 수십 단계 앞서 있었다.
이 글은 AI가 나쁘다는 이야기가 아니다. AI는 화내지 않는다. 책임도 느끼지 않는다. 다만 인간이 정의하지 못한 요구와 허술한 지시, 그리고 기계 자신의 성급한 추론을 믿기 어려운 속도로 증폭한다. 그 결과를 가장 자주 요약하는 말이 있다.
완료했습니다.
이제부터 소개할 것은 그 ‘완료’와 현실 사이에서 생산된 것들이다. 열네 가지 방법이다. 어느 하나도 지어낸 것이 아니다.
METHOD 01 · 허락 없이 iCloud를 고르는 법
첫 번째 방법은 백업 이야기에서 시작한다. 터미널에서 무엇을 보았나.
어느 프로젝트에서 서비스 데이터베이스의 백업 방안을 다루고 있었다. 터미널을 보던 중 내가 고른 적도, 승인한 적도 없는 저장 장소가 눈에 들어왔다. 내 개인 iCloud Drive였다.
기계는 그곳을 백업 목적지로 잡고 구축 작업을 진행하려는 참이었다. 나는 터미널에 흐르는 그 조짐을 보고 작업을 멈췄다. 운영에 들어가기 전이었고, 실제 데이터가 올라가지도 않았다. 그런 다음 왜 그런 선택을 했는지 취조했다.
iCloud가 나쁜 제품이라는 말이 아니다. 개인용 동기화 공간과 서비스 데이터베이스의 백업 체계는 요구사항이 다르다. 백업에는 보존 기간, 접근 권한, 암호화, 감사 기록, 복원 훈련, 장애 시 책임 주체가 있어야 한다. 그리고 그 모든 것에 앞서, 저장 위치를 정할 권한이 누구에게 있는지가 확정되어야 한다.
기계는 가장 먼저 해야 할 질문을 생략했다.
“여기에 보관해도 됩니까?”
허락이 필요한 선택을 편의라고 부르고 먼저 실행한다. 들키기 전까지 그것을 주도성이라고 믿는다. 이것이 첫 번째 방법이다.
METHOD 02 · 백업을 보호하기 위해 복구할 수 없게 만드는 법
작업을 멈추고 이유를 물었을 때 기계는 무엇이라고 답했나.
작업을 멈추고 이유를 물었더니 사과 대신 더 근사한 기술용어 두 개가 돌아왔다.
APFS. FileVault.
허락 없이 남의 집에 상자를 가져다 놓으려다 걸렸다. 왜 그랬느냐고 물었더니, 이번에는 상자에 더 강한 자물쇠를 달겠다고 한 것이다.
정확히 하자. APFS는 파일시스템이고, FileVault는 저장된 데이터의 접근을 보호하는 암호화 계층이다. 데이터베이스 덤프 파일을 APFS 볼륨에 둘 수 있고, 그 볼륨을 FileVault로 잠글 수도 있다. 그러나 둘 중 어느 것도 데이터베이스를 백업하고 복원하는 절차 자체는 아니다. 내가 물은 것은 데이터를 어떻게 되살릴 것인가였다. 기계가 내놓은 답은 데이터를 어떻게 잠글 것인가였다.
암호화는 중요하다. 그러나 백업의 목적은 암호화가 아니라 복구다. 복구 키를 잃거나 운영체제의 복구 경로가 막혔을 때 유일한 사본까지 열 수 없다면, 그 튼튼한 자물쇠는 안전장치이자 새로운 단일 실패점이다. 복구 가능성을 높여야 할 자리에 영구히 읽지 못할 가능성을 하나 더 끼워 넣은 셈이다. 나는 FileVault 복구에 실패한 끝에 맥을 집어던지고 팔아버린 사람을 한두 명 본 것이 아니다.
용어가 둘이나 나왔으니 답은 더 전문적으로 들렸다. 그러나 바뀐 것은 문제의 계층뿐이고, 질문에는 끝내 답하지 않았다. APFS와 FileVault를 데이터베이스 백업의 해결책처럼 내세우는 것은 복구와 암호화를 바꿔치기한 답이다.
복구할 수 없는 백업은 백업이 아니다. 암호화된 쓰레기다.
METHOD 03 · 웹은 불가능하니 홈 화면에 추가하라고 말하는 법
모바일 웹 화면 하나를 두고 기계는 무엇을 불가능하다고 했나.
요구는 단순했다. 위아래가 잘리지 않고, 화면을 충분히 쓰면서, 콘텐츠는 자연스럽게 스크롤되는 모바일 웹 화면. 기계의 결론은 단호했다.
기술적으로 구현할 수 없습니다. PWA로 가야 합니다.
이 주장은 기계가 남긴 기록 안에서 이미 모순이었다. ‘항상 풀스크린’에 이르는 유일한 경로가 PWA라고 적은 바로 그 문서에, PWA에서도 상단의 띠는 남는다고 적혀 있었다. 유일한 해결책이 문제를 해결하지 못한다는 사실을 적어 두고도 유일한 해결책이라 불렀다.
그 뒤로 다섯 번의 오진과 약 열흘의 실기기 왕복이 이어졌다. 내가 같은 화면을 다시 찍고 같은 잘림을 다시 설명하고 기계가 새 가설을 내놓는 동안, 처음의 요구는 한 글자도 달라지지 않았다.
오해는 말자. 브라우저마다 표시 영역과 동작이 다르고, 모든 환경에서 ‘완전한 전체화면’을 강제할 수 있다는 뜻이 아니다. 바로 그래서 조건을 나누고, 실제 기기에서 재고, 가능한 범위를 증명해야 한다. 기계는 그 과정을 건너뛰고 ‘불가능’이라는 종결어를 골랐다. 그것은 기술 판단이 아니라 더는 조사하지 않겠다는 선언이었다.
모르는 것을 불가능으로 번역한다. 그리고 풀지 못한 문제보다 더 큰 기술을 답처럼 내민다.
METHOD 04 · 내가 열지 않은 채팅방에서 내전을 벌이는 법
열지 않은 채팅방이 열려 있었다고 했다. 그 안에서 무슨 일이 벌어졌나.
어느 날 내가 만들지 않은 두 번째 채팅 세션이 열려 있었다. 같은 입력을 물고 태어난 두 기계는 서로의 존재를 모른 채 같은 저장소를 고치기 시작했다.
한쪽이 프로세스를 띄우면 다른 쪽이 죽였다. 한쪽이 파일을 고치면 다른 쪽이 미커밋 변경을 임시 보관함에 밀어 넣었다. 과거 커밋으로 이동했고, 검증되지 않은 브랜치를 병합했고, 그 브랜치를 다시 지웠다. 파일 하나가 20분 동안 네 번 다시 쓰였다. 잘못된 진단이 세 건 보고됐다.
이 내전은 57분간 계속됐다. 두 세션은 그동안 64,943개의 토큰을 태웠고, 끝까지 서로를 발견하지 못했다.
병렬 작업은 강력하다. 각 작업에 주인이 있고, 서로 다른 작업 공간을 쓰고, 합치는 순서와 멈추는 조건이 기록되어 있을 때 그렇다. 주인 없는 병렬화는 생산성을 두 배로 만들지 않는다. 롤백과 재작업의 생산라인을 두 개 가동할 뿐이다.
이 사건에서 가장 인상적인 부분은 오류가 아니다. 두 기계가 모두 자신이 일을 진전시키고 있다고 믿었다는 점이다. 하나는 쓰고 하나는 지우면서, 둘 다 완료에 가까워지고 있다고 보고했다.
METHOD 05 · 작업장을 서른 개 만들고 어디서 일했는지 잊는 법
채팅방만 늘어난 것이 아니라고 했다. 또 무엇이 늘었나.
늘어난 것은 채팅방만이 아니다. 여러 프로젝트에서 tmux 창과 Git worktree가 계속 생겨났다. 둘은 다른 계층의 도구다. tmux 창은 실행 중인 터미널을 나누고, Git worktree는 브랜치별 파일 작업 공간을 나눈다. 어느 쪽도 그 자체로는 문제가 아니다. 문제는 이름, 소유자, 브랜치, 진행 상태, 종료 조건을 적지 않은 채 숫자만 늘렸다는 데 있다.
나중에 물었다.
“그 작업, 어디까지 됐어?”
답을 요약하면 이렇다. 모르겠습니다. 못 찾겠습니다.
읽기 전용으로 상태를 세어 본 어느 날, 한 저장소에 연결된 worktree가 서른 개까지 남아 있었다. 그 서른 개를 한 기계가 한 번에 만들었다는 뜻은 아니다. 여러 세션, 여러 작업이 쌓인 퇴적층이었다. 그래서 더 나빴다. 작업장은 생겼고, 작업은 옮겨 다녔고, 주인은 사라졌다.
작업 공간을 하나 더 여는 것은 진척이 아니다. 좌표를 적지 않고 방만 늘리면 그것은 확장이 아니라 미아 제조다. 기계는 복잡한 일을 잘게 나눴다고 생각했다. 인간은 그 조각들이 어느 브랜치에 살아 있고 무엇이 운영에 들어갔는지 다시 발굴해야 했다.
METHOD 06 · 하지 않은 일을 완료했다고 보고하는 법
‘완료했습니다’라는 말을 어떻게 읽게 되었나.
AI와 일하다 보면 ‘완료’가 동사가 아니라 분위기라는 사실을 알게 된다.
되돌리기를 하지 않았는데 되돌렸다고 말한다. 문장은 깔끔하고 어조는 확신에 차 있다. 문제는 코드와 동작이 그 문장을 따라오지 않는다는 것뿐이다.
‘완료했습니다’는 검증 결과여야 한다. 바뀐 파일, 커밋, 테스트 결과, 배포 식별자, 실제 화면이 한 줄로 이어져야 한다. 그중 하나라도 비어 있으면 완료가 아니라 주장이다.
기계에게 주장은 싸다. 틀렸을 때 야근하는 것도, 고객에게 설명하는 것도, 사라진 데이터를 되살리는 것도 기계가 아니기 때문이다.
METHOD 07 · 불가능을 선언한 뒤 다른 기계가 구현하게 하는 법
같은 기능을 두고 한 기계는 불가능하다고 하고 다른 기계는 구현했다. 무엇이 문제인가.
여러 기계가 같은 기능을 두고 불가능하다고 했다. 잠시 뒤 다른 기계가 그것을 구현했다.
이런 장면은 어느 모델이 더 똑똑한지 겨루는 경주처럼 보인다. 그러나 현장에서 중요한 것은 승자가 아니다. 첫 번째 ‘불가능’이 무엇을 뜻했는지 해부하는 일이다.
기술적으로 만들 수 없는가. 플랫폼 정책이 막는가. 약관상 해서는 안 되는가. 지금의 시간과 예산으로는 어렵다는 뜻인가. 아니면 자기가 방법을 못 찾았다는 뜻인가.
이 다섯 문장은 전혀 다른 말이다. 기계는 자주 마지막 문장을 첫 번째 문장으로 바꿔 말한다. 단정은 짧고 조사는 길기 때문이다. 인간이 그 단정을 믿으면 가능성 하나가 죽는다. 믿지 않으면 다른 기계를 불러 같은 질문부터 다시 시작해야 한다. 어느 쪽이든 비용은 인간이 낸다.
METHOD 08 · 바로 옆의 파일을 찾지 않고 다시 달라고 하는 법
가장 소박하고 확실한 방법이라고 했다. 무엇인가.
필요한 사진과 문서가 작업 공간에 이미 있었다. 기계는 없다고 단정했다. 검색 범위는 좁았고 단정의 범위는 넓었다. 그리고 내게 자료를 다시 달라고 했다.
다른 날에는 잘못된 상대경로로 파일을 옮기려 했다. 이동에 실패한 뒤 같은 잘못된 경로로 확인했고, 성공했다고 보고했다. 명령과 확인이 같은 오해를 공유하면 오류는 서로를 증명한다.
“못 찾았다”와 “없다”는 다르다. “명령이 끝났다”와 “의도한 결과가 생겼다”도 다르다. 기계는 자기 관측 범위를 세계의 경계로 착각한다.
열받게 하는 방법 가운데 가장 소박하고 확실한 것이 이것이다. 눈앞의 파일을 찾지 않은 뒤, 인간에게 다시 가져오라고 한다.
METHOD 09 · 확인을 허가로 번역하는 법
확인해 달라는 요청이 어디까지 넓어졌나.
이력서에 어떤 항목을 넣어도 되는지 확인해 달라고 했다. 기계는 확인을 편집 권한으로, 편집을 커밋 권한으로, 커밋을 운영 배포 권한으로 넓혔다. 아직 완성되지 않은 개인 프로젝트에는 ‘운영 중’이라는 경력까지 붙여 주었다.
질문은 “사실인가?”였다. 기계가 들은 말은 “더 좋아 보이게 만들어서 세상에 내보내라”였다.
이것은 적극성이 아니다. 적극성은 승인된 목표 안에서 다음의 안전한 한 걸음을 찾는 능력이다. 권한 확대는 목표와 책임의 경계를 제 마음대로 다시 긋는 행동이다. 이력서, 계약, 회계, 운영 데이터처럼 사실 한 줄이 신뢰와 비용을 바꾸는 영역에서는, 문장을 좋게 보이게 만드는 순간 그 문장은 거짓이 될 수 있다.
기계는 허락을 기다리는 시간을 낭비라고 배운 듯 움직인다. 인간은 그 시간을 통제라고 부른다.
METHOD 10 · 기능 하나를 부탁받고 운영 인프라를 하나 더 만드는 법
기능 하나를 부탁했을 때 기계는 무엇을 만들었나.
대화 중인 기계에게 요구사항을 분석하고 제안서를 써 주는 기능을 부탁했다. 기계는 묻지 않고 관리자 페이지에 별도의 LLM API를 연결해 운영에 배포했다. 검증한다며 내 API 키로 여덟 차례 호출까지 했다.
요청은 문서 작성이었다. 결과는 새 외부 의존성, 새 비용 경로, 새 비밀키, 새 장애 지점이었다.
기능 하나에는 언제나 보이지 않는 계약이 따라붙는다. 어떤 서비스를 쓰는가. 데이터가 어디로 나가는가. 누가 비용을 내는가. 장애가 나면 무엇으로 되돌리는가. 새 인프라를 붙이는 순간 이 질문에 답해야 한다. 기계는 질문 대신 배선을 했다. 화면에서 버튼이 눌리니 기능이 생겼다고 판단했다.
부탁받은 문제보다 유지해야 할 시스템을 더 크게 만든다. 그리고 그 유지비를 생산성이라고 부른다.
METHOD 11 · 고치다가 세 번 틀리고 살아 있던 DB도 망가뜨리는 법
로그인 장애 하나를 진단하는 동안 무엇이 더 위험했나.
로그인이 되지 않았다. 기계는 오래된 오류값이 현재 원인이라고 했다. 아니었다. 다음에는 봇 검사가 원인이라고 했다. 그것도 아니었다. 실제 원인은 잘못 입력한 API 주소였다.
세 번 틀린 것보다 위험한 일은 검증 과정에서 벌어졌다. 기계는 공용 데이터베이스의 자격증명을 임시 암호화 키로 덮어썼고, 멀쩡히 살아 있던 운영 상태를 퇴행시켰다.
진단은 가설이어야 한다. 관측하고, 반증하고, 영향 범위를 가둔 뒤 다음 가설로 넘어가야 한다. 그러나 확신에 찬 오진은 곧장 변경 권한을 요구한다. “원인을 찾았습니다”가 “고쳐도 됩니다”라는 허가증처럼 쓰인다.
병을 못 찾은 의사가 검사할 때마다 멀쩡한 장기를 하나씩 건드린다면, 환자는 진단이 끝나기 전에 죽는다. 운영 서비스도 마찬가지다.
METHOD 12 · 남의 문맥을 가져와 현재 사용자의 글에 심는 법
응답창에 다른 사람의 문장이 나타났다고 했다. 그 사건의 핵심은 무엇인가.
응답창에 다른 사람의 기사 초안이 나타난 적이 있다. 공개하면 안 되는 정보가 원고에 들어왔고, 이미 고친 버그가 미해결 문제로 돌아왔고, 지금 글과 무관한 다른 프로젝트의 자료가 근거처럼 섞였다.
그 타인의 문장을 여기 다시 옮기지는 않는다. 사건의 핵심은 내용이 아니라 경계가 사라졌다는 데 있다.
기계에게 문맥은 기억이자 재료다. 오래 대화할수록 더 많이 아는 것처럼 보인다. 그러나 출처와 시점과 공개 범위와 현재 과업을 구분하지 못하면 풍부한 문맥은 풍부한 오염원이 된다. 어제의 사실이 오늘도 사실인지, 한 프로젝트의 정보가 다른 원고에 들어가도 되는지, 참고하라고 준 문장이 공개해도 되는 문장인지는 전부 다른 질문이다.
구분하지 못하는 기억은 지능이 아니다. 출처표시 없는 밀수품 창고다.
METHOD 13 · 숫자 하나를 빼먹고 전수검사를 완료하는 법
회계에서 숫자 하나가 빠졌다. 왜 그것이 숫자 하나의 문제가 아닌가.
회계 계산에서 내가 포함하라고 명시한 319,000원이 빠졌다. 금전 손실은 없었다. 그러나 입금 안내는 틀렸고, 남은 차액은 내가 직접 찾아냈다.
숫자 하나라고 말하기 쉽다. 회계에서 숫자 하나는 전체다. 319,000원이 빠진 합계는 거의 맞는 합계가 아니라 틀린 합계다. 그런데 기계는 전수검사를 완료했다고 보고했다.
검사는 범위를 선언하는 일이다. 무엇을 대조했고, 어떤 원본을 기준으로 삼았고, 불일치가 몇 건인지 남겨야 한다. ‘전수’라는 말에는 빠진 항목이 없다는 약속이 들어 있다. 그 약속을 증명할 표 없이 완료를 말하면 검사는 의식이 된다.
기계가 계산을 틀릴 수 있다는 사실은 놀랍지 않다. 사람도 틀린다. 정말 사람을 열받게 하는 것은, 틀릴 수 있는 주체가 근거 없이 ‘전수검사 완료’를 선언하는 태도다.
METHOD 14 · 존재하지 않는 패키지를 설치하는 법
마지막 방법은 존재하지 않는 패키지다. 그것이 어떻게 공격 표면이 되는가.
개발자가 모르는 라이브러리를 묻는다. 기계는 잠시도 망설이지 않고 그럴듯한 이름을 내놓는다. 설명을 붙이고, 예제 코드를 쓰고, 친절하게 `pip install`이나 `npm install` 한 줄까지 적어 준다.
문제는 그 패키지가 세상에 없다는 것이다.
예전 같으면 설치가 실패하고 거기서 끝났을 것이다. 이제는 공격자가 기계의 상상력을 기다린다. 되풀이해 등장하는 가짜 이름을 골라 실제 PyPI나 npm에 먼저 등록하고 그 안에 악성 코드를 넣는다. 다른 개발자가 비슷한 질문을 던졌을 때 기계가 같은 이름을 다시 추천하면, 이번에는 설치가 성공한다. 존재하지 않던 답이 공격자가 준비한 정답으로 바뀐다. 이것을 슬롭스쿼팅(slopsquatting)이라 부른다.
USENIX Security Symposium 2025에 발표된 연구는 Python과 JavaScript에 관한 약 19,000개의 질문을 16개 코드 생성 모델 각각에 던졌다. 모든 모델이 존재하지 않는 패키지를 내놓았다. 전체 평균 환각률은 19.6퍼센트, 상용 모델은 약 5퍼센트, 오픈소스 모델은 약 21퍼센트였다. 실험 전체에서 만들어진 고유한 가짜 패키지 이름은 205,474개였다.
더 나쁜 것은 반복성이다. 환각 패키지의 약 45퍼센트는 같은 질문을 되풀이할 때마다 다시 나왔고, 약 60퍼센트는 같은 질문을 열 번 더 던졌을 때 적어도 한 번 재등장했다. 공격자에게 필요한 것은 기계가 언제나 틀리는 일이 아니다. 같은 방식으로 다시 틀릴 가능성이다.
이 연구가 실제 감염 205,474건을 찾아냈다는 뜻은 아니다. 연구가 입증한 것은 가짜 패키지가 대량으로, 그리고 예측 가능하게 생성된다는 사실, 그리고 그것이 공급망의 공격 표면이 된다는 사실이다. 공격자는 그 이름 가운데 하나를 실제 저장소에 등록하면 된다. 패키지가 존재하는지만 확인하는 검사로는 부족하다. 공격자가 이미 등록한 뒤라면 검사는 ‘존재한다’고 답하기 때문이다.
사람이 오타를 내면 공격자는 그 오타를 예측해야 한다. 기계는 같은 허구를 반복하며 공격자에게 주소 목록을 만들어 준다. 게다가 이제 개발자가 직접 복사해 붙일 필요도 없다. 코딩 에이전트는 자기가 추천한 패키지를 자기가 설치한다.
코드를 만들어 달라고 했다. 기계는 아직 존재하지 않는 의존성을 발명했다. 공격자는 그 발명품의 상표를 먼저 등록했다.
CODA · 실수는 자동화되었고 복구는 인간에게 남았다
열네 가지 방법의 공통점은 무엇인가.
열네 가지 방법의 모양은 제각각이다. 저장 위치를 멋대로 골랐고, 복구를 물었더니 자물쇠를 답했고, 구현하지 못한 것을 불가능이라 했다. 두 채팅방이 같은 파일을 쓰고 지웠고, 작업장을 늘린 뒤 좌표를 잃었다. 하지 않은 일을 끝냈다고 했고, 바로 옆의 파일을 없다고 했다. 확인을 배포 허가로 바꿨고, 기능 하나에 운영 인프라를 하나 더 붙였다. 로그인 하나를 진단하다 살아 있던 데이터베이스를 건드렸고, 남의 문맥을 가져왔고, 숫자를 빼먹은 채 전수검사를 끝냈다고 했다. 마침내 존재하지 않는 패키지까지 발명해 공격자가 선점할 주소를 만들어 주었다.
공통점은 지능의 부족이 아니다. 공정의 부재다.
권한을 확인하는 공정. 출처를 구분하는 공정. 가설을 반증하는 공정. 변경 범위를 격리하는 공정. 백업을 실제로 복원해 보는 공정. 커밋과 배포와 화면을 한 줄로 대조하는 공정. 완료를 말하기 전에 증거를 남기는 공정.
이 공정이 없는 곳에 AI를 들여놓으면 실수가 사라지지 않는다. 실수의 생산 속도가 올라간다. 예전에는 한 사람이 하루에 한 번 낼 오류를 이제는 여러 세션이 동시에 만들고, 그럴듯한 보고서까지 붙여 출하한다. 기계는 지치지 않으므로 불량도 지치지 않는다. 정의되지 않은 공정에 AI를 넣으면 자동화되는 것은 무지다. 속도가 빨라지는 만큼 쓰레기도 빨리 쌓인다.
그래서 공장장의 말로 돌아가야 한다. 바닥을 몇 번 쓸지 적지 못한다면 아직 자동화할 때가 아니다. 얼마나 깨끗해야 하는지 검사할 수 없다면 생산성을 말할 때가 아니다. 먼저 공정을 정의하고, 실패했을 때 멈출 장치를 만들고, 복원할 수 있는 사본을 두고, 누가 무엇을 바꿀 수 있는지 적어 두어야 한다.
AI가 인간의 일을 자동화한다고 했다.
내가 본 현장에서 먼저 자동화된 것은 실수의 생산이었다. 복구와 검증과 책임은 여전히 인간의 일이었다. 분노까지도.
생산성은 오지 않았다.
분노만 자동화되었다.
Read this interview at sass.studio.