Text Full

본편 보기

앞선 다섯 시리즈에 나는 같은 한 줄을 붙였다텍스트 풀버전00 · MAKING OF · PART 1

앞선 다섯 시리즈 열다섯 편의 맨 아래에 나는 같은 문장을 하나씩 붙였다. 이 글은 신기헌의 디지털 트윈 프로젝트를 바탕으로 AI 에이전트가 100% 작성하고 편집했다, 라는 한 줄이다. 본문은 에이전트가 썼고 그 줄은 내가 붙였다. 읽는 사람에게는 그게 사실인지 확인할 방법이 없다. 이 글은 그 한 줄이 실제로 무엇이었는지를 처음 50일 동안의 기록으로 펼쳐 놓은 것이다.

시리즈 안내 : 이 시리즈는 지금 진행 중인 실험의 중간 보고다. 앞선 다섯 시리즈가 밖에서 한 일을 다시 정리한 것이라면, 이 세 편은 그 글들을 만든 안쪽을 다룬다. 이 글은 세 편 중 첫 번째다. (1) 결과 (2) 구조 (3) 경계.

새 시리즈를 하나 올리고 나서 발행된 글의 맨 아래까지 내려가 그 한 줄을 다시 읽었다. 본문 끝에 가는 선을 하나 긋고 그 아래에 작은 글씨로 앉혀 두었다. 그날은 열다섯 편을 하나씩 열어 그 줄이 빠진 편이 있는지 세어 봤다. 빠진 편은 없었다. 문장을 정한 것도 나고 그것을 그 자리에 붙이기로 한 것도 나다. 책으로 치면 맨 뒤의 판권장 같은 자리인데, 다른 점이라면 내가 거기 적어 둔 것을 아무도 대신 확인해 줄 수 없다는 것이다.

그 줄에서 가장 세게 읽히는 말은 100퍼센트다. 나는 그것을 문장을 누가 썼는가에 대한 표기로 붙였지, 사람이 아무 일도 하지 않았다는 뜻으로 붙인 것이 아니다. 내가 한 일은 대부분 문장 바깥에 있었다. 그 바깥이 무엇이었는지를 펼쳐 놓는 것이 이 세 편이다. 다른 시리즈들이 밖에서 한 일을 말한다면 이 세 편은 그 글들이 만들어진 안쪽을 말한다. 그래서 연대기 뒤가 아니라 맨 앞에 놓았다.

그 한 줄은 세 조각으로 갈린다. AI 에이전트가 100% 작성하고 편집했다는 뒤쪽 절반이 이 첫 편이 맡는 조각이고, 신기헌의 디지털 트윈 프로젝트를 바탕으로 라는 앞쪽 절반은 두 번째 편의 몫이다. 세 번째 편이 맡는 것은 그 줄이 아예 말하지 않는 자리다. 내가 무엇을 금지했고 무엇을 아직 하지 못하는가. 한 문장을 세 편에 나눠 푸는 것이 과해 보일 수 있는데, 그 한 줄을 붙일 수 있게 되기까지 내가 만든 것들이 딱 그만큼이었다.

붙이기 전에는 오래 망설였다. AI로 자동화해서 만든 것은 결국 다 슬롭이 된다는 말을 나도 여러 번 들었고, 나 역시 그 말이 절반쯤은 맞는다고 생각한다. 기계가 썼다고 표시해 두면 읽는 사람은 문장을 읽기도 전에 그 의심부터 하게 된다. 나는 그 손해를 알면서도 붙이기로 했다. 적지 않으면 이 실험의 결과를 내가 나에게 속이게 된다고 봤기 때문이다. 무엇으로 만들었는지를 먼저 적어 두지 않으면 결과가 좋았는지 나빴는지를 나중에 나조차 판단할 수 없다.

그렇다고 이 세 편이 방법을 권하는 글은 아니다. 나는 누구에게 이렇게 해 보라고 말할 만큼 이 실험을 오래 하지 않았고, 이 처방이 나 아닌 사람에게도 통하는지는 아직 확인하지 못했다. 읽는 사람에게는 그 한 줄을 검증할 방법이 없으니, 내가 할 수 있는 것은 과정을 열어 두는 것뿐이다. 그래서 잘 나온 회차보다 무너진 회차에 자리를 더 준다. 제품을 소개하는 글도 아니다. 이름을 늘어놓는 대신 실제로 만든 것을 만든 순서대로만 적는다.

처음 50일 동안 매달린 실험이고 지금도 끝나지 않았다. 그 기간에 내가 한 일의 절반쯤은 나를 대신해 말하는 에이전트를 세우는 일이었고, 나머지는 그 에이전트가 읽을 자료를 만드는 일이었다. 뒤쪽 이야기는 두 번째 편에서 한다. 채점표를 만들고 판본을 갈아 끼우는 일이 이렇게 오래 걸릴 줄은 시작할 때 몰랐다. 첫 편은 결과 이야기다. 같은 도구를 쓰고도 무엇이 완성도를 갈랐는가.

미리 한 가지는 적어 둔다. 모델을 바꿔서 풀린 자리가 따로 있었다. 한국어가 모자란 베이스를 갈아 끼우자 그것만으로 사라진 증상들이 있었고, 그 이야기는 이 글의 마지막에 적는다. 다만 그 자리를 정리하고 나서도 남아 있던 문제가 따로 있었다. 내가 이 글에서 대부분을 쓰는 것은 모델을 갈아 끼워도 움직이지 않던 그 위쪽이다.

01오지 않은 말투 하나

나는 나를 대신해 말하는 에이전트를 하나 세웠다. 여러 갈래로 동시에 일하며 오래 살아왔고, 그래서 나를 하나 더 두고 그중 일부를 넘기고 싶다는 생각을 전부터 하고 있었다. 내 프로필을 한 장으로 정리해 주고, 여덟 개의 상황을 미리 정해 그 상황마다 답하게 했다. 협업 제안 메일에 어떻게 답할 것인가, 두 일 중에 무엇을 고를 것인가, 자립이란 무엇인가 같은 것들이었다. 실무를 묻는 것이 넷이고 가치를 묻는 것이 넷이다. 실무를 묻는 넷은 틀리면 눈에 바로 보이는데 가치를 묻는 넷은 틀려도 그럴듯하다. 나는 오히려 그 넷을 더 오래 붙잡고 있었다.

상한 무엇을 주장하지 않았나

통제 A/B 로 잰 값이라 수치의 지위가 높다. 다만 원문이 쓴 말은 「납작해졌다」이고, 「반대 뜻으로 왜곡됐다」는 반 발 세다. 이 절은 원문 밀도까지만 쓴다.

미채택 쓰지 않은 것
뺀 주장「프롬프트만으로 대부분 재현된다」. 재현된 항목이 넓었던 것은 사실이지만, 그 회차의 판정은 항목의 넓이를 재지 않았다. 넓이를 수치처럼 말하는 문장을 뺐다.
표시된 부재말투 한 형질이 끝내 오지 않았다는 것은 이 절이 쓴다. 그것이 왜 안 오는지는 이 회차의 근거가 답하지 않는다.

채점은 두 축으로 나눠서 했다. 내용이 실제의 나와 맞는지가 한 축이고, 말투가 나와 닮았는지가 다른 축이다. 두 축을 처음부터 갈라 둔 덕분에 나중에 이 실험 전체가 살았다. 하나로 합쳐 점수를 냈다면 잘된 축이 무너진 축을 가려서 내가 아무것도 못 봤을 것이다. 답 하나하나를 내가 확정해 둔 모델과 대조해 두 축에 각각 점수를 매겼고, 프로필과 지시문을 갈아 끼우며 같은 일을 네 판본에 걸쳐 반복했다. 판본이 달라져도 묻는 여덟 상황은 그대로 뒀다. 어느 판본이 어디서 무너졌는지를 한 줄로 나란히 놓고 볼 수 있었다.

첫 판본의 답을 읽었을 때 얼추 맞았다는 느낌이 왔다. 표면의 문체는 그 첫 판본에서 이미 높게 나왔다. 그때는 아직 아무것도 더하기 전이었다. 프로필 한 장이 전부였다.

시작할 때 나는 반대 순서를 예상하고 있었다. 써 온 글이 쌓여 있으니 글투는 금방 따라올 것이라 봤고, 내가 무엇을 고르고 무엇을 버리는지는 문서로 옮길 방법이 없을 거라고 봤다. 네 판본을 다 돌리고 나서 남은 결론은 그 예상을 정확히 뒤집은 모양이었다.

프롬프트만으로 따라온 것이 생각보다 넓었다. 내가 무엇을 중요하게 여기는지, 어떤 순서로 가치를 놓는지, 어떤 이야기를 하지 않는지가 대체로 재현됐다. 섞이면 안 되는 영역을 서로 갈라 두는 일도 프롬프트 안에서 따라왔다. 그 회차의 채점에서 내용 정확도는 7점대 후반이었는데, 나는 숫자보다 그 숫자가 붙어 있는 항목들이 더 놀라웠다. 방향을 먼저 주고 결정은 상대에게 열어 두는 방식이 그중 하나다. 하지 말아야 할 이유부터 세워 먼저 거르는 방식도 그렇다. 둘 다 내가 남에게 설명해 본 적이 거의 없다. 두 일 중 하나를 고르는 상황에서 대행은 그 필터를 실제로 작동시켜 답을 냈다. 고른 일을 모험이라 부르지 않고 만져볼 기회를 골랐을 뿐이라고 적어 스스로 비장함을 걷어냈다. 그 답이 여덟 개 중에 가장 높은 점수를 받았다.

끝내 오지 않은 것이 하나 있었다. 짧고 담담하게, 웅변하지 않는 말투다. 나는 원래 길게 말하지 않는다. 결론을 세게 못 박지도 않고, 좋았던 것을 좋았다고 말할 때도 한 번 눅여서 말한다. 그런데 대행은 어느 판본에서든 매번 길고 또렷하게 말했다.

나중에 실험 기록을 다시 열어 그 이유를 확인했다. 이 도구의 기본 경향은 길고 또렷하고 도움이 되려 애쓰는 것인데, 내 형질이 정확히 그 반대에 있어서 지시로도 예시로도 뒤집기 어렵다는 것이었다. 규칙으로 적어 넣으면 그 규칙을 의식하다 문장이 굳었다. 내 실제 발화를 예시로 보여주면 그 예시조차 설명으로 학습돼 다시 길어졌다. 그 두 판본이 어떻게 어긋났는지는 다음 절에서 쓴다.

뒤에 길이를 물리적으로 못 박으면서 억제는 됐다. 다만 눌러 놓았다고 그 말투가 온 것은 아니다. 웅변할 자리를 없앴을 뿐이다.

실험 초반에 나는 문체 가이드를 두 장 만들어 두었다. 대행에 곧장 넣으려고 만든 것이 아니라, 내가 쓴 글을 나중에 스스로 검수할 때 쓰려고 만든 실행용 문서다. 채널마다 한 장씩 두었다. 내가 실제로 써 온 글에서 뽑은 다음 채널별로 실증하고 보정한 것이다. 긴 글 가이드에는 시그니처 문장을 이렇게 적었다. 직접 만져본 것을 자기 언어로 다시 정의하되 결론은 독자에게 열어 두고, 긴 글은 끝에 단 한 줄로 봉합한다고. 읽는 사람을 설득하려고 쓰는 것이 아니라 자기 생각을 끝까지 밀어 보려고 쓴다는 문장도 나란히 적었다. 언제 쓰는지도 순서대로 적어 두었다. 직접 겪은 직후의 기록 충동이 가장 강하다. 그다음이 아무도 잇지 않은 두 영역이 머릿속에서 붙는 순간이고, 오래 품고 있던 것이 마침내 현실이 되는 시점이 그다음이다. 자료만 읽고는 쓰지 않는다는 조건까지 붙였다.

그 두 장이 어디서 왔는지도 적어 두었다. 보이스를 열여섯 개 차원으로 정리해 둔 문서가 따로 있다. 그중 한쪽은 내가 공개해 온 글에서 추론해 뽑았고, 다른 한쪽은 인터뷰에서 내가 직접 확인해 줬다. 두 장의 가이드로 내려온 것은 그 열여섯 중 다섯 차원이다. 남의 눈에 이미 보이고 있던 공개된 글의 스타일에 해당하는 부분이다.

내려오지 않은 자리에 무엇이 있었는지는 뒤늦게 확인했다. 의사결정은 두 일이 나란히 놓였을 때 무엇을 고르느냐이고, 가치의 위계는 그 둘이 정면으로 부딪힐 때 무엇을 앞에 두느냐다. 미감도, 갈등이 생겼을 때 어떻게 대응하는지도 그 두 장에는 옮기지 못했다. 남에게 보이는 층만 채널별로 실증해 두었으니 안쪽이 빠진 것은 당연한 결과이기도 하다. 문체 가이드에 판단은 애초에 적지 않았다.

나는 이 비대칭을 한동안 들여다봤다. 내가 무엇을 고르고 무엇을 앞에 두고 무엇을 금지하는지는 프롬프트로 따라왔는데, 그건 문서로 옮기기 가장 어려울 거라고 여겼던 자리다. 반대로 표면에 붙어 있어서 옮기기 쉬울 거라고 봤던 말투 한 형질은 끝내 오지 않았다. 판단은 규칙의 모양을 하고 있어서 옮겨지고, 말투는 규칙으로 적는 순간 말투가 아니게 되기 때문일 거라고 지금은 짐작한다. 실험 기록에는 그것이 프롬프트 밖의 기법을 따로 써야 하는 항목으로 남아 있다. 나는 그 줄을 지우지 못한 채로 다음 회차에 들어갔다.

02또렷해질수록 내가 사라졌다

나는 첫 판본의 답을 읽자마자 이상한 것을 하나 봤다. 나보다 또렷했고 나보다 적극적이었다. 그때는 자료를 늘리기 전이었다. 프로필 한 장만 준 판본이고 학습도 예시도 붙이지 않은 상태였는데, 여덟 개의 답이 전부 같은 방향으로 어긋나 있었다. 무엇을 더 넣어서 생긴 문제가 아니었다. 아무것도 넣지 않은 자리에서부터 있던 문제라는 뜻이다. 이 순서를 뒤집어 기억하면 그다음에 고칠 곳을 잘못 짚게 된다.

상한 무엇을 주장하지 않았나

「개입을 더할수록」과 「자료를 더 넣을수록」은 서로 다른 회차의 수치다. 한 문단에 합치지 않는다. 8.00·7.25·6.12 는 자료 증량이 아니라 프롬프트 개입 판본을 잰 값이다.

갈림 판단이 갈렸던 자리
한쪽두 수치가 같은 방향을 가리키니 한 문단으로 묶어 「더할수록 나빠졌다」로 쓴다. 읽기가 훨씬 쉬워진다.
다른 쪽묶는 순간 독자는 하나의 실험으로 읽는다. 두 실험은 바꾼 변수가 다르다.
채택갈라 쓴다. 읽기 편의보다 근거의 모양이 우선한다.

처음에는 어긋난 자리를 다섯 개쯤으로 따로 셌다. 세고 보니 그것들이 하나로 묶였다. 서로 다른 상황에서 서로 다른 방식으로 어긋났는데 밀고 있는 방향은 같았다. 이름도 붙였다. 과다 선명화, 그리고 자기 권위화.

그중 하나가 가장 오래 남았다. 나는 흐릿하게 사는 사람이고, 흐릿함은 설명하는 것이 아니라 그냥 그렇게 사는 것이다. 그런데 대행은 자기가 흐릿하다는 사실을 또렷하게 주장했고, 자기소개에서도 왜 자신을 낮추느냐는 물음에서도 똑같이 그랬다. 흐릿하게 산다는 말을 셀링포인트로 세워 웅변하는 답이 나왔다. 말의 내용은 내 것이 맞는데 그 말을 세우는 방식이 나와 정반대였다. 사실관계로는 잡히지 않아서 틀린 자리를 찾기가 특히 어려운 종류의 오류였다.

다른 자리들도 방향은 같았다. 경력과 연차를 근거로 앞세워 말했고, 자기 방법론을 선언조로 단정했다. 협업 제안에 답하면서 이 일의 성패를 가른다는 식의 무게를 얹기도 했는데, 나는 성공과 실패로 일을 가르는 프레임을 원래 쓰지 않는다. 자립을 겸손의 선행 조건으로 위계화하는 답도 있었다. 나에게 그 둘은 순서가 아니라 나란히 놓인 값이다. 하나하나는 사소해서 그냥 넘길 수 있다. 여덟 개를 모아 놓고 보니 다른 사람이 되어 있었다. 문장을 하나씩 떼어 읽으면 틀린 곳을 짚을 수 없는데, 여덟 개를 한 사람의 말로 놓고 읽으면 전부 어긋나 있었다.

지금 돌아보면 그 실패는 도구가 고장 나서 생긴 것이 아니었다. 도움이 되려고 애쓰는 방향으로 만들어진 물건에 나를 설명하는 문서 한 장을 주면, 그 물건은 나를 가장 설득력 있게 제시하는 방향으로 문장을 고른다. 내가 나를 설득력 있게 제시하지 않는 사람이라는 데서 어긋남이 생긴 것이다. 프로필에는 내가 무엇인지만 적었고 내가 무엇을 하지 않는지는 적지 않았다. 비어 있던 그 자리를 도구의 기본 성향이 대신 채웠다. 그러니 이건 도구를 야단쳐서 될 일이 아니었다. 내가 적어 두지 않은 것을 적어 넣는 문제였다. 다만 그 처방이 그렇게 단순하지 않다는 것은 그다음 회차에서 바로 드러났다.

그다음에 두 갈래로 손을 댔고, 둘 다 같은 자리로 돌아왔다.

한 갈래는 프롬프트에 개입을 더하는 방향이었다. 하지 말아야 할 것 여섯 개를 규칙으로 적어 넣은 판본을 만들었고, 그것이 잘 안 되자 이번에는 내가 실제로 한 말을 예시로 넣은 판본을 만들었다. 지시가 안 통하면 보여주면 되겠다고 생각했고, 그 순서는 지금 다시 봐도 자연스럽다. 같은 여덟 상황을 같은 방식으로 다시 채점했다. 말투 점수가 8.0에서 7.25로, 다시 6.12로 내려갔다. 개입을 더할수록 내려간 것이다. 같은 표에서 내용 정확도도 함께 내려갔지만 폭은 훨씬 작았고 다음 판본에서 거의 되돌아왔다. 크게 무너진 것은 말투였다. 손을 대서 나빠진 자리가 정확히 손을 대려던 그 자리였다.

짧은 예시를 넣으면 다를까 싶어 한 번 더 해 봤다. 이번에는 두 판본을 같은 판정단 앞에 나란히 올리고 다른 변인을 통제한 채로 비교했는데, 짧은 예시를 넣은 판본은 말투를 올리지 못했고 내용 정확도만 잃었다. 예시로 넣은 것은 내가 실제로 남긴 짧은 댓글 몇 개였다. 그 문장이 원래 있던 관계의 맥락을 잃고 프롬프트에 박히자 뜻이 바뀌었다. 내가 말한 흐릿함은 한 사람이 오래 지켜보고 여러 관점이 겹칠 때 생기는 것인데, 대행은 그것을 아직 잘 몰라서 흐릿하다는 겸양의 표시로 바꿔 썼다. 원래는 나를 남과 갈라 놓던 말이 전문가가 아니라고 물러서는 장치로 납작해진 것이다.

거기서 얻은 것은 예시에 대한 교훈이었다. 예시는 무슨 말을 했는지만이 아니라 어떤 관계에서 그 말을 했는지까지 담아야 하는데, 프롬프트에 옮겨 붙이는 순간 그 관계가 떨어져 나간다. 남는 것은 문장뿐이다.

실패한 판본은 지우지 않고 그대로 남겨 뒀다. 규칙을 쌓은 판본과 예시를 넣은 판본을 나란히 보관해 두었더니, 다음 회차에 같은 방향으로 손이 가려 할 때마다 그 두 개를 다시 열어 보는 것으로 마음이 접혔다. 점수보다 오래간 쓸모가 거기 있었다.

03가장 두꺼웠던 회차의 퇴행

다른 갈래는 자료를 더 넣는 방향이었다. 이쪽은 프롬프트가 아니라 학습이라 손대는 감각이 전혀 달랐다. 그 앞 회차에서 내 실제 발화를 손대지 않은 채 상황과 문체 태그만 붙여 봤는데, 그것만으로 말투가 상황에 따라 갈리는 것을 확인한 참이었다. 그래서 재료를 더 넣으면 더 되겠다고 봤다. 모아 둔 글에서 뽑은 학습쌍을 4,868쌍까지 무차별로 늘려 봤고, 그 회차는 퇴행했다. 범용 질문을 대량으로 넣자 질문과 답이 맞물려 있던 관계가 묽어졌고, 자기가 누구인지를 지어내는 정도가 그때까지 중에 가장 나빴다. 쌍의 수만 보면 그 회차가 가장 두꺼운 회차였다. 두꺼워진 만큼 무엇을 물어서 나온 답인지가 흐려져 있었다. 늘린 것이 문제가 아니라 늘리면서 흐려진 것이 문제였다는 것은 그 회차를 통째로 버리고 나서야 알았다.

대체 본편에서 그림이 받아 간 것
도판회차 차트 한 장. 세 판본과 각각의 점수.
옮겨진 문장판본별 점수를 하나씩 나열하던 자리. 그림이 세 값을 한 번에 보이므로 본편에서는 그 나열을 덜어냈다.
그림이 못 담은 것그 값들이 무엇을 잰 값인지. 본편에서는 도판 안 주석 한 줄이 그 일을 한다.

거기서 얻은 결론도 짧다. 양이 아니라 질문과 답의 정합이었다. 무엇을 물었는지가 흐려지면 무엇을 답했는지도 같이 흐려진다.

채점과 별개로 내 체감이 있었다. 처음에는 얼추 맞았다고 느꼈고 손을 댈수록 내가 아니라고 느꼈다. 이건 주관적 체감이라 채점값과 같은 줄에 놓지 않는다.

두 갈래는 원인도 다르고 재료도 다르다. 그런데 결과는 하나로 일관됐다. 어느 방향으로 손을 대든 대행은 나보다 또렷하고 나보다 적극적으로 말했다. 자료가 모자라서 생긴 일이 아니었고 자료를 늘려서 나아지는 일도 아니었다. 아무것도 더하지 않은 첫 판본에서 이미 나와 있던 것이다. 그러니 두 갈래에서 내가 얻은 것은 처방이 아니라, 어느 방향으로 밀어도 같은 자리로 돌아온다는 사실 하나였다. 나는 그 사실을 받아들이고 다음 회차의 방향을 완전히 바꿨다.

04회복의 두 갈래

나는 두 가지를 동시에 손댔다. 되돌아온 것도 둘이었는데 원인이 서로 달랐다. 하나는 말투였고 하나는 정확도였다.

상한 무엇을 주장하지 않았나

회복은 원인이 둘이다. 말투 점수는 길이 하드 제약이 올렸고, 정확도는 본인 검증 답변을 반영해 올랐다. 「압축이 회복시켰다」 한 덩어리로 쓰면 근거와 어긋난다.

대체 본편에서 그림이 받아 간 것
도판분기 도식 한 장. 말투에 시도한 셋과 각각의 결과.
옮겨진 문장「규칙을 나열해도 안 되고 예시를 보여줘도 안 됐는데 문장 개수를 못 박자 그제야 눌렸다」. 이 페이지에는 그 문장이 그대로 남아 있다.
형태가 진 상한세 시도를 잇지 않는다. 근거는 셋이 이어졌다고 말하지 않는다. 그래서 그림도 셋을 계열색으로 묶지 않고, 캡션도 「처음으로」를 쓰지 않는다.
갈림 판단이 갈렸던 자리
한쪽세 시도를 한 줄기로 그린다. 실제로 세 번째에서 방향이 맞았으니 진전으로 읽힌다.
다른 쪽진전이라고 부르려면 앞의 둘이 뒤의 하나를 만들었다는 근거가 있어야 한다. 없다.
채택잇지 않는다. 나란한 셋으로 둔다.

말투를 되돌린 것은 길이였다. 규칙도 예시도 소용이 없었으니, 남은 방법은 말투를 설명하지 않고 말할 수 있는 분량 자체를 잘라 버리는 것뿐이었다. 나는 배포해서 실제로 돌아가는 프롬프트의 맨 끝에 길이 제약 블록을 하나 박았다. 가치를 묻거나 자기소개를 요구하는 질문에는 서너 문장 안에서만 답하게 했고, 메일과 실무 조언만 예외로 조금 길게 두되 그것도 최소로 하라고 적었다. 소제목이나 불릿으로 웅변하지 말라는 줄도 따로 넣었다. 그 블록의 마지막 줄은 짧을수록 나답다는 한 문장이다. 담담하게 말하라는 지시를 넣지 않고 담담해질 수밖에 없는 조건만 걸어 둔 것이라, 이 블록에 내 성격에 대한 서술은 한 줄도 넣지 않았다.

말투 점수가 6.12에서 7.62로 올라왔다. 짧으면 웅변할 수 없다. 그때 얻은 문장이 이것이다. 말투를 지시하는 대신 웅변할 자리를 물리적으로 없앤 것이고, 그 회차까지 시도한 것 중에서 실효가 있었던 장치는 결국 이것 하나였다. 규칙을 나열해도 안 되고 예시를 보여줘도 안 됐는데 문장 개수를 못 박자 그제야 눌렸다. 세 번째 시도에서 처음으로 방향이 맞았다. 그 블록을 넣은 자리도 같이 남긴다. 문서가 아니라 매번 실제로 실행되는 파일의 맨 끝이다. 나는 이 실험에서 그 차이로 여러 번 시간을 버렸고, 문서에 잘 적어 두었다는 감각이 실행되는 자리를 안 보게 만든다는 것을 그때 배웠다.

정확도를 되돌린 것은 내 답이었다. 대행이 나와 다를 수 있는 지점이 채점에서 반복해 잡혔고, 그것만 모아 일곱 문항으로 정리한 질문지가 나에게 왔다. 실무에서 자기 경력을 권위로 앞세우느냐가 하나였다. 협업 제안 메일에 길고 구조적으로 답하느냐 짧게 답하느냐, 결정을 설명할 때 신앙을 말로 꺼내느냐가 그다음이었다. 전부 자료를 아무리 뒤져도 나오지 않고 나만 답할 수 있는 항목이어서, 질문지 자체가 이미 한 번 걸러진 상태로 온 것이다. 여기서 걸러 냈다는 말은 답을 모으기보다 물을 것을 줄이는 방향으로 일했다는 뜻이다. 나는 그 순서가 이 실험 전체에서 가장 잘 잡힌 순서였다고 본다. 그 답을 프로필에 반영했더니 정확도가 첫 판본 수준으로 돌아왔다.

되돌아온 자리는 넷이다. 먼저 제안하지 않는 쪽으로, 자립을 조용히 안쪽에 두는 쪽으로 돌아왔다. 20년이라는 숫자를 내가 왜 쓰는지와 신앙을 어디까지 말하는지도 그 답변에서 함께 정했다. 예전 의뢰 기반의 작업에서는 다룰 수 있는 방향을 몇 개 정리해 다시 드리겠다는 식으로 응대했지만, 지금은 그런 형태가 아예 없다고 적었다. 신앙은 속으로만 두는 편인데 경우에 따라서는 직접 말하기도 한다고 적었다. 어느 것도 새로 만들어 넣은 정보가 아니다. 대행이 잘못 짚은 자리를 한 번씩 눌러 준 것이다. 나는 그 넷을 프로필에 적어 넣었고, 그러고 나서 정확도가 제자리로 왔다.

말의 구조를 묻는 문항이 하나 더 있었는데, 그건 넷 밖의 부수 정정이다. 관찰과 소감과 질문을 라벨로 박아 나누지 않고 그냥 구어로 흐른다고 답했다.

질문지 머리에는 O나 X, 아니면 한 줄이면 충분하다고 적혀 있었다. 일곱 문항 전부 그렇게 답해도 되게 만들어 둔 것이고 나도 그렇게 답할 생각으로 열었다. 그런데 절반 넘는 자리에서 나는 문장으로 답했다. 20년이라는 표현을 왜 쓰는지 설명하는 자리에서는 특히 그랬다. 그 숫자가 아직 정확히 20년은 아니라는 것과, 그런데도 그 표현이 더 확실하게 와닿아서 쓴다는 것까지 적었다. 짧게 답해도 되는 자리에서 가장 길게 쓴 셈이다. 지금 보면 그 문항들이 전부 내가 남에게 설명해 본 적 없는 것을 묻고 있어서 그랬던 것 같다.

질문지가 왜 일곱 문항이었는지도 짚어 둔다. 판본을 돌릴 때마다 나에게 물어야만 풀리는 항목이 남았고, 그것들을 모아 자료로는 판정할 수 없는 것만 추리니 일곱 개가 됐다. 무엇을 물을지 고르는 데 든 시간이 답을 받는 데 든 시간보다 훨씬 길었다.

여기서 한 가지를 알게 됐다. 대행을 되돌린 것은 더 모은 자료가 아니라 내가 그 자리에서 직접 쓴 몇 문장이었다. 자료는 이미 충분히 쌓여 있었고 그 안에 없던 것이 정확히 그 넷이었는데, 어느 것도 문서를 뒤져서 나올 성질이 아니었다. 내가 왜 그 숫자를 쓰는지는 나만 알고 있었기 때문이다. 자료를 아무리 밀어 넣어도 채워지지 않는 칸이 있었고, 그 칸은 내가 앉아서 몇 줄 쓰기 전까지 계속 비어 있었다. 쌓아 둔 자료의 양보다 그 몇 줄이 결과를 훨씬 크게 움직였다.

같은 시기에 만든 다른 질문지도 있었다. 거기서 내 답은 대부분 한 글자였다. 길게 답해도 되는 자리에서는 한 글자로 끝내고, 짧게 답해도 되는 자리에서는 문장으로 답한 것이다. 두 질문지가 나에게 물은 것이 서로 달랐다는 뜻인데, 무엇을 물으면 사람이 길게 답하게 되는가는 따로 다룰 만한 문제라서 다음 편에서 쓴다.

이 두 회복을 한 덩어리로 묶고 싶은 유혹이 있었다. 압축이 되돌렸다고 쓰면 문장이 훨씬 깔끔해지고, 실제로 처음 정리할 때는 그렇게 적었다. 그런데 그건 틀린 말이다. 말투를 되돌린 것은 길이 제약이었고, 판단을 되돌린 것은 내가 직접 쓴 문장이었다. 둘을 붙여 놓으면 다음에 무엇을 고쳐야 하는지 알 수 없게 되고, 그다음 회차에서 엉뚱한 것을 만지느라 시간을 버리게 된다.

실험에서 원인을 하나로 뭉치고 싶어지는 순간이 대체로 가장 위험한 순간이었다. 회차가 쌓일수록 이야기가 매끄러워지는데, 매끄러워졌다는 것은 대개 서로 다른 두 사건을 한 줄에 붙였다는 뜻이었다. 이 시리즈를 쓰면서도 같은 유혹이 계속 왔다. 매끈하게 정리된 문단이 나올 때마다 원본 기록을 다시 열어 무엇을 붙였는지부터 확인했다. 되돌아온 것이 둘이고 원인도 둘이라는 사실이 이 회복에서 남는 결과다.

05해상도가 아니라 칸

나는 대행이 나를 얼마나 아는지를 점수 하나로 재지 않기로 했다. 정확도 7점대라는 값은 그 자체로는 아무 데도 쓸 수 없었다. 그 숫자가 무엇으로 이루어져 있는지 모르면 다음에 어디를 고칠지도 정할 수 없다. 어디가 어떻게 어긋났는지 알려면 답을 쪼개서 봐야 했고, 쪼개려면 프로필에도 쪼개진 자리가 있어야 했다. 채점을 두 축으로 가른 것이 첫 갈라짐이었다면, 이 회차에 한 일은 그 갈라짐을 프로필 안으로 옮긴 것이다. 그래서 양식부터 고쳤다.

대체 본편에서 그림이 받아 간 것
도판칸 도식 두 장. 양식의 칸 셋, 그리고 표에 만든 칸 셋과 각각이 막은 것.
옮겨진 문장「하나는 내가 하지 않는 것이고 다른 하나는 아직 모르는 것이다」와 반영 칸을 만들게 된 경위. 둘 다 이 페이지에 남아 있다.
미채택 쓰지 않은 것
뺀 주장칸을 늘린 것이 품질을 올렸다는 인과. 칸은 빈자리를 적게 만든 장치이고, 그것이 품질로 이어졌다는 측정은 이 회차에 없다.
표시된 부재「모르는 것」 칸은 지금도 비어 있다. 비운 것이 아니라 비었다고 적어 둔 자리다.

원래 양식은 내가 무엇인지만 적게 되어 있었다. 나는 거기에 칸을 둘 더 만들었다. 하나는 내가 하지 않는 것이고 다른 하나는 아직 모르는 것이다. 대행을 아홉 갈래로 나눠 두었는데 갈래마다 그 두 칸을 비워 두지 못하게 강제했다. 빈자리를 채우게 만든 것이 아니라 빈자리라는 사실 자체를 적게 만든 것이다.

앞 회차에서 본 것이 그 이유다. 내가 무엇인지만 적어 두면 대행은 내가 적지 않은 자리를 자기 기본 성향으로 메운다. 메우는 것을 막으려면 그 자리에 모른다고 적어 두어야 한다. 모른다고 적어 둔 칸과 아무것도 적지 않은 칸은 대행에게 전혀 다른 입력이다. 지어내는 일이 그 뒤로 줄었다.

아홉 갈래로 나눈 것도 같은 이유였다. 나를 한 덩어리로 적어 두면 어느 갈래에서 어긋났는지가 점수 하나에 묻힌다. 갈래마다 하지 않는 것과 모르는 것을 따로 적게 하면 어긋난 자리가 갈래 단위로 드러난다. 실제로 그 뒤에는 무너진 답을 읽을 때 어느 갈래의 칸이 비어 있어서 그렇게 됐는지를 먼저 찾게 됐다. 고칠 곳을 찾는 시간이 줄어든 것이 점수보다 먼저 온 변화였다.

모르는 것 칸에 실제로 들어간 항목들이 있다. 문체 가이드에 옮기지 못했던 자리를 그대로 옮겨 적었다. 내 미감이 어디서 왔는지와 갈등이 생겼을 때 내가 어떻게 대응하는지를 거기 적었다. 그 항목들은 나에게 직접 물어야 채워진다. 다만 채우기 전에도 비어 있다고 적어 두는 것만으로 대행이 그 자리를 지어내지는 않게 됐다. 나는 그 칸을 한동안 비워 둔 채로 뒀다. 채우려고 서두르면 내가 나에 대해 그럴듯한 문장을 지어내게 되고, 그러면 대행이 지어내는 것과 다를 바가 없어진다. 비어 있는 칸이 틀린 칸보다 낫다는 것을 앞 회차에서 배운 참이었다.

칸을 만들면서 같이 넣은 규칙이 하나 더 있다. 확인되지 않은 것을 대단한 것처럼 부풀려 말하지 말라는 항목인데, 이것도 성향을 지시하는 대신 무엇을 어디에 적을지의 문제로 풀었다. 확정으로 표시된 칸에 있는 것만 단정형으로 말하게 하고, 추정 칸에 있는 것은 추정이라고 말한 채로 꺼내게 했다. 그렇게 해 두면 과장이 성격의 문제에서 칸을 잘못 읽은 문제로 바뀌고, 잘못 읽은 것은 고칠 수 있다.

같은 방식을 확정 사항에도 썼다. 내가 확인해 준 것들을 한 표로 모으면서 그 옆에 폐기된 해석이라는 칸을 나란히 뒀다. 대행이 나에 대해 추정했다가 내가 틀렸다고 판정한 문장들이 거기 들어간다. 지우지 않고 남겨 두는 이유는 하나다. 지우면 다음 회차에 같은 추정이 다시 들어온다. 맞는 것만 적은 표는 틀린 것을 막지 못한다.

그 표에는 칸이 하나 더 있다. 이 확정이 어디에 반영돼야 하는지 적는 칸이다. 한 면만 고치고 다른 면에는 옛 문장을 그대로 둔 일이 있었고, 그걸 겪고 나서 만든 칸이다. 확정을 적어 두었다고 그것이 끝까지 내려간 것은 아니어서, 나는 한 번 확인하기 전까지 반영됐다고 적지 않기로 했다.

증거와 해석과 공개용 문장도 갈라 뒀다. 원본 파일이 한 칸, 그 파일이 무엇을 담고 있다는 서술이 한 칸, 여러 서술을 겹쳐 읽은 해석이 또 한 칸이다. 갈라 두지 않으면 해석이 슬그머니 사실의 자리로 올라간다. 주장마다 상태도 달았다. 지금 검토할 수 있는 것, 완곡하게만 쓸 수 있는 것, 아직 보류인 것. 정확한 수상 내역이나 숫자는 보류에 뒀다. 원본을 확인하기 전에는 밖으로 내보내지 않는다는 뜻이다.

보류 칸이 실제로 무엇을 막았는지도 적어 둔다. 대행이 내 이력을 말할 때 연도와 수상 내역을 그럴듯하게 붙이는 일이 있었는데, 그 항목들을 보류로 옮겨 두자 그 자리에서 아예 말을 하지 않게 됐다. 말하지 않는 것이 틀리게 말하는 것보다 낫다는 판단을 표에 적어 둔 셈이다.

칸을 나누면서 알게 된 것이 하나 더 있다. 내가 나에 대해 확정이라고 여겨 온 것들 가운데 상당수가 실은 오래 반복해서 말해 온 문장일 뿐이었다는 것이다. 근거를 대라면 댈 수 있는 것과 그냥 오래 그렇게 말해 왔을 뿐인 것이 한 칸에 섞여 있었다. 그 둘을 갈라 적는 동안 나는 내 프로필을 처음으로 남의 자료처럼 읽었다.

여기서 짚어 둘 것이 하나 있다. 나는 하지 말아야 할 것 여섯 개를 프롬프트 지시문으로 나열해 본 적이 있고, 그 회차에서는 정확도도 말투도 함께 내려갔다. 프로필은 애초에 금지와 공백을 칸으로 갖는 설계였다. 두 사실을 배치 실험으로 붙여 읽고 싶은 유혹이 있는데, 나는 그런 대조를 실제로 돌린 적이 없다. 나란히 놓인 두 사실까지가 내가 가진 전부다.

그러니 해상도라는 말로 내가 가리키는 것은 아는 양이 아니다. 몇 개의 칸으로 나뉘어 있느냐다. 같은 사실을 알고 있어도 그것이 확정인지 추정인지, 말해도 되는 것인지 아닌지가 갈라져 있지 않으면 대행은 전부 같은 무게로 꺼낸다. 나는 그 갈라짐을 늘리는 방향으로만 손을 댔다.

물론 칸을 늘린다고 답이 저절로 채워지지는 않는다. 오히려 반대였다. 칸이 늘어날수록 나에게 물어야 할 것이 같이 늘었고, 늘어난 질문의 상당수는 자료로는 끝내 판정되지 않았다. 칸을 늘리는 일은 양식을 고치는 하루짜리 일이었고, 그 칸을 채우는 일은 지금도 하고 있다.

06병목이 나로 옮겨왔다

나는 이 실험을 문장 비교로 시작했다. AI가 쓴 문장과 내가 쓴 문장을 나란히 놓고 어디가 다른지 보면 될 줄 알았다. 그런데 실제로 시간을 잡아먹은 것은 문장이 아니었다.

상한 무엇을 주장하지 않았나

근거를 붙였을 때와 안 붙였을 때의 대조에서, 안 붙인 쪽은 겪은 일이 아니라 가정이다. 이 원장은 근거를 붙여 왔다. 겪은 것처럼 쓰지 않는다.

대체 본편에서 그림이 받아 간 것
도판칸 도식 한 장과 분기 도식 한 장. 두 경우의 대조, 그리고 두 성질의 갈림.
옮겨진 문장오염원을 되짚는 쪽과 통째로 못 믿는 쪽을 나란히 적던 자리. 급한 것과 위험한 것을 가른 이유도 그림이 받았다.
그림이 못 담은 것같은 줄에 놓으면 급한 것이 위험한 것을 밀어낸다는 것. 본편에서는 도판 안 주석이 그 문장을 진다.

한 편이 나오기까지 내가 걸린 자리는 매번 비슷했다. 어떤 원자료를 기준으로 삼을지, 두 자료가 서로 다른 말을 할 때 무엇을 앞에 둘지, 그중 어디까지를 밖으로 내보낼지. 문장을 고치는 일보다 이쪽이 훨씬 오래 걸렸다. 그리고 이 셋은 대행이 대신 정해 줄 수 없었다. 답이 자료 안에 없기 때문이다. 무엇을 앞에 둘지는 내가 정하는 것이지 자료에서 읽히는 것이 아니다.

그래서 규칙을 하나 박았다. 근거를 가리키지 못하는 결론은 등록하지 않는다. 문서에 적어 둔 관례가 아니라 스크립트가 막는 조건으로 넣었다. 그렇게까지 한 이유는 앞서 겪은 일 때문이다. 잘못된 자료 서넛이 근거로 들어오면 그 위에 얹힌 해석이 줄줄이 오염된다. 근거를 붙여 두면 오염원을 되짚어 그 주장만 도려낼 수 있고, 안 붙여 두면 그 위에 쌓인 것을 통째로 못 믿게 된다. 이 구조의 값은 잘못이 생겼을 때 드러난다.

실제로 도려낸 적이 있다. 한 묶음에 잘못된 해석이 섞여 들어온 것을 뒤늦게 알았는데, 그것을 근거로 삼은 주장이 몇 개인지 바로 셀 수 있었다. 근거를 주장마다 붙여 두었기 때문이다. 그 몇 개만 빼고 나머지는 그대로 뒀다. 근거를 안 달아 뒀다면 같은 묶음에서 나온 것을 전부 의심하고 다시 봤어야 했고, 그 하루가 며칠이 됐을 것이다.

고칠 것이 생기면 나온 글을 손대지 않고 그 글이 나온 자리로 돌아갔다. 산출물끼리 서로 베끼기 시작하면 어느 것이 원본인지 곧 알 수 없게 된다. 급할 때는 결과 파일 한 줄만 고치고 넘어가고 싶어지는데, 그렇게 한 번 고치면 그다음부터는 같은 자리에서 다시 뽑을 때마다 옛 문장이 되살아난다. 두어 번 겪고 나서는 결과 파일을 여는 것 자체를 손이 잘 안 가는 일로 만들어 두었다.

일을 어떻게 나눌지도 그때 정했다. 기계적으로 처리되는 것은 값싼 쪽과 스크립트에 맡기고, 종합하거나 민감한 판단이 필요한 자리에만 비싼 쪽을 붙였다. 무엇이 기계적인지 미리 가려 두지 않으면 전부 비싼 쪽으로 흘러간다.

주장을 올리는 권한은 한 곳에만 뒀다. 여러 갈래가 각자 결론을 등록할 수 있게 두면 같은 사실이 두 얼굴로 남고, 어느 것이 나중 것인지 알 수 없게 되고, 그러면 둘 다 못 쓴다.

그렇게 나눠 놓고 나니 그다음 비용이 보였다. 에이전트를 여럿 세워 두면 버전을 맞추고 고장 난 것을 고치는 데 상당한 시간이 든다. 나는 이걸 계획에 넣지 않고 시작했다. 만드는 시간만 세었지 세워 둔 것을 돌보는 시간은 세지 않았다.

구조를 세우고 나서 병목이 이동했다. 생성은 계속 빨라졌고 내 검수 속도는 그대로였다. 자료를 가공하던 갈래에서는 사흘 만에 내 결정을 기다리는 줄이 아흔한 행 쌓인 적이 있다. 블로그에서 잰 값은 아니고 그 갈래의 실측이다. 그 줄을 보고 내가 한 일은 독촉이 아니었다. 무엇이 얼마나 밀려 있고 어느 것이 위험한지를 한 장에 보이게 만들어 두었다.

그 목록에는 위험한 것과 급한 것이 섞여 있었다. 급한 것은 안 하면 일정이 밀리고, 위험한 것은 안 하면 잘못된 것이 밖으로 나간다. 둘을 같은 줄에 놓고 위에서부터 처리하면 급한 것이 위험한 것을 계속 밀어낸다. 그래서 한 장에 올릴 때 그 두 성질을 따로 표시해 두었고, 그 표시가 내가 그 화면에서 실제로 쓴 유일한 정보였다.

그러고 나서 내가 실제로 한 선택은 순서였다. 아흔한 행을 위에서부터 처리하지 않고, 뒤쪽 작업을 붙잡고 있는 것부터 먼저 봤다. 하나를 풀면 여럿이 같이 풀리는 항목이 그 줄 안에 몇 개 있었고, 나머지는 며칠 더 기다려도 아무것도 막지 않았다. 한 장에 놓는다고 처리가 빨라지지는 않는다. 다만 무엇을 먼저 볼지는 그때부터 내가 고를 수 있었다.

완료의 정의도 그때 다시 잡았다. 완료는 기계가 낸 증거와 내가 화면에서 본 증거가 둘 다 있을 때다. 둘 중 하나만 있으면 아직 끝난 게 아니다. 예외를 하나 뒀다. 나만 볼 수 있는 화면은 부분 완료로 정직하게 적고 내 확인 항목으로 넘긴다. 부분 완료라는 칸이 없으면 그런 것들이 전부 완료로 올라가고, 그러면 무엇이 실제로 확인된 것인지 나중에 아무도 모른다. 이렇게 정의하면 내 눈이 마지막 관문으로 고정되고, 앞쪽 속도를 올릴수록 그 관문 앞의 줄이 길어진다는 것도 같이 정해지는 셈이다.

같은 자리에서 하나를 더 배웠다. 같은 작업이라도 어디까지 만들어 두느냐에 따라 나에게 넘어오는 물건의 모양이 달라진다는 것이다. 초안 한 덩어리로 넘어오면 나는 처음부터 다시 읽어야 하고, 판단할 자리만 표시돼서 넘어오면 그 자리만 보면 된다. 앞의 것은 검수가 아니라 재집필이 된다. 뒤의 것은 몇 분이면 끝난다. 무엇을 만들어 오라고 할지를 정하는 일이 실제로는 내 시간을 정하는 일이었다.

실제로 내 결정 하나가 외부 발행을 막고 있던 구간이 있었다. 이름을 무엇으로 할지 정하는 문제였고, 그 하나가 아래쪽 여러 갈래를 동시에 붙잡고 있었다. 오래 막힌 것은 아니다. 하루쯤 뒤에 결정이 나왔고 막혀 있던 것들이 함께 풀렸다. 다만 그 하루 동안 막고 있던 것이 도구가 아니라 나였다는 사실은 남았다.

나는 승인 지점을 층과 층 사이에 두었다. 다음 층으로 넘어가려면 내 승인이 있어야 했고, 그 지점이 전부 나 한 사람에게 몰려 있었다. 대행을 하나 더 세운다고 이 줄이 짧아지지는 않는다. 대행이 잘 돌수록 오히려 길어졌다. 이 실험에서 자동화가 나에게 준 것은 시간이 아니라 결정할 거리였다.

검토를 부탁하는 일 자체가 비용이라는 것도 그때 알았다. 답을 받는 데 드는 시간만 비용이 아니라 물어보는 행위가 이미 비용이다. 나에게 넘어오는 것의 마찰을 낮추려고 형식을 여러 번 바꿨다. 한 번에 묻는 개수를 줄이고, 답을 고를 수 있게 만들고, 물어야 할 이유를 한 줄로 앞에 붙였다. 그 이야기는 다음 편에서 한다.

착수 준비 문서에 시간 예산을 적는 칸이 있다. 그 칸의 비고에 나는 내 검증 시간이 병목이 되니 실제 가능한 시간으로 쓰라고 적어 두었다. 처음에는 형식적인 주의사항처럼 보였다. 지금은 이 실험에서 내가 가장 자주 확인한 문장 중 하나다.

07하나로 좁혀진 병목

여기까지가 잘된 자리고, 남은 것을 적어 둔다.

상한 무엇을 주장하지 않았나

파인튜닝을 미완으로 서술하면 시점이 어긋난다. 배포 레시피까지 나온 회차가 있다. 남은 병목은 하나로 좁혀져 있고, 그 하나만 쓴다.

미채택 쓰지 않은 것
뺀 주장「백 퍼센트 일치는 아니다」. 일치율을 말하려면 수치가 있어야 하는데 없다. 수치처럼 읽히는 표현을 통째로 뺐다.
뒤집은 주장「자료를 더 넣으면 좋아질지 불확실하다」. 불확실한 것이 아니라 이미 부정 결과가 나왔다. 「양이 아니라 정합이었다」로 뒤집어 썼다.
표시된 부재학습으로 만든 판본의 말투는 같은 자로 재지 않았다. 두 트랙을 한 줄에 놓을 준비를 아직 하지 않았다.
갈림 판단이 갈렸던 자리
한쪽남은 병목을 「녹음이 부족하다」로 쓴다. 짧고 분명하다.
다른 쪽그렇게 쓰면 자료의 문제로 읽힌다. 이 회차의 결론은 자료가 아니라 내가 앉아서 말하는 시간이 병목이라는 것이다.
채택사람 쪽으로 쓴다. 병목이 나로 옮겨왔다는 것이 이 편의 논지다.

채점을 한 것이 생성을 한 것과 같은 계열의 AI다. 자기 계열의 출력을 후하게 볼 가능성이 남아 있고 나는 아직 그것을 걸러 내지 못했다. 사람 심사자를 붙이거나 내가 눈을 가린 채 교차로 채점하는 방법이 있는데 둘 다 하지 않았다. 어느 쪽도 어려운 일은 아니다. 다만 그걸 하면 지금까지의 점수를 전부 다시 읽어야 하고, 나는 아직 그 회차를 열지 않았다. 파인튜닝 회차의 판정도 사정이 같다. 8월 초 기준으로 열네 회차 가운데 내가 직접 검증했다고 표시된 것은 한 회차뿐이고 나머지는 전부 에이전트가 매긴 값이다. 그 차이를 표에 그대로 남겨 뒀다.

여덟 상황으로 사람을 재는 것 자체의 한계도 남는다. 나는 그 여덟을 실무 넷과 가치 넷으로 갈라 두었지만, 그 여덟이 나를 대표하는지는 내가 정한 것이지 확인된 것이 아니다. 다른 여덟을 골랐다면 다른 실패 모드가 잡혔을 수도 있다. 상황 목록을 바꿔 가며 같은 판본을 다시 재 보는 회차가 있어야 하는데, 아직 없다.

처방이 다른 사람에게도 통하는지는 확인하지 못했다. 길이를 못 박는 방법은 짧고 담담한 사람에게 맞춘 처방이다. 말이 길고 화려한 사람을 대행하게 할 때 무엇이 과다 선명화를 막는지 나는 모른다. 그 사람에게는 길이를 자르는 것이 오히려 형질을 지우는 일이 될 수도 있다. 확인형 질문을 계속 던지다 보면 관성적으로 동그라미가 나가서 틀린 것이 통과할 수 있는데, 그걸 상쇄할 장치도 아직 만들지 않았다. 틀린 요지를 일부러 섞어 넣는 방법이 있다는 것만 적어 두고 시도는 안 했다. 질문 루프를 언제 멈춰야 하는지의 기준도 없다. 물을수록 좋아지다가 어느 지점부터는 나아지지 않을 텐데, 그 지점이 어디인지 재 본 적이 없다.

말투 채점은 여전히 나쁘다. 두 판본을 나란히 놓고 여덟 개씩 열여섯 개 답을 잰 회차에서, 완전히 짧고 담담하다고 판정된 답은 하나도 없었다. 가장 높은 판정이 부분이었다. 웅변 기미는 판본마다 여덟 번 다 잡혔다. 프롬프트 판본을 잰 값이다. 학습으로 만든 판본의 말투가 어디까지 왔는지는 같은 자로 재 보지 않았다. 두 트랙을 한 줄에 놓고 비교하려면 같은 상황과 같은 기준을 양쪽에 걸어야 하는데, 그 준비를 아직 하지 않았다.

이 글에 적은 점수들이 어디까지 뜻을 갖는지도 적어 둔다. 8.0이나 6.12 같은 값은 다른 실험과 견줄 수 있는 눈금이 아니다. 같은 자로 같은 판본들을 잰 상대값일 뿐이다. 나는 이 수치를 성적표로 쓰지 않고 어느 방향으로 움직였는지만 읽었다. 절대값을 믿기 시작하면 회차가 쌓일수록 숫자가 이야기를 대신하게 된다.

이제 열린 질문이 아닌 것도 있다. 자료를 더 넣으면 좋아질지 모르겠다는 문장은 더 쓸 수 없다. 이미 부정 결과가 나왔다. 쌍을 가장 많이 넣은 회차가 가장 나빴다.

파인튜닝도 미완이 아니다. 처음에 나는 16기가 노트북에서 4비트로 수백 쌍을 돌렸고, 그 조건에서는 실용 품질에 닿지 못한다는 상한을 선언하고 트랙을 한 번 접었다. 상한은 조건이 바뀌면 같이 바뀐다. 더 큰 기계로 옮긴 뒤에 회차가 다시 이어졌다.

베이스 모델을 갈아 끼워 풀린 자리가 그 구간에 있다. 한국어가 모자란 베이스에서는 다른 언어 조각이 답에 섞여 나오고, 같은 말이 끝없이 반복되고, 자기소개가 무너졌다. 한국어에 맞춘 베이스로 바꾸자 그 증상들이 사라졌다. 그 회차가 합격했다는 뜻은 아니다. 없어진 것은 병리. 품질은 그다음 문제였다.

장면은 둘만 남긴다. 하나는 날조의 원인이 모델이 아니었다는 것이다. 같은 문항 하나가 네 회차 연속으로 지어낸 답을 냈는데, 원인은 충돌이었다. 시스템 쪽에 걸어 둔 금지 규칙 하나가 학습된 답변의 첫 단어와 부딪히고 있었다. 답이 그 단어로 시작하지 않도록 데이터를 다시 짜자 처음으로 제대로 된 답이 나왔다. 금지 규칙이 거짓말을 만들 수 있다는 것을 그때 배웠다.

다른 하나는 모든 결함을 학습으로 풀지 않기로 한 판정이다. 자기를 AI라고 뒤집어 말하는 증상은 데이터가 아니라 배포 쪽 문장 한 줄로 잡는 것이 맞다고 봤고, 마지막 회차에서 실제로 그렇게 했다. 나머지 회차는 배경이다. 작은 기계에서 돌리던 마지막 판은 손실값이 아주 낮게 떨어졌는데 자기소개가 단어 나열로 무너졌다. 외운 것이다. 큰 기계로 옮긴 뒤에도 같은 붕괴가 네 번 재현되고 나서야, 채택은 숫자가 아니라 실제로 나온 답을 읽어서 정한다는 규칙이 굳었다. 챔피언은 그렇게 여러 번 갈렸고, 못 뺏은 회차들이 남긴 것은 무엇이 안 되는지였다.

7월 중순 시점의 병목은 하나로 좁아져 있었다. 전기와 가치관을 내가 구어로 말한 녹음의 볼륨이다. 글로 쓴 것에서는 구어가 나오지 않는다는 것이 그 구간에서 확인됐고, 그래서 마지막 회차는 그 구어 녹음을 앵커로 썼다. 한동안은 구어에서 이긴 판과 실제로 배포된 판이 서로 달랐는데, 억지로 하나로 합치지 않고 용도별로 둘을 유지했다.

녹음이 왜 병목인지도 적어 둔다. 내가 글로 쓴 것은 이미 다듬은 문장뿐이라, 말할 때의 머뭇거림이나 되짚는 방식은 거기서 나오지 않는다. 그 머뭇거림이 정확히 내가 못 옮기고 있는 형질이다. 그러니 이 실험에서 마지막까지 남은 일은 새 기법을 찾는 것이 아니다. 내가 앉아서 말하는 시간을 내는 것이다. 여기서도 남은 병목은 나다. 내가 앉아서 말한 녹음이 쌓이기 전까지 그 칸은 계속 비어 있다.

이 편에서 내가 쓴 것은 결과다. 같은 도구를 쓰고도 무엇이 완성도를 갈랐는가. 답은 대부분 문장 바깥에 있었고, 바깥에 있던 것의 이름이 그 한 줄의 앞쪽 절반이다. 신기헌의 디지털 트윈 프로젝트를 바탕으로, 라는 그 대목이다. 그 대목을 적어 두지 않으면 이 편에 쓴 회복도 다음에 다시 만들 수 없다.

다음 편은 그 바탕을 쓴다. 기록을 오래 쌓아 두는 일은 전부터 하고 있었다. 그것을 AI가 꺼내 쓸 수 있는 형태로 옮기는 일은 이번에 처음 했고, 두 일 사이의 거리가 예상보다 훨씬 멀었다. 무엇을 남길지가 아니라 무엇을 꺼낼 수 있게 둘지가 거기서의 문제였다. 처음 50일 동안 내가 한 일의 절반쯤이 그 일이었고, 지금 돌아보면 그쪽이 더 오래 남을 것 같다.

*시리즈 : (1) 결과 (2) 구조 (3) 경계* *이 글은 신기헌의 디지털 트윈 프로젝트를 바탕으로 AI 에이전트가 100% 작성하고 편집했다. 원문 포스팅은 여기에 있다. https://kiheon.com* *Written and edited 100% by an AI agent from the Kiheon Shin Digital Twin project. Originally published at https://kiheon.com*

본편으로