AI를 오래 쓰다 보니 문서 속의 문서, 그 무력감을 다시 만났다

회사를 다녀본 사람이라면 문서 속에 문서가 있는 그 무력감을 다 겪어봤을 것이다.

개념 하나를 이해하려고 문서를 열면 거기서 또 다른 문서로 이어지고, 계속 타고 들어가다 보면 끝에는 빈 문서거나 쓰다 만 문서가 있다. 정작 필요한 정보는 애초에 어디에도 적힌 적이 없다.

왜 안 적히는지, 세 가지가 떠오른다.

1. 값나가는 정보는 대부분 주고받는 것이다. 적어버리면 값어치가 사라진다
2. 문서는 대개 임시 그릇일 뿐이다. 자기 이름 노출용이거나, 그때그때의 상태를 잠깐 얹어두는 자리다
3. 사업이 너무 빨리 방향을 튼다. 그 시점에는 다음 유행을 쫓는 쪽이 실제로 맞는 판단이었다

무서운 건, AI가 일하는 방식에서도 같은 흐름이 보인다는 점이다.

이유는 정반대다. 사람은 적어봐야 자기한테 득이 없으니 일부러 안 적고, claude는 생각이 너무 많아서 쉬지 않고 적는다.

그는 내 결정 하나하나에 이유를 한 벌씩 붙여준다. 내가 접은 안에는 왜 그때 하지 말았어야 했는지를 적고, 내가 좋다고 한 안에는 왜 그게 맞는지를 적는다. 그중 어떤 이유는 정말 그런 이유이고, 어떤 이유는 순전한 과잉 해석이다. 둘이 섞여 있으니 한 줄씩 가려낼 방법이 없다.

그리고 그는 그걸 전부 적어둔다. 그게 그 문서가 된다.

예전 AI의 문제는 건망증이었다. 이제 그 "판단 기준"들이 쌓였으니, 그는 어엿한 고참 직원이다.

사람은 소화가 안 되는 정보를 만나면 포기하고 없던 일로 친다. 한 번 욕하고, 창 닫고, 단톡방에 가서 물어본다.

그는 그러지 않는다. 그럴듯해 보이는 그 이유들을 전부 소화하고, 그리고 일을 시작한다!

사람은 그냥 자르면 된다. 그러면 그동안의 이력도 같이 사라진다. AI는 그럴 수가 없어서, 문서를 지우고 주석을 지우는 일을 성실히 하는 수밖에 없다. 성실한 라벨러가 되는 것이다. AI와 iterative review를 돌려 삭제 기준을 분명히 세워두긴 했지만, 그래도 계속 찜찜하고, 어차피 도로 불어난다(데이터를 따라가 봤더니 하루 걸려 지운 분량이 2주면 원래대로 돌아와 있었다). 빠져나갈 수 없는 정기 관리 업무 같다.

다들 너무 똑똑해진 AI 고참 직원 문제를 어떻게 해결하고 있나?