왜 내 AI는 쓸수록 결과물이 나빠질까

— AI가 고작 3%만 틀리기 시작하면, 우리는 고치기를 멈춥니다.

진대연

고등학교 때 저는 방송반이었습니다.

그때는 비디오테이프 시절이라 영상 하나를 여러 개로 복사해야 하는 일이 종종 있었습니다. 열 개를 만들어야 하는 날도 있었죠. 데크 한 대로 하나씩 뜨면 같은 작업을 열 번 반복해야 합니다.

그래서 저는 꾀를 냈습니다. 방송반 데크에는 입력과 출력이 따로 있었는데, 1번 데크의 출력을 2번 데크의 입력에 꽂고, 2번의 출력을 다시 3번의 입력에 꽂았습니다. 그렇게 열 대를 줄줄이 이어 놓고 한 번에 녹화 버튼을 눌렀습니다. 열 번 걸릴 일을 한 번에 끝낼 생각이었죠.

결과는 충격적이었습니다.

1번과 2번은 볼 만했습니다. 그런데 3번째 데크에 걸린 테이프부터는 도저히 봐줄 수가 없었어요. 뒤로 갈수록 노이즈가 조금씩 쌓이더니, 마지막 테이프는 무엇을 찍은 영상인지도 알 수 없는 지지직거리는 화면뿐이었습니다.

복사본을 복사하면 원본에서 멀어집니다. 아날로그에서는 이걸 세대 손실이라고 부릅니다. 한 세대마다 아주 조금씩 나빠지는데, 한 번에는 티가 안 나고 서너 번 쌓이면 눈에 보입니다.

그런데 그때 제가 운이 좋았던 게 하나 있습니다.

지지직거려서, 눈에 보였다는 것입니다. 저는 3번 테이프를 확인하자마자 전부 멈추고 처음부터 다시 했습니다. 화면이 저 대신 알려준 셈이죠.

그런데 문제는 완벽하지는 않지만 좋은 결과를 만드는 AI입니다. AI는 (2~3번 만에) 지지직거리지 않습니다. 세 번째 복사본도 여전히 매끄럽고, 문장은 단정하고, 결과는 그럴듯합니다. 하지만 그 사이 노이즈는 아주 조금씩 쌓이죠. 다만 우리 눈에 당장에 안보일 뿐이죠.

그래서 처음 받은 초안은 꽤 괜찮았는데, 몇 번 고쳐달라고 주고받다 보니 어느 순간 처음보다 뭔가 이상해진 결과가 나타납니다. 어디서부터 나빠졌는지는 알 수 없을 만큼 말이죠.

ChatGPT 생성 이미지

0.99를 365번 곱하면 0.026이 됩니다

한 번쯤 보셨을 그림입니다. 보통은 위쪽 줄을 말하려고 씁니다. 매일 1%씩 나아지면 1년 뒤에 37배가 된다는 이야기죠.

ChatGPT 생성 이미지

저는 오늘 아래쪽 줄을 이야기하려고 합니다. 매일 1%씩 나빠지면 1년 뒤에는 0.026이 됩니다. 2.6%가 아니라, 원래 있던 것의 40분의 1만 남는다는 뜻입니다.

1%는 아무것도 아닌 것처럼 보입니다. 그게 함정입니다. 한 번의 1%는 무시해도 되는 크기이고, 무시해도 되니까 실제로 무시합니다. 그리고 무시한 1%는 사라지지 않고 다음 회차의 출발점이 됩니다.

여기에 숫자를 조금 더 붙여보겠습니다.

3%씩 놓치면 → 10회 뒤 74%

5%씩 놓치면 → 10회 뒤 60%

1%씩 놓치면 → 100회 뒤 37%

AI와 문서 하나를 열 번 주고받는 일은 흔합니다. 저는 지침 하나를 스무 번 넘게 고칠 때도 있습니다.

20% 틀리면 고칩니다. 3% 틀리면 안 고칩니다

여기서 이상한 일이 벌어집니다. AI가 나빠져서 결과물이 나빠지는 게 아니라, AI가 좋아졌기 때문에 결과물이 나빠집니다.

2년 전 AI는 결과물의 10%, 20%가 이상했습니다. 요약이 어색하고, 없는 사실을 만들어내고, 코드는 실행조차 안 됐죠. 그러면 저는 무조건 열어봤습니다. 원문을 다시 확인하고, 문장을 직접 고치고, 직접 검색해서 확인했습니다. AI를 안 믿었으니까요.

지금은 3%, 5%만 이상합니다.

그런데 이 3%는 20%와 성질이 다릅니다. 20%는 읽자마자 눈에 띕니다. 3%는 읽어도 모릅니다. 문장은 매끄럽고 형식은 완벽하고 논리도 대체로 맞기 때문입니다. 틀린 부분만 조용히 아주 조금 틀려 있습니다.

그래서 우리는 고치지 않고 넘어갑니다. 정확히는 고칠 것이 없다고 판단하고 넘어가죠.

이건 결코 게을러서가 아닙니다. 사람의 주의력은 원래 그렇게 배분됩니다. 인간공학에서는 이걸 자동화 안일성이라고 부르는데, 파라수라만과 만체이가 2010년에 정리한 이 분야의 정본 논문은 안일성이 성격 결함도 훈련 부족도 아니라고 말합니다. 주의 자원을 나눠 쓰는 방식의 구조적 결과라는 겁니다. 초보자에게도 전문가에게도 똑같이 나타나고, 반복 연습한다고 없어지지도 않습니다. 그리고 손이 바쁠수록 더 심해진다고 합니다.

사람들은 "믿는다"고 말한 적이 없습니다. 그냥 덜 열어봤습니다

이걸 생각이 아니라 행동으로 잡아낸 실험이 있습니다. 바너와 만체이 연구팀이 2008년에 시도했는데요, 실험 장면이 꽤 구체적이라 그대로 옮겨보겠습니다.

참가자 24명에게 공장 설비를 감시하는 모의 시스템을 맡깁니다. 설비에 이상이 생기면 자동 진단 장치가 "지금 문제는 이겁니다"라고 원인을 짚어줍니다. 참가자는 그 진단을 받아서 조치를 하면 됩니다. 그런데 이 장치는 완벽하지 않아서 가끔 틀린 진단을 내놓습니다.

중요한 건 참가자에게 확인할 수단이 전부 주어져 있었다는 것입니다. 화면에는 시스템 상태를 보여주는 지표가 여러 개 붙어 있었고, 참가자는 아무 때나 원하는 만큼 열어볼 수 있었습니다. 몇 개만 확인하면 자동 진단이 맞는지 틀렸는지 그 자리에서 알 수 있었죠.

연구진이 센 것이 바로 그겁니다. 참가자가 지표를 실제로 몇 개나 열어봤는가.

결과는 이랬습니다. 장치가 잘 동작하는 것을 눈으로 볼수록 참가자가 직접 눈으로 확인하는 횟수는 점점 줄었습니다. 그리고 어느 순간부터는 장치가 틀린 진단을 내놓아도 참가자들은 그 진단을 그대로 따라갔습니다. 확인을 안 했으니 틀렸다는 걸 알 방법이 없었던 것이죠.

여기서 제일 무서운 대목은 따로 있습니다. 참가자 중 누구도 "이제 이 장치를 믿겠습니다"라고 결심한 적이 없다는 것입니다. 신뢰는 마음속에서 선언되지 않았습니다. 다만 열어보는 횟수가 조용히 줄어들었을 뿐입니다.

우리가 AI를 대하는 방식이 정확히 이렇습니다. 우리는 "이제 검토 안 할래"라고 결정한 적이 없습니다. 그냥 어느 순간부터 원문을 덜 열어보고 있을 뿐이죠. 그리고 그건 결정이 아니라서, 되돌아볼 계기도 생기지 않습니다.

그럼 몇 %부터 안 열어보게 될까요. 위켄스와 딕슨이 2007년에 연구 20편을 종합한 결과, 신뢰도 0.70 즉 70%가 교차점입니다. 이 아래면 사람은 자동화를 못 미더워하고, 이 위로 올라가면 자신도 모르게 기대기 시작합니다.

그러니까 95%짜리 AI는 안심이 되는 수치 정도가 아니라 이미 의심을 멈추는 선이 된 것이죠.

저는 고등학교 시절의 실패를 반복하고 있었습니다

사실 이 실수는 저에게 반복되고 있었습니다.

요즘 제가 문서를 만드는 방식은 이렇습니다. AI가 초안을 만들면 저는 그걸 꼼꼼히 읽습니다. 대충 넘기지 않습니다. 그런데 읽고 나서 제가 직접 고치지는 않습니다. 어디가 이상한지 알려주고 다시 고치게 합니다. 지침도, 글도, 대부분 그렇게 다듬습니다.

빠릅니다. 그리고 매 회차마다 결과물은 조금씩 나아 보입니다.

그런데 몇 바퀴를 돌고 나면 이상한 일이 생깁니다. 문장이 점점 AI 말투가 됩니다. 매끄러운데 아무 말도 아닌 문단이 늘어나고, 제가 평소에 쓰지 않는 단어가 슬그머니 자리를 잡습니다. 그리고 회차가 늘수록 실수가 줄지 않고 늘어납니다.

AI가 고친 것을 AI가 다시 고치고, 그걸 또 AI가 고칩니다. 1번 데크의 출력이 2번 데크의 입력으로 들어가던 그 구조입니다. 저는 고등학교 방송반 때 했던 실수를 노트북 앞에서 다시 하고 있었습니다.

다른 점은 하나뿐입니다. 그때는 3번 테이프에서 멈출 수 있었습니다. 지금은 오히려 3번째 복사본이 제일 매끄럽게 읽히기 때문입니다.

중요한 것은 저는 매번 검토를 건너뛰지 않았다는 것입니다. 그때마다 읽었고, 이상한 곳을 지적도 했습니다. 그런데 제 손으로 문장을 고치지 않으니 제 판단이 원고에 남지 않았습니다. 판단은 지시가 되었고, 지시는 다시 AI의 문장이 되어 돌아왔습니다. 원본을 갱신한 게 아니라 복사본을 한 세대 더 늘린 것뿐이었습니다.

ChatGPT 생성 이미지

제 눈에는 안 보였는데, 독자 눈에는 보였습니다

여기서 고백을 하나 해야겠습니다.

지난 287호를 보내고 이런 피드백을 받았습니다.

287호 독자 피드백 — 당근메일 피드백 채널

"이번 #287글은 전반적으로 AI 냄새가 너무 많이 납니다. 그래서 글을 읽는 내내 문장이 이해가 잘 안갔어요. ... 읽다가 너무 이해가 안가 완독을 포기했습니다."

사실 지난 회차는 마감을 맞추느라 그 어느 때보다 AI에게 더 의지를 많이 했습니다. 그럼에도 나름 읽어보고 다시 AI에게 고쳐달라고를 반복했죠. 그럼에도 그 결과는 읽기 힘든 AI 슬롭이 된 것이죠.

역시나 원고를 열 번 넘게 주고받는 동안 제 손으로 고친 판본이 하나도 없었던 것이 문제였습니다. 대조할 원본 자체가 남아 있지 않았습니다. 매번 최신본만 읽었고, 최신본 하나만 놓고 보면 언제나 괜찮아 보입니다.

앞에서 말한 그 실험이 확인한 것이 하나 더 있습니다. 자동화가 틀리는 장면을 훈련 중에 한 번이라도 직접 겪게 하면, 확인하는 행동이 돌아온다는 것입니다.

저에게는 이 피드백이 그 장면이었습니다. 지지직거리는 3번 테이프를 대신 봐주신 셈이죠. 이 자리를 빌려 고맙다는 말씀을 드리고 싶습니다. 그리고 제 글의 마지막은 반드시 제 손으로 다듬어야겠다고 생각하고 글을 쓰고 있어요.

나빠진 것을 우리가 못 느낀다는 게 진짜 문제입니다

"그래도 나빠지면 알아차리지 않을까요?"

저도 그렇게 생각했습니다. 그래서 이를 직접 측정한 실험이 있습니다.

METR이라는 연구 기관이 2025년에 경력 개발자 16명을 데리고 무작위 대조시험을 했습니다. 남의 코드가 아니라 자기 저장소에서, 평균 5년 이상 다뤄온 코드베이스로, 실제 과제 246개를 처리하게 했습니다. 과제마다 AI 도구를 쓸지 말지를 무작위로 배정했고요.

시작 전 예상 → 24% 빨라진다

끝난 뒤 체감 → 20% 빨라졌다

실제 측정 → 19% 느려졌다

핵심은 "AI가 더 느렸다"가 아닙니다. 그건 이 실험 하나로 일반화할 수는 없습니다.

오히려 중요한 점은 일이 끝난 뒤에도 자기가 느려진 것을 몰랐다는 것입니다. 실제로는 19% 느려졌는데 20% 빨라졌다고 느꼈습니다. 체감과 현실 사이에 39%포인트가 벌어져 있었고, 그 간격을 본인은 인식하지 못했습니다.

스탠퍼드에서 나온 비슷한 결과도 있습니다. AI 어시스턴트를 쓴 참가자들이 과제 5개 중 4개에서 더 취약한 코드를 썼는데, 그러면서 자기 코드가 더 안전하다고 믿었습니다. 연구자들은 이걸 거짓 안정감이라고 불렀습니다.

품질이 떨어지는 것과 떨어진 걸 모르는 것은 다른 문제입니다. 앞의 것은 고칠 수 있고, 뒤의 것은 고칠 기회조차 오지 않습니다.

AI에게 다시 고치라고 해도 나아지지 않습니다

여기까지 오면 자연스럽게 드는 생각이 있습니다. "그럼 AI한테 검토도 시키면 되지 않나?"

저 역시 실제로 그렇게 해왔고, 그게 잘 안 되는 것을 경험했습니다. 그리고 이건 제 감이 아니라 실험으로 확인된 것이기도 했습니다.

구글 딥마인드가 2024년에 발표한 연구는 외부 피드백 없이 모델이 자기 답을 스스로 고치는 방식을 검증했습니다. 결론은 이렇습니다. 추론 과제에서 LLM은 외부 피드백 없이 자기를 고치지 못하며, 자기교정을 거친 뒤 성능이 오히려 떨어지는 경우도 있었습니다.

이유는 어렵지 않습니다. 자기 답을 만든 쪽은 그 답의 전제를 이미 받아들이고 있기 때문입니다. 사람도 마찬가지죠. 자기가 쓴 보고서에서 오타는 찾아도 자기 논리가 틀렸다는 건 잘 못 찾습니다. 익숙한 가정은 눈에 안 보입니다.

그러니 AI가 고친 것을 AI에게 다시 검토시키는 건 복사 체인을 한 세대 더 늘리는 일입니다. 검증이 아니라 복사입니다.

그리고 이건 제 문서에서만 벌어지는 일이 아닙니다

2024년 7월 『네이처』에 실린 연구가 하나 있습니다. 제목이 「재귀적으로 생성된 데이터로 학습하면 AI 모델은 붕괴한다」입니다. 슈마일로프 연구팀이 낸 논문인데, 실험이 제가 방송반에서 했던 짓과 동일합니다.

언어 모델 하나를 학습시킵니다. 그 모델이 만들어낸 글을 모아서 다음 세대 모델의 학습 데이터로 씁니다. 그 모델이 만든 글을 다시 그다음 세대에 먹입니다. 데크를 줄줄이 이어 놓은 것과 같은 구조죠.

9세대쯤 되었을 때, 연구진이 영국 서머싯 지방 교회 첨탑의 건축 양식에 대해 물었습니다. 모델은 꼬리가 긴 산토끼 이야기를 색깔만 바꿔가며 반복했습니다. 첨탑과는 아무 상관이 없는 답이었죠. 열 세대를 넘기지 못하고 무너진 겁니다.

그런데 제가 이 논문에서 진짜로 배운 건 붕괴가 아니라 무엇이 먼저 사라지는가였습니다.

논문은 분포의 꼬리가 먼저 사라진다고 말합니다. 자주 나오는 흔한 것은 오래 살아남고, 드물게 나타나는 것부터 없어진다는 뜻입니다. 그리고 이 손상은 되돌릴 수 없다고 못 박습니다.

제 원고에서도 정확히 그랬습니다. 회차가 돌수록 먼저 사라진 것은 구체적인 숫자, 제가 겪은 일화, 제가 즐겨 쓰는 조금 이상한 표현이었습니다. 다시 말해 가장 저다운 문장부터 사라졌습니다. 흔하고 무난한 문장은 끝까지 남고요.

AI가 다듬은 글이 매끄러운데 심심한 이유가 여기 있습니다. 나빠진 게 아니라 평균에 가까워진 것이고, 평균은 원래 매끄럽습니다.

그래서 저는 복사 체인을 끊어야 합니다

정리하면 다음과 같습니다.

1. 오차가 작아서 안 보이고

2. 안 보이니까 안 고치고

3. 안 고친 채로 다음 입력이 됩니다.

그래서 처방도 이 셋을 각각 겨냥해야 합니다. 노이즈가 저절로 보이지 않으면, 우리가 보이게 만들어야 하죠.

1. 이어서 고치지 말고, 원본에서 다시 시작합니다

가장 효과가 컸던 건 이것 하나였습니다.

대화를 길게 끌면서 "여기 고쳐줘"를 스무 번 하면 스무 세대가 쌓입니다. 대신 저는 서너 번 주고받은 뒤 창을 닫습니다. 그리고 원본 문서를 직접 고쳐서 새 대화에 다시 붙여 넣고 처음부터 시작합니다.

데크로 치면 1번에서 2번, 2번에서 3번으로 잇는 대신 매번 1번 데크에서 복사하는 것입니다. 열 개를 뜨는 시간은 더 걸립니다. 대신 열 개가 다 볼 만합니다.

2. 세 번에 한 번은 제 손으로 고칩니다

지적하지 말고 직접 고칩니다. 문장 두세 개라도 좋습니다.

제가 손으로 고친 판본이 다음 회차의 입력이 되어야 원본이 갱신됩니다. 지시만 하면 제 판단은 원고에 남지 않고 AI의 해석을 한 번 거쳐서 들어옵니다. 그 해석이 바로 1%죠.

실제로 제 당근메일 작업 지침 중에 제일 쓸모 있는 대목은, AI가 쓴 초안과 제가 직접 고친 판본을 나란히 놓고 대조해서 뽑아낸 것들입니다. 제 손이 닿은 판본이 있어야 대조할 원본이 생깁니다.

3. 원본과 나란히 놓고 무엇이 바뀌었는지 봅니다

VHS는 친절했습니다. 나빠지면 알아서 지지직거렸으니까요. AI는 안 알려주니 우리가 만들어야 합니다.

그래서 3회차쯤에서 한 번은 첫 초안과 지금 원고를 나란히 열어 놓고 무엇이 사라졌는지 확인합니다. 방금 받은 원고만 읽으면 절대 안 보입니다. 그 원고 하나만 놓고 보면 언제나 괜찮아 보이거든요. 나빠졌다는 건 오직 비교했을 때만 보입니다.

4. 고친 쪽 말고 다른 쪽에 검증을 맡깁니다

같은 대화 안에서 "이거 검토해줘"는 검증이 아닙니다. 새 대화를 열거나, 다른 모델에 넘기거나, 사람에게 보여줍니다.

그리고 물어보는 방식도 바꿉니다. "잘 썼어?"라고 물으면 잘 썼다고 합니다. "이 문장의 근거가 원문 어디에 있어?"라고 물어야 합니다. 앞의 질문은 평가를 요구하고, 뒤의 질문은 대조를 요구합니다. 대조는 원본이 있어야만 할 수 있으니 거짓말을 하기 어렵습니다.

여기서 한 가지 미리 말씀드리면, "AI한테 설명을 잘 붙이게 하면 되지 않나"는 효과가 별로 없습니다. 부친자 연구팀이 2021년에 확인한 바로는 설명을 붙이는 것만으로는 과의존이 줄지 않고, 오히려 늘어날 수도 있습니다. 사람이 추천을 하나하나 따져보는 대신 "따를지 말지"라는 습관을 통째로 만들어버리기 때문입니다.

효과가 있었던 건 생각하지 않고는 넘어갈 수 없게 만드는 구조였습니다. 위의 3번과 4번이 그런 장치입니다.

ChatGPT 생성 이미지

이번 주, 딱 하나만 해보세요

지금 AI와 여러 번 주고받으며 다듬고 있는 문서가 있으신가요?

그 문서의 첫 번째 초안을 찾아서 지금 원고와 나란히 열어보세요. 5분이면 됩니다. 파일 두 개를 화면 좌우에 띄우는 것부터 시작하시면 됩니다.

무엇이 좋아졌는지가 아니라 무엇이 사라졌는지를 보세요. 제 경우에는 초안에 있던 구체적인 숫자와 제 경험담이 사라지고, 그 자리에 매끄러운 일반론이 들어와 있었습니다. 회차마다 1%씩 빠져나간 것들이었죠.

1983년에 리산 베인브리지가 「자동화의 역설」이라는 글에서 이런 말을 남겼습니다. 자동화가 일을 가져갈수록 사람에게 남는 일은 감시뿐인데, 감시야말로 사람이 가장 못하는 일이라고요. 그리고 마지막 역설은 이겁니다.

가장 성공적인 자동화, 즉 사람이 개입할 일이 가장 드문 자동화가, 사람에게 가장 높은 숙련을 요구합니다.

40년 전 이야기인데 지금 우리들의 노트북 앞에서 그대로 벌어지고 있습니다. AI가 좋아질수록 우리가 직접 볼 일은 줄어들고, 볼 일이 줄어들수록 우리의 눈은 무뎌집니다. 그런데 정작 3%를 잡아내야 하는 사람이 우리들인데 말이죠.

AI를 믿지 말자는 이야기가 아닙니다. 오히려 반대죠. 더 맡길수록 원본을 더 자주 꺼내 봐야 한다는 이야기입니다.

그리고 우리는 이제 이렇게 물어야 합니다.

내 AI가 얼마나 잘하고 있는가가 아니라, 지금 이게 몇 번째 복사본인가.

• Skill 은 단순한 작업지시서가 아닙니다

• 님, 문제는 AI가 아니예요

• 세탁기가 발명된 후 우리의 가사 노동 시간은 줄었을까?

• 🎯 오차가 20%일 때는 눈에 띄어서 고쳤지만, 3%로 줄어들면 안 보여서 안 고칩니다. 그리고 안 고친 3%는 다음 회차의 입력이 됩니다.
• 📉 우리는 "이제 검토 안 할래"라고 결정한 적이 없습니다. 다만 검토 횟수가 조용히 줄었을 뿐입니다.
• 🔁 반복해서 고칠수록 가장 나다운 문장부터 사라집니다. 이어서 고치지 말고, 원본에서 다시 시작하세요.

당근메일 제휴 및 광고 문의

문제를 해결하고 즐거움을 얻어가는 곳