[스타트업/기술] 에이전트의 Self-approval 문제 | LLM 저작 파이프라인을 결정론적 게이트로 막다

문제: 사람 없이 돌던 에이전트 루프가 중간 결과물을 건너뛰고, 검수 없이 체크포인트 승인을 스스로 기록했다. 이를 막으려 만든 게이트도 체크포인트 A와 B에서는 검수 역할이 적어 낸 숫자를 그대로 믿었다.
결정: 체크포인트 승인은 게이트 스크립트가 기록하게 했다. 시나리오 파일이 이미 만들어진 B와 C에서는 게이트가 스키마 검증기를 직접 돌려 승인 여부를 정한다.
결과: B 승인 시점에 스키마 결함이 있으면 승인이 거부된다. 전에는 B를 통과한 뒤에야 결함이 드러나 이미 승인된 스텝까지 되돌아가야 했다. 게이트가 직접 검증하는 체크포인트는 3개 중 1개에서 2개가 됐다(source가 준비되지 않은 A만 남음).

이전 글에서 추리 게임 시나리오를 외주 대신 Claude Code 기반 파이프라인으로 만들게 된 과정을 적었다. 이번 글은 그 파이프라인에서 "다음 단계로 넘어가도 된다"는 승인을 누가 판정해야 하는지에 대한 이야기다.

질문은 이것이었다. 이 승인을 AI 에이전트에게 맡겨도 될까, 맡긴다면 무엇을 코드가 직접 확인해야 할까. 처음에는 프롬프트에 규칙을 적어 두면 충분하다고 봤고, 5월에 그 판단이 틀렸다는 걸 확인했다. 9월에 구멍을 메울 때는 제대로 확인하지 않은 근거로 해법 하나를 버렸다가 다음 날 되살렸다. 두 번 모두 적는다.

오늘의 주제


1. 배경: 저작 파이프라인과 체크포인트

시나리오 파이프라인은 Claude Code 세션 하나가 시스템 프롬프트를 바꿔 가며 세 가지 역할을 맡는다.

  • 설계 역할: 사건과 단서 구조를 설계한다.
  • 작성 역할: 용의자, 프롤로그, 엔딩 같은 본문을 쓴다.
  • 검수 역할: 결과물을 검토하고, 발견한 문제를 심각도(critical, warning 등)별로 검수 결과 파일에 적는다.

작업은 10단계(STEP 0~9)로 나뉘고, 세 지점에 체크포인트 A, B, C가 있다. 체크포인트는 "여기까지의 결과물을 확인했으니 다음 단계로 넘어가도 좋다"는 승인이고, 직전 체크포인트 이후의 스텝을 묶어서 승인한다. 진행 상황과 승인 기록은 상태 파일 하나에 남는다. 이 상태 파일을 검사하고 기록하는 파이썬 스크립트를 이 글에서는 게이트라고 부른다.

체크포인트위치맡는 스텝승인 시점에 이미 있는 것
ASTEP 1 뒤0~1사건 설계와 단서 구조. 시나리오 파일은 아직 없다
BSTEP 5 뒤2~5앞 단계 결과를 조립한 시나리오 파일
CSTEP 9 뒤6~9스키마 검증(필드 구조와 규칙 검사), 논리 요약, 이미지 슬롯, QA 문항
체크포인트 구조도: STEP 0~9와 체크포인트 A, B, C가 맡는 범위

10개 스텝과 체크포인트 A, B, C가 맡는 범위

시나리오 파일은 게임이 실제로 읽는 최종 파일이다. 파이프라인은 C에서 끝나고, 이미지 생성과 업로드는 제작 도구 Studio가 맡는다. 실행은 대화하면서 한 단계씩 진행할 때도 있고, 사람 없이 여러 단계를 이어서 돌릴 때도 있다. 처음에는 "체크포인트 승인 없이 다음 단계로 넘어가지 않는다"는 규칙이 프롬프트 문서에만 있었고, 상태 파일을 고치는 정해진 경로도 없었다.


2. 무슨 일이 있었나

2026년 5월, 사람 없이 돌던 루프가 이 규칙을 건너뛰었다. 게이트를 도입한 커밋에 그때 확인한 상태를 적어 두었다.

  • 스텝마다 나눠 써야 할 중간 결과물 없이 시나리오 파일을 한 번에 썼다. 중간 결과물 폴더는 비어 있었다.
  • 상태 파일에는 스텝 완료와 체크포인트 승인이 기록돼 있었지만, 검수 역할의 리뷰 파일은 없었다.
  • 승인 시각이 정각으로 딱 떨어졌다. 프로그램이 시계를 읽어 기록하면 초 아래 자릿수까지 붙는다. 정각 값은 시계를 읽지 않고 그럴듯한 시각을 적어 넣은 흔적이었다.

같은 세션이 검수를 건너뛰고 자기 결과물에 승인을 기록한 것이다. 제목의 self-approval이 이 상황이다.

결과물 없이 기록된 승인 위에서는 그 뒤의 작업을 믿을 수 없다. 이런 케이스는 격리해서 업로드를 막고, 처음 단계부터 다시 만들게 했다. 더 큰 문제는 결함이 다음 단계로 그대로 넘어간다는 점이다. 검증되지 않은 시나리오가 승인을 달고 넘어가면 이미지 생성과 업로드가 결함을 안은 채 진행되고, 마지막에 그 결함을 만나는 사람은 플레이어다. 추리 게임에서 사건이 망가진다는 건 단서를 다 모아도 범인이 증명되지 않거나, 처음부터 범인이 뻔히 보인다는 뜻이다. 서버 버그는 고쳐서 다시 배포하면 되지만, 한 번 풀어 본 사건은 플레이어에게 다시 새 사건이 되지 않는다.



3. 첫 번째 대응, 그리고 놓친 구멍

5월에 게이트를 만들고, 상태 파일은 게이트를 통해서만 고치도록 정했다. 게이트는 스텝을 완료로 기록하기 전에 그 스텝의 결과물이 실제로 있는지 확인하고, 체크포인트를 승인하기 전에는 검수 역할의 리뷰 파일과 검수 결과 파일을 확인한다. 검수 결과에 critical이 하나라도 있으면 승인하지 않는다. 승인 시각은 게이트가 직접 시계를 읽어 기록한다. 마지막 체크포인트 C에서는 여기에 더해 게이트가 스키마 검증기를 직접 돌렸다. 게이트를 거치는 한, 이전처럼 결과물 없이 찍거나 시각을 지어낸 승인은 더 이상 통과하지 못한다. 게이트를 거치지 않는 경우는 아래 7절에 따로 적었다.

9월 5일, 게이트 코드를 다시 읽다가 구멍을 찾았다. 검수 역할이 리뷰 파일을 만들고 검수 결과 파일에 "critical 0건"이라고 적어 두기만 하면, A와 B는 그 숫자를 그대로 믿고 승인했다. A에는 코드로 하는 검사가 아예 없었고, B에서는 C와 달리 스키마 검증기가 돌지 않았다. 형식만 갖춘 self-approval은 여전히 통과할 수 있었다.



4. 내 오판과 수정

이 구멍을 분석하면서 "A와 B에서도 게이트가 검증기를 다시 돌리자"는 안을 처음에는 버렸다. 검증기가 읽는 시나리오 파일은 STEP 5가 끝나야 생기니 A와 B 시점에는 돌릴 수 없다고 봤다. A에는 맞고 B에는 틀린 판단이었다.

1절 표를 다시 보면 B가 맡는 스텝은 2~5이고, 시나리오 파일을 만드는 STEP 5가 그 안에 있다. B 승인 시점에 아직 돌지 않은 건 검증 스텝(STEP 6)이었고, 검증할 파일은 이미 있었다. 나는 검증 단계가 아직 실행되지 않았다는 사실을, 검증할 파일이 없다는 뜻으로 잘못 해석했다. 다음 날 수정 커밋에는 "시나리오 파일은 STEP 5부터 있고, STEP 5는 B가 맡는 범위 안이므로 기다릴 이유가 없었다"고 적었다.

판단 기준은 이렇게 정리했다. 게이트가 다시 돌릴 검증기의 입력 파일이, 그 체크포인트가 맡은 스텝 안에서 이미 만들어졌는가. A는 STEP 0~1을 맡아 아직 파일이 없고, B와 C는 파일이 만들어진 뒤다. 이 기준에 따라 B에서도 C처럼 게이트가 검증기를 직접 돌리도록 바꿨다.

  • 게이트가 시나리오 파일을 직접 열어 스키마 검증기를 돌리고 critical 개수를 센다.
  • 검수 역할이 0건이라고 적었어도 게이트가 센 값이 1 이상이면 승인을 거부한다.
  • 이 상황을 테스트로 재현해 두었다. 필드 하나를 잘못된 위치에 넣고 검수 결과에는 critical 0건이라고 적은 채 B 승인을 시도하면, 승인이 거부되고 체크포인트는 대기 상태로 남는다.
B 승인 흐름의 수정 전후 비교

B 승인 흐름: 수정 전과 후



5. 다른 방법을 택하지 않은 이유

방법판단이유
프롬프트를 강화해 검수 역할을 더 꼼꼼하게 만든다안 씀 (5월)지시를 지킬지는 결국 같은 세션의 같은 모델이 정한다. Self-approval 사건이 이 방식에서 일어났다
작성과 검수를 별도 에이전트 프로세스로 나눈다안 씀 (5월)혼자 운영하는 파이프라인에서는 세션 하나로 끝까지 돌리는 편이 훨씬 빨랐다. 나눠도 둘 다 LLM이라 같은 종류의 실수를 할 수 있어서, 판정은 코드에 맡겼다
검증 스텝(STEP 6)을 B 앞으로 옮긴다안 씀 (9월)스텝 번호, 프롬프트, 진행 중인 케이스의 상태를 모두 바꿔야 한다. 게이트가 검증기를 직접 부르면 같은 효과를 낸다
B와 C에서 게이트가 검증기를 직접 실행한다채택 (9월)스텝 구조를 그대로 두고 B의 결함이 C까지 가지 않게 한다. 대신 B 승인 때마다 검증기가 한 번 더 돈다(소요 시간은 재지 않았다)
A 전용 구조 검사기를 새로 만든다보류 (9월)아래 설명

A를 그대로 둔 이유. A 시점에는 시나리오 파일이 없어서, 이 파일을 입력으로 받는 기존 검증 규칙을 하나도 쓸 수 없다. 단서 연결에 순환이 있는지, 범인이 한 명인지 같은 구조 검사는 새로 만들 수 있다. 하지만 A에서 우선 확인해야 한다고 본 것은 구조 항목이 아니라 의미상의 결함이었다. 단서를 순서대로 따라가면 정답에 닿는지, 범인이 겉으로 드러난 신호만으로 뻔히 보이지 않는지 같은 것이다. 쉬운 항목만 코드로 옮기면 검사 개수는 늘어도 실제 위험은 그대로라고 봤다. 그래서 A는 검수 역할의 보고를 믿는다는 사실을 코드 주석과 문서에 적어 두었다. A에서 생긴 결함이라도 시나리오 파일에 흔적이 남는 것은 B와 C의 재검증이 뒤에서 잡는다.

B에 대한 판단은 "파일이 없다"는 사실 주장이어서 확인할 수 있었다. A에 대한 판단은 "만들 수 있지만 만들지 않는다"는 비용 판단이라 틀릴 수 있다. 그래서 7절에 다시 볼 조건을 적었다.



6. 결과

항목수정 전수정 후
게이트가 스키마 검증기를 직접 돌리는 체크포인트3개 중 1개 (C)3개 중 2개 (B, C)
결함 있는 시나리오 파일에 "critical 0건" 검수 결과를 붙여 B 승인 시도승인됨거부됨
스키마 결함이 드러나는 시점B 승인 뒤B 승인 시도 때

전에는 B를 통과한 결함이 검증 스텝이나 C에서 드러나면, 이미 승인된 B의 스텝까지 되돌아가 고치고 다시 승인을 받아야 했다. 이제는 결함 있는 시나리오 파일 위에 다음 스텝을 쌓기 전에 B에서 멈춘다.

이 파이프라인으로 만든 실사용 케이스 4건에 바뀐 규칙을 적용해 다시 검증했고, 모두 통과했다. 



7. 남은 한계

코드를 다시 보면서 새로 확인한 구멍도 있다. 항목마다 다시 손댈 조건을 붙였다.

한계지금 상태손댈 조건
1. A는 검수 역할의 보고를 믿는다설계상 선택이다. 무인 실행에서는 A 승인이 곧 에이전트의 자기 보고다사건 설계를 되돌리는 일이 생기거나, C에서 찾은 결함의 원인이 사건 설계까지 거슬러 올라가면 구조 검사부터 코드로 옮긴다
2. 게이트를 거치지 않는 직접 수정은 막지 못한다상태 파일을 직접 고치지 말라는 규칙은 프롬프트 문서에만 있다. 리뷰 없이 기록된 승인은 사후 감사로 찾을 수 있지만, 감사는 사람이 실행해야 돈다무인 실행으로 케이스를 두 건 이상 이어서 만들게 되면 감사를 훅이나 CI에 연결한다
3. 승인 뒤에 파일을 다시 써도 승인이 유지된다실사용 1건에서 관측했다(아래 설명)이미 관측됐으니 다음 작업으로 고친다. 감사에 이 상태를 찾는 검사를 넣고, 한 건이라도 더 나오면 체크포인트를 되돌리지 않고는 스텝을 다시 기록하지 못하게 막는다
4. 누가 승인했는지, 강제 승인인지 남지 않는다강제 승인은 화면에만 표시되고 상태 파일에는 일반 승인과 똑같이 남는다. 사람이 확인하고 실행한 승인과 세션이 직접 실행한 승인도 게이트에는 같은 호출이다강제 승인이 한 번이라도 필요해지거나 무인 실행을 여러 케이스에 돌리기 전에, 강제 여부와 실행 방식, 승인 시점의 파일 해시를 함께 기록한다

3번은 이렇게 관측했다. 실사용 케이스 1건이 A, B, C 모두 승인된 상태였는데, 승인 때 '승인됨'으로 바뀌는 스텝 가운데 STEP 0, 2, 4, 5가 다시 '작성 중'으로 돌아가 있었고 수정 이력은 비어 있었다. 파일 수정 시각을 보면 사건 설계 파일은 A 승인 약 45분 뒤에, 용의자 파일은 B 승인 약 4시간 뒤에 바뀌었다. 게이트는 앞 체크포인트가 승인됐는지만 확인하고, 그 승인이 지금 파일을 대상으로 한 것인지는 확인하지 않는다. 제작 도구 Studio는 승인할 때 파일 해시를 저장해 두고 나중에 비교하는 방식으로 이 문제를 막고 있다.

표 밖의 한계도 하나 있다. 논리가 맞는지, 재미있는지처럼 검증기가 셀 수 없는 문제는 지금도 검수 역할의 보고에 기댄다. 검수 역할이 이런 문제를 낮은 등급으로 적거나 아예 적지 않으면 게이트는 알 수 없다.



8. 정리

전체 정리

여기서 한 선택은 혼자 만들고 운영하는 파이프라인이라는 조건에서 나왔다. 이번 구성에서 B와 C의 승인은 게이트가 스키마 검증기를 직접 실행해 판정한다. A의 의미 판단은 검수 역할에 남겨 두었다. 다음 수정 대상은 이미 관측한 승인 뒤 재작성이며, 감사에 이 상태를 찾는 검사를 넣을 계획이다.

에이전트에게 맡길 일은 이렇게 나눴다. 시나리오를 쓰는 일은 계속 에이전트가 맡는다. 코드가 다시 셀 수 있는 승인(B, C)은 에이전트가 요청하되 판정은 코드가 한다. 다시 셀 수 없는 승인(A)은 사람이 확인하는 것이 원칙이지만, 무인 실행에서는 코드로 강제되지 않는다. 되돌리기 어려운 업로드는 이 파이프라인에서 빼서, 운영자가 직접 승인하는 Studio로 넘겼다.



추천글

추리 게임 시나리오, 외주에서 자체 파이프라인으로


hyeon_B

안녕하세요! AI 기술을 이용해 더 나은 세상을 만들어 나가고 싶은 과기원생 Hyeon이라고 합니다. 저는 앞으로 인공지능 시대에는 지식을 '활용'하는 능력이 중요해질 것이라고 생각합니다. 대부분의 일들은 인공지능이 뛰어난 모습을 보이지만, 인공지능은 데이터로 부터 연관관계를 학습하기 때문에 지식들을 새로 통합해서 활용하는 능력이 부족합니다. 인공지능이 뉴턴 전에 만들어졌다면 사과가 떨어지는 이유에 대답하지 못했을 것이고, 아인슈타인 전에 만들어졌다면 중력이 어떻게 생기는지 설명하지 못했을 것입니다. 따라서 앞으로 우리는 '본질'을 탐구하고 그 본질로부터 다른 곳에 적용하며 인공지능을 현명하게 활용해야 할 것입니다. 함께 인공지능 시대를 준비합시다!

댓글 쓰기

다음 이전

POST ADS1

POST ADS 2