[AI] Claude Code 에이전트 결과 검증하기: diff·테스트·QA (2/3)

· IT기술 › AI

[AI] Claude Code 서브 에이전트로 AI 에게 일 맡기는 법 (1/3) 에서는 AI 에이전트 팀에 일을 나눠 맡기는 방법을 정리했다. 이번에는 맡긴 결과를 어떻게 확인했는지 정리해 보려 한다.

AI 의 보고는 늘 자신 있는 말투다. 잘된 일도, 잘못된 일도 같은 톤으로 "완료했다"고 말한다. 그래서 보고는 결과가 아니라 확인할 목록이라고 생각하게 됐다.

1. 보고 대신 diff 와 테스트를 본다

PM 에게 검수 규칙을 따로 줬다. 에이전트 보고를 그대로 믿지 말고 바뀐 파일(diff)과 빌드·테스트 결과를 직접 확인한다. 기존 동작과 같은지, 프론트와 백엔드의 API 계약이 맞는지, 맡은 범위 밖 파일을 건드리지 않았는지도 본다. 로그인이나 파일 업로드처럼 보안이 걸린 작업은 보안 담당 리뷰를 한 번 더 거쳤다.

버그를 고칠 때는 테스트로 증거를 남기게 했다. 404 화면에서 로고를 눌러도 홈으로 가지 않는 버그가 있었다. 프론트 담당은 회귀 테스트 9건을 만들고, 수정 전 코드에서는 6건이 실패하고 수정 후에는 9건 모두 통과하는 것을 보여 줬다. 수정 전에 실패하지 않는 테스트는 버그를 잡는다는 증거가 되지 못한다.

보고서에 "확인한 것"과 "확인하지 못한 것"을 나눠 적게 한 것도 도움이 됐다. 위 수정에서도 브라우저로 직접 보지 않은 부분은 따로 적혀 있었고, 그 부분은 QA 가 이어서 확인했다.

2. 결함이 0 이 될 때까지 QA 를 돌린다

기능 개발이 끝나면 QA 담당이 로컬 환경에서 검수했다. 결함은 재현 절차와 담당자를 붙여 보고하고, PM 이 담당별로 나눠 수정을 맡긴다. 수정이 끝나면 다시 검수한다. 심각한 결함이 0 이 될 때까지 이 과정을 반복했다.

담당 에이전트가 구현하고 보고하면 PM 이 diff·빌드·테스트로 검수하고, 통과하면 QA 가 검수해 심각한 결함이 남아 있으면 PM 이 담당별로 수정을 지시해 다시 구현부터 반복하고, 0건이면 완료되는 루프

심각한 결함이 0 이 될 때까지 같은 고리를 다시 돈다.

특히 동시 요청 테스트에서 놓치기 쉬운 문제가 나왔다. 같은 댓글 삭제 요청 20건을 동시에 보내자 10건이 성공했고, 같은 방문자가 같은 글을 동시에 20번 조회하자 조회수가 20 올랐다. 삭제는 한 번만 성공해야 하고, 조회수는 방문자당 한 번만 올라야 한다. 재검수에서 1차에 나온 11건이 모두 해결된 것을 확인했지만, 새 결함 2건이 나와 다시 돌렸다. 고치면 새 문제가 생길 수 있다는 것을 전제로 두는 편이 맞는 것 같다.

3. 큰 작업은 단계마다 대조하고 멈춘다

이미지를 새 저장소로 옮길 때는 단계마다 검증 조건을 두었다. 옮길 이미지 87개를 복사한 뒤 개수, 전체 크기, 파일별 SHA-256 해시를 원본과 대조했고 모두 일치했다.

그런데 다음 단계인 공개 확인에서 이미지가 열리지 않았다. 인프라 담당은 여기서 멈췄다. 본문의 이미지 주소를 바꾸는 DB 변환은 실행하지 않았고, 운영 데이터는 그대로였다. 원인은 클라우드 계정의 권한 설정이었다. 이 설정은 내가 직접 처리했고, 그 뒤 남은 단계를 이어서 진행했다. 멈추라는 조건이 없었다면 다음 단계까지 그대로 진행돼, 옛 저장소를 정리하는 순간 이미지가 깨졌을 수 있다.

이미지 복사 후 개수·크기·해시를 원본과 대조하고, 공개 확인에서 이미지가 열려야 본문 이미지 주소 변환으로 넘어가며, 어느 검증이든 실패하면 멈추고 보고한 뒤 사람이 원인을 처리하고 다시 확인하는 흐름

검증에 실패하면 다음 단계로 넘어가지 않고 멈춘다.

4. 장애라고 판단하기 전에 내 쪽부터 본다

서버를 옮긴 날 저녁, 브라우저에서 사이트가 오류 화면을 띄웠다. 서버가 내려간 줄 알고 인프라 담당에게 원인 조사를 맡겼다. 서버 지표와 DNS, 외부 접속을 확인한 결과 서버 쪽 장애 흔적은 없었다.

원인은 내 브라우저였다. 브라우저가 옛 서버 주소를 기억하고 있어서 이전 서버로 접속하고 있었다. 브라우저의 호스트 캐시를 비우자 바로 해결됐다. "서버가 내려갔다"는 전제는 내가 준 것이었다. 질문의 전제가 틀리면 AI 도 엉뚱한 곳부터 살핀다.


이렇게 AI 가 만든 결과를 검증한 방법을 알아보았다. AI 는 일을 빨리 해 주지만 맞는지 판단하는 일까지 줄여 주지는 않는다. 대신 무엇을 확인했고 무엇을 못 했는지 정리해 달라고 시키는 쪽이 효과적이었다.

다음 포스팅에서는 AI 에게 맡기지 않고 사람이 직접 쥐고 있어야 했던 일을 정리할 것이다.