[Claude Code] Ponytail 플러그인 off·full 실측 비교와 사용법

· IT기술 › AI

AI 에이전트에게 "캐시 좀 붙여 줘"라고 하면 크기 제한, TTL 옵션, 별도 클래스까지 딸려 오는 경우가 있다. Ponytail 은 이런 과설계를 줄이겠다고 나온 Claude Code 플러그인이다. README 는 코드 -53%, 비용 -26% 를 내세운다. 정말 그만큼 줄어드는지 궁금해서 같은 과제를 모드만 바꿔 직접 돌려 봤다.

Ponytail 이란

Ponytail 은 규칙 프롬프트 하나를 세션마다 에이전트에 넣어 주는 플러그인이다(MIT, 이 글은 5.3.3 기준).

뼈대는 순서다. 꼭 필요한가 → 저장소에 이미 있는가 → 표준 라이브러리·플랫폼 기능으로 되는가 → 설치된 의존성으로 되는가 → 한 줄로 되는가 → 그래도 안 되면 최소한으로 짠다. 다만 입력 검증, 데이터 유실을 막는 오류 처리, 보안, 접근성은 줄이지 않는다. 분기·반복 같은 로직을 새로 넣으면 작은 테스트를 하나 남기라는 규칙도 있는데, 실측에서 가장 큰 차이를 만든 건 이 규칙이었다.

설치는 터미널이 아니라 Claude Code 입력창에 두 번 나눠 입력한다.

/plugin marketplace add DietrichGebert/ponytail
/plugin install ponytail@ponytail

설치하면 세션이 시작될 때 "PONYTAIL MODE ACTIVE — level: full" 로 시작하는 규칙이 에이전트 컨텍스트에 들어간다. 화면에 따로 뜨는 메시지가 아니라서, 안 보인다고 설치가 실패한 건 아니다.

모드 4가지

모드 동작
off 규칙을 넣지 않는다
lite 요청한 대로 만들고, 더 작은 방법이 있으면 한 줄로 알려 준다
full 위 규칙 전체 (기본값)
ultra 만들기 전에 요청 자체에서 필요 없는 부분을 되묻는다

/ponytail full 처럼 바꾸면 그 세션 동안만 유지된다. 새 세션의 기본 모드는 PONYTAIL_DEFAULT_MODE 환경변수 → 설정 파일(macOS·Linux 는 ~/.config/ponytail/config.json) → full 순서로 정해진다.

off 와 full 실측 비교

실험 조건

  • Claude Code 2.1.326, 모델 Claude Opus 5.5, claude -p 로 실행
  • 의존성 없는 Node.js 토이 저장소(파일 4개)에서 ① 주문 CSV 내보내기, ② 환율 조회에 5분 캐시 추가
  • off·full 은 과제당 3회, lite·ultra 는 1회. 정확성은 별도 검사 스크립트로 확인

결과 (과제별 평균)

과제 모드 비용 USD 시간 s 출력 토큰 구현 +줄 테스트 작성
① CSV off 0.318 27.9 3,039 9 3/3
① CSV full 0.353 31.6 3,563 8 3/3
② 캐시 off 0.247 16.6 1,676 18 0/3
② 캐시 full 0.303 25.1 2,694 15 3/3

full 을 off 로 나누면 ①은 비용 1.11배·시간 1.13배·출력 토큰 1.17배, ②는 비용 1.23배·시간 1.51배·출력 토큰 1.61배다. 즉, 이번 실험에서는 full 이 오히려 더 비쌌다. 구현 줄 수는 9→8, 18→15 로 조금 줄었지만 주석 몇 줄 차이다.

정확성 검사는 16회 전부 통과했고 새 의존성은 0이었다. lite·ultra 는 1회씩이라 full 과 구분할 근거가 없었다.

차이는 '테스트를 남기느냐'였다

의외였던 건 off 도 과설계를 하지 않았다는 점이다. ②에서 off 도 옵션 없이 Map 하나로 끝냈고, Promise 를 캐시해 동시 호출이 요청 하나를 공유하는 방식까지 full 과 같았다.

진짜 차이는 테스트였다. ②에서 off 는 세 번 모두 구현만 고쳤고, full 은 세 번 모두 테스트 파일을 추가했다(대표 실행: off 구현 18줄, full 구현 15줄 + 테스트 21줄). 늘어난 비용은 대부분 여기서 나온 것으로 보인다. 비용을 테스트 몫과 구현 몫으로 나눠 잰 건 아니고, 둘 다 테스트를 쓴 ①에서도 full 이 11% 더 들었으니 테스트만으로 다 설명되지는 않는다.

대가도 있었다. full 의 테스트 2건은 t.mock.timers 로 Date 를 모의했는데, 이 쓰는 법은 Node 20.11 이상에서만 된다. 그래서 이 PC 의 Node 18.16 에서는 실패했다(Node 22 에서는 통과).

README 수치와 다른 이유

README 수치는 실제 FastAPI + React 저장소를 포함한 39개 과제 × 5회 결과다. 측정 환경도 다르다. README 측정은 CLAUDE.md 를 끈 깨끗한 환경이었고, 내 실행은 평소 쓰던 전역 설정이 그대로 켜져 있었다. 내 결과가 반대로 나온 건 과제가 작아 off 도 과설계할 여지가 없었고, 표본이 작고, full 이 테스트를 더 남긴 영향이 컸기 때문이라고 본다. README 도 "위험한 로직에 테스트가 붙는 비율 98%(없으면 68%)"를 따로 내세운다.

실측의 한계

표본이 작아(과제 2개 × 3회) 방향만 참고해야 한다. 실행 환경이 npm test 를 막아 에이전트가 테스트를 직접 돌리지 못했고, 거부된 시도가 시간에 섞였다. 간결하게 답하도록 맞춘 전역 설정이 모든 모드에 들어가 off 기준선이 짧았을 수도 있다. 큰 저장소에서의 효과는 확인하지 못했다.

밴드와 보드

5.3 에서 생긴 화면이다. 이 PC 에서 캡처하지는 않아서 README 설명 기준으로만 정리한다.

  • 밴드(band): 프롬프트 위에 현재 작업의 비용·토큰·에이전트 시간, 기존 코드 재사용 비율, 테스트 통과 여부를 띄운다. 버튼으로 레벨 변경·리뷰·감사를 실행한다. Claude Code 2.1.290 이상 터미널·데스크톱 앱 전용이고 /ponytail band 로 숨긴다.
  • 보드(board): 프로젝트별 비용·시간 추이와 세션별 테스트 결과를 보여 주는 로컬 페이지다. 데이터는 기본적으로 ~/.config/ponytail/band/ 에만 남는다. 플러그인 설정에서 웹훅 주소를 넣으면 그쪽으로도 보내니, 켤 때는 이 값을 확인하자.

리뷰·감사 명령

명령 하는 일
/ponytail-review 현재 변경을 리뷰. diff 만이 아니라 호출하는 코드까지 읽는다
/ponytail-audit 같은 점검을 저장소 전체에 하고 중요도 순으로 정리
/ponytail-debt 코드에 남긴 shortcut: 주석을 모아 미룬 일 목록으로
/ponytail-gain 공식 벤치마크 수치 표시 (내 저장소 측정값이 아니다)

감사 결과는 "What this repo does" 요약 뒤에 Must fix / Should fix / Nice to have 로 나뉜다. 항목마다 무엇인지·문제·고칠 방법·안 고치면 생기는 일을 쓰고, 끝에 Verdict(무엇부터)와 Not checked(못 본 부분)를 붙인다. 코드는 바꾸지 않는다.

개인 프로젝트 문서 저장소에 /ponytail-audit 를 돌려 보니 4건이 나왔다.

  • 인수인계 문서가 실제 상태보다 오래됨
  • 지침 파일이 62KB 라 세션마다 통째로 다시 읽힘
  • 공유 설정 파일 미커밋
  • QA 스크린샷·로그가 90MB 쌓여 저장소 비대

모두 맞는 지적이라 고쳤고, 지침 파일은 45KB 로 줄였다. 개인적으로는 모드보다 이 명령이 더 쓸모 있었다.

써 보고 내린 판단

작은 과제에서 Ponytail 은 코드를 줄이기보다 테스트를 남기게 만드는 도구였다. 비용이 조금 더 들어도 테스트가 남는 쪽이 낫다면 full 을 켜 둘 만하다. 대신 그 테스트가 내 런타임 버전에서 도는지는 직접 돌려 보고, README 절감 수치를 믿기보다 켜기 전후 비용을 내 저장소에서 비교해 보길 권한다.

참고