AI 서비스를 붙이고 나면 그다음에 오는 게 청구서다.
호출량이 늘수록 API 비용이 눈덩이처럼 불어나는데, 검색해 보면 "LLM 비용 90% 절감" 같은 문구가 넘쳐난다.
이게 과장인지 아닌지, 실제 기법별로 얼마나 줄어드는지 정리해봤다.
90% 절감, 어디까지가 사실인가
먼저 짚고 갈 게 있다.
"90% 절감"은 전체 비용을 90% 줄인다는 뜻이 아닌 경우가 많다.
정확히는 캐시된 입력 토큰 한정으로 최대 90%까지 싸진다는 얘기다.
앤트로픽(Claude) 프롬프트 캐싱은 캐시된 입력 토큰을 약 90% 저렴하게 처리하고, OpenAI 프롬프트 캐싱은 1,024토큰 이상 프롬프트에서 캐시된 부분을 약 50% 깎아준다.
즉 "90%"라는 숫자 자체는 거짓말이 아니지만, 조건이 붙는 수치다.
전체 비용을 얼마나 줄일지는 내 서비스가 같은 프롬프트를 얼마나 반복하느냐에 달려 있다.
기법별 절감률 정리
실무에서 자주 쓰는 비용 절감 레버를 표로 정리했다.
| 기법 | 예상 절감률 | 적용 난이도 |
|---|---|---|
| 모델 다운사이징(라우팅) | 50~80% | 중 |
| 프롬프트 캐싱 | 40~90%(캐시분) | 낮음 |
| 출력 토큰 길이 제한 | 10~40% | 매우 낮음 |
| 배치(Batch) API | 약 50% | 중 |
| 컨텍스트 창 최적화 | 20~50% | 중 |
| 하이브리드(자체 호스팅) | 40~80% | 매우 높음 |
여기서 눈에 띄는 건 절감률이 큰 기법일수록 난이도도 같이 올라간다는 점이다.
반대로 출력 토큰 제한처럼 파라미터 하나 바꾸는 것만으로 효과 보는 것도 있다.
가장 먼저 손대야 할 세 가지
여러 가이드가 공통적으로 꼽는 우선순위가 있다.
모델 라우팅, 프롬프트 캐싱, 출력 길이 제한.
이 세 가지만으로 대체로 40~70% 절감이 가능하다는 평가가 많다.
모델 라우팅은 쉽게 말해 "쉬운 일은 싼 모델에 맡기는 것"이다.
분류, 요약, 단순 추출 같은 작업은 소형 모델로도 큰 품질 차이가 없다는 게 중론이다.
실제로 GPT-4o와 GPT-4o mini는 입력 토큰 단가가 16배 차이 난다($2.50 vs $0.15 / 100만 토큰 기준).
월 100만 건 분류 작업이라면 대략 $2,500과 $150의 차이다.
같은 일을 시키는데 지불액이 완전히 달라지는 셈이다.
반복 호출이 많다면 캐싱이 답이다
긴 시스템 프롬프트나 참고 문서를 매 호출마다 붙이고 있다면, 같은 토큰 값을 매번 새로 내고 있는 것이다.
이럴 때 프롬프트 캐싱이 크게 먹힌다.
국내 사례로 무신사 기술블로그는 캐시 히트율 98%를 달성하면서 LLM 비용을 64% 절감했다고 공개한 바 있다.
전체 90%까지는 아니어도, 조건이 맞으면 실서비스에서 60% 이상 절감은 충분히 현실적인 숫자로 보인다.
여기에 급하지 않은 야간 배치 작업을 Batch API로 돌리면 그 부분은 절반 가격으로 떨어진다.
어디부터 줄일지 모르겠다면
정작 가장 중요한 건 비용이 어디서 새는지 아는 것이다.
어떤 기능이 월 얼마를 쓰는지 모르면 모든 최적화가 추측이 된다.
기능별, 사용자별로 토큰 소비를 측정하는 게 먼저다.
측정하고 나면 대개 "20%의 헤비 유저가 80%의 비용을 쓴다"는 패턴이 보인다.
거기서부터 라우팅과 캐싱을 얹으면 순서가 자연스럽게 잡힌다.
개인적으로는 "90% 절감"이라는 문구를 그대로 믿기보다 내 서비스의 반복 패턴부터 보는 게 맞다고 본다.
같은 프롬프트를 자주 반복하는 구조라면 캐싱 효과가 극적으로 크고, 매번 다른 일회성 요청이 대부분이라면 90%는 나오기 어렵다.
100% 정답은 없다.
다만 모델 라우팅·캐싱·출력 제한이라는 세 가지는 대부분의 서비스에서 손해 볼 일이 거의 없는 편이다.
다음 단계로는 각 provider의 캐싱 문서와 Batch API 단가를 직접 확인해보고, 우선 한 달치 비용을 기능별로 쪼개보는 걸 권한다.
수치는 시점에 따라 바뀌므로 단가는 반드시 최신 공식 가격표에서 재확인하는 게 안전하다.
이 글은 공개된 자료와 개인적인 정리 내용을 바탕으로 작성한 참고용 정보다. LLM API 단가·할인율·캐싱 정책은 제공사 사정에 따라 수시로 변동될 수 있으므로, 실제 도입 전 각 제공사의 최신 공식 문서와 가격표를 직접 확인하기 바란다. 절감률은 서비스 구조에 따라 달라진다.
댓글 쓰기