사고 토큰 최대 90% 줄이는 ThinkingCap-Qwen3.6-27B 뜯어보기

추론 모델은 답을 내놓기 전에 길게 "생각"한다. 그 사고 과정도 전부 토큰이고, 토큰은 곧 지연시간과 비용이다. 정답률을 그대로 두고 이 사고 토큰만 줄일 수 있다면 서빙 비용이 그대로 줄어든다. BottleCapAI가 공개한 ThinkingCap-Qwen3.6-27B는 Qwen3.6-27B를 파인튜닝해 이 문제를 정면으로 겨눴다. 평균 50% 적은 사고 토큰, 최적의 경우 90% 이상 감소를 내세운다.

어떻게 토큰을 줄였는가

베이스는 Qwen/Qwen3.6-27B, 이미지-텍스트 입력을 함께 받는 멀티모달 구조를 그대로 물려받았다. BottleCapAI는 이걸 "최소한으로 침투적인 파인튜닝"이라고 표현하는데, 원본 모델의 답변 품질과 스타일을 건드리지 않으면서 사고 과정만 압축하는 방향이다. 다양한 도메인과 난이도로 구성한 문제 세트에 최신 파인튜닝 알고리즘을 적용했다고 밝히지만, 구체적인 알고리즘명은 모델 카드에 나오지 않는다.

정확도는 얼마나 유지되는가

핵심은 정확도를 크게 깎지 않으면서 토큰만 줄였다고 주장하는 부분이다. 도메인 밖 평가와 도메인 안 평가를 나눠 보면 감소 폭에 차이가 있다.

벤치마크	정확도	사고 토큰 감소
GPQA-Diamond (도메인 외)	83.8%	67.8%
MMLU-Pro (도메인 외)	85.4%	53.7%
LiveCodeBench (도메인 외)	84.3%	41.1%
GSM8K (도메인 내)	96.5%	74.1%
ARC-Challenge (도메인 내)	97.6%	51.5%

파인튜닝에 쓰인 문제와 가까운 도메인 내 벤치마크에서 감소 폭이 더 크다는 점이 눈에 띈다. 평가는 조건마다 시드 5개, temperature 1.0·top_p 0.95·top_k 20·min_p 0.0으로 진행했고, 벤치마크별 최대 생성 토큰은 8,192에서 250,000까지 다양하게 뒀다.

안전성도 같이 줄었나

토큰을 줄이는 파인튜닝에서 가장 걱정되는 건 안전 거부 응답까지 짧아지거나 느슨해지는 것이다. Nemotron-Safety에서는 99.0% 안전 응답을 유지하면서 토큰이 23.8% 줄었고, HEx-PHI에서는 100% 안전 응답을 유지하면서 20.0% 줄었다. 안전성 관련 벤치마크의 토큰 감소폭이 추론 벤치마크보다 작다는 것도 함께 봐야 할 지점이다.

실제로 써보는 법

Transformers로는 다른 image-text-to-text 모델과 같은 방식으로 불러온다.

from transformers import AutoModelForImageTextToText, AutoProcessor

model = AutoModelForImageTextToText.from_pretrained(
    "bottlecapai/ThinkingCap-Qwen3.6-27B", dtype="bfloat16"
)
proc = AutoProcessor.from_pretrained("bottlecapai/ThinkingCap-Qwen3.6-27B")

서빙은 vLLM 한 줄이면 된다.

vllm serve bottlecapai/ThinkingCap-Qwen3.6-27B

로컬에서 가볍게 돌리고 싶다면 GGUF 양자화 버전을 llama.cpp로 바로 받아 실행할 수 있다.

llama-cli -hf bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF:Q4_K_M -p "Hi"

한계

모델 카드가 밝히는 실패 모드는 두 가지다. 반복 추론에 빠져 응답이 중단되는 루핑은 약 0.2%로 무시할 수준이라고 하고, 생성 토큰 제한에 도달해 응답이 잘리는 절단은 기존 2.9%에서 0.4%로 개선됐다고 밝힌다. 두 수치 모두 파인튜닝 전 베이스 모델과 비교한 상대값이라, 절대적인 안정성 보증으로 읽기보다는 개선 방향을 보여주는 지표로 보는 편이 맞다.

사고 토큰을 줄이는 작업은 정확도를 올리는 것과는 다른 축의 최적화다. 같은 모델을 더 똑똑하게 만드는 대신, 이미 낼 수 있는 답을 더 싸고 빠르게 내게 만드는 쪽에 가깝다. 서빙 비용이 곧 제품 비용인 팀이라면 벤치마크 표의 정확도 열보다 토큰 감소 열을 먼저 볼 이유가 있다.