글

라벨이 오퍼스 5.5인 게시물 표시

소넷 5.5 오퍼스 5.5 중 뭘 쓸지, 제 에이전트 17개의 모델 선택이 이미 답하고 있었습니다

소넷 5.5와 오퍼스 5.5 중 뭘 써야 할지는 가격표만 보면 답이 쉬워 보입니다. 100만 토큰당 입력·출력 단가가 정확히 절반이니 소넷이 유리해 보입니다. 그런데 외부 평가기관 Artificial Analysis 가 같은 벤치마크 묶음으로 한 작업당 평균 비용을 재 보니, 소넷 5.5가 약 7.60달러, 오퍼스 5.5가 약 5.98달러로 나왔습니다. 단가는 절반인데 작업 하나를 끝내는 데는 27% 더 든 셈입니다. 저는 이 숫자를 보고 바로 두 모델을 맞바꿔 실험하는 대신, 제가 이미 짜 둔 에이전트 17개의 모델 설정 파일을 다시 열어 봤습니다. 단가는 절반인데 작업당 비용은 왜 더 나오나요? 같은 측정에서 소넷 5.5는 한 작업에 평균 19만 3천 토큰을 썼고, 오퍼스 5.5는 12만 토큰을 썼습니다. 소넷이 쓴 토큰이 오퍼스의 약 1.61배입니다. 단가가 절반이어도 그만큼 더 길게 쓰면 절약은 그대로 사라집니다. 공식 벤치마크 점수도 한쪽으로 쏠리지 않습니다. Anthropic 이 공개한 다섯 항목 중 Terminal-Bench는 소넷이 앞섰고(70.6 대 66.4), FrontierCode는 오퍼스가 크게 앞섰고(54.4 대 46.2), GDPval-AA는 사실상 동률입니다(1846 대 1844). 그래서 Anthropic의 안내도 단순합니다. 판단이 필요한 복잡한 작업은 오퍼스, 범위가 분명한 일상 작업은 소넷 입니다. 이 기준, 어디서 본 것 같아서 제 설정 파일을 다시 열었습니다 이 구분을 보고 든 생각은 하나였습니다. 저는 지난 7월부터 콘텐츠 자동화를 돌리면서 에이전트 17개를 만들 때, 모델을 하나하나 정해 뒀습니다. 가격표를 보고 맞춘 게 아니라 그 일에 맞는 모델을 그때그때 골랐을 뿐입니다. 그래서 .claude/agents/ 폴더에 있는 설정 파일 17개를 다시 열어, 각 파일의 model 항목이 이 기준과 실제로 겹치는지 세어 봤습니다. 제 에이전트 17개는 이미 이렇게 나뉘어 있었습니다 모델 개수 맡은 일...