글

라벨이 클로드 Fable 5인 게시물 표시

GPT-5.5가 1등인데, 가장 어려운 문제에서는 둘 다 0점이었습니다(에이전트 하네스가 가른 결과)

이미지
UC버클리와 Snorkel AI가 만든 에이전트 벤치마크 ALE(Agents' Last Exam)에서 GPT-5.5가 1위와 2위를, 클로드 Fable 5가 3위를 차지했습니다. 그런데 가장 어려운 문제 구간에서는 1위도 3위도 거의 다 0점이었습니다. 더 흥미로운 건 벤치마크 팀이 직접 내놓은 후속 분석입니다. 같은 모델이라도 어떤 도구연결 구조, 즉 에이전트 하네스로 감싸느냐에 따라 점수가 모델을 바꾼 것보다 더 크게 흔들렸다는 내용입니다. 이 글은 그 벤치마크 결과를 원문 중심으로 정리하고, ATM이 운영 중인 에이전트 17개의 실제 툴 권한을 열어 같은 패턴이 있는지 직접 대조해 본 기록입니다. UC버클리가 만든 '진짜 업무' 시험은 어떻게 생겼나요? ALE는 UC버클리 RDI와 Snorkel AI가 250명이 넘는 산업 전문가와 함께 설계한 벤치마크입니다. O*NET과 SOC 직업 분류를 기반으로 55개 세부 산업을 13개 클러스터로 묶고, 그 안에서 실제 업무 형태를 흉내 낸 과제를 1,500개 넘게(목표는 5,000개) 모았습니다. 과제는 난이도에 따라 근접(Near-Term), 풀스펙트럼(Full-Spectrum), 라스트-엑스잼(Last-Exam) 세 단계로 나뉘는데, 이름 그대로 마지막 단계일수록 실제 업무에 가깝고 어렵습니다. 챗봇에 질문 하나를 던지는 식의 평가가 아니라, 여러 단계를 거쳐야 끝나는 작업을 에이전트에게 그대로 맡기고 채점하는 방식입니다. 리더보드 1위는 GPT-5.5인데, 왜 숫자가 매체마다 다른가요? Codex 하네스로 실행한 GPT-5.5가 리더보드 1위와 2위를 차지했고, 클로드 Fable 5는 3위로 집계됐습니다. 다만 정확한 통과율은 이를 다룬 매체마다 조금씩 다릅니다. 집계 사이트 Klu는 26.6%로, 2차 보도는 GPT-5.5 24%, Fable 5 22%로, 논문 표 자체는 23.3~25.2% 구간으로 적고 있습니다. 숫자가 엇갈리는 이유까지 논문이 밝히지는 않지만...