글

라벨이 1인 운영인 게시물 표시

GPT-5.5가 1등인데, 가장 어려운 문제에서는 둘 다 0점이었습니다(에이전트 하네스가 가른 결과)

이미지
UC버클리와 Snorkel AI가 만든 에이전트 벤치마크 ALE(Agents' Last Exam)에서 GPT-5.5가 1위와 2위를, 클로드 Fable 5가 3위를 차지했습니다. 그런데 가장 어려운 문제 구간에서는 1위도 3위도 거의 다 0점이었습니다. 더 흥미로운 건 벤치마크 팀이 직접 내놓은 후속 분석입니다. 같은 모델이라도 어떤 도구연결 구조, 즉 에이전트 하네스로 감싸느냐에 따라 점수가 모델을 바꾼 것보다 더 크게 흔들렸다는 내용입니다. 이 글은 그 벤치마크 결과를 원문 중심으로 정리하고, ATM이 운영 중인 에이전트 17개의 실제 툴 권한을 열어 같은 패턴이 있는지 직접 대조해 본 기록입니다. UC버클리가 만든 '진짜 업무' 시험은 어떻게 생겼나요? ALE는 UC버클리 RDI와 Snorkel AI가 250명이 넘는 산업 전문가와 함께 설계한 벤치마크입니다. O*NET과 SOC 직업 분류를 기반으로 55개 세부 산업을 13개 클러스터로 묶고, 그 안에서 실제 업무 형태를 흉내 낸 과제를 1,500개 넘게(목표는 5,000개) 모았습니다. 과제는 난이도에 따라 근접(Near-Term), 풀스펙트럼(Full-Spectrum), 라스트-엑스잼(Last-Exam) 세 단계로 나뉘는데, 이름 그대로 마지막 단계일수록 실제 업무에 가깝고 어렵습니다. 챗봇에 질문 하나를 던지는 식의 평가가 아니라, 여러 단계를 거쳐야 끝나는 작업을 에이전트에게 그대로 맡기고 채점하는 방식입니다. 리더보드 1위는 GPT-5.5인데, 왜 숫자가 매체마다 다른가요? Codex 하네스로 실행한 GPT-5.5가 리더보드 1위와 2위를 차지했고, 클로드 Fable 5는 3위로 집계됐습니다. 다만 정확한 통과율은 이를 다룬 매체마다 조금씩 다릅니다. 집계 사이트 Klu는 26.6%로, 2차 보도는 GPT-5.5 24%, Fable 5 22%로, 논문 표 자체는 23.3~25.2% 구간으로 적고 있습니다. 숫자가 엇갈리는 이유까지 논문이 밝히지는 않지만...

AI로 만든 온라인 공간 20곳, 도메인 없이 운영 중인 7곳을 찾았습니다

AI로 만든 온라인 공간 20곳의 주소를 하나씩 열어봤습니다. 7곳은 자기 이름의 도메인이 없고, 만든 플랫폼이 기본으로 주는 주소(workers.dev, pages.dev, chatgpt.site) 그대로였습니다. 4곳은 이미 운영 중이던 다른 도메인에 하위 주소로 얹었고, 나머지 8곳과 앱 1개만 이 공간을 위한 새 도메인을 달았습니다. 출발점은 10월 31일 aitrend.kr에 올라온 AI로 만든 온라인 공간 20곳 글입니다. 새벽 예배당, 사우나, 오리 연못처럼 가입과 결제 없이 들어가서 앉거나 걷는 것만 할 수 있는 공간 20곳을 소개했습니다. 저는 그 글에 적힌 주소 20개를 오늘(11월 6일) 전부 열어 상태 코드를 확인하고, 각 주소가 어떤 방식으로 공개됐는지 나눠봤습니다. 20곳을 세 갈래로 나눠봤습니다 분류 개수 공간 플랫폼 기본 주소 그대로 7곳 추억의 수련회, 찰랑섬, 블로그 작업실, 오운완 헬스장, 강가 캠핑장, 새벽 예배당, 찜질방 있던 도메인에 얹음 4곳 명상 라운지, 물멍 수영장, 고양이 골목, 할로윈 파티 이 공간만의 새 도메인 8곳 온라인 성당 인피스, 산사, 사우나 고요, 오리 연못, 마이펭스, KBO 야구장, 심야 포장마차, 블로크라운 앱(도메인 해당 없음) 1개 카페 집중 앱 BrewFocus 이 분류는 주소 끝을 읽어 나눈 것입니다. 실제로 서버가 어디에 있는지까지 확인한 건 아니라서, 참고용으로 봐주시면 됩니다. 도메인 연결이 왜 마지막 관문일까요? 지난 10월 2일 코딩 1도 몰라도 클로드로 나만의 홈페이지 만들고 무료 배포까지 글에서, 클로드로 만든 홈페이지를 Netlify로 배포하는 데 12.5초가 걸렸다고 공개했습니다. 용량은 138메가바이트에서 44메가바이트로 줄었고, 돈이 드는 자리는 딱 하나, 도메인이었습니다. AI로 만든 온라인 공간 20곳도 같은 구조를 지나고 있다고 봅니다. 화면을 만들고 띄우는 일 자체는 무료입니다. 추억의 수련회 처럼 workers.dev 주소만 받아도...

클로드 코드 깃허브 레포 8개, 그중 하나는 제가 이미 다른 방법으로 하고 있었습니다

클로드 코드에 얹어 쓰는 깃허브 레포는 8개를 확인했고, 그중 설치한 건 0개입니다. 대신 하나(Hyperframes)는 제가 이미 다른 방법으로 하고 있던 일이라는 사실을 확인했습니다. 나머지 일곱은 왜 안 썼는지까지 정리합니다. 원문은 스타 수 기준으로 레포 8개를 표로 묶었습니다. ECC(약 26.9만 스타), ponytail(약 14.8만), graphify(약 12.2만), taste-skill(약 9.1만), Headroom(약 7.4만), OmniRoute(약 7.1만), Hyperframes(약 5.4만), claude-video(약 1.8만) 순입니다. 원문 작성자도 README를 읽고 정리했을 뿐, 8개를 직접 설치해 돌려 본 것은 아니라고 밝혔습니다. 저도 같은 조건에서 시작합니다. 직접 설치한 레포는 없고, 각 저장소의 README와 커밋 기록만 확인했습니다. Hyperframes가 하는 일, 저는 이미 하고 있었던 걸까요? Hyperframes는 HTML과 CSS, 미디어 파일을 입력하면 MP4로 렌더합니다. README에는 스킬이 21개 들어 있다고 적혀 있습니다. 이 설명을 읽자마자 떠오른 건 제 블로그가 영상을 만드는 방식이었습니다. 저는 atm-video-agent라는 자체 코드로 유튜브 영상을 만듭니다. 순서는 7단계입니다. 대본을 쪼개고(1-parse), 슬라이드를 짜고(2-slides), 음성을 입히고(3-tts), 타이밍을 맞추고(4-timing), 참고 영상을 붙이고(5-broll), 전체를 합치고(6-assemble), 자막을 굽습니다(7-subtitle). 화면을 만드는 부분은 Playwright로 크롬을 띄워 HTML을 1280×720 해상도로 캡처하고, 소리와 자막은 ffmpeg로 입힙니다. Hyperframes가 README에서 밝힌 것과 뼈대가 같습니다. HTML을 쓰면 영상이 나오는 구조입니다. 이 작업이 얼마나 걸리는지는 이미 다른 글에 적어 두었습니다. 데모 3편을 만드는 데 준비 4분 ...

AI 제안서 작성, 사람이 쥐어야 할 5가지를 제 블로그 자동화에 대입해봤습니다

AI한테 제안서를 다 맡겨도 될까요? 답은 아직 아닙니다. 최근 어느 마케팅 기획자가 클로드 코드로 글로벌 고객사 제안서 200장을 만들어 보고 "AI가 아무리 잘해도 사람이 끝까지 쥐고 있어야 하는 영역 5가지"를 꼽았습니다. 이 글은 그 5가지를 제가 매일 아침 글 세 편을 혼자 자동으로 쓰는 블로그 파이프라인에 그대로 대입해, 실제로 몇 개나 있는지 하나씩 확인한 기록입니다. "뼈대는 사람이 잡는다" — 제 자동화에도 있나요? 있습니다. 원문 기획자는 목차·범위·방향을 AI에게 맡기지 않고 자신이 먼저 정합니다. 제 블로그도 똑같습니다. 요일마다 다룰 카테고리(월·화는 AI 트렌드, 수요일인 오늘은 브랜딩 마케팅, 목요일은 디지털 마케팅, 금·토는 AI 1인창업)가 미리 고정돼 있고, 제목·슬러그·메타 디스크립션·태그·카테고리를 쓰는 순서와 형식도 정해져 있습니다. 매일 아침 글을 쓰는 쪽은 그 틀 안에서만 움직입니다. 뼈대가 흔들리면 그 위에 쌓인 글 전체가 흔들린다는 원문의 말은, 하루 세 편을 매번 같은 틀로 찍어내는 입장에서는 더 절실하게 느껴집니다. "표본 몇 장이면 충분하다" — 이 원칙은요? 이것도 있습니다. 원문은 리드 문장·데이터를 푸는 방식·본문 길이가 드러나는 표본 몇 장만 보여 주면 AI가 패턴을 학습한다고 말합니다. 제 블로그에는 '변형 가이드'라는 문서가 그 역할을 합니다. 같은 주제를 블로그스팟 한글판·네이버판·영문판 세 가지로 쓸 때, 독자층·톤·도입부·문단 구조·분량까지 여덟 개 항목을 표로 미리 정해 뒀습니다. 새 글을 쓸 때마다 이 표를 다시 설명하지 않고, 그 표 하나를 기준으로 매번 다른 세 편을 씁니다. 표본이 많을 필요 없다는 원문의 말 그대로, 표 한 장이면 충분했습니다. "리서치는 넓게, 결론은 한마디로" — 이 원칙은요? 이것도 실제로 겪었습니다. 오늘 아침에도 최근 발행한 글 여러 편을 먼저 검토했습니...

AI 자동화 시간표, 실행 시각보다 '검토 창'이 결과를 가릅니다 — 1인 운영 자동 작업 14개 실측

이미지
AI 자동화 시간표를 짤 때 저는 늘 실행 시각부터 정했습니다. 그런데 2026년 10월 9일 기준으로 제가 돌리는 자동 작업 14개를 '만들어지는 시각'과 '밖으로 나가는 시각'의 간격으로 다시 재 보니, 결과를 가른 것은 실행 시각이 아니라 그 사이에 사람이 끼어들 수 있는 틈, 곧 검토 창의 길이와 위치였습니다. 창이 0분이었던 라인은 채널을 하나씩 끊다가 발행 0이 됐고, 창이 무한이었던 라인은 14세트가 쌓인 채 발행 0이었습니다. 지금 실제로 발행되고 있는 라인은 창이 2시간 30분에서 10시간 사이인 것들뿐입니다. 지난달 말에 AI 에이전트 29명과 자동 작업 14개를 한 장의 조직도 로 그렸습니다. 그 글은 '누가 몇 시에 무엇을 하는가'였고, 이 글은 그 표의 칸과 칸 사이를 봅니다. 숫자는 전부 윈도우 작업 스케줄러에 등록된 값과 각 작업이 남긴 실행 로그에서 가져왔습니다. 검토 창은 무엇이고 왜 실행 시각보다 중요합니까? 검토 창은 자동화가 결과물을 만든 시각부터 그 결과물이 밖으로 나가는 시각까지, 사람이 보고 고치거나 멈출 수 있는 시간입니다. 실행 시각은 기계의 사정이고, 검토 창은 사람의 사정입니다. 실행 시각은 서버 부하나 독자가 글을 읽는 시간에 맞추면 되지만, 검토 창은 제가 실제로 화면을 보는 시간과 겹쳐야만 의미가 있습니다. 이 틈이 비어 있으면 어떤 일이 생기는지는 올해 3월 메타 사례가 보여 줍니다. 디 인포메이션 보도와 메타의 확인에 따르면, 한 엔지니어가 내부 포럼의 기술 질문을 분석하라고 맡긴 AI 에이전트가 답을 엔지니어의 확인 없이 포럼에 바로 올렸고, 그 답에 들어 있던 잘못된 안내를 따른 직원이 권한 없는 엔지니어들에게 회사 데이터와 사용자 데이터 접근권을 열어 주는 상태가 약 2시간 이어졌습니다. 메타는 이 건을 내부 심각도 두 번째 등급인 Sev 1로 분류했습니다( Unite.AI, 2026년 3월 19일 ). 에이전트의 답이 틀렸다는 사실보...