AI 에이전트 팀 16명 중 실제로 도는 건 6명 — 지시서로 확인한 조직도 감사
AI 에이전트 팀을 16명 만들어 두었지만, 자동화 파이프라인이 실제로 이름을 부르는 에이전트는 6명이었습니다. 나머지 10명은 정의 파일만 남아 있고 지시서 어디에도 등장하지 않았습니다. 에이전트를 잘 정의하는 일과 에이전트가 실제로 도는 일은 서로 다른 문제였습니다.
두 달 전 저는 서브에이전트 구조를 다루면서, 도구가 풀리는 날 바로 움직일 수 있도록 역할 분담 초안을 그려 두자고 썼습니다. 그때의 전제는 조직도를 잘 그리는 사람이 유리하다는 것이었습니다. 오늘은 그 전제를 제 운영 환경에서 채점했습니다. 결론부터 말씀드리면 조직도를 그리는 일은 병목이 아니었습니다.
무엇을 어떻게 셌습니까
숫자를 먼저 밝히고 세는 방법도 함께 적습니다. 따라 해 보실 수 있어야 의미가 있다고 생각하기 때문입니다.
제 작업 폴더에는 에이전트 정의 파일이 16개 있습니다. 각각 리서치, 기업 동향, 인사이트, 기획, 블로그, 스레드, 인스타그램, 페이스북, 유튜브 대본, 뉴스레터, 디자인, 디자인 검수, 품질 검수, 성과 분석, 발행, 그리고 이 모두를 지휘하는 매니저 역할을 맡고 있습니다.
한편 자동화가 매일 새벽에 실제로 읽는 문서는 따로 있습니다. 각 채널 폴더 아래 기획 폴더에 들어 있는 지시서 19개입니다. 정해진 시각에 헤드리스로 뜬 작업이 이 문서를 읽고 그대로 일합니다. 그래서 저는 질문을 이렇게 바꿨습니다. 조직도에 있는 이름이 지시서 안에 실제로 등장하는가.
단어 경계를 넣어 세어 보니 결과는 이렇습니다.
| 구분 | 인원 | 세부 |
|---|---|---|
| 정의된 에이전트 | 16명 | 정의 파일 16개 |
| 지시서에 이름이 나오는 에이전트 | 6명 | 디자인 검수 1명, 리서치 계열 3명, 뉴스레터 계열 2명 |
| 한 번도 나오지 않는 에이전트 | 10명 | 기획, 블로그, 스레드, 인스타그램, 페이스북, 유튜브 대본, 품질 검수, 성과 분석, 발행, 매니저 |
여기서 처음에 제가 실수할 뻔한 지점을 하나 적어 둡니다. 폴더 전체를 대상으로 단순 검색을 돌렸을 때는 특정 에이전트가 300회 넘게 잡혔습니다. 사람 이름이 영어 단어와 겹쳐 본문 속 평범한 단어까지 함께 세어졌기 때문입니다. 단어 경계를 넣고 대상을 지시서로 좁히자 숫자가 완전히 달라졌습니다. 자동화를 점검할 때 검색 한 줄의 조건이 결론을 뒤집을 수 있다는 점은 기억해 둘 만합니다.
왜 한 명만 전 파이프라인에 걸쳐 있습니까
6명 중에서도 분포가 고르지 않았습니다. 리서치 계열 3명은 주간 배치 지시서 한 곳에만, 뉴스레터 계열 2명은 뉴스레터 지시서 한 곳에만 등장합니다. 각자 자기 파이프라인 안에서만 호명되는 구조입니다.
예외가 한 명 있었습니다. 디자인 검수 담당인 iris 하나만 지시서 19개 중 7개에 걸쳐 있었고, 뉴스레터와 블로그와 숏폼과 프롬프트 시리즈까지 서로 다른 파이프라인을 가로질렀습니다.
이유를 찾아보니 실력이나 설명의 문제가 아니었습니다. 제 작업 규칙 문서에 이런 조항이 하나 박혀 있었습니다. 모든 디자인 결과물은 생성 직후, 발행 예약 전에 반드시 디자인 검수를 통과해야 한다는 조항입니다. 다른 에이전트들은 필요할 때 쓰라는 권유의 형태로 존재했고, 이 에이전트만 통과하지 않으면 다음 단계로 못 넘어가는 관문의 형태로 존재했습니다.
그래서 제가 얻은 문장은 이렇습니다. 에이전트는 잘 설명해 두었을 때가 아니라, 건너뛸 수 없는 자리에 놓였을 때 실제로 불립니다. 설명은 선택지를 늘리고, 관문은 경로를 바꿉니다. 자동화에서 일을 실제로 움직이는 쪽은 후자였습니다.
안 불린 10명은 왜 안 불렸습니까
10명을 한 덩어리로 보면 오해하기 쉽습니다. 뜯어 보니 성격이 전혀 다른 두 갈래였습니다.
첫째 갈래는 담당 채널이 꺼져서 같이 멈춘 쪽입니다. 저는 9월 들어 자동 발행을 단계적으로 중단했습니다. 5일에 스레드와 인스타그램과 틱톡과 엑스의 자동 발행을 끊었고, 11일에 유튜브 숏츠의 자동 제작과 업로드를 세웠으며, 16일에는 리서치 결과를 소셜로 자동 배포하던 데일리 파이프라인까지 닫았습니다. 스레드, 인스타그램, 페이스북, 유튜브 대본, 발행 담당이 여기에 해당합니다. 이들이 안 불리는 것은 자연스러운 결과이고 문제도 아닙니다.
문제는 둘째 갈래였습니다. 채널이 멀쩡히 돌고 있는데도 안 불린 쪽입니다.
| 역할 | 담당 채널 상태 | 지시서 등장 | 실제로는 누가 합니까 |
|---|---|---|---|
| 블로그 | 매일 가동 | 0회 | 지시서가 위임하지 않고 직접 씁니다 |
| 기획 | 가동 | 0회 | 요일별 카테고리 표가 대신합니다 |
| 품질 검수 | 가동 | 0회 | 발행기의 자동 교정이 일부 대신합니다 |
| 성과 분석 | 가동 | 0회 | 아무도 하지 않습니다 |
| 매니저 | 가동 | 0회 | 작업 스케줄러가 대신합니다 |
블로그 담당이 0회라는 사실이 가장 뜻밖이었습니다. 블로그는 제 채널 중 가장 자주 도는 축인데도, 지시서가 블로그 담당에게 넘기지 않고 본문 작성 방법을 직접 서술하는 방식으로 굳어 있었습니다. 위임할 자리에 설명서를 놓았더니 위임이 사라진 것입니다.
그리고 기획과 품질 검수와 성과 분석과 매니저, 즉 관리 계층 네 자리가 통째로 0회였습니다. 조직도를 그릴 때 가장 먼저 넣는 자리가 관리 계층인데, 1인 운영에서 가장 먼저 비는 자리도 관리 계층이었습니다. 분배와 진행 관리는 이미 스케줄러와 지시서가 하고 있었기 때문에 매니저가 낄 틈이 없었습니다. 다만 성과 분석만은 대체재도 없이 비어 있었고, 이것은 구조의 문제가 아니라 제가 안 하고 있던 일이었습니다.
그래서 운영을 어떻게 바꿨습니까
세 가지를 정했습니다. 어느 것도 에이전트를 새로 만드는 일은 아닙니다.
첫째, 에이전트를 만든 날이 아니라 지시서에 이름을 적은 날을 채용일로 봅니다. 정의 파일을 추가하는 것으로 일이 끝났다고 여기지 않기로 했습니다. 부를 자리를 같이 만들지 않으면 그것은 문서일 뿐입니다.
둘째, 계속 쓰이길 바라는 역할은 권유가 아니라 관문으로 적습니다. 참고하라는 문장과 통과해야 한다는 문장은 자동화에서 전혀 다르게 작동했습니다.
셋째, 채널을 끌 때 조직도도 같이 정리합니다. 9월에 채널 여러 개를 껐지만 대응하는 에이전트 정의는 그대로 남아 있었고, 그래서 조직도만 보면 아무것도 안 바뀐 것처럼 보였습니다. 분기마다 지시서에 이름이 없는 에이전트 목록을 뽑아 보류로 옮기거나 부를 자리를 만들어 주기로 했습니다.
점검 자체는 어렵지 않습니다. 에이전트 정의 폴더와 실제로 자동화가 읽는 지시서 폴더를 나란히 놓고, 이름별로 지시서에서 검색되는 횟수를 세어 보면 끝납니다. 0회가 몇 명인지가 조직도와 파이프라인의 격차입니다.
이 결과를 어디까지 믿어야 합니까
한계를 분명히 적습니다.
첫째, 지시서 등장 0회는 한 번도 쓰지 않았다는 뜻이 아닙니다. 제가 그때그때 수동으로 호출한 경우는 이 집계에 잡히지 않습니다. 제가 측정한 것은 자동화가 스스로 그 이름을 부르는가 하나입니다.
둘째, 에이전트를 줄이면 품질이 오른다는 인과는 주장하지 않습니다. 저는 정의와 호출의 격차를 셌을 뿐이고, 그 격차를 줄였을 때 결과물이 좋아지는지는 아직 측정하지 않았습니다.
셋째, 사례가 하나입니다. 1인 운영 한 곳의 폴더 구조에서 나온 숫자이므로 팀 단위나 다른 구조에 그대로 옮길 수 있는 수치가 아닙니다.
방향 자체는 바깥에서도 비슷하게 이야기됩니다. 앤스로픽은 효과적인 에이전트 만들기 문서에서 가능한 가장 단순한 해법을 먼저 찾고 복잡도는 결과가 분명히 좋아질 때만 올리라고 권합니다. 제가 만든 서브에이전트가 실제로 어떤 형식으로 정의되고 호출되는지는 서브에이전트 공식 문서에 정리돼 있고, 여러 에이전트를 붙였을 때 조율 비용이 이득을 잡아먹는 양상은 멀티 에이전트 실패 분석에서 다루고 있습니다. 조직도를 키우는 방향이 언제나 정답은 아니라는 이야기입니다.
무엇을 맡기고 무엇을 남길지 고르는 기준은 예전에 위임서를 써 보면 안다에서 정리해 두었는데, 오늘 확인한 것은 그 위임서에 빠져 있던 한 줄이었습니다. 목록에 적는 것과 파이프라인이 부르는 것은 다르다는 한 줄입니다. 처음에 역할을 나눠 두었던 기록은 사람 안 뽑고 콘텐츠 회사 돌리는 법에 남아 있고, 오늘 글은 그 조직도를 두 달 뒤에 채점한 셈입니다.
다음에는 격차를 줄인 뒤의 숫자를 들고 오겠습니다. 0회였던 성과 분석 자리를 먼저 채우고, 그 자리가 실제로 불리는지부터 세어 볼 생각입니다.
정의 파일 16개 중 지시서에 실제로 등장한 이름이 6개뿐이었다는 숫자가 인상적입니다. 특히 디자인 검수는 선택 권유가 아니라 발행 전 관문이라 여러 흐름에서 호출됐다는 비교가 와닿았어요. 다음 점검에서는 성과 분석 역할을 연결한 뒤 실제 호출 횟수와 수정된 결과물도 함께 보면 차이가 더 선명하겠습니다.
답글삭제