-
사람 라벨 없이 코딩 에이전트 벤치마크를 만든다: Meta의 Benchmark Factory와 품질 앵커
AI 2026. 11. 21. 09:57반응형사내 코드로 코딩 에이전트를 평가하고 싶다면 SWE-bench 같은 공개 벤치마크로는 모자란다. 우리 저장소의 규칙과 빌드 환경을 모르기 때문이다. 그렇다고 과제를 직접 만들면 과제마다 사람이 정답과 난이도를 확인해야 해서 수백 개를 만들기 어렵다. Meta 연구진이 이 문제를 사람 라벨 없이 푼 방식을 논문(arXiv 2611.18890, Benchmark Factory)으로 냈다. 전문을 읽고 정리한다.
요약
- 병합된 사내 변경(커밋)을 그대로 과제로 쓴다. 과제마다 사람이 정답을 달지 않는다.
- 후보 벤치마크는 두 가지 앵커로만 거른다. 강한 모델이 더 많이 통과해야 하고, 점수가 0이나 100 쪽으로 쏠리면 안 된다.
- 메타에이전트가 후보를 고치되, 고치는 순서와 건드리면 안 되는 것을 미리 정해 둔다.
- 앵커는 필요조건이다. 모든 모델 점수를 같이 깎는 과제는 앵커가 못 잡는다.
과제는 병합된 변경에서 나온다
에이전트는 변경의 제목, 요약, 부모 커밋에서 출발해 패치를 만든다. 테스트가 있으면 SWE-bench 방식으로 채점한다. 테스트가 없으면 LLM 채점기가 에이전트 패치를 실제 병합본과 비교해 0점에서 100점을 준다.
벤치마크를 만드는 루프는 네 단계다.
RESEARCH -> LAUNCH -> ANALYZE -> (실패하면) HILL-CLIMB드라이버가 매 반복마다 메타에이전트를 새 맥락으로 부르고, 상태는 파일에 남긴다. 후보는 hill-climb 집합에서만 앵커를 검사받고 수리된다. holdout 집합(20%)도 같이 돌려 보지만, 수락이나 수리의 근거로는 쓰지 않는다. 메타에이전트가 holdout 점수에 맞춰 과제를 고르는 길을 막으려는 장치다.
사람 라벨 대신 앵커 두 개
과제마다 정답을 다는 대신, 이미 강도 순서가 알려진 모델들의 통과율 관계를 본다.
- 능력 순서: 상위 티어의 통과율이 하위 티어보다 δ 이상 높아야 한다. 같은 티어 안의 순위는 강제하지 않는다. 기본값은 δ=0.05다.
- 난이도 띠: 모든 모델의 통과율이 [0.10, 0.85] 안에 있어야 한다. 전부 풀리거나 전부 못 푸는 벤치마크는 정보가 없다.
- 반복 실행 때 분산도 보되, 가능할 때만이다.
다섯 코호트에 같은 기본값을 쓰고, 5라운드 안에 통과하지 못하면 후보를 반려한다.
고치는 순서를 미리 정해 둔다
메타에이전트가 벤치마크를 고칠 때 가장 위험한 일은 측정 자체를 모델에 맞춰 깎는 것이다. 그래서 손잡이마다 순서를 매겼다.
- 소스 쿼리 (어떤 변경을 가져올지)
- 과제 제시 방식
- 파이프라인
- 결함 있는 과제 제거
- 통과 임계값
채점기와 기대 순위는 후보 안에서 고치지 않는다. 바깥 근거가 있을 때만 바꾸고, 바꾼 뒤에는 다시 고정한다.
이 순서는 실패에서 나왔다. 한 코호트에서 잘못된 모델 ID 때문에 통과율이 0%로 나왔는데, 임계값만 내렸더니 순위가 뭉개졌다. 연구진은 그 수락을 철회하고 「실행이 정상인지 먼저 확인하고, 임계값은 마지막에 건드린다」는 규칙을 고정했다.
결과
엔지니어 3명이 약 600개 과제 중 5%(30개)를 1~3점으로 평가했다. 과제 품질은 평균 2.3, 채점 판정은 평균 2.6이었다. 틀린 판정 5건은 모두 FAIL이었고, 과제 설명에 없는 세부(enum, 우선순위)가 병합본에만 있을 때 생겼다. PASS가 틀렸다고 매겨진 경우는 없었다.
벤치마크 구축에 쓰지 않은 설정으로 순위를 확인했다.
비교 통과율 p Opus 4.7 high vs low 60.6% vs 54.4% 0.002 GPT-5.5 vs GPT-5.4 65.8% vs 60.5% 0.004 코호트별 비교 10건 중 9건이 같은 방향이었다. extra-high effort는 high보다 2.2%p 낮았고, 출력 토큰은 31% 더 썼다. effort를 올린다고 이득이 있는 것은 아니다.
앵커가 정말 나쁜 후보를 거르는지도 시험했다. 과제 안에서 라벨을 섞어 진짜 순위가 없게 만들면, 후보가 앵커를 통과할 확률은 한 번에 0.22% 이하, 다섯 번 안에 1.4% 이하였다. 1파일, 5줄 이하의 자잘한 변경만 모은 후보는 통과율이 0.91~0.95로 올라 띠와 순위가 모두 깨졌다. 자기보고 채점, 참조 없는 채점, 길이만 보는 채점, 느슨한 임계값도 앵커에 걸렸다.
한계
- 앵커는 필요조건이다. 모든 모델 점수를 같이 깎는 미명세 과제는 못 잡는다. 이 자리는 사람 검토와 소스 필터가 남는다.
- 전문가 평가 표본이 작고 과제당 평가자가 1명이다. 평가자는 모델 이름과 채점기 근거를 볼 수 있었다.
- 벤치마크가 사내 코드라 공개되지 않아 외부에서 재현할 수 없다.
- GPT 계열 비교는 채점기가 GPT-5.5라 자기 선호가 섞일 수 있다. effort 비교는 같은 Claude 모델이라 그 편향이 없다.
- 저자 8명이 모두 Meta 소속이다.
우리 쪽에 옮길 점
에이전트나 스킬 비교 벤치를 만들 때 바로 쓸 수 있는 세 가지가 있다.
- 통과율만 보지 않는다. 알려진 순위(신모델이 구모델보다, high가 low보다 낫다)와 포화 금지 띠를 먼저 적고, 후보가 둘을 통과하는지 본다.
- 채점 기준과 기대 순위는 루프가 마음대로 고치지 못하게 고정해 둔다. 통과율이 이상하면 임계값부터 만지지 말고 실행 환경, 모델 ID, 파이프라인부터 확인한다.
- holdout 점수는 보되 수리 신호로 쓰지 않는다.
출처: Shahidi 외, "Benchmark Factory", arXiv 2611.18890.
반응형'AI' 카테고리의 다른 글
옆 사람에게 말하듯 쓴 프롬프트가 더 나을까: 맨 요청, 역할 부여, 구체 사건 90개 비교 (0) 2026.11.21 에이전트에게 웹을 보여 주는 세 가지 방법: Playwright, Claude in Chrome, Orca 브라우저를 같은 과제로 재 봤다 (0) 2026.11.21 비서를 새로 들이지 않고 내 개발 환경에 앉혔다: Orca 봇 하루 사용기 (0) 2026.11.21 2B 모델은 한국어 문서작업에 쓸 만한가: 출력을 보기 전에 정한 다섯 기준과 버려진 첫 측정 (0) 2026.11.19 에러가 없으면 에이전트는 멈추지 않는다: 전진 본능과 브레이크를 설계에 넣는 법 (0) 2026.11.04