반응형
arxiv
-
사람 라벨 없이 코딩 에이전트 벤치마크를 만든다: Meta의 Benchmark Factory와 품질 앵커AI 2026. 11. 21. 09:57
사내 코드로 코딩 에이전트를 평가하고 싶다면 SWE-bench 같은 공개 벤치마크로는 모자란다. 우리 저장소의 규칙과 빌드 환경을 모르기 때문이다. 그렇다고 과제를 직접 만들면 과제마다 사람이 정답과 난이도를 확인해야 해서 수백 개를 만들기 어렵다. Meta 연구진이 이 문제를 사람 라벨 없이 푼 방식을 논문(arXiv 2611.18890, Benchmark Factory)으로 냈다. 전문을 읽고 정리한다.요약병합된 사내 변경(커밋)을 그대로 과제로 쓴다. 과제마다 사람이 정답을 달지 않는다.후보 벤치마크는 두 가지 앵커로만 거른다. 강한 모델이 더 많이 통과해야 하고, 점수가 0이나 100 쪽으로 쏠리면 안 된다.메타에이전트가 후보를 고치되, 고치는 순서와 건드리면 안 되는 것을 미리 정해 둔다.앵커는..