ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • 사람 라벨 없이 코딩 에이전트 벤치마크를 만든다: Meta의 Benchmark Factory와 품질 앵커

    AI 2026. 11. 21. 09:57
    반응형

    사내 코드로 코딩 에이전트를 평가하고 싶다면 SWE-bench 같은 공개 벤치마크로는 모자란다. 우리 저장소의 규칙과 빌드 환경을 모르기 때문이다. 그렇다고 과제를 직접 만들면 과제마다 사람이 정답과 난이도를 확인해야 해서 수백 개를 만들기 어렵다. Meta 연구진이 이 문제를 사람 라벨 없이 푼 방식을 논문(arXiv 2611.18890, Benchmark Factory)으로 냈다. 전문을 읽고 정리한다.

    요약

    • 병합된 사내 변경(커밋)을 그대로 과제로 쓴다. 과제마다 사람이 정답을 달지 않는다.
    • 후보 벤치마크는 두 가지 앵커로만 거른다. 강한 모델이 더 많이 통과해야 하고, 점수가 0이나 100 쪽으로 쏠리면 안 된다.
    • 메타에이전트가 후보를 고치되, 고치는 순서와 건드리면 안 되는 것을 미리 정해 둔다.
    • 앵커는 필요조건이다. 모든 모델 점수를 같이 깎는 과제는 앵커가 못 잡는다.

    과제는 병합된 변경에서 나온다

    에이전트는 변경의 제목, 요약, 부모 커밋에서 출발해 패치를 만든다. 테스트가 있으면 SWE-bench 방식으로 채점한다. 테스트가 없으면 LLM 채점기가 에이전트 패치를 실제 병합본과 비교해 0점에서 100점을 준다.

    벤치마크를 만드는 루프는 네 단계다.

    RESEARCH -> LAUNCH -> ANALYZE -> (실패하면) HILL-CLIMB
    

    드라이버가 매 반복마다 메타에이전트를 새 맥락으로 부르고, 상태는 파일에 남긴다. 후보는 hill-climb 집합에서만 앵커를 검사받고 수리된다. holdout 집합(20%)도 같이 돌려 보지만, 수락이나 수리의 근거로는 쓰지 않는다. 메타에이전트가 holdout 점수에 맞춰 과제를 고르는 길을 막으려는 장치다.

    사람 라벨 대신 앵커 두 개

    과제마다 정답을 다는 대신, 이미 강도 순서가 알려진 모델들의 통과율 관계를 본다.

    • 능력 순서: 상위 티어의 통과율이 하위 티어보다 δ 이상 높아야 한다. 같은 티어 안의 순위는 강제하지 않는다. 기본값은 δ=0.05다.
    • 난이도 띠: 모든 모델의 통과율이 [0.10, 0.85] 안에 있어야 한다. 전부 풀리거나 전부 못 푸는 벤치마크는 정보가 없다.
    • 반복 실행 때 분산도 보되, 가능할 때만이다.

    다섯 코호트에 같은 기본값을 쓰고, 5라운드 안에 통과하지 못하면 후보를 반려한다.

    고치는 순서를 미리 정해 둔다

    메타에이전트가 벤치마크를 고칠 때 가장 위험한 일은 측정 자체를 모델에 맞춰 깎는 것이다. 그래서 손잡이마다 순서를 매겼다.

    1. 소스 쿼리 (어떤 변경을 가져올지)
    2. 과제 제시 방식
    3. 파이프라인
    4. 결함 있는 과제 제거
    5. 통과 임계값

    채점기와 기대 순위는 후보 안에서 고치지 않는다. 바깥 근거가 있을 때만 바꾸고, 바꾼 뒤에는 다시 고정한다.

    이 순서는 실패에서 나왔다. 한 코호트에서 잘못된 모델 ID 때문에 통과율이 0%로 나왔는데, 임계값만 내렸더니 순위가 뭉개졌다. 연구진은 그 수락을 철회하고 「실행이 정상인지 먼저 확인하고, 임계값은 마지막에 건드린다」는 규칙을 고정했다.

    결과

    엔지니어 3명이 약 600개 과제 중 5%(30개)를 1~3점으로 평가했다. 과제 품질은 평균 2.3, 채점 판정은 평균 2.6이었다. 틀린 판정 5건은 모두 FAIL이었고, 과제 설명에 없는 세부(enum, 우선순위)가 병합본에만 있을 때 생겼다. PASS가 틀렸다고 매겨진 경우는 없었다.

    벤치마크 구축에 쓰지 않은 설정으로 순위를 확인했다.

    비교 통과율 p
    Opus 4.7 high vs low 60.6% vs 54.4% 0.002
    GPT-5.5 vs GPT-5.4 65.8% vs 60.5% 0.004

    코호트별 비교 10건 중 9건이 같은 방향이었다. extra-high effort는 high보다 2.2%p 낮았고, 출력 토큰은 31% 더 썼다. effort를 올린다고 이득이 있는 것은 아니다.

    앵커가 정말 나쁜 후보를 거르는지도 시험했다. 과제 안에서 라벨을 섞어 진짜 순위가 없게 만들면, 후보가 앵커를 통과할 확률은 한 번에 0.22% 이하, 다섯 번 안에 1.4% 이하였다. 1파일, 5줄 이하의 자잘한 변경만 모은 후보는 통과율이 0.91~0.95로 올라 띠와 순위가 모두 깨졌다. 자기보고 채점, 참조 없는 채점, 길이만 보는 채점, 느슨한 임계값도 앵커에 걸렸다.

    한계

    • 앵커는 필요조건이다. 모든 모델 점수를 같이 깎는 미명세 과제는 못 잡는다. 이 자리는 사람 검토와 소스 필터가 남는다.
    • 전문가 평가 표본이 작고 과제당 평가자가 1명이다. 평가자는 모델 이름과 채점기 근거를 볼 수 있었다.
    • 벤치마크가 사내 코드라 공개되지 않아 외부에서 재현할 수 없다.
    • GPT 계열 비교는 채점기가 GPT-5.5라 자기 선호가 섞일 수 있다. effort 비교는 같은 Claude 모델이라 그 편향이 없다.
    • 저자 8명이 모두 Meta 소속이다.

    우리 쪽에 옮길 점

    에이전트나 스킬 비교 벤치를 만들 때 바로 쓸 수 있는 세 가지가 있다.

    • 통과율만 보지 않는다. 알려진 순위(신모델이 구모델보다, high가 low보다 낫다)와 포화 금지 띠를 먼저 적고, 후보가 둘을 통과하는지 본다.
    • 채점 기준과 기대 순위는 루프가 마음대로 고치지 못하게 고정해 둔다. 통과율이 이상하면 임계값부터 만지지 말고 실행 환경, 모델 ID, 파이프라인부터 확인한다.
    • holdout 점수는 보되 수리 신호로 쓰지 않는다.

    출처: Shahidi 외, "Benchmark Factory", arXiv 2611.18890.

    반응형
Designed by Tistory.