coding agent
-
사람 라벨 없이 코딩 에이전트 벤치마크를 만든다: Meta의 Benchmark Factory와 품질 앵커AI 2026. 11. 21. 09:57
사내 코드로 코딩 에이전트를 평가하고 싶다면 SWE-bench 같은 공개 벤치마크로는 모자란다. 우리 저장소의 규칙과 빌드 환경을 모르기 때문이다. 그렇다고 과제를 직접 만들면 과제마다 사람이 정답과 난이도를 확인해야 해서 수백 개를 만들기 어렵다. Meta 연구진이 이 문제를 사람 라벨 없이 푼 방식을 논문(arXiv 2611.18890, Benchmark Factory)으로 냈다. 전문을 읽고 정리한다.요약병합된 사내 변경(커밋)을 그대로 과제로 쓴다. 과제마다 사람이 정답을 달지 않는다.후보 벤치마크는 두 가지 앵커로만 거른다. 강한 모델이 더 많이 통과해야 하고, 점수가 0이나 100 쪽으로 쏠리면 안 된다.메타에이전트가 후보를 고치되, 고치는 순서와 건드리면 안 되는 것을 미리 정해 둔다.앵커는..
-
프롬프트 대신 코드베이스를 고쳐라: Cursor 1,000개 PR 자동 머지와 에이전트 신뢰 곡선AI 2026. 10. 29. 09:03
코딩 에이전트를 도입한 개발팀의 일상은 대개 불신으로 시작한다. 에이전트가 만든 코드가 그럴듯해 보여도 한 줄씩 뜯어보며 검토한다. 엉뚱한 라이브러리를 임포트하거나 미묘한 논리 버그를 심어두지 않았는지 감시하는 사이, 개발자는 지치고 만다. 에이전트를 10개, 100개 띄워 병렬로 실행하자는 제안은 공허하게 들린다. 에이전트 하나가 내놓는 코드조차 믿지 못하는데 100개를 돌리면 리뷰 대기열만 폭발하기 때문이다.Cursor와 SpaceXAI를 거친 로렌 탄(Lauren Tan)은 정반대의 운영 모델을 증명했다. 한 달 만에 에이전트가 작성한 PR 1,000개를 머지했고, 다음 달에는 12일 만에 800개 PR을 처리했다. 아침에 출근하면 에이전트가 밤새 작성하고 자동 머지까지 끝낸 PR 20여 개가 메인..