benchmark
-
사람 라벨 없이 코딩 에이전트 벤치마크를 만든다: Meta의 Benchmark Factory와 품질 앵커AI 2026. 11. 21. 09:57
사내 코드로 코딩 에이전트를 평가하고 싶다면 SWE-bench 같은 공개 벤치마크로는 모자란다. 우리 저장소의 규칙과 빌드 환경을 모르기 때문이다. 그렇다고 과제를 직접 만들면 과제마다 사람이 정답과 난이도를 확인해야 해서 수백 개를 만들기 어렵다. Meta 연구진이 이 문제를 사람 라벨 없이 푼 방식을 논문(arXiv 2611.18890, Benchmark Factory)으로 냈다. 전문을 읽고 정리한다.요약병합된 사내 변경(커밋)을 그대로 과제로 쓴다. 과제마다 사람이 정답을 달지 않는다.후보 벤치마크는 두 가지 앵커로만 거른다. 강한 모델이 더 많이 통과해야 하고, 점수가 0이나 100 쪽으로 쏠리면 안 된다.메타에이전트가 후보를 고치되, 고치는 순서와 건드리면 안 되는 것을 미리 정해 둔다.앵커는..
-
옆 사람에게 말하듯 쓴 프롬프트가 더 나을까: 맨 요청, 역할 부여, 구체 사건 90개 비교AI 2026. 11. 21. 09:49
프롬프트 잘 쓰는 법을 찾아보면 처방이 엇갈린다. 한쪽은 「너는 10년 차 전문가다」처럼 역할을 주라고 한다. 다른 쪽은 그런 틀 대신 상황을 이야기하듯 쓰라고 한다. Threads에서 본 한 글이 뒤쪽이었다. 거래처 과장에게 「작년 8월에 라인이 멈춰 복구에 두 시간 반이 걸렸죠, 그 두 시간 반을 없애려는 겁니다」라고 말했더니 대화가 이어졌다는 경험을 들며, 프롬프트도 옆 사람에게 말하듯 쓰라고 했다.그럴듯한 말이다. 다만 전후 비교나 측정은 없었다. 그래서 같은 사실을 세 가지 방식으로 말하는 프롬프트를 만들어, 실무형 과제 10개에서 답을 비교했다.요약비교한 방식은 셋이다. A 맨 요청(과제와 사실만 나열), B 역할 부여(A 앞에 「너는 10년 차 ○○다」 한 줄), C 구체 사건(같은 사실을 ..
-
에이전트에게 웹을 보여 주는 세 가지 방법: Playwright, Claude in Chrome, Orca 브라우저를 같은 과제로 재 봤다AI 2026. 11. 21. 08:44
에이전트가 웹 페이지를 봐야 할 때 쓸 수 있는 도구는 여러 가지다. 비교 글도 많다. Threads에서 본 한 비교는 Claude in Chrome, Aside, ego lite에 같은 과제 다섯 개를 시키고 토큰과 시간을 표로 냈다. Claude in Chrome은 다섯 개 중 세 개만 끝냈고, 셋 다 끝낸 두 과제 합계로 33만 토큰을 썼다. Aside는 4만 4천 토큰이었다. 숫자 차이가 커서 눈길이 갔지만, 과제마다 한 번씩 잰 결과였고 내가 실제로 쓰는 도구와는 조합이 달랐다.나는 에이전트에게 웹을 보여 줄 때 세 가지를 섞어 쓴다. 스크립트로 돌리는 Playwright, 내 Chrome에 붙은 Claude in Chrome 확장, 코딩 에이전트를 띄우는 Orca 앱에 들어 있는 브라우저다. ..
-
2B 모델은 한국어 문서작업에 쓸 만한가: 출력을 보기 전에 정한 다섯 기준과 버려진 첫 측정AI 2026. 11. 19. 09:06
작은 모델을 평가하는 글은 대개 결론이 먼저 정해진 채 시작한다. 크기가 3분의 1인데 점수가 이 정도면 충분하다는 결론, 혹은 역시 작은 모델은 안 된다는 결론이다. 어느 쪽이든 숫자를 본 뒤에 기준을 고르면 원하는 결론이 나온다. 노트북 한 대(Intel Core Ultra 7 155H, RAM 30GB)에서 MiniCPM5-2B가 한국어 문서작업에 쓸 만한지 재면서, 모델 출력을 한 줄도 보기 전에 판단 기준부터 적었다. 그 기준이 결과를 어떻게 묶었는지, 측정 코드의 결함이 결과를 어떻게 흔들었는지가 이 글의 줄기다.요약비교 대상은 MiniCPM5-2B(2.5B), qwen3:latest(8.2B), granite4.2:8b(8.8B)다. 공개 기사 4건으로 요약, 추출, 질의응답, 재작성 14과..