evaluation
-
사람 라벨 없이 코딩 에이전트 벤치마크를 만든다: Meta의 Benchmark Factory와 품질 앵커AI 2026. 11. 21. 09:57
사내 코드로 코딩 에이전트를 평가하고 싶다면 SWE-bench 같은 공개 벤치마크로는 모자란다. 우리 저장소의 규칙과 빌드 환경을 모르기 때문이다. 그렇다고 과제를 직접 만들면 과제마다 사람이 정답과 난이도를 확인해야 해서 수백 개를 만들기 어렵다. Meta 연구진이 이 문제를 사람 라벨 없이 푼 방식을 논문(arXiv 2611.18890, Benchmark Factory)으로 냈다. 전문을 읽고 정리한다.요약병합된 사내 변경(커밋)을 그대로 과제로 쓴다. 과제마다 사람이 정답을 달지 않는다.후보 벤치마크는 두 가지 앵커로만 거른다. 강한 모델이 더 많이 통과해야 하고, 점수가 0이나 100 쪽으로 쏠리면 안 된다.메타에이전트가 후보를 고치되, 고치는 순서와 건드리면 안 되는 것을 미리 정해 둔다.앵커는..
-
옆 사람에게 말하듯 쓴 프롬프트가 더 나을까: 맨 요청, 역할 부여, 구체 사건 90개 비교AI 2026. 11. 21. 09:49
프롬프트 잘 쓰는 법을 찾아보면 처방이 엇갈린다. 한쪽은 「너는 10년 차 전문가다」처럼 역할을 주라고 한다. 다른 쪽은 그런 틀 대신 상황을 이야기하듯 쓰라고 한다. Threads에서 본 한 글이 뒤쪽이었다. 거래처 과장에게 「작년 8월에 라인이 멈춰 복구에 두 시간 반이 걸렸죠, 그 두 시간 반을 없애려는 겁니다」라고 말했더니 대화가 이어졌다는 경험을 들며, 프롬프트도 옆 사람에게 말하듯 쓰라고 했다.그럴듯한 말이다. 다만 전후 비교나 측정은 없었다. 그래서 같은 사실을 세 가지 방식으로 말하는 프롬프트를 만들어, 실무형 과제 10개에서 답을 비교했다.요약비교한 방식은 셋이다. A 맨 요청(과제와 사실만 나열), B 역할 부여(A 앞에 「너는 10년 차 ○○다」 한 줄), C 구체 사건(같은 사실을 ..
-
2B 모델은 한국어 문서작업에 쓸 만한가: 출력을 보기 전에 정한 다섯 기준과 버려진 첫 측정AI 2026. 11. 19. 09:06
작은 모델을 평가하는 글은 대개 결론이 먼저 정해진 채 시작한다. 크기가 3분의 1인데 점수가 이 정도면 충분하다는 결론, 혹은 역시 작은 모델은 안 된다는 결론이다. 어느 쪽이든 숫자를 본 뒤에 기준을 고르면 원하는 결론이 나온다. 노트북 한 대(Intel Core Ultra 7 155H, RAM 30GB)에서 MiniCPM5-2B가 한국어 문서작업에 쓸 만한지 재면서, 모델 출력을 한 줄도 보기 전에 판단 기준부터 적었다. 그 기준이 결과를 어떻게 묶었는지, 측정 코드의 결함이 결과를 어떻게 흔들었는지가 이 글의 줄기다.요약비교 대상은 MiniCPM5-2B(2.5B), qwen3:latest(8.2B), granite4.2:8b(8.8B)다. 공개 기사 4건으로 요약, 추출, 질의응답, 재작성 14과..
-
한 번 정한 임계값은 언제 다시 재야 하는가: 기각 게이트 0.4와 분리되지 않는 두 변수MEMENTO 2026. 11. 10. 09:02
검색 시스템에는 숫자 하나로 결정이 갈리는 지점이 있다. 오픈소스 에이전트 기억 서버 Memento에서는 기각 게이트가 그렇다. 질의가 들어오면 후보 기억 상위 10개를 작은 판정 모델(Jev)이 읽고 점수를 매긴다. 최고 점수가 0.4에 못 미치면 질의 전체를 "이 저장소에는 답이 없다"로 처리하고 아무것도 돌려주지 않는다. 0.4는 직관으로 찍은 값이 아니다. 2026년 10월 중순에 임계값을 0.20에서 0.60까지 0.05 간격으로 훑는 sweep을 돌려 정했다. 한 달 가까이 지난 11월 9일, 같은 sweep을 다시 돌렸다. 이 글은 그 재측정이 무엇을 알려줬고 무엇을 끝내 알려주지 못했는지에 관한 기록이다. 임계값을 한 번 정한 모든 시스템이 언젠가 같은 질문을 만난다.요약기각 게이트는 "최..
-
긴 기억은 왜 벡터 검색에서 지는가: 평균 풀링의 산수와 max-simMEMENTO 2026. 11. 7. 09:11
에이전트의 기억 저장소에서 가장 값진 기록은 대개 길다. 장애 회고, 런북, 며칠에 걸친 디버깅 기록은 결론과 근거를 함께 담느라 길어진다. 오픈소스 프로젝트 Memento의 벡터 검색에서 이런 글이 구조적으로 밀렸다. 내용이 틀려서도, 주제가 어긋나서도 아니었다.Memento의 검색 품질 벤치마크 코퍼스(benchmark-v3) 3,461건에서 질의 HTTP 서버 에러 처리의 코사인 바닥값은 10위 0.5944, 40위 0.4416이었다. 이 코퍼스에서 질의와 가장 비슷한 문서 60건을 골라 12,000자로 이어 붙이고 코사인을 쟀다. 결과는 0.3094, 40위 밖이다. 가장 관련 높은 내용만 모아도 길면 졌다.요약윈도를 평균 낸 문서 벡터의 점수는 윈도별 코사인의 평균에 비례한다. 윈도 하나만 질의..