전체 글
-
사람 라벨 없이 코딩 에이전트 벤치마크를 만든다: Meta의 Benchmark Factory와 품질 앵커AI 2026. 11. 21. 09:57
사내 코드로 코딩 에이전트를 평가하고 싶다면 SWE-bench 같은 공개 벤치마크로는 모자란다. 우리 저장소의 규칙과 빌드 환경을 모르기 때문이다. 그렇다고 과제를 직접 만들면 과제마다 사람이 정답과 난이도를 확인해야 해서 수백 개를 만들기 어렵다. Meta 연구진이 이 문제를 사람 라벨 없이 푼 방식을 논문(arXiv 2611.18890, Benchmark Factory)으로 냈다. 전문을 읽고 정리한다.요약병합된 사내 변경(커밋)을 그대로 과제로 쓴다. 과제마다 사람이 정답을 달지 않는다.후보 벤치마크는 두 가지 앵커로만 거른다. 강한 모델이 더 많이 통과해야 하고, 점수가 0이나 100 쪽으로 쏠리면 안 된다.메타에이전트가 후보를 고치되, 고치는 순서와 건드리면 안 되는 것을 미리 정해 둔다.앵커는..
-
옆 사람에게 말하듯 쓴 프롬프트가 더 나을까: 맨 요청, 역할 부여, 구체 사건 90개 비교AI 2026. 11. 21. 09:49
프롬프트 잘 쓰는 법을 찾아보면 처방이 엇갈린다. 한쪽은 「너는 10년 차 전문가다」처럼 역할을 주라고 한다. 다른 쪽은 그런 틀 대신 상황을 이야기하듯 쓰라고 한다. Threads에서 본 한 글이 뒤쪽이었다. 거래처 과장에게 「작년 8월에 라인이 멈춰 복구에 두 시간 반이 걸렸죠, 그 두 시간 반을 없애려는 겁니다」라고 말했더니 대화가 이어졌다는 경험을 들며, 프롬프트도 옆 사람에게 말하듯 쓰라고 했다.그럴듯한 말이다. 다만 전후 비교나 측정은 없었다. 그래서 같은 사실을 세 가지 방식으로 말하는 프롬프트를 만들어, 실무형 과제 10개에서 답을 비교했다.요약비교한 방식은 셋이다. A 맨 요청(과제와 사실만 나열), B 역할 부여(A 앞에 「너는 10년 차 ○○다」 한 줄), C 구체 사건(같은 사실을 ..
-
에이전트에게 웹을 보여 주는 세 가지 방법: Playwright, Claude in Chrome, Orca 브라우저를 같은 과제로 재 봤다AI 2026. 11. 21. 08:44
에이전트가 웹 페이지를 봐야 할 때 쓸 수 있는 도구는 여러 가지다. 비교 글도 많다. Threads에서 본 한 비교는 Claude in Chrome, Aside, ego lite에 같은 과제 다섯 개를 시키고 토큰과 시간을 표로 냈다. Claude in Chrome은 다섯 개 중 세 개만 끝냈고, 셋 다 끝낸 두 과제 합계로 33만 토큰을 썼다. Aside는 4만 4천 토큰이었다. 숫자 차이가 커서 눈길이 갔지만, 과제마다 한 번씩 잰 결과였고 내가 실제로 쓰는 도구와는 조합이 달랐다.나는 에이전트에게 웹을 보여 줄 때 세 가지를 섞어 쓴다. 스크립트로 돌리는 Playwright, 내 Chrome에 붙은 Claude in Chrome 확장, 코딩 에이전트를 띄우는 Orca 앱에 들어 있는 브라우저다. ..
-
비서를 새로 들이지 않고 내 개발 환경에 앉혔다: Orca 봇 하루 사용기AI 2026. 11. 21. 08:22
AI 비서 도구를 새로 들일 때 가장 비싼 비용은 구독료가 아니다. 이사 비용이다. 지시문을 다시 쓰고, 쓰던 도구를 다시 연결하고, 지난 작업의 맥락을 다시 설명해야 한다. 몇 달 동안 Claude Code에 지침 파일, 스킬, 훅, MCP 서버를 쌓아 온 사람에게는 이 비용이 도구의 장점을 대부분 지운다. 새 비서는 똑똑할지 몰라도 내 방식은 하나도 모른다.Orca의 봇 기능을 하루 동안 써 봤다. 봇에게 「오르카」라는 이름을 붙이고 모든 프로젝트를 총괄하는 비서 역할을 맡겼다. 하루를 보내고 남은 감상은 한 문장이다. 「내 개발 환경을 그대로 사용할 수 있는 게 너무 만족스럽다.」요약오르카는 내 PC의 Claude Code를 그대로 쓴다. 봇 전용 도구는 0개이고, Obsidian, 기억 저장소, ..
-
2B 모델은 한국어 문서작업에 쓸 만한가: 출력을 보기 전에 정한 다섯 기준과 버려진 첫 측정AI 2026. 11. 19. 09:06
작은 모델을 평가하는 글은 대개 결론이 먼저 정해진 채 시작한다. 크기가 3분의 1인데 점수가 이 정도면 충분하다는 결론, 혹은 역시 작은 모델은 안 된다는 결론이다. 어느 쪽이든 숫자를 본 뒤에 기준을 고르면 원하는 결론이 나온다. 노트북 한 대(Intel Core Ultra 7 155H, RAM 30GB)에서 MiniCPM5-2B가 한국어 문서작업에 쓸 만한지 재면서, 모델 출력을 한 줄도 보기 전에 판단 기준부터 적었다. 그 기준이 결과를 어떻게 묶었는지, 측정 코드의 결함이 결과를 어떻게 흔들었는지가 이 글의 줄기다.요약비교 대상은 MiniCPM5-2B(2.5B), qwen3:latest(8.2B), granite4.2:8b(8.8B)다. 공개 기사 4건으로 요약, 추출, 질의응답, 재작성 14과..
-
서버 셋을 하나로: x.com 웹 재작성이 옛 서버를 명세로 삼은 방법ARCHIVE 2026. 11. 17. 20:34
느린 회선에서 x.com 첫 게시물이 뜨기까지 23.9초가 걸렸다. 새로 만든 앱은 같은 조건에서 2.7초다(랩 측정). X Engineering이 2026-11-04에 올린 글은 이 차이를 만든 재작성 과정을 적었다. 이 글은 그 내용에서 설계 판단 네 가지를 골라 정리한다. 원문은 Rebuilding the global town square from scratch이고, 수치는 모두 그 글의 랩 수치다.요약사람, 검색 크롤러, 링크 미리보기 봇이 서로 다른 서버 세 대에서 응답을 받았다. 새 앱은 한 서버가 방문자 종류에 따라 응답을 다르게 만든다.처음부터 다시 쓰지 않았다. 옛 서버를 계속 배포하면서 크롤러부터, 로그인 사용자는 국가 단위로 옮겼다.옛 서버가 명세였다. 같은 경로를 양쪽에 요청해 결과..
-
사본 다섯 개가 주입 예산을 다 먹었다: triple 재조립 폴백이 만든 semantic 중복과 네 겹의 방어선MEMENTO 2026. 11. 14. 09:02
작업 기록을 남기려고 memory_injection을 불렀더니 기억 다섯 개가 돌아왔다. 다섯 개 모두 글자 하나까지 같았다. 토큰 예산 713은 사본 다섯 개가 전부 가져갔고, 찾던 작업 기록(episodic)은 결과에 없었다. 같은 질의를 recall로 보내면 그 기록이 바로 나왔다. 검색 엔진이 틀린 것이 아니었다. 저장소에 사본이 쌓였고, 사본이 상위 슬롯을 독식했다.Memento 이슈 #1137의 출발점이다. 이 글은 사본이 어디서 생겼는지, 쓰기, 읽기, 기존 데이터, 배포판 네 군데를 왜 따로 막아야 했는지 기록한다. 기존 데이터를 정리하는 방어선은 처음 만든 형태가 배포판 사용자에게 닿지 않아 마이그레이션으로 다시 만들어졌다.사본은 실패한 재조립에서 나왔다Memento는 episodic 기..
-
관계로 기억을 넓히려면 어디서 출발해야 하는가: 앵커 정밀도가 막은 그래프 확장MEMENTO 2026. 11. 12. 09:01
기억 서버에 관계 간선을 쌓아 두면 검색이 좋아질 것이라는 기대는 자연스럽다. 기억 하나를 찾았다면 그 기억과 이어진 이웃도 같은 질문에 쓸모가 있을 가능성이 높다. 사람의 연상 기억이 그렇게 움직이고, HippoRAG 이후 그래프 기반 검색 논문 대부분이 같은 직관 위에 서 있다. Memento에도 FOLLOWS, REFERENCES, CONTRASTS_WITH, BELONGS_TO 같은 관계가 이미 적재된다. 그런데 검색 결과의 1-hop 이웃을 근거로 덧붙여 보는 실험(#1675)은 실패했다. 이 글은 그 실패 뒤 이틀 동안 같은 라벨로 다시 계산하고, 항목 단위 관련성 필터를 새로 만들어 본 기록이다. 결론부터 적으면 간선은 문제가 아니었다. 어디서 출발하느냐가 문제였다.실패한 확장은 관계를 부정..