전체 글
-
2B 모델은 한국어 문서작업에 쓸 만한가: 출력을 보기 전에 정한 다섯 기준과 버려진 첫 측정AI 2026. 11. 19. 09:06
작은 모델을 평가하는 글은 대개 결론이 먼저 정해진 채 시작한다. 크기가 3분의 1인데 점수가 이 정도면 충분하다는 결론, 혹은 역시 작은 모델은 안 된다는 결론이다. 어느 쪽이든 숫자를 본 뒤에 기준을 고르면 원하는 결론이 나온다. 노트북 한 대(Intel Core Ultra 7 155H, RAM 30GB)에서 MiniCPM5-2B가 한국어 문서작업에 쓸 만한지 재면서, 모델 출력을 한 줄도 보기 전에 판단 기준부터 적었다. 그 기준이 결과를 어떻게 묶었는지, 측정 코드의 결함이 결과를 어떻게 흔들었는지가 이 글의 줄기다.요약비교 대상은 MiniCPM5-2B(2.5B), qwen3:latest(8.2B), granite4.2:8b(8.8B)다. 공개 기사 4건으로 요약, 추출, 질의응답, 재작성 14과..
-
서버 셋을 하나로: x.com 웹 재작성이 옛 서버를 명세로 삼은 방법ARCHIVE 2026. 11. 17. 20:34
느린 회선에서 x.com 첫 게시물이 뜨기까지 23.9초가 걸렸다. 새로 만든 앱은 같은 조건에서 2.7초다(랩 측정). X Engineering이 2026-11-04에 올린 글은 이 차이를 만든 재작성 과정을 적었다. 이 글은 그 내용에서 설계 판단 네 가지를 골라 정리한다. 원문은 Rebuilding the global town square from scratch이고, 수치는 모두 그 글의 랩 수치다.요약사람, 검색 크롤러, 링크 미리보기 봇이 서로 다른 서버 세 대에서 응답을 받았다. 새 앱은 한 서버가 방문자 종류에 따라 응답을 다르게 만든다.처음부터 다시 쓰지 않았다. 옛 서버를 계속 배포하면서 크롤러부터, 로그인 사용자는 국가 단위로 옮겼다.옛 서버가 명세였다. 같은 경로를 양쪽에 요청해 결과..
-
사본 다섯 개가 주입 예산을 다 먹었다: triple 재조립 폴백이 만든 semantic 중복과 네 겹의 방어선MEMENTO 2026. 11. 14. 09:02
작업 기록을 남기려고 memory_injection을 불렀더니 기억 다섯 개가 돌아왔다. 다섯 개 모두 글자 하나까지 같았다. 토큰 예산 713은 사본 다섯 개가 전부 가져갔고, 찾던 작업 기록(episodic)은 결과에 없었다. 같은 질의를 recall로 보내면 그 기록이 바로 나왔다. 검색 엔진이 틀린 것이 아니었다. 저장소에 사본이 쌓였고, 사본이 상위 슬롯을 독식했다.Memento 이슈 #1137의 출발점이다. 이 글은 사본이 어디서 생겼는지, 쓰기, 읽기, 기존 데이터, 배포판 네 군데를 왜 따로 막아야 했는지 기록한다. 기존 데이터를 정리하는 방어선은 처음 만든 형태가 배포판 사용자에게 닿지 않아 마이그레이션으로 다시 만들어졌다.사본은 실패한 재조립에서 나왔다Memento는 episodic 기..
-
관계로 기억을 넓히려면 어디서 출발해야 하는가: 앵커 정밀도가 막은 그래프 확장MEMENTO 2026. 11. 12. 09:01
기억 서버에 관계 간선을 쌓아 두면 검색이 좋아질 것이라는 기대는 자연스럽다. 기억 하나를 찾았다면 그 기억과 이어진 이웃도 같은 질문에 쓸모가 있을 가능성이 높다. 사람의 연상 기억이 그렇게 움직이고, HippoRAG 이후 그래프 기반 검색 논문 대부분이 같은 직관 위에 서 있다. Memento에도 FOLLOWS, REFERENCES, CONTRASTS_WITH, BELONGS_TO 같은 관계가 이미 적재된다. 그런데 검색 결과의 1-hop 이웃을 근거로 덧붙여 보는 실험(#1675)은 실패했다. 이 글은 그 실패 뒤 이틀 동안 같은 라벨로 다시 계산하고, 항목 단위 관련성 필터를 새로 만들어 본 기록이다. 결론부터 적으면 간선은 문제가 아니었다. 어디서 출발하느냐가 문제였다.실패한 확장은 관계를 부정..
-
한 번 정한 임계값은 언제 다시 재야 하는가: 기각 게이트 0.4와 분리되지 않는 두 변수MEMENTO 2026. 11. 10. 09:02
검색 시스템에는 숫자 하나로 결정이 갈리는 지점이 있다. 오픈소스 에이전트 기억 서버 Memento에서는 기각 게이트가 그렇다. 질의가 들어오면 후보 기억 상위 10개를 작은 판정 모델(Jev)이 읽고 점수를 매긴다. 최고 점수가 0.4에 못 미치면 질의 전체를 "이 저장소에는 답이 없다"로 처리하고 아무것도 돌려주지 않는다. 0.4는 직관으로 찍은 값이 아니다. 2026년 10월 중순에 임계값을 0.20에서 0.60까지 0.05 간격으로 훑는 sweep을 돌려 정했다. 한 달 가까이 지난 11월 9일, 같은 sweep을 다시 돌렸다. 이 글은 그 재측정이 무엇을 알려줬고 무엇을 끝내 알려주지 못했는지에 관한 기록이다. 임계값을 한 번 정한 모든 시스템이 언젠가 같은 질문을 만난다.요약기각 게이트는 "최..
-
긴 기억은 왜 벡터 검색에서 지는가: 평균 풀링의 산수와 max-simMEMENTO 2026. 11. 7. 09:11
에이전트의 기억 저장소에서 가장 값진 기록은 대개 길다. 장애 회고, 런북, 며칠에 걸친 디버깅 기록은 결론과 근거를 함께 담느라 길어진다. 오픈소스 프로젝트 Memento의 벡터 검색에서 이런 글이 구조적으로 밀렸다. 내용이 틀려서도, 주제가 어긋나서도 아니었다.Memento의 검색 품질 벤치마크 코퍼스(benchmark-v3) 3,461건에서 질의 HTTP 서버 에러 처리의 코사인 바닥값은 10위 0.5944, 40위 0.4416이었다. 이 코퍼스에서 질의와 가장 비슷한 문서 60건을 골라 12,000자로 이어 붙이고 코사인을 쟀다. 결과는 0.3094, 40위 밖이다. 가장 관련 높은 내용만 모아도 길면 졌다.요약윈도를 평균 낸 문서 벡터의 점수는 윈도별 코사인의 평균에 비례한다. 윈도 하나만 질의..
-
한 줄짜리 보안 패치가 아니었다: CI 신호를 믿지 못한 네 장면과 조용한 임베딩 폴백MEMENTO 2026. 11. 5. 09:06
어느 날 오픈소스 프로젝트 Memento의 Security Check 워크플로가 빨개졌다. 이미 면제 목록에 올려 둔 패키지 4개가 이유였고, 해당 코드를 건드린 사람은 없었다. 테스트 워크플로의 잡 9개는 모두 초록이었다. 원인을 찾아 고친 변경의 package.json diff는 정말 한 줄이었다.- "sharp": "^0.34.4",+ "sharp": "^0.35.4",PR 제목에 적기 민망할 만큼 작은 수정이다. 그런데 이 한 줄을 안전하게 머지하는 과정에서 CI가 보여 주는 빨강과 초록을 믿지 못할 장면이 네 번 나왔다. 나중에는 이 한 줄이 수정의 본체라는 설명까지 틀렸다고 밝혀졌다. 이 글은 공개 저장소에 남은 이슈와 PR, 코드를 따라 그 네 장면을 되짚는다. 작업은 플래너(Op..
-
에러가 없으면 에이전트는 멈추지 않는다: 전진 본능과 브레이크를 설계에 넣는 법AI 2026. 11. 4. 21:02
에이전트에게 데이터 1,000건을 변환하라고 시켰다고 하자. 프로세스는 exit code 0으로 끝나고, 요약에는 "99%를 성공적으로 변환했습니다. 다음 단계로 넘어가겠습니다"라고 적힌다. 이 문장에서 가장 중요한 정보는 빠졌다. 나머지 10건이 무엇이고 왜 실패했는지 아무도 모른다.에이전트가 스택 트레이스를 읽고 고치는 솜씨는 이제 놀랍지 않다. 어려운 문제는 그 반대편에 산다. 아무것도 터지지 않았는데 결과가 틀린 경우다. 이 글은 그 실패 모드를 다룬다. 이름은 한 연구자의 강의에서 빌리고, 사례는 공개 저장소의 PR에서 가져온다.요약에이전트는 에러 메시지를 신호 삼아 잘 고친다. 신호가 없는 오류 앞에서는 그대로 다음 단계로 간다. 안상진 교수는 이 경향을 "전진 본능"이라 불렀다.사람의 감각에..