반응형
Retrieval
-
한 번 정한 임계값은 언제 다시 재야 하는가: 기각 게이트 0.4와 분리되지 않는 두 변수MEMENTO 2026. 11. 10. 09:02
검색 시스템에는 숫자 하나로 결정이 갈리는 지점이 있다. 오픈소스 에이전트 기억 서버 Memento에서는 기각 게이트가 그렇다. 질의가 들어오면 후보 기억 상위 10개를 작은 판정 모델(Jev)이 읽고 점수를 매긴다. 최고 점수가 0.4에 못 미치면 질의 전체를 "이 저장소에는 답이 없다"로 처리하고 아무것도 돌려주지 않는다. 0.4는 직관으로 찍은 값이 아니다. 2026년 10월 중순에 임계값을 0.20에서 0.60까지 0.05 간격으로 훑는 sweep을 돌려 정했다. 한 달 가까이 지난 11월 9일, 같은 sweep을 다시 돌렸다. 이 글은 그 재측정이 무엇을 알려줬고 무엇을 끝내 알려주지 못했는지에 관한 기록이다. 임계값을 한 번 정한 모든 시스템이 언젠가 같은 질문을 만난다.요약기각 게이트는 "최..