LLM
-
옆 사람에게 말하듯 쓴 프롬프트가 더 나을까: 맨 요청, 역할 부여, 구체 사건 90개 비교AI 2026. 11. 21. 09:49
프롬프트 잘 쓰는 법을 찾아보면 처방이 엇갈린다. 한쪽은 「너는 10년 차 전문가다」처럼 역할을 주라고 한다. 다른 쪽은 그런 틀 대신 상황을 이야기하듯 쓰라고 한다. Threads에서 본 한 글이 뒤쪽이었다. 거래처 과장에게 「작년 8월에 라인이 멈춰 복구에 두 시간 반이 걸렸죠, 그 두 시간 반을 없애려는 겁니다」라고 말했더니 대화가 이어졌다는 경험을 들며, 프롬프트도 옆 사람에게 말하듯 쓰라고 했다.그럴듯한 말이다. 다만 전후 비교나 측정은 없었다. 그래서 같은 사실을 세 가지 방식으로 말하는 프롬프트를 만들어, 실무형 과제 10개에서 답을 비교했다.요약비교한 방식은 셋이다. A 맨 요청(과제와 사실만 나열), B 역할 부여(A 앞에 「너는 10년 차 ○○다」 한 줄), C 구체 사건(같은 사실을 ..
-
2B 모델은 한국어 문서작업에 쓸 만한가: 출력을 보기 전에 정한 다섯 기준과 버려진 첫 측정AI 2026. 11. 19. 09:06
작은 모델을 평가하는 글은 대개 결론이 먼저 정해진 채 시작한다. 크기가 3분의 1인데 점수가 이 정도면 충분하다는 결론, 혹은 역시 작은 모델은 안 된다는 결론이다. 어느 쪽이든 숫자를 본 뒤에 기준을 고르면 원하는 결론이 나온다. 노트북 한 대(Intel Core Ultra 7 155H, RAM 30GB)에서 MiniCPM5-2B가 한국어 문서작업에 쓸 만한지 재면서, 모델 출력을 한 줄도 보기 전에 판단 기준부터 적었다. 그 기준이 결과를 어떻게 묶었는지, 측정 코드의 결함이 결과를 어떻게 흔들었는지가 이 글의 줄기다.요약비교 대상은 MiniCPM5-2B(2.5B), qwen3:latest(8.2B), granite4.2:8b(8.8B)다. 공개 기사 4건으로 요약, 추출, 질의응답, 재작성 14과..
-
계획 모드는 왜 죽었는가: 거대 계획 문서의 종말과 Understand-Act-Inspect 루프AI 2026. 10. 13. 09:02
계획 모드는 왜 죽었는가: 거대 계획 문서의 종말과 Understand-Act-Inspect 루프핵심 요약: 초창기 AI 코딩 도구는 환각과 빗나간 코드 생성을 막기 위해 엄격한 사전 계획 모드(Plan Mode)를 도입했습니다. 명세를 작성하고, 사람 승인을 받고, 코드를 생성하는 워터폴(Waterfall) 방식이었습니다. 하지만 모델 성능 향상과 에이전트 자율성 확대로 인해 수백 줄짜리 AI 생성 계획 문서는 사람이 읽기 힘든 인지 부채로 전락했습니다. 전 GitHub 엔지니어이자 Nuanced 창업자인 Ayman Nadeem의 실패 분석과 Claude Code 리드 Boris Cherny의 통찰을 바탕으로, 왜 선형 계획 모드가 퇴색하고 Understand → Act → Inspect 루프와 검증 ..
-
코딩 에이전트 하네스 설계 실증 연구: 176회 실험으로 밝혀진 컨텍스트·계획·도구의 진실AI 2026. 9. 26. 11:00
코딩 에이전트 하네스 설계 실증 연구: 176회 실험으로 밝혀진 컨텍스트·계획·도구의 진실출처: UMass Amherst · Emory University · UNC Charlotte · Zoom Video Communications — An Empirical Study of Harness Design for Coding Agents (arXiv:2609.20804) · GeekNews #33905 · Hacker News #497538781. 리더보드의 신기루: 모델이 뛰어난 것인가, 하네스가 영리한 것인가?코딩 에이전트 벤치마크(SWE-Bench, Terminal-Bench 등)의 리더보드를 살펴볼 때마다 모든 AI 엔지니어는 필연적으로 동일한 의문에 직면합니다."OpenHands가 SWE-Agent..
-
프롬프트는 실재하지 않는다: 프로덕션 AI 에이전트와 자기 교정 하네스 아키텍처AI 2026. 9. 26. 10:20
프롬프트는 실재하지 않는다: 프로덕션 AI 에이전트와 자기 교정 하네스 아키텍처출처: Dan McKinley (mcfunley.com, 전 Etsy 수석 엔지니어·Choose Boring Technology 저자) — Prompts aren’t Real: Dispatches from Agentic Product · GeekNews #34036 · Hacker News #497771111. 프롬프트라는 환상과 '의도적 관점'의 오류소프트웨어 엔지니어링 역사에서 명저로 꼽히는 Choose Boring Technology(지루한 기술을 골라라)의 저자이자 25년 경력의 베테랑 엔지니어 댄 맥킨리(Dan McKinley)가 최근 엔터프라이즈 AI 에이전트를 프로덕션에 구축하며 겪은 생생한 현장 경험을 공유했습니..
-
에이전트의 기억과 비용을 지키는 법: 컨텍스트 예산(Budgeting)과 구조화 압축AI 2026. 9. 20. 08:32
참고: 본 글은 장기 실행(Long-running) 및 멀티턴 자율 에이전트 구축 시 직면하는 토큰 한계와 문맥 손실 문제를 해결하기 위한 결정론적 예산 할당(Context Budgeting) 및 구조화 압축(Structured Compression) 아키텍처 패턴을 다룹니다.📌 한 줄 요약멀티턴 에이전트의 컨텍스트 초과와 비용 폭증을 방어하기 위해, 매 턴마다 고정 예약(시스템 프롬프트·도구 스키마·출력 버퍼)을 먼저 차감하여 가용 입력 예산을 동적으로 산출하고, 최근 $N$턴은 원문을 보존하되 이전 대화는 fact / decision / todo 삼분법으로 구조화 요약하여 정보 왜곡 없는 결정론적 하네스(Harness)를 구축하는 패턴입니다.1. 배경: 멀티턴 에이전트가 겪는 3대 컨텍스트 위기LL..
-
에이전트는 왜 매번 처음부터일까? — AI 기억 보조 MCP 서버 Memento 소개MEMENTO 2026. 2. 25. 23:59
챗봇에게 "지난주에 말한 그 API 키 위치 다시 알려줘"라고 하면, 대부분의 에이전트는 묵묵부답이거나 "이전 대화는 기억하지 못합니다"라고 답한다. 세션만 바뀌어도 컨텍스트가 사라진다. 에이전트에게는 '기억'이 없기 때문이다. 이 글에서는 그 문제를 인정하고, 사람의 기억 구조를 모방한 Memento라는 MCP 서버로 에이전트에 지속적인 기억을 붙이는 방법을 소개한다.문제: 에이전트는 매 대화가 첫 만남이다세션 의존: 대화가 끊기면 이전 맥락이 전부 사라진다.반복 설명: 프로젝트 규칙, 선호 설정, 과거 결정을 매번 다시 말해야 한다.일관성 부족: 어제 추천한 방식과 오늘 추천이 달라질 수 있다.즉, 기억이 없으니 매번 "처음부터" 대화하는 것과 다르지 않다. 사람이라면 당연히 기억할 일들을 에이전트는..
-
AI 에이전트의 자기 객관화: memento '메타 메모리' 구현기MEMENTO 2026. 1. 14. 22:11
Intro: AI가 자신의 기억력을 평가할 수 있다면?"AI 에이전트가 단순히 정보를 꺼내오는(Recall) 것을 넘어, '내가 이 정보를 얼마나 자주, 얼마나 확실하게 기억해냈는지'를 알 수 있다면 어떨까요?"memento(GitHub) 프로젝트를 개발하며 항상 고민했던 것은 '기억의 품질'이었습니다. 단순히 저장된 텍스트를 벡터 검색으로 가져오는 것만으로는 부족했습니다. 어떤 기억은 매우 유용해서 자주 쓰이고(High Recall), 어떤 기억은 모호해서 신뢰도가 낮을 수(Low Confidence) 있습니다.이번 PR #77 은 바로 이 '메타 메모리(Meta-Memory)'를 구현하여, 에이전트에게 일종의 '메타인지(Meta-cognition)' 능력을 부여하는 작업이었습니다.The Challen..