ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • 2B 모델은 한국어 문서작업에 쓸 만한가: 출력을 보기 전에 정한 다섯 기준과 버려진 첫 측정

    AI 2026. 11. 19. 09:06
    반응형

    작은 모델을 평가하는 글은 대개 결론이 먼저 정해진 채 시작한다. 크기가 3분의 1인데 점수가 이 정도면 충분하다는 결론, 혹은 역시 작은 모델은 안 된다는 결론이다. 어느 쪽이든 숫자를 본 뒤에 기준을 고르면 원하는 결론이 나온다. 노트북 한 대(Intel Core Ultra 7 155H, RAM 30GB)에서 MiniCPM5-2B가 한국어 문서작업에 쓸 만한지 재면서, 모델 출력을 한 줄도 보기 전에 판단 기준부터 적었다. 그 기준이 결과를 어떻게 묶었는지, 측정 코드의 결함이 결과를 어떻게 흔들었는지가 이 글의 줄기다.

    요약

    • 비교 대상은 MiniCPM5-2B(2.5B), qwen3:latest(8.2B), granite4.2:8b(8.8B)다. 공개 기사 4건으로 요약, 추출, 질의응답, 재작성 14과제를 만들었다.
    • 사전 기준 다섯 개 가운데 MiniCPM은 요약 정확성(4.0 이상)과 최고 비교 모델과의 격차(0.5점 이내)에서 떨어졌다. 다섯 개를 모두 넘은 모델은 qwen3:latest 하나였다.
    • 첫 측정 14회는 무효다. Think 지원 모델에 think 값을 보내지 않으면 Ollama가 Think를 켜고 별도 필드로 돌려준다. 코드는 그 필드를 버렸다.
    • temperature를 1.0에서 0.3으로 낮춘 재측정에서 MiniCPM은 14과제 중 2건에서 Think를 끝내지 못했다. 사전 규칙상 temperature 효과는 불분명이다.
    • 2~3B 모델끼리 붙이면 MiniCPM은 동급 열위다. 문서 근거 질의응답과 거절은 가장 낫지만 요약과 한국어 품질에서 qwen2.5:3b에 밀렸다.
    • 점수는 서로 다른 모델 둘(opus, sonnet)의 블라인드 교차 채점이고 사람 판정이 아니다. 과제당 1회, 14과제라 일반화할 수 없다.

    출력을 보기 전에 적어 둔 다섯 줄

    평가셋은 개인 지식 저장소에 모아 둔 공개 기사 네 건에서 만들었다. 뉴스 한 건, 기술 블로그 한 건, 에세이 한 건, 장문 한 건이다. 기사마다 붙어 있던 메타 설명과 핵심 요약 절은 잘라 냈다. 모델이 요약 과제에서 그 절을 베끼면 요약 능력이 아니라 복사 능력을 재게 되기 때문이다. 과제는 요약 4건, 추출 4건, 질의응답 4건, 재작성 2건이다. 정답은 원문을 읽고 모델을 돌리기 전에 먼저 썼다. 질의응답에는 문서에 답이 없는 질문을 섞어, 모델이 문서에 없음이라고 물러서는지도 보게 했다.

    판단 기준은 이렇게 적었다. MiniCPM5-2B를 한국어 문서작업에 쓸 만하다고 하려면 추출과 질의응답 정답률이 80% 이상이어야 한다. 답 없는 질문 네 개 중 셋 이상을 거절해야 한다. 요약 정확성 평균이 5점 만점에 4.0 이상이어야 한다. 반복 루프가 한 번도 없어야 한다. 정답률과 요약 점수가 비교 모델 최고치에서 각각 10%p, 0.5점 안에 들어야 한다. 다섯 줄 모두 넘어야 쓸 만하다고 판정한다.

    조건도 함께 고정했다. 모두 CPU 전용(num_gpu 0), 컨텍스트 32,768토큰, seed 42, top_p 0.95, repeat_penalty 1.05다. 비교의 기준이 되는 공통 조건은 세 모델 모두 Think를 끄고 temperature 0.3으로 돌린다. 여기에 MiniCPM만 제조사 권장값(Think 켬, temperature 1.0, min_p 0)으로 돌리는 조건을 하나 더 두었다. 권장 설정을 무시하고 깎아내렸다는 반론을 미리 막으려는 장치다.

    자동 채점은 추출 칸 정답, 질의응답 정답, 거절, JSON 형식, 반복 루프, 글자 수 제약, 한자와 가나 혼입을 본다. 요약과 재작성은 자동으로 채점하기 어렵다. 사람이 채점하는 대신 서로 다른 모델 두 개가 답안의 출처를 모른 채 각자 점수를 매기게 했고, 둘의 점수가 2점 이상 벌어지면 보류로 남겼다. 이 판정에는 사람 점수와 구별되도록 agent_panel이라는 이름을 붙였다. 이 글의 모든 판정 점수가 이 방식에서 나왔다.

    첫 14회는 버렸다

    측정을 돌리고 보니 MiniCPM 공통 조건의 결과가 이상했다. 추출 37칸 중 6칸만 맞았고, 여러 회차의 본문이 비어 있었다. 모델이 아무 말도 하지 않은 듯 보였다.

    원인은 측정 코드였다. 공통 조건은 Think를 끈다고 적어 놓고 실제 요청에는 think 값을 넣지 않았다. Ollama는 Think를 지원하는 모델에 think가 없으면 Think를 켠 채 실행하고, 생각한 내용을 응답 본문이 아닌 message.thinking 필드로 따로 돌려준다. 코드는 본문만 읽고 이 필드를 버렸다. 출력 상한 1,500토큰을 Think가 다 써 버린 회차는 본문이 비었다. 모델은 답을 쓰기 전에 길이 한도에 닿았고, 그 생각마저 측정 코드가 버렸다.

    이 조건은 무효로 표시해 판단에서 빼고, think: false를 실제로 보내는 조건을 새로 14회 돌렸다. 다른 조건보다 나중에 돌렸다는 점, 그래서 시점이 다르다는 점도 이탈 기록에 남겼다.

    제조사 문서는 MiniCPM5-2B의 지원 모드를 Think 하나로 명시한다. 그래서 판정을 대표하는 조건은 제조사 권장 조건(Think 켬)으로 두고, Think를 끈 결과는 비지원 모드의 참고값으로 내렸다. 메모리 사용량도 사전 계획대로 재지 못했다. 프로세스 이름 조건이 맞지 않아 RSS가 전부 0으로 찍혔다. 이 항목은 Ollama /api/ps가 보고하는 모델 크기로 바꾸고 그 사실을 적었다.

    판정은 요약에서 갈렸다

    첫 판정 결과는 다음과 같다. 점수는 모두 같은 채점 회차의 agent_panel 값이다.

    조건 추출+질의 정답률 요약 정확성 요약 포괄성 요약 한국어 재작성 정확성 재작성 한국어 소요 모델 크기
    qwen3:latest (8.2B) 87% 4.25 3.25 4.12 4.50 4.50 29.4분 10.3GB
    granite4.2:8b (8.8B) 69% 4.25 4.75 3.75 3.25 3.25 61.7분 11.0GB
    MiniCPM5-2B Think (권장) 81% 3.17 2.62 2.12 2.00 2.00 31.8분 3.1GB
    MiniCPM5-2B Think 끔 (비지원) 67% 3.62 2.38 3.38 4.00 2.75 8.2분 3.1GB

    두 채점 모델의 판정은 72개 축 가운데 71개에서 일치했다. 엇갈린 한 건은 MiniCPM Think 답안 하나의 요약 정확성(2점과 4점)이다. 이 보류 건을 어느 쪽 점수로 넣어도 요약 정확성은 3.5를 넘지 않는다.

    MiniCPM의 권장 조건을 기준에 대 보면, 정답률 81%로 첫 줄을 넘는다. 답 없는 질문은 넷 다 거절했다. 정답률 격차도 qwen3와 6%p라 10%p 안이다. 무너진 곳은 요약이다. 정확성 3.17은 4.0에 못 미치고, 최고 비교 모델 4.25와 1점 넘게 벌어졌다. 다섯 줄 중 두 줄에서 떨어졌으니 판정은 미달이다. 기준을 먼저 적어 두지 않았다면 정답률 81%와 3분의 1 크기를 앞세운 다른 결론을 쓰기 쉬웠다.

    점수 밖의 관찰이 판정을 뒷받침한다. MiniCPM Think의 요약에는 "지미인", "체안", "표면벌" 같은 깨진 단어가 나왔고 한자 "与否"가 끼어들었다. 팀장에게 보내는 메일로 고쳐 쓰라는 과제에서 "추가 문의는 팀장에게 주세요"라고 쓴 답도 있었다. 받는 사람에게 받는 사람을 찾으라는 셈이다. Think를 끈 조건은 한국어가 조금 나았지만 "팀장您好"가 나왔고, 장문 질의응답에서 답이 있는 질문 다섯 개 중 넷을 문서에 없음으로 거절했다.

    비교 모델도 깨끗하지 않았다. qwen3는 추출에서 37칸 중 32칸으로 가장 높았지만 AX를 "AI eXperience"로 풀이했다. granite는 요약 포괄성이 가장 높은 대신 재작성 두 건 모두 글자 수 제약을 넘겼고, 원문에 없는 "1주일 내"라는 기한을 지어냈다. 요약 하나만 보고 모델을 고르면 이런 차이가 묻힌다. 과제 유형을 나눠 둔 이유가 여기서 드러난다.

    temperature를 낮추면 나아질까

    MiniCPM의 한국어가 무너진 이유로 가장 먼저 의심할 만한 변수는 temperature다. 권장 조건은 1.0이고 비교 모델은 0.3이었다. 모델 탓인지 설정 탓인지 가르려고, 다음 날 temperature만 0.3으로 바꾼 조건을 추가로 사전등록했다. 판단 규칙도 출력을 보기 전에 정했다. 요약 한국어와 재작성 한국어가 둘 다 0.5점 이상 오르면 영향이 보인다, 둘 다 0.5점 미만이면 안 보인다, 나머지는 불분명이다.

    채점 모델의 편차를 막으려고 새 답안과 기존 답안을 다시 섞어 처음부터 채점했다. 그래서 아래 표의 점수는 앞 표와 직접 비교하지 않는다. qwen3의 요약 정확성은 4.25에서 4.00으로 바뀌었다. 같은 답안을 다시 채점하며 생긴 차이다.

    조건 정답률 요약 정확성 요약 한국어 재작성 한국어 Think 미완료
    qwen3:latest 87% 4.00 4.00 4.50 해당 없음
    Think, T 1.0, 상한 4,000 81% 3.12 2.12 2.00 0/14
    Think, T 0.3, 상한 4,000 (사전등록) 65% 3.50 3.00 2.00 2/14
    Think, T 0.3, 잘린 2건만 상한 12,000 (사후) 85% 3.50 3.00 3.00 0/14

    요약 한국어는 0.88점 올랐지만 재작성 한국어는 그대로다. 사전 규칙에 따르면 temperature 효과는 불분명이다. 더 눈에 띄는 변화는 Think가 끝나지 않은 두 회차다. 날짜 해석과 글자 수 세기를 되풀이하다 4,000토큰 상한에서 잘렸고, 반복 루프 검사에도 걸렸다. 사전등록 조건은 정답률 65%로 첫 기준부터 떨어졌다.

    출력을 본 뒤에 상한만 12,000으로 올려 잘린 두 과제를 다시 돌렸다. 각각 2,380토큰과 1,846토큰에서 끝났고 정답률은 85%로 올라갔다. 이 결과는 사전 판정에 넣지 않고 따로 적었다. 같은 seed로 돌려도 처음과 출력이 달라, 상한만의 효과라고 단정하지 않는다. 사후 조건을 합쳐도 요약 정확성은 3.50으로 기준에 못 미쳐 판정은 바뀌지 않았다. 한자 혼입은 사라졌지만 "스코라테스", "어디로 갑지는", "결과가 나지며" 같은 오류는 남았다.

    이 재측정에서 채점 코드 결함 두 개가 더 드러났다. 하나는 Think를 끝내지 못하고 잘린 출력을 코드가 답으로 취급해 실패 0건으로 셌다는 점이다. 잘린 Think 원문은 빈 답으로 바꿔 채점 모델에게도 (출력 없음)으로 보이게 했다. 반복 루프 판정은 원문 그대로 두어 사전 기준 네 번째 줄의 의미를 바꾸지 않았다. 다른 하나는 파싱할 JSON이 없는 추출 출력도 정답이 null인 칸에서 점수를 받았다는 점이다. JSON이 없으면 0점으로 고치고, 기존 조건의 점수가 바뀌는지 대조했다. 유효 조건의 점수는 그대로였고, 이미 무효 처리한 첫 조건의 추출만 6칸에서 5칸으로 줄었다. 측정 코드는 한 번 맞으면 계속 맞는 물건이 아니었다. 새 조건이 새 출력 모양을 만들 때마다 채점이 그 모양을 처음 만났다.

    같은 체급과 붙이면

    8B 모델과의 점수 차가 크지 않은데 크기는 3분의 1이라면 괜찮지 않은가. 이 질문에 답하려면 같은 크기의 모델과 붙여 봐야 한다. 이미 설치된 2.0~3.1B 모델 세 개(qwen2.5:3b, qwen3:1.7b, gemma2:2b)를 같은 14과제로 돌렸다. 판단 축은 정답률, 요약 정확성, 요약 한국어, 재작성 한국어 네 개로 정했다. 정답률 5%p 미만, 판정 0.5점 미만 차이는 동률로 본다. 어떤 동급 모델이 세 축 이상에서 높고 낮은 축이 없으면 동급 열위로 적는다. 답안 42개를 섞어 다시 채점했으니 이 표도 이 표끼리만 비교한다.

    모델 정답률 질의 거절 요약 정확성 요약 한국어 재작성 한국어 소요 모델 크기
    qwen3:latest (8.2B, 기준값) 87% 15/17 4/4 4.12 4.38 4.50 29.4분 10.3GB
    MiniCPM5-2B Think (2.5B) 81% 16/17 4/4 3.25 2.12 2.50 31.8분 3.1GB
    qwen2.5:3b (3.1B) 78% 9/17 2/4 3.88 3.88 3.00 11.5분 3.14GB
    qwen3:1.7b (2.0B) 70% 10/17 1/4 2.88 3.38 3.50 10.1분 4.93GB
    gemma2:2b (2.6B) 57% 4/17 1/4 3.00 3.38 3.75 11.4분 1.93GB

    qwen2.5:3b는 정답률에서 동률이고 요약 정확성, 요약 한국어, 재작성 한국어에서 0.5점 이상 앞선다. 규칙대로 MiniCPM은 동급 열위다. 소요 시간도 qwen2.5:3b의 세 배 가까이 된다.

    그렇다고 MiniCPM이 모든 면에서 뒤지지는 않았다. 질의응답 17개 중 16개를 맞혔고, 답 없는 질문 넷을 모두 거절하면서 답 있는 질문을 잘못 거절한 경우는 한 번도 없었다. 글자 수 제약도 두 건 모두 지켰다. 문서를 근거로 답하고 지시를 지키는 능력은 동급에서 가장 낫다. qwen2.5:3b는 반대다. 추출은 33칸으로 8B 모델보다도 많이 맞혔지만, 답 없는 질문에 문서에 없는 설명을 덧붙였고 재작성에 원문에 없는 성과("팀의 생산성이 크게 향상되었습니다")를 넣었다. 어떤 작업에 쓰느냐에 따라 순서가 뒤집히기도 하는 결과다. 사전 규칙이 요약과 한국어 품질에 축 셋을 주었기 때문에 판정이 이렇게 나왔다는 점도 같이 적어 둔다.

    나머지 두 모델에서도 배울 점이 있었다. gemma2:2b는 컨텍스트가 8,192토큰이라 장문 입력이 4,099토큰 근처에서 잘렸는데, 오류 없이 답을 냈다. 그 장문의 질문 네 개는 전부 문서에 없음으로 돌아왔다. 입력이 잘린 줄 모르는 모델은 문서에 정말 답이 없다고 성실하게 보고한다. qwen3:1.7b는 파라미터가 가장 적은데 메모리는 4.93GB로 동급에서 가장 컸다. 파라미터 수가 곧 메모리 크기는 아니었다. 동급 모델 가운데 다섯 기준을 모두 넘은 모델은 없었다.

    질의응답과 거절 채점이 너무 엄격했는지도 따로 확인했다. 깨진 JSON 복구, 숫자 순서 무시, 거절 표현 인정을 모든 모델에 사후로 적용해 보았다. qwen3:1.7b의 질의응답은 14/17까지 오르고 qwen2.5:3b의 거절은 4/4가 된다. MiniCPM의 질의응답 우위는 그대로였다. 너그러운 채점은 다른 모델을 끌어올렸을 뿐 질의응답 순서를 뒤집지 않았다.

    CPU와 iGPU, 어느 쪽이 빠른가

    품질 비교와는 별개로 같은 노트북에서 qwen3:latest를 CPU로 돌릴지 내장 GPU(Vulkan)로 돌릴지도 쟀다. 입력 3,300~3,900토큰짜리 과제 셋을 조건마다 두 번씩 돌렸고, 회차마다 모델을 새로 올렸다. 사전 규칙은 출력 속도 중앙값만 본다. CPU가 4.63 tok/s, iGPU가 2.36 tok/s였으니 규칙대로라면 CPU 권장이다.

    그런데 총 소요 시간은 iGPU가 약 38% 짧았다. 입력 처리 속도가 iGPU 103.2 tok/s, CPU 22.0 tok/s로 4.7배 차이였기 때문이다. 문서작업은 긴 입력을 읽고 짧게 답하는 일이 많다. 출력 속도만 보는 규칙은 이 비대칭을 놓쳤다. 측정 뒤에 두 속도로 손익분기를 계산하면 출력 토큰이 입력의 약 17%를 넘을 때 CPU가 유리하다. 이 값은 직접 잰 지점이 아니라 근사이고, 사후 분석으로 따로 표시했다. 전원 설정을 balanced로 바꿔 다시 재면 iGPU는 합계가 16% 더 짧아지고 최고 온도는 4도 내려갔다. CPU는 속도 변화가 없었다. 패키지 에너지는 balanced 기준 CPU 약 9.8Wh, iGPU 약 4.4Wh였다.

    다만 같은 주에 이 iGPU 경로는 다른 사용처에서 문제를 일으켰다. 로컬 모델을 코딩 에이전트에 붙여 큰 요청을 보내자 GPU가 멈췄고, 멈춘 서버가 빈 응답을 계속 돌려주는 사이 에이전트가 끝없이 재요청했다. CPU 전용으로 바꾸면 멈추지는 않았지만 첫 응답까지 5분이 넘게 걸렸다. 코딩 에이전트 없이 스크립트로 단순 요약을 시킨 다른 실사용에서도 품질이 모자랐다. 결국 이 노트북에서는 Ollama와 로컬 모델을 모두 내렸다. 위에서 qwen3:latest를 다섯 기준을 넘은 모델로 적었지만 그건 당시 판정이고, 지금 이 노트북의 기본값이 아니다. 문서작업 벤치마크가 고른 모델과 실제 운영 환경이 받아 준 모델은 다른 질문의 답이었다.

    결과를 바꾼 쪽은 측정 코드였다

    이번 측정의 표본은 작다. 과제는 14건이고 과제당 한 번만 돌렸다. MiniCPM Think는 temperature 1.0, 동급 모델은 Think 끔과 0.3이라 조건이 완전히 같지 않다. 조건을 무작위 순서로 돌리지 않았고, 측정 중 스왑을 10GB가량 썼다. seed를 고정해도 출력이 달라지는 회차가 있었다. 설치된 모델만 비교했고 양자화 방식도 하나(gemma2:2b의 Q4_0)가 다르다. 점수는 사람이 매기지 않았다. 이 숫자로 MiniCPM5-2B 일반의 한국어 능력을 말하지 않는다. 측정한 문서와 이 노트북에 대한 판단으로만 읽는다.

    그래도 이 측정에서 오래 쓸 교훈이 하나 남았다. 결과를 바꾼 사건 대부분이 모델이 아니라 측정 코드에서 일어났다. 보내지 않은 think 값 하나가 조건 하나를 통째로 무효로 만들었다. 잘린 생각을 답으로 센 채점이 실패를 0건으로 보고했다. JSON이 없는 출력이 빈 칸 점수를 받았다. 프로세스 이름이 맞지 않아 메모리는 전부 0이었다. 어느 결함도 오류를 내지 않았다. 숫자는 그럴듯했고, 그럴듯한 숫자는 의심받지 않는다. 출력을 보기 전에 적어 둔 기준과 이탈 기록이 있었기 때문에 결함을 고칠 때마다 고친 내용이 판정을 바꾸는지 따로 대조했다. 기준을 뒤에 정했다면 결함을 고치는 일과 결론을 고르는 일이 한데 섞였으리라.

    반응형
Designed by Tistory.