ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • 옆 사람에게 말하듯 쓴 프롬프트가 더 나을까: 맨 요청, 역할 부여, 구체 사건 90개 비교

    AI 2026. 11. 21. 09:49
    반응형

    프롬프트 잘 쓰는 법을 찾아보면 처방이 엇갈린다. 한쪽은 「너는 10년 차 전문가다」처럼 역할을 주라고 한다. 다른 쪽은 그런 틀 대신 상황을 이야기하듯 쓰라고 한다. Threads에서 본 한 글이 뒤쪽이었다. 거래처 과장에게 「작년 8월에 라인이 멈춰 복구에 두 시간 반이 걸렸죠, 그 두 시간 반을 없애려는 겁니다」라고 말했더니 대화가 이어졌다는 경험을 들며, 프롬프트도 옆 사람에게 말하듯 쓰라고 했다.

    그럴듯한 말이다. 다만 전후 비교나 측정은 없었다. 그래서 같은 사실을 세 가지 방식으로 말하는 프롬프트를 만들어, 실무형 과제 10개에서 답을 비교했다.

    요약

    • 비교한 방식은 셋이다. A 맨 요청(과제와 사실만 나열), B 역할 부여(A 앞에 「너는 10년 차 ○○다」 한 줄), C 구체 사건(같은 사실을 상황 이야기로)이다. 세 방식에 들어가는 사실의 양은 같게 맞췄다.
    • 과제 10개 x 방식 3개 x 3회로 출력 90개를 만들고, 모델 두 개가 출처를 모른 채 20점 만점으로 채점했다.
    • 「구체 사건이 낫다」는 주장은 확인되지 않았다. 평균은 composer-2.5 판정에서 A 17.87, B 17.90, C 17.17, Claude Opus 판정에서 A 16.93, B 16.97, C 15.87이었다. C가 가장 높은 과제는 10개 중 0개와 2개였다.
    • 역할 한 줄(B)은 맨 요청(A)과 거의 차이가 없었다. composer-2.5에서 0.03점, Opus에서 0.04점 차이다.
    • C가 가장 많이 깎인 항목은 「손대지 않고 바로 쓸 수 있음」이었다.
    • 사람이 아니라 모델이 채점했고, 과제는 10개다. 설계에서 정한 판정 모델(GPT, Gemini 계열)을 쓰지 못해 다른 모델로 바꿨다. 일반화할 수 없다.

    세 가지 방식, 같은 사실

    비교가 공정하려면 방식만 달라야 한다. 한쪽 프롬프트에 사실이 더 많이 들어가면, 점수 차이는 말하는 방식이 아니라 정보량에서 나온다. 그래서 과제마다 숫자, 이름, 마감 같은 사실을 먼저 고정하고, 세 방식 모두 같은 사실을 넣었다. 길이도 C가 A의 1.5배를 넘지 않게 맞췄다.

    업무 메일 과제로 보면 이렇다. A는 사실을 글머리로 늘어놓는다.

    다음 내용으로 납기 3일 지연을 거래처에 알리는 메일을 써 줘. 사실:
    - 우리 회사: 한결정밀 영업팀 오세린 대리
    - 거래처: 다온모빌리티 구매팀 강도윤 과장
    - 품목: 알루미늄 브래킷 B-220 4,000개, 주문번호 PO-7731
    - 원래 납기 11월 25일, 새 납기 11월 28일(3일 지연)
    ...
    

    B는 A의 첫 줄에 「너는 10년 차 구매/영업 담당자다.」만 더한다. C는 같은 사실을 말로 풀어 쓴다.

    어제 도금 협력사가 설비 점검 때문에 도금 공정이 3일 밀린다고 알려 왔어.
    나는 한결정밀 영업팀 오세린 대리고, 다온모빌리티 구매팀 강도윤 과장님께
    주문번호 PO-7731, 알루미늄 브래킷 B-220 4,000개 납기를 11월 25일에서
    11월 28일로 미뤄야 한다고 알려야 해. ...
    

    과제 10개는 이 측정을 위해 새로 쓴 가상 상황이다. 업무 메일, 장애 로그 요약, 기획서 위험 검토, 블로그 도입부, 회의록 정리, 거절 답장, 코드 리뷰 코멘트, 고객 문의 답변, 발표 요지, 면담 질문 만들기다. 공개 예제를 쓰지 않은 이유는 판정 모델이 학습 중에 봤을 가능성을 줄이기 위해서다.

    측정 방법

    답은 Claude Sonnet(claude-sonnet-5-5)이 썼다. 출력마다 새 세션으로 돌렸고, 도구와 MCP, 훅은 껐다. 시스템 프롬프트는 claude -p 기본값을 그대로 두었다.

    채점은 두 모델이 맡았다. 설계에서는 생성 모델과 회사가 다른 GPT, Gemini 계열로 정했지만 둘 다 쓸 수 없는 상태였다. 대신 Cursor의 자체 모델 composer-2.5와 Claude Opus를 썼다. Opus는 생성 모델과 같은 회사라 자기 문체를 높게 볼 수 있다. 그래서 두 판정의 점수를 합치지 않고 따로 적었다. 판정 모델에는 과제 설명, 사실, 출력만 주고 어떤 방식으로 만든 출력인지는 숨겼다.

    채점표는 네 항목, 항목마다 5점이다.

    • 사실 정확: 주어진 사실을 틀리거나 빠뜨리지 않았나
    • 목적 달성: 받은 사람이 원래 목적대로 움직일 수 있나
    • 바로 쓸 수 있음: 손대지 않고 보낼 수 있나
    • 군더더기 없음: 필요 없는 문장, 상투어, 과장이 없나

    판정 규칙도 측정 전에 정했다. 「C가 낫다」고 말하려면 전체 평균에서 C가 A와 B보다 각각 1.0점 이상 높고, 과제 10개 중 7개 이상에서 C가 가장 높아야 한다.

    결과: 구체 사건이 가장 낮았다

    판정 A 맨 요청 B 역할 부여 C 구체 사건
    composer-2.5 17.87 17.90 17.17
    Claude Opus 16.93 16.97 15.87

    두 판정 모두 C가 가장 낮았다. composer-2.5에서는 0.7점, Opus에서는 1.1점 낮다. C가 가장 높은 과제는 composer-2.5 기준 0개, Opus 기준 2개(블로그 도입부, 발표 요지)였다. 사전에 정한 규칙으로는 「C가 낫다」 조건을 두 판정 모두 채우지 못했고, 판정은 「차이 없음 또는 판단 보류」다. 규칙에 「C가 나쁘다」를 판정하는 기준은 정해 두지 않았으므로, 여기서도 C가 나쁘다고 단정하지는 않는다.

    같은 회사 모델이라 편향이 걱정됐던 Opus가 오히려 C를 가장 낮게 줬다. 두 판정 모델의 점수가 한 항목에서 2점 이상 벌어진 경우는 360개 항목 중 8개였다.

    역할 한 줄은 거의 아무것도 바꾸지 않았다. A와 B의 평균 차이는 composer-2.5에서 0.03점, Opus에서 0.04점이다. 과제별로는 B가 앞선 곳도 A가 앞선 곳도 있었지만, 한쪽으로 기울지 않았다.

    C가 깎인 자리: 바로 보낼 수 있는가

    항목별로 나누면 차이가 어디서 나왔는지 보인다.

    판정 방식 사실 목적 바로 군더더기
    composer-2.5 A 4.80 4.93 4.17 3.97
    composer-2.5 C 4.70 4.83 3.80 3.83
    Claude Opus A 4.57 4.70 3.77 3.90
    Claude Opus C 4.17 4.50 3.43 3.77

    두 판정 모두 「바로 쓸 수 있음」에서 C가 A보다 0.3점 넘게 낮았다. Opus는 「사실 정확」에서도 0.4점 깎았다.

    차이가 가장 컸던 과제는 고객 문의 답변이다. composer-2.5 기준 A 18.67, C 15.00이다. 판정 이유를 읽어 보면 C 출력에 대한 판정 6개(판정 모델 2개 x 3회)가 모두 같은 점을 짚었다. 규정과 금액, 기한은 정확히 담았지만 점검을 어디로 신청하는지가 빠져 있어 고객이 바로 움직일 수 없다는 것이다. A와 B 출력은 대부분 신청이나 회신 방법을 적었다.

    본문 밖에 작성자에게 남기는 메모가 붙어 그대로 보낼 수 없다는 지적도 있었다. 이건 C만의 문제는 아니었다. 전체 판정 이유 가운데 이런 메모를 지적한 경우를 세어 보면 A 60개 중 7개, B 9개, C 14개였다. C에서 두 배쯤 많았지만 세 방식 모두에서 나왔다.

    길이와 토큰도 함께 봤다. 출력 글자 수는 A 641자, B 670자, C 660자로 비슷했다. 출력 토큰은 C가 1,133으로 A의 972보다 많았다. 되물은 경우는 90개 중 하나도 없었다.

    이 결과를 어떻게 쓸까

    이야기하듯 쓰는 프롬프트가 쓸모없다는 뜻은 아니다. 이번 비교에서 세 방식은 사실의 양이 같았다. 원글이 말한 효과의 상당 부분은 말투보다 「구체적인 사실을 준다」는 데서 나왔을 수 있다. 숫자, 이름, 마감을 빠짐없이 넣는 것이 먼저이고, 그것을 글머리로 줄지 이야기로 줄지는 이번 과제들에서 큰 차이를 만들지 않았다. 굳이 고르면 글머리 나열이 조금 나았다.

    바로 보낼 글을 받아야 하는 일이라면, 방식과 상관없이 「고객에게 보낼 본문만 써 줘」처럼 출력의 범위를 못박는 한 줄이 필요해 보인다. 메모가 붙는 일이 세 방식 모두에서 나왔기 때문이다. 이 한 줄의 효과는 재지 않았다.

    한계

    • 사람이 아니라 모델이 채점했다. 판정 모델은 composer-2.5와 Claude Opus이고, 설계에서 정한 GPT, Gemini 계열은 쓰지 못했다. 같은 출력을 2026-11-27 이후 GPT, Gemini 계열로 다시 채점할 예정이다.
    • 과제는 10개, 방식당 출력은 30개다. 모두 한국어 실무형 글쓰기 과제이고, 코드 생성이나 추론 문제는 넣지 않았다.
    • 생성 모델은 Sonnet 하나다. 다른 모델에서도 같은 순서가 나온다는 근거는 없다.
    • 시스템 프롬프트는 claude -p 기본값이다. 시스템 프롬프트가 다르면 결과가 달라질 수 있다.
    • 생성 도중 주간 사용 한도 안내문이 답 대신 저장된 61건은 버리고 다시 생성했다. 최종 90건은 모두 실제 답이다.
    • C가 깎인 이유는 판정 모델이 남긴 한 줄 이유에서 읽은 것이다. 메모 지적 횟수는 그 이유 문장을 낱말로 세어 얻었고, 출력을 사람이 직접 다시 확인하지는 않았다.
    반응형
Designed by Tistory.