ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • 에이전트에게 웹을 보여 주는 세 가지 방법: Playwright, Claude in Chrome, Orca 브라우저를 같은 과제로 재 봤다

    AI 2026. 11. 21. 08:44
    반응형

    에이전트가 웹 페이지를 봐야 할 때 쓸 수 있는 도구는 여러 가지다. 비교 글도 많다. Threads에서 본 한 비교는 Claude in Chrome, Aside, ego lite에 같은 과제 다섯 개를 시키고 토큰과 시간을 표로 냈다. Claude in Chrome은 다섯 개 중 세 개만 끝냈고, 셋 다 끝낸 두 과제 합계로 33만 토큰을 썼다. Aside는 4만 4천 토큰이었다. 숫자 차이가 커서 눈길이 갔지만, 과제마다 한 번씩 잰 결과였고 내가 실제로 쓰는 도구와는 조합이 달랐다.

    나는 에이전트에게 웹을 보여 줄 때 세 가지를 섞어 쓴다. 스크립트로 돌리는 Playwright, 내 Chrome에 붙은 Claude in Chrome 확장, 코딩 에이전트를 띄우는 Orca 앱에 들어 있는 브라우저다. 어느 상황에 무엇을 고를지는 감으로 정해 왔다. 그 감을 숫자로 바꾸려고 같은 과제 세 개를 도구마다 세 번씩 돌렸다.

    요약

    • 과제는 공개 글 읽기, 로그인이 필요한 관리 화면 확인, 1280px 화면 캡처 세 개다. 도구마다 3회, 모두 27회 돌렸다.
    • 공개 글 읽기는 Claude in Chrome이 1.61초로 가장 빨랐다. 에이전트에게 돌아온 출력은 Playwright가 1,009토큰으로 가장 작았다(Chrome 1,190, Orca 1,389).
    • 화면 캡처는 Playwright가 3.53초로 가장 빨랐고, 컨텍스트 비용은 Claude in Chrome 0.5배 캡처가 약 680토큰으로 가장 작았다. 세 도구 모두 한글이 깨지지 않았다.
    • 로그인이 필요한 관리 화면은 내가 로그인한 뒤 다시 재니 Claude in Chrome(3.51초, 164토큰)과 Orca 브라우저(5.54초, 333토큰)가 3/3, 매번 새 프로필로 여는 Playwright는 0/3이었다.
    • 고르는 기준으로 정리하면, 되풀이할 확인은 Playwright 스크립트, 에이전트가 한 번 보고 마는 확인은 Claude in Chrome 묶음 호출, 내 Chrome을 건드리면 안 될 때는 Orca 브라우저다.
    • PC 한 대, 페이지 2개, 과제마다 3회다. 토큰은 출력 원문을 Claude 토크나이저로 셌지만 에이전트의 호출 문장은 넣지 않았고, Chrome 시간에는 에이전트 호출 왕복이 섞인다. 일반화할 수 없다.

    측정 전에 정한 것

    과제, 지표, 판정 방식은 측정을 시작하기 전에 문서로 고정했다. 결과를 본 뒤에 과제를 바꾸면 원하는 결론을 고르게 되기 때문이다.

    세 도구는 이렇게 돌렸다.

    • Playwright: Python playwright의 Chromium을 headless로, 로그인하지 않은 새 프로필에서 스크립트로 실행했다.
    • Claude in Chrome: 내 Chrome에 설치한 확장이다. 에이전트가 MCP 도구를 직접 부른다. 새 탭을 열고 끝나면 닫았다.
    • Orca 브라우저: orca CLI로 내장 브라우저 탭을 열고, 기다리고, 스크립트를 실행하고, 캡처했다. 이것도 스크립트로 돌렸다.

    과제는 셋이다. 쓰기 동작은 하나도 넣지 않았다.

    1. 공개 글 읽기: 이 블로그의 글 하나를 열어 제목과 본문 첫 1,000자를 얻는다. 제목이 맞고 본문이 1,000자 이상이면 성공이다.
    2. 로그인이 필요한 페이지 확인: 블로그 관리 화면을 열어 로그인 화면으로 넘어가지 않는지 확인만 한다. 아무것도 누르지 않고 비밀번호도 넣지 않는다.
    3. 화면 캡처: 과제 1 페이지를 1280px 너비로 캡처하고, 한글 제목이 깨지지 않았는지 이미지를 읽어 판정한다.

    잰 것은 성공 여부, 걸린 시간, 에이전트에게 돌아온 출력의 토큰 수, 도구 호출 수, 사람이 손댄 횟수다. 토큰은 각 도구의 출력 원문을 Claude 토크나이저로 셌고, 이미지는 Anthropic이 안내하는 계산식(가로 x 세로 / 750)으로 환산했다. 숫자는 3회의 중앙값과 범위로 적었다.

    공개 글 읽기: 빠른 쪽과 작은 쪽이 다르다

    도구 성공 시간(초) 출력 토큰 호출
    Playwright 3/3 3.16 (3.00~3.77) 1,009 스크립트 1회
    Claude in Chrome 3/3 1.61 1,190 묶음 호출 1회
    Orca 브라우저 3/3 4.61 (3.80~6.88) 1,389 CLI 4회

    가장 빠른 도구는 Claude in Chrome이었다. 페이지 이동과 JavaScript 실행을 한 번의 묶음 호출로 보낼 수 있어서, 에이전트가 왕복하는 횟수가 한 번으로 끝난다. 대신 돌려받는 출력이 Playwright보다 18% 많다. 본문 외에 탭 정보가 같이 붙어 오기 때문이다. 확장이 일정 길이에서 출력을 잘라 끝에 「[TRUNCATED]」를 붙였는데도 그렇다. 에이전트 입장에서 출력 토큰은 곧 컨텍스트를 차지하는 비용이다.

    Playwright는 원하는 것만 골라 돌려준다. 스크립트가 제목과 본문 앞부분만 뽑아 출력하니 1,009토큰으로 끝난다. Orca 브라우저는 탭 열기, 대기, 실행을 CLI 명령 네 번으로 나눠 부르다 보니 가장 느렸고, 네 번의 출력을 합치면 토큰도 가장 많았다.

    이 표의 Chrome 시간은 한 번만 깨끗하게 잰 값이다. Claude in Chrome은 에이전트가 직접 부르는 도구라, 같은 메시지에 다른 도구 호출이 끼어들면 그 시간이 함께 잡힌다. 1회와 2회가 각각 17.8초로 나왔는데, 둘 다 다른 호출이 섞인 회차라 중앙값에서 뺐다.

    화면 캡처: 이미지 크기가 비용이다

    도구 성공 시간(초) 출력 토큰
    Playwright 3/3 3.53 (3.12~4.15) 54, 이미지를 읽으면 약 1,536 추가
    Claude in Chrome 3/3 6.15 (5.44~6.86) 277 + 이미지 약 404(0.5배). 원본 크기면 이미지 약 1,614
    Orca 브라우저 3/3 7.10 (4.15~7.72) 364, 이미지를 읽으면 약 1,600 추가

    세 도구 모두 한글 제목과 본문이 깨지지 않았다. Playwright 캡처는 광고 자리가 비어 「Google AdSense」 표시만 남았다.

    시간은 Playwright가 가장 짧았다. 비용은 이미지 크기로 봐야 한다. 에이전트가 이미지를 읽으면 크기에 비례해 컨텍스트를 쓴다. Claude in Chrome은 캡처가 대화에 바로 붙는 대신, 배율을 0.5로 주면 746x406으로 받아 이미지 토큰이 약 1,614에서 약 404로 4분의 1이 된다. 글과 합쳐 약 680토큰으로 셋 중 가장 작다. Playwright와 Orca는 캡처를 파일로 남기므로 읽기 전에 줄일 수 있다.

    로그인 페이지: 세션이 어디에 있느냐로 갈린다

    첫 측정에서는 세 도구 모두 0/3이었다. 셋 다 티스토리 로그인 화면으로 넘어갔다. 도구 탓이 아니라 그 시점에 어느 도구에도 로그인 세션이 없었다. 내가 티스토리에 로그인한 뒤 이 과제만 다시 쟀다. 이번에도 읽기만 했다.

    도구 성공 시간(초) 출력 토큰 로그인 재사용
    Claude in Chrome 3/3 3.51 (3.27~12.88) 164 된다. 내 Chrome 프로필을 그대로 쓴다
    Orca 브라우저 3/3 5.54 (5.25~9.02) 333 된다. Orca 브라우저에 남은 세션을 쓴다
    Playwright 0/3 0.85 (0.78~1.34) 58 안 된다. 매번 새 프로필로 연다

    Claude in Chrome은 내 브라우저에 이미 로그인돼 있으면 그대로 들어간다. Orca 브라우저도 앞서 그 안에서 로그인한 세션이 남아 있어 통과했다. Playwright는 스크립트가 매번 빈 프로필로 시작하니 로그인 화면에서 멈춘다. 로그인 쿠키를 파일로 저장해 넘기는 storage_state를 쓰면 될 일이지만, 이번에는 재지 않았다.

    Chrome 첫 회차 12.88초는 탭을 새로 연 직후의 값이다. 중앙값에는 영향이 없어 범위에만 남겼다.

    상황별로 고른다면

    상황 고를 도구 근거
    같은 확인을 여러 번 되풀이(점검, 정기 작업) Playwright 스크립트 공개 글 읽기 3.2초, 출력 1,009토큰으로 가장 작음. 모델 없이 반복
    에이전트가 한 번 보고 마는 확인 Claude in Chrome 묶음 호출 공개 글 읽기 1.6초로 가장 빠름. 출력 1,190토큰(Playwright보다 18% 많고 Orca보다 14% 적음)
    화면이 제대로 보이는지 확인 Claude in Chrome(0.5배 캡처), 여러 장이면 Playwright Chrome 0.5배 캡처가 약 680토큰으로 가장 작음. 여러 장은 Playwright가 3.5초로 가장 빠름
    내 Chrome을 건드리면 안 될 때 Orca 브라우저 성공률은 같고 가장 느리지만 내 브라우저와 분리됨
    로그인이 필요한 페이지 Claude in Chrome, 내 Chrome을 피해야 하면 Orca 브라우저 둘 다 3/3. Chrome 3.5초 164토큰, Orca 5.5초 333토큰. Playwright는 0/3

    Orca 브라우저는 숫자로는 가장 느렸지만 쓸 자리가 분명하다. 여러 에이전트 세션이 동시에 웹을 봐야 하거나, 내가 Chrome으로 다른 일을 하는 중일 때다. Claude in Chrome은 내 브라우저와 로그인을 그대로 쓰는 것이 장점이자 위험이다. 에이전트가 내가 보고 있는 탭 옆에서 움직인다.

    Playwright의 숫자에는 빠진 비용이 하나 있다. 스크립트를 처음 쓰는 비용이다. 이번 측정 스크립트는 60줄쯤이었고, 그 시간은 표에 넣지 않았다. 한 번 보고 말 확인이라면 스크립트를 쓰는 시간이 더 든다.

    한계

    • PC 한 대, 2026-11-21 오전 네트워크, 페이지 2개, 과제마다 3회다. 다른 환경이나 다른 종류의 페이지(무한 스크롤, 무거운 SPA)에서 같은 순서가 나온다는 근거는 없다.
    • 토큰은 도구 출력 원문만 셌다. 고정한 기본 입력을 뺀 입력 토큰 차이로 쟀고, 에이전트가 도구를 부를 때 쓰는 호출 문장은 넣지 않았다. Orca를 에이전트가 명령 네 번으로 직접 부르면 그만큼 더 든다. 이미지 토큰은 실측이 아니라 안내식으로 환산한 값이다.
    • Claude in Chrome 시간에는 에이전트의 호출 왕복이 섞인다. 다른 호출이 끼어든 회차는 중앙값에서 뺐고, 그래서 공개 글 읽기는 깨끗한 1회, 캡처는 깨끗한 2회만 남았다.
    • Playwright와 Orca는 스크립트로 돌려 모델 왕복이 없다. 스크립트를 쓰는 비용은 시간에 넣지 않았다.
    • 로그인 과제는 내가 로그인한 뒤 다시 잰 값이다. Playwright에 로그인 쿠키를 넘기는 경우는 재지 않았다.
    반응형
Designed by Tistory.