Claude Haiku 5.5: OSWorld 결과를 맥락 속에서 읽기
Anthropic은 2026년 10월 7일 API 식별자 claude-haiku-5-5와 함께 Claude Haiku 5.5를 발표했습니다. 발표에 따르면 반복적이고 처리량이 많으며 비용을 고려하는 작업을 겨냥합니다. 이 글은 회사 표의 한 행을 요약하고 평가 방법을 제안합니다. ConverteArq는 모델을 직접 실행하지 않았습니다.
발표 내용과 범위
Anthropic은 Haiku 5.5를 반복적이고 비용에 민감한 작업을 위한 소형 모델로 설명하고 API 식별자를 제시했습니다. 이는 제조사의 제품 설명이며 그 자체로 독립 평가를 의미하지 않습니다.
조건을 붙여 보는 단일 결과
2026년 10월 7일 발표 표에서 오프라인 하위 집합의 OSWorld 2.1을 선택했습니다. 아래 세 수치는 같은 Anthropic 발표에서 가져왔습니다. 테스트 버전을 섞지 않는 선택이지만, 제조사 발표가 독립 검증으로 바뀌는 것은 아닙니다. OSWorld는 실제 컴퓨터에서 길고 여러 단계로 된 작업을 에이전트가 수행하는 능력을 평가합니다.
실제 업무와 가까운 작업 평가하기
제안하는 방법은 범위가 좁은 가상 요청 열 개부터 시작하는 것입니다. 예를 들면 문장 분류, 명시된 날짜 찾기, 누락된 항목 나열입니다. 서비스를 사용하기 전에 기대 답변을 적고, 일부 요청은 반복해 결과의 변동도 살펴보세요. 답변이 자연스럽다는 이유만으로 정확하다고 판단하지 마세요.
모델 변경을 검토할 때
작업 대기열을 오류 비용이 서로 다른 판단의 묶음으로 보세요. 초안 제목은 수정할 수 있지만 작업을 실행하는 필드는 더 엄격한 기준이 필요합니다. 불확실한 답이 나오면 분류를 강제하지 않고 모호한 사례를 사람에게 넘기는 등 실패 처리 방법을 먼저 정합니다. 이는 ConverteArq의 제안이지 Anthropic이 발표한 추가 기능이 아닙니다.
조건을 밝힌 벤치마크
OSWorld · 2.1 — 오프라인 하위 집합(offline subset)
공개된 성공률(%)
| 모델 | 공개된 결과 |
|---|---|
| Claude Haiku 5.5 | 72.4% |
| Claude Haiku 4.5 | 15.7% |
| GPT-6 Luna | 48.9% |
Anthropic, 2026년 10월 7일 발표. 제조사가 보고한 결과이며 ConverteArq의 독립 테스트가 아닙니다.
이 하위 집합을 OSWorld 전체나 다른 테스트 버전과 섞지 마세요. 보고서와 방법은 출처에서 확인할 수 있습니다. 참고한 출처.
참고한 출처
2026년 10월 12일 공식 발표를 확인했습니다. 벤치마크 수치는 Anthropic이 공개한 결과로 표시하며 독립 측정으로 취급하지 않습니다.
자주 묻는 질문
“오프라인 하위 집합”은 무슨 뜻인가요?
Anthropic이 OSWorld 2.1 표에서 밝힌 평가 범위입니다. 전체 벤치마크와 혼동하지 마세요.
ConverteArq가 결과를 검증했나요?
아닙니다. Anthropic 발표의 결과로 귀속했으며 ConverteArq는 모델을 실행하지 않았습니다.
내 업무에는 어떻게 평가할 수 있나요?
실제 업무와 가까운 예시와 기대 답변을 준비하고, 오류와 검토 시간을 기록한 뒤 같은 조건으로 설정을 비교하세요.
ConverteArq의 의견
흥미로운 가능성은 범위가 분명한 작업의 수고를 줄이는 것입니다. 평가할 때는 검토를 포함해 채택된 결과 하나당 비용을 계산하세요. 두 모델이 각각 요청 100건에 답했어도 한쪽은 20건, 다른 쪽은 5건을 수정해야 한다면 토큰 가격만으로는 전체 수고를 알 수 없습니다. 이 논리는 특정 환경의 품질을 예측하지 않고, 적절한 시험을 설계하는 데 도움을 줍니다.
그래프를 브랜드 간 종합 순위로 쓰는 것도 피하겠습니다. 비용, 접근 방식, 설정이 다를 수 있습니다. 실제로 필요한 한국어 결과물과 찾아낼 수 있는 오류를 기준으로 판단해야 합니다. 높은 막대 자체보다 전체 작업을 줄이고 확인 가능한 결과를 남기는지가 중요합니다.