Claude Haiku 5.5：OSWorldの結果を文脈とともに読む
Anthropicは2026年10月7日、API識別子claude-haiku-5-5を含むClaude Haiku 5.5を発表しました。発表では、大量処理やコストを重視する反復作業などが用途として挙げられています。本記事は同社の表から1行を紹介し、評価の進め方を提案します。ConverteArqはモデルを実行していません。
発表内容と対象範囲
AnthropicはHaiku 5.5を、高頻度でコストを重視する作業向けの小型モデルとして説明し、API識別子を公表しました。これは提供元による位置付けであり、それだけで独立評価になるわけではありません。
条件を保った一つの結果
ここでは2026年10月7日の発表表にあるOSWorld 2.1のオフラインサブセットを取り上げます。下の3つの数値は同じAnthropicの発表からのものです。テストのバージョンを混ぜずに済みますが、メーカーの公表値を独立に検証したことにはなりません。OSWorldは、実際のコンピューターで長い複数手順の作業を実行するエージェントの能力を測ります。
自分の業務に近いタスクで試す
提案として、範囲を絞った架空の依頼を10件用意します。たとえば文章の分類、明記された日付の抽出、欠けている項目の列挙です。サービスを使う前に期待する回答を決め、いくつかの依頼を繰り返してばらつきも確認します。文章が自然であることだけを正確さの証拠にしないでください。
モデル変更を検討するとき
作業キューを、誤りのコストが異なる判断の集まりとして見ます。草案の見出しは後で直せますが、操作を起動する項目にはより厳しい基準が必要です。回答に迷いがある場合は、分類を強制せず人に回すなど、失敗時の扱いを先に決めます。これはConverteArqの提案で、Anthropicが追加機能として発表したものではありません。
条件を併記したベンチマーク
OSWorld · 2.1 — オフラインサブセット（offline subset）
公表された成功率（%）
| モデル | 公表結果 |
|---|---|
| Claude Haiku 5.5 | 72.4% |
| Claude Haiku 4.5 | 15.7% |
| GPT-6 Luna | 48.9% |
Anthropic、2026年10月7日の発表。メーカー報告値であり、ConverteArqによる独立試験ではありません。
このサブセットをOSWorld全体や別バージョンの結果と混同しないでください。レポートと方法は出典で確認できます。 参照した情報源.
参照した情報源
2026年10月12日に公式発表を確認しました。ベンチマークの数値はAnthropicの公表値として扱い、独立測定とはしていません。
よくある質問
「オフラインサブセット」とは何ですか？
AnthropicのOSWorld 2.1の表で示された評価範囲です。ベンチマーク全体とは区別してください。
ConverteArqはこの結果を検証しましたか？
いいえ。Anthropicの発表にある値として紹介しており、ConverteArqはモデルを実行していません。
自分の用途ではどう評価できますか？
実際の作業に近い例と期待する回答を用意し、誤りと確認時間を記録して、同じ条件で設定を比較してください。
ConverteArqのコメント
範囲を限定した作業の手間を減らせる可能性には注目できます。評価する際は、確認作業も含めた「採用できた結果1件あたりの費用」を見ます。100件ずつ処理して、一方は20件、もう一方は5件の修正が必要なら、トークン単価だけでは総作業量を表せません。この考え方は特定の利用例での品質を予測するものではなく、適切な試験を設計する助けです。
グラフをメーカー同士の総合順位として使うことも避けたいところです。費用、利用条件、設定が異なる場合があります。実際に必要な日本語の成果物と、検出できる誤りを踏まえて判断します。高い棒より、確認できる成果を少ない総作業で得られるかが大切です。