Claude Haiku 5.5: das OSWorld-Ergebnis im Kontext
Anthropic stellte Claude Haiku 5.5 am 7. Oktober 2026 mit der API-Kennung claude-haiku-5-5 vor. Das Modell ist laut Ankündigung unter anderem auf wiederkehrende Aufgaben mit hohen Mengen und Kostensensibilität ausgerichtet. Der Artikel fasst eine Zeile der Hersteller-Tabelle zusammen und schlägt Prüfmethoden vor. ConverteArq hat das Modell nicht ausgeführt.
Die Vorstellung und ihr Umfang
Anthropic beschreibt Haiku 5.5 als kleines Modell für häufige und kostensensible Aufgaben und nennt eine API-Kennung. Diese Einordnung stammt vom Anbieter und ist für sich genommen keine unabhängige Bewertung.
Ein Ergebnis mit den zugehörigen Bedingungen
Wir wählen OSWorld 2.1 im Offline-Subset, wie es in der Tabelle der Ankündigung vom 7. Oktober 2026 steht. Alle drei Werte unten stammen aus derselben Anthropic-Veröffentlichung. Das verhindert, dass wir verschiedene Testversionen vermischen, macht die Herstellerangabe aber nicht unabhängig verifiziert. OSWorld bewertet, wie Agenten längere Aufgaben mit mehreren Schritten an einem echten Computer erledigen.
Eine eigene Aufgabe prüfen
Unser Vorschlag: Beginne mit zehn fiktiven, eng umrissenen Aufgaben, etwa einen Text einzuordnen, ein ausdrücklich genanntes Datum zu finden oder fehlende Felder aufzulisten. Lege die erwartete Antwort vorher fest und wiederhole einige Aufgaben, um Schwankungen zu erkennen. Eine flüssige Antwort ist kein Beleg für Richtigkeit.
Wann ein Modellwechsel sinnvoll sein kann
Betrachte eine Aufgabenwarteschlange als Entscheidungen mit unterschiedlichen Fehlerkosten. Eine Entwurfsüberschrift kann korrigiert werden; ein Feld, das einen Vorgang auslöst, braucht strengere Kriterien. Lege zuerst fest, was bei Unsicherheit geschieht, etwa mehrdeutige Fälle zur Prüfung weiterzugeben, statt eine Klassifikation zu erzwingen. Das ist ein Vorschlag von ConverteArq und keine zusätzlich angekündigte Funktion.
Benchmark mit Kontext
OSWorld · 2.1 — Offline-Subset (offline subset)
veröffentlichte Erfolgsquote (%)
| Modell | Veröffentlichtes Ergebnis |
|---|---|
| Claude Haiku 5.5 | 72.4% |
| Claude Haiku 4.5 | 15.7% |
| GPT-6 Luna | 48.9% |
Anthropic, Ankündigung vom 7. Oktober 2026. Vom Hersteller berichtete Ergebnisse; keine unabhängigen Tests von ConverteArq.
Dieses Subset nicht mit dem vollständigen OSWorld oder einer anderen Testversion vermischen. Bericht und Methodik sind in der Quelle verlinkt. Verwendete Quelle.
Verwendete Quelle
Offizielle Ankündigung, am 12. Oktober 2026 abgerufen. Die Benchmark-Zahlen bleiben Anthropic zugeschrieben und werden nicht als unabhängige Messungen dargestellt.
Häufige Fragen
Was bedeutet „Offline-Subset“?
Das ist der Umfang, den Anthropic in der Tabelle für OSWorld 2.1 angibt. Er ist nicht mit dem gesamten Benchmark gleichzusetzen.
Hat ConverteArq diese Ergebnisse überprüft?
Nein. Sie stammen aus der Ankündigung von Anthropic und werden dem Unternehmen zugeschrieben. ConverteArq hat das Modell nicht ausgeführt.
Wie prüfe ich das Modell für meinen eigenen Anwendungsfall?
Erstelle Beispiele, die der echten Aufgabe ähneln, lege erwartete Antworten fest, notiere Fehler und Prüfzeit und vergleiche Konfigurationen unter gleichen Bedingungen.
Kommentar von ConverteArq
Interessant könnte sein, die Arbeit für klar begrenzte Aufgaben zu verringern. Zur Prüfung sollte man die Kosten pro akzeptiertem Ergebnis einschließlich Kontrolle berechnen. Wenn zwei Modelle je hundert Anfragen bearbeiten, eines aber zwanzig Korrekturen benötigt und das andere fünf, bildet der Tokenpreis allein den Aufwand nicht ab. Das sagt die Qualität für den eigenen Fall nicht voraus, hilft aber bei der passenden Testfrage.
Wir würden die Grafik auch nicht als Marken-Rangliste verwenden. Kosten, Zugang und Einstellungen können sich unterscheiden. Entscheidend ist, was auf Deutsch geliefert werden muss und welche Fehler sich erkennen lassen. Ein nützlicher Gewinn verringert den Gesamtaufwand und liefert ein prüfbares Ergebnis; er besteht nicht nur aus einem höheren Balken.