Claude Haiku 5.5 : lire le résultat OSWorld avec son contexte
Anthropic a présenté Claude Haiku 5.5 le 7 octobre 2026, avec l’identifiant API claude-haiku-5-5, en le destinant notamment aux tâches répétitives et sensibles au coût. Cet article résume une ligne du tableau publié par l’entreprise et propose des pistes d’évaluation. ConverteArq n’a pas exécuté le modèle.
Le lancement et son périmètre
L’annonce officielle décrit Haiku 5.5 comme un petit modèle destiné aux usages à volume élevé et sensibles au coût, et fournit son identifiant API. Les descriptions de l’éditeur expriment son positionnement ; elles ne constituent pas, à elles seules, une évaluation indépendante.
Un seul résultat, avec ses conditions
Nous retenons OSWorld 2.1, dans le sous-ensemble hors ligne, tel qu’il apparaît dans le tableau de l’annonce du 7 octobre 2026. Les trois valeurs ci-dessous viennent de la même publication d’Anthropic. Ce choix évite de mélanger des versions de test, mais ne transforme pas une déclaration du fabricant en vérification indépendante. OSWorld mesure la capacité d’agents à effectuer des tâches longues et à plusieurs étapes sur un ordinateur réel.
Comment tester une tâche qui vous concerne
Notre proposition est de commencer par dix demandes fictives et de faible portée : classer un texte, retrouver une date explicitement écrite ou relever des champs manquants. Écrivez la réponse attendue avant d’utiliser le service et répétez certaines demandes pour repérer les variations. Ne prenez pas la fluidité d’une réponse pour une preuve d’exactitude.
Quand envisager un changement de modèle
Traitez chaque file de travail comme un ensemble de décisions dont les erreurs ont des coûts différents. Un titre de brouillon peut être corrigé ; un champ qui déclenche une opération exige un contrôle plus strict. Décidez d’abord quoi faire en cas de réponse incertaine : par exemple, transférer les cas ambigus à une personne au lieu de forcer une catégorie. C’est une méthode proposée par ConverteArq, pas une fonction supplémentaire annoncée par Anthropic.
Benchmark avec contexte
OSWorld · 2.1 — sous-ensemble hors ligne (offline subset)
taux de réussite publié (%)
| Modèle | Résultat publié |
|---|---|
| Claude Haiku 5.5 | 72.4% |
| Claude Haiku 4.5 | 15.7% |
| GPT-6 Luna | 48.9% |
Anthropic, annonce du 7 octobre 2026. Résultats déclarés par le fabricant ; ils ne proviennent pas de tests indépendants de ConverteArq.
Ne mélangez pas ce sous-ensemble avec OSWorld complet ni avec une autre version du test. Consultez le rapport et sa méthodologie à la source. Source consultée.
Source consultée
Annonce officielle consultée le 12 octobre 2026. Les chiffres du benchmark restent attribués à Anthropic ; ils ne sont pas présentés comme des mesures indépendantes.
Questions fréquentes
Que signifie « sous-ensemble hors ligne » ?
C’est le périmètre indiqué dans le tableau d’Anthropic pour OSWorld 2.1. Il ne faut pas le confondre avec l’ensemble complet du benchmark.
Ces résultats ont-ils été vérifiés par ConverteArq ?
Non. Ils sont reportés depuis l’annonce d’Anthropic et sont attribués à l’entreprise. ConverteArq n’a pas exécuté le modèle.
Comment évaluer le modèle pour mon propre usage ?
Préparez des exemples proches de la tâche réelle, définissez une réponse attendue, notez les erreurs et le temps de vérification, puis comparez les configurations dans les mêmes conditions.
Commentaire de ConverteArq
L’occasion intéressante pourrait être de réduire le travail sur des tâches bien délimitées. Pour l’évaluer, calculez le coût par résultat accepté en incluant la vérification. Si deux modèles traitent cent demandes mais que l’un exige vingt corrections et l’autre cinq, le prix par jeton ne décrit pas tout l’effort. Cela ne prédit pas la qualité du modèle pour votre cas ; cela aide à préparer le test pertinent.
Nous éviterions aussi d’utiliser ce graphique comme un tableau de classement entre marques. Le coût, l’accès et les réglages peuvent différer. La décision pratique doit tenir compte de ce que vous devez livrer en français et des erreurs que vous pouvez détecter. Un gain utile réduit l’effort total et laisse un résultat vérifiable ; il ne se résume pas à une barre plus haute.