Claude Haiku 5.5: OSWorld नतीजे को संदर्भ सहित समझें
Anthropic ने 7 अक्टूबर 2026 को API पहचान claude-haiku-5-5 के साथ Claude Haiku 5.5 पेश किया। कंपनी की घोषणा इसे बार-बार होने वाले, अधिक मात्रा और लागत-संवेदनशील कामों के लिए बताती है। यह लेख कंपनी की तालिका की एक पंक्ति समझाता है और मूल्यांकन का तरीका सुझाता है। ConverteArq ने मॉडल चलाकर परीक्षण नहीं किया।
लॉन्च और उसका दायरा
Anthropic ने Haiku 5.5 को अधिक मात्रा वाले और लागत पर ध्यान देने वाले कामों के लिए छोटा मॉडल बताया और API पहचान साझा की। यह निर्माता का उत्पाद-विवरण है, अपने आप में स्वतंत्र मूल्यांकन नहीं।
शर्तों सहित एक परिणाम
हमने 7 अक्टूबर 2026 की घोषणा की तालिका से OSWorld 2.1 का ऑफलाइन उपसमूह चुना है। नीचे के तीनों मान उसी Anthropic प्रकाशन से हैं। इससे अलग-अलग टेस्ट संस्करण नहीं मिलते, लेकिन निर्माता की घोषणा स्वतंत्र पुष्टि नहीं बन जाती। OSWorld यह मापता है कि एजेंट वास्तविक कंप्यूटर पर लंबे, कई चरणों वाले काम कैसे पूरे करते हैं।
अपने काम के लिए परीक्षण करना
हमारा सुझाव है कि पहले सीमित दायरे वाले दस काल्पनिक अनुरोध बनाएँ—जैसे पाठ का वर्गीकरण, स्पष्ट रूप से लिखी तारीख ढूँढ़ना या छूटे हुए फ़ील्ड बताना। सेवा इस्तेमाल करने से पहले अपेक्षित उत्तर लिखें और कुछ अनुरोध दोहराकर बदलाव देखें। सहज भाषा में जवाब देना सही होने का प्रमाण नहीं है।
मॉडल बदलने पर कब विचार करें
कामों की कतार को अलग-अलग गलती-लागत वाले फैसलों के रूप में देखें। मसौदे का शीर्षक सुधारा जा सकता है; किसी कार्रवाई को शुरू करने वाला फ़ील्ड अधिक कड़े मानदंड माँगता है। पहले तय करें कि अनिश्चित उत्तर आने पर क्या होगा—उदाहरण के लिए अस्पष्ट मामलों को वर्गीकरण थोपने के बजाय समीक्षा के लिए भेजना। यह ConverteArq का सुझाव है, Anthropic द्वारा घोषित अतिरिक्त सुविधा नहीं।
संदर्भ सहित बेंचमार्क
OSWorld · 2.1 — ऑफलाइन उपसमूह (offline subset)
बताई गई सफलता दर (%)
| मॉडल | बताया गया परिणाम |
|---|---|
| Claude Haiku 5.5 | 72.4% |
| Claude Haiku 4.5 | 15.7% |
| GPT-6 Luna | 48.9% |
Anthropic, 7 अक्टूबर 2026 की घोषणा। निर्माता द्वारा बताए गए परिणाम; ConverteArq के स्वतंत्र परीक्षण नहीं।
इस उपसमूह को पूरे OSWorld या किसी अन्य परीक्षण संस्करण से न मिलाएँ। रिपोर्ट और विधि स्रोत पर उपलब्ध हैं। देखा गया स्रोत.
देखा गया स्रोत
आधिकारिक घोषणा 12 अक्टूबर 2026 को देखी गई। बेंचमार्क आँकड़े Anthropic के बताए परिणाम के रूप में दिए गए हैं; इन्हें स्वतंत्र माप नहीं कहा गया है।
अक्सर पूछे जाने वाले प्रश्न
“ऑफलाइन उपसमूह” का क्या अर्थ है?
यह OSWorld 2.1 के लिए Anthropic की तालिका में दिया गया दायरा है। इसे पूरे बेंचमार्क के बराबर न मानें।
क्या ConverteArq ने इन नतीजों की पुष्टि की?
नहीं। इन्हें Anthropic की घोषणा के परिणाम के रूप में बताया गया है। ConverteArq ने मॉडल नहीं चलाया।
अपने काम के लिए इसे कैसे जाँचें?
वास्तविक काम जैसे उदाहरण और अपेक्षित उत्तर तैयार करें, गलतियाँ और जाँच का समय लिखें, फिर समान शर्तों में सेटिंग की तुलना करें।
ConverteArq की टिप्पणी
संकीर्ण दायरे वाले काम में मेहनत कम करना एक उपयोगी संभावना हो सकती है। इसे जाँचने के लिए समीक्षा सहित हर स्वीकृत परिणाम की लागत निकालें। यदि दो मॉडल सौ-सौ अनुरोधों का जवाब दें, लेकिन एक के बीस जवाब सुधारने पड़ें और दूसरे के पाँच, तो केवल टोकन की कीमत कुल मेहनत नहीं बताती। इससे आपके मामले में गुणवत्ता का अनुमान नहीं मिलता; यह सही परीक्षण बनाने में मदद करता है।
हम इस ग्राफ़ को ब्रांडों की कुल रैंकिंग की तरह भी नहीं पढ़ेंगे। लागत, पहुँच और सेटिंग अलग हो सकती हैं। व्यावहारिक फैसला इस बात पर निर्भर करता है कि आपको हिंदी में क्या तैयार करना है और कौन-सी गलतियाँ पकड़ सकते हैं। उपयोगी लाभ वह है जो कुल मेहनत घटाए और जाँचा जा सकने वाला परिणाम दे, केवल ऊँची पट्टी नहीं।