ما هو UI-TARS؟ وكيل واجهة المستخدم مفتوح المصدر من ByteDance يتفوق على Claude و GPT-4o

النقاط الرئيسية

• UI-TARS ترمز إلى نظام واجهة المستخدم — لأتمتة المهام والاستدلال، وهو وكيل واجهة مستخدم رسومية محلي مفتوح المصدر تم تطويره بواسطة ByteDance (الشركة الأم لتيك توك).
• إنه نموذج لغوي بصري متعدد الوسائط (VLM) يتصور لقطات الشاشة فقط ويؤدي إجراءات تشبه الإنسان باستخدام الفأرة ولوحة المفاتيح والتمرير عبر بيئات سطح المكتب والمتصفح والهواتف المحمولة.
• على عكس الأطر التي تعتمد بشكل كبير على المطالبات والنماذج التجارية، فإن UI-TARS هو نموذج مدرب من البداية إلى النهاية يُدمج استدلال System-2، والنمذجة الموحدة للإجراءات، والتعلم الانعكاسي عبر الإنترنت.
• UI-TARS-1.5 (المُصدر في أبريل 2025) يحقق نتائج متطورة في أكثر من 10 معايير تقييم لواجهة المستخدم الرسومية، بما في ذلك OSWorld (24.6@50 خطوة) و AndroidWorld (46.6)، متفوقاً على Claude 3.7 و GPT-4o.
• متوفر بأحجام متعددة (يوصى بـ 7B للتشغيل المحلي) مع تطبيق مخصص UI-TARS Desktop ودمج MCP لسير العمل المعززة بالأدوات.

ما هو UI-TARS؟

UI-TARS هو نموذج وكيل واجهة مستخدم رسومية محلي رائد من ByteDance مصمم للتفاعل الآلي مع واجهات المستخدم الرسومية. تم إصداره في أوائل عام 2025 مع تحديث UI-TARS-1.5 في أبريل 2025، وهو يمثل تحولاً من أطر الوكلاء المعيارية إلى نموذج لغوي بصري موحد من البداية إلى النهاية.

يأخذ النموذج لقطات الشاشة الخام كمدخل بصري وحيد ويخرج إجراءات دقيقة مثل النقر بالفأرة (يسار، يمين، مزدوج)، والسحب، وإدخال لوحة المفاتيح، والتمرير، والتسلسلات المعقدة — كل ذلك دون الاعتماد على الوصول إلى DOM، أو أشجار إمكانية الوصول، أو واجهات برمجة التطبيقات المحددة مسبقاً.

يجعل هذا النهج المعتمد على لقطات الشاشة فقط UI-TARS قابلاً للتطبيق بشكل كبير عبر المنصات (Windows، macOS، Linux، Android، متصفحات الويب) ومتيناً ضد التغييرات في واجهة المستخدم التي تعطل أدوات الأتمتة التقليدية.

الابتكارات التقنية الأساسية

يقدم UI-TARS عدة إنجازات تفسر أداءه المتفوق:

• الإدراك المعزز: مدرب على مجموعات بيانات ضخمة من لقطات شاشة واجهة المستخدم الرسومية لفهم واعي بالسياق وكتابة تعليق دقيق للعناصر. -System: نموذج الإجراءات الموحد: يوحّد الإجراءات في مساحة واحدة عبر المنصات، مما يمكن من تأسيس دقيق من الرؤية إلى المدخلات منخفضة المستوى (إحداثيات الفأرة، ضغطات المفاتيح).
• استدلال System-2: يُدمج التفكير المتعمد متعدد الخطوات، بما في ذلك تحليل المهام، والتفكير، والتعرف على المعالم، واستعادة الأخطاء قبل التصرف. .

تسمح هذه الابتكارات لـ UI-TARS بالتكيف بشكل فعال أثناء وقت الاستدلال والتكيف مع الواجهات الجديدة بموثوقية أكبر من الوكلاء المهندسين بالمطالبات.

مقاييس الأداء

تظهر التحليلات للتقييمات الرسمية أن UI-TARS-1.5 يتصدر باستمرار مقاييس وكيل الواجهة الرسومية:

• OSWorld: 24.6 (50 خطوة) و 22.7 (15 خطوة) — متفوقًا على Claude (22.0 / 14.9).
• AndroidWorld: 46.6 — متفوقًا على GPT-4o (34.5).
• نتائج SOTA إضافية عبر 10+ مقاييس تغطي الإدراك، والتأسيس، وتنفيذ المهام الكاملة.

تشير المقاييس إلى أن الجمع بين الإدراك القائم على الرؤية والاستدلال المدمج يقلل من تراكم الأخطاء في المهام طويلة الأمد مقارنة بالوكلاء الذين يعتمدون بشكل كبير على استدعاء الأدوات الخارجية أو واجهات برمجة التطبيقات الخاصة بإمكانية الوصول.

نظام UI-TARS لسطح المكتب والنظام البيئي للوكيل

توفر ByteDance تطبيقات عملية تتجاوز النموذج الأساسي:

• UI-TARS Desktop: تطبيق Electron عبر المنصات يحول النموذج إلى وكيل أصلي لسطح المكتب. يقدم المستخدمون تعليمات بلغة طبيعية، ويشاهد الوكيل الشاشة ويتحكم في الفأرة/لوحة المفاتيح.
• Agent TARS: مكدس وكيل متعدد الوسائط أوسع يدعم الدمج مع الطرفية، والمتصفح، والمنتجات.
• دمج MCP: يدعم بروتوكول سياق النموذج (Model Context Protocol)، مما يسمح بالجمع السلس مع خوادم MCP الأخرى (مثل أدوات قاعدة البيانات، أو Linear، أو Playwright) لسير العمل الهجينة.

يدعم وكيل سطح المكتب كلًا من الاستدلال المحلي (باستخدام نماذج من Hugging Face) والتشغيل عن بُعد، مع إضافات حديثة تتيح ميزات التحكم عن بُعد مجانية في الحاسوب والمتصفح.

كيف يقارن UI-TARS بوكلاء استخدام الحاسوب الآخرين

تشير ملاحظات المجتمع إلى أن UI-TARS يتفوق في مهام سطح المكتب المفتوحة والعالم الحقيقي حيث تتغير عناصر الواجهة بشكل متكرر أو تفتقر إلى بيانات وصفية نظيفة لإمكانية الوصول.

حالات الاستخدام والتطبيقات

• أتمتة سطح المكتب: ملء النماذج، تحرير المستندات، إدارة الملفات، أو تشغيل سير عمل برمجية معقدة (مثل تسلسلات Photoshop).
• مهام المتصفح: جمع البيانات من الويب، إرسال النماذج، عمليات متعددة الخطوات عبر الإنترنت دون استخدام محددات هشة.
• أتمتة الأجهزة المحمولة والألعاب: التفاعل مع تطبيقات Android والبيئات الألعاب الافتراضية.
• التطوير والاختبار: توليد وتنفيذ اختبارات قائمة على واجهة المستخدم الرسومية أو إعادة إنتاج الأعطال بصرياً.
• أنظمة الوكلاء الهجينة: الجمع مع خوادم MCP للمهام التي تتطلب كلاً من إجراءات واجهة المستخدم الرسومية والوصول إلى بيانات الخلفية.

نصائح متقدمة، حالات خاصة، وأخطاء شائعة

• النشر المحلي: نموذج 7B يعمل بكفاءة على أجهزة المستهلكين (خاصة النسخ المكمّنة على Apple Silicon عبر MLX). استخدم إعدادات متوافقة مع LM Studio أو Ollama للاستدلال دون تكلفة.
• اعتبارات الأمان: تشغيل وكيل سطح مكتب كامل يتطلب عزلاً دقيقاً. قلل الصلاحيات وراقب الإجراءات في البيئات الحساسة.
• المهام طويلة الأمد: استفد من قدرات التفكير الذاتي للنموذج بتوفير معالم واضحة في التوجيهات. التصحيح الذاتي التكراري يحسن معدلات النجاح بشكل كبير.

1. أخطاء يجب تجنبها:
   • الاعتماد المفرط على لقطات شاشة فردية لواجهات المستخدم الديناميكية للغاية (اجمعها مع ذاكرة قصيرة المدى أو أدوات MCP).
   • تجاهل الفروق الدقيقة للإجراءات الخاصة بالمنصة (مثل قياس الإحداثيات عبر دقات شاشة مختلفة).
   • توقع أداء مثالي على واجهات مخصصة بشدة أو منخفضة التباين دون ضبط دقيق.

لأفضل النتائج، قم بإقران UI-TARS مع توجيهات منظمة تتضمن تحليل المهمة ومعايير النجاح.

البدء

1. قم بزيارة مستودعات GitHub الرسمية: bytedance/UI-TARS للنموذج و bytedance/UI-TARS-desktop لتطبيق سطح المكتب.
2. قم بتحميل النماذج من Hugging Face (ByteDance-Seed/UI-TARS-1.5-7B).
3. للاختبار السريع، جرب تطبيق سطح المكتب أو العروض التوضيحية القائمة على المتصفح.
4. استكشف تكامل MCP لوكلاء استخدام الأدوات المتقدمين.

الخلاصة

يمثل UI-TARS تقدماً كبيراً في أتمتة واجهات المستخدم الرسومية من خلال تقديم وكيل أصلي حقيقي مفتوح المصدر يرى الشاشة مثل الإنسان ويفكر قبل التصرف. أداؤه القوي في المعايير القياسية، وتعلمه التأملي، وتنفيذه العملي لسطح المكتب يضعونه كبديل رائد لوكلاء استخدام الحاسوب التجارية المغلقة في عام 2026.

يجب على المطورين والمستخدمين المتقدمين الراغبين في أتمتة مهام واجهة المستخدم الرسومية المتكررة أو بناء وكلاء متعددين الوسائط أكثر قدرة أن يستكشفوا UI-TARS اليوم. ابدأ بنموذج 7B وتطبيق سطح المكتب لتجربة الأتمتة القائمة على لقطات الشاشة مباشرة، ثم وسّعه بأدوات MCP لسير العمل الإنتاجية.