Testing GPT Astra vs Fable 5.1
تحب تدعم البث؟ عضوية «داعم» على يوتيوب بـ 60 جنيه في الشهر: شارات، إيموجي، وأسئلتك بجاوبها الأول في البث. اشترك كداعم
الخلاصة
يركّز البث على مقارنة عملية وعمياء جزئيًا بين GPT Astra وFable 5.1 عبر مطالبات متطابقة شملت ألعابًا، ورسم SVG، وصفحات هبوط وتجارب وكيلة. جاءت النتائج متباينة: بدا Astra أقوى بصريًا وفي التحكم ببعض الألعاب، بينما قدّم Fable أحيانًا أسلوب لعب أكثر تحديًا وأفكارًا تصميمية أكثر ابتكارًا؛ كما اختلفت السرعة باختلاف المهمة وانقسمت آراء الجمهور، لذلك لم يظهر فائز عام حاسم. يناقش لقمان حدود الاختبارات الفردية والمعايير القياسية والتحكيم بالنماذج، ويرى أن التقييم الأفضل يجمع خبرة المجال، وتقليل التحيز، واختبارات التفكير النقدي وتوليد الأفكار، مع مراعاة الكفاءة والسعر وحدود الاستخدام وتكامل الأدوات. ويتوسع النقاش إلى اختيار نماذج مختلفة للتخطيط والتنفيذ، وتنظيم الوكلاء الفرعيين، وضغط سياق جلسات البرمجة وتوثيقها، والبوتات الجاهزة، وأتمتة الفيديو، والنسخ الاحتياطي، وتحوّل أدوار المطورين. أما الآراء حول AGI واستبدال الوظائف ومستقبل التطوير الكامل بالذكاء الاصطناعي فطُرحت كتوقعات ومخاوف غير محسومة، لا كحقائق مثبتة.
104 لحظة من البث
- 0:46:05
لا يوجد نموذج أفضل لكل المهام
انطلاقًا من سؤال للجمهور، يتفق المتحدث مع ضرورة تجنب الولاء التلقائي لنموذج واحد. فبعض النماذج أقوى بوضوح في جوانب معينة، بينما تكون النماذج المتقاربة مناسبة لمهام مختلفة؛ لذلك لا يرى وجود نموذج أفضل على الإطلاق في هذه المرحلة.
- 0:51:32
السرعة وحدها لا تكفي لمقارنة النماذج
يناقش المتحدث صعوبة تفسير اختبارات السرعة عندما لا تعرض الأدوات الزمن بالطريقة نفسها أو تختلف إعدادات التشغيل. ويشير إلى إمكان قياس استهلاك النماذج رقميًا، لكنه يوضح أنه لم يحسبه في هذه المقارنة؛ لذا تبقى ملاحظات السرعة جزئية وليست معيارًا مكتملًا.
- 0:54:03
تصميم اختبار لغوي عربي بقيود دقيقة
يقترح المتحدث اختبارًا لغويًا عربيًا يطلب قصة قصيرة بالفصحى من خمسين كلمة بالضبط، مع تعريف طريقة عد الكلمات واشتراط بدء الجمل بحروف متتابعة. الفكرة هي اختبار الالتزام بقيود عربية مركبة، لكن الصفحة تعرض إعداد الاختبار لا نتيجته.
- 0:56:27
اختبار إنشاء صفحة هبوط للكشري
يجهز المتحدث مطالبة موحدة تطلب من كل نموذج إنشاء صفحة هبوط للكشري تجمع تصميمًا قويًا ورسومًا حركية وتقنيات متعددة ودعوة واضحة لاتخاذ إجراء. الهدف هو دفع النموذجين إلى تقديم أفضل نسخة ممكنة ثم مقارنة القدرة العملية والوقت، من دون عرض نتيجة نهائية في هذه الصفحة.
- 0:59:33
الموازنة بين الكفاءة وجودة المخرجات
يقول المتحدث إنه يميل حاليًا إلى Codex لأسباب تتعلق بالكفاءة لا لادعاء أن نموذجه أقوى. ويستند في تحفظه إلى أن تقييمات الجودة في الاختبارات المعروضة كانت نسبية، إذ انقسم الجمهور بشأن المخرجات الأفضل.
- 1:01:47
اختبار إعادة تصميم موقع بأقل قدر من التوجيه
ناقشت المجموعة اختبارين بأقل قدر من التوجيه: إنشاء صفحة هبوط انطلاقًا من مرجع لعلامة أو صفحة أو منشور، ثم بصورة منفصلة تزويد الوكيل برابط موقع قائم وطلب تجديده فقط. ظل الاختباران مقترحين ولم تُعرض لهما نتيجة مكتملة.
- 1:04:18
الفرق بين تفريع المحادثة وتوجيهها ومقاطعة التنفيذ
ناقشت المجموعة عدة آليات للتحكم في محادثات الوكلاء: تفريع محادثة إلى مسار جديد، فتح نقاش جانبي، أو مقاطعة مهمة جارية وإرسال توجيه جديد. أشار المتحدث إلى أن التسميات والآليات تختلف بين الأدوات، وفضّل تجربة إحدى الأدوات في التوجيه مع بقاء المقارنة رأيًا شخصيًا.
- 1:10:02
ملاحظة مرحلية عن سرعة اختبارات الوكلاء
أشار المتحدث أثناء البث إلى أن مهمتين جاريتين استغرقتا وقتًا طويلًا، وأن Fable كان أسرع قليلًا من GPT في اختبارين سابقين. كانت هذه ملاحظة مرحلية عن السرعة وليست تقييمًا نهائيًا للجودة أو نتيجة معيارية مكتملة.
- 1:10:56
اقتراح إعادة بناء صفحة شهيرة كاختبار ضغط
اقترح النقاش مطالبة النموذج بإعادة بناء صفحة هبوط لخدمة معروفة مثل Resend، مع البحث عن مهمة صعبة تكشف حدود النموذج بدل الاكتفاء باختبار بسيط.
- 1:12:37
اشتراكات المستهلك والأتمتة وواجهات API
ناقش المتحدث ردًا من الجمهور يفيد بأن تمرير حركة مؤتمتة عبر اشتراك Anthropic الاستهلاكي قد يخالف شروط الخدمة وأن الاستخدام الآلي ينبغي أن يمر عبر API. اعتبر المتحدث ذلك متسقًا مع سلوك Claude المعروف لديه، مع إبقاء بعض التفاصيل في إطار الرأي وعدم اليقين.
- 1:14:09
انطباعات مؤهلة عن Astra وFable وCodex وClaude
نقل أحد الحضور انطباعًا إيجابيًا عن Astra مقارنةً بـFable في اختبار آخر، لكن المتحدث أوضح أنه لم يختبر المهمة نفسها. كما عبّر عن ميل شخصي إلى Codex وشعور بأن أداء Claude يتراجع، بوصفهما انطباعات لا نتائج حاسمة.
- 1:15:10
منهج مقارنة Astra وFable 5.1 عبر مهام متنوعة
عرض المتحدث مقارنة أخفى فيها هوية مخرجات النموذجين عن الجمهور، شملت لعبة شبيهة بـFlappy Bird ورسمة جمل باستخدام SVG مضمن فقط، ثم اختبارًا لموقع ويب. بدت شفرة Astra أنظف في اللعبة، بينما جعل Fable 5.1 الفيزياء أصعب واللعب أكثر تحديًا وكان أسرع في التسليم. وأوضح أن التقييم ما زال جاريًا وأنه يهتم أيضًا بالذكاء والتفكير النقدي وتوليد الأفكار، ولم يكن قد اختبر النموذجين في عمله الفعلي بعد.
- 1:18:42
رأي في أفضلية OpenAI للتصميم والرسوم
رأى المتحدث أن OpenAI قد تكون أقوى في الرسوم والتصميم، وربط ذلك بتاريخها وقدراتها الأقوى في توليد الصور مقارنةً بـAnthropic. طُرح ذلك كتقدير شخصي منطقي لا كاختبار حاسم.
- 1:19:30
الخلاصة المؤهلة لاختبار لعبة Flappy Bird
بعد تجربة اللعب، قال المتحدث إن جانبًا من المقارنة يظل نسبيًا، لكنه حكم بأن نسخة Fable 5.1 كانت أقوى في هذا الاختبار تحديدًا بسبب صعوبة اللعب والفيزياء، إضافةً إلى سرعة التسليم. لم يعمم النتيجة على بقية الاختبارات.
- 1:23:22
كيف تختار اختبارًا مفيدًا وحاسمًا لنماذج الذكاء الاصطناعي؟
ناقش البث المفاضلة بين اختبار النماذج في مجال يعرفه المُقيّم جيدًا، بما يسمح له باكتشاف الفروق بدقة، وبين مهمة عامة وبصرية يستفيد منها جمهور أوسع. طُرحت مهام ثلاثية الأبعاد وموشن جرافيك، مع ملاحظة أنها قد تستغرق وقتًا طويلًا، لذلك كان البحث جاريًا عن اختبار أقصر وأكثر حسمًا.
- 1:27:54
لماذا قد تكون الكفاءة أهم من فرق الجودة بين النماذج؟
رأى المتحدث مؤقتًا أن المقارنة ما زالت نسبية، وأن الفارق العملي قد يتعلق بالكفاءة وسهولة الاستخدام بقدر أكبر من الجودة وحدها. وخلال اختبار طويل لم يكن قد اكتمل بعد، أشار إلى أن تفوق Astra سيظل مشروطًا بقدرته على حل مشكلات لم يتمكن Fable 5.1 من حلها؛ لذلك لم تكن النتيجة النهائية محسومة في هذا المقطع.
- 1:30:49
لماذا لا يكفي اختبار واحد أو مقياس مرجعي للحكم على أفضل نموذج؟
يوضح لقمان أن نجاح نموذج في حل مشكلة بعينها لا يثبت تفوقه المطلق، خصوصًا عندما تكون النماذج المتقدمة متقاربة. ويرى أن المقاييس المرجعية قد تتأثر بالسياق أو التحيز، وأن فهم المقاييس الأكثر موضوعية يتطلب خبرة ومنحنى تعلم؛ كما يناقش اقتراح عرض التحليل نفسه على النموذجين ومقارنة تفسيرهما له.
- 1:36:18
ملاحظة أداء Astra وFable في مهمة برمجية وكيلة طويلة
يتابع لقمان تجربة لمطالبة برمجية طويلة تتعلق بحركة حقل سداسي واختبار مهارات البرمجة الوكيلة. في هذه المحاولة المباشرة أنهى Astra قبل Fable رغم تشغيلهما بإعداد مرتفع، ثم بدا أن Fable تعطل؛ وهي ملاحظة تخص هذه المحاولة وليست حكمًا عامًا على النموذجين.
- 1:39:14
رأي في قفزة سير العمل بين GPT 5.5 وGPT 5.6
يصف لقمان تجربته الشخصية بأن الانتقال من GPT 5.5 إلى GPT 5.6 أحدث تحسنًا ملحوظًا في كفاءة سير العمل ووسّع خيارات السرعة والنماذج المتاحة. ويقول إن ذلك قلل اعتماده على Claude، مع تأكيد ضمني أن هذه مقارنة نابعة من شعوره وطريقة عمله وليست نتيجة معيارية عامة.
- 1:43:00
لماذا يختبر النماذج بنفسه بدل الاعتماد على نتائج المعايير؟
يوضح لقمان أنه بدأ يشك في مدى تعبير أرقام المعايير عن احتياجاته العملية، لذلك يرسل المطالبة نفسها إلى نماذج مختلفة ويقارن النتائج بنفسه لمعرفة أيها أنسب ولماذا.
عندك سؤال عن حاجة في البث ده؟
اسأل في الجروب