الأخبار التكنولوجية والاستعراضات والنصائح!

معهد الابتكار التكنولوجي مفتوح المصدر Falcon LLMs: نموذج ذكاء اصطناعي جديد يستخدم 75 بالمائة فقط من حساب تدريب GPT-3 و 40 بالمائة من Chinchilla و …

ستساعدك المقالة التالية: معهد الابتكار التكنولوجي مفتوح المصدر Falcon LLMs: نموذج ذكاء اصطناعي جديد يستخدم 75 بالمائة فقط من حساب تدريب GPT-3 و 40 بالمائة من Chinchilla و …

فالكون 40 بي

Falcon-40B هو نموذج قوي لأجهزة فك التشفير فقط تم تطويره بواسطة TII (معهد الابتكار التكنولوجي) وتم تدريبه على كمية هائلة من البيانات تتكون من 1000 مليار رمز من RefinedWeb و corpora المنسقة. هذا النموذج متاح بموجب ترخيص TII Falcon LLM.

يعد طراز Falcon-40B أحد أفضل النماذج مفتوحة المصدر المتاحة. إنه يتفوق على النماذج الأخرى مثل LLaMA و StableLM و RedPajama و MPT في الأداء ، كما هو موضح في OpenLLM Leaderboard.

إحدى السمات البارزة لـ Falcon-40B هي بنيتها المحسّنة للاستدلال. إنه يشتمل على FlashAttention ، كما تم تقديمه بواسطة Dao et al. في عام 2022 ، واستعلام متعدد ، كما وصفه Shazeer et al. في عام 2019. تساهم هذه التحسينات المعمارية في الأداء الفائق للنموذج والكفاءة أثناء مهام الاستدلال.

من المهم ملاحظة أن Falcon-40B هو نموذج خام ومدرب مسبقًا ، ويوصى عادةً بإجراء مزيد من الضبط الدقيق لتكييفه مع حالات استخدام محددة. ومع ذلك ، بالنسبة للتطبيقات التي تتضمن تعليمات عامة بتنسيق دردشة ، فإن البديل الأكثر ملاءمة هو Falcon-40B-Instruct.

يتم توفير Falcon-40B بموجب ترخيص TII Falcon LLM ، والذي يسمح بالاستخدام التجاري للنموذج. يمكن الحصول على التفاصيل المتعلقة بالترخيص بشكل منفصل.

سيتم إصدار ورقة تقدم مزيدًا من التفاصيل حول Falcon-40B قريبًا. يوفر توفر هذا النموذج مفتوح المصدر عالي الجودة مورداً قيماً للباحثين والمطورين والشركات في مختلف المجالات.

فالكون 7 ب

Falcon-7B هو نموذج متقدم للغاية لوحدة فك التشفير السببية فقط TII (معهد الابتكار التكنولوجي) تم تطويره. إنها تتميز بعدد معلمات مثير للإعجاب يبلغ 7B وقد تم تدريبها على مجموعة بيانات شاملة من 1500B من الرموز المميزة المشتقة من RefinedWeb ، والتي تم تحسينها بشكل أكبر باستخدام corpora المنسقة. تم توفير هذا النموذج بموجب ترخيص TII Falcon LLM.

أحد الأسباب الرئيسية لاختيار Falcon-7B هو أدائه الاستثنائي مقارنة بنماذج أخرى مماثلة مفتوحة المصدر مثل MPT-7B و StableLM و RedPajama. يساهم التدريب المكثف على مجموعة بيانات RefinedWeb المخصبة في قدراتها الفائقة ، كما هو موضح في لوحة المتصدرين OpenLLM.

يدمج Falcon-7B بنية محسّنة بشكل صريح لمهام الاستدلال. يستفيد النموذج من دمج FlashAttention ، وهي تقنية قدمها Dao et al. في عام 2022 ، واستعلام متعدد ، كما وصفه Shazeer et al. في عام 2019. هذه التطورات المعمارية تعزز كفاءة النموذج وفعاليته أثناء عمليات الاستدلال.

تجدر الإشارة إلى أن Falcon-7B متاح بموجب ترخيص TII Falcon LLM ، والذي يمنح الإذن للاستخدام التجاري للنموذج.

يمكن الحصول على معلومات مفصلة حول الترخيص بشكل منفصل.

بينما لم يتم نشر الورقة التي تقدم رؤى شاملة حول Falcon-7B بعد ، فإن الميزات والأداء الاستثنائيين للطراز تجعله رصيدًا لا يقدر بثمن للباحثين والمطورين والشركات عبر مختلف المجالات.