ستساعدك المقالة التالية: Meet xTuring: أداة مفتوحة المصدر تتيح لك إنشاء نموذج لغة كبير خاص بك (LLMs) بثلاثة أسطر فقط من التعليمات البرمجية
يعد التنفيذ العملي لنموذج اللغة الكبيرة (LLM) لتطبيق مفصل أمرًا صعبًا حاليًا بالنسبة لغالبية الأفراد. يستغرق الأمر الكثير من الوقت والخبرة لإنشاء LLM يمكنه إنشاء محتوى بدقة عالية وسرعة للمجالات المتخصصة أو ربما لتقليد أسلوب الكتابة.
يحتوي Stochastic على فريق من مهندسي ML ، وطلاب ما بعد الدكتوراة ، وطلاب الدراسات العليا في جامعة هارفارد يركزون على تحسين وتسريع الذكاء الاصطناعي للماجستير في القانون. يقدمون xTuring ، وهو حل مفتوح المصدر يتيح للمستخدمين إنشاء LLM الخاصة بهم باستخدام ثلاثة أسطر فقط من التعليمات البرمجية.
تطبيقات مثل تسليم النص الآلي ، وروبوتات الدردشة ، وترجمة اللغة ، وإنتاج المحتوى هي مجالات يسعى فيها الأشخاص إلى تطوير وإنشاء تطبيقات جديدة باستخدام هذه المفاهيم. قد يستغرق تدريب هذه النماذج وضبطها وقتًا طويلاً ومكلفًا. تجعل xTuring عملية تحسين النموذج سهلة وسريعة ، سواء باستخدام LLaMA أو GPT-J أو GPT-2 أو طريقة أخرى.
إن تعدد استخدامات xTuring كإطار عمل تدريبي لوحدة معالجة رسومات واحدة أو متعدد GPU يعني أنه يمكن للمستخدمين تخصيص نماذجهم لتلائم تكوينات الأجهزة الخاصة بهم. تستخدم xTuring تقنيات ضبط فعالة للذاكرة مثل LoRA لتسريع عملية التعلم وتقليل نفقات الأجهزة بنسبة تصل إلى 90٪. من خلال تقليل حجم الذاكرة اللازمة للضبط الدقيق ، تسهل LoRA تدريب النموذج الأكثر سرعة وفعالية.
تم استخدام نموذج LLaMA 7B كمعيار لقدرات الضبط الدقيق لـ xTuring ، وقارن الفريق xTuring بتقنيات الضبط الأخرى. تشتمل تعليمات 52K على مجموعة البيانات ، وتم استخدام 335 جيجابايت من ذاكرة وحدة المعالجة المركزية ووحدات معالجة الرسومات 4xA100 للاختبار.
توضح النتائج أن تدريب نموذج LLaMA 7B لمدة 21 ساعة لكل فترة باستخدام DeepSpeed + تفريغ وحدة المعالجة المركزية استهلك 33.5 جيجابايت من وحدة معالجة الرسومات و 190 جيجابايت من وحدة المعالجة المركزية. أثناء الضبط الدقيق مع تفريغ LoRA + DeepSpeed أو LoRA + DeepSpeed + CPU ، ينخفض استخدام الذاكرة بشكل كبير إلى 23.7 جيجابايت و 21.9 جيجابايت على وحدة معالجة الرسومات ، على التوالي. انخفض حجم ذاكرة الوصول العشوائي التي تستخدمها وحدة المعالجة المركزية من 14.9 جيجابايت إلى 10.2 جيجابايت. بالإضافة إلى ذلك ، تم تقليل وقت التدريب من 40 دقيقة إلى 20 دقيقة لكل فترة عند استخدام تفريغ LoRA + DeepSpeed أو LoRA + DeepSpeed + CPU.
لا يمكن أن يكون بدء استخدام xTuring أسهل. من المفترض أن تكون واجهة المستخدم الخاصة بالأداة سهلة التعلم والاستخدام. يمكن للمستخدمين تحسين نماذجهم ببضع نقرات بالماوس ، وسيقوم xTuring بالباقي. نظرًا لسهولة استخدامه ، يعد xTuring خيارًا رائعًا للأشخاص الجدد في LLM وذوي الخبرة الأكبر.
وفقًا للفريق ، يعد xTuring الخيار الأفضل لضبط نماذج اللغات الكبيرة نظرًا لأنه يسمح بتدريب فردي ومتعدد وحدات معالجة الرسومات ، ويستخدم أساليب فعالة للذاكرة مثل LoRA ، وله واجهة مباشرة.
تفحص ال جيثبو مشروع و مرجع. يذهب كل الفضل في هذا البحث إلى الباحثين في هذا المشروع. أيضا ، لا تنسى الانضمام 17k + ML SubRedditو قناة الخلاف، و النشرة البريد الإلكتروني، حيث نشارك آخر أخبار أبحاث الذكاء الاصطناعي ومشاريع الذكاء الاصطناعي الرائعة والمزيد.
تحقق من https://aitoolsclub.com للعثور على مئات من أدوات الذكاء الاصطناعي الرائعة
