ستساعدك المقالة التالية: هل يمكن تشغيل LLM أصلاً على جهاز iPhone الخاص بك؟ تعرف على MLC-LLM: إطار عمل مفتوح يجلب نماذج اللغة (LLMs) مباشرة إلى فئة واسعة من المنصات …
نماذج اللغات الكبيرة (LLMs) هي الموضوع الساخن الحالي في مجال الذكاء الاصطناعي. لقد تم بالفعل إحراز مستوى جيد من التقدم في مجموعة واسعة من الصناعات مثل الرعاية الصحية ، والتمويل ، والتعليم ، والترفيه ، وما إلى ذلك. تؤدي النماذج اللغوية الكبيرة المعروفة مثل GPT و DALLE و BERT مهامًا غير عادية وتسهل الحياة. بينما يمكن لـ GPT-3 إكمال الرموز ، والإجابة على أسئلة مثل البشر ، وإنشاء محتوى بموجبه قصير بلغة طبيعية ، يمكن لـ DALLE 2 إنشاء صور تستجيب لوصف نصي بسيط. تساهم هذه النماذج في بعض التحولات الضخمة في الذكاء الاصطناعي والتعلم الآلي وتساعدهم على التحرك من خلال نقلة نوعية.
مع تطور عدد متزايد من النماذج ، تأتي الحاجة إلى خوادم قوية لاستيعاب متطلباتهم الحاسوبية والذاكرة وتسريع الأجهزة. لجعل هذه النماذج فائقة الفعالية والكفاءة ، يجب أن تكون قادرة على العمل بشكل مستقل على الأجهزة الاستهلاكية ، مما سيزيد من إمكانية الوصول إليها وتوافرها وتمكين المستخدمين من الوصول إلى أدوات الذكاء الاصطناعي القوية على أجهزتهم الشخصية دون الحاجة إلى اتصال بالإنترنت أو الاعتماد على الخوادم السحابية. في الآونة الأخيرة ، تم تقديم MLC-LLM ، وهو إطار عمل مفتوح يجلب LLM مباشرة إلى فئة واسعة من المنصات مثل CUDA و Vulkan و Metal التي أيضًا مع تسريع GPU.
يتيح MLC LLM نشر نماذج اللغة محليًا على مجموعة واسعة من الأجهزة الخلفية ، بما في ذلك وحدات المعالجة المركزية ووحدات معالجة الرسومات والتطبيقات الأصلية. هذا يعني أنه يمكن تشغيل أي نموذج لغة على الأجهزة المحلية دون الحاجة إلى خادم أو بنية أساسية قائمة على السحابة. يوفر MLC LLM إطارًا إنتاجيًا يسمح للمطورين بتحسين أداء النموذج لحالات الاستخدام الخاصة بهم ، مثل معالجة اللغة الطبيعية (NLP) أو رؤية الكمبيوتر. يمكن حتى تسريعها باستخدام وحدات معالجة الرسومات المحلية ، مما يجعل من الممكن تشغيل نماذج معقدة بدقة عالية وسرعة على الأجهزة الشخصية.
تم توفير إرشادات محددة لتشغيل LLMs و chatbots أصلاً على الأجهزة لـ iPhone ، Windowsو Linux و Mac ومتصفحات الويب. بالنسبة لمستخدمي iPhone ، يوفر MLC LLM تطبيق دردشة iOS يمكن تثبيته من خلال صفحة TestFlight. يتطلب التطبيق ما لا يقل عن 6 جيجابايت من الذاكرة ليعمل بسلاسة وقد تم اختباره على iPhone 14 Pro Max و iPhone 12 Pro. يمكن أن تكون سرعة إنشاء النص على تطبيق iOS غير مستقرة في بعض الأحيان وقد تعمل ببطء في البداية قبل التعافي إلى السرعة العادية.
ل Windowsمستخدمو Linux و Mac ، يوفر MLC LLM تطبيق واجهة سطر الأوامر (CLI) للدردشة مع الروبوت في الجهاز. قبل تثبيت تطبيق CLI ، يجب على المستخدمين تثبيت بعض التبعيات ، بما في ذلك Conda ، لإدارة التطبيق وأحدث برنامج تشغيل Vulkan لمستخدمي NVIDIA GPU على Windows ولينكس. بعد تثبيت التبعيات ، يمكن للمستخدمين اتباع التعليمات لتثبيت تطبيق CLI وبدء الدردشة مع الروبوت. بالنسبة لمستخدمي مستعرض الويب ، يوفر MLC LLM مشروعًا مصاحبًا يسمى WebLLM ، والذي ينشر النماذج أصلاً في المتصفحات. كل شيء يعمل داخل المتصفح بدون دعم خادم ويتم تسريعه باستخدام WebGPU.
في الختام ، يعد MLC LLM حلاً عالميًا مذهلاً لنشر LLM محليًا على خلفيات أجهزة متنوعة وتطبيقات أصلية. إنه خيار رائع للمطورين الذين يرغبون في بناء نماذج يمكن تشغيلها على مجموعة واسعة من الأجهزة وتكوينات الأجهزة.
