ما تقدمه BloombergGPT إلى جدول التمويل

ستساعدك المقالة التالية: ما تقدمه BloombergGPT إلى جدول التمويل

في الأسبوع الماضي ، أصدرت Bloomberg ورقة بحثية عن نموذجها اللغوي الكبير BloombergGPT. من خلال تدريبه على أكثر من 50 مليار معلمة ، سيكون نموذج LLM أول نموذج تولد للذكاء الاصطناعي من نوعه يخدم صناعة التمويل. في حين أن هذه الخطوة قد تشكل سابقة لشركات أخرى ، في الوقت الحالي ، يبدو الإعلان وكأنه دفع لشركة البيانات والأخبار لتبدو ذات صلة في مجال الذكاء الاصطناعي.

ومن المثير للاهتمام ، أن بلومبرج لديها بالفعل Bloomberg Terminal ، التي تستخدم نماذج مدربة على البرمجة اللغوية العصبية و ML لتقديم البيانات المالية. لذا ، بطبيعة الحال ، فإن السؤال الذي يطرح نفسه هو: ما مقدار القيمة المضافة التي تمثلها BloombergGPT وأين هي مقارنة بنماذج GPT الأخرى؟

التدريب والمعلمات

تم استخدام مستودع بلومبيرج الضخم للبيانات المالية على مدار الأربعين عامًا الماضية لتدريب نموذج GPT. تم تدريبه على 363 مليار رمزية مجموعات بيانات الملكية (المستندات المالية) المتاحة من بلومبرج. بالإضافة إلى ذلك ، تم أيضًا دمج 345 مليار مجموعة بيانات عامة رمزية للحصول على إجمالي 700 مليار توكينز للتدريب.

تدعي الشركة أن النموذج الجديد (Bloomberg GPT) سيساعد في تحسين مهام البرمجة اللغوية العصبية الموجودة بالفعل مثل تحليل المشاعر – وهي طريقة تساعد في التنبؤ بأسعار السوق – تصنيف الأخبار وتوليد العناوين والإجابة على الأسئلة والمهام الأخرى المتعلقة بالاستعلام.

في ظاهر الأمر ، يبدو نموذج LLM الجديد رائعًا ، لكنه لا يزال محدودًا جدًا في مقاربته. إنه ليس نموذجًا متعدد اللغات ، به تحيزات وسمية وهو نموذج مغلق.

متعدد اللغات

BloombergGPT ، “نموذج اللغة السببية لوحدة فك التشفير فقط” الذي تبلغ قيمته 50 مليار متغير ، لم يتم تدريبه على بيانات متعددة اللغات. تتضمن مجموعة بيانات التدريب الخاصة بهم ، والتي تسمى FinPile ، الأخبار ، والإيداعات ، والبيانات الصحفية ، والمستندات المالية الممسوحة على الويب ، ووسائل التواصل الاجتماعي المستمدة من أرشيف بلومبيرج ، وكلها باللغة الإنجليزية. على سبيل المثال ، لتدريب النموذج على البيانات من المؤتمرات الصحفية ، تم استخدام نصوص المؤتمرات الصحفية للشركة من خلال التعرف على الكلام في اللغة الإنجليزية. عدم وجود لغات متعددة يحد من إدخال بيانات التدريب.

BLOOM ، التي لها نفس بنية النموذج ومجموعة البرامج مثل BloombergGPT (على الرغم من تدريب BLOOM على معلمات أعلى تبلغ 175 مليارًا) ، متعددة اللغات. هذا هو الحال مع GPT-3 ، والتي تم تدريبها أيضًا على تعدد اللغات و 175 مليار معلمة.

التحيزات والسمية

ذكرت بلومبرج أن إمكانية “توليد لغة ضارة تظل سؤالًا مفتوحًا”. تشتهر LLM بتحيزاتها وهلوساتها ، وهي مشكلة تواجهها أيضًا النماذج الكبيرة المدربة ، مثل ChatGPT. يمكن أن يكون تحيز LLM ضارًا للغاية عند استخدامه في نماذج التمويل ، حيث تحدد المعلومات الدقيقة والواقعية التنبؤ الصحيح لمشاعر السوق. ومع ذلك ، فإن BloombergGPT لا تعالج هذا القلق تمامًا. لا تزال الشركة تقيم النموذج وتعتقد أن “إجراءات الاختبار الحالية وضوابط المخاطر والامتثال” ستساعد في تقليل المشكلة. تدرس بلومبرج أيضًا مجموعة بيانات FinPile التي تحتوي على تحيزات أقل ولغة سامة ، والتي ستحد في النهاية من توليد محتوى غير لائق.

نموذج مغلق

BloombergGPT نموذج مغلق. بصرف النظر عن المعلمات والمعلومات العامة ، لم يتم ذكر التفاصيل مثل أوزان النموذج في ورقة البحث الخاصة بهم. من المحتمل أنه نظرًا لأن هذا النموذج يستند إلى عقود من بيانات بلومبرج ، مقترنة بطبيعتها الحساسة للمعلومات ، فلن تصبح LLM مفتوحة المصدر. إلى جانب ذلك ، تم تعيين النموذج لاستهداف مستخدمي Bloomberg Terminal ، الذين يستفيدون بالفعل من الخدمة بتكلفة اشتراك. ومع ذلك ، فإن الشركة لديها خطط لإصدار سجلات التدريب الخاصة بالنموذج.

في محادثة مع هدفقال Anju Kambadur ، رئيس هندسة الذكاء الاصطناعي في Bloomberg: “تتعلق BloombergGPT بتمكين وزيادة المهنيين البشريين في مجال التمويل بقدرات جديدة للتعامل مع المفاهيم العددية والحاسوبية بطريقة يسهل الوصول إليها.” تستخدم Bloomberg الذكاء الاصطناعي والتعلم الآلي ومعالجة اللغات الطبيعية لأكثر من عقد من الزمان ، لكن كل واحد منهم يتطلب نموذجًا مخصصًا. وقال: “مع BloombergGPT ، سنكون قادرين على تطوير تطبيقات جديدة بشكل أسرع وأسرع ، وبعضها تم التفكير فيه لسنوات ولم يتم تطويره بعد”.

“يمكن استخدام اللغة الإنجليزية للمحادثة لنشر استعلامات باستخدام لغة Bloomberg Query (BQL) لتحديد البيانات ، والتي يمكن استيرادها بعد ذلك إلى أدوات إدارة قوائم الأعمال وعلوم البيانات.”

أوضح كامبادور أن BloombergGPT ليس روبوت محادثة. “إنه نموذج مكون نستخدمه داخليًا لتطوير المنتجات وتحسين الميزات.” سيساعد النموذج في تشغيل التطبيقات التي تدعم الذكاء الاصطناعي مثل Bloomberg Terminal ، ولكن أيضًا يدعم تدفقات العمل الخلفية ضمن عمليات البيانات لدينا. قد لا يتعامل العملاء مع النموذج مباشرة ولكنهم سيستخدمونه من خلال وظائف المحطة الطرفية في المستقبل.

مقارنة

فيما يلي مقارنة مع طرز أخرى GPT-NeoX (مدربة على معلمات 20B) و FLAN-T5-XXL (مدربة على معلمات 11B). يمكن لـ BloombergGPT ، المحدث بأحدث المعلومات ، الإجابة على الأسئلة بدقة عند مقارنتها بـ LLMs الأخرى المدربة بشكل مشابه.

المصدر: arxiv.org

كان أداء BloombergGPT أفضل في المهام المالية عند مقارنتها بالنماذج المفتوحة الأخرى المماثلة من نفس الحجم ، كما تم تقييمها وفقًا لمعايير Bloomberg الداخلية وغيرها من معايير البرمجة اللغوية العصبية للأغراض العامة مثل BIG-bench Hard وتقييمات المعرفة وفهم القراءة والمهام اللغوية .