بلوم: الثورة المفتوحة في الذكاء الاصطناعي

تحتاج نماذج الذكاء الاصطناعي الكبيرة اليوم إلى موارد حسابية هائلة للتدريب.

تتطلب الشبكة العصبية المكونة من مليارات أو حتى مليارات المعلمات موارد بعشرات الملايين من اليورو.
مع هذه التكاليف الباهظة ، فإن الجهات الفاعلة الوحيدة القادرة على بناء وتدريب نموذج رائع للذكاء الاصطناعي هي الشركات متعددة الجنسيات.

تكلفة أبحاث الذكاء الاصطناعي كعائق أمام الدخول

مع هذه الخصائص ، تشكل تكلفة أبحاث الذكاء الاصطناعي حاجزًا أمام الدخول.
على مدى السنوات القليلة الماضية ، شهدنا انتشار نماذج أصغر وأقل تعقيدًا ، ولكن بعيدًا عن النماذج اللغوية الكبيرة لـ LLM.

بلوم والثورة المفتوحة

لقد شهدنا تحولاً في السنوات الأخيرة. على سبيل المثال ، إصدار Meta لـ OPT-175B (Open Pretrained Transformer) ، وهو نموذج لغوي تم تدريبه باستخدام مجموعات البيانات العامة وإتاحته للباحثين في وضع "شبه مفتوح".
لكن خبر اللحظة هو إصدار شركة BigScience لـ BLOOM LM.

BLOOM هو نموذج متعدد اللغات للوصول المفتوح يحتوي على 176 مليار معلمة وقد تم تدريبه لمدة 3,5 شهرًا على 384 A100-80 GB GPU.
تشغل نقطة تفتيش BLOOM مساحة قرص تبلغ 330 جيجابايت ، لذلك يبدو من المستحيل تشغيل هذا النموذج على كمبيوتر مكتبي.
ومع ذلك ، فأنت تحتاج فقط إلى مساحة قرص كافية ، وذاكرة وصول عشوائي (RAM) بسعة 16 جيجابايت على الأقل لتشغيل هذا النموذج على جهاز الكمبيوتر الخاص بك.

BLOOM هو جهد تعاوني لأكثر من 1.000 عالم.
من المهم أن يكون مثل هذا النموذج الواسع متعدد اللغات متاحًا للجميع.

هندسة بلوم

BLOOM هي لغة نموذجية سببية ، مما يعني أنه تم تدريبها كمؤشر للرمز المميز التالي.
هذه الإستراتيجية التي تبدو بسيطة للتنبؤ بالرمز المميز التالي في الجملة ، بناءً على مجموعة من الرموز المميزة السابقة ، ثبت أنها تلتقط درجة معينة من قوة التفكير لنماذج اللغة الكبيرة.
يسمح هذا لـ BLOOM والنماذج المماثلة بربط مفاهيم متعددة في جملة والقدرة على حل المشكلات غير التافهة مثل الحساب والترجمة والبرمجة بدقة معقولة.
يستخدم BLOOM بنية محول تتكون من طبقة تضمين إدخال و 70 كتلة محول وطبقة نمذجة لغة الإخراج ، كما هو موضح في الشكل التالي.

مقال مستخرج من وظيفة Luca Sambucci، إذا كنت تريد قراءة ملفالأخبار