Нейронна мережа, що складається з мільярдів або навіть мільярдів параметрів, потребує ресурсів у десятки мільйонів євро.
З такими величезними витратами єдині актори, здатні побудувати та навчити чудову модель штучного інтелекту, — це транснаціональні компанії.
З такими характеристиками вартість досліджень ШІ є перешкодою для входу.
За останні кілька років ми стали свідками поширення менших і менш складних моделей, однак далеких від великих лінгвістичних моделей LLM.
В останні роки ми спостерігаємо поворот. Наприклад, Meta випустила OPT-175B (Open Pretrained Transformer), мовну модель, навчену загальнодоступними наборами даних і доступну для дослідників у «квазі» відкритому режимі.
Але новиною цього моменту є випуск BLOOM LM від BigScience.
BLOOM — це багатомовна модель відкритого доступу, яка містить 176 мільярдів параметрів і навчалася протягом 3,5 місяців на 384 графічних процесорах A100–80 ГБ.
Контрольна точка BLOOM займає 330 ГБ дискового простору, тому запустити цю модель на настільному комп’ютері здається неможливим.
Однак для запуску цієї моделі на вашому комп’ютері вам просто потрібно достатньо місця на диску та принаймні 16 ГБ оперативної пам’яті.
BLOOM – це спільне зусилля понад 1.000 науковців.
Важливо, щоб така широка багатомовна модель була відкрито доступна для всіх.
BLOOM є причинно-наслідковою модельною мовою, що означає, що її було навчено як предиктор наступного токена.
Було показано, що ця, здавалося б, проста стратегія передбачення наступної лексеми в реченні на основі набору попередніх лексем захоплює певний ступінь міркування для великих мовних моделей.
Це дозволяє BLOOM та подібним моделям з’єднувати кілька понять у реченні та мати можливість розв’язувати нетривіальні проблеми, такі як арифметика, переклад і програмування з достатньою точністю.
BLOOM використовує архітектуру Transformer, яка складається з вхідного рівня вбудовування, 70 блоків Transformer і рівня моделювання вихідної мови, як показано на наступному малюнку.
Стаття взята з Post of Luca Sambucci, якщо ви хочете прочитатиНовини.AI
Минулого понеділка Financial Times оголосила про угоду з OpenAI. FT ліцензує свою журналістику світового рівня…
Мільйони людей оплачують потокові послуги, сплачуючи щомісячну абонентську плату. Поширена думка, що ви…
Coveware від Veeam продовжить надавати послуги реагування на інциденти кібервимагання. Coveware запропонує криміналістику та можливості відновлення…
Прогнозне технічне обслуговування революціонізує нафтогазовий сектор завдяки інноваційному та проактивному підходу до управління заводом.…
