Неуронска мрежа састављена од милијарди или чак милијарди параметара захтева ресурсе вредне десетине милиона евра.
Уз тако импозантне трошкове, једини актери способни да створе и обуче велики модел вештачке интелигенције су мултинационалне компаније.
Са овим карактеристикама, трошкови истраживања АИ представљају баријеру за улазак.
Током последњих неколико година били смо сведоци пролиферације мањих и мање сложених модела, иако далеко од великих ЛЛМ језичких модела.
Последњих година смо сведоци преокрета тренда. На пример, Мета издање ОПТ-175Б (Опен Претраинед Трансформер), лингвистичког модела обученог са јавним скуповима података и стављеног на располагање истраживачима у „скоро“ отвореном режиму.
Али вест у овом тренутку је издање БЛООМ ЛМ од стране БигСциенце.
БЛООМ је вишејезични модел отвореног приступа који садржи 176 милијарди параметара и обучен је 3,5 месеца на 384 А100–80ГБ ГПУ-а.
БЛООМ контролна тачка заузима 330 ГБ простора на диску, тако да је немогуће покренути овај модел на десктоп рачунару.
Међутим, потребно вам је само довољно простора на диску и најмање 16 ГБ РАМ-а да бисте покренули овај модел на рачунару.
БЛООМ је заједнички напор више од 1.000 научника.
Важно је да тако широк вишејезични модел буде отворено доступан свима.
БЛООМ је каузални модел језика, што значи да је обучен као предиктор следећег токена.
Показало се да ова наизглед једноставна стратегија предвиђања следеће лексеме у реченици, заснована на скупу претходних лексема, обухвата одређени степен моћи закључивања за велике језичке моделе.
Ово омогућава БЛООМ-у и сличним моделима да повежу више концепата у реченици и буду у стању да реше нетривијалне проблеме као што су аритметика, превод и програмирање са разумном тачношћу.
БЛООМ користи Трансформер архитектуру која се састоји од улазног слоја за уграђивање, 70 Трансформер блокова и слоја за моделирање излазног језика, као што је приказано на следећој слици.
Чланак преузет из Пост оф Luca Sambucci, ако желите да прочитатеНевс.АИ
Развијање финих моторичких вештина кроз бојење припрема децу за сложеније вештине попут писања. Боји…
Поморски сектор је права глобална економска сила, која је кренула ка тржишту од 150 милијарди...
Прошлог понедељка, Финанциал Тимес је објавио договор са ОпенАИ. ФТ лиценцира своје новинарство светске класе…
Милиони људи плаћају услуге стриминга, плаћајући месечне претплате. Увријежено је мишљење да сте…
