Миллиарддаган, атүгүл миллиарддаган параметрлерден турган нейрондук тармак он миллиондогон евро ресурстарды талап кылат.
Мынчалык чоң чыгымдар менен жасалма интеллекттин улуу моделин түзө жана үйрөтө алган жалгыз актер – бул көп улуттуу компаниялар.
Бул мүнөздөмөлөр менен, AI изилдөө наркы кирүү үчүн тоскоолдук түзөт.
Акыркы бир нече жыл ичинде биз LLM лингвистикалык чоң моделдеринен алыс болсо да, кичине жана анча татаал моделдердин тараганына күбө болдук.
Акыркы жылдары биз бурулушту көрдүк. Мисалы, Meta компаниясынын OPT-175B (Open Pretrained Transformer) чыгаруусу, тил модели коомдук маалымат топтомдору менен үйрөтүлгөн жана изилдөөчүлөргө “квази” ачык режимде жеткиликтүү.
Бирок учурдун жаңылыктары - BigScience тарабынан BLOOM LM чыгарылышы.
BLOOM – бул 176 миллиард параметрди камтыган жана 3,5 A384–100 ГБ GPUларда 80 ай үйрөтүлгөн ачык жеткиликтүү көп тилдүү тил модели.
BLOOM текшерүү пункту 330 ГБ диск мейкиндигин ээлейт, ошондуктан бул моделди рабочий компьютерде иштетүү мүмкүн эместей көрүнөт.
Бирок, бул моделди компьютериңизде иштетүү үчүн сизге жетиштүү диск мейкиндиги жана кеминде 16 ГБ оперативдүү эс керек.
BLOOM 1.000ден ашуун окумуштуулардын биргелешкен аракети.
Мындай кеңири көп тилдүү моделдин бардыгы үчүн ачык болушу маанилүү.
BLOOM – бул себептүү модель тили, демек, ал кийинки токендин алдын ала айтуучусу катары үйрөтүлгөн.
Мурунку белгилердин жыйындысына негизделген сүйлөмдөгү кийинки токенди алдын ала айтуунун бул жөнөкөй көрүнгөн стратегиясы чоң тил моделдери үчүн белгилүү бир деңгээлде ой жүгүртүү күчүн камтый турганы көрсөтүлгөн.
Бул BLOOM жана ушул сыяктуу моделдерге сүйлөмдөгү бир нече түшүнүктөрдү бириктирүүгө жана арифметика, котормо жана программалоо сыяктуу маанилүү эмес маселелерди адилеттүү тактык менен чечүүгө мүмкүндүк берет.
BLOOM төмөнкү сүрөттө көрсөтүлгөндөй, кириш киргизүү катмарынан, 70 трансформатор блокторунан жана чыгаруу тилин моделдөө катмарынан турган Transformer архитектурасын колдонот.
Посттан алынган макала Luca Sambucci, эгер сиз окугуңуз келсеNews.AI
Apple Vision Pro коммерциялык көрүүчүсү аркылуу офтальмопластика операциясы Катания поликлиникасында жасалды…
Боёо аркылуу майда моторикасын өнүктүрүү балдарды жазуу сыяктуу татаал көндүмдөрдү даярдайт. Түс үчүн…
Аскер-деңиз сектору 150 миллиарддык рынокту көздөй багыт алган чыныгы дүйнөлүк экономикалык держава...
Өткөн дүйшөмбүдө Financial Times OpenAI менен келишим түзгөнүн жарыялады. FT өзүнүн дүйнөлүк деңгээлдеги журналистикасына лицензия берет…
