BLOOM: revolucioni i hapur në inteligjencën artificiale

Modelet e sotme të mëdha të AI kanë nevojë për burime të mëdha llogaritëse për t'u trajnuar.

Një rrjet nervor i përbërë nga miliarda apo edhe miliarda parametra kërkon burime në dhjetëra miliona euro.
Me kosto kaq të mëdha, të vetmit aktorë që mund të ndërtojnë dhe trajnojnë një model të shkëlqyer të inteligjencës artificiale janë shumëkombëshe.

Kostoja e kërkimit të AI si një pengesë për hyrjen

Me këto karakteristika, kostoja e kërkimit të AI përbën një pengesë për hyrjen.
Gjatë viteve të fundit ne kemi qenë dëshmitarë të përhapjes së modeleve më të vogla dhe më pak komplekse, sado larg modeleve të mëdha gjuhësore LLM.

BLOOM dhe revolucioni i hapur

Vitet e fundit kemi parë një kthesë. Për shembull, lëshimi nga Meta i OPT-175B (Transformator i hapur paratrajnuar), një model gjuhe i trajnuar me grupe të dhënash publike dhe i vënë në dispozicion të studiuesve në modalitetin "kuazi" të hapur.
Por lajmi i momentit është publikimi i BLOOM LM nga BigScience.

BLOOM është një model gjuhësor shumëgjuhësh me akses të hapur që përmban 176 miliardë parametra dhe është trajnuar për 3,5 muaj në 384 GPU A100–80 GB.
Një pikë kontrolli BLOOM zë 330 GB hapësirë ​​në disk, kështu që duket e pamundur të ekzekutohet ky model në një kompjuter desktop.
Megjithatë, ju duhet vetëm hapësirë ​​e mjaftueshme në disk dhe të paktën 16 GB RAM për të ekzekutuar këtë model në kompjuterin tuaj.

BLOOM është një përpjekje bashkëpunuese e mbi 1.000 shkencëtarëve.
Është e rëndësishme që një model kaq i gjerë shumëgjuhësh të jetë i hapur për të gjithë.

Arkitektura e BLOOM

BLOOM është një gjuhë model kauzal, që do të thotë se është trajnuar si një parashikues i shenjës tjetër.
Kjo strategji në dukje e thjeshtë e parashikimit të shenjës së ardhshme në një fjali, bazuar në një grup shenjash të mëparshme, është treguar se kap një shkallë të caktuar fuqie arsyetimi për modelet e mëdha gjuhësore.
Kjo lejon BLOOM dhe modele të ngjashme të lidhin koncepte të shumta në një fjali dhe të jenë në gjendje të zgjidhin probleme jo të parëndësishme si aritmetika, përkthimi dhe programimi me saktësi të mjaftueshme.
BLOOM përdor një arkitekturë Transformer që përbëhet nga një shtresë futëse hyrëse, 70 blloqe transformatori dhe një shtresë modelimi i gjuhës dalëse, siç tregohet në figurën e mëposhtme.

Artikull i nxjerrë nga Postimi i Luca Sambucci, nëse doni të lexoniLajme.AI