Mae rhwydwaith niwral sy'n cynnwys biliynau neu hyd yn oed biliynau o baramedrau angen adnoddau yn y degau o filiynau o Ewros.
Gyda chostau mor enfawr, yr unig actorion sy'n gallu adeiladu a hyfforddi model gwych o ddeallusrwydd artiffisial yw'r cwmnïau rhyngwladol.
Gyda'r nodweddion hyn, mae cost ymchwil AI yn rhwystr i fynediad.
Dros y blynyddoedd diwethaf rydym wedi gweld toreth o fodelau llai a llai cymhleth, pa mor bell bynnag oddi wrth y modelau ieithyddol LLM mawr.
Yn ystod y blynyddoedd diwethaf rydym wedi gweld newid. Er enghraifft, mae Meta yn rhyddhau OPT-175B (Open Pretrained Transformer), model iaith sydd wedi'i hyfforddi gyda setiau data cyhoeddus ac sydd ar gael i ymchwilwyr mewn modd agored “lled”.
Ond y newyddion am y foment yw rhyddhau BLOOM LM gan BigScience.
Mae BLOOM yn fodel iaith amlieithog mynediad agored sy'n cynnwys 176 biliwn o baramedrau ac sydd wedi'i hyfforddi am 3,5 mis ar 384 GPU A100-80 GB.
Mae pwynt gwirio BLOOM yn cymryd 330GB o ofod disg, felly mae'n ymddangos yn amhosibl rhedeg y model hwn ar gyfrifiadur bwrdd gwaith.
Fodd bynnag, dim ond digon o le ar y ddisg sydd ei angen arnoch, ac o leiaf 16GB o RAM i redeg y model hwn ar eich cyfrifiadur.
Mae BLOOM yn ymdrech gydweithredol o dros 1.000 o wyddonwyr.
Mae’n bwysig bod model amlieithog mor eang ar gael yn agored i bawb.
Mae BLOOM yn fodel iaith achosol, sy'n golygu ei bod wedi'i hyfforddi fel rhagfynegydd o'r tocyn nesaf.
Dangoswyd bod y strategaeth ymddangosiadol syml hon o ragfynegi’r tocyn nesaf mewn brawddeg, yn seiliedig ar set o docynnau blaenorol, yn dal rhywfaint o rym rhesymu ar gyfer modelau iaith mawr.
Mae hyn yn caniatáu i BLOOM a modelau tebyg gysylltu cysyniadau lluosog mewn brawddeg ac i allu datrys problemau nad ydynt yn ddibwys fel rhifyddeg, cyfieithu a rhaglennu gyda chywirdeb gweddol.
Mae BLOOM yn defnyddio pensaernïaeth Transformer sy'n cynnwys haen fewnosod mewnbwn, 70 bloc Transformer, a haen modelu iaith allbwn, fel y dangosir yn y ffigur canlynol.
Erthygl a dynnwyd o'r Post o Luca Sambucci, os ydych am ddarllen yNewyddion.AI
Perfformiwyd gweithrediad offthalmoplasti gan ddefnyddio gwyliwr masnachol Apple Vision Pro yn y Catania Polyclinic…
Mae datblygu sgiliau echddygol manwl trwy liwio yn paratoi plant ar gyfer sgiliau mwy cymhleth fel ysgrifennu. I liwio…
Mae'r sector llyngesol yn bŵer economaidd byd-eang gwirioneddol, sydd wedi llywio tuag at farchnad 150 biliwn...
Ddydd Llun diwethaf, cyhoeddodd y Financial Times gytundeb ag OpenAI. Mae FT yn trwyddedu ei newyddiaduraeth o safon fyd-eang…
