Á undanförnum árum hefur ný hugmyndafræði þróast í kringum mállíkön: tauganet sem einfaldlega spá fyrir um næstu orð í setningu með fyrri orðum í setningunni.
Eftir að hafa verið þjálfaður á stórum hluta af ómerktum texta er hægt að „bjóða“ tungumálalíkönum til að framkvæma handahófskenndar verkefni eins og að spá fyrir um orðið í kjölfar setningar. Til dæmis væri hægt að umorða það verkefni að þýða enska setningu yfir á svahílí sem að spá fyrir um næsta orð: "Svahílíþýðingin á 'gervigreind' er ..."
Þessi nýja hugmyndafræði táknar breytingu frá módelum verkefnasértækt, þjálfaðir til að framkvæma eitt verkefni, í líkönum verkefnastjóri, sem getur sinnt ýmsum verkefnum. Auk módelanna verkefnastjóri þeir geta einnig framkvæmt nýjar aðgerðir sem hafa ekki beinlínis verið teknar með í þjálfunargögnunum. Til dæmis, GPT-3 sýndi að tungumálalíkön geta margfaldað tveggja stafa tölur með góðum árangri, jafnvel þótt þau hafi ekki verið sérstaklega þjálfuð til þess. Hins vegar, þessi hæfileiki til að framkvæma ný verkefni átti sér aðeins stað með líkönum með ákveðnum fjölda breytu og þjálfaðir á nægilega stóru gagnasetti.
Hugmyndin um að magnbreytingar í kerfi geti leitt til nýrrar hegðunar er þekkt sem neyðar, hugtak sem er vinsælt af ritgerð Nóbelsverðlaunahafans Philip Anderson árið 1972 „More is Different“. Í mörgum greinum eins og eðlisfræði, líffræði, hagfræði og tölvunarfræði hefur komið fram fyrirbæri í flóknum kerfum.
Í nýleg grein Birt þann Viðskipti á vélanámsrannsóknum, rannsóknarstofunni Hæ in Stanford University defilýsir vaxandi færni í stórum tungumálalíkönum sem hér segir:
A færni er koma fram ef það er ekki til í minni gerðum en er til í stærri gerðum.
Að einkenna tilvist færni koma fram, grein okkar safnaði saman niðurstöðum fyrir ýmsar gerðir og nálganir sem hafa komið fram undanfarin tvö ár frá útgáfu GPT-3. Ritgerðin skoðaði rannsóknir sem greindu áhrif mælikvarða: líkön af mismunandi stærðum þjálfuð með mismunandi reiknitilföng. Fyrir margar athafnir vex hegðun líkansins fyrirsjáanlega með mælikvarða eða eykst ófyrirsjáanlegt frá tilviljunarkenndri frammistöðu í hærri en tilviljunarkennd gildi á tilteknum kvarðaþröskuldi.
Til að læra meira lestu greinina um vaxandi færni í tungumálalíkönum
Jason Wei er rannsóknarfræðingur hjá Google Brain. Rishi Bommasani er annar doktorsnemi við tölvunarfræðideild Stanford sem hjálpaði til við að hleypa af stokkunum Stanford Center for Research on Foundation Models (CRFM). Lestu rannsókn þeirra "Vaxandi hæfileikar Large Language Models,", skrifað í samvinnu við fræðimenn frá Google Research, Stanford University, UNC Chapel Hill og DeepMind.
semja BlogInnovazione.it
Augnskurðaðgerð með Apple Vision Pro auglýsingaskjánum var framkvæmd á Catania Polyclinic…
Að þróa fínhreyfingar með litun undirbýr börn fyrir flóknari færni eins og að skrifa. Að lita…
Flotageirinn er sannkallað alþjóðlegt efnahagsveldi sem hefur siglt í átt að 150 milljarða markaði...
Síðasta mánudag tilkynnti Financial Times um samning við OpenAI. FT leyfir heimsklassa blaðamennsku…
