Famakafakana fohifohy momba ny fahaiza-mipoitra amin'ny maodely linguistika lehibe

Ny ankamaroan'ny fikarohana momba ny faharanitan-tsaina artifisialy nandritra ny roapolo taona lasa izay dia nifantoka tamin'ny fanofanana tambajotra neural, mba hanatanterahana asa tokana miaraka amin'ny angon-drakitra fanofanana manokana. Ohatra, sokafy raha misy saka ny sary iray, mamintina lahatsoratra iray, mandika avy amin'ny teny anglisy ho amin'ny swahili ...

Tao anatin'ny taona vitsivitsy izay, nisy paradigma vaovao nivoatra manodidina ny modely amin'ny fiteny: tambajotra neural izay maminavina fotsiny ny teny manaraka ao anaty fehezanteny nomena ireo teny teo aloha ao amin'ny fehezanteny.

Rehefa avy nampiofanina momba ny lahatsoratra tsy misy marika, dia azo "asaina" hanao asa tsy misy dikany toy ny faminaniany ny teny manaraka fehezanteny ny modely amin'ny fiteny. Ohatra, ny asa amin'ny fandikana fehezanteny anglisy amin'ny teny swahili dia azo adika ho toy ny faminaniana ny teny manaraka: "Ny dikanteny swahili amin'ny 'faharanitan-tsaina artifisialy' dia ..."

Avy amin'ny asa manokana mankany amin'ny asa ankapobeny

Ity paradigma vaovao ity dia maneho fiovana amin'ny modely asa manokana, voaofana hanao asa tokana, amin'ny modely asa-jeneraly, izay afaka manao asa isan-karazany. Plus ny modely asa-jeneraly afaka manao hetsika vaovao izay mbola tsy nampidirina mazava ao amin'ny angon-drakitra fanofanana ihany koa izy ireo. Ohatra, GPT-3 Nasehon'izy ireo fa ny modely amin'ny fiteny dia afaka mampitombo isa roa isa roa, na dia tsy nampiofanina mazava tsara aza izy ireo hanao izany. Na izany aza, io fahaizana manatanteraka asa vaovao io dia tsy nisy afa-tsy tamin'ny modely misy masontsivana maromaro ary niofana tamin'ny angon-drakitra ampy.

vonjy taitra toy ny fitondran-tena

Ny hevitra hoe ny fiovan'ny quantitative amin'ny rafitra iray dia mety hitarika fitondran-tena vaovao dia fantatra amin'ny hoe vonjy taitra, hevitra nalaza tamin'ny lahatsoratr'i Philip Anderson nahazo ny loka Nobel tamin'ny 1972 hoe “More is Different”. Ao amin'ny taranja maro toy ny fizika, biolojia, toekarena ary siansa informatika, ny fisehoan-javatra mipoitra dia voamarika amin'ny rafitra sarotra.

Ao anatin'ny lahatsoratra vao haingana Navoaka tamin'ny Transactions momba ny fikarohana momba ny fianarana milina, ny lab Hai in University of Stanford defiManatsara ny fahaiza-manao mipoitra amin'ny modely amin'ny fiteny lehibe toy izao manaraka izao:

Ny fahaizana dia maika raha tsy ao amin'ny modely kely kokoa izy io fa ao amin'ny modely lehibe kokoa.

Mba mampiavaka ny fisian'ny fahaiza-manao vao misondrotra, ny lahatsoratray dia nanangona ny fikarohana ho an'ny modely sy fomba fiasa isan-karazany nipoitra nandritra ny roa taona lasa hatramin'ny nivoahan'ny GPT-3. Ny taratasy dia nandinika fikarohana izay nanadihady ny fiantraikan'ny mari-pamantarana: modely amin'ny habe samihafa voaofana miaraka amin'ny loharanon-karena isan-karazany. Ho an'ny hetsika maro, ny fitondran-tenan'ny maodely dia mitombo azo antoka miaraka amin'ny ambaratonga na mitombo tsy ampoizina avy amin'ny fampisehoana kisendrasendra ho ambony noho ny soatoavina kisendrasendra amin'ny tokonam-baravarana manokana.

Raha te hahalala bebe kokoa dia vakio ny lahatsoratra momba ny fahaiza-manao mipoitra amin'ny modely fiteny

Jason Wei dia mpahay siansa fikarohana ao amin'ny Google Brain. Rishi Bommasani dia mpianatra diplaoma amin'ny ambaratonga faharoa ao amin'ny Departemantan'ny Siansa Informatika ao Stanford izay nanampy tamin'ny fanombohana ny Stanford Center for Research on Foundation Models (CRFM). Vakio ny fianarany "Fahaizana mipoitra amin'ny Large Language Models,", nosoratana niaraka tamin'ny manam-pahaizana avy amin'ny Google Research, Stanford University, UNC Chapel Hill, ary DeepMind.

fandrafetana BlogInnovazione.it