V zadnjih mesecih je hitrost, s katero so bili objavljeni inovativni veliki jezikovni modeli, osupljiva. V tem članku bomo obravnavali glavne podobnosti in razlike med GPT4 in ChatGPT, vključno z metodami usposabljanja, zmogljivostjo, zmogljivostmi in omejitvami.
GPT4 in ChatGPT temeljita na starejših različicah modelov GPT z izboljšavami arhitekture modela, z uporabo bolj sofisticiranih metod usposabljanja in z večjim številom parametrov usposabljanja.
Oba dizajna temeljita na transformatorski arhitekturi, ki uporablja kodirnik za obdelavo vhodnih sekvenc in dekoder za generiranje izhodnih sekvenc. Kodirnik in dekoder sta povezana z mehanizmom, ki dekoderju omogoča, da se bolj posveti najpomembnejšim vhodnim sekvencam.
Tehnično poročilo GPT4 OpenAI ponuja malo vpogleda v arhitekturo modela in proces oblikovanja GPT4, pri čemer navaja "competitive landscape and the safety implications of large-scale models“. Kar vemo, je, da se GPT4 in ChatGPT verjetno usposabljata podobno, kar je precejšnja razlika od metod usposabljanja, uporabljenih za GPT-2 in GPT-3. O metodah usposabljanja za ChatGPT vemo veliko več kot o GPT4, zato bomo začeli tam.
ChatGPT je usposobljen z dialoškimi podatkovnimi nizi, vključno s predstavitvenimi podatki, kjer človeški označevalci prikazujejo pričakovan rezultat pomočnika chatbota kot odgovor na posebne zahteve. Ti podatki se uporabljajo za prilagajanje GPT3.5 z nadzorovanim učenjem, pri čemer se ustvari model pravilnika, ki se uporablja za ustvarjanje več odgovorov, ko so podane zahteve. Človeški označevalci nato razvrstijo, kateri od odgovorov za dani poziv je dal najboljše rezultate, kar se uporabi za usposabljanje modela nagrajevanja. Model nagrajevanja se nato uporabi za iterativno natančno prilagajanje modela politike z uporabo učenja z okrepitvijo.
ChatGPT je usposobljen za uporabo Okrepitveno učenje iz človeških povratnih informacij (RLHF), način za vključitev človeških povratnih informacij za izboljšanje jezikovnega modela med usposabljanjem. To omogoča, da se izhod modela uskladi z dejavnostjo, ki jo zahteva uporabnik, namesto da samo predvideva naslednjo besedo v stavku na podlagi skupka generičnih podatkov o usposabljanju, kot je GPT-3.
OpenAI še ni razkril podrobnosti o tem, kako je usposobil GPT4. Njihovo tehnično poročilo ne vključuje "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar“. Kar vemo, je, da je GPT4 izurjen generativni večmodni model transformatorja. Tako na javno dostopnih podatkih kot na podatkih tretjih oseb, licenciranih in naknadno natančno nastavljenih z uporabo RLHF. Zanimivo je, da je OpenAI delil podrobnosti v zvezi s svojimi posodobljenimi tehnikami RLHF, da bi bili odzivi modela natančnejši in manj verjetno, da bi odnesli zunaj varnostnih zaščitnih ograj.
Po usposabljanju modela pravilnika (kot pri ChatGPT) se RLHF uporablja v kontradiktornem usposabljanju, procesu, ki uri model na zlonamernih primerih, namenjenih pretentanju modela, da se brani pred takimi primeri v prihodnosti. V primeru GPT4 strokovnjaki ocenjujejo odzive političnega modela na nasprotujoče si zahteve. Ti odzivi se nato uporabijo za usposabljanje dodatnih modelov nagrajevanja, ki iterativno izpopolnijo model pravilnika, kar ima za posledico model, za katerega je manj verjetno, da bo zagotovil nevarne, izogibajoče se ali netočne odzive.
Z vidika funkcionalnosti sta si ChatGPT in GPT4 bolj podobna kot različna. Tako kot njegov predhodnik tudi GPT-4 deluje v pogovornem slogu, ki se želi uskladiti z uporabnikom. Kot lahko vidite spodaj, sta si odgovora med obema modeloma za široko vprašanje zelo podobna.
OpenAI se strinja, da je razlika med modeli lahko subtilna in navaja, da "razlika pride do izraza, ko kompleksnost naloge doseže zadosten prag". Glede na šest mesecev kontradiktornega usposabljanja, ki ga je osnovni model GPT4 opravil v fazi po usposabljanju, je to verjetno natančna karakterizacija.
Za razliko od ChatGPT, ki sprejema samo besedilo, GPT4 sprejema tako slikovne kot besedilne pozive in vrača besedilne odgovore. Od tega pisanja na žalost možnost uporabe slikovnih vnosov še ni javno dostopna.
Kot je navedeno zgoraj, OpenAI poroča o znatnem izboljšanju varnostne zmogljivosti za GPT4 v primerjavi z GPT-3.5 (iz katerega je bil prilagojen ChatGPT). Vendar trenutno ni jasno, ali:
so posledica samega modela GPT4 ali dodatnih protislovnih testov.
Poleg tega GPT4 prekaša CPT-3.5 pri večini akademskih in strokovnih izpitov, ki jih opravljajo ljudje. Predvsem GPT4 doseže 90. percentil na Enotnem pravosodnem izpitu v primerjavi z GPT-3.5, ki doseže 10. percentil. GPT4 prav tako bistveno prekaša svojega predhodnika pri merilih uspešnosti tradicionalnih jezikovnih modelov in drugih modelih SOTA (čeprav včasih za malo).
Tako ChatGPT kot GPT4 imata precejšnje omejitve in tveganja. Sistemski list GPT-4 vključuje vpogled v podrobno raziskavo teh tveganj, ki jo je izvedel OpenAI.
To je le nekaj tveganj, povezanih z obema modeloma:
Medtem ko se ChatGPT in GPT-4 borita z enakimi omejitvami in tveganji, se je OpenAI posebej potrudil, vključno s številnimi protislovnimi testi, da bi jih ublažil za GPT-4. Čeprav je to spodbudno, sistemski list GPT-4 na koncu dokazuje, kako ranljiv je bil ChatGPT (in morda še vedno je). Za podrobnejšo razlago škodljivih nenamernih posledic priporočam branje sistemskega lista GPT-4, ki se začne na 38. strani Tehnično poročilo GPT-4 .
Čeprav vemo malo o arhitekturi modela in metodah usposabljanja za GPT4, se zdi, da obstaja izboljšana različica ChatGPT. Pravzaprav GPT4 trenutno lahko sprejema slike in vnos besedila, rezultati pa so varnejši, natančnejši in ustvarjalnejši. Na žalost bomo morali verjeti OpenAI-ju na besedo, saj je GPT4 na voljo samo kot del naročnine ChatGPT Plus.
Biti obveščen o napredku, tveganjih in omejitvah teh modelov je ključnega pomena, ko krmarimo po tej razburljivi, a hitro razvijajoči se pokrajini velikih jezikovnih modelov.
BlogInnovazione.it
Prejšnji ponedeljek je Financial Times objavil dogovor z OpenAI. FT licencira svoje vrhunsko novinarstvo ...
Milijoni ljudi plačujejo storitve pretakanja in plačujejo mesečne naročnine. Splošno mnenje je, da si…
Coveware by Veeam bo še naprej zagotavljal storitve odzivanja na incidente kibernetskega izsiljevanja. Coveware bo nudil forenziko in zmogljivosti sanacije ...
Prediktivno vzdrževanje revolucionira sektor nafte in plina z inovativnim in proaktivnim pristopom k upravljanju obratov.…
