Posljednjih mjeseci, brzina kojom su objavljeni inovativni veliki jezični modeli je zapanjujuća. U ovom ćemo članku pokriti glavne sličnosti i razlike između GPT4 i ChatGPT-a, uključujući metode obuke, izvedbu, mogućnosti i ograničenja.
GPT4 i ChatGPT temelje se na starijim verzijama GPT modela s poboljšanjima arhitekture modela, korištenjem sofisticiranijih metoda obuke i s većim brojem parametara obuke.
Oba dizajna temelje se na transformatorskoj arhitekturi, koja koristi koder za obradu ulaznih sekvenci i dekoder za generiranje izlaznih sekvenci. Koder i dekoder povezani su mehanizmom koji omogućuje dekoderu da obrati više pozornosti na najznačajnije ulazne sekvence.
GPT4 tehničko izvješće OpenAI nudi malo uvida u arhitekturu modela i proces formiranja GPT4, citirajući "competitive landscape and the safety implications of large-scale models“. Ono što znamo je da se GPT4 i ChatGPT vjerojatno treniraju na sličan način, što je prilično različito od metoda obuke koje se koriste za GPT-2 i GPT-3. Znamo puno više o metodama obuke za ChatGPT nego GPT4, pa ćemo od toga početi.
ChatGPT je obučen s dijaloškim skupovima podataka, uključujući demo podatke, gdje ljudski anotatori demonstriraju očekivani rezultat pomoćnika chatbota kao odgovor na specifične zahtjeve. Ovi se podaci koriste za podešavanje GPT3.5 s nadziranim učenjem, stvarajući model politike koji se koristi za generiranje višestrukih odgovora kada se zahtjevi dostave. Ljudski anotatori zatim klasificiraju koji je od odgovora za dani upit dao najbolje rezultate, što se koristi za treniranje modela nagrađivanja. Model nagrađivanja zatim se koristi za iterativno fino podešavanje modela politike korištenjem učenja s potkrepljenjem.
ChatGPT je obučen za korištenje Pojačanje Učenje iz ljudskih povratnih informacija (RLHF), način uključivanja ljudske povratne informacije za poboljšanje jezičnog modela tijekom obuke. Ovo omogućuje usklađivanje izlaza modela s aktivnošću koju korisnik traži, umjesto da samo predviđa sljedeću riječ u rečenici na temelju skupa generičkih podataka o obuci, kao što je GPT-3.
OpenAI tek treba otkriti detalje o tome kako je trenirao GPT4. Njihovo tehničko izvješće ne uključuje "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar“. Ono što znamo je da je GPT4 uvježbani generativni višemodni model u stilu transformatora. I na javno dostupnim podacima i na podacima trećih strana koji su licencirani i naknadno fino podešeni pomoću RLHF-a. Zanimljivo je da je OpenAI podijelio pojedinosti o svojim ažuriranim RLHF tehnikama kako bi odgovori modela bili točniji i manja vjerojatnost da će odlutati izvan sigurnosnih zaštitnih ograda.
Nakon obuke modela politike (kao kod ChatGPT-a), RLHF se koristi u adversarnoj obuci, procesu koji obučava model na zlonamjernim primjerima s namjerom da prevari model da ga brani od takvih primjera u budućnosti. U slučaju GPT4, stručnjaci ocjenjuju odgovore političkog modela na proturječne zahtjeve. Ti se odgovori zatim koriste za treniranje dodatnih modela nagrađivanja koji iterativno usavršavaju model politike, što rezultira modelom za koji je manje vjerojatno da će dati opasne, izbjegavajuće ili netočne odgovore.
Što se tiče funkcionalnosti, ChatGPT i GPT4 više su slični nego različiti. Kao i njegov prethodnik, GPT-4 također komunicira u stilu razgovora koji ima za cilj uskladiti se s korisnikom. Kao što možete vidjeti u nastavku, odgovori između dvaju modela za široko pitanje vrlo su slični.
OpenAI se slaže da razlika između modela može biti suptilna i navodi da "razlika dolazi do izražaja kada složenost zadatka dosegne dovoljan prag". S obzirom na šest mjeseci kontradiktorne obuke kroz koju je osnovni model GPT4 prošao u fazi nakon obuke, ovo je vjerojatno točna karakterizacija.
Za razliku od ChatGPT-a, koji prihvaća samo tekst, GPT4 prihvaća i slikovne i tekstualne upite, vraćajući tekstualne odgovore. U trenutku pisanja ovog teksta, nažalost, mogućnost korištenja slikovnih unosa još nije javno dostupna.
Kao što je gore spomenuto, OpenAI izvještava o značajnom poboljšanju sigurnosnih performansi za GPT4, u usporedbi s GPT-3.5 (na kojem je ChatGPT podešen). Međutim, trenutno nije jasno je li:
nastaju zbog samog modela GPT4 ili dodatnih kontradiktornih testova.
Osim toga, GPT4 nadmašuje CPT-3.5 u većini akademskih i stručnih ispita koje polažu ljudi. Značajno, GPT4 postiže 90. percentil na Jedinstvenom pravosudnom ispitu u usporedbi s GPT-3.5, koji postiže 10. percentil. GPT4 također značajno nadmašuje svog prethodnika na referentnim vrijednostima tradicionalnih jezičnih modela i drugim SOTA modelima (iako ponekad tijesno).
I ChatGPT i GPT4 imaju značajna ograničenja i rizike. Tablica GPT-4 sustava uključuje uvide iz detaljnog istraživanja tih rizika koje je proveo OpenAI.
Ovo su samo neki od rizika povezanih s oba modela:
Dok se ChatGPT i GPT-4 bore s istim ograničenjima i rizicima, OpenAI je uložio posebne napore, uključujući brojne kontradiktorne testove, kako bi ih ublažio za GPT-4. Iako je ovo ohrabrujuće, tablica GPT-4 sustava u konačnici pokazuje koliko je ChatGPT bio ranjiv (i možda još uvijek jest). Za detaljnije objašnjenje štetnih neželjenih posljedica, preporučujem čitanje GPT-4 stranice sustava, koja počinje na stranici 38 u GPT-4 tehničko izvješće .
Iako malo znamo o arhitekturi modela i metodama obuke iza GPT4, čini se da postoji dorađena verzija ChatGPT-a. Zapravo, trenutno GPT4 može prihvatiti slike i unos teksta, a rezultati su sigurniji, točniji i kreativniji. Nažalost, morat ćemo vjerovati OpenAI-ju na riječ jer je GPT4 dostupan samo kao dio pretplate na ChatGPT Plus.
Biti informiran o napretku, rizicima i ograničenjima ovih modela ključno je dok se krećemo ovim uzbudljivim, ali brzo razvijajućim krajolikom velikih jezičnih modela.
BlogInnovazione.it
Prošlog ponedjeljka, Financial Times je najavio dogovor s OpenAI-jem. FT licencira svoje novinarstvo svjetske klase...
Milijuni ljudi plaćaju usluge strujanja, plaćajući mjesečne pretplate. Uvriježeno je mišljenje da ste…
Coveware by Veeam nastavit će pružati usluge odgovora na incidente cyber iznude. Coveware će ponuditi forenziku i mogućnosti sanacije...
Prediktivno održavanje revolucionira sektor nafte i plina, s inovativnim i proaktivnim pristupom upravljanju postrojenjima.…
