În ultimele luni, viteza cu care au fost lansate modele de limbă mari inovatoare este uluitoare. În acest articol, vom acoperi principalele asemănări și diferențe dintre GPT4 și ChatGPT, inclusiv metodele de antrenament, performanța, capacitățile și limitările.
GPT4 și ChatGPT se bazează pe versiuni mai vechi ale modelelor GPT, cu îmbunătățiri ale arhitecturii modelului, utilizând metode de antrenament mai sofisticate și cu un număr mai mare de parametri de antrenament.
Ambele modele se bazează pe arhitectura transformatorului, care utilizează un encoder pentru a procesa secvențele de intrare și un decodor pentru a genera secvențe de ieșire. Codificatorul și decodorul sunt conectate printr-un mecanism, care permite decodorului să acorde mai multă atenție celor mai semnificative secvențe de intrare.
Raportul tehnic GPT4 OpenAI oferă puține informații despre arhitectura modelului și procesul de formare a GPT4, citând „competitive landscape and the safety implications of large-scale models„. Ceea ce știm este că GPT4 și ChatGPT sunt probabil antrenate în mod similar, ceea ce este o diferență destul de mare față de metodele de antrenament utilizate pentru GPT-2 și GPT-3. Știm mult mai multe despre metodele de antrenament pentru ChatGPT decât GPT4, așa că vom începe de acolo.
ChatGPT este antrenat cu seturi de date de dialog, inclusiv date demonstrative, în care adnotatorii umani demonstrează rezultatul așteptat al unui asistent chatbot ca răspuns la solicitări specifice. Aceste date sunt folosite pentru a regla GPT3.5 cu învățare supravegheată, producând un model de politică, care este utilizat pentru a genera răspunsuri multiple atunci când sunt furnizate solicitări. Adnotatorii umani clasifică apoi care dintre răspunsurile pentru un prompt dat a dat cele mai bune rezultate, care este folosit pentru a antrena un model de recompensă. Modelul de recompensă este apoi utilizat pentru a ajusta iterativ modelul de politică folosind învățarea prin consolidare.
ChatGPT este antrenat folosind Învățare de consolidare din feedbackul uman (RLHF), o modalitate de a încorpora feedback-ul uman pentru a îmbunătăți un model lingvistic în timpul antrenamentului. Acest lucru permite rezultatului modelului să se alinieze cu activitatea solicitată de utilizator, mai degrabă decât să prezică următorul cuvânt dintr-o propoziție pe baza unui corp de date de antrenament generice, cum ar fi GPT-3.
OpenAI nu a divulgat încă detalii despre modul în care a antrenat GPT4. Raportul lor tehnic nu include „details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar„. Ceea ce știm este că GPT4 este un model multimod generativ în stil transformator antrenat. Atât pe datele disponibile public, cât și pe datele terților licențiate și ulterior ajustate folosind RLHF. În mod interesant, OpenAI a împărtășit detalii cu privire la tehnicile lor actualizate RLHF pentru a face răspunsurile modelului mai precise și mai puțin probabil să se deplaseze în afara balustradelor de siguranță.
După antrenamentul unui model de politică (ca și în cazul ChatGPT), RLHF este utilizat în antrenamentul adversarial, un proces care antrenează un model pe exemple rău intenționate menite să păcălească modelul să-l apere împotriva unor astfel de exemple în viitor. În cazul GPT4, experții evaluează răspunsurile modelului politic la cererile contradictorii. Aceste răspunsuri sunt apoi folosite pentru a antrena modele de recompensă suplimentare care rafinează iterativ modelul de politică, rezultând un model care este mai puțin probabil să ofere răspunsuri periculoase, evazive sau inexacte.
În ceea ce privește funcționalitatea, ChatGPT și GPT4 sunt mai asemănătoare decât diferite. La fel ca și predecesorul său, GPT-4 interacționează și într-un stil conversațional care își propune să se alinieze cu utilizatorul. După cum puteți vedea mai jos, răspunsurile dintre cele două modele pentru o întrebare amplă sunt foarte asemănătoare.
OpenAI este de acord că distincția dintre modele poate fi subtilă și afirmă că „diferența apare atunci când complexitatea sarcinii atinge un prag suficient”. Având în vedere cele șase luni de antrenament advers pe care modelul de bază GPT4 a fost supus în faza sa post-antrenament, aceasta este probabil o caracterizare precisă.
Spre deosebire de ChatGPT, care acceptă doar text, GPT4 acceptă atât mesaje de tip imagine, cât și mesaje text, returnând răspunsuri text. În momentul în care am scris acest articol, din păcate, capacitatea de a utiliza intrările de imagine nu este încă disponibilă public.
După cum sa menționat mai sus, OpenAI raportează o îmbunătățire semnificativă a performanței de securitate pentru GPT4, comparativ cu GPT-3.5 (de la care a fost reglat ChatGPT). Cu toate acestea, în prezent nu este clar dacă:
se datorează modelului GPT4 în sine sau testelor suplimentare contradictorii.
În plus, GPT4 depășește CPT-3.5 la majoritatea examenelor academice și profesionale susținute de oameni. În special, GPT4 are scoruri în percentila 90 la examenul Bara uniformă, comparativ cu GPT-3.5, care are scoruri în percentila a 10-a. De asemenea, GPT4 depășește semnificativ predecesorul său în comparație cu modelele de limbă tradițională și alte modele SOTA (deși uneori în mod restrâns).
Atât ChatGPT, cât și GPT4 au limitări și riscuri semnificative. Fișa de sistem GPT-4 include informații dintr-o explorare detaliată a acelor riscuri efectuată de OpenAI.
Acestea sunt doar câteva dintre riscurile asociate ambelor modele:
În timp ce ChatGPT și GPT-4 se luptă cu aceleași limitări și riscuri, OpenAI a depus eforturi speciale, inclusiv numeroase teste contradictorii, pentru a le atenua pentru GPT-4. Deși acest lucru este încurajator, foaia de sistem GPT-4 demonstrează în cele din urmă cât de vulnerabil a fost (și poate că încă este). Pentru o explicație mai detaliată a consecințelor dăunătoare neintenționate, vă recomand să citiți fișa de sistem GPT-4, care începe la pagina 38 a documentului. Raport tehnic GPT-4 .
Deși știm puține despre arhitectura modelului și despre metodele de antrenament din spatele GPT4, pare să existe o versiune rafinată a ChatGPT. De fapt, în prezent GPT4 este capabil să accepte imagini și introducerea textului, iar rezultatele sunt mai sigure, mai precise și mai creative. Din păcate, va trebui să credem pe cuvânt OpenAI, deoarece GPT4 este disponibil doar ca parte a abonamentului ChatGPT Plus.
A rămâne informat cu privire la progresul, riscurile și limitările acestor modele este esențial pe măsură ce navigăm în acest peisaj interesant, dar care evoluează rapid, al modelelor mari de limbă.
BlogInnovazione.it
Sectorul naval este o adevărată putere economică globală, care a navigat către o piață de 150 de miliarde...
Luni trecută, Financial Times a anunțat un acord cu OpenAI. FT își licențiază jurnalismul de clasă mondială...
Milioane de oameni plătesc pentru serviciile de streaming, plătind taxe lunare de abonament. Este o părere comună că tu...
Coveware de la Veeam va continua să ofere servicii de răspuns la incidente de extorcare cibernetică. Coveware va oferi capacități criminalistice și de remediere...
