En els darrers mesos, la velocitat amb què s'han llançat innovadors grans models lingüístics és sorprenent. En aquest article, tractarem les principals similituds i diferències entre GPT4 i ChatGPT, inclosos els mètodes d'entrenament, el rendiment, les capacitats i les limitacions.
GPT4 i ChatGPT es basen en versions anteriors de models GPT amb millores a l'arquitectura del model, emprant mètodes d'entrenament més sofisticats i amb un nombre més elevat de paràmetres d'entrenament.
Tots dos dissenys es basen en l'arquitectura del transformador, que utilitza un codificador per processar seqüències d'entrada i un descodificador per generar seqüències de sortida. El codificador i el descodificador estan connectats per un mecanisme, que permet que el descodificador presti més atenció a les seqüències d'entrada més significatives.
L'informe tècnic GPT4 d'OpenAI ofereix poca informació sobre l'arquitectura del model i el procés de formació de GPT4, citant el "competitive landscape and the safety implications of large-scale models“. El que sí sabem és que probablement GPT4 i ChatGPT s'entrenen de manera similar, cosa que és una gran diferència dels mètodes d'entrenament utilitzats per a GPT-2 i GPT-3. Sabem molt més sobre els mètodes d'entrenament per a ChatGPT que GPT4, així que començarem per aquí.
ChatGPT s'entrena amb conjunts de dades de diàleg, incloses dades de demostració, on els anotadors humans demostren la sortida esperada d'un assistent de chatbot en resposta a sol·licituds específiques. Aquestes dades s'utilitzen per ajustar GPT3.5 amb aprenentatge supervisat, produint un model de política, que s'utilitza per generar múltiples respostes quan es proporcionen sol·licituds. A continuació, els anotadors humans classifiquen quines de les respostes per a una indicació donada han donat els millors resultats, que s'utilitza per entrenar un model de recompensa. A continuació, el model de recompensa s'utilitza per ajustar iterativament el model de política mitjançant l'aprenentatge de reforç.
ChatGPT s'entrena utilitzant Aprenentatge de reforç a partir de la retroalimentació humana (RLHF), una manera d'incorporar el feedback humà per millorar un model lingüístic durant la formació. Això permet que la sortida del model s'alinei amb l'activitat sol·licitada per l'usuari, en lloc de només predir la paraula següent d'una frase basada en un conjunt de dades d'entrenament genèriques, com ara GPT-3.
OpenAI encara no ha revelat detalls sobre com va entrenar GPT4. El seu informe tècnic no inclou "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar“. El que sí sabem és que GPT4 és un model multimode generatiu d'estil transformador entrenat. Tant en dades disponibles públicament com en dades de tercers amb llicència i posteriorment ajustades mitjançant RLHF. Curiosament, OpenAI va compartir detalls sobre les seves tècniques actualitzades de RLHF per fer que les respostes dels models siguin més precises i amb menys probabilitats de derivar fora de les baranes de seguretat.
Després d'entrenar un model de política (com amb ChatGPT), RLHF s'utilitza en l'entrenament adversari, un procés que entrena un model en exemples maliciosos destinats a enganyar el model perquè el defensi d'aquests exemples en el futur. En el cas del GPT4, els experts avaluen les respostes del model polític a les demandes contradictòries. A continuació, aquestes respostes s'utilitzen per entrenar models de recompensa addicionals que perfeccionen de manera iterativa el model de política, donant lloc a un model que té menys probabilitats de proporcionar respostes perilloses, evasives o inexactes.
Pel que fa a la funcionalitat, ChatGPT i GPT4 són més semblants que diferents. Igual que el seu predecessor, GPT-4 també interactua en un estil de conversa que pretén alinear-se amb l'usuari. Com podeu veure a continuació, les respostes entre els dos models per a una pregunta àmplia són molt semblants.
OpenAI coincideix que la distinció entre models pot ser subtil i afirma que "la diferència surt quan la complexitat de la tasca arriba a un llindar suficient". Tenint en compte els sis mesos d'entrenament adversari que va patir el model base GPT4 en la seva fase posterior a l'entrenament, aquesta és probablement una caracterització precisa.
A diferència de ChatGPT, que només accepta text, GPT4 accepta tant missatges d'imatge com de text, i retorna respostes de text. En el moment d'escriure aquest article, malauradament, la possibilitat d'utilitzar entrades d'imatge encara no està disponible públicament.
Com s'ha esmentat anteriorment, OpenAI informa d'una millora significativa en el rendiment de seguretat per a GPT4, en comparació amb GPT-3.5 (des del qual es va ajustar ChatGPT). Tanmateix, actualment no està clar si:
es deuen al propi model GPT4 o a les proves contradictòries addicionals.
A més, GPT4 supera CPT-3.5 en la majoria d'exàmens acadèmics i professionals realitzats per humans. Cal destacar que el GPT4 puntua al percentil 90 a l'examen de la barra uniforme en comparació amb el GPT-3.5, que puntua al percentil 10. GPT4 també supera significativament el seu predecessor en els punts de referència dels models d'idiomes tradicionals i altres models SOTA (encara que de vegades de manera estreta).
Tant ChatGPT com GPT4 tenen limitacions i riscos importants. El full del sistema GPT-4 inclou informació d'una exploració detallada d'aquests riscos realitzada per OpenAI.
Aquests són només alguns dels riscos associats amb ambdós models:
Tot i que ChatGPT i GPT-4 lluiten amb les mateixes limitacions i riscos, OpenAI ha fet esforços especials, incloses nombroses proves contradictòries, per mitigar-les per a GPT-4. Tot i que això és encoratjador, el full del sistema GPT-4 demostra finalment com de vulnerable era (i potser encara ho és) ChatGPT. Per obtenir una explicació més detallada de les conseqüències nocives no desitjades, recomano llegir el full del sistema GPT-4, que comença a la pàgina 38 de la Informe tècnic GPT-4 .
Tot i que sabem poc sobre l'arquitectura del model i els mètodes d'entrenament darrere de GPT4, sembla que hi ha una versió refinada de ChatGPT. De fet, actualment GPT4 és capaç d'acceptar imatges i entrada de text, i els resultats són més segurs, més precisos i més creatius. Malauradament, haurem de creure la paraula d'OpenAI, ja que GPT4 només està disponible com a part de la subscripció a ChatGPT Plus.
Mantenir-se informat sobre el progrés, els riscos i les limitacions d'aquests models és essencial mentre naveguem per aquest paisatge emocionant però en ràpida evolució de grans models lingüístics.
BlogInnovazione.it
Milions de persones paguen per serveis de streaming, pagant quotes de subscripció mensuals. És l'opinió comuna que tu...
Coveware de Veeam continuarà oferint serveis de resposta a incidents d'extorsió cibernètica. Coveware oferirà capacitats forenses i de reparació...
El manteniment predictiu està revolucionant el sector del petroli i el gas, amb un enfocament innovador i proactiu a la gestió de les plantes.…
La CMA del Regne Unit ha emès una advertència sobre el comportament de Big Tech al mercat de la intel·ligència artificial. Allà…
