Ces derniers mois, la rapidité avec laquelle de grands modèles de langage innovants ont été publiés est étonnante. Dans cet article, nous couvrirons les principales similitudes et différences entre GPT4 et ChatGPT, y compris les méthodes de formation, les performances, les capacités et les limites.
GPT4 et ChatGPT s'appuient sur les anciennes versions des modèles GPT avec des améliorations de l'architecture du modèle, en utilisant des méthodes de formation plus sophistiquées et avec un plus grand nombre de paramètres de formation.
Les deux conceptions sont basées sur une architecture de transformateur, qui utilise un codeur pour traiter les séquences d'entrée et un décodeur pour générer des séquences de sortie. L'encodeur et le décodeur sont reliés par un mécanisme qui permet au décodeur d'être plus attentif aux séquences d'entrée les plus significatives.
Le rapport technique GPT4 d'OpenAI offre peu d'informations sur l'architecture du modèle et le processus de formation GPT4, citant le "competitive landscape and the safety implications of large-scale models“. Ce que nous savons, c'est que GPT4 et ChatGPT sont probablement formés de la même manière, ce qui est assez différent des méthodes de formation utilisées pour GPT-2 et GPT-3. Nous en savons beaucoup plus sur les méthodes de formation pour ChatGPT que GPT4, nous allons donc commencer par là.
ChatGPT est formé avec des ensembles de données de dialogue, y compris des données de démonstration, où des annotateurs humains démontrent la sortie attendue d'un assistant chatbot en réponse à des demandes spécifiques. Ces données sont utilisées pour régler GPT3.5 avec un apprentissage supervisé, produisant un modèle de politique, qui est utilisé pour générer plusieurs réponses lorsque des demandes sont fournies. Les annotateurs humains classent ensuite laquelle des réponses pour une invite donnée a donné les meilleurs résultats, ce qui est utilisé pour former un modèle de récompense. Le modèle de récompense est ensuite utilisé pour affiner de manière itérative le modèle de politique à l'aide de l'apprentissage par renforcement.
ChatGPT est formé à l'aide Apprentissage par renforcement à partir de la rétroaction humaine (RLHF), un moyen d'intégrer la rétroaction humaine pour améliorer un modèle de langage pendant la formation. Cela permet à la sortie du modèle de s'aligner sur l'activité demandée par l'utilisateur, plutôt que de simplement prédire le mot suivant dans une phrase basée sur un ensemble de données d'entraînement génériques, telles que GPT-3.
OpenAI n'a pas encore divulgué de détails sur la façon dont il a formé GPT4. Leur rapport technique ne comprend pas "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar“. Ce que nous savons, c'est que GPT4 est un modèle multimode génératif de type transformateur entraîné. À la fois sur des données accessibles au public et sur des données tierces sous licence et ensuite affinées à l'aide de RLHF. Fait intéressant, OpenAI a partagé des détails concernant leurs techniques RLHF mises à jour pour rendre les réponses des modèles plus précises et moins susceptibles de dériver en dehors des garde-corps de sécurité.
Après avoir formé un modèle de politique (comme avec ChatGPT), RLHF est utilisé dans la formation contradictoire, un processus qui forme un modèle sur des exemples malveillants destinés à inciter le modèle à le défendre contre de tels exemples à l'avenir. Dans le cas du GPT4, les experts évaluent les réponses du modèle politique aux demandes contradictoires. Ces réponses sont ensuite utilisées pour former des modèles de récompense supplémentaires qui affinent de manière itérative le modèle de politique, ce qui donne un modèle moins susceptible de fournir des réponses dangereuses, évasives ou inexactes.
En termes de fonctionnalités, ChatGPT et GPT4 sont plus similaires que différents. Comme son prédécesseur, GPT-4 interagit également dans un style conversationnel qui vise à s'aligner sur l'utilisateur. Comme vous pouvez le voir ci-dessous, les réponses entre les deux modèles pour une question large sont très similaires.
OpenAI convient que la distinction entre les modèles peut être subtile et déclare que "la différence apparaît lorsque la complexité de la tâche atteint un seuil suffisant". Compte tenu des six mois de formation contradictoire que le modèle de base GPT4 a subis dans sa phase post-formation, il s'agit probablement d'une caractérisation précise.
Contrairement à ChatGPT, qui n'accepte que du texte, GPT4 accepte à la fois les invites d'image et de texte, renvoyant des réponses textuelles. Au moment d'écrire ces lignes, malheureusement, la possibilité d'utiliser des entrées d'image n'est pas encore accessible au public.
Comme mentionné ci-dessus, OpenAI signale une amélioration significative des performances de sécurité pour GPT4, par rapport à GPT-3.5 (à partir duquel ChatGPT a été réglé). Cependant, il est actuellement difficile de savoir si :
sont dus au modèle GPT4 lui-même ou aux tests supplémentaires contradictoires.
De plus, GPT4 surpasse CPT-3.5 dans la plupart des examens académiques et professionnels passés par l'homme. Notamment, GPT4 obtient un score dans le 90e centile à l'examen Uniform Bar par rapport à GPT-3.5, qui se situe dans le 10e centile. GPT4 surpasse également de manière significative son prédécesseur sur les benchmarks de modèles de langage traditionnels et d'autres modèles SOTA (bien que parfois de justesse).
ChatGPT et GPT4 présentent tous deux des limites et des risques importants. La fiche système GPT-4 comprend des informations issues d'une exploration détaillée de ces risques menée par OpenAI.
Ce ne sont là que quelques-uns des risques associés aux deux modèles :
Alors que ChatGPT et GPT-4 sont aux prises avec les mêmes limitations et risques, OpenAI a fait des efforts particuliers, y compris de nombreux tests contradictoires, pour les atténuer pour GPT-4. Bien que cela soit encourageant, la fiche système GPT-4 montre finalement à quel point ChatGPT était vulnérable (et l'est peut-être toujours). Pour une explication plus détaillée des conséquences néfastes involontaires, je recommande de lire la fiche système GPT-4, qui commence à la page 38 du Rapport technique GPT-4 .
Bien que nous en sachions peu sur l'architecture du modèle et les méthodes de formation derrière GPT4, il semble y avoir une version raffinée de ChatGPT. En fait, actuellement GPT4 est capable d'accepter des images et des entrées de texte, et les résultats sont plus sûrs, plus précis et plus créatifs. Malheureusement, nous devrons croire OpenAI sur parole, car GPT4 n'est disponible que dans le cadre de l'abonnement ChatGPT Plus.
Rester informé des progrès, des risques et des limites de ces modèles est essentiel alors que nous naviguons dans ce paysage passionnant mais en évolution rapide des grands modèles de langage.
BlogInnovazione.it
Toute opération commerciale produit beaucoup de données, même sous différentes formes. Saisissez manuellement ces données à partir d’une feuille Excel pour…
La compromission des e-mails d'entreprise a plus que doublé au cours des trois premiers mois de 2024 par rapport au dernier trimestre de…
Le principe de ségrégation des interfaces est l'un des cinq principes SOLID de la conception orientée objet. Une classe devrait avoir…
Microsoft Excel est l'outil de référence en matière d'analyse de données, car il propose de nombreuses fonctionnalités pour organiser des ensembles de données,…
Walliance, SIM et plateforme parmi les leaders en Europe dans le domaine du Crowdfunding Immobilier depuis 2017, annonce la finalisation…
Filament est un framework de développement Laravel « accéléré », fournissant plusieurs composants full-stack. Il est conçu pour simplifier le processus de…
«Je dois revenir pour achever mon évolution : je vais me projeter à l'intérieur de l'ordinateur et devenir une pure énergie. Une fois installé…
Google DeepMind présente une version améliorée de son modèle d'intelligence artificielle. Le nouveau modèle amélioré offre non seulement…
