V posledných mesiacoch je rýchlosť, s akou sa uvoľňujú inovatívne veľké jazykové modely, ohromujúca. V tomto článku sa budeme venovať hlavným podobnostiam a rozdielom medzi GPT4 a ChatGPT vrátane tréningových metód, výkonu, schopností a obmedzení.
GPT4 a ChatGPT stavajú na starších verziách modelov GPT s vylepšeniami v architektúre modelu, využívajúc sofistikovanejšie tréningové metódy a s vyšším počtom tréningových parametrov.
Obidva návrhy sú založené na architektúre transformátora, ktorý využíva kodér na spracovanie vstupných sekvencií a dekodér na generovanie výstupných sekvencií. Kodér a dekodér sú spojené mechanizmom, ktorý umožňuje dekodéru venovať väčšiu pozornosť najvýznamnejším vstupným sekvenciám.
Technická správa GPT4 of OpenAI ponúka malý prehľad o architektúre modelu a procese tvorby GPT4, pričom cituje „competitive landscape and the safety implications of large-scale models“. Čo vieme, je, že GPT4 a ChatGPT sú pravdepodobne trénované podobne, čo je dosť rozdiel od tréningových metód používaných pre GPT-2 a GPT-3. O tréningových metódach pre ChatGPT vieme oveľa viac ako o GPT4, takže začneme tam.
ChatGPT je trénovaný pomocou súborov dialógových údajov vrátane demo údajov, kde ľudskí anotátori demonštrujú očakávaný výstup asistenta chatbota v reakcii na konkrétne požiadavky. Tieto údaje sa používajú na vyladenie GPT3.5 s riadeným učením, čím sa vytvára model politiky, ktorý sa používa na generovanie viacerých odpovedí, keď sú poskytnuté požiadavky. Ľudskí anotátori potom klasifikujú, ktoré z odpovedí na danú výzvu priniesli najlepšie výsledky, čo sa používa na trénovanie modelu odmeňovania. Model odmeňovania sa potom používa na opakované dolaďovanie modelu politiky pomocou posilňovacieho učenia.
ChatGPT je trénovaný pomocou Posilnenie učenia z ľudskej spätnej väzby (RLHF), spôsob, ako začleniť ľudskú spätnú väzbu na zlepšenie jazykového modelu počas školenia. To umožňuje, aby sa výstup modelu zosúladil s aktivitou požadovanou používateľom, a nie len predpovedaním ďalšieho slova vo vete na základe súboru všeobecných tréningových údajov, ako je GPT-3.
OpenAI zatiaľ neprezradilo podrobnosti o tom, ako trénovalo GPT4. Ich technická správa neobsahuje „details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar“. Čo vieme, je, že GPT4 je trénovaný generatívny multimódový model v štýle transformátora. Ako na verejne dostupných dátach, tak aj na dátach tretích strán licencovaných a následne doladených pomocou RLHF. Je zaujímavé, že OpenAI zdieľal podrobnosti týkajúce sa ich aktualizovaných techník RLHF, aby boli reakcie modelu presnejšie a menej pravdepodobné, že sa budú pohybovať mimo bezpečnostných zábradlí.
Po trénovaní modelu politiky (ako v prípade ChatGPT) sa RLHF používa v tréningu protivníkov, čo je proces, ktorý trénuje model na škodlivých príkladoch, ktorých cieľom je oklamať model, aby ho v budúcnosti bránil proti takýmto príkladom. V prípade GPT4 experti hodnotia reakcie politického modelu na protichodné požiadavky. Tieto odpovede sa potom použijú na trénovanie ďalších modelov odmeňovania, ktoré opakovane upravujú model politiky, výsledkom čoho je model, ktorý s menšou pravdepodobnosťou poskytne nebezpečné, vyhýbavé alebo nepresné reakcie.
Z hľadiska funkčnosti sú ChatGPT a GPT4 viac podobné ako odlišné. Rovnako ako jeho predchodca, aj GPT-4 interaguje v konverzačnom štýle, ktorého cieľom je zosúladiť sa s používateľom. Ako vidíte nižšie, odpovede medzi týmito dvoma modelmi na širokú otázku sú veľmi podobné.
OpenAI súhlasí s tým, že rozdiel medzi modelmi môže byť jemný a uvádza, že „rozdiel sa prejaví, keď zložitosť úlohy dosiahne dostatočnú hranicu“. Vzhľadom na šesť mesiacov tréningu protivníkov, ktorým základný model GPT4 prešiel vo fáze po tréningu, je to pravdepodobne presná charakteristika.
Na rozdiel od ChatGPT, ktorý akceptuje iba text, GPT4 akceptuje obrázkové aj textové výzvy a vracia textové odpovede. V čase písania tohto článku, žiaľ, možnosť používať obrazové vstupy ešte nie je verejne dostupná.
Ako už bolo spomenuté vyššie, OpenAI hlási výrazné zlepšenie výkonu zabezpečenia pre GPT4 v porovnaní s GPT-3.5 (z ktorého bol ChatGPT vyladený). V súčasnosti však nie je jasné, či:
sú spôsobené samotným modelom GPT4 alebo dodatočnými protichodnými testami.
Okrem toho GPT4 prekonáva CPT-3.5 vo väčšine akademických a odborných skúšok vykonaných ľuďmi. Je pozoruhodné, že GPT4 dosahuje skóre v 90. percentile na skúške Uniform Bar v porovnaní s GPT-3.5, ktorý dosahuje skóre v 10. percentile. GPT4 tiež výrazne prevyšuje svojho predchodcu v benchmarkoch tradičných jazykových modelov a iných SOTA modeloch (aj keď niekedy tesne).
ChatGPT aj GPT4 majú značné obmedzenia a riziká. Systémový list GPT-4 obsahuje informácie z podrobného skúmania týchto rizík, ktoré vykonal OpenAI.
Toto sú len niektoré z rizík spojených s oboma modelmi:
Zatiaľ čo ChatGPT a GPT-4 zápasia s rovnakými obmedzeniami a rizikami, OpenAI vynaložilo osobitné úsilie, vrátane mnohých protichodných testov, na ich zmiernenie pre GPT-4. Aj keď je to povzbudzujúce, systémový list GPT-4 nakoniec ukazuje, aký zraniteľný bol ChatGPT (a možno stále je). Pre podrobnejšie vysvetlenie škodlivých neúmyselných následkov odporúčam prečítať si systémový list GPT-4, ktorý začína na strane 38 Technická správa GPT-4 .
Aj keď vieme málo o modelovej architektúre a tréningových metódach za GPT4, zdá sa, že existuje vylepšená verzia ChatGPT. V skutočnosti je v súčasnosti GPT4 schopný prijímať obrázky a textový vstup a výsledky sú bezpečnejšie, presnejšie a kreatívnejšie. Bohužiaľ, budeme musieť vziať slovo OpenAI, pretože GPT4 je k dispozícii iba ako súčasť predplatného ChatGPT Plus.
Zostať informovaný o pokroku, rizikách a obmedzeniach týchto modelov je nevyhnutné, keď sa pohybujeme v tomto vzrušujúcom, ale rýchlo sa vyvíjajúcom prostredí veľkých jazykových modelov.
BlogInnovazione.it
Coveware od Veeam bude aj naďalej poskytovať služby reakcie na incidenty v oblasti kybernetického vydierania. Coveware ponúkne forenzné a sanačné schopnosti…
Prediktívna údržba prináša revolúciu v ropnom a plynárenskom sektore s inovatívnym a proaktívnym prístupom k riadeniu závodu.…
Britská CMA vydala varovanie pred správaním Big Tech na trhu s umelou inteligenciou. tam…
Vyhláška „Case Green“, ktorú sformulovala Európska únia na zvýšenie energetickej účinnosti budov, ukončila svoj legislatívny proces s…
