През последните месеци скоростта, с която бяха пуснати иновативни големи езикови модели, е удивителна. В тази статия ще разгледаме основните прилики и разлики между GPT4 срещу ChatGPT, включително методите на обучение, производителността, възможностите и ограниченията.
GPT4 и ChatGPT се основават на по-стари версии на GPT модели с подобрения в архитектурата на модела, като използват по-сложни методи за обучение и с по-голям брой параметри за обучение.
И двата дизайна са базирани на трансформаторна архитектура, която използва енкодер за обработка на входни последователности и декодер за генериране на изходни последователности. Кодерът и декодерът са свързани чрез механизъм, който позволява на декодера да обръща по-голямо внимание на най-значимите входни последователности.
Техническият доклад на GPT4 на OpenAI предлага малко вникване в архитектурата на модела и процеса на формиране на GPT4, цитирайки „competitive landscape and the safety implications of large-scale models“. Това, което знаем е, че GPT4 и ChatGPT вероятно се обучават по подобен начин, което е доста различна от методите на обучение, използвани за GPT-2 и GPT-3. Ние знаем много повече за методите на обучение за ChatGPT от GPT4, така че ще започнем от там.
ChatGPT се обучава с набори от данни за диалог, включително демонстрационни данни, където човешки анотатори демонстрират очаквания резултат от асистент за чатбот в отговор на конкретни заявки. Тези данни се използват за настройка на GPT3.5 с контролирано обучение, създавайки модел на политика, който се използва за генериране на множество отговори, когато се предоставят заявки. Човешките анотатори след това класифицират кой от отговорите за дадена подкана е дал най-добри резултати, което се използва за обучение на модел на възнаграждение. След това моделът на възнаграждението се използва за итеративно фино настройване на модела на политиката с помощта на обучение с подсилване.
ChatGPT се обучава да използва Обучение за подсилване от човешка обратна връзка (RLHF), начин за включване на човешка обратна връзка за подобряване на езиков модел по време на обучение. Това позволява изходът на модела да се приведе в съответствие с дейността, поискана от потребителя, вместо просто да предвижда следващата дума в изречение въз основа на набор от общи данни за обучение, като GPT-3.
OpenAI все още не е разкрил подробности за това как е обучил GPT4. Техният технически доклад не включва „details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar“. Това, което знаем е, че GPT4 е обучен генеративен многомодов модел в стил трансформатор. Както на публично достъпни данни, така и на данни на трети страни, лицензирани и впоследствие фино настроени с помощта на RLHF. Интересното е, че OpenAI сподели подробности относно техните актуализирани RLHF техники, за да направят отговорите на модела по-точни и по-малко вероятно да се отклонят извън предпазните парапети.
След обучение на модел на политика (както при ChatGPT), RLHF се използва в състезателно обучение, процес, който обучава модел на злонамерени примери, предназначени да подмамят модела да го защити срещу такива примери в бъдеще. В случая с GPT4 експертите оценяват отговорите на политическия модел на противоречивите изисквания. След това тези отговори се използват за обучение на допълнителни модели за възнаграждение, които итеративно прецизират модела на политиката, което води до модел, който е по-малко вероятно да предостави опасни, уклончиви или неточни отговори.
По отношение на функционалността ChatGPT и GPT4 са повече сходни, отколкото различни. Подобно на своя предшественик, GPT-4 също взаимодейства в стил на разговор, който има за цел да се приведе в съответствие с потребителя. Както можете да видите по-долу, отговорите между двата модела за общ въпрос са много сходни.
OpenAI се съгласява, че разликата между моделите може да е фина и заявява, че „разликата се проявява, когато сложността на задачата достигне достатъчен праг“. Като се имат предвид шестте месеца състезателно обучение, на което базовият модел GPT4 премина в своята фаза след обучение, това вероятно е точна характеристика.
За разлика от ChatGPT, който приема само текст, GPT4 приема както изображения, така и текстови подкани, връщайки текстови отговори. Към момента на писане, за съжаление, възможността за използване на входове на изображения все още не е публично достъпна.
Както бе споменато по-горе, OpenAI отчита значително подобрение в производителността на сигурността за GPT4 в сравнение с GPT-3.5 (от който ChatGPT е настроен). Понастоящем обаче не е ясно дали:
се дължат на самия модел GPT4 или на допълнителните противоречиви тестове.
Освен това GPT4 превъзхожда CPT-3.5 в повечето академични и професионални изпити, полагани от хора. Трябва да се отбележи, че GPT4 има резултати в 90-ия персентил на изпита Uniform Bar в сравнение с GPT-3.5, който има резултати в 10-ия персентил. GPT4 също значително превъзхожда своя предшественик по отношение на стандартите за традиционни езикови модели и други SOTA модели (макар и понякога с малко).
Както ChatGPT, така и GPT4 имат значителни ограничения и рискове. Системният лист GPT-4 включва прозрения от подробно изследване на тези рискове, проведено от OpenAI.
Това са само някои от рисковете, свързани с двата модела:
Докато ChatGPT и GPT-4 се борят със същите ограничения и рискове, OpenAI положи специални усилия, включително множество противоречиви тестове, за да ги смекчи за GPT-4. Въпреки че това е окуражаващо, системният лист на GPT-4 в крайна сметка демонстрира колко уязвим е бил (и може би все още е) ChatGPT. За по-подробно обяснение на вредните непредвидени последици препоръчвам да прочетете системния лист GPT-4, който започва на страница 38 от GPT-4 технически доклад .
Въпреки че знаем малко за архитектурата на модела и методите за обучение зад GPT4, изглежда, че има усъвършенствана версия на ChatGPT. Всъщност в момента GPT4 може да приема изображения и въвеждане на текст и резултатите са по-безопасни, по-точни и по-креативни. За съжаление ще трябва да повярваме на думата на OpenAI, тъй като GPT4 е достъпен само като част от абонамента ChatGPT Plus.
Да бъдем информирани за напредъка, рисковете и ограниченията на тези модели е от съществено значение, докато се ориентираме в този вълнуващ, но бързо развиващ се пейзаж от големи езикови модели.
BlogInnovazione.it
Военноморският сектор е истинска световна икономическа сила, която се е насочила към пазар от 150 милиарда...
Миналия понеделник Financial Times обяви сделка с OpenAI. FT лицензира своята журналистика от световна класа...
Милиони хора плащат за стрийминг услуги, като плащат месечни абонаментни такси. Разпространено е мнението, че вие…
Coveware от Veeam ще продължи да предоставя услуги за реакция при инциденти с кибер изнудване. Coveware ще предлага криминалистика и възможности за възстановяване...
