Muajt e fundit, shpejtësia me të cilën janë lëshuar modelet inovative të gjuhëve të mëdha është mahnitëse. Në këtë artikull, ne do të mbulojmë ngjashmëritë dhe dallimet kryesore midis GPT4 dhe ChatGPT, duke përfshirë metodat e trajnimit, performancën, aftësitë dhe kufizimet.
GPT4 dhe ChatGPT ndërtohen në versionet më të vjetra të modeleve GPT me përmirësime në arkitekturën e modelit, duke përdorur metoda më të sofistikuara trajnimi dhe me një numër më të madh parametrash trajnimi.
Të dy dizajnet bazohen në arkitekturën e transformatorit, i cili përdor një kodues për të përpunuar sekuencat hyrëse dhe një dekoder për të gjeneruar sekuenca dalëse. Enkoderi dhe dekoderi janë të lidhur me një mekanizëm, i cili i lejon dekoderit t'i kushtojë më shumë vëmendje sekuencave më të rëndësishme të hyrjes.
Raporti teknik GPT4 i OpenAI ofron pak njohuri në arkitekturën e modelit dhe procesin e formimit të GPT4, duke cituar "competitive landscape and the safety implications of large-scale models“. Ajo që ne dimë është se GPT4 dhe ChatGPT ndoshta janë trajnuar në mënyrë të ngjashme, gjë që është mjaft e ndryshme nga metodat e trajnimit të përdorura për GPT-2 dhe GPT-3. Ne dimë shumë më tepër për metodat e trajnimit për ChatGPT sesa GPT4, kështu që do të fillojmë atje.
ChatGPT është trajnuar me grupe të dhënash dialogu, duke përfshirë të dhëna demo, ku shënuesit njerëzorë demonstrojnë rezultatin e pritur të një asistenti chatbot në përgjigje të kërkesave specifike. Këto të dhëna përdoren për të sintonizuar GPT3.5 me mësimin e mbikëqyrur, duke prodhuar një model politikash, i cili përdoret për të gjeneruar përgjigje të shumta kur ofrohen kërkesa. Annotuesit njerëz pastaj klasifikojnë se cila nga përgjigjet për një kërkesë të caktuar dha rezultatet më të mira, e cila përdoret për të trajnuar një model shpërblimi. Modeli i shpërblimit përdoret më pas për të rregulluar në mënyrë të përsëritur modelin e politikave duke përdorur të mësuarit përforcues.
ChatGPT është trajnuar duke përdorur Përforcimi i të mësuarit nga reagimet njerëzore (RLHF), një mënyrë për të inkorporuar reagimet njerëzore për të përmirësuar një model gjuhësor gjatë trajnimit. Kjo lejon që prodhimi i modelit të përafrohet me aktivitetin e kërkuar nga përdoruesi, në vend që thjesht të parashikojë fjalën tjetër në një fjali bazuar në një grup të dhënash të përgjithshme trajnimi, të tilla si GPT-3.
OpenAI ende nuk ka zbuluar detaje se si ka trajnuar GPT4. Raporti i tyre teknik nuk përfshin "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar“. Ajo që ne dimë është se GPT4 është një model shumëmodësh gjenerues i trajnuar në stilin e transformatorit. Si për të dhënat e disponueshme publikisht, ashtu edhe për të dhënat e palëve të treta të licencuara dhe më pas të rregulluara mirë duke përdorur RLHF. Interesante, OpenAI ndau detaje në lidhje me teknikat e tyre të përditësuara RLHF për t'i bërë përgjigjet e modeleve më të sakta dhe më pak të ngjarë të dalin jashtë parmakut të sigurisë.
Pas trajnimit të një modeli politikash (si me ChatGPT), RLHF përdoret në trajnimin kundërshtar, një proces që trajnon një model mbi shembuj keqdashës që synojnë të mashtrojnë modelin për ta mbrojtur atë kundër shembujve të tillë në të ardhmen. Në rastin e GPT4, ekspertët vlerësojnë përgjigjet e modelit politik ndaj kërkesave kontradiktore. Këto përgjigje përdoren më pas për të trajnuar modele shtesë shpërblimi që përsosin në mënyrë të përsëritur modelin e politikës, duke rezultuar në një model që ka më pak gjasa të japë përgjigje të rrezikshme, evazive ose të pasakta.
Për sa i përket funksionalitetit, ChatGPT dhe GPT4 janë më shumë të ngjashme sesa të ndryshme. Ashtu si paraardhësi i tij, GPT-4 gjithashtu ndërvepron në një stil bashkëbisedues që synon të përafrohet me përdoruesin. Siç mund ta shihni më poshtë, përgjigjet midis dy modeleve për një pyetje të gjerë janë shumë të ngjashme.
OpenAI pajtohet se dallimi midis modeleve mund të jetë delikate dhe thotë se "ndryshimi del kur kompleksiteti i detyrës arrin një prag të mjaftueshëm". Duke pasur parasysh gjashtë muajt e trajnimit kundërshtar që modeli bazë GPT4 iu nënshtrua në fazën e tij pas trajnimit, ky është ndoshta një karakterizim i saktë.
Ndryshe nga ChatGPT, i cili pranon vetëm tekst, GPT4 pranon kërkesat e imazhit dhe tekstit, duke kthyer përgjigjet me tekst. Deri në momentin e shkrimit, për fat të keq, aftësia për të përdorur hyrjet e imazhit nuk është ende e disponueshme publikisht.
Siç u përmend më lart, OpenAI raporton një përmirësim të rëndësishëm në performancën e sigurisë për GPT4, krahasuar me GPT-3.5 (nga i cili u akordua ChatGPT). Megjithatë, aktualisht është e paqartë nëse:
janë për shkak të vetë modelit GPT4 ose testeve shtesë kontradiktore.
Për më tepër, GPT4 tejkalon CPT-3.5 në shumicën e provimeve akademike dhe profesionale të marra nga njeriu. Veçanërisht, GPT4 shënon në përqindjen e 90-të në provimin Uniform të Jurisprudencës krahasuar me GPT-3.5, e cila shënon në përqindjen e 10-të. GPT4 gjithashtu e tejkalon ndjeshëm paraardhësin e tij në standardet e modeleve tradicionale të gjuhës dhe modelet e tjera SOTA (megjithëse ndonjëherë në një masë të ngushtë).
Të dy ChatGPT dhe GPT4 kanë kufizime dhe rreziqe të rëndësishme. Fleta e sistemit GPT-4 përfshin njohuri nga një eksplorim i detajuar i atyre rreziqeve të kryera nga OpenAI.
Këto janë vetëm disa nga rreziqet që lidhen me të dy modelet:
Ndërsa ChatGPT dhe GPT-4 luftojnë me të njëjtat kufizime dhe rreziqe, OpenAI ka bërë përpjekje të veçanta, duke përfshirë teste të shumta kontradiktore, për t'i zbutur ato për GPT-4. Ndërsa kjo është inkurajuese, fleta e sistemit GPT-4 përfundimisht tregon se sa i cenueshëm ishte ChatGPT (dhe ndoshta është akoma). Për një shpjegim më të detajuar të pasojave të dëmshme të paqëllimshme, unë rekomandoj të lexoni fletën e sistemit GPT-4, e cila fillon në faqen 38 të Raporti teknik GPT-4 .
Ndërsa dimë pak për arkitekturën e modelit dhe metodat e trajnimit pas GPT4, duket se ekziston një version i rafinuar i ChatGPT. Në fakt, aktualisht GPT4 është në gjendje të pranojë imazhe dhe futje teksti, dhe rezultatet janë më të sigurta, më të sakta dhe më kreative. Fatkeqësisht, do të na duhet të pranojmë fjalën e OpenAI, pasi GPT4 është i disponueshëm vetëm si pjesë e abonimit ChatGPT Plus.
Qëndrimi i informuar në lidhje me përparimin, rreziqet dhe kufizimet e këtyre modeleve është thelbësor ndërsa ne navigojmë në këtë peizazh emocionues, por me zhvillim të shpejtë të modeleve të mëdha gjuhësore.
BlogInnovazione.it
Rezultat i inovacionit të vazhdueshëm teknologjik dhe i përkushtimit ndaj mjedisit dhe mirëqenies së njerëzve. Bandalux prezanton Airpure®, një tendë…
Modelet e projektimit janë zgjidhje specifike të nivelit të ulët për problemet e përsëritura në dizajnimin e softuerit. Modelet e dizajnit janë…
Magica është aplikacioni i iPhone që e bën menaxhimin e automjeteve të thjeshtë dhe efikas, duke i ndihmuar drejtuesit të kursejnë dhe…
Një grafik Excel është një vizual që përfaqëson të dhënat në një fletë pune në Excel.…
