Di mehên dawî de, leza ku modelên zimanên mezin ên nûjen têne berdan ecêb e. Di vê gotarê de, em ê wekhevî û cûdahiyên sereke di navbera GPT4 vs ChatGPT de, di nav de rêbazên perwerdehiyê, performans, jêhatîbûn û tixûbdar veşêrin.
GPT4 û ChatGPT li ser guhertoyên kevntir ên modelên GPT-ê bi pêşkeftinên mîmariya modelê, bi karanîna rêbazên perwerdehiyê yên sofîstîke, û bi hejmareke zêde ya parametreyên perwerdehiyê ve ava dikin.
Her du sêwiran li ser bingeha mîmariya veguherîner in, ku şîfreyek bikar tîne da ku rêzikên têketinê û dekoderek ji bo çêkirina rêzikên derketinê bikar bîne. Enkoder û dekoder bi mekanîzmayek ve girêdayî ne, ku dihêle dekoder bêtir bala xwe bide rêzikên têketina herî girîng.
Rapora teknîkî ya GPT4 ya OpenAI di derheqê mîmariya modelê û pêvajoya damezrandina GPT4 de kêm têgihiştinek pêşkêşî dike, "competitive landscape and the safety implications of large-scale models". Tiştê ku em dizanin ev e ku GPT4 û ChatGPT belkî bi heman rengî têne perwerde kirin, ku ji awayên perwerdehiyê yên ji bo GPT-2 û GPT-3 têne bikar anîn cûda cûda ye. Em li ser rêbazên perwerdehiyê yên ji bo ChatGPT ji GPT4 pir zêdetir dizanin, ji ber vê yekê em ê li wir dest pê bikin.
ChatGPT bi danûstendinên danûstendinê re, tevî daneyên demo, tê perwerde kirin, ku li wir şîrovekerên mirovî di bersivdana daxwazên taybetî de hilberîna bendewar a arîkarek chatbotê destnîşan dikin. Vê daneyê tê bikar anîn da ku GPT3.5 bi fêrbûna çavdêrîkirî veguhezîne, modelek siyasetê hilberîne, ku tê bikar anîn dema ku daxwaz têne peyda kirin, ji bo hilberîna gelek bersivan. Dûv re annotatorên mirovî dabeş dikin ka kîjan ji bersivên ji bo bilezek diyarkirî encamên çêtirîn dane, ku ji bo perwerdekirina modelek xelatê tê bikar anîn. Dûv re modela xelatê tê bikar anîn da ku modela siyasetê bi karanîna fêrbûna xurtkirinê bi dûbare xweş bike.
ChatGPT bi karanîna tê perwerde kirin Fêrbûna Bihêzkirin Ji Bersiva Mirovan (RLHF), rêyek ji bo tevlêkirina bertekên mirovî ji bo baştirkirina modelek zimanî di dema perwerdehiyê de. Ev dihêle ku hilberîna modelê bi çalakiya ku ji hêla bikarhêner ve hatî daxwaz kirin re li hev bike, li şûna ku tenê peyva din a di hevokê de li ser bingeha laşek daneyên perwerdehiya gelemperî, wek GPT-3, pêşbîn bike.
OpenAI hîna hûrguliyên li ser ka ew çawa GPT4 perwerde kiriye eşkere nekiriye. Rapora wan a teknîkî tê de nîne "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar". Tiştê ku em dizanin ev e ku GPT4 modelek pirzimanî ya hilberîner a şêwaza veguherîner a perwerdekirî ye. Hem li ser daneyên berdest ên gelemperî û hem jî li ser daneyên sêyemîn ên destûrdayî û paşê jî bi karanîna RLHF-ê ve hatî rast kirin. Balkêş e, OpenAI hûrguliyên di derbarê teknîkên xwe yên nûvekirî yên RLHF de parve kir da ku bersivên modelê rasttir bike û kêmtir îhtîmal e ku li derveyî parêzvanên ewlehiyê birevin.
Piştî perwerdekirina modelek siyasetê (wek ChatGPT), RLHF di perwerdehiya dijber de tê bikar anîn, pêvajoyek ku modelek li ser mînakên xirab perwerde dike ku armanc e ku modelê bixapîne da ku wê di pêşerojê de li hember mînakên weha biparêze. Di mijara GPT4 de pispor bersivên modela siyasî yên li hemberî daxwazên dijber dinirxînin. Dûv re van bertekan ji bo perwerdekirina modelên xelatên din ên ku bi dûbare modela siyasetê safî dikin têne bikar anîn, û di encamê de modelek ku kêmtir dibe ku bersivên xeternak, dûrketî, an nerast peyda bike.
Di warê fonksiyonê de, ChatGPT û GPT4 ji cûda cûdatir in. Mîna selefê xwe, GPT-4 di heman demê de bi şêwazek danûstendinê ku armanc dike ku bi bikarhêner re hevûdu bike, têkilî dike. Wekî ku hûn li jêr dibînin, bersivên di navbera her du modelan de ji bo pirsek berfireh pir dişibin hev.
OpenAI dipejirîne ku cûdahiya di navbera modelan de dikare nazik be û dibêje ku "cudahî gava ku tevliheviya peywirê digihîje bendek têr derdikeve holê". Ji ber şeş mehên perwerdehiya dijber a ku modela bingehîn GPT4 di qonaxa xweya paş-perwerdeyê de derbas kir, ev dibe ku karakterek rast e.
Berevajî ChatGPT, ku tenê nivîsê qebûl dike, GPT4 hem tavilê wêne û hem jî nivîsê qebûl dike, bersivên nivîsê vedigerîne. Di dema vê nivîsandinê de, mixabin, şiyana karanîna têketinên wêneyê hîna ji raya giştî re tune ye.
Wekî ku li jor hatî behs kirin, OpenAI ji bo GPT4 çêtirbûnek girîng di performansa ewlehiyê de rapor dike, li gorî GPT-3.5 (ku ChatGPT jê hatî veqetandin). Lêbelê, heya niha ne diyar e ka:
ji ber modela GPT4 bixwe an ceribandinên nakok ên zêde ne.
Wekî din, GPT4 di piraniya azmûnên akademîk û pîşeyî yên ku ji hêla mirovan ve hatine girtin de ji CPT-3.5 derdixe. Nemaze, GPT4 di azmûna Uniform Bar de di sedî 90-an de li gorî GPT-3.5-ê, ku di sedî 10-an de dihejîne, dide. GPT4 di heman demê de li ser pîvanên modela zimanê kevneşopî û modelên din ên SOTA-yê (her çend carinan jî bi hûrgulî) ji selefê xwe bi girîngî derdixe.
Hem ChatGPT û hem jî GPT4 xwedan sînorkirin û xetereyên girîng in. Bernameya pergalê GPT-4 têgihîştinên ji vekolînek hûrgulî ya wan xetereyan ku ji hêla OpenAI ve hatî çêkirin vedihewîne.
Vana tenê hin xetereyên ku bi her du modelan ve girêdayî ne:
Dema ku ChatGPT û GPT-4 bi heman sînorkirin û xetereyan re têdikoşin, OpenAI hewildanên taybetî çêkiriye, tevî gelek ceribandinên nakok, da ku wan ji bo GPT-4 kêm bike. Dema ku ev teşwîq e, pelgeya pergala GPT-4 di dawiyê de destnîşan dike ku ChatGPT çiqas xeternak bû (û dibe ku hîn jî be). Ji bo ravekirinek berfirehtir a encamên nexwestî yên zerardar, ez pêşniyar dikim ku pirtûka pergala GPT-4, ya ku di rûpela 38-an de dest pê dike, bixwînin. Rapora teknîkî ya GPT-4 .
Dema ku em di derbarê mîmariya modelê, û rêbazên perwerdehiyê yên li pişt GPT4 de hindik dizanin, xuya ye ku guhertoyek rafîner a ChatGPT heye. Bi rastî, naha GPT4 dikare wêne û têketina nivîsê qebûl bike, û encam ewletir, rasttir û afirînertir in. Mixabin, em ê neçar in ku peyva OpenAI-yê jê re bigirin, ji ber ku GPT4 tenê wekî beşek ji abonetiya ChatGPT Plus heye.
Ji ber ku em li vê perestgeha balkêş, lê bi lez û bez a modelên zimanên mezin digerin, di derheqê pêşkeftin, xetere û sînorên van modelan de agahdar bimînin.
BlogInnovazione.it
Encama nûjeniya teknolojîk a domdar û pabendbûna bi jîngehê û xweşbûna mirovan. Bandalux Airpure®, konek pêşkêşî dike…
Nimûneyên sêwiranê ji bo pirsgirêkên dubare yên di sêwirana nermalavê de çareseriyên nizm ên taybetî ne. Nimûneyên sêwiranê…
Magica serîlêdana iPhone-ê ye ku rêveberiya wesayîtê hêsan û bikêr dike, ji ajokaran re dibe alîkar ku xilas bikin û…
Nexşeya Excel dîmenek e ku daneyên di pelgeya xebatê ya Excel de nîşan dide.…
