சமீபத்திய மாதங்களில், புதுமையான பெரிய மொழி மாதிரிகள் வெளியிடப்பட்ட வேகம் ஆச்சரியமாக இருக்கிறது. இந்தக் கட்டுரையில், பயிற்சி முறைகள், செயல்திறன், திறன்கள் மற்றும் வரம்புகள் உட்பட, GPT4 vs ChatGPT இடையே உள்ள முக்கிய ஒற்றுமைகள் மற்றும் வேறுபாடுகளை நாங்கள் உள்ளடக்குவோம்.
GPT4 மற்றும் ChatGPT ஆகியவை GPT மாடல்களின் பழைய பதிப்புகளை மாடல் கட்டிடக்கலை மேம்பாடுகளுடன் உருவாக்குகின்றன, மேலும் அதிநவீன பயிற்சி முறைகளைப் பயன்படுத்துகின்றன, மேலும் அதிக எண்ணிக்கையிலான பயிற்சி அளவுருக்களுடன்.
இரண்டு வடிவமைப்புகளும் மின்மாற்றி கட்டமைப்பை அடிப்படையாகக் கொண்டவை, இது உள்ளீட்டு வரிசைகளை செயலாக்க ஒரு குறியாக்கியையும் வெளியீட்டு காட்சிகளை உருவாக்க ஒரு குறிவிலக்கியையும் பயன்படுத்துகிறது. குறியாக்கி மற்றும் குறிவிலக்கி ஆகியவை ஒரு பொறிமுறையால் இணைக்கப்பட்டுள்ளன, இது குறிவிலக்கியை மிக முக்கியமான உள்ளீட்டு வரிசைகளுக்கு நெருக்கமான கவனம் செலுத்த அனுமதிக்கிறது.
GPT4 தொழில்நுட்ப அறிக்கை OpenAI இன் மாதிரி கட்டமைப்பு மற்றும் GPT4 உருவாக்கும் செயல்முறை பற்றிய சிறிய நுண்ணறிவை வழங்குகிறது, "competitive landscape and the safety implications of large-scale models
". GPT4 மற்றும் ChatGPT ஆகியவை ஒரே மாதிரியாகப் பயிற்றுவிக்கப்படுகின்றன என்பது நமக்குத் தெரியும், இது GPT-2 மற்றும் GPT-3க்கு பயன்படுத்தப்படும் பயிற்சி முறைகளிலிருந்து மிகவும் வித்தியாசமானது. GPT4 ஐ விட ChatGPTக்கான பயிற்சி முறைகள் பற்றி எங்களுக்கு அதிகம் தெரியும், எனவே நாங்கள் அங்கு தொடங்குவோம்.
டெமோ தரவு உட்பட உரையாடல் தரவுத்தொகுப்புகளுடன் ChatGPT பயிற்சியளிக்கப்படுகிறது, அங்கு மனித சிறுகுறிப்புகள் குறிப்பிட்ட கோரிக்கைகளுக்கு பதிலளிக்கும் வகையில் சாட்போட் உதவியாளரின் எதிர்பார்க்கப்படும் வெளியீட்டை நிரூபிக்கின்றன. இந்தக் தரவு, GPT3.5ஐ மேற்பார்வையிடப்பட்ட கற்றலுடன் மாற்றியமைக்கப் பயன்படுகிறது, கொள்கை மாதிரியை உருவாக்குகிறது, இது கோரிக்கைகள் வழங்கப்படும் போது பல பதில்களை உருவாக்கப் பயன்படுகிறது. மனித சிறுகுறிப்பாளர்கள் பின்னர் கொடுக்கப்பட்ட ப்ராம்ட்க்கான பதில்களில் எது சிறந்த முடிவுகளை அளித்தது என்பதை வகைப்படுத்துகிறது, இது வெகுமதி மாதிரியைப் பயிற்றுவிக்கப் பயன்படுகிறது. வெகுமதி மாதிரியானது, வலுவூட்டல் கற்றலைப் பயன்படுத்தி கொள்கை மாதிரியை மீண்டும் மீண்டும் நன்றாக மாற்றியமைக்கப் பயன்படுகிறது.
ChatGPT ஐப் பயன்படுத்தி பயிற்சியளிக்கப்படுகிறது மனித பின்னூட்டத்திலிருந்து வலுவூட்டல் கற்றல் (RLHF), பயிற்சியின் போது ஒரு மொழி மாதிரியை மேம்படுத்த மனித கருத்துக்களை இணைப்பதற்கான ஒரு வழி. GPT-3 போன்ற பொதுவான பயிற்சித் தரவுகளின் அடிப்படையில் ஒரு வாக்கியத்தில் அடுத்த வார்த்தையைக் கணிப்பதை விட, பயனர் கோரும் செயல்பாட்டுடன் மாதிரி வெளியீட்டை சீரமைக்க இது அனுமதிக்கிறது.
GPT4க்கு எப்படி பயிற்சி அளித்தது என்பது பற்றிய விவரங்களை OpenAI இன்னும் வெளியிடவில்லை. அவர்களின் தொழில்நுட்ப அறிக்கையில் "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar
". GPT4 என்பது பயிற்சியளிக்கப்பட்ட மின்மாற்றி-பாணியில் உருவாக்கும் மல்டிமோட் மாதிரி என்பது நமக்குத் தெரியும். பொதுவில் கிடைக்கக்கூடிய தரவு மற்றும் மூன்றாம் தரப்பு தரவு ஆகியவற்றில் உரிமம் பெற்ற பின்னர் RLHF ஐப் பயன்படுத்தி நன்றாக மாற்றியமைக்கப்பட்டது. சுவாரஸ்யமாக, மாதிரி மறுமொழிகளை மிகவும் துல்லியமாகவும், பாதுகாப்புக் கயிறுகளுக்கு வெளியே செல்லும் வாய்ப்புக் குறைவாகவும் மாற்றியமைக்கப்பட்ட RLHF நுட்பங்களைப் பற்றிய விவரங்களை OpenAI பகிர்ந்து கொண்டது.
ஒரு கொள்கை மாதிரியைப் பயிற்றுவித்த பிறகு (சாட்ஜிபிடியைப் போல), எதிரிப் பயிற்சியில் RLHF பயன்படுத்தப்படுகிறது, இது எதிர்காலத்தில் இதுபோன்ற உதாரணங்களுக்கு எதிராக மாடலைத் தந்திரமாகப் பாதுகாக்கும் நோக்கம் கொண்ட தீங்கிழைக்கும் எடுத்துக்காட்டுகளில் ஒரு மாதிரியைப் பயிற்றுவிக்கிறது. GPT4 விஷயத்தில், வல்லுநர்கள் முரண்பாடான கோரிக்கைகளுக்கு அரசியல் மாதிரியின் பதில்களை மதிப்பிடுகின்றனர். இந்த பதில்கள், பாலிசி மாதிரியை மீண்டும் மீண்டும் செம்மைப்படுத்தும் கூடுதல் வெகுமதி மாதிரிகளைப் பயிற்றுவிக்கப் பயன்படுகிறது, இதன் விளைவாக ஆபத்தான, தவிர்க்கக்கூடிய அல்லது துல்லியமற்ற பதில்களை வழங்குவதற்கான வாய்ப்புகள் குறைவு.
செயல்பாட்டின் அடிப்படையில், ChatGPT மற்றும் GPT4 ஆகியவை வேறுபட்டதை விட மிகவும் ஒத்தவை. அதன் முன்னோடியைப் போலவே, GPT-4 ஆனது ஒரு உரையாடல் பாணியில் தொடர்பு கொள்கிறது, இது பயனருடன் ஒத்துப்போவதை நோக்கமாகக் கொண்டுள்ளது. நீங்கள் கீழே பார்க்க முடியும் என, ஒரு பரந்த கேள்விக்கு இரண்டு மாதிரிகளுக்கு இடையே உள்ள பதில்கள் மிகவும் ஒத்ததாக இருக்கும்.
மாதிரிகளுக்கு இடையிலான வேறுபாடு நுட்பமானதாக இருக்க முடியும் என்பதை OpenAI ஒப்புக்கொள்கிறது மற்றும் "பணியின் சிக்கலானது போதுமான வரம்பை அடையும் போது வேறுபாடு வெளிப்படும்" என்று கூறுகிறது. GPT4 அடிப்படை மாதிரியானது அதன் பயிற்சிக்குப் பிந்தைய கட்டத்தில் மேற்கொண்ட ஆறு மாத விரோதப் பயிற்சியின் அடிப்படையில், இது அநேகமாக துல்லியமான குணாதிசயமாக இருக்கும்.
உரையை மட்டுமே ஏற்கும் ChatGPT போலல்லாமல், GPT4 படம் மற்றும் உரைத் தூண்டுதல்கள் இரண்டையும் ஏற்றுக்கொண்டு, உரை பதில்களை வழங்குகிறது. இதை எழுதும் வரை, துரதிர்ஷ்டவசமாக, பட உள்ளீடுகளைப் பயன்படுத்தும் திறன் இன்னும் பொதுவில் கிடைக்கவில்லை.
மேலே குறிப்பிட்டுள்ளபடி, GPT-4 (இதில் இருந்து ChatGPT டியூன் செய்யப்பட்டது) உடன் ஒப்பிடும்போது, GPT3.5க்கான பாதுகாப்பு செயல்திறனில் குறிப்பிடத்தக்க முன்னேற்றத்தை OpenAI தெரிவிக்கிறது. இருப்பினும், இது தற்போது தெளிவாக இல்லை:
GPT4 மாதிரி அல்லது கூடுதல் முரண்பாடான சோதனைகள் காரணமாகும்.
கூடுதலாக, GPT4 CPT-3.5 ஐ விட மனிதனால் எடுக்கப்பட்ட பெரும்பாலான கல்வி மற்றும் தொழில்முறை தேர்வுகளில் சிறப்பாக செயல்படுகிறது. குறிப்பிடத்தக்க வகையில், GPT4 ஆனது, 90வது சதவிகிதத்தில் மதிப்பெண்களைப் பெற்ற GPT-3.5 உடன் ஒப்பிடும்போது, யூனிஃபார்ம் பார் தேர்வில் 10வது சதவிகித மதிப்பெண்களைப் பெற்றுள்ளது. GPT4 பாரம்பரிய மொழி மாதிரி வரையறைகள் மற்றும் பிற SOTA மாதிரிகள் (சில நேரங்களில் குறுகலாக இருந்தாலும்) அதன் முன்னோடிகளை கணிசமாக விஞ்சுகிறது.
ChatGPT மற்றும் GPT4 இரண்டும் குறிப்பிடத்தக்க வரம்புகள் மற்றும் அபாயங்களைக் கொண்டுள்ளன. GPT-4 சிஸ்டம் ஷீட்டில் OpenAI ஆல் நடத்தப்படும் அபாயங்கள் பற்றிய விரிவான ஆய்வின் நுண்ணறிவுகள் உள்ளன.
இவை இரண்டு மாடல்களுடனும் தொடர்புடைய சில அபாயங்கள்:
ChatGPT மற்றும் GPT-4 ஆகியவை ஒரே வரம்புகள் மற்றும் அபாயங்களுடன் போராடும் அதே வேளையில், GPT-4 க்கு அவற்றைத் தணிக்க, பல முரண்பட்ட சோதனைகள் உட்பட, OpenAI சிறப்பு முயற்சிகளை மேற்கொண்டுள்ளது. இது ஊக்கமளிக்கும் அதே வேளையில், GPT-4 சிஸ்டம் ஷீட் இறுதியில் ChatGPT எவ்வளவு பாதிக்கப்படக்கூடியது என்பதை நிரூபிக்கிறது (ஒருவேளை இன்னும் இருக்கலாம்). தீங்கு விளைவிக்கும் எதிர்பாராத விளைவுகளைப் பற்றிய விரிவான விளக்கத்திற்கு, பக்கம் 4 இல் தொடங்கும் GPT-38 அமைப்பு தாளைப் படிக்க பரிந்துரைக்கிறேன். GPT-4 தொழில்நுட்ப அறிக்கை .
GPT4 க்கு பின்னால் உள்ள மாதிரி கட்டமைப்பு மற்றும் பயிற்சி முறைகள் பற்றி எங்களுக்கு கொஞ்சம் தெரியும் என்றாலும், ChatGPT இன் சுத்திகரிக்கப்பட்ட பதிப்பு உள்ளது. உண்மையில், தற்போது GPT4 ஆனது படங்கள் மற்றும் உரை உள்ளீட்டை ஏற்க முடியும், மேலும் முடிவுகள் பாதுகாப்பானவை, மிகவும் துல்லியமானவை மற்றும் மிகவும் ஆக்கப்பூர்வமானவை. துரதிர்ஷ்டவசமாக, GPT4 ChatGPT பிளஸ் சந்தாவின் ஒரு பகுதியாக மட்டுமே கிடைக்கும் என்பதால், நாங்கள் OpenAI இன் வார்த்தையை எடுத்துக்கொள்ள வேண்டும்.
இந்த அற்புதமான ஆனால் வேகமாக வளர்ந்து வரும் பெரிய மொழி மாதிரிகளின் நிலப்பரப்பை நாங்கள் வழிநடத்தும் போது, இந்த மாதிரிகளின் முன்னேற்றம், அபாயங்கள் மற்றும் வரம்புகள் குறித்து தொடர்ந்து அறிந்திருப்பது அவசியம்.
BlogInnovazione.it
கடந்த திங்கட்கிழமை, பைனான்சியல் டைம்ஸ் OpenAI உடன் ஒரு ஒப்பந்தத்தை அறிவித்தது. FT அதன் உலகத் தரம் வாய்ந்த பத்திரிகைக்கு உரிமம் அளிக்கிறது…
மில்லியன் கணக்கான மக்கள் ஸ்ட்ரீமிங் சேவைகளுக்கு பணம் செலுத்துகிறார்கள், மாதாந்திர சந்தா கட்டணத்தை செலுத்துகிறார்கள். நீங்கள் என்பது பொதுவான கருத்து...
Veeam வழங்கும் Coveware இணைய மிரட்டி பணம் பறித்தல் சம்பவத்தின் பதில் சேவைகளை தொடர்ந்து வழங்கும். Coveware தடயவியல் மற்றும் சரிசெய்தல் திறன்களை வழங்கும்…
முன்கணிப்பு பராமரிப்பு எண்ணெய் மற்றும் எரிவாயு துறையில் புரட்சியை ஏற்படுத்துகிறது, ஆலை மேலாண்மைக்கு ஒரு புதுமையான மற்றும் செயல்திறன் மிக்க அணுகுமுறையுடன்.…