ໃນເດືອນທີ່ຜ່ານມາ, ຄວາມໄວທີ່ຮູບແບບພາສາຂະຫນາດໃຫຍ່ທີ່ມີນະວັດກໍາໄດ້ຖືກປ່ອຍອອກມາແມ່ນຫນ້າປະຫລາດໃຈ. ໃນບົດຄວາມນີ້, ພວກເຮົາຈະກວມເອົາຄວາມຄ້າຍຄືກັນຕົ້ນຕໍແລະຄວາມແຕກຕ່າງລະຫວ່າງ GPT4 vs ChatGPT, ລວມທັງວິທີການຝຶກອົບຮົມ, ການປະຕິບັດ, ຄວາມສາມາດແລະຂໍ້ຈໍາກັດ.
GPT4 ແລະ ChatGPT ສ້າງຢູ່ໃນຮຸ່ນເກົ່າຂອງ GPT ທີ່ມີການປັບປຸງສະຖາປັດຕະຍະກໍາແບບຈໍາລອງ, ນໍາໃຊ້ວິທີການຝຶກອົບຮົມທີ່ຊັບຊ້ອນຫຼາຍ, ແລະມີຈໍານວນຕົວກໍານົດການການຝຶກອົບຮົມທີ່ສູງຂຶ້ນ.
ການອອກແບບທັງສອງແມ່ນອີງໃສ່ສະຖາປັດຕະຍະກຳຂອງໝໍ້ແປງ, ເຊິ່ງໃຊ້ຕົວເຂົ້າລະຫັດເພື່ອປະມວນຜົນລຳດັບການປ້ອນຂໍ້ມູນ ແລະ ຕົວຖອດລະຫັດເພື່ອສ້າງລຳດັບຜົນຜະລິດ. ຕົວເຂົ້າລະຫັດແລະຕົວຖອດລະຫັດແມ່ນເຊື່ອມຕໍ່ກັນໂດຍກົນໄກ, ເຊິ່ງຊ່ວຍໃຫ້ຕົວຖອດລະຫັດເອົາໃຈໃສ່ກັບລໍາດັບການປ້ອນຂໍ້ມູນທີ່ສໍາຄັນທີ່ສຸດ.
ບົດລາຍງານດ້ານວິຊາການ GPT4 ຂອງ OpenAI ສະເຫນີຄວາມເຂົ້າໃຈເລັກນ້ອຍກ່ຽວກັບສະຖາປັດຕະຍະກໍາແບບຈໍາລອງແລະຂະບວນການສ້າງ GPT4, ໂດຍອ້າງອີງໃສ່ "competitive landscape and the safety implications of large-scale models“. ສິ່ງທີ່ພວກເຮົາຮູ້ແມ່ນວ່າ GPT4 ແລະ ChatGPT ອາດຈະໄດ້ຮັບການຝຶກອົບຮົມທີ່ຄ້າຍຄືກັນ, ເຊິ່ງຂ້ອນຂ້າງແຕກຕ່າງຈາກວິທີການຝຶກອົບຮົມທີ່ໃຊ້ສໍາລັບ GPT-2 ແລະ GPT-3. ພວກເຮົາຮູ້ຫຼາຍກ່ຽວກັບວິທີການຝຶກອົບຮົມສໍາລັບ ChatGPT ກວ່າ GPT4, ດັ່ງນັ້ນພວກເຮົາຈະເລີ່ມຕົ້ນຢູ່ທີ່ນັ້ນ.
ChatGPT ໄດ້ຖືກຝຶກອົບຮົມດ້ວຍຊຸດຂໍ້ມູນການສົນທະນາ, ລວມທັງຂໍ້ມູນຕົວຢ່າງ, ບ່ອນທີ່ນັກບັນຍາຍຂອງມະນຸດສະແດງໃຫ້ເຫັນຜົນຜະລິດທີ່ຄາດໄວ້ຂອງຜູ້ຊ່ວຍ chatbot ໃນການຕອບສະຫນອງຕໍ່ຄໍາຮ້ອງຂໍສະເພາະ. ຂໍ້ມູນນີ້ຖືກນໍາໃຊ້ເພື່ອປັບ GPT3.5 ກັບການຮຽນຮູ້ທີ່ມີການເບິ່ງແຍງ, ການຜະລິດຮູບແບບນະໂຍບາຍ, ເຊິ່ງຖືກນໍາໃຊ້ເພື່ອສ້າງຄໍາຕອບຫຼາຍຄັ້ງເມື່ອມີການຮ້ອງຂໍ. ຈາກນັ້ນຜູ້ປະກອບຄຳບັນຍາຍຂອງມະນຸດຈະຈັດປະເພດການຕອບຮັບໃດໜຶ່ງສຳລັບການຕອບຮັບທີ່ໃຫ້ໄດ້ຜົນດີທີ່ສຸດ, ເຊິ່ງໃຊ້ເພື່ອຝຶກຝົນແບບຢ່າງ. ຮູບແບບການໃຫ້ລາງວັນຖືກໃຊ້ເພື່ອປັບປ່ຽນຮູບແບບນະໂຍບາຍຄືນໃໝ່ໂດຍນຳໃຊ້ການຮຽນຮູ້ການເສີມສ້າງ.
ChatGPT ແມ່ນການຝຶກອົບຮົມໂດຍໃຊ້ ການເສີມສ້າງການຮຽນຮູ້ຈາກຄວາມຄິດເຫັນຂອງມະນຸດ (RLHF), ວິທີການລວມເອົາຄໍາຕິຊົມຂອງມະນຸດເພື່ອປັບປຸງຮູບແບບພາສາໃນລະຫວ່າງການຝຶກອົບຮົມ. ນີ້ອະນຸຍາດໃຫ້ຜົນຜະລິດຕົວແບບສອດຄ່ອງກັບກິດຈະກໍາທີ່ຮ້ອງຂໍໂດຍຜູ້ໃຊ້, ແທນທີ່ຈະພຽງແຕ່ຄາດຄະເນຄໍາຕໍ່ໄປໃນປະໂຫຍກໂດຍອີງໃສ່ເນື້ອໃນຂອງຂໍ້ມູນການຝຶກອົບຮົມທົ່ວໄປເຊັ່ນ GPT-3.
OpenAI ຍັງບໍ່ທັນໄດ້ເປີດເຜີຍລາຍລະອຽດກ່ຽວກັບວິທີທີ່ມັນຝຶກອົບຮົມ GPT4. ບົດລາຍງານດ້ານວິຊາການຂອງພວກເຂົາບໍ່ໄດ້ລວມເອົາ "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar“. ສິ່ງທີ່ພວກເຮົາຮູ້ແມ່ນວ່າ GPT4 ແມ່ນຮູບແບບ multimode ການຜະລິດແບບ transformer ທີ່ໄດ້ຮັບການຝຶກອົບຮົມ. ທັງຢູ່ໃນຂໍ້ມູນສາທາລະນະ ແລະຂໍ້ມູນພາກສ່ວນທີສາມທີ່ໄດ້ຮັບອະນຸຍາດ ແລະຕໍ່ມາໄດ້ຮັບການປັບໃໝໂດຍນຳໃຊ້ RLHF. ຫນ້າສົນໃຈ, OpenAI ແບ່ງປັນລາຍລະອຽດກ່ຽວກັບເຕັກນິກ RLHF ທີ່ຖືກປັບປຸງໃຫມ່ຂອງພວກເຂົາເພື່ອເຮັດໃຫ້ການຕອບໂຕ້ແບບຈໍາລອງແມ່ນຖືກຕ້ອງແລະຫນ້ອຍທີ່ຈະເລື່ອນອອກໄປຂ້າງນອກ guardrails.
ຫຼັງຈາກການຝຶກອົບຮົມຮູບແບບນະໂຍບາຍ (ເຊັ່ນດຽວກັບ ChatGPT), RLHF ຖືກນໍາໃຊ້ໃນການຝຶກອົບຮົມຂອງສັດຕູ, ຂະບວນການທີ່ຝຶກອົບຮົມຕົວແບບກ່ຽວກັບຕົວຢ່າງທີ່ເປັນອັນຕະລາຍທີ່ມີຈຸດປະສົງເພື່ອຫຼອກລວງຕົວແບບໃຫ້ປົກປ້ອງມັນຕໍ່ກັບຕົວຢ່າງດັ່ງກ່າວໃນອະນາຄົດ. ໃນກໍລະນີຂອງ GPT4, ຜູ້ຊ່ຽວຊານປະເມີນການຕອບສະຫນອງຂອງຕົວແບບທາງດ້ານການເມືອງຕໍ່ຄວາມຕ້ອງການທີ່ກົງກັນຂ້າມ. ຫຼັງຈາກນັ້ນ, ຄໍາຕອບເຫຼົ່ານີ້ຖືກໃຊ້ເພື່ອຝຶກອົບຮົມແບບຈໍາລອງລາງວັນເພີ່ມເຕີມທີ່ປັບປຸງຮູບແບບນະໂຍບາຍຄືນໃຫມ່, ສົ່ງຜົນໃຫ້ຕົວແບບທີ່ມີໂອກາດຫນ້ອຍທີ່ຈະສະຫນອງການຕອບໂຕ້ອັນຕະລາຍ, ຫຼົບຫຼີກ, ຫຼືບໍ່ຖືກຕ້ອງ.
ໃນແງ່ຂອງການເຮັດວຽກ, ChatGPT ແລະ GPT4 ແມ່ນຄ້າຍຄືກັນຫຼາຍກ່ວາທີ່ແຕກຕ່າງກັນ. ເຊັ່ນດຽວກັນກັບລຸ້ນກ່ອນ, GPT-4 ຍັງໂຕ້ຕອບໃນແບບການສົນທະນາທີ່ມີຈຸດປະສົງເພື່ອສອດຄ່ອງກັບຜູ້ໃຊ້. ດັ່ງທີ່ທ່ານສາມາດເບິ່ງຂ້າງລຸ່ມນີ້, ຄໍາຕອບລະຫວ່າງສອງແບບສໍາລັບຄໍາຖາມກວ້າງແມ່ນຄ້າຍຄືກັນຫຼາຍ.
OpenAI ຕົກລົງເຫັນດີວ່າຄວາມແຕກຕ່າງລະຫວ່າງແບບຈໍາລອງສາມາດເປັນເລື່ອງເລັກນ້ອຍແລະກ່າວວ່າ "ຄວາມແຕກຕ່າງອອກມາເມື່ອຄວາມສັບສົນຂອງວຽກງານບັນລຸເປົ້າຫມາຍທີ່ພຽງພໍ". ເນື່ອງຈາກການຝຶກອົບຮົມຄູ່ຕໍ່ສູ້ເປັນເວລາ 4 ເດືອນທີ່ຮູບແບບພື້ນຖານ GPTXNUMX ໄດ້ດໍາເນີນໃນໄລຍະຫຼັງການຝຶກອົບຮົມ, ນີ້ອາດຈະເປັນລັກສະນະທີ່ຖືກຕ້ອງ.
ບໍ່ເຫມືອນກັບ ChatGPT, ເຊິ່ງຍອມຮັບພຽງແຕ່ຂໍ້ຄວາມ, GPT4 ຍອມຮັບທັງຮູບພາບແລະຂໍ້ຄວາມ, ຕອບກັບຂໍ້ຄວາມຕອບ. ໃນຖານະເປັນລາຍລັກອັກສອນນີ້, ແຕ່ຫນ້າເສຍດາຍ, ຄວາມສາມາດໃນການນໍາໃຊ້ວັດສະດຸປ້ອນຮູບພາບຍັງບໍ່ທັນມີສາທາລະນະ.
ດັ່ງທີ່ໄດ້ກ່າວມາຂ້າງເທິງ, OpenAI ລາຍງານການປັບປຸງທີ່ສໍາຄັນໃນການປະຕິບັດຄວາມປອດໄພສໍາລັບ GPT4, ເມື່ອທຽບກັບ GPT-3.5 (ຈາກທີ່ ChatGPT ໄດ້ຖືກປັບ). ຢ່າງໃດກໍຕາມ, ໃນປັດຈຸບັນມັນບໍ່ຈະແຈ້ງວ່າ:
ແມ່ນຍ້ອນຕົວແບບ GPT4 ຕົວມັນເອງຫຼືການທົດສອບທີ່ຂັດແຍ້ງກັນເພີ່ມເຕີມ.
ນອກຈາກນັ້ນ, GPT4 ປະຕິບັດໄດ້ດີກວ່າ CPT-3.5 ໃນການສອບເສັງທາງວິຊາການ ແລະວິຊາຊີບສ່ວນໃຫຍ່ທີ່ມະນຸດເອົາມາ. ໂດຍສະເພາະ, ຄະແນນ GPT4 ໃນສ່ວນຮ້ອຍທີ 90 ໃນການສອບເສັງ Uniform Bar ທຽບກັບ GPT-3.5, ເຊິ່ງຄະແນນໃນສ່ວນຮ້ອຍທີ 10. GPT4 ຍັງເຮັດໄດ້ດີກວ່າຕົວແບບກ່ອນໜ້າຂອງມັນຢ່າງຫຼວງຫຼາຍຕໍ່ກັບມາດຕະຖານຕົວແບບພາສາພື້ນເມືອງ ແລະແບບຈໍາລອງ SOTA ອື່ນໆ (ເຖິງແມ່ນວ່າບາງຄັ້ງກໍແຄບ).
ທັງ ChatGPT ແລະ GPT4 ມີຂໍ້ຈໍາກັດແລະຄວາມສ່ຽງທີ່ສໍາຄັນ. ເອກະສານລະບົບ GPT-4 ປະກອບມີຄວາມເຂົ້າໃຈຈາກການສໍາຫຼວດຢ່າງລະອຽດກ່ຽວກັບຄວາມສ່ຽງເຫຼົ່ານັ້ນທີ່ດໍາເນີນໂດຍ OpenAI.
ນີ້ແມ່ນພຽງແຕ່ບາງຄວາມສ່ຽງທີ່ກ່ຽວຂ້ອງກັບທັງສອງແບບ:
ໃນຂະນະທີ່ ChatGPT ແລະ GPT-4 ຕໍ່ສູ້ກັບຂໍ້ຈໍາກັດແລະຄວາມສ່ຽງດຽວກັນ, OpenAI ໄດ້ພະຍາຍາມພິເສດ, ລວມທັງການທົດສອບການຂັດແຍ້ງຈໍານວນຫລາຍ, ເພື່ອຫຼຸດຜ່ອນພວກມັນສໍາລັບ GPT-4. ໃນຂະນະທີ່ນີ້ແມ່ນການຊຸກຍູ້, ເອກະສານລະບົບ GPT-4 ໃນທີ່ສຸດສະແດງໃຫ້ເຫັນວ່າ ChatGPT ມີຄວາມສ່ຽງແນວໃດ (ແລະບາງທີອາດຈະເປັນ). ສໍາລັບຄໍາອະທິບາຍລາຍລະອຽດເພີ່ມເຕີມກ່ຽວກັບຜົນສະທ້ອນທີ່ບໍ່ໄດ້ຕັ້ງໃຈທີ່ເປັນອັນຕະລາຍ, ຂ້າພະເຈົ້າແນະນໍາໃຫ້ອ່ານເອກະສານລະບົບ GPT-4, ເຊິ່ງເລີ່ມຕົ້ນໃນຫນ້າ 38 ຂອງຫົວຂໍ້. ບົດລາຍງານດ້ານວິຊາການ GPT-4 .
ໃນຂະນະທີ່ພວກເຮົາຮູ້ພຽງເລັກນ້ອຍກ່ຽວກັບສະຖາປັດຕະຍະກໍາແບບຈໍາລອງ, ແລະວິທີການຝຶກອົບຮົມທີ່ຢູ່ເບື້ອງຫລັງ GPT4, ເບິ່ງຄືວ່າມີສະບັບປັບປຸງຂອງ ChatGPT. ໃນຄວາມເປັນຈິງ, ໃນປັດຈຸບັນ GPT4 ສາມາດຍອມຮັບຮູບພາບແລະການປ້ອນຂໍ້ຄວາມ, ແລະຜົນໄດ້ຮັບແມ່ນປອດໄພກວ່າ, ຖືກຕ້ອງແລະສ້າງສັນຫຼາຍ. ແຕ່ຫນ້າເສຍດາຍ, ພວກເຮົາຈະຕ້ອງເອົາຄໍາເວົ້າຂອງ OpenAI ສໍາລັບມັນ, ເພາະວ່າ GPT4 ມີພຽງແຕ່ເປັນສ່ວນຫນຶ່ງຂອງການສະຫມັກ ChatGPT Plus ເທົ່ານັ້ນ.
ການຮັບຊາບກ່ຽວກັບຄວາມຄືບໜ້າ, ຄວາມສ່ຽງ ແລະຂໍ້ຈຳກັດຂອງຕົວແບບເຫຼົ່ານີ້ ແມ່ນຈຳເປັນເມື່ອພວກເຮົານຳທາງໄປສູ່ພູມສັນຖານທີ່ໜ້າຕື່ນເຕັ້ນແຕ່ມີການພັດທະນາຢ່າງໄວວາຂອງຕົວແບບພາສາຂະໜາດໃຫຍ່.
BlogInnovazione.it
Coveware ໂດຍ Veeam ຈະສືບຕໍ່ໃຫ້ບໍລິການຕອບໂຕ້ເຫດການ extortion cyber. Coveware ຈະສະ ເໜີ ຄວາມສາມາດດ້ານນິຕິສາດແລະການແກ້ໄຂ…
ການຮັກສາການຄາດເດົາແມ່ນການປະຕິວັດຂະແໜງນ້ຳມັນ ແລະ ອາຍແກັສ, ດ້ວຍແນວທາງນະວັດຕະກໍາ ແລະ ຕັ້ງໜ້າໃນການຄຸ້ມຄອງພືດ.…
CMA ຂອງອັງກິດໄດ້ອອກຄໍາເຕືອນກ່ຽວກັບພຶດຕິກໍາຂອງ Big Tech ໃນຕະຫຼາດປັນຍາປະດິດ. ຢູ່ທີ່ນັ້ນ…
ດຳລັດ “Case Green” ທີ່ສ້າງຂຶ້ນໂດຍສະຫະພາບເອີລົບ ເພື່ອຍົກສູງປະສິດທິພາບດ້ານພະລັງງານຂອງຕຶກອາຄານ, ໄດ້ສິ້ນສຸດຂະບວນການນິຕິບັນຍັດຂອງຕົນດ້ວຍ…
