ການວິເຄາະໂດຍຫຍໍ້ຂອງທັກສະທີ່ພົ້ນເດັ່ນຂື້ນໃນຮູບແບບພາສາຂະຫນາດໃຫຍ່

ການຄົ້ນຄວ້າຫຼາຍຢ່າງກ່ຽວກັບປັນຍາປະດິດໃນໄລຍະສອງທົດສະວັດທີ່ຜ່ານມາໄດ້ສຸມໃສ່ການຝຶກອົບຮົມເຄືອຂ່າຍ neural, ເພື່ອປະຕິບັດວຽກງານດຽວກັບຊຸດຂໍ້ມູນການຝຶກອົບຮົມສະເພາະ. ຕົວຢ່າງ, ຈັດປະເພດຮູບພາບທີ່ມີແມວ, ສະຫຼຸບບົດຄວາມ, ແປຈາກພາສາອັງກິດເປັນພາສາ Swahili ...

ໃນຊຸມປີມໍ່ໆມານີ້, ຮູບແບບໃຫມ່ໄດ້ພັດທະນາປະມານຮູບແບບພາສາ: ເຄືອຂ່າຍ neural ທີ່ພຽງແຕ່ຄາດຄະເນຄໍາຕໍ່ໄປໃນປະໂຫຍກທີ່ໃຫ້ຄໍາທີ່ຜ່ານມາໃນປະໂຫຍກ.

ຫຼັງຈາກໄດ້ຮັບການຝຶກອົບຮົມຢູ່ໃນຮ່າງກາຍຂະຫນາດໃຫຍ່ຂອງຂໍ້ຄວາມທີ່ບໍ່ມີປ້າຍຊື່, ຮູບແບບພາສາສາມາດ "ເຊີນ" ເພື່ອປະຕິບັດວຽກງານທີ່ຕົນເອງມັກເຊັ່ນ: ການຄາດເດົາຄໍາທີ່ປະຕິບັດຕາມປະໂຫຍກ. ສໍາລັບຕົວຢ່າງ, ວຽກງານຂອງການແປປະໂຫຍກພາສາອັງກິດເປັນພາສາ Swahili ສາມາດ rephrased ເປັນການຄາດຄະເນຄໍາຕໍ່ໄປ: "ການແປພາສາ Swahili ຂອງ 'ປັນຍາປະດິດ' ແມ່ນ ...

ຈາກວຽກງານສະເພາະໄປຫາວຽກງານທົ່ວໄປ

ຮູບແບບໃໝ່ນີ້ສະແດງເຖິງການປ່ຽນແປງຈາກຕົວແບບ ສະເພາະໜ້າວຽກ, ຝຶກອົບຮົມເພື່ອປະຕິບັດວຽກງານດຽວ, ໃນຕົວແບບ ວຽກງານທົ່ວໄປ, ຊຶ່ງສາມາດປະຕິບັດວຽກງານຕ່າງໆ. ບວກກັບແບບຈໍາລອງ ວຽກງານທົ່ວໄປ ພວກເຂົາຍັງສາມາດປະຕິບັດກິດຈະກໍາໃຫມ່ທີ່ບໍ່ໄດ້ລວມເອົາຢ່າງຈະແຈ້ງໃນຂໍ້ມູນການຝຶກອົບຮົມ. ຍົກ​ຕົວ​ຢ່າງ, GPT-3 ສະແດງໃຫ້ເຫັນວ່າຕົວແບບພາສາສາດສາມາດຄູນຕົວເລກສອງຕົວເລກໄດ້ຢ່າງສໍາເລັດຜົນ, ເຖິງແມ່ນວ່າພວກເຂົາບໍ່ໄດ້ຮັບການຝຶກອົບຮົມຢ່າງຈະແຈ້ງເພື່ອເຮັດແນວນັ້ນ. ຢ່າງໃດກໍ່ຕາມ, ຄວາມສາມາດໃນການປະຕິບັດວຽກງານໃຫມ່ນີ້ເກີດຂື້ນກັບຕົວແບບທີ່ມີຈໍານວນຕົວກໍານົດການທີ່ແນ່ນອນແລະໄດ້ຮັບການຝຶກອົບຮົມກ່ຽວກັບຊຸດຂໍ້ມູນຂະຫນາດໃຫຍ່ພຽງພໍ.

ສຸກເສີນເປັນພຶດຕິກໍາ

ແນວຄວາມຄິດທີ່ການປ່ຽນແປງທາງດ້ານປະລິມານໃນລະບົບສາມາດນໍາໄປສູ່ພຶດຕິກໍາໃຫມ່ແມ່ນເປັນທີ່ຮູ້ຈັກ ສຸກເສີນ, ເປັນແນວຄວາມຄິດທີ່ນິຍົມໂດຍນັກຂຽນລາງວັນໂນແບລ Philip Anderson ຂອງປີ 1972 “ຫຼາຍແມ່ນແຕກຕ່າງກັນ”. ໃນຫຼາຍສາຂາວິຊາເຊັ່ນ: ຟີຊິກ, ຊີວະສາດ, ເສດຖະສາດແລະວິທະຍາສາດຄອມພິວເຕີ, ປະກົດການທີ່ພົ້ນເດັ່ນຂື້ນໄດ້ຖືກສັງເກດເຫັນໃນລະບົບທີ່ສັບສົນ.

ຢູ່​ໃນ ບົດຄວາມທີ່ຜ່ານມາ ເຜີຍແຜ່ເມື່ອ ທຸລະກໍາກ່ຽວກັບການຄົ້ນຄວ້າການຮຽນຮູ້ເຄື່ອງຈັກ, ຫ້ອງທົດລອງ ເຮີ້ຍ in Stanford University definishes ຄວາມສາມາດທີ່ພົ້ນເດັ່ນຂື້ນໃນຮູບແບບພາສາຂະຫນາດໃຫຍ່ດັ່ງຕໍ່ໄປນີ້:

ທັກສະແມ່ນ ສຸກເສີນ ຖ້າມັນບໍ່ມີຢູ່ໃນຕົວແບບຂະຫນາດນ້ອຍກວ່າແຕ່ມີຢູ່ໃນຕົວແບບຂະຫນາດໃຫຍ່.

ເພື່ອລັກສະນະທີ່ປະທັບຂອງທັກສະ ພົ້ນເດັ່ນຂື້ນ, ບົດຄວາມຂອງພວກເຮົາໄດ້ລວບລວມການຄົ້ນພົບສໍາລັບຮູບແບບຕ່າງໆແລະວິທີການທີ່ເກີດຂື້ນໃນສອງປີທີ່ຜ່ານມານັບຕັ້ງແຕ່ການປ່ອຍ GPT-3. ເອກະສານໄດ້ກວດກາການຄົ້ນຄວ້າທີ່ວິເຄາະອິດທິພົນຂອງຂະຫນາດ: ແບບຈໍາລອງຂອງຂະຫນາດທີ່ແຕກຕ່າງກັນທີ່ໄດ້ຮັບການຝຶກອົບຮົມດ້ວຍຊັບພະຍາກອນຄອມພິວເຕີ້ທີ່ແຕກຕ່າງກັນ. ສໍາລັບກິດຈະກໍາຈໍານວນຫຼາຍ, ພຶດຕິກໍາຂອງຕົວແບບຈະເລີນເຕີບໂຕຄາດຄະເນກັບຂະຫນາດຫຼືເພີ່ມຂຶ້ນຢ່າງບໍ່ຄາດຝັນຈາກການປະຕິບັດແບບສຸ່ມໄປສູງກວ່າຄ່າສຸ່ມໃນຂອບເຂດຂະຫນາດສະເພາະ.

ເພື່ອຮຽນຮູ້ເພີ່ມເຕີມອ່ານບົດຄວາມກ່ຽວກັບ ທັກສະທີ່ພົ້ນເດັ່ນໃນຕົວແບບພາສາ

Jason Wei ເປັນນັກວິທະຍາສາດການຄົ້ນຄວ້າຂອງ Google Brain. Rishi Bommasani ເປັນນັກສຶກສາປະລິນຍາເອກລະດັບປະລິນຍາຕີຢູ່ພະແນກວິທະຍາສາດຄອມພິວເຕີຂອງ Stanford ຜູ້ທີ່ຊ່ວຍເປີດຕົວ. ສູນ Stanford ສໍາລັບການຄົ້ນຄວ້າກ່ຽວກັບຕົວແບບພື້ນຖານ (CRFM). ອ່ານການສຶກສາຂອງເຂົາເຈົ້າ "ຄວາມສາມາດທີ່ພົ້ນເດັ່ນຂື້ນຂອງ Large Language Models,", ຂຽນໂດຍການຮ່ວມມືກັບນັກວິຊາການຈາກ Google Research, ມະຫາວິທະຍາໄລ Stanford, UNC Chapel Hill, ແລະ DeepMind.

ຮ່າງ BlogInnovazione.it