BLOOM: ການປະຕິວັດເປີດໃນປັນຍາປະດິດ

ຮູບແບບ AI ຂະຫນາດໃຫຍ່ຂອງມື້ນີ້ຕ້ອງການຊັບພະຍາກອນຄອມພິວເຕີອັນໃຫຍ່ຫຼວງເພື່ອຝຶກອົບຮົມ.

ເຄືອຂ່າຍ neural ທີ່ປະກອບດ້ວຍຫຼາຍຕື້ຫຼືແມ້ກະທັ້ງຫຼາຍຕື້ຕົວກໍານົດການຮຽກຮ້ອງໃຫ້ມີຊັບພະຍາກອນໃນສິບລ້ານເອີໂຣ.
ດ້ວຍ​ຄ່າ​ໃຊ້​ຈ່າຍ​ອັນ​ໃຫຍ່​ຫຼວງ​ດັ່ງ​ກ່າວ, ນັກ​ສະ​ແດງ​ພຽງ​ຄົນ​ດຽວ​ທີ່​ສາ​ມາດ​ສ້າງ​ແລະ​ຝຶກ​ອົບ​ຮົມ​ແບບ​ຢ່າງ​ທີ່​ຍິ່ງ​ໃຫຍ່​ຂອງ​ປັນຍາ​ປະດິດ​ແມ່ນ​ຜູ້​ມີ​ຫຼາຍ​ປະ​ເທດ.

ຄ່າໃຊ້ຈ່າຍຂອງການຄົ້ນຄວ້າ AI ເປັນອຸປະສັກຕໍ່ການເຂົ້າມາ

ດ້ວຍຄຸນລັກສະນະເຫຼົ່ານີ້, ຄ່າໃຊ້ຈ່າຍຂອງການຄົ້ນຄວ້າ AI ປະກອບເປັນອຸປະສັກຕໍ່ການເຂົ້າມາ.
ໃນຊຸມປີມໍ່ໆມານີ້ພວກເຮົາໄດ້ເຫັນການຂະຫຍາຍຕົວຂອງຕົວແບບຂະຫນາດນ້ອຍແລະສະລັບສັບຊ້ອນຫນ້ອຍ, ຢ່າງໃດກໍຕາມ, ໄກຈາກຮູບແບບພາສາ LLM ຂະຫນາດໃຫຍ່.

ດອກໄມ້ແລະການປະຕິວັດເປີດ

ໃນຊຸມປີມໍ່ໆມານີ້, ພວກເຮົາໄດ້ເຫັນການຫັນປ່ຽນ. ຕົວຢ່າງ, ການປ່ອຍ Meta ຂອງ OPT-175B (Open Pretrained Transformer), ຮູບແບບພາສາທີ່ໄດ້ຮັບການຝຶກອົບຮົມກັບຊຸດຂໍ້ມູນສາທາລະນະແລະເຮັດໃຫ້ມີໃຫ້ແກ່ນັກຄົ້ນຄວ້າໃນໂຫມດເປີດ "quasi".
ແຕ່ຂ່າວໃນຂະນະນີ້ແມ່ນການປ່ອຍ BLOOM LM ໂດຍ BigScience.

BLOOM ແມ່ນຮູບແບບພາສາຫຼາຍພາສາທີ່ເປີດໃຫ້ເຂົ້າເຖິງເຊິ່ງປະກອບດ້ວຍ 176 ຕື້ພາລາມິເຕີ ແລະໄດ້ຮັບການຝຶກອົບຮົມເປັນເວລາ 3,5 ເດືອນໃນ 384 A100–80 GB GPUs.
ດ່ານກວດ BLOOM ໃຊ້ພື້ນທີ່ດິສກ໌ເຖິງ 330GB, ສະນັ້ນມັນເບິ່ງຄືວ່າເປັນໄປບໍ່ໄດ້ທີ່ຈະແລ່ນແບບນີ້ໃນຄອມພິວເຕີຕັ້ງໂຕະ.
ຢ່າງໃດກໍຕາມ, ທ່ານພຽງແຕ່ຕ້ອງການພື້ນທີ່ດິດພຽງພໍ, ແລະຢ່າງຫນ້ອຍ 16GB ຂອງ RAM ເພື່ອດໍາເນີນການຮູບແບບນີ້ໃນຄອມພິວເຕີຂອງທ່ານ.

BLOOM ແມ່ນຄວາມພະຍາຍາມຮ່ວມມືຂອງນັກວິທະຍາສາດຫຼາຍກວ່າ 1.000 ຄົນ.
ມັນເປັນສິ່ງ ສຳ ຄັນທີ່ຮູບແບບການເວົ້າຫຼາຍພາສາທີ່ກວ້າງຂວາງດັ່ງກ່າວແມ່ນມີໃຫ້ທຸກຄົນ.

ສະຖາປັດຕະຍະກໍາ BLOOM

BLOOM ແມ່ນພາສາຕົວແບບທີ່ເປັນສາເຫດ, ຊຶ່ງຫມາຍຄວາມວ່າມັນໄດ້ຮັບການຝຶກອົບຮົມເປັນຜູ້ຄາດຄະເນຂອງ token ຕໍ່ໄປ.
ຍຸດທະສາດທີ່ເບິ່ງຄືວ່າງ່າຍດາຍນີ້ຂອງການຄາດຄະເນ token ຕໍ່ໄປໃນປະໂຫຍກ, ໂດຍອີງໃສ່ຊຸດຂອງ tokens ທີ່ຜ່ານມາ, ໄດ້ຖືກສະແດງໃຫ້ເຫັນເພື່ອເກັບກໍາລະດັບທີ່ແນ່ນອນຂອງພະລັງງານສົມເຫດສົມຜົນສໍາລັບຮູບແບບພາສາຂະຫນາດໃຫຍ່.
ນີ້ອະນຸຍາດໃຫ້ BLOOM ແລະຕົວແບບທີ່ຄ້າຍຄືກັນເພື່ອເຊື່ອມຕໍ່ຫຼາຍແນວຄວາມຄິດໃນປະໂຫຍກແລະສາມາດແກ້ໄຂບັນຫາທີ່ບໍ່ແມ່ນເລື່ອງເລັກນ້ອຍເຊັ່ນ: ເລກຄະນິດສາດ, ການແປພາສາແລະການດໍາເນີນໂຄງການດ້ວຍຄວາມຖືກຕ້ອງຍຸດຕິທໍາ.
BLOOM ໃຊ້ສະຖາປັດຕະຍະກຳ Transformer ປະກອບດ້ວຍຊັ້ນຝັງວັດສະດຸປ້ອນ, 70 ຕັນ Transformer, ແລະຊັ້ນສ້າງແບບຈຳລອງພາສາອອກ, ດັ່ງທີ່ສະແດງໃນຮູບຕໍ່ໄປນີ້.

ບົດຄວາມທີ່ເອົາມາຈາກ Post of Luca Sambucci, ຖ້າທ່ານຕ້ອງການອ່ານNews.AI