Meta запускае мадэль LLaMA, больш магутны інструмент пошуку, чым GPT-3 OpenAI

Кампанія Meta нядаўна выпусціла новы генератар мовы штучнага інтэлекту пад назвай LLaMA, пацвярджаючы ролю вельмі інавацыйнай кампаніі.

«Сёння мы выпускаем новую перадавую вялікую моўную мадэль штучнага інтэлекту пад назвай LLaMA, распрацаваную, каб дапамагчы даследчыкам прасунуць іх працу», — заявіў генеральны дырэктар Марк Цукерберг у сваім паведамленні ў Facebook.

Чаму LLaMA

Вялікія моўныя мадэлі захапілі свет тэхналогій штурмам. Яны сілкуюць інструменты штучнага інтэлекту, такія як Чат GPT і іншыя гутарковыя мадэлі. Аднак выкарыстанне гэтых інструментаў звязана са значнай рызыкай, праўдападобнымі, але ілжывымі сцвярджэннямі, стварэннем таксічнага змесціва і імітацыяй прадузятасці, заснаванай на навучальных дадзеных штучнага інтэлекту. 

Каб дапамагчы даследчыкам вырашыць гэтыя праблемы, у пятніцу, 25 лютага, Meta  абвясціла аб вызваленні новай вялікай моўнай мадэлі наз ЛАМА (Large Language Model Мета AI) . 

Што такое LLaMA?

LLaMA - гэта не а Chatbot, але гэта інструмент пошуку, які, паводле Meta ai, вырашыць праблемы, звязаныя з моўнымі мадэлямі AI. «Меншыя, больш эфектыўныя мадэлі, такія як LLaMA, дазваляюць іншым удзельнікам даследчай супольнасці, якія не маюць доступу да вялікай колькасці інфраструктуры, вывучаць гэтыя мадэлі, яшчэ больш дэмакратызуючы доступ у гэтай важнай і хутка развіваецца вобласці», — сказаў Мета ў сваім блогу. афіцыйная .

LLaMA - гэта набор моўных мадэляў з параметрамі ад 7B да 65B. Кампанія заявіла, што навучае свае мадэлі на трыльёнах токенаў, заяўляючы, што можа навучаць перадавыя мадэлі з выкарыстаннем агульнадаступных набораў даных і не спадзявацца на прапрыетарныя, недаступныя наборы даных.

LLaMA адрозніваецца

Па словах Meta, навучанне мадэлям, такое як LLaMA, патрабуе вельмі мала вылічальнай магутнасці для тэставання, праверкі і вывучэння новых варыянтаў выкарыстання. Базавыя моўныя мадэлі навучаюцца на вялікіх блоках непазначаных даных, што робіць іх ідэальнымі для адаптацыі да розных задач. 

У сваім даследчым артыкуле Мета адзначыў, што LLaMA-13B перасягнуў GPT-3 OpenAI (175B) па большасці тэстаў, а LLaMA-65B канкурыруе з лепшымі мадэлямі, Chinchilla70B ад DeepMind e PaLM-540B ад Google. 

LLaMA зараз не выкарыстоўваецца ні ў адным з прадуктаў Meta ai, аднак кампанія плануе зрабіць яго даступным для даследчыкаў. Кампанія ўжо выпусціла LLM OPT-175B, але LLaMA з'яўляецца яе самай перадавой сістэмай. 

Кампанія робіць яго даступным па некамерцыйнай ліцэнзіі, арыентаванай на даследаванні. Ён будзе даступны акадэмічным даследчыкам; тыя, хто звязаны з урадам, грамадзянскай супольнасцю і акадэмічнымі арганізацыямі; і прамысловыя даследчыя лабараторыі па ўсім свеце.

Ercole Palmeri