Құрылымы жоқ деректер көлемі экспоненциалды түрде өсуде, дәл және тиімді мәтіндік талдау құралдарына қажеттілік маркетинг, қаржы, денсаулық сақтау және әлеуметтік ғылымдар сияқты әртүрлі салаларда маңызды бола бастады.
Дәстүрлі түрде мәтінді талдау SpaCY және трансформатор техникасы сияқты ережеге негізделген әдістер мен машиналық оқыту әдістері арқылы орындалды. Бұл әдістердің тиімділігі дәлелденгенімен, оларды жетілдіру үшін айтарлықтай күш пен тәжірибе қажет.
сияқты үлкен тілдік модельдердің (LLM) пайда болуымен GPT чат di OpenAI. Ол адамға ұқсас мәтін құруда және контекстті түсінуде керемет мүмкіндіктерді көрсетті, бұл оны мәтінді талдау тапсырмалары үшін перспективалы құрал етеді. entity recognition
, sentiment analysis
, e topic modeling
.
Енді ChatGPT көмегімен мәтінді талдауды қалай орындауға болатынын көрейік.
Бұрын біз әрқашан машиналық оқытудағы әртүрлі тапсырмалар үшін әртүрлі үлгілерді қолдандық. Мысалы, егер мен мәтіннен білімді алғым келсе, аталған нысанды тану моделін (NER –) пайдалануым керек. Named Entity Recognition
), мәтінімді бөлек сыныптарға жіктеу керек болса, маған жіктеу үлгісі қажет болады. Әр түрлі әрекет үлгілерді трансферттік оқыту немесе оқыту арқылы әр әрекет үшін әртүрлі оқытуды талап етті.
енгізуімен Large Language Models (LLM), LLM үлгісі бірнеше NLP тапсырмаларын оқытумен немесе онсыз орындай алады. Кез келген әрекет болуы мүмкін defiНұсқаулардағы нұсқауларды өзгерту арқылы ғана шешілді.
Енді дәстүрлі NLP тапсырмасын қалай орындау керектігін көрейік GPT чат және оны дәстүрлі әдіспен салыстырыңыз. Орындайтын NLP тапсырмалары GPT чат осы мақалада:
Sentiment analysis
Атаулы нысанды тану (NER) мәтіндік деректердің әртүрлі блоктарындағы терминдерді автоматты түрде анықтау тапсырмасын білдіреді. Ол негізінен клиникалық жазбалардан дәрі атаулары, сақтандыру шағымдарынан жазатайым оқиғаларға қатысты терминдер және жазбалардан доменге қатысты басқа терминдер сияқты маңызды субъект санаттарын алу үшін пайдаланылады.
Бұл әрекет медициналық доменге тән екенін ескеріңіз. Ол бізге мәтіндегі белгілі бір класс пен терминді білу үшін бір модель үшін 10.000 XNUMX-нан астам деректер жолын аннотациялауды және үйретуді талап ететін. ChatGPT терминді алдын ала дайындалған мәтінсіз немесе дәл баптаусыз дұрыс анықтай алады, бұл салыстырмалы түрде жақсы нәтиже!
Мәтіндік классификациялар үлкен деректерден мәтінді санаттарға автоматты түрде табу және жіктеу процесін білдіреді, ол мәтіндік деректерді іздеу мен шығаруда маңызды рөл атқарады. Мәтінді жіктеу қолданбаларының мысалдары клиникалық ескертулерді немесе қауіп факторын санаттауды, автоматты диагностикалық жіктеуді және спамды анықтауды қамтиды.
Sentiment analysis
Sentiment analysis
мәтін бөлігінде көрсетілген сезімді немесе эмоцияны анықтауды қамтиды. Ол мәтінді алдын ала санаттарға бөлуге бағытталғанdefiавтор жеткізген негізгі ойға негізделген оң, теріс немесе бейтарап.
Сезімдерді талдаудың қолданбаларына мыналар жатады:
Автоматты қорытындылар бір немесе бірнеше құжаттардың негізгі тақырыптарын анықтап, қысқаша және нақты түрде көрсету процесін білдіреді. Бұл пайдаланушыға қысқа уақыт ішінде деректердің үлкен бөліктерін қарауға мүмкіндік береді. Мысал қолданбаларға жаңалықтар мақалаларынан тезистерді автоматты түрде жасауға және зерттеу жұмысының тезистерінен сөйлемдер алу арқылы ақпаратты қорытындылауға мүмкіндік беретін жиынтық жүйе кіреді.
ChatGPT - бұл әсіресе ұзақ мақалалар мен күрделі шолулар үшін тамаша жиынтық құрал. ChatGPT-те шолуларды қою арқылы біз өнімді шолу қорытындысын бір қарағанда оңай біле аламыз.
Бұл мақаланың мақсаты LLM-дің мәтінді талдау тапсырмаларын орындау қабілетін зерттеу болғандықтан, олардың шектеулерін де мойындау өте маңызды. LLM-нің кейбір негізгі шектеулеріне мыналар жатады:
Ercole Palmeri
Өткен дүйсенбіде Financial Times OpenAI-мен келісім туралы жариялады. FT өзінің әлемдік деңгейдегі журналистикасына лицензия береді…
Миллиондаған адамдар ай сайынғы абоненттік төлемді төлей отырып, ағынды қызметтерге ақы төлейді. Жалпы пікір, сіз…
Veeam ұсынған Coveware кибербопсалау оқиғаларына жауап беру қызметтерін көрсетуді жалғастырады. Coveware криминалистикалық және қалпына келтіру мүмкіндіктерін ұсынады ...
Болжалды техникалық қызмет көрсету зауытты басқаруға инновациялық және белсенді көзқараспен мұнай және газ секторында төңкеріс жасайды.…