ਜਿਵੇਂ ਕਿ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਦੀ ਮਾਤਰਾ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦੀ ਜਾ ਰਹੀ ਹੈ, ਮਾਰਕੀਟਿੰਗ, ਵਿੱਤ, ਸਿਹਤ ਸੰਭਾਲ, ਅਤੇ ਸਮਾਜਿਕ ਵਿਗਿਆਨ ਦੇ ਰੂਪ ਵਿੱਚ ਵਿਭਿੰਨ ਉਦਯੋਗਾਂ ਵਿੱਚ ਸਟੀਕ ਅਤੇ ਕੁਸ਼ਲ ਟੈਕਸਟ ਵਿਸ਼ਲੇਸ਼ਣ ਸਾਧਨਾਂ ਦੀ ਲੋੜ ਤੇਜ਼ੀ ਨਾਲ ਨਾਜ਼ੁਕ ਬਣ ਗਈ ਹੈ।
ਰਵਾਇਤੀ ਤੌਰ 'ਤੇ, ਟੈਕਸਟ ਵਿਸ਼ਲੇਸ਼ਣ ਨਿਯਮ-ਅਧਾਰਿਤ ਤਰੀਕਿਆਂ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਤਕਨੀਕਾਂ ਜਿਵੇਂ ਕਿ SpaCY ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਤਕਨੀਕ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਗਿਆ ਹੈ। ਹਾਲਾਂਕਿ ਇਹ ਵਿਧੀਆਂ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸਾਬਤ ਹੋਈਆਂ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਸੰਪੂਰਨ ਕਰਨ ਲਈ ਕਾਫ਼ੀ ਮਿਹਨਤ ਅਤੇ ਮੁਹਾਰਤ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLM) ਦੇ ਆਗਮਨ ਨਾਲ ਜਿਵੇਂ ਕਿ ਚੈਟਜੀਪੀਟੀ di ਓਪਨਏਆਈ. ਇਸ ਨੇ ਮਨੁੱਖੀ-ਵਰਗੇ ਟੈਕਸਟ ਬਣਾਉਣ ਅਤੇ ਸੰਦਰਭ ਨੂੰ ਸਮਝਣ ਵਿੱਚ ਕਮਾਲ ਦੀਆਂ ਯੋਗਤਾਵਾਂ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ ਹੈ, ਇਸ ਨੂੰ ਟੈਕਸਟ ਵਿਸ਼ਲੇਸ਼ਣ ਕਾਰਜਾਂ ਲਈ ਇੱਕ ਸ਼ਾਨਦਾਰ ਸੰਦ ਬਣਾਉਂਦਾ ਹੈ ਜਿਵੇਂ ਕਿ entity recognition
, sentiment analysis
, ਈ topic modeling
.
ਆਉ ਹੁਣ ਦੇਖੀਏ ਕਿ ਅਸੀਂ ਚੈਟਜੀਪੀਟੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਟੈਕਸਟ ਪਾਰਸਿੰਗ ਕਿਵੇਂ ਕਰ ਸਕਦੇ ਹਾਂ।
ਅਤੀਤ ਵਿੱਚ, ਅਸੀਂ ਹਮੇਸ਼ਾ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਲਈ ਵੱਖ-ਵੱਖ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਜੇਕਰ ਮੈਂ ਕਿਸੇ ਟੈਕਸਟ ਤੋਂ ਗਿਆਨ ਨੂੰ ਕੱਢਣਾ ਚਾਹੁੰਦਾ ਹਾਂ, ਤਾਂ ਮੈਨੂੰ ਇੱਕ ਨਾਮਿਤ ਇਕਾਈ ਮਾਨਤਾ ਮਾਡਲ (NER - Named Entity Recognition
), ਜੇਕਰ ਮੈਨੂੰ ਮੇਰੇ ਟੈਕਸਟ ਨੂੰ ਵੱਖਰੀਆਂ ਕਲਾਸਾਂ ਵਿੱਚ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਮੈਨੂੰ ਇੱਕ ਵਰਗੀਕਰਨ ਮਾਡਲ ਦੀ ਲੋੜ ਪਵੇਗੀ। ਹਰੇਕ ਵੱਖਰੀ ਗਤੀਵਿਧੀ ਲਈ ਮਾਡਲਾਂ ਨੂੰ ਹਰੇਕ ਗਤੀਵਿਧੀ ਲਈ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਸਿਖਲਾਈ ਦੇਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਾਂ ਤਾਂ ਟਰਾਂਸਫਰ ਲਰਨਿੰਗ ਦੁਆਰਾ ਜਾਂ ਸਿਖਲਾਈ ਦੁਆਰਾ।
ਦੀ ਜਾਣ-ਪਛਾਣ ਦੇ ਨਾਲ Large Language Models (LLM), ਇੱਕ LLM ਮਾਡਲ ਸਿਖਲਾਈ ਦੇ ਨਾਲ ਜਾਂ ਬਿਨਾਂ ਕਈ NLP ਕਾਰਜ ਕਰਨ ਦੇ ਯੋਗ ਹੋਵੇਗਾ। ਕੋਈ ਵੀ ਗਤੀਵਿਧੀ ਹੋ ਸਕਦੀ ਹੈ defiਸਿਰਫ਼ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਬਦਲ ਕੇ ਨਿਸ਼ਚਿਤ ਕੀਤਾ ਗਿਆ ਹੈ।
ਹੁਣ ਆਓ ਦੇਖੀਏ ਕਿ ਰਵਾਇਤੀ NLP ਟਾਸਕ ਨੂੰ ਕਿਵੇਂ ਕਰਨਾ ਹੈ ਚੈਟਜੀਪੀਟੀ ਅਤੇ ਇਸਦੀ ਤੁਲਨਾ ਰਵਾਇਤੀ ਤਰੀਕੇ ਨਾਲ ਕਰੋ। NLP ਕਾਰਜ ਜੋ ਦੁਆਰਾ ਕੀਤੇ ਜਾਣਗੇ ਚੈਟਜੀਪੀਟੀ ਇਸ ਲੇਖ ਵਿੱਚ ਹਨ:
Sentiment analysis
ਨਾਮਿਤ ਹਸਤੀ ਮਾਨਤਾ (NER) ਟੈਕਸਟ ਡੇਟਾ ਦੇ ਵੱਖ-ਵੱਖ ਬਲਾਕਾਂ ਵਿੱਚ ਆਪਣੇ ਆਪ ਹੀ ਸ਼ਬਦਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਦੇ ਕੰਮ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਇਹ ਮੁੱਖ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਇਕਾਈ ਸ਼੍ਰੇਣੀਆਂ ਜਿਵੇਂ ਕਿ ਕਲੀਨਿਕਲ ਨੋਟਸ ਤੋਂ ਦਵਾਈਆਂ ਦੇ ਨਾਮ, ਬੀਮਾ ਦਾਅਵਿਆਂ ਤੋਂ ਦੁਰਘਟਨਾ-ਸਬੰਧਤ ਸ਼ਰਤਾਂ, ਅਤੇ ਰਿਕਾਰਡਾਂ ਤੋਂ ਹੋਰ ਡੋਮੇਨ-ਵਿਸ਼ੇਸ਼ ਸ਼ਰਤਾਂ ਨੂੰ ਕੱਢਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।
ਨੋਟ ਕਰੋ ਕਿ ਇਹ ਗਤੀਵਿਧੀ ਮੈਡੀਕਲ ਡੋਮੇਨ ਲਈ ਵਿਸ਼ੇਸ਼ ਹੈ। ਇਹ ਸਾਨੂੰ ਟੈਕਸਟ ਵਿੱਚ ਖਾਸ ਕਲਾਸ ਅਤੇ ਸ਼ਬਦ ਨੂੰ ਜਾਣਨ ਲਈ ਇੱਕ ਸਿੰਗਲ ਮਾਡਲ ਲਈ ਡੇਟਾ ਦੀਆਂ 10.000 ਤੋਂ ਵੱਧ ਕਤਾਰਾਂ ਨੂੰ ਐਨੋਟੇਟ ਕਰਨ ਅਤੇ ਸਿਖਲਾਈ ਦੇਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਸੀ। ਚੈਟਜੀਪੀਟੀ ਬਿਨਾਂ ਕਿਸੇ ਪ੍ਰੀ-ਟ੍ਰੇਂਡ ਟੈਕਸਟ ਜਾਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੇ ਸ਼ਬਦ ਦੀ ਸਹੀ ਪਛਾਣ ਕਰ ਸਕਦਾ ਹੈ, ਜੋ ਕਿ ਇੱਕ ਮੁਕਾਬਲਤਨ ਵਧੀਆ ਨਤੀਜਾ ਹੈ!
ਟੈਕਸਟ ਵਰਗੀਕਰਣ ਵਿਸ਼ਾਲ ਡੇਟਾ ਤੋਂ ਟੈਕਸਟ ਨੂੰ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਲੱਭਣ ਅਤੇ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰਨ ਦੀ ਆਟੋਮੈਟਿਕ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਇਹ ਟੈਕਸਟ ਡੇਟਾ ਪ੍ਰਾਪਤੀ ਅਤੇ ਐਕਸਟਰੈਕਸ਼ਨ ਵਿੱਚ ਇੱਕ ਜ਼ਰੂਰੀ ਭੂਮਿਕਾ ਅਦਾ ਕਰਦਾ ਹੈ। ਟੈਕਸਟ ਵਰਗੀਕਰਣ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀਆਂ ਉਦਾਹਰਨਾਂ ਵਿੱਚ ਕਲੀਨਿਕਲ ਅਲਰਟ ਜਾਂ ਜੋਖਮ ਕਾਰਕ ਵਰਗੀਕਰਨ, ਆਟੋਮੈਟਿਕ ਡਾਇਗਨੌਸਟਿਕ ਵਰਗੀਕਰਨ, ਅਤੇ ਸਪੈਮ ਖੋਜ ਸ਼ਾਮਲ ਹਨ।
Sentiment analysis
Sentiment analysis
ਟੈਕਸਟ ਦੇ ਇੱਕ ਟੁਕੜੇ ਵਿੱਚ ਪ੍ਰਗਟ ਕੀਤੀ ਭਾਵਨਾ ਜਾਂ ਭਾਵਨਾ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ। ਇਸਦਾ ਉਦੇਸ਼ ਟੈਕਸਟ ਨੂੰ ਪੂਰਵ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰਨਾ ਹੈdefiਨਾਈਟ, ਜਿਵੇਂ ਕਿ ਸਕਾਰਾਤਮਕ, ਨਕਾਰਾਤਮਕ, ਜਾਂ ਨਿਰਪੱਖ, ਲੇਖਕ ਦੁਆਰਾ ਦੱਸੀ ਗਈ ਅੰਤਰੀਵ ਭਾਵਨਾ ਦੇ ਅਧਾਰ ਤੇ।
ਭਾਵਨਾ ਵਿਸ਼ਲੇਸ਼ਣ ਦੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:
ਆਟੋਮੈਟਿਕ ਸੰਖੇਪ ਉਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ ਜਿਸ ਦੁਆਰਾ ਇੱਕ ਜਾਂ ਇੱਕ ਤੋਂ ਵੱਧ ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ ਮੁੱਖ ਵਿਸ਼ਿਆਂ ਦੀ ਪਛਾਣ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਇੱਕ ਸੰਖੇਪ ਅਤੇ ਸਹੀ ਢੰਗ ਨਾਲ ਪੇਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ ਉਪਭੋਗਤਾ ਨੂੰ ਥੋੜ੍ਹੇ ਸਮੇਂ ਵਿੱਚ ਡੇਟਾ ਦੇ ਵੱਡੇ ਹਿੱਸੇ ਨੂੰ ਵੇਖਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ. ਉਦਾਹਰਨ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਇੱਕ ਸਾਰਾਂਸ਼ ਪ੍ਰਣਾਲੀ ਸ਼ਾਮਲ ਹੁੰਦੀ ਹੈ ਜੋ ਖਬਰਾਂ ਦੇ ਲੇਖਾਂ ਤੋਂ ਐਬਸਟਰੈਕਟਾਂ ਦੀ ਸਵੈਚਲਿਤ ਉਤਪੱਤੀ ਅਤੇ ਖੋਜ ਪੇਪਰ ਐਬਸਟਰੈਕਟਸ ਤੋਂ ਵਾਕਾਂ ਨੂੰ ਕੱਢ ਕੇ ਜਾਣਕਾਰੀ ਦੇ ਸੰਖੇਪ ਬਣਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ।
ChatGPT ਇੱਕ ਸ਼ਾਨਦਾਰ ਸੰਖੇਪ ਟੂਲ ਹੈ, ਖਾਸ ਕਰਕੇ ਲੰਬੇ ਲੇਖਾਂ ਅਤੇ ਗੁੰਝਲਦਾਰ ਸਮੀਖਿਆਵਾਂ ਲਈ। ਚੈਟਜੀਪੀਟੀ ਵਿੱਚ ਸਮੀਖਿਆਵਾਂ ਨੂੰ ਪੇਸਟ ਕਰਕੇ, ਅਸੀਂ ਇੱਕ ਨਜ਼ਰ ਵਿੱਚ ਉਤਪਾਦ ਸਮੀਖਿਆ ਦੇ ਸੰਖੇਪ ਨੂੰ ਆਸਾਨੀ ਨਾਲ ਜਾਣ ਸਕਦੇ ਹਾਂ।
ਕਿਉਂਕਿ ਇਸ ਲੇਖ ਦਾ ਉਦੇਸ਼ ਟੈਕਸਟ ਵਿਸ਼ਲੇਸ਼ਣ ਕਾਰਜਾਂ ਨੂੰ ਕਰਨ ਲਈ ਐਲਐਲਐਮ ਦੀ ਯੋਗਤਾ ਦੀ ਪੜਚੋਲ ਕਰਨਾ ਹੈ, ਇਸ ਲਈ ਉਹਨਾਂ ਦੀਆਂ ਸੀਮਾਵਾਂ ਨੂੰ ਪਛਾਣਨਾ ਵੀ ਜ਼ਰੂਰੀ ਹੈ। ਐਲਐਲਐਮ ਦੀਆਂ ਕੁਝ ਮੁੱਖ ਸੀਮਾਵਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:
Ercole Palmeri
ਜਲ ਸੈਨਾ ਖੇਤਰ ਇੱਕ ਸੱਚੀ ਗਲੋਬਲ ਆਰਥਿਕ ਸ਼ਕਤੀ ਹੈ, ਜਿਸ ਨੇ 150 ਬਿਲੀਅਨ ਮਾਰਕੀਟ ਵੱਲ ਨੈਵੀਗੇਟ ਕੀਤਾ ਹੈ...
ਪਿਛਲੇ ਸੋਮਵਾਰ, ਫਾਈਨੈਂਸ਼ੀਅਲ ਟਾਈਮਜ਼ ਨੇ ਓਪਨਏਆਈ ਨਾਲ ਇੱਕ ਸੌਦੇ ਦਾ ਐਲਾਨ ਕੀਤਾ। FT ਆਪਣੀ ਵਿਸ਼ਵ ਪੱਧਰੀ ਪੱਤਰਕਾਰੀ ਨੂੰ ਲਾਇਸੰਸ ਦਿੰਦਾ ਹੈ...
ਲੱਖਾਂ ਲੋਕ ਸਟ੍ਰੀਮਿੰਗ ਸੇਵਾਵਾਂ ਲਈ ਭੁਗਤਾਨ ਕਰਦੇ ਹਨ, ਮਹੀਨਾਵਾਰ ਗਾਹਕੀ ਫੀਸ ਅਦਾ ਕਰਦੇ ਹਨ। ਇਹ ਆਮ ਰਾਏ ਹੈ ਕਿ ਤੁਸੀਂ…
Veeam ਦੁਆਰਾ Coveware ਸਾਈਬਰ ਜ਼ਬਰਦਸਤੀ ਘਟਨਾ ਪ੍ਰਤੀਕਿਰਿਆ ਸੇਵਾਵਾਂ ਪ੍ਰਦਾਨ ਕਰਨਾ ਜਾਰੀ ਰੱਖੇਗਾ। ਕੋਵਵੇਅਰ ਫੋਰੈਂਸਿਕ ਅਤੇ ਉਪਚਾਰ ਸਮਰੱਥਾਵਾਂ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰੇਗਾ...