ਵੱਡੇ ਭਾਸ਼ਾਈ ਮਾਡਲਾਂ ਵਿੱਚ ਉੱਭਰ ਰਹੇ ਹੁਨਰਾਂ ਦਾ ਸੰਖੇਪ ਵਿਸ਼ਲੇਸ਼ਣ

ਪਿਛਲੇ ਦੋ ਦਹਾਕਿਆਂ ਵਿੱਚ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ 'ਤੇ ਜ਼ਿਆਦਾਤਰ ਖੋਜਾਂ ਨੇ ਖਾਸ ਸਿਖਲਾਈ ਡੇਟਾ ਸੈੱਟਾਂ ਦੇ ਨਾਲ ਇੱਕ ਸਿੰਗਲ ਕੰਮ ਕਰਨ ਲਈ, ਸਿਖਲਾਈ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਕੀਤਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਸ਼੍ਰੇਣੀਬੱਧ ਕਰੋ ਕਿ ਕੀ ਇੱਕ ਚਿੱਤਰ ਵਿੱਚ ਇੱਕ ਬਿੱਲੀ ਹੈ, ਇੱਕ ਲੇਖ ਦਾ ਸਾਰ ਦਿਓ, ਅੰਗਰੇਜ਼ੀ ਤੋਂ ਸਵਾਹਿਲੀ ਵਿੱਚ ਅਨੁਵਾਦ ਕਰੋ ...

ਹਾਲ ਹੀ ਦੇ ਸਾਲਾਂ ਵਿੱਚ, ਭਾਸ਼ਾ ਦੇ ਮਾਡਲਾਂ ਦੇ ਆਲੇ ਦੁਆਲੇ ਇੱਕ ਨਵਾਂ ਪੈਰਾਡਾਈਮ ਵਿਕਸਿਤ ਹੋਇਆ ਹੈ: ਨਿਊਰਲ ਨੈਟਵਰਕ ਜੋ ਵਾਕ ਵਿੱਚ ਪਿਛਲੇ ਸ਼ਬਦਾਂ ਨੂੰ ਦਿੱਤੇ ਗਏ ਵਾਕ ਵਿੱਚ ਅਗਲੇ ਸ਼ਬਦਾਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਦੇ ਹਨ।

ਬਿਨਾਂ ਲੇਬਲ ਵਾਲੇ ਟੈਕਸਟ ਦੇ ਇੱਕ ਵੱਡੇ ਭਾਗ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਭਾਸ਼ਾਈ ਮਾਡਲਾਂ ਨੂੰ ਮਨਮਾਨੇ ਕੰਮ ਕਰਨ ਲਈ "ਸੱਦਾ" ਦਿੱਤਾ ਜਾ ਸਕਦਾ ਹੈ ਜਿਵੇਂ ਕਿ ਇੱਕ ਵਾਕ ਦੇ ਬਾਅਦ ਸ਼ਬਦ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨਾ। ਉਦਾਹਰਨ ਲਈ, ਸਵਾਹਿਲੀ ਵਿੱਚ ਇੱਕ ਅੰਗਰੇਜ਼ੀ ਵਾਕ ਦਾ ਅਨੁਵਾਦ ਕਰਨ ਦੇ ਕੰਮ ਨੂੰ ਅਗਲੇ ਸ਼ਬਦ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਦੇ ਰੂਪ ਵਿੱਚ ਦੁਹਰਾਇਆ ਜਾ ਸਕਦਾ ਹੈ: "'ਨਕਲੀ ਬੁੱਧੀ' ਦਾ ਸਵਾਹਿਲੀ ਅਨੁਵਾਦ ਹੈ ..."

ਕਾਰਜ-ਵਿਸ਼ੇਸ਼ ਤੋਂ ਟਾਸਕ-ਜਨਰਲ ਤੱਕ

ਇਹ ਨਵਾਂ ਪੈਰਾਡਾਈਮ ਮਾਡਲਾਂ ਤੋਂ ਇੱਕ ਤਬਦੀਲੀ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਕਾਰਜ-ਵਿਸ਼ੇਸ਼, ਮਾਡਲਾਂ ਵਿੱਚ, ਇੱਕ ਸਿੰਗਲ ਕੰਮ ਕਰਨ ਲਈ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਟਾਸਕ-ਜਨਰਲ, ਜੋ ਵੱਖ-ਵੱਖ ਕਾਰਜ ਕਰ ਸਕਦਾ ਹੈ। ਪਲੱਸ ਮਾਡਲ ਟਾਸਕ-ਜਨਰਲ ਉਹ ਨਵੀਆਂ ਗਤੀਵਿਧੀਆਂ ਵੀ ਕਰ ਸਕਦੇ ਹਨ ਜੋ ਸਿਖਲਾਈ ਡੇਟਾ ਵਿੱਚ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਸ਼ਾਮਲ ਨਹੀਂ ਕੀਤੀਆਂ ਗਈਆਂ ਹਨ। ਉਦਾਹਰਣ ਲਈ, GPT-3 ਨੇ ਦਿਖਾਇਆ ਕਿ ਭਾਸ਼ਾਈ ਮਾਡਲ ਸਫਲਤਾਪੂਰਵਕ ਦੋ-ਅੰਕੀ ਸੰਖਿਆਵਾਂ ਨੂੰ ਗੁਣਾ ਕਰ ਸਕਦੇ ਹਨ, ਭਾਵੇਂ ਉਹਨਾਂ ਨੂੰ ਅਜਿਹਾ ਕਰਨ ਲਈ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਸਿਖਲਾਈ ਨਾ ਦਿੱਤੀ ਗਈ ਹੋਵੇ। ਹਾਲਾਂਕਿ, ਨਵੇਂ ਕਾਰਜਾਂ ਨੂੰ ਕਰਨ ਦੀ ਇਹ ਯੋਗਤਾ ਸਿਰਫ ਮਾਪਦੰਡਾਂ ਦੀ ਇੱਕ ਨਿਸ਼ਚਤ ਸੰਖਿਆ ਵਾਲੇ ਮਾਡਲਾਂ ਨਾਲ ਹੁੰਦੀ ਹੈ ਅਤੇ ਇੱਕ ਕਾਫ਼ੀ ਵੱਡੇ ਡੇਟਾ ਸੈੱਟ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ।

ਇੱਕ ਵਿਵਹਾਰ ਦੇ ਰੂਪ ਵਿੱਚ ਐਮਰਜੈਂਸੀ

ਇਹ ਵਿਚਾਰ ਕਿ ਇੱਕ ਪ੍ਰਣਾਲੀ ਵਿੱਚ ਗਿਣਾਤਮਕ ਤਬਦੀਲੀਆਂ ਨਵੇਂ ਵਿਵਹਾਰ ਨੂੰ ਜਨਮ ਦੇ ਸਕਦੀਆਂ ਹਨ ਸੰਕਟ, ਨੋਬਲ ਪੁਰਸਕਾਰ ਜੇਤੂ ਫਿਲਿਪ ਐਂਡਰਸਨ ਦੇ 1972 ਦੇ ਲੇਖ "ਮੋਰ ਇਜ਼ ਡਿਫਰੈਂਟ" ਦੁਆਰਾ ਪ੍ਰਸਿੱਧ ਇੱਕ ਧਾਰਨਾ। ਬਹੁਤ ਸਾਰੇ ਵਿਸ਼ਿਆਂ ਜਿਵੇਂ ਕਿ ਭੌਤਿਕ ਵਿਗਿਆਨ, ਜੀਵ ਵਿਗਿਆਨ, ਅਰਥ ਸ਼ਾਸਤਰ ਅਤੇ ਕੰਪਿਊਟਰ ਵਿਗਿਆਨ ਵਿੱਚ, ਗੁੰਝਲਦਾਰ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਉਭਰਦੀ ਘਟਨਾ ਦੇਖੀ ਗਈ ਹੈ।

ਵਿੱਚ ਇੱਕ ਤਾਜ਼ਾ ਲੇਖ 'ਤੇ ਪ੍ਰਕਾਸ਼ਤ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਖੋਜ 'ਤੇ ਲੈਣ-ਦੇਣ, ਲੈਬ ਹੈ in ਸਟੈਨਫੋਰਡ ਯੂਨੀਵਰਸਿਟੀ defiਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਵਿੱਚ ਉੱਭਰ ਰਹੇ ਹੁਨਰਾਂ ਨੂੰ ਨਿਸ਼ਚਿਤ ਕਰਦਾ ਹੈ:

ਇੱਕ ਹੁਨਰ ਹੈ ਹੰਗਾਮੀ ਜੇਕਰ ਇਹ ਛੋਟੇ ਮਾਡਲਾਂ ਵਿੱਚ ਮੌਜੂਦ ਨਹੀਂ ਹੈ ਪਰ ਵੱਡੇ ਮਾਡਲਾਂ ਵਿੱਚ ਮੌਜੂਦ ਹੈ।

ਹੁਨਰ ਦੀ ਮੌਜੂਦਗੀ ਨੂੰ ਦਰਸਾਉਣ ਲਈ ਉੱਭਰ ਰਿਹਾ ਹੈ, ਸਾਡੇ ਲੇਖ ਨੇ ਵੱਖ-ਵੱਖ ਮਾਡਲਾਂ ਅਤੇ ਪਹੁੰਚਾਂ ਲਈ ਖੋਜਾਂ ਨੂੰ ਇਕੱਠਾ ਕੀਤਾ ਹੈ ਜੋ GPT-3 ਦੇ ਜਾਰੀ ਹੋਣ ਤੋਂ ਬਾਅਦ ਪਿਛਲੇ ਦੋ ਸਾਲਾਂ ਵਿੱਚ ਸਾਹਮਣੇ ਆਏ ਹਨ। ਪੇਪਰ ਨੇ ਖੋਜ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਿਸ ਨੇ ਪੈਮਾਨੇ ਦੇ ਪ੍ਰਭਾਵ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕੀਤਾ: ਵੱਖ-ਵੱਖ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸਰੋਤਾਂ ਨਾਲ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਵੱਖ-ਵੱਖ ਆਕਾਰਾਂ ਦੇ ਮਾਡਲ। ਬਹੁਤ ਸਾਰੀਆਂ ਗਤੀਵਿਧੀਆਂ ਲਈ, ਮਾਡਲ ਦਾ ਵਿਵਹਾਰ ਪੂਰਵ-ਅਨੁਮਾਨਿਤ ਤੌਰ 'ਤੇ ਪੈਮਾਨੇ ਦੇ ਨਾਲ ਵਧਦਾ ਹੈ ਜਾਂ ਇੱਕ ਖਾਸ ਸਕੇਲ ਥ੍ਰੈਸ਼ਹੋਲਡ 'ਤੇ ਬੇਤਰਤੀਬੇ ਮੁੱਲਾਂ ਤੋਂ ਵੱਧ ਤੱਕ ਬੇਤਰਤੀਬ ਪ੍ਰਦਰਸ਼ਨ ਤੋਂ ਵੱਧਦਾ ਹੈ।

ਹੋਰ ਜਾਣਨ ਲਈ ਲੇਖ ਨੂੰ ਪੜ੍ਹੋ ਭਾਸ਼ਾਈ ਮਾਡਲਾਂ ਵਿੱਚ ਉੱਭਰ ਰਹੇ ਹੁਨਰ

ਜੇਸਨ ਵੇਈ ਗੂਗਲ ਬ੍ਰੇਨ ਵਿੱਚ ਇੱਕ ਖੋਜ ਵਿਗਿਆਨੀ ਹੈ। ਰਿਸ਼ੀ ਬੋਮਾਸਾਨੀ ਸਟੈਨਫੋਰਡ ਦੇ ਕੰਪਿਊਟਰ ਸਾਇੰਸ ਵਿਭਾਗ ਵਿੱਚ ਇੱਕ ਸੋਫੋਮੋਰ ਡਾਕਟਰੇਟ ਵਿਦਿਆਰਥੀ ਹੈ ਜਿਸਨੇ ਇਸ ਨੂੰ ਸ਼ੁਰੂ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕੀਤੀ। ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ 'ਤੇ ਖੋਜ ਲਈ ਸਟੈਨਫੋਰਡ ਸੈਂਟਰ (CRFM). ਉਨ੍ਹਾਂ ਦਾ ਅਧਿਐਨ ਪੜ੍ਹੋ "ਦੀਆਂ ਉਭਰਦੀਆਂ ਯੋਗਤਾਵਾਂ Large Language Models,", ਗੂਗਲ ਰਿਸਰਚ, ਸਟੈਨਫੋਰਡ ਯੂਨੀਵਰਸਿਟੀ, UNC ਚੈਪਲ ਹਿੱਲ, ਅਤੇ ਡੀਪ ਮਾਈਂਡ ਦੇ ਵਿਦਵਾਨਾਂ ਦੇ ਸਹਿਯੋਗ ਨਾਲ ਲਿਖਿਆ ਗਿਆ।

ਖਰੜਾ BlogInnovazione.it