مقالات

GPT4 در مقابل ChatGPT: ما روش‌های آموزشی، عملکرد، قابلیت‌ها و محدودیت‌ها را تجزیه و تحلیل می‌کنیم

انتظار می رود مدل زبان مولد جدید کل صنایع از جمله رسانه، آموزش، قانون و فناوری را به طور کامل متحول کند.

در ماه‌های اخیر، سرعت انتشار مدل‌های زبان بزرگ ابتکاری شگفت‌انگیز است. در این مقاله، شباهت ها و تفاوت های اصلی بین GPT4 و ChatGPT از جمله روش های آموزشی، عملکرد، قابلیت ها و محدودیت ها را پوشش خواهیم داد.

نمایه محتوا

GPT4 در مقابل GPT چت: شباهت ها و تفاوت های روش های آموزشی

GPT4 و ChatGPT بر روی نسخه‌های قدیمی‌تر مدل‌های GPT با پیشرفت‌هایی در معماری مدل، استفاده از روش‌های آموزشی پیچیده‌تر و با تعداد پارامترهای آموزشی بالاتر ساخته شده‌اند.

هر دو طرح مبتنی بر معماری ترانسفورماتور هستند که از یک رمزگذار برای پردازش توالی های ورودی و یک رمزگشا برای تولید دنباله های خروجی استفاده می کند. رمزگذار و رمزگشا توسط مکانیزمی به هم متصل می شوند که به رمزگشا اجازه می دهد تا به مهم ترین توالی های ورودی توجه بیشتری داشته باشد.

گزارش فنی GPT4 OpenAI بینش کمی در مورد معماری مدل و فرآیند تشکیل GPT4 ارائه می دهد، با استناد به "competitive landscape and the safety implications of large-scale models". آنچه ما می دانیم این است که GPT4 و ChatGPT احتمالاً به طور مشابه آموزش می بینند، که کاملاً با روش های آموزشی مورد استفاده برای GPT-2 و GPT-3 تفاوت دارد. ما در مورد روش های آموزشی ChatGPT بیشتر از GPT4 می دانیم، بنابراین از آنجا شروع می کنیم.

GPT چت

ChatGPT با مجموعه داده‌های گفتگو، از جمله داده‌های نمایشی، آموزش داده می‌شود، جایی که حاشیه‌نویس‌های انسانی خروجی مورد انتظار یک دستیار چت بات را در پاسخ به درخواست‌های خاص نشان می‌دهند. این داده ها برای تنظیم GPT3.5 با یادگیری نظارت شده، تولید یک مدل خط مشی، که برای ایجاد پاسخ های متعدد در هنگام ارائه درخواست ها استفاده می شود، استفاده می شود. تفسیرگرهای انسانی سپس طبقه بندی می کنند که کدام یک از پاسخ ها برای یک اعلان داده شده بهترین نتایج را به همراه داشته است، که برای آموزش یک مدل پاداش استفاده می شود. سپس از مدل پاداش برای تنظیم مجدد مدل خط مشی با استفاده از یادگیری تقویتی استفاده می شود.

ChatGPT با استفاده از آموزش داده شده است تقویت یادگیری از بازخورد انسانی (RLHF)، راهی برای ترکیب بازخورد انسانی برای بهبود مدل زبان در طول آموزش. این اجازه می دهد تا خروجی مدل با فعالیت درخواستی کاربر هماهنگ شود، به جای اینکه فقط کلمه بعدی را در یک جمله بر اساس مجموعه ای از داده های آموزشی عمومی، مانند GPT-3 پیش بینی کند.

GPT4

OpenAI هنوز جزئیاتی را درباره نحوه آموزش GPT4 فاش نکرده است. گزارش فنی آنها شامل «details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar". آنچه می دانیم این است که GPT4 یک مدل چند حالته مولد به سبک ترانسفورماتور آموزش دیده است. هم بر روی داده‌های در دسترس عموم و هم روی داده‌های شخص ثالث دارای مجوز و متعاقباً با استفاده از RLHF تنظیم شده است.. جالب توجه است که OpenAI جزئیاتی را در مورد تکنیک‌های به‌روزشده RLHF به اشتراک گذاشت تا پاسخ‌های مدل دقیق‌تر شود و احتمال اینکه به بیرون از حفاظ‌های ایمنی منحرف شود کمتر است.

پس از آموزش یک مدل خط مشی (مانند ChatGPT)، RLHF در آموزش خصمانه استفاده می شود، فرآیندی که یک مدل را بر روی نمونه های مخرب آموزش می دهد که قصد دارد مدل را فریب دهد تا از آن در برابر چنین نمونه هایی در آینده دفاع کند. در مورد GPT4، کارشناسان پاسخ‌های مدل سیاسی به خواسته‌های متناقض را ارزیابی می‌کنند. سپس از این پاسخ‌ها برای آموزش مدل‌های پاداش اضافی استفاده می‌شود که به طور مکرر مدل خط‌مشی را اصلاح می‌کنند و در نتیجه مدلی ایجاد می‌شود که احتمال کمتری دارد پاسخ‌های خطرناک، گریزان یا نادرست ارائه دهد.

شباهت ها و تفاوت های GPT4 در مقابل ChatGPT از نظر عملکرد و قابلیت ها

ظرفیت

از نظر عملکرد، ChatGPT و GPT4 بیشتر شبیه به هم هستند تا متفاوت. مانند سلف خود، GPT-4 نیز به سبک مکالمه ای تعامل دارد که هدف آن همسویی با کاربر است. همانطور که در زیر می بینید، پاسخ های بین این دو مدل برای یک سوال گسترده بسیار مشابه است.

OpenAI موافق است که تمایز بین مدل‌ها می‌تواند ظریف باشد و بیان می‌کند که «تفاوت زمانی آشکار می‌شود که پیچیدگی کار به آستانه کافی برسد». با توجه به شش ماه آموزش خصمانه ای که مدل پایه GPT4 در مرحله پس از آموزش گذراند، احتمالاً این یک توصیف دقیق است.

برخلاف ChatGPT که فقط متن را می پذیرد، GPT4 هر دو درخواست تصویر و متن را می پذیرد و پاسخ های متنی را برمی گرداند. تا لحظه نگارش این مقاله، متاسفانه، امکان استفاده از ورودی های تصویر هنوز به صورت عمومی در دسترس نیست.

کارایی

همانطور که در بالا ذکر شد، OpenAI بهبود قابل توجهی در عملکرد امنیتی برای GPT4 در مقایسه با GPT-3.5 (که ChatGPT از آن تنظیم شد) گزارش می‌کند. با این حال، در حال حاضر مشخص نیست که آیا:

کاهش پاسخ به درخواست های محتوای ممنوعه،
کاهش تولید محتویات سمی e
بهبود پاسخ به موضوعات حساس

به دلیل خود مدل GPT4 یا تست های متناقض اضافی است.

علاوه بر این، GPT4 در اکثر آزمون‌های آکادمیک و حرفه‌ای که توسط انسان انجام می‌شود، بهتر از CPT-3.5 عمل می‌کند. نکته قابل توجه، GPT4 در صدک 90 در آزمون وکالت یکنواخت در مقایسه با GPT-3.5 که در صدک 10 نمره می گیرد. GPT4 همچنین در معیارهای مدل زبان سنتی و سایر مدل‌های SOTA (البته گاهی اوقات به میزان اندکی) عملکرد قابل توجهی از سلف خود دارد.

GPT4 در مقابل ChatGPT: تفاوت ها و محدودیت هاi

هر دو ChatGPT و GPT4 دارای محدودیت ها و خطرات قابل توجهی هستند. برگه سیستم GPT-4 شامل بینش هایی از کاوش دقیق آن خطرات انجام شده توسط OpenAI است.

اینها تنها برخی از خطرات مرتبط با هر دو مدل هستند:

توهمات (تمایل به تولید محتوای غیرمعنا یا نادرست واقعی)
محتوای مضر تولید کنید که خط‌مشی‌های OpenAI را نقض می‌کند (مانند سخنان مشوق نفرت، تحریک به خشونت)
تقویت و تداوم کلیشه های افراد حاشیه نشین
ایجاد اطلاعات نادرست واقع بینانه با هدف فریب دادن

در حالی که ChatGPT و GPT-4 با محدودیت‌ها و خطرات مشابهی دست و پنجه نرم می‌کنند، OpenAI تلاش‌های ویژه‌ای، از جمله آزمایش‌های متناقض متعدد، برای کاهش آنها برای GPT-4 انجام داده است. در حالی که این دلگرم کننده است، برگه سیستم GPT-4 در نهایت نشان می دهد که ChatGPT چقدر آسیب پذیر بود (و شاید هنوز هم باشد). برای توضیح دقیق‌تر پیامدهای ناخواسته مضر، توصیه می‌کنم برگه سیستم GPT-4 را بخوانید که در صفحه 38 شروع می‌شود. گزارش فنی GPT-4 .

نتیجه

در حالی که ما اطلاعات کمی در مورد معماری مدل، و روش های آموزشی پشت GPT4 داریم، به نظر می رسد که یک نسخه اصلاح شده از ChatGPT وجود دارد. در واقع، در حال حاضر GPT4 قادر به پذیرش تصاویر و ورودی متن است و نتایج ایمن تر، دقیق تر و خلاقانه تر هستند. متأسفانه، ما باید حرف OpenAI را قبول کنیم، زیرا GPT4 تنها به عنوان بخشی از اشتراک ChatGPT Plus در دسترس است.

زمانی که ما در این چشم انداز هیجان انگیز اما به سرعت در حال تحول مدل های زبانی بزرگ پیمایش می کنیم، اطلاع از پیشرفت، خطرات و محدودیت های این مدل ها ضروری است.

BlogInnovazione.it