Dalam beberapa bulan terakhir, kecepatan peluncuran model bahasa besar yang inovatif sangatlah mencengangkan. Pada artikel ini, kami akan membahas persamaan dan perbedaan utama antara GPT4 vs ChatGPT, termasuk metode pelatihan, kinerja, kemampuan, dan keterbatasan.
GPT4 dan ChatGPT dibangun di atas model GPT versi lama dengan penyempurnaan arsitektur model, menggunakan metode pelatihan yang lebih canggih, dan dengan jumlah parameter pelatihan yang lebih banyak.
Kedua desain didasarkan pada arsitektur transformator, yang menggunakan pembuat enkode untuk memproses urutan input dan dekoder untuk menghasilkan urutan keluaran. Encoder dan decoder dihubungkan oleh suatu mekanisme, yang memungkinkan decoder untuk lebih memperhatikan urutan input yang paling signifikan.
Laporan teknis GPT4 OpenAI menawarkan sedikit wawasan tentang arsitektur model dan proses pembentukan GPT4, dengan mengutip “competitive landscape and the safety implications of large-scale models
“. Apa yang kami ketahui adalah bahwa GPT4 dan ChatGPT mungkin dilatih dengan cara yang sama, yang sangat berbeda dari metode pelatihan yang digunakan untuk GPT-2 dan GPT-3. Kami tahu lebih banyak tentang metode pelatihan untuk ChatGPT daripada GPT4, jadi kami akan mulai dari sana.
ChatGPT dilatih dengan kumpulan data dialog, termasuk data demo, di mana anotator manusia mendemonstrasikan keluaran yang diharapkan dari asisten chatbot sebagai tanggapan atas permintaan khusus. Data ini digunakan untuk menyetel GPT3.5 dengan pembelajaran terawasi, menghasilkan model kebijakan, yang digunakan untuk menghasilkan beberapa respons saat permintaan diberikan. Anotator manusia kemudian mengklasifikasikan respons mana untuk perintah tertentu yang menghasilkan hasil terbaik, yang digunakan untuk melatih model hadiah. Model penghargaan kemudian digunakan untuk menyempurnakan model kebijakan secara iteratif menggunakan pembelajaran penguatan.
ChatGPT dilatih menggunakan Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF), cara untuk memasukkan umpan balik manusia untuk meningkatkan model bahasa selama pelatihan. Hal ini memungkinkan output model selaras dengan aktivitas yang diminta oleh pengguna, bukan hanya memprediksi kata berikutnya dalam kalimat berdasarkan kumpulan data pelatihan umum, seperti GPT-3.
OpenAI belum membocorkan detail tentang cara melatih GPT4. Laporan teknis mereka tidak termasuk “details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar
“. Apa yang kita ketahui adalah bahwa GPT4 adalah model multimode generatif gaya transformator terlatih. Baik pada data yang tersedia untuk umum maupun pada data pihak ketiga yang dilisensikan dan selanjutnya disesuaikan menggunakan RLHF. Menariknya, OpenAI membagikan detail mengenai teknik RLHF mereka yang diperbarui untuk membuat respons model lebih akurat dan kecil kemungkinannya untuk keluar dari pagar pengaman.
Setelah melatih model kebijakan (seperti dengan ChatGPT), RLHF digunakan dalam pelatihan adversarial, sebuah proses yang melatih model pada contoh berbahaya yang dimaksudkan untuk mengelabui model agar mempertahankannya dari contoh tersebut di masa mendatang. Dalam kasus GPT4, para ahli menilai tanggapan model politik terhadap tuntutan yang kontradiktif. Tanggapan ini kemudian digunakan untuk melatih model penghargaan tambahan yang secara berulang menyempurnakan model kebijakan, menghasilkan model yang cenderung memberikan tanggapan yang berbahaya, mengelak, atau tidak akurat.
Dari segi fungsionalitas, ChatGPT dan GPT4 lebih mirip daripada berbeda. Seperti pendahulunya, GPT-4 juga berinteraksi dengan gaya percakapan yang bertujuan untuk menyelaraskan dengan pengguna. Seperti yang Anda lihat di bawah, jawaban antara kedua model untuk pertanyaan luas sangat mirip.
OpenAI setuju bahwa perbedaan antara model bisa halus dan menyatakan bahwa "perbedaan muncul ketika kompleksitas tugas mencapai ambang batas yang memadai". Mengingat enam bulan pelatihan permusuhan yang dialami model dasar GPT4 dalam fase pasca-pelatihannya, ini mungkin merupakan karakterisasi yang akurat.
Tidak seperti ChatGPT, yang hanya menerima teks, GPT4 menerima permintaan gambar dan teks, mengembalikan respons teks. Sampai tulisan ini dibuat, sayangnya, kemampuan untuk menggunakan masukan gambar belum tersedia untuk umum.
Seperti disebutkan di atas, OpenAI melaporkan peningkatan yang signifikan dalam kinerja keamanan untuk GPT4, dibandingkan dengan GPT-3.5 (dari mana ChatGPT disetel). Namun, saat ini tidak jelas apakah:
disebabkan oleh model GPT4 itu sendiri atau tes tambahan yang bertentangan.
Selain itu, GPT4 mengungguli CPT-3.5 di sebagian besar ujian akademik dan profesional yang dilakukan manusia. Khususnya, skor GPT4 pada persentil ke-90 pada ujian Uniform Bar dibandingkan dengan GPT-3.5, yang mendapat skor pada persentil ke-10. GPT4 juga mengungguli pendahulunya secara signifikan pada benchmark model bahasa tradisional dan model SOTA lainnya (walaupun kadang-kadang tipis).
Baik ChatGPT dan GPT4 memiliki batasan dan risiko yang signifikan. Lembar sistem GPT-4 mencakup wawasan dari eksplorasi mendetail atas risiko yang dilakukan oleh OpenAI.
Ini hanyalah beberapa risiko yang terkait dengan kedua model:
Sementara ChatGPT dan GPT-4 bergumul dengan batasan dan risiko yang sama, OpenAI telah melakukan upaya khusus, termasuk berbagai tes yang bertentangan, untuk memitigasi mereka untuk GPT-4. Meskipun ini menggembirakan, lembar sistem GPT-4 pada akhirnya menunjukkan betapa rentannya ChatGPT (dan mungkin masih). Untuk penjelasan lebih rinci tentang konsekuensi berbahaya yang tidak diinginkan, saya sarankan untuk membaca lembar sistem GPT-4, yang dimulai pada halaman 38 dari Laporan teknis GPT-4 .
Meskipun kami hanya mengetahui sedikit tentang arsitektur model, dan metode pelatihan di balik GPT4, tampaknya ada versi ChatGPT yang disempurnakan. Bahkan, saat ini GPT4 sudah bisa menerima input gambar dan teks, dan hasilnya lebih aman, akurat, dan kreatif. Sayangnya, kami harus mengambil kata OpenAI untuk itu, karena GPT4 hanya tersedia sebagai bagian dari langganan ChatGPT Plus.
Tetap terinformasi tentang kemajuan, risiko, dan keterbatasan model ini sangat penting saat kami menavigasi lanskap model bahasa besar yang menarik namun berkembang pesat ini.
BlogInnovazione.it
Karakter adalah elemen individu dari sebuah teks. Bisa berupa huruf, tanda baca, angka, spasi, dan simbol. Setiap kata…
Istilah Pasar Smart Lock mengacu pada industri dan ekosistem di sekitar produksi, distribusi, dan penggunaan…
Dalam rekayasa perangkat lunak, pola desain merupakan solusi optimal terhadap permasalahan yang biasa terjadi dalam desain perangkat lunak. Saya seperti…
Penandaan industri adalah istilah luas yang mencakup beberapa teknik yang digunakan untuk membuat tanda permanen pada permukaan…