Bagaimanakah ChatGPT berfungsi?

ChatGPT ialah salah satu alat berkuasa AI baharu yang paling berkilat, tetapi algoritma yang berfungsi di latar belakang sebenarnya telah menjanakan pelbagai apl dan perkhidmatan sejak 2020. Jadi untuk memahami cara ChatGPT berfungsi, kita perlu bermula dengan bercakap tentang bahasa asas enjin yang menggerakkannya.

GPT dalam ChatGPT kebanyakannya adalah GPT-3, atau Generative Pre-trained Transformer 3, walaupun GPT-4 kini tersedia untuk pelanggan ChatGPT Plus—dan mungkin akan menjadi lebih meluas tidak lama lagi. Model GPT telah dibangunkan oleh OpenAI (syarikat di sebalik ChatGPT dan penjana imej DALL·E 2), tetapi ia menguasakan segala-galanya daripada ciri AI Bing kepada alatan menulis seperti Jasper dan Copy.ai. Malah, kebanyakan penjana teks AI yang tersedia pada masa ini menggunakan GPT-3, dan mungkin akan menawarkan GPT-4 sebagai langkah seterusnya.

ChatGPT membawa GPT-3 menjadi tumpuan kerana ia menjadikan proses berinteraksi dengan penjana teks AI mudah dan—paling penting—percuma kepada semua orang. Selain itu, ia adalah chatbot dan orang telah menyukai chatbot yang bagus sejak SmarterChild.

Walaupun GPT-3 dan GPT-4 ialah Model Bahasa Besar (LLM) yang paling popular sekarang, dalam beberapa tahun akan datang, kemungkinan akan ada lebih banyak persaingan. Google, sebagai contoh, mempunyai Bard — AI chatbot-nya—yang dikuasakan oleh enjin bahasanya sendiri Model Bahasa Laluan (PaLM 2). Tetapi buat masa ini, tawaran OpenAI adalah standard industri de facto. Ia hanyalah alat yang paling mudah untuk digunakan oleh orang ramai.

Jadi jawapan kepada "bagaimana ChatGPT berfungsi?" pada asasnya ialah: GPT-3 dan GPT-4. Tetapi mari kita gali lebih dalam.

Apakah itu ChatGPT?

ChatGPT ialah aplikasi yang dibina oleh OpenAI. Menggunakan model bahasa GPT, ia boleh menjawab soalan anda, menulis salinan, mendraf e-mel, mengadakan perbualan, menerangkan kod dalam bahasa pengaturcaraan yang berbeza, menterjemah bahasa semula jadi kepada kod dan banyak lagi—atau sekurang-kurangnya cuba—semua berdasarkan bahasa semula jadi menggesa anda menyuapnya. Ia adalah chatbot, tetapi yang sangat bagus.

Walaupun menarik untuk bermain-main dengan jika, katakan, anda ingin menulis soneta Shakespeare tentang haiwan kesayangan anda atau mendapatkan beberapa idea untuk baris subjek untuk beberapa e-mel pemasaran, ia juga bagus untuk OpenAI. Ini adalah satu cara untuk mendapatkan banyak data daripada pengguna sebenar dan berfungsi sebagai demo mewah untuk kuasa GPT, yang sebaliknya boleh berasa sedikit kabur melainkan anda mendalami pembelajaran mesin.

Kini, ChatGPT menawarkan dua model GPT. Lalai, GPT-3.5, kurang berkuasa tetapi tersedia untuk semua orang secara percuma. GPT-4 yang lebih maju adalah terhad kepada pelanggan ChatGPT Plus, malah mereka hanya mendapat bilangan soalan yang terhad setiap hari.

Salah satu ciri besar ChatGPT ialah ia boleh mengingati perbualan anda dengannya. Ini bermakna ia boleh mendapatkan konteks daripada apa sahaja yang anda tanyakan sebelum ini dan kemudian menggunakannya untuk memaklumkan perbualannya dengan anda. Anda juga boleh meminta kerja semula dan pembetulan, dan ia akan merujuk kembali kepada apa sahaja yang anda bincangkan sebelum ini. Ia menjadikan interaksi dengan AI terasa seperti bolak-balik yang tulen.

Jika anda ingin benar-benar merasainya, pergi dan luangkan masa lima minit bermain dengan ChatGPT sekarang (ia percuma!), dan kemudian kembali untuk membaca tentang cara ia berfungsi.

Bagaimanakah ChatGPT berfungsi?

Set data yang besar ini digunakan untuk membentuk rangkaian neural pembelajaran mendalam [ ... ] yang dimodelkan mengikut otak manusia—yang membenarkan ChatGPT mempelajari corak dan perhubungan dalam data teks [ ... ] meramalkan teks yang akan datang seterusnya dalam mana-mana ayat tertentu. .

ChatGPT berfungsi dengan cuba memahami gesaan anda dan kemudian mengeluarkan rentetan perkataan yang diramalkan akan menjawab soalan anda dengan terbaik, berdasarkan data yang dilatih.

Mari kita bercakap tentang latihan itu. Ia adalah satu proses di mana AI yang baru lahir diberi beberapa peraturan asas, dan kemudian ia sama ada dimasukkan ke dalam situasi atau diberi banyak data untuk diusahakan bagi membangunkan algoritmanya sendiri.

GPT-3 telah dilatih mengenai kira-kira 500 bilion "token", yang membolehkan model bahasanya memberikan makna dengan lebih mudah dan meramalkan teks susulan yang munasabah. Banyak perkataan dipetakan kepada token tunggal, walaupun perkataan yang lebih panjang atau lebih kompleks sering dipecahkan kepada berbilang token. Secara purata, token adalah kira-kira empat aksara panjang.OpenAI telah mendiamkan diri tentang kerja dalaman GPT-4, tetapi kita boleh mengandaikan ia telah dilatih pada set data yang sama kerana ia lebih berkuasa.

Semua token datang daripada korpus besar data yang ditulis oleh manusia. Itu termasuk buku, artikel dan dokumen lain merentas semua topik, gaya dan genre yang berbeza—dan jumlah kandungan yang sukar dipercayai yang dikikis daripada internet terbuka. Pada asasnya, ia dibenarkan untuk merebak melalui jumlah keseluruhan pengetahuan manusia.

Set data yang besar ini digunakan untuk membentuk rangkaian neural pembelajaran mendalam—algoritma berwajaran yang kompleks, berlapis-lapis, dimodelkan mengikut otak manusia—yang membenarkan ChatGPT mempelajari corak dan hubungan dalam data teks dan memanfaatkan keupayaan untuk mencipta seperti manusia. respons dengan meramalkan teks yang akan datang seterusnya dalam mana-mana ayat tertentu.

Walaupun sebenarnya, itu secara besar-besaran kurang menjual sesuatu. ChatGPT tidak berfungsi pada peringkat ayat—sebaliknya, ia menjana teks perkataan, ayat dan juga perenggan atau rangkap yang boleh diikuti. Ia bukan teks ramalan pada telefon anda yang terus terang meneka perkataan seterusnya; ia cuba mencipta respons yang koheren sepenuhnya kepada sebarang gesaan.

Untuk memperhalusi lagi keupayaan ChatGPT untuk bertindak balas kepada pelbagai gesaan berbeza, ia telah dioptimumkan untuk dialog dengan teknik yang dipanggil pembelajaran pengukuhan dengan maklum balas manusia (RLHF). Pada asasnya, manusia mencipta model ganjaran dengan data perbandingan (di mana dua atau lebih respons model disenaraikan oleh jurulatih AI), supaya AI boleh mengetahui tindak balas yang terbaik.

Kembali ke rangkaian neural yang terbentuk. Berdasarkan semua latihan itu, rangkaian saraf GPT-3 mempunyai 175 bilion parameter atau pembolehubah yang membolehkannya mengambil input—gesaan anda—dan kemudian, berdasarkan nilai dan pemberat yang diberikannya kepada parameter yang berbeza (dan sejumlah kecil rawak ), mengeluarkan apa sahaja yang difikirkannya paling sesuai dengan permintaan anda. OpenAI tidak menyatakan berapa banyak parameter yang ada pada GPT-4, tetapi anda boleh meneka bahawa ia adalah lebih daripada 175 bilion dan kurang daripada 100 trilion parameter yang pernah dikhabarkan. Tidak kira nombor yang tepat, lebih banyak parameter tidak bermakna lebih baik secara automatik. Sebahagian daripada peningkatan kuasa GPT-4 mungkin datang daripada mempunyai lebih banyak parameter daripada GPT-3, tetapi banyak yang mungkin bergantung kepada penambahbaikan dalam cara ia dilatih.

Akhirnya, cara paling mudah untuk membayangkannya adalah seperti salah satu permainan "selesaikan ayat" yang anda mainkan semasa kecil.

Akhirnya, cara paling mudah untuk membayangkannya adalah seperti salah satu permainan "selesaikan ayat" yang anda mainkan semasa kecil. Sebagai contoh, apabila saya memberi ChatGPT menggunakan GPT-3 gesaan, "Zapier ialah…" ia menjawab dengan mengatakan:

"Zapier ialah alat automasi berasaskan web yang membolehkan pengguna menyambungkan aplikasi web yang berbeza bersama-sama untuk mengautomasikan tugasan berulang dan menambah baik aliran kerja."

Itulah jenis ayat yang anda boleh temui dalam beratus-ratus artikel yang menerangkan perkara yang Zapier lakukan, jadi masuk akal bahawa ia adalah jenis perkara yang diludahkan di sini. Tetapi apabila editor saya memberikan gesaan yang sama, ia berkata:

"Zapier ialah alat automasi berasaskan web yang membolehkan pengguna menyambungkan aplikasi web yang berbeza dan mengautomasikan aliran kerja antara mereka."

Itu agak serupa, tetapi ia bukan tindak balas yang sama. Kerawak itu (yang anda boleh kawal dalam beberapa apl GPT-3 dengan tetapan yang dipanggil "suhu") memastikan bahawa ChatGPT bukan hanya membalas setiap respons tunggal dengan jumlah jawapan saham. Ia menjalankan setiap gesaan melalui seluruh rangkaian saraf setiap kali, dan melancarkan beberapa dadu ke sana sini untuk memastikan perkara itu segar. Ia tidak mungkin mula mendakwa bahawa Zapier adalah warna dari Marikh, tetapi ia akan mencampurkan perkataan berikut berdasarkan kemungkinan relatifnya.

(Untuk nilainya, apabila berjalan pada GPT-4, ChatGPT berkata: " Zapier ialah alat automasi berasaskan web yang membolehkan pengguna menyepadukan dan mengautomasikan tugas antara pelbagai aplikasi dan perkhidmatan dalam talian." Sama juga!)

Meludahkan kata-kata, bukan ilmu

Pembuat ChatGPT adalah orang pertama yang mengatakan bahawa ia boleh menghasilkan maklumat yang salah (dan mungkin berbahaya), walaupun mereka berusaha keras untuk membetulkannya.

Berikut adalah contoh yang jinak. Apabila saya meminta ChatGPT menggunakan GPT-3 dan GPT-4 untuk membalas "Harry Guinness ialah…" GPT-3 mula-mula menjawab dengan bertanya Harry Guinness yang mana. Soalan yang bagus—kami berdua! Jadi saya berkata, "Harry Guinness penulis" (itu saya). GPT-4 terus meneka siapa saya, walaupun kedua-dua respons itu menarik:

GPT-3: Harry Guinness ialah seorang penulis bebas dan wartawan yang berpangkalan di Ireland. Dia telah menulis untuk pelbagai penerbitan, termasuk The New York Times, The Guardian, The Huffington Post, dan Popular Mechanics. Beliau merangkumi topik dari teknologi dan fotografi kepada perjalanan dan budaya.

GPT-4: Harry Guinness ialah seorang penulis, jurugambar dan pakar teknologi Ireland. Dia telah menulis untuk pelbagai penerbitan, termasuk How-To Geek, Lifehacker, dan Tuts+. Kerjanya tertumpu terutamanya pada teknologi, tutorial dan petua, serta fotografi dan penyuntingan imej. Guinness telah membina reputasi untuk mencipta panduan terperinci yang membantu pembaca memahami subjek yang kompleks atau menyelesaikan masalah dengan cara yang mudah.

Baris pertama dan terakhir GPT-3 ditarik hampir secara verbatim dari pelbagai laman web dan bios pengarang saya di seluruh web (walaupun saya biasanya menyenaraikan diri saya sebagai penulis dan jurugambar bebas, bukan wartawan). Tetapi senarai penerbitan pada dasarnya dibuat. Saya telah menulis untuk The New York Times , tetapi bukan untuk The Guardian , The Huffington Post , atau Popular Mechanics (saya kerap menulis untuk Sains Popular , jadi mungkin dari mana asalnya).

GPT-4 memperbetulkan bahagian jurugambar dan sebenarnya menyenaraikan beberapa penerbitan yang saya tulis, yang mengagumkan, walaupun ia bukan penerbitan yang paling saya banggakan. Ini adalah contoh yang bagus tentang bagaimana OpenAI telah dapat meningkatkan ketepatan GPT-4 berbanding GPT-3, walaupun ia mungkin tidak selalu menawarkan jawapan yang paling betul.

Tetapi mari kita kembali kepada GPT-3 kerana ralatnya memberikan contoh menarik tentang perkara yang berlaku di sebalik tabir dalam ChatGPT. Ia sebenarnya tidak tahu apa-apa tentang saya. Ia bukan menyalin/menampal dari internet dan mempercayai sumber maklumat. Sebaliknya, ia hanya meramalkan rentetan perkataan yang akan datang seterusnya berdasarkan berbilion mata data yang dimilikinya.

Contohnya: The New York Times dikumpulkan jauh lebih kerap dengan The Guardian dan The Huffington Post berbanding dengan tempat yang saya tulis, seperti Wired , Outside , The Irish Times dan, sudah tentu, Zapier. Oleh itu, apabila ia perlu memikirkan apa yang perlu diikuti dari The New York Times , ia tidak menarik daripada maklumat yang diterbitkan tentang saya; ia menarik senarai penerbitan besar itu daripada semua data latihan yang dimilikinya. Ia sangat bijak dan kelihatan munasabah, tetapi ia tidak benar.

GPT-4 melakukan kerja yang lebih baik dan memakukan penerbitan, tetapi selebihnya apa yang dikatakannya benar-benar terasa seperti ayat susulan yang munasabah. Saya tidak fikir ia mempunyai apa-apa penghargaan yang besar untuk reputasi saya: ia hanya mengatakan jenis perkara yang bio katakan. Ia jauh lebih baik untuk menyembunyikan cara ia berfungsi daripada GPT-3, walaupun ia sebenarnya menggunakan teknik yang sama.

Namun begitu, sangat mengagumkan betapa GPT telah pun bertambah baik. Buat masa ini, GPT-4 terkunci di belakang langganan premium, jadi kebanyakan kandungan ChatGPT yang anda lihat akan bergantung pada GPT-3, tetapi itu mungkin berubah pada masa yang akan datang. Siapa tahu apa yang akan dibawa oleh GPT-5.

Apakah itu API ChatGPT?

OpenAI tidak mempunyai sikap adil-kita dengan teknologinya. Syarikat itu mempunyai platform API yang membolehkan pembangun menyepadukan kuasa ChatGPT ke dalam aplikasi dan perkhidmatan mereka sendiri (tentu saja untuk harga).

Zapier menggunakan API ChatGPT untuk menguasakan penyepaduan ChatGPTnya sendiri, yang membolehkan anda menyambungkan ChatGPT kepada beribu-ribu apl lain dan menambahkan AI pada aliran kerja kritikal perniagaan anda. Berikut ialah beberapa contoh untuk membantu anda bermula, tetapi anda boleh mencetuskan ChatGPT pada asasnya daripada mana-mana apl.

Anda juga boleh menggunakan model OpenAI yang lain—seperti DALL·E dan Whisper—dengan penyepaduan OpenAI Zapier. Automatikkan aliran kerja yang melibatkan penjanaan imej dan transkripsi audio, terus daripada apl yang anda sudah gunakan.

Bacaan berkaitan: Bagaimana anda boleh (dan apabila anda tidak sepatutnya) menggunakan ChatGPT untuk menulis salinan pemasaran