ChatGPT mengambil peperiksaan MBA. Begini caranya

Seorang profesor di Wharton, University of Pennsylvania telah memberikan pas gred B teoritikal kepada ChatGPT selepas menandakan jawapan yang dijananya untuk peperiksaan akhir dalam kursus MBA biasa.

Christian Terwiesch, seorang profesor pengurusan operasi di Wharton, berkata ChatGPT melakukan "tugas yang menakjubkan dalam pengurusan operasi asas dan soalan analisis proses."

"Bukan sahaja jawapan yang betul, tetapi penjelasannya sangat baik," tulisnya dalam kertas putih baharu.

Juga: Bagaimana untuk mula menggunakan ChatGPT

Tetapi dia menambah chatbot membuat "kesilapan yang mengejutkan dalam pengiraan yang agak mudah pada tahap Matematik gred 6," dan pada masa ini ia tidak dapat mengendalikan soalan analisis proses yang lebih maju. Sebaliknya, versi semasa ChatGPT boleh mengubah suai jawapannya sebagai tindak balas kepada petunjuk manusia untuk mendapatkan penyelesaian yang betul.

"Memandangkan prestasi ini, Chat GPT3 akan menerima gred B hingga B dalam peperiksaan," tulis Terwiesch.

Beberapa soalan Terwiesch bertujuan untuk menguji sama ada ChatGPT boleh mengenal pasti kesesakan dalam operasi pemprosesan dengan berbilang mesin yang mempunyai kapasiti pemprosesan yang berbeza.

ChatGPT, bagaimanapun, "membuat kesilapan besar dengan magnitud besar" apabila mengira dengan aritmetik tahap sederhana.

Menariknya, ChatGPT pada mulanya tersalah menjawab salah satu soalan Terwiesch berkenaan analisis baris gilir. Dia menggesanya dengan petunjuk untuk jawapan yang lebih baik dan ChatGPT memperbaik jawapannya. Keesokan harinya, profesor bertanya soalan beratur awal yang sama tanpa petunjuk -- dan ChatGPT menjawab dengan betul pada percubaan pertamanya.

"Ia sama ada mampu belajar daripada maklum balas yang lalu atau saya hanya bernasib baik," katanya sambil menambah bahawa nampaknya terdapat beberapa kerawanan dalam kualiti jawapannya.

Terwiesch juga mendapati ChatGPT mampu merumuskan soalan-soalan yang bijak dan lucu yang boleh digunakannya dalam peperiksaan akan datang. Walau bagaimanapun, chatbot juga memperkenalkan kelemahan halus dalam beberapa soalan yang menjadikannya mustahil untuk dijawab.

Juga: ChatGPT 'tidak mempunyai kedalaman dan wawasan,' kata editor jurnal sains berprestij

Terwiesch memberi amaran kepada orang lain supaya mengambil berat tentang keupayaan dan batasan ChatGPT. Dia berkata dia "jatuh cinta" dengan ChatGPT selepas membaca jawapannya kepada soalan pertamanya, tetapi memberi amaran "membuat kesilapan besar dalam beberapa situasi yang agak mudah."

"Kami masih jauh dari A+ untuk masalah yang rumit dan kami masih memerlukan manusia dalam gelung," tulisnya.

"Pada pandangan saya tentang pendidikan, seorang pelajar sekolah rendah masih perlu mengetahui bahawa 7 x 7 = 49 dan ibu kota Pennsylvania ialah Harrisburg, walaupun kalkulator telah digunakan secara meluas selama lebih 50 tahun dan pelajar boleh menggunakan Wikipedia Google untuk mencari jawapan. bagi kebanyakan soalan fakta. Ia adalah sifat kemahiran asas yang mereka perlukan untuk memahami topik yang lebih lanjut."

Terwiesch bersetuju bahawa pendidik harus bimbang bahawa pelajar K-12 mungkin menggunakan ChatGPT untuk menipu tugasan dan peperiksaan. Sebagai contoh, Jabatan Pendidikan New York City baru-baru ini mengharamkan chatbot kerana ujian yang boleh dipercayai adalah penting dalam pengajaran, manakala pensijilan kemahiran tidak boleh dikompromi kerana teknologi baharu. Seorang pelajar yang menggunakan ChatGPT adalah seperti dapat menghubungi rakan yang mempunyai "kecekapan akademik purata" untuk menyelesaikan peperiksaan untuk mereka, katanya.

Tetapi dia juga berhujah ChatGPT dan teknologi serupa mempunyai keupayaan untuk memainkan peranan sebagai "perunding pintar" -- seseorang yang menghasilkan jawapan yang elegan tetapi sering kali salah, yang dia percaya adalah "tempat latihan yang sempurna" untuk membangunkan kemahiran dalam kalangan pelajar MBA yang memerlukan untuk menilai secara kritis alternatif yang dicadangkan.