ChatGPT boleh menulis kod. Sekarang para penyelidik berkata ia juga pandai memperbetulkan bug.

Bot pertuturan ChatGPT daripada OpenAI dapat membaiki kesalahan perisian dengan sangat baik, tetapi kelebihan utamanya berbanding dengan kaedah dan model AI lain adalah keupayaannya yang unik untuk berdialog dengan manusia yang membolehkannya untuk meningkatkan ketepatan jawapan.

Penyelidik dari Universiti Johannes Gutenberg Mainz dan Universiti College London mempertaruhkan ChatGPT OpenAI dengan "teknik pembaikan program automatik standard" dan dua pendekatan pembetulan program pembelajaran mendalam: CoCoNut, dari penyelidik di Universiti Waterloo, Kanada; dan Codex, model berasaskan GPT-3 oleh OpenAI yang menyokong perkhidmatan penyelesaian kod auto Copilot GitHub.

Juga: Bagaimana untuk memulakan penggunaan ChatGPT

"Kami dapati prestasi penyelesaian ralat oleh ChatGPT bersaing dengan pendekatan pembelajaran mendalam yang lazim digunakan iaitu CoCoNut dan Codex dan lebih baik daripada hasil yang dilaporkan untuk pendekatan pembaikan program standard," tulis para penyelidik dalam kertas arXiv baru, yang pertama kali dilihat oleh New Scientist.

Chatbot AI Terbaik: ChatGPT dan alternatif menarik lain untuk dicoba

Chatbot dan penulis AI dapat membantu meringankan beban kerja Anda dengan menulis email dan esai bahkan melakukan perhitungan matematika. Mereka menggunakan kecerdasan buatan untuk menghasilkan teks atau menjawab pertanyaan berdasarkan masukan pengguna. ChatGPT adalah salah satu contoh populer, tetapi ada juga chatbot lain yang patut diperhatikan.

Baca sekarang

Kemampuan ChatGPT untuk menyelesaikan masalah pemrograman bukanlah sesuatu yang baru, tetapi para peneliti menekankan bahwa kemampuan uniknya untuk berdialog dengan manusia memberikan keunggulan potensial dibandingkan dengan pendekatan dan model lainnya.

Para penyelidik menguji prestasi ChatGPT menggunakan ranji pembetulan ralat QuixBugs. Sistem perbaikan program automatik (APR) nampaknya berada dalam kelemahan kerana dibangunkan sebelum tahun 2018.

ChatGPT adalah berasaskan seni bina transformer, yang diutamakan oleh Ketua AI Meta, Yann LeCunn pada minggu ini, telah dibangunkan oleh Google. Codex, CodeBERT daripada Penyelidikan Microsoft, dan pendahulunya BERT daripada Google semuanya berasaskan kaedah transformer Google tersebut.

OpenAI menyoroti kemampuan dialog ChatGPT dalam contoh-contoh untuk debug kode di mana ia dapat meminta klarifikasi dan menerima petunjuk dari orang lain untuk mencapai jawaban yang lebih baik. ChatGPT dilatih dengan menggunakan model bahasa besar di balik ChatGPT (GPT-3 dan GPT 3.5) menggunakan Reinforcement Learning from Human Feedback (RLHF).

Sementara kemampuan ChatGPT untuk diskusi membantu dalam mencapai jawaban yang lebih benar, kualitas saran-sarannya masih tidak jelas, demikian dicatat oleh para peneliti. Oleh karena itu, mereka ingin mengevaluasi kinerja ChatGPT dalam memperbaiki bug.

Para penyelidik telah menguji ChatGPT terhadap 40 masalah hanya Python QuixBugs, dan kemudian menyemak dengan cara manual sama ada penyelesaian yang dicadangkan adalah betul atau tidak. Mereka mengulangi pertanyaan tersebut empat kali kerana terdapat kebarangkalian dalam kebolehpercayaan jawapan ChatGPT, seperti yang ditemui oleh seorang profesor Wharton semasa menjalani ujian yang mirip dengan MBA oleh chatbot tersebut.

ChatGPT menyelesaikan 19 dari 40 kesalahan Python, sejajar dengan CoCoNut (19) dan Codex (21). Namun, metode APR standar hanya menyelesaikan tujuh dari masalah tersebut.

Para penyelidik menemui bahawa kadar kejayaan ChatGPT dengan interaksi lanjut mencapai 77.5%.

Implikasi kepada pembangun dari segi usaha dan produktiviti adalah samar-samar. Baru-baru ini, Stack Overflow melarang jawapan yang dihasilkan oleh ChatGPT kerana mereka berkualiti rendah tetapi kedengaran masuk akal. Profesor Wharton mendapati bahawa ChatGPT boleh menjadi rakan yang hebat kepada pelajar MBA kerana ia boleh berperanan sebagai "consultant pintar" - seseorang yang menghasilkan jawapan yang elegan tetapi seringkali salah - dan merangsang pemikiran kritis.

"Ini menunjukkan bahawa sumbangan manusia boleh menjadi sangat membantu dalam sistem APR automatik, dengan ChatGPT menyediakan cara untuk melakukannya," tulis para penyelidik.

"Walaupun prestasinya yang hebat, terdapat persoalan sama ada kos mental yang diperlukan untuk mengesahkan jawapan ChatGPT mengatasi kelebihan yang dibawa oleh ChatGPT."