Tujuh Model GPT Sumber Terbuka Percuma Telah Dikeluarkan

Cerebras, syarikat kecerdasan buatan Silicon Valley, telah melepaskan tujuh model GPT bersumber terbuka untuk memberi alternatif kepada sistem yang dikawal dengan ketat dan berkepentingan yang sedia ada.

Model-model GPT bebas royalti sumber terbuka, termasuk berat dan resepi latihannya telah dikeluarkan di bawah lesen Apache 2.0 yang sangat membenarkan oleh Cerebras, sebuah syarikat infrastruktur Kecerdasan Buatan berpusat di Lembah Silikon untuk aplikasi Kecerdasan Buatan.

Sejauh mana, ketujuh model GPT adalah bukti konsep bagi superkomputer kecerdasan buatan Cerebras Andromeda.

Infrastruktur Cerebras membolehkan pelanggan mereka, seperti Jasper AI Copywriter, untuk dengan cepat melatih model bahasa khusus mereka sendiri.

Satu catatan blog Cerebras mengenai teknologi perkakasan:

"Kami melatih semua model Cerebras-GPT pada Kluster Cerebras Wafer-Scale 16x CS-2 yang disebut Andromeda."

Kluster tersebut memungkinkan semua percobaan diselesaikan dengan cepat, tanpa perlu pengaturan sistem terdistribusi tradisional dan penyetelan paralel model pada kluster GPU.

Yang paling penting, hal ini memungkinkan para peneliti kami untuk fokus pada desain ML bukan sistem terdistribusi. Kami percaya bahwa kemampuan untuk melatih model-model besar dengan mudah adalah kunci pelopor bagi komunitas secara luas, oleh karena itu kami telah membuat Kluster Cerebras Wafer-Scale tersedia di cloud melalui Cerebras AI Model Studio."

Model Cerebras GPT dan Transparansi

Cerebras mengutip pemusatan kepemilikan teknologi AI hanya kepada beberapa syarikat sebagai alasan untuk mencipta tujuh model GPT yang sumber terbuka.

OpenAI, Meta dan Deepmind menyimpan sejumlah besar maklumat tentang sistem mereka secara sulit dan terkawal, yang membataskan inovasi kepada apa sahaja yang ketiga-tiga syarikat itu putuskan orang lain boleh lakukan dengan data mereka.

Adakah sistem sumber tertutup yang terbaik untuk inovasi dalam AI? Atau adakah sumber terbuka merupakan masa depan?

Cerebras menulis:

"Untuk LLM menjadi teknologi yang terbuka dan dapat diakses, kami percaya penting untuk memiliki akses ke model-model terkini yang terbuka, dapat direproduksi, dan bebas royalti untuk penelitian dan aplikasi komersial.

Dalam rangka itu, kami telah melatih satu keluarga model transformer menggunakan teknik terkini dan dataset terbuka yang kami sebut Cerebras-GPT.

Model-model ini adalah keluarga pertama dari model GPT yang dilatih menggunakan formula Chinchilla dan dirilis melalui lisensi Apache 2.0."

Jadi, ketujuh model ini telah dikeluarkan di Hugging Face dan GitHub untuk menggalakkan lebih banyak penyelidikan melalui akses terbuka kepada teknologi AI.

Model-model ini telah dilatih dengan superkomputer kecerdasan buatan Andromeda dari Cerebras, sebuah proses yang hanya memerlukan beberapa minggu untuk diselesaikan.

Cerebras-GPT adalah sepenuhnya terbuka dan transparan, berbeza dengan model-model GPT terkini daripada OpenAI (GPT -4), Deepmind, dan Meta OPT.

OpenAI dan Deepmind Chinchilla tidak menawarkan lesen untuk menggunakan model-model ini. Meta OPT hanya menawarkan lesen bukan komersial.

OpenAI GPT-4 tidak memberikan transparansi sepenuhnya mengenai data latihan mereka. Adakah mereka menggunakan data Common Crawl? Adakah mereka mengambil data dari Internet dan membuat dataset mereka sendiri?

OpenAI menyimpan maklumat ini (dan lebih banyak lagi) sebagai rahsia, yang berbeza dengan pendekatan Cerebras-GPT yang sepenuhnya telus.

Yang berikut adalah semua terbuka dan transparan:

• Susun atur model
• Data latihan
• Bobot model
• Cekpoint
• Status latihan yang optimal untuk pemprosesan (ya)
• Lesen penggunaan: Lesen Apache 2.0

Ada tujuh versi dalam kapasiti 111M, 256M, 590M, 1.3B, 2.7B, 6.7B, dan 13B.

Telah diumumkan:

“Pertama kalinya di antara syarikat perkakasan AI, penyelidik-penyelidik Cerebras telah melatih satu siri tujuh model GPT dengan parameter 111M, 256M, 590M, 1.3B, 2.7B, 6.7B, dan 13B menggunakan superkomputer AI Andromeda.

Biasanya memerlukan masa berbulan-bulan, tugasan ini telah selesai dalam beberapa minggu berkat kelajuan yang luar biasa sistem Cerebras CS-2 yang membentuk Andromeda, dan keupayaan senibina berat yang dipunyai oleh Cerebras untuk menghilangkan kesakitan pengiraan teragih.

Keputusan ini menunjukkan bahawa sistem Cerebras dapat melatih beban kerja AI yang terbesar dan paling kompleks pada masa sekarang.

Ini adalah kali pertama satu suite model GPT, yang dilatih menggunakan teknik kecekapan latihan moden, telah didedahkan kepada orang awam.

Model-model ini dilatih dengan ketepatan yang tertinggi dengan anggaran pemprosesan yang diberikan (iaitu cekap latihan dengan menggunakan resepi Chinchilla) supaya mereka mempunyai masa latihan yang lebih rendah, kos latihan yang lebih rendah, dan menggunakan tenaga yang lebih sedikit berbanding model-model awam sedia ada.”

Sumber Terbuka Kecerdasan Buatan

Yayasan Mozilla, pengeluar perisian sumber terbuka Firefox, telah memulakan syarikat bernama Mozilla.ai untuk membina sistem GPT dan sistem pengesyorkataan sumber terbuka yang boleh dipercayai dan menghormati privasi.

Databricks juga baru-baru ini melancarkan GPT Clone terbuka sumber yang disebut Dolly yang bertujuan untuk menjadikan "sihir ChatGPT" digunakan secara demokratik.

Di samping tujuh model Cerebras GPT tersebut, sebuah syarikat lain, yang dikenali sebagai Nomic AI, telah melancarkan GPT4All, sebuah sumber terbuka GPT yang boleh berjalan pada sebuah laptop.

Gerakan AI sumber terbuka berada dalam peringkat awal tetapi semakin mendapat momentum.

Teknologi GPT sedang melahirkan perubahan besar di pelbagai industri dan adalah mungkin, mungkin tidak dapat dielakkan, bahawa sumbangan sumber terbuka mungkin mengubah wajah industri yang mendorong perubahan tersebut.

Jika gerakan sumber terbuka terus maju pada kadar ini, kita mungkin berada di ambang menyaksikan perubahan dalam inovasi AI yang mencegah ia terkumpul di tangan beberapa syarikat.

Baca pengumuman rasmi:

Cerebras Systems Menerbitkan Tujuh Model GPT Baru yang Dilatih pada Sistem Skala Wafer CS-2