Temui BLOOMChat: Model Percakapan Multibahasa dan Multibahasa (LLM) Sumber Terbuka Besar yang Dibangun di atas Model BLOOM

Dengan beberapa kemajuan besar yang dibuat di bidang kecerdasan buatan, sistem bahasa alami berkembang pesat. Language Large Models (LLMs) menjadi jauh lebih baik dan lebih populer dengan setiap peningkatan dan inovasi. Fitur atau mod baru ditambahkan hampir setiap hari, yang memungkinkan LLM bekerja di berbagai aplikasi di hampir setiap bidang. LLM ada di mana-mana, mulai dari terjemahan mesin dan peringkasan teks hingga analisis sentimen dan menjawab pertanyaan.

Komunitas open source telah membuat beberapa kemajuan penting dalam mengembangkan LLM berbasis obrolan, tetapi kebanyakan dalam bahasa Inggris. Kurang penekanan telah ditempatkan pada pengembangan jenis kemampuan obrolan multibahasa yang serupa di LLM. Untuk mengatasi hal ini, SambaNova, sebuah perusahaan perangkat lunak yang berfokus pada solusi AI generatif, telah memperkenalkan percakapan LLM multibahasa open source yang disebut BLOOMChat. Dikembangkan bekerja sama dengan Together, cloud AI yang terbuka, dapat diskalakan, dan terdesentralisasi, BLOOMChat adalah obrolan LLM multibahasa dengan 176 miliar variabel yang dibangun di atas model BLOOM.

Model BLOOM memiliki kemampuan untuk menghasilkan teks dalam 46 bahasa alami dan 13 bahasa pemrograman. Untuk bahasa seperti Spanyol, Prancis, dan Arab, BLOOM mewakili model bahasa pertama yang pernah dibuat dengan lebih dari 100 miliar parameter. BLOOM dikembangkan oleh BigScience, sebuah kolaborasi internasional lebih dari 1.000 peneliti. Dengan menyetel BLOOM untuk membuka percakapan dan menyelaraskan kumpulan data dari proyek seperti OpenChatKit, Dolly 2.0, dan OASST1, kemampuan inti BLOOM telah diperluas ke domain obrolan.

Untuk mengembangkan obrolan multibahasa, LLM, BLOOMChat, SambaNova, dan Together menggunakan sistem SambaNova DataScale yang menggunakan arsitektur aliran data unik SambaNova yang dapat dikonfigurasi ulang untuk proses pelatihan. Data percakapan sintetis dan sampel tulisan manusia digabungkan untuk membuat BLOOMChat. Kumpulan data sintetik besar yang disebut OpenChatKit digunakan sebagai dasar untuk fungsi obrolan, dan kumpulan data buatan manusia berkualitas tinggi seperti Dolly 2.0 dan OASST1 digunakan untuk meningkatkan kinerja secara signifikan. Kode dan skrip yang digunakan untuk mengatur bantuan pada kumpulan data OpenChatKit dan Dolly-v2 disediakan di GitHub SambaNova.

Dalam penilaian manusia yang dilakukan dalam enam bahasa, respons BLOOMChat lebih disukai daripada respons GPT-4 sebanyak 45,25%. Dibandingkan dengan empat model penyelarasan obrolan sumber terbuka lainnya dengan enam bahasa yang sama, respons BLOOMChat menempati peringkat terbaik 65,92% sepanjang waktu. Pencapaian ini berhasil menjembatani kesenjangan kemampuan obrolan multibahasa di pasar open source. Dalam uji pelokalan WMT, BLOOMChat tampil lebih baik daripada iterasi tambahan model BLOOM serta model obrolan open source yang populer.

BLOOMChat, seperti LLM lainnya, memiliki keterbatasan. Ini dapat menghasilkan informasi yang salah atau tidak relevan secara faktual atau dapat mengubah bahasa secara tidak sengaja. Dia bahkan dapat mengulangi frasa, memiliki kemampuan pengkodean atau matematika yang terbatas, dan terkadang menghasilkan konten yang beracun. Lebih banyak penelitian bekerja untuk mengatasi tantangan ini dan memastikan kegunaan yang lebih baik.

Kesimpulannya, BLOOMChat dibangun di atas karya ekstensif komunitas open source dan merupakan tambahan yang bagus untuk daftar beberapa LLM multibahasa yang sangat berguna. Dirilis di bawah lisensi open source, SambaNova and Together bertujuan untuk memperluas akses ke kemampuan obrolan multibahasa tingkat lanjut dan mendorong inovasi lebih lanjut dalam komunitas riset AI.

memindai proyek Dan Artikel referensi. Jangan lupa untuk bergabung 21rb+ML Sub RedditDan saluran perselisihanDan Dan buletin email, tempat kami berbagi berita penelitian AI terbaru, proyek AI keren, dan banyak lagi. Jika Anda memiliki pertanyaan tentang artikel di atas atau jika kami melewatkan sesuatu, jangan ragu untuk mengirim email kepada kami di [email protected]

🚀 Lihat 100 Alat AI di Klub Alat AI