Mengapa Small Language Models Bisa Lebih Efektif untuk AI Perusahaan
Perbedaan Antara Small Language Models (SLM) dan Large Language Models (LLM) untuk AI Enterprise
Ketika berbicara tentang AI untuk perusahaan, model yang lebih besar tidak selalu lebih baik. Meskipun Large Language Models memiliki kemampuan yang luar biasa, apakah Anda benar-benar memerlukan model bahasa besar untuk kasus penggunaan Anda? Mungkin Small Language Models (SLM) sudah cukup.
Dengan banyaknya pembicaraan tentang Large Language Models, Anda mungkin berpikir bahwa mereka akan menyelesaikan semua masalah di dunia. Yang kita butuhkan hanyalah lebih banyak data dan lebih banyak daya komputasi!
Apa itu Small Language Model (SLM)?
Small Language Model adalah model AI yang mirip dengan Large Language Model, tetapi dengan data pelatihan dan parameter yang lebih sedikit. Mereka pada dasarnya melakukan hal yang sama dengan model bahasa besar; memahami dan menghasilkan bahasa, tetapi dalam ukuran yang lebih kecil dan lebih sederhana.
Seberapa Besar Small Language Model?
Small Language Models memiliki berbagai ukuran dan bentuk, dan definisi kapan sebuah model menjadi Large Language Model berbeda-beda tergantung siapa yang Anda tanyakan. Secara umum, apa pun di bawah 30 miliar parameter dianggap sebagai Small Language Model. Namun, SLM dapat sekecil beberapa ratus juta parameter.
Apa Perbedaan Antara Small Language Model (SLM) dan Large Language Model (LLM)?
Ada 10 perbedaan utama antara keduanya yang dapat membantu Anda memahami jenis model mana yang mungkin Anda pertimbangkan untuk kasus penggunaan tertentu:
1. Ukuran: Ini jelas. LLM jauh lebih besar daripada SLM. Beberapa LLM terbaru seperti Claude 3 dan Olympus, memiliki 2 triliun parameter! Bandingkan dengan Phi-2 yang hanya memiliki 2,7 miliar parameter.
2. Data Pelatihan: LLM memerlukan set data yang luas dan beragam untuk kebutuhan pembelajaran yang luas. SLM menggunakan set data yang lebih spesialis dan fokus, lebih kecil ukurannya.
3. Waktu Pelatihan: Untuk melatih LLM, bisa memakan waktu berbulan-bulan. SLM dapat dilatih dalam beberapa minggu.
4. Daya dan Sumber Daya Komputasi: Karena set data yang besar dan ukuran parameter, LLM mengonsumsi banyak sumber daya komputasi untuk melatih dan menjalankan model. SLM menggunakan jauh lebih sedikit (masih banyak, tetapi lebih sedikit), menjadikannya opsi yang lebih berkelanjutan.
5. Kemahiran: LLM biasanya lebih mahir dalam menangani tugas-tugas kompleks, canggih, dan umum. SLM lebih baik untuk tugas-tugas yang lebih sederhana dan memadai.
6. Adaptasi: LLM lebih sulit untuk disesuaikan dengan tugas yang disesuaikan dan memerlukan usaha besar untuk hal-hal seperti fine-tuning. SLM jauh lebih mudah untuk disesuaikan dan disesuaikan untuk kebutuhan spesifik.
7. Inferensi: LLM memerlukan perangkat keras khusus, seperti GPU, dan layanan cloud untuk melakukan inferensi. Ini berarti mereka harus digunakan melalui internet. SLM sangat kecil sehingga mereka bisa dijalankan secara lokal di raspberry pi atau ponsel, sehingga bisa berjalan tanpa koneksi internet.
8. Latensi: Jika ada yang mencoba membangun asisten suara dengan LLM, maka Anda akan tahu bahwa latensi adalah masalah besar. Bergantung pada tugasnya, Anda menunggu beberapa detik untuk LLM merespons. SLM, karena ukurannya, biasanya jauh lebih cepat.
9. Biaya: Tak terhindarkan, jika Anda harus mengonsumsi banyak sumber daya komputasi untuk inferensi, dan ukuran model Anda lebih besar, berarti biaya token untuk LLM tinggi. Untuk SLM, jauh lebih rendah, berarti mereka lebih murah untuk dijalankan.
10. Kontrol: Dengan LLM, Anda berada di tangan pembuat model. Jika model berubah, Anda akan mengalami drift atau lebih buruk, kehilangan memori yang katastropik. Dengan SLM, siapa pun dapat menjalankannya di server Anda sendiri, menyesuaikannya, lalu membekukannya, sehingga tidak pernah berubah.
Bagaimana Memutuskan Ukuran Model yang Akan Digunakan
Untuk memutuskan model mana yang akan digunakan, mulailah dengan bereksperimen dengan Large Language Models. Ini untuk memvalidasi bahwa tugas yang Anda coba selesaikan benar-benar dapat dilakukan. Jika memang bisa dilakukan, LLM seharusnya bisa melakukannya.
Setelah Anda membuktikan bahwa tugas tersebut bisa dilakukan, Anda bisa mulai mengurangi ukuran model untuk melihat apakah tugas yang sama bisa dilakukan menggunakan model yang lebih kecil. Ketika Anda mencapai ukuran model di mana hasil Anda mulai berubah, menjadi kurang akurat atau sedikit lebih tidak terduga, Anda telah mencapai ukuran model potensial Anda.
Tuning Prompt
Tuning ini bisa dilakukan pertama kali dengan prompt tuning. Ini secara khusus untuk memberikan model beberapa pembelajaran in-context yaitu data yang bisa digunakan untuk menyelesaikan tugas, disampaikan dalam prompt.
Retrieval Augmented Generation
Kedua, pertimbangkan retrieval augmented generation (RAG) atau pengindeksan. Ini untuk memberikan model data eksternal yang bisa digunakan saat runtime untuk dimasukkan ke dalam responsnya. Untuk beberapa kasus penggunaan, terutama yang berbasis pencarian, Anda akan menemukan bahwa ini bisa memberi Anda hasil yang Anda cari dan lebih mudah daripada fine-tuning karena tidak memerlukan pengubahan bobot model atau akses ke model mentah.
Fine-Tuning
Terakhir, jika dua opsi pertama tidak menyelesaikan masalah Anda, maka fine-tuning adalah pertimbangan terakhir. Ini adalah di mana Anda melatih model untuk tugas tertentu berdasarkan data yang terkait dengan tugas tersebut. Ada beberapa metode fine-tuning yang berbeda yang bisa Anda gunakan, mulai dari fine-tuning output menggunakan embeddings hingga fine-tuning parameter model itu sendiri. Untuk melakukan ini, Anda memerlukan akses ke model mentah, daripada API, dan biasanya Anda memasuki wilayah Small Language Model di sini.
Relevansi untuk Tim Perusahaan
Pikirkan tentang tugas-tugas yang Anda miliki untuk AI dalam organisasi Anda. Mungkin sesuatu seperti:
- Klasifikasi niat
- Pengambilan pengetahuan
- Rangkuman konten
- Analisis sentimen
- Manajemen percakapan
- Generasi respons kontekstual
- Terjemahan
Dan hal-hal seperti itu. Tentu saja, ada banyak lagi kasus penggunaan AI, tetapi ini adalah beberapa yang paling umum.
Sekarang pertimbangkan apakah Anda memerlukan kekuatan besar dari Large Language Model untuk tugas-tugas ini. Klasifikasi? Benarkah? Anda memerlukan semua informasi di internet untuk dapat mengenali bahwa ‘kartu kredit saya dicuri’ berarti ‘kartu dicuri’?
Sebagian besar kebutuhan AI perusahaan spesifik untuk perusahaan tersebut. Anda kemungkinan besar tidak memerlukan alat AI paling kuat di planet ini untuk melakukan apa yang Anda inginkan (dan Anda tentu tidak memerlukan biayanya).
Cobalah bekerja mundur dari Large Language Model dan lihat apakah Small Language Model lebih cocok untuk tujuan Anda.
