Apa Itu AI Generatif?
AI generatif telah menghadirkan dampak yang cukup besar bagi dunia dalam waktu yang relatif singkat. Melalui teknologi ini, teks yang menarik dan informatif dapat dihasilkan dari input pengguna yang sederhana. Chatbot digital yang cerdas, responsif, dan mirip manusia dapat membantu pelanggan—tanpa keterlibatan karyawan. Gambar, video, atau audio yang indah dapat dibuat hampir seketika sebagai tanggapan atas pertanyaan apa pun yang dapat Anda bayangkan.
AI generatif dimungkinkan oleh kumpulan data yang masih dan algoritma AI yang terlatih secara mendalam, yang memerlukan upaya signifikan dari ilmuwan data dan developer untuk memastikan output atau pengalaman yang dibutuhkan bisnis mereka. Idealnya, AI generatif diterapkan pada perangkat keras yang canggih dan dipilih dengan cermat yang menghadirkan latensi rendah serta waktu respons cepat yang diperlukan untuk beban kerja ini dalam batasan anggaran.
Secara umum, AI generatif mengacu pada solusi AI yang menghasilkan konten—baik itu email penciptaan permintaan, lanskap yang fantastis, atau balasan chatbot yang dinamis—sebagai tanggapan atas permintaan pengguna. Solusi yang dibangun dengan menggunakan teknologi ini, seperti ChatGPT, Stable Diffusion, dan Dall-E, menjadi berita utama setiap hari, dan organisasi di mana saja mencari cara untuk membuatnya beroperasi dan memanfaatkan nilai inovatif mereka.
AI generatif dilatih dengan set data tidak terstruktur menggunakan model transformer yang mengharuskan ilmuwan data dan developer untuk menyempurnakan output atau pengalaman yang dibutuhkan bisnis mereka.
Organisasi yang ingin menerapkan AI generatif untuk tantangan bisnis mereka memiliki opsi untuk melatih model dari awal atau memilih model yang telah dilatih sebelumnya yang dapat disesuaikan dengan kebutuhan bisnis mereka.
AI generatif dibangun dan diterapkan bersamaan dengan AI bahasa dan pemrosesan bahasa alami (NLP), yang memungkinkan AI untuk memproses dan memahami bahasa manusia. Bersama-sama, AI generatif dan NLP dapat memahami permintaan pengguna untuk menghasilkan tanggapan yang sesuai, baik itu teks, video, gambar, atau audio.
Bagaimana Cara Kerja AI Generatif?
AI generatif didukung oleh set data luas yang “mengajar” model AI tentang cara menanggapi permintaan pengguna. Model AI generatif menemukan kesamaan antara jenis data dan informasi yang serupa untuk membuat konten baru. Pelatihan model juga diinformasikan oleh input dari ilmuwan data dan pakar di bidangnya yang membantu memandu pembelajaran algoritma dan menuntunnya ke arah output yang lebih akurat.
Untuk memungkinkan solusi AI generatif, model sumber terbuka dapat disesuaikan dengan kebutuhan unik organisasi. Misalnya, algoritma chatbot AI umum dapat dilatih dengan atribut spesifik dari basis pelanggan dan model bisnis organisasi. Atau, sebagai contoh lain, model yang dimaksudkan untuk menghasilkan teks untuk digunakan dalam pemasaran konten dapat dikhususkan atau disetel lebih lanjut untuk berfokus pada industri dan audiens sasaran tertentu. Model yang spesifik domain juga lebih banyak muncul dengan cepat. Model-model ini dilatih dengan set data yang lebih kecil dan lebih spesifik dibandingkan model yang lebih besar. Hasil yang muncul menunjukkan model yang lebih kecil ini dapat meniru akurasi model yang lebih besar jika dilatih dengan data yang sumbernya diambil dengan hati-hati.
Solusi AI generatif memanfaatkan cabang AI yang disebut model bahasa besar atau large language models (LLM). Ini adalah model AI bahasa yang menggunakan jaringan neural mendalam atau deep neural network, untuk memproses dan menghasilkan teks. Model ini dilatih dengan jumlah data teks yang sangat besar dan dirancang untuk menghadirkan output yang koheren dan bermakna. LLM bergantung pada arsitektur transformer untuk memproses urutan input secara paralel, yang meningkatkan performa dan kecepatan dibandingkan dengan jaringan neural tradisional.
Kasus Penggunaan AI Generatif dan AI Bahasa
Bersama-sama, AI generatif dan AI bahasa dapat dikombinasikan untuk menciptakan alat, layanan, dan aplikasi baru, termasuk:
- Pembuatan konten: Secara otomatis membuat artikel, memposting blog, deskripsi produk, dan materi tertulis lainnya.
- Chatbot: Mendukung model AI percakapan yang dinamis dan cerdas yang dapat berinteraksi dengan pelanggan Anda melalui teks atau ucapan.
- Pembuatan gambar, video, dan audio: Membuat visual dan suara baru dengan memeriksa materi yang sudah ada sebelumnya dan bekerja sesuai dengan permintaan pengguna.
- Penerjemahan bahasa: Menerjemahkan teks dari satu bahasa ke bahasa lain.
- Augmentasi data: Membuat data sintetis untuk model machine learning lainnya untuk membantu meningkatkan akurasi dan performa.
- Ringkasan teks: Meringkas potongan besar teks ke dalam format yang ringkas sehingga pembaca dapat dengan cepat memahami poin dan ide utama.
Untuk mempelajari lebih banyak kasus penggunaan AI, termasuk kasus di luar AI bahasa dan AI generatif, kunjungi ikhtisar kasus penggunaan Intel® AI.
Melatih dan Menerapkan AI Generatif dengan Teknologi Intel®
Menempatkan kecanggihan AI generatif untuk bekerja bagi bisnis Anda adalah persoalan tentang menyeimbangkan kecepatan, biaya, dan skala. Untuk membantu Anda menerapkan kemampuan AI generatif dengan percaya diri, Intel menawarkan portofolio yang dirancang khusus dari teknologi perangkat keras dan perangkat lunak yang digabungkan untuk membantu menyederhanakan inisiatif Anda dan mengakselerasi ROI. Misi kami adalah untuk memungkinkan inovator AI menerapkan AI di mana saja ketika diperlukan—mulai dari edge, cloud, dan pusat data—dengan performa, skalabilitas, dan biaya yang optimal.
Sumber Daya Perangkat Lunak untuk Menyederhanakan Pelatihan dan Penerapan AI Generatif
Intel menawarkan developer dan ilmuwan data berbagai alat dan optimasi perangkat lunak yang dapat membantu memaksimalkan performa dan meningkatkan produktivitas secara signifikan selama pelatihan dan penerapan.
Untuk kerangka kerja ilmu data populer seperti PyTorch dan TensorFlow, kami menawarkan optimasi yang menghadirkan peningkatan performa signifikan pada arsitektur Intel®. Sebagai bagian dari bahasa pemrograman terpadu oneAPI, kami menawarkan Intel® oneAPI Deep Neural Network Library dengan implementasi blok bangunan deep learning yang sangat dioptimalkan. Model pemrograman terpadu oneAPI® juga dapat digunakan untuk mendukung platform perangkat keras yang heterogen dengan upaya yang lebih sedikit dari tim pengembangan.
Intel® Extension for Transformers adalah alat penting lainnya yang dapat membantu Anda mengakselerasi model berbasis transformer pada platform Intel®. Toolkit ini menawarkan pengalaman pengguna yang lancar untuk kompresi model, optimasi perangkat lunak tingkat lanjut, runtime sadar kompresi yang unik, dan paket model yang dioptimalkan, termasuk Stable Diffusion, GPT-J-6BM, dan BLOOM-176B.
Selain itu, melalui kemitraan kami dengan Accenture, kami menawarkan berbagai kit referensi yang dapat membantu memulai proyek AI generatif atau bahasa Anda.
Toolkit Intel® Distribution of OpenVINO™
Toolkit Intel® Distribution of OpenVINO™ membantu developer menghemat waktu dan mengakselerasi hasil saat mereka mengembangkan dan menerapkan AI generatif. Toolkit sumber terbuka ini memberdayakan developer untuk menulis kode sekali dan menerapkannya di mana saja. Anda dapat dengan mudah mengonversi dan mengoptimalkan model untuk kerangka kerja populer—termasuk TensorFlow, PyTorch, dan Caffe—serta menerapkannya dengan performa yang diakselerasi di berbagai jenis arsitektur perangkat keras yang diperlukan oleh strategi AI Anda.
Untuk memulai, lihat Pembuatan Gambar dengan Stable Diffusion dan Pembuatan Teks ke Gambar dengan notebook ControlNet Conditioning di GitHub.
Anda juga dapat membaca artikel ini untuk detail lebih lanjut tentang penggunaan Stable Diffusion pada GPU dan CPU Intel® dengan toolkit Intel® Distribution of OpenVINO™.
Kemitraan Hugging Face untuk AI Generatif
Untuk memfasilitasi pelatihan dan inovasi AI generatif dan AI bahasa, Intel telah bekerja sama dengan Hugging Face, platform populer untuk berbagi model dan set data AI. Secara khusus, Hugging Face dikenal dengan pustaka transformernya yang dirancang untuk NLP.
Kami telah bekerja dengan Hugging Face untuk membangun akselerasi perangkat keras dan perangkat lunak canggih untuk melatih, menyempurnakan, dan memprediksi dengan model transformer. Akselerasi perangkat keras digerakkan oleh prosesor Intel® Xeon® yang Dapat Diskalakan, sementara akselerasi perangkat lunak didukung oleh portofolio kami yang terdiri dari alat perangkat lunak, kerangka kerja, dan pustaka AI yang dioptimalkan.
Optimum Intel menyediakan antarmuka antara pustaka transformer Hugging Face serta berbagai alat dan pustaka kami yang berbeda, yang mengakselerasi alur end-to-end pada arsitektur Intel®, termasuk Intel® Neural Compressor. Intel Labs, UKP Lab, dan Hugging Face juga telah berkolaborasi untuk membangun SetFit, suatu kerangka kerja yang efisien untuk penyetelan transformer kalimat dengan sedikit set data (few-shot).
Akselerator deep learning Habana® Gaudi® dari Intel juga dipasangkan dengan perangkat lunak sumber terbuka Hugging Face melalui Habana® Optimum Library untuk mendukung kemudahan penggunaan developer pada ribuan model yang dioptimalkan oleh komunitas Hugging Face.
Hugging Face juga telah menerbitkan beberapa evaluasi performa Habana® Gaudi®2 pada model AI generatif: Stable Diffusion, T5-3B, BLOOMZ 176B, dan 7B, serta model BridgeTower yang baru.
Untuk mempelajari lebih lanjut tentang bagaimana Intel dan Hugging Face dapat membantu Anda merencanakan dan mengoptimalkan upaya generatif dan AI Anda, kunjungi:
- Blog: Menyetel Model Stable Diffusion pada CPU Intel®
- Blog: Mengakselerasi Inferensi Stable Diffusion pada CPU Intel®
- Blog: Mengoptimalkan Stable Diffusion untuk CPU Intel® dengan NNCF dan Hugging Face Optimum
- Blog: Mengakselerasi Transformer PyTorch dengan prosesor Intel® Xeon® yang Dapat Diskalakan, bagian 1
- Blog: Mengakselerasi Transformer PyTorch dengan prosesor Intel® Xeon® yang Dapat Diskalakan Generasi ke-4, bagian 2
- Webinar SetFit: Few-Shot Learning dalam Produksi
- Mengoptimalkan Model Transformer dengan Alat dari Intel dan Hugging Face
Rekomendasi Perangkat Keras untuk Pelatihan dan Penerapan AI Generatif
Meskipun set alat perangkat lunak yang tepat sangat penting untuk penerapan AI generatif dan bahasa yang sukses, perangkat keras juga memainkan peran integral. Seiring AI telah berkembang dari laboratorium hingga penggunaan sehari-hari, skalabilitas, dan keberlanjutan telah menjadi perhatian utama untuk pelatihan dan inferensi.
Persyaratan komputasi untuk menerapkan model AI generatif atau bahasa Anda sangat bervariasi berdasarkan jumlah parameter yang terlibat. Hal yang sama berlaku untuk melatih model. Terlepas dari skala inisiatif Anda, Intel menawarkan solusi perangkat keras yang tepat untuk Anda.
Pelatihan dan Inferensi Skala Besar: Habana® Gaudi®2
Pelatihan skala besar, penyetelan, dan inferensi beban kerja AI generatif memerlukan perangkat keras AI khusus, di mana solusi Habana® kami dapat berperan.
Tergantung pada kebutuhan pelatihan dan penerapan Anda, penerapan Habana® Gaudi®2 dapat menskalakan dari satu akselerator hingga ribuan klaster Habana® Gaudi®2 yang terdiri dari delapan server AI yang didukung akselerator. Di Intel® Developer Cloud, Anda dapat menjelajahi keunggulan menjalankan beban kerja pelatihan dan inferensi pada platform Habana® Gaudi®2.
Untuk mempelajari lebih lanjut tentang kemampuan performa tingkat lanjut dari solusi Habana® Gaudi®2, lihat https://habana.ai/blog/.
Pelatihan dan Inferensi Skala Menengah: Prosesor Intel® Xeon® yang Dapat Diskalakan dengan Mesin Akselerator Terintegrasi atau Grafis Diskrit
Secara umum, kami menyarankan prosesor Intel® Xeon® yang Dapat Diskalakan untuk penyetelan model inferensi AI generatif dan beban kerja pelatihan yang tidak terlalu berat. Solusi ini dapat diperkuat dengan GPU diskrit untuk beban kerja yang lebih tinggi.
Untuk memaksimalkan efektivitas biaya penerapan Anda, prosesor Intel® Xeon® yang Dapat Diskalakan terbaru dilengkapi dengan dua mesin akselerasi AI yang canggih dan terintegrasi:
- Intel® Advanced Matrix Extensions (Intel® AMX) untuk mengoptimalkan beban kerja inferensi dan pelatihan deep learning melalui arsitektur khusus.
- Intel® Auto Mixed Precision (Intel® AMP) untuk mengakselerasi pelatihan dan meningkatkan efisiensi memori dengan memanfaatkan representasi presisi tunggal (32 bit) dan setengah presisi (16 bit).
Dengan memanfaatkan fitur terintegrasi ini, Anda dapat menggunakan prosesor Intel® Xeon® yang Dapat Diskalakan untuk mendukung beban kerja inferensi dan pelatihan yang lebih berat tanpa berinvestasi dalam perangkat keras khusus. Ini membantu meningkatkan efisiensi biaya dan skalabilitas solusi AI Anda.
Inferensi Skala Kecil: Prosesor Intel® Core® dengan Grafis Terintegrasi atau Diskrit
Untuk tugas inferensi dasar, termasuk penerapan edge, prosesor Intel® Core™ Ultra dapat diterapkan untuk memaksimalkan efisiensi biaya sekaligus memenuhi kebutuhan performa. Prosesor ini dilengkapi grafis terintegrasi yang dapat menangani banyak tugas inferensi dengan kompleksitas rendah. Mereka juga dapat diperkuat dengan grafis Intel® Arc™ untuk meningkatkan performa dan mendukung kompleksitas yang lebih tinggi.
Selain itu, prosesor Intel® Core™ Ultra juga menghadirkan kemampuan inferensi performa tinggi untuk beban kerja yang kompleks melalui kemampuan grafis terintegrasi yang canggih atau melalui augmentasi dengan akselerator grafis diskrit. Dengan mengandalkan CPU tujuan umum untuk inferensi, Anda dapat meningkatkan fleksibilitas secara keseluruhan dengan dukungan untuk rangkaian beban kerja yang lebih luas seiring perubahan kebutuhan Anda.
Mulai Membangun di Platform Intel® AI Sekarang
Portofolio perangkat keras dan perangkat lunak Intel® AI yang luas dan dalam menghadirkan berbagai cara untuk mengejar inovasi AI dengan percaya diri, meminimalkan risiko, dan fleksibilitas maksimum. Kami siap membantu menyukseskan inisiatif AI generatif dan bahasa Anda—baik Anda melatih model dari awal, menyempurnakan algoritma yang ada, atau mencari cara untuk menjalankan inferensi tingkat lanjut dalam skala besar.
Untuk mempelajari lebih lanjut tentang portofolio AI kami yang komprehensif dan menjelajahi lebih lanjut tentang bagaimana Anda dapat memperoleh manfaat dari teknologi Intel®, kunjungi: