Intel Dorong Pengembangan AI untuk Enterprise dengan Gaudi 3

Hitekno.com - Melalui ajang Intel Vision 2024, dikenalkan teknologi Intel Gaudi 3 accelerator yang memberikan performa, keterbukaan dan pilihan untuk generative AI (GenAI) enterprise.

Intel juga mengumumkan jajaran sistem-sistem AI baru yang skalabel dan terbuka, produk-produk generasi berikutnya dan kolaborasi strategis untuk mempercepat pengadopsian GenAI. Dengan hanya 10% perusahaan skala enterprise sukses menjadikan proyek-proyek GenAI menjadi produk pada tahun lalu, penawaran terbaru dari Intel ini menjawab berbagai tantangan yang dihadapi perusahaan-perusahaan dalam meningkatkan inisiatif AI mereka.

“Inovasi terus berkembangan dengan kecepatan yang belum pernah terjadi sebelumnya. Hal ini dimungkinkan oleh teknologi silikon—dan setiap perusahaan dengan cepat menjadi sebuah perusahaan AI,” kata CEO Intel Pat Gelsinger.

Baca Juga: CES 2024: Intel Pamerkan Solusi Komputasi Terbaru untuk Mobile, Desktop, dan Edge

“Intel menghadirkan AI di mana saja di lingkungan enterprise, dari PC hingga data center dan edge. Platform Gaudi, Xeon dan Core Ultra kami yang terbaru menghadirkan rangkaian solusi kohesif dan fleksibel yang dirancang khusus untuk memenuhi kebutuhan yang terus berubah dari para pelanggan dan mitra kami serta memanfaatan berbagai peluang yang luar biasa besar di depan mata.” lanjutnya.

Berbagai perusahaan berupaya meningkatkan GenAI dari proyek uji coba menjadi produk. Untuk itu, mereka membutuhkan solusi-solusi yang siap digunakan serta dibangun dengan prosesor berkinerja tinggi yang hemat energi dan hemat biaya seperti Intel Gaudi 3 AI accelerator, yang juga bisa menjawab kebutuhan akan kompleksitas, fragmentasi, keamanan data dan ketaatan terhadap peraturan.

Gaudi 3 untuk Pelatihan dan Inferensi AI

Baca Juga: Asus Hadirkan Server dan Motherboard Server Berbasis Intel Xeon E-2400 Terbaru

Intel Gaudi 3 AI accelerator akan menjadi sumber kekuatan bagi sistem-sistem AI yang memiliki hingga puluhan akselerator yang terhubung melalui Ethernet standar umum. Intel Gaudi 3 menjanjikan kemampuan komputasi AI empat kali lipat untuk BF16 dan peningkatan bandwidth memori sebesar 1.5 kali lipat dibandingkan produk pendahulunya.

Akselerator ini akan memberikan lompatan yang signifikan dalam pelatihan dan inferensi AI bagi perusaahaan-perusahaan global yang ingin menerapkan GenAI dalam skala besar.

Dibandingkan dengan Nvidia H100, Intel Gaudi 3 secara rata-rata3 diproyeksikan bisa melakukan pelatihan 50% lebih capat dalam model-model Llama2 dengan parameter 7B dan 13B, dan model parameter GPT-3 175B.

Baca Juga: Asus Hadirkan Server dan Motherboard Server Berbasis Intel Xeon E-2400

Selain itu, throughput inferensi Intel Gaudi 3 accelerator secara-rata-rata1 diproyeksikan akan mengungguli H100 sebesar 50% and 40% untuk rerata efisiensi daya inferensi dalam parameter Llama 7B dan 70B, dan model-model parameter Falcon 180B. 

Intel Gaudi 3 menyediakan software terbuka berbasis komunitas dan jaringan Ethernet standar industri. Intel Gaudi 3 juga memungkinkan perusahaan-perusahaan untuk secara fleksibel melakukan peningkatan dari single node ke cluster, super-cluster dan mega-cluster dengan ribuan node, sehingga mendukung inferensi, fine-tuning dan pelatihan dengan skala terbesar.

Intel Gaudi 3 akan tersedia bagi para OEM—termasuk Dell ologies, HPE, Lenovo dan Supermicro—pada kuartal kedua 2024.

Baca Juga: Asus ROG Hadirkan 4 Motherboard Intel Z790 Terbaru

Menciptakan Nilai untuk Pelanggan dengai Solusi Intel AI

Intel menegaskan strateginya untuk sistem AI skalabel yang terbuka, yang mencakup hardware, software, kerangka kerja (framework) dan tools. Pendekatan Intel ini memungkinkan ekosistem pemain AI terbuka yang luas untuk menawarkan beragam solusi yang memenuhi kebutuhan GenAI enterprise yang spesifik.

Ekosistem tersebut mencakup produsen peralatan, penyedia database, integrator sistem, penyedia software dan layanan dan banyak lagi. Strategi Intel tersebut juga memungkinkan berbagai perusahaan untuk menggunakan mitra dan solusi ekosistem yang sudah mereka ketahui dan percaya.

Intel membagikan momentum yang luas kepada para pelanggan dan mitra enterprise di seluruh industri untuk menerapkan solusi-solusi Intel Gaudi accelerator untuk aplikasi-aplikasi generative AI baru dan inovatif:

• NAVER: Untuk mengembangkan large language model (LLM) yang kuat bagi penerapan layanan-layanan AI canggih di seluruh dunia, dari cloud hingga dalam perangkat. NAVER telah mengkonfirmasikan bahwa kemampuan fundamental Intel Gaudi dalam mengeksekusi operasi komputasi untuk model-model transformer skala besar dengan kinerja per watt yang sangat baik.
• Bosch: Untuk lebih mengeksplorasi berbagai peluang untuk smart manufacturing, yang mencakup model-model mendasar yang menciptakan dataset sintetis dari anomali proses manufaktur untuk memberikan traning sets yang kuat dan terdistribusi secara merata (misalnya inspeksi optik otomatis).
• IBM: Dengan menggunakan prosesor 5th Gen Intel Xeon untuk IBM watsonx.data data store dan bekerjasama erat dengan Intel untuk memvalidasi platform watsonx platformuntuk Intel Gaudi accelerator.
• Ola/Krutrim: Untuk pra-pelatihan dan fine-tuning model fondasional India yang pertama dengan kemampuan generatif dalam 10 bahasa, sehingga menghasilkan rasio harga/kinerja terdepan di industri dibandingkan dengan solusi-solusi yang ada di pasar. Krutrim saat ini tengah melakukan pra-pelatihan untuk sebuah model fondasional yang lebih besar pada cluster Intel Gaudi 2.
• NielsenIQ, perusahaan portofolio Advent International: Untuk meningkatkan kemampuan GenAI dengan melatih LLM berdasarkan domain dalam database perilaku pembelian konsumen terbesar di dunia, sehingga meningkatkan penawaran layanan pelanggannya dengan tetap menarapkan standar privasi yang ketat.
• Seekr: Pemimpin dalam AI terpercaya menjalankan beban kerja produksi pada Intel Gaudi 2, Intel Data Center GPU Max Series dan prosesor Intel Xeon dalam Intel Tiber Developer Cloud untuk dukungan implementasi pengembangan dan pembuatan LLM.
• IFF: Pemimpin global di bidang makanan, minuman, aroma dan biosains akan memanfaatkan GenAI dan teknologi kembaran digital untuk membangun beban kerja biologi digital yang terintegrasi untuk optimalisasi desain enzim dan proses fermentasi canggih.
• CtrlS Group: Berkolaborasi untuk membangun supercomputer AI untuk para pelanggan yang berbasis di India dan meningkatkan layanan cloud CtrlS untuk India denga cluster Gaudi tambahan.
• Bharti Airtel: Dengan menggunakan kekuatan teknologi mutakhir Intel, Airtel berencana memanfaatkan data telekomunikasi yang kaya untuk meningkatkan kemampuan AI dan meningkatkan pengalaman para pelanggan. Penerapan ini akan sejalan dengan komitmen Airtel untuk terus berada di garis depan dalam inovasi teknologi dan membantu menciptakan aliran pendapatan baru dalam lanskap digital yang berkembang pesat.
• Landing AI: Melakukan fine-tuning untuk large vision model dengan domain spesifik untuk digunakan dalam segmentasi sel dan pendeteksian kanker. 
• Roboflow: Menjalankan produksi beban kerja model YOLOv5, YOLOv8, CLIP, SAM dan ViT untuk computer vision platform terintegrasi yang dimilikinya.
• Infosys: Pemimpin global dalam layanan dan konsultansi digital generasi berikutnya mengumumkan kolaborasi strategis untuk menghadirkan teknologi-teknologi Intel termasuk prosesor 4th dan 5th Gen Intel Xeon, Intel Gaudi 2 AI accelerator dan Intel Core Ultra dalam Infosys Topaz – rangkaian layanan, solusi dan platform  yang mengedepankan AI untuk mengakselerasi nilai bisnis dengan menggunakan teknologi generative AI.

Intel juga mengumumkan kolaborasi dengan Google Cloud, Thales dan Cohesity untuk memanfaatkan kemampuan Intel confidential computing dalam solusi-solusi cloud mereka. Teknologi Intel yang dikolaborasikan mencakup Intel Trust Domain Extensions (Intel TDX), Intel Software Guard Extensions (Intel SGX) dan Intel’s attestation service.

Para pelanggan dapat menjalankan berbagai model dan algoritma AI mereka dalam sebuah lingkungan eksekusi terpercaya (TEE) dan memanfaatkan Intel’s trust services untuk secara independent memverifkasi apakah TEE tersebut bisa dipercaya.

Ekosistem Berlomba untuk Mengembangkan Platform Terbuka untuk Enterprise AI

Melalui kerjasama dengan Anyscale, Articul8, DataStax, Domino, Hugging Face, KX Systems, MariaDB, MinIO, Qdrant, Red Hat, Redis, SAP, VMware, Yellowbrick dan Zilliz, Intel mengumumkan keinginan untuk menciptakan sebuah platform terbuka untuk enterprise AI.

Upaya di lingkungan industri yang luas ini bertujuan untuk mengembangkan sistem-sistem GenAI multivendor terbuka yang memberikan kemudahan dalam implementasi, kinerja dan nilai yang terbaik di kelasnya, yang didukung oleh retrieval-augmented generation (RAG).

RAG memungkinkan sumber data proprietary sangat besar yang berjalan dalam infrastruktur cloud standar dilengkapi dengan kemampuan LLM terbuka sehingga mempercepat penggunaan GenAI di perusahaan-perusahaan.

Sebagai langkah awal dalam upaya ini, Intel akan merilis implementasi acuan untuk GenAI pipeline dalam solusi-solusi berbasis Intel Xeon dan Gaudi yang aman, mempublikasikan kerangka kerja konseptual, dan terus menambah kapasitas infrastruktur dalam Intel Tiber Developer Cloud untuk pengembangan ekosistem dan validasi RAG dan pipeline di masa depan.

Intel mendorong partisipasi lebih lanjut dari ekosistem untuk bekerjasama dalam upaya terbuka ini guna memfasilitasi pengadopsian AI open perusahaan, memperluas cakupan solusi dan mengakselerasi hasil bisnis.

Roadmap AI yang Diperluas dan Pendekatan Ekosistem Terbuka dari Intel

Selain Intel Gaudi 3 accelerator, Intel memberikan informasi terbaru mengenai produk dan layanan generasi berikutnya di seluruh segmen enterprise AI.

Prosesor Intel Xeon 6 terbaru: Prosesor Intel Xeon menawarkan solusi-solusi yang berkinerja tinggi namun efisien untuk menjalankan solusi-solusi GenAI sat ini, termasuk RAG, yang menciptakan hasil sesuai bisnis yang spesifik dengan menggunakan data proprietary. Intel memperkenalkan brand baru untuk prosesor generasi berikutnya untuk data center, cloud dan edge: Intel Xeon 6.

Prosesor Intel Xeon 6 processors dengan Efficient-core (E-core) terbaru akan memberikan efisiensi yang luar biasa dan akan diluncurkan pada kuartal ini, sedangkan Intel Xeon 6 dengan Performance-core (P-cores) akan menawarkan kinerja AI yang meningkat dan akan diluncurkan segera setelah prosesor E-core.

Prosesor Intel Xeon 6 dengan E-core (nama sandi Sierra Forest):

• Peningkatan kinerja per watt 2.4x dan densitas rak 2.7x lebih baik dibandingkan dengan prosesor 2nd Gen Intel Xeon.
• Pelanggan dapat mengganti sistem lama dengan rasio hampir 3 banding 1, sehingga konsumsi energi berkurang secara drastis dan membantu memenuhi tujuan keberlanjutan.

 

Prosesor Intel Xeon 6 dengan P-core (nama sandi Granite Rapids):

• Menyertakan dukungan software untuk format data MXFP4, yang mengurangi next token latency hingga 6.5x dibandingkan prosesor 4th Gen Intel Xeon yang menggunakan FP16, dengan kemampuan menjalankan 70 miliar parameter model-model Llama-2.

Client, Edge dan Konektivitas: Intel mengumumkan momentum untuk client dan pembaruan pada roadmap untuk edge dan konektivitas, yang meliputi:

• Prosesor Intel Core Ultra memberi kekuatan bagi kemampuan-kemampuan baru untuk produktivitas, keamanan dan kreasi konten, sehingga memberikan motivasi besar bagi perusahaan-perusahaan untuk melakukan penyegaran dalam armada PC mereka. Intel mengharapkan untuk mengirim 40 juta AI PC pada 2024, dengan lebih dari 230 desain, dari PC ultra tipis hingga perangkat game genggam.
• Keluarga prosesor client Next-generation Intel Core Ultra (nama sandi Lunar Lake), diluncurkan pada 2024, akan memiliki lebih dari 100 platform tera operations per second (TOPS) dan lebih dari 45 neural processing unit (NPU) TOPS untuk AI PC generasi berikutnya.
• Intel mengumumkan produk silikon edge terbaru dalam keluarga produk prosesor Intel Core Ultra, Intel Core dan Intel Atom processor dan keluarga produk graphics processing unit (GPU) Intel Arc, yang menyasar pasar-pasar utama yang mencakup ritel, manufaktur industri dan Kesehatan. Penambahan baru dalam portofolio edge AI Intel akan tersedia pada kuartal ini dan akan didukung oleh Intel Tiber Edge Platform pada tahun ini.
• Melalui Ultra Ethernet Consortium (UEC), Intel memimpun jaringan Ethernet terbuka untuk AI fabrics, dengan memperkenalkan jajaran solusi-solusi Ethernet yang dioptimalkan untuk AI. Dirancang untuk mentransformasi proses scale-up dan scale-out AI fabrics berukuran besar, inovasi ini memungkinkan proses pelatihan dan inferensi untuk model-model yang semakin besar, dengan ukuran yang besarnya meningkat secara kelipatan dalam setiap generasinya. Lini produk tersebut mencakup Intel AI NIC, AI connectivity chiplets untuk integration ke dalam XPUs, sistem-sistem berbasis Gaudi, dan rangkaian desain AI interconnect acuan baik bersifat perangkat lunak maupun perangkat keras untuk Intel Foundry.

Portofolio Solusi Bisnis Intel Tiber

Intel mengumumkan portofolio solusi bisnis Intel Tiber untuk menyederhanakan penerapan software dan layanan enterprise, termasuk untuk GenAI.

Pengalaman terpadu memudahkan pada pelanggan dan pengembang enterprise untuk menemukan solusi-solusi yang cocok dengan kebutuhan mereka, mengakselerasi inovasi dan menciptakan nilai tanpa mengorbankan keamanan, ketaatan pada peraturan atau kinerja.

Pelanggan dapat mulai mengeksplorasi portofolio Intel Tiber mulai hari ini, dengan penggelaran menyeluruh direncanakan pada kuartal ketiga 2024. Pelajari lebih lanjut di website Intel Tiber.

Pengumuman yang dilakukan Intel dalam ajang Vision 2024 menegaskan komitmen perusahaan untuk membuat AI mudah diakses, terbuka dan aman bagi berbagai perusahaan di seluruh dunia.

Dengan berbagai solusi dan kolaborasi ini, Intel siap memimpin dalam revolusi AI, menciptakan nilai yang belum pernah ada sebelumnya bagi perusahaan-perusahaan di mana saja