อินเทล ทลายทุกข้อจำกัด นำเสนอความสามารถในการก้าวสู่ GenAI ระดับองค์กร ตัวเร่งความเร็ว AI Intel Gaudi 3 มอบตัวเลือกสำหรับ Generative AI ให้แก่องค์กรทั่วโลก โดยเป็นการต่อยอดประสิทธิภาพและความสามารถการปรับขนาดของ Gaudi 2 รุ่นก่อนหน้า

ประเด็นใหม่: ภายในงาน Intel Vision อินเทลได้มีการนำเสนอตัวเร่งความเร็ว AI Intel® Gaudi® 3 ตัวใหม่ ที่มีความสามารถในด้านการคำนวณ AI มากถึง  4 เท่า สำหรับข้อมูลประเภท BF16 มีแบนด์วิธหน่วยความจำเพิ่มขึ้น 1.5 เท่า และมีความกว้างของเครือข่ายเพิ่มขึ้น 2 เท่า เมื่อเทียบกับรุ่นก่อนหน้า ซึ่งนับเป็นก้าวสำคัญในการฝึกอบรมโมเดลปัญญาประดิษฐ์ การอนุมานโมเดลภาษาขนาดใหญ่ (LLM) และโมเดลหลากหลายรูปแบบ โดยจากผลการทดสอบประสิทธิภาพของตัวเร่งความเร็ว AI Intel® Gaudi® 2 พบว่า มีเพียงตัวทดสอบ MPerf เพียงอย่างเดียวสำหรับ LLMs ในตลาด โดยอินเทลได้มอบทางเลือกให้กับลูกค้าด้วยซอฟต์แวร์แบบเปิดและเครือข่ายอีเธอร์เน็ตมาตรฐานอุตสาหกรรมเพื่อขยายระบบของพวกเขาได้อย่างยืดหยุ่นมากขึ้น

จัสติน โฮทาร์ด (Justin Hotard) รองประธานและผู้จัดการทั่วไปฝ่าย Data Center และ AI กล่าวว่า “ในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของตลาด AI ยังคงมีช่องว่างที่สำคัญในการนำเสนอสินค้าของเรา โดยจากผลตอบรับจากลูกค้าของเราและตลาดโดยรวมสามารถช่วยตอกย้ำถึงความต้องการของทางเลือกที่เพิ่มขึ้น องค์กรต่าง ๆ อาจชั่งน้ำหนักการพิจารณาอื่นๆ เช่น ความพร้อมใช้งาน ความสามารถในการขยาย ประสิทธิภาพ ต้นทุน และประสิทธิภาพการใช้พลังงาน โดย Intel Gaudi 3 โดดเด่นในฐานะทางเลือกสำหรับ GenAI ที่นำเสนอการผสมผสานที่น่าสนใจระหว่างประสิทธิภาพด้านราคา ความสามารถในการขยายระบบ และความได้เปรียบด้านเวลาต่อมูลค่า”

สาระสำคัญ: ในปัจจุบันองค์กรทั่วไปในภาคอุตสาหกรรมที่สำคัญ เช่น การเงิน การผลิต และสุขภาพ กำลังมองหาเส้นทางที่รวดเร็วในการเข้าถึงเทคโนโลยี AI และการเข้าถึง GenAI จากช่วงทดลองไปสู่การใช้งานอย่างเต็มรูปแบบ สำหรับการจัดการการเปลี่ยนแปลงและการกระตุ้นนวัตกรรมและปฏิบัติการเติบโตทางรายได้ องค์กรธุรกิจต่างต้องการโซลูชันและผลิตภัณฑ์ที่เปิดเผย มีราคาที่เหมาะสม และมีประสิทธิภาพในการใช้พลังงานมากขึ้น ซึ่งตอบสนองต่อความต้องการในการลงทุนเพื่อกำไรและประสิทธิภาพการดำเนินงาน

โดยตัวเร่งความเร็ว Intel Gaudi 3 จะตอบสนองความต้องการเหล่านี้และนำเสนอความหลากหลายผ่านซอฟต์แวร์บนชุมชนแบบเปิดและอีเธอร์เน็ตมาตรฐานอุตสาหกรรมแบบเปิด ช่วยให้ธุรกิจต่าง ๆ สามารถปรับขนาดระบบ AI และช่วยให้เข้าถึงแอปพลิเคชันได้อย่างยืดหยุ่น

สถาปัตยกรรมที่ปรับเปลี่ยนได้ ส่งผลต่อประสิทธิภาพของ GenAI อย่างไร: ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบทางสถาปัตยกรรมเพื่อการประมวลผล AI ขนาดใหญ่ที่มีประสิทธิภาพ ผลิตขึ้นบนกระบวนการ 5 นาโนเมตร (nm) และมีความก้าวหน้าที่สำคัญมากกว่ารุ่นก่อน ตัวเร่งความเร็วรุ่นใหม่นี้ถูกออกแบบมาให้สามารถเปิดใช้งานเครื่องมือทั้งหมดพร้อมกัน ทั้ง Matrix Multiplication Engine (MME), Tensor Processor Cores (TPC) และ Networking Interface Cards (NIC) ทั้งหมดนี้ช่วยในการเร่งความเร็วที่จำเป็นสำหรับการคำนวณและการเรียนรู้เชิงลึกที่รวดเร็วและมีประสิทธิภาพ โดยมีคุณสมบัติที่สำคัญ ได้แก่:

เครื่องประมวลผลเฉพาะด้าน AI: ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบมาเพื่อให้มีประสิทธิภาพสูง การประมวลผล GenAI ประสิทธิภาพสูง ตัวเร่งความเร็วแต่ละตัวมีคุณลักษณะเฉพาะของกลไกการคำนวณที่แตกต่างกัน ซึ่งประกอบด้วย TPC แบบกำหนดเองโดย AI และแบบตั้งโปรแกรมได้ 64 ตัว และ MME 8 ตัว Intel Gaudi 3 MME แต่ละตัวมีความสามารถในการดำเนินการแบบขนานที่น่าประทับใจถึง 64,000 รายการ ทำให้มีประสิทธิภาพในการประมวลผลในระดับสูง เชี่ยวชาญในการจัดการการดำเนินการเมทริกซ์ที่ซับซ้อน ซึ่งเป็นประเภทของการคำนวณที่เป็นพื้นฐานของอัลกอริธึมการเรียนรู้เชิงลึก การออกแบบที่เป็นเอกลักษณ์นี้ช่วยเร่งความเร็วและประสิทธิภาพของการทำงานของ AI แบบคู่ขนาน และรองรับข้อมูลหลายประเภท รวมถึง FP8 และ BF16

Memory Boost สำหรับความต้องการความจุ LLM: ความจุหน่วยความจำขนาด HBMe2 128 กิกะไบต์ (GB) แบนด์วิธหน่วยความจำขนาด 3.7 เทราไบต์ (TB) และ 96 เมกะไบต์ (MB) ของหน่วยความจำเข้าถึงโดยสุ่มแบบคงที่ (SRAM) บนบอร์ด ให้หน่วยความจำที่เพียงพอสำหรับการประมวลผลชุดข้อมูล GenAI ขนาดใหญ่ บน Intel Gaudi 3 ที่น้อยลง ซึ่งมีประโยชน์อย่างยิ่งในการรองรับภาษาขนาดใหญ่และโมเดลหลายรูปแบบ ส่งผลให้ประสิทธิภาพเวิร์กโหลดเพิ่มขึ้นและประสิทธิภาพด้านต้นทุนของศูนย์ข้อมูล

การปรับขนาดระบบที่มีประสิทธิภาพสำหรับ GenAI ระดับองค์กร: การรวมพอร์ตอีเธอร์เน็ต 200 กิกะบิต (Gb) จำนวน 24 พอร์ตเข้ากับตัวเร่งความเร็ว Intel Gaudi 3 ทุกตัว จะทำให้เกิดเครือข่ายที่ยืดหยุ่นและสามารถเปิดใช้งานได้ตามมาตรฐาน ส่งผลให้ให้สามารถปรับขนาดได้อย่างมีประสิทธิภาพเพื่อรองรับคลัสเตอร์การประมวลผลขนาดใหญ่ และกำจัดการล็อคอินของผู้ขายจากแฟบริคเครือข่ายที่เป็นกรรมสิทธิ์ ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบมาเพื่อการขยายขนาดอย่างมีประสิทธิภาพจากโหนดเดียวไปจนถึงหลายพันโหนด เพื่อตอบสนองความต้องการขนาดใหญ่ของโมเดล GenAI ได้อย่างเหมาะสม

ซอฟต์แวร์อุตสาหกรรมแบบเปิดเพื่อประสิทธิภาพการทำงานของนักพัฒนา: ซอฟต์แวร์ของ Intel Gaudi ได้ผสานรวมเฟรมเวิร์ก PyTorch และมอบโมเดลตาม Hugging Face ที่ได้รับการปรับปรุง ซึ่งเป็นเฟรมเวิร์ก AI ที่พบบ่อยที่สุดสำหรับนักพัฒนา GenAI ในปัจจุบัน โดยสิ่งนี้จะช่วยให้นักพัฒนา GenAI สามารถทำงานในระดับสูง และได้รับความสะดวกในการใช้งานและการโยกย้ายโมเดลระหว่างชนิดฮาร์ดแวร์ได้โดยง่าย

Gaudi 3 PCIe: สิ่งที่เพิ่มเข้ามาในสายผลิตภัณฑ์ Gaudi 3 คือ การ์ดเสริม Peripheral Component Interconnect Express (PCIe) ซึ่งถูกออกแบบมาเพื่อให้มีประสิทธิภาพสูงพร้อมกับการใช้พลังงานต่ำ เหมาะอย่างยิ่งสำหรับปริมาณงาน อย่างการปรับแต่งแบบละเอียด การอนุมาน และการสร้างเสริมการดึงข้อมูล (RAG) ที่มีขนาดเต็มสูงที่ 600 วัตต์ พร้อมความจุหน่วยความจำ 128GB และแบนด์วิธ 3.7TB ต่อวินาที

ตัวเร่งความเร็ว Intel Gaudi 3 จะช่วยปรับปรุงประสิทธิภาพที่สำคัญสำหรับงานฝึกอบรมและการอนุมานในโมเดล GenAI ชั้นนำ โดยเฉพาะอย่างยิ่ง ตัวเร่งความเร็ว Intel Gaudi 3 คาดว่าจะส่งมอบโดยเฉลี่ยเมื่อเทียบกับ Nvidia H100:

ใช้เวลาฝึกเร็วขึ้น 50%1 สำหรับพารามิเตอร์ Llama2 7B และ 13B และโมเดลพารามิเตอร์ GPT-3 175B

ปริมาณงานการอนุมานเร็วขึ้น 50%2 และประสิทธิภาพพลังงานการอนุมานเพิ่มขึ้น 40%3 ในพารามิเตอร์ Llama 7B และ 70B และโมเดลพารามิเตอร์ Falcon 180B ข้อได้เปรียบด้านประสิทธิภาพการอนุมานที่ดียิ่งขึ้นในลำดับอินพุตและเอาต์พุตที่ยาวขึ้น

การอนุมานเร็วขึ้น 30%4 บนพารามิเตอร์ Llama 7B และ 70B และโมเดลพารามิเตอร์ Falcon 180B เทียบกับ Nvidia H200

ข้อมูลเกี่ยวกับการนำไปใช้ในตลาดและความพร้อมใช้งาน: ตัวเร่งความเร็ว Intel Gaudi 3 จะพร้อมให้บริการในไตรมาสที่สองของปี  2567 นี้ ผ่านผู้ผลิตอุปกรณ์ (OEMs) อาทิ Dell Technologies, HPE, Lenovo, และ Supermicro ในมาตรฐานอุตสาหกรรมของ Universal Baseboard และ open accelerator module (OAM) ทั้งนี้ ความพร้อมใช้งานทั่วไปของตัวเร่งความเร็ว Intel Gaudi 3 คาดว่าจะวางจำหน่ายในไตรมาสที่สามของปี 2567 และการ์ดเสริม Intel Gaudi 3 PCIe คาดว่าจะวางจำหน่ายในไตรมาสสุดท้ายของปี 2567

นอกจากนี้ ตัวเร่งความเร็ว Intel Gaudi 3 ยังขับเคลื่อนโครงสร้างพื้นฐาน LLM ในคลาวด์ ที่คุ้มต้นทุนสำหรับการฝึกอบรมและการอนุมาน โดยได้มีการเสนอข้อได้เปรียบด้านประสิทธิภาพด้านราคาและทางเลือกให้กับองค์กรที่ขณะนี้รวม NAVER ไว้ด้วย

นักพัฒนาสามารถเริ่มต้นใช้งานได้ตั้งแต่วันนี้ ผ่าน Gaudi 2-based instances  บนระบบคลาวด์ของนักพัฒนา เพื่อเรียนรู้ สร้างต้นแบบ ทดสอบ และรันแอปพลิเคชันและเวิร์คโหลด

จะเป็นอย่างไรต่อไป:  ตัวเร่งความเร็ว Intel Gaudi 3 จะเป็นรากฐานสำหรับ Falcon Shores ซึ่งเป็นหน่วยประมวลผลกราฟิก (GPU) ยุคถัดไปของอินเทล ในเรื่องของ AI และการประมวลผลประสิทธิภาพสูง (HPC) โดย Falcon Shores จะรวมทรัพย์สินทางปัญญา (IP) ของ Intel Gaudi และ Intel® Xe เข้ากับอินเทอร์เฟซการเขียนโปรแกรม GPU เดียวที่สร้างขึ้นบนข้อกำหนด Intel® oneAPI