研華科技攜手群聯電子，打造更便利的AI模型微調解決方案

台北，6月4日，2024 – 生成式人工智慧（Generative AI, GenAI）的出現已讓 AI 助手在各個領域廣泛使用，包括製造業、商業環境、教育、醫療保健、法律和會計領域、銀行業。許多新的 AI 應用正在逐步出現。認識到這一趨勢，全球邊緣運算領導廠研華科技（TWSE：2395）宣布與 NAND 控制器和 NAND 存儲解決方案領先供應商群聯（TWSE：8299））合作，共同推出專為邊緣和工業應用量身定制的 GenAI 解決方案。整合現今AI應用做設計，讓企業導入AI可以省下大量成本，同時有更好的效能。

現今的AI 伺服器以GPU來進行AI運算，而GPU模組卡上的HBM記憶體(High Bandwidth Memory) 容量則是影響整體AI運算效能以及AI模型參數大小的關鍵。群聯的aiDAPTIV+對AI模型運算進行架構的調整，通過其獨家的專利SSD技術整合GPU卡上的HBM記憶體，並將大型AI模型進行結構性拆分後，與SSD協同運行，使得在有限的GPU與DRAM資源下也能夠訓練大型的AI模型；更重要的是，群聯的aiDAPTIV+方案完整相容於現今市場上的所有主流的AI運算架構與GPU卡。換言之，經過aiDAPTIV+架構調整後可以大幅降低AI基礎建設的硬體成本，並同時提高運算效率，並且在相同的AI模型微調訓練運算條件下，所需的整體電力較少，也符合當前減少能源消耗和碳足跡的環保趨勢。

以擁有700億個參數量的Llama2為例，僅需採用8顆輝達A6000的RTX顯卡驅動，搭配微調運算，中文AI模型的精準率可達92%，甚至台語、客語也都超過85%的精準率。進行成本則約落在150萬新台幣。這與動輒就需要千萬甚至上億的費用的解決方案相比，有助於AI的普及。效能上，平均也可以提升1.13倍。

硬體的部分，SKY-602E3塔型伺服器，搭載AMD EPYC™ 8004 系列處理器，支援 4 個 PCIe 5.0 x16 雙槽全高/10.5" 卡片，並可搭載2 個M.2 2280 PCIe 5.0 SSD，可以支援四張GPU卡與兩張Phison aiDAPTIV+ SSD 達成群聯的aiDAPTIV+ AI運算架構的最佳化。SKY-602E3在設計也適用於多種環境，可安裝於桌面以便於存取，也可以安裝在牆面上以節省空間，或者有效地利用兩個單位裝入4U機架空間，展示其卓越的空間效率。這種適應性使得SKY-602E3成為各種AI領域操作環境的理想選擇。

HPC-7420+ASMB-807工業級伺服器，搭載Intel® Xeon® W系列處理器，DDR5 5600 MHz RDIMM，可支援3 槽PCIe 5.0 x16、1槽 PCIe 5.0 x8、2槽PCIe 4.0 x4，處理器最高更是可支援到Intel最高規格385W。搭配HPC-7420機箱，可於最佳解熱效能的環境下進行AI AOI的應用，協助工廠端產線效率提升，更精準的辨識產線上的各類瑕疵。

欲瞭解更多研華伺服器解決方案，請造訪 👇

 https://www.advantech.com/zh-tw/solutions/industrial-and-telecom-servers

關於研華 

研華為物聯網智能系統與嵌入式平台產業之全球領導廠商，並以「智能地球的推手」作為企業品牌願景。為迎接物聯網、大數據與人工智慧之大趨勢，研華提出以工業物聯網雲平台WISE PaaS為核心之物聯網軟、硬體解決方案，以協助夥伴客戶串接產業鏈；此外，亦積極偕同各產業夥伴「共創」產業生態圈，以加速實踐產業智能化之目標。（www.advantech.com）