人工智能(AI)浪潮推升晶片需求,市場焦點過去多年集中在輝達(NVIDIA),但隨著AI應用從模型訓練逐漸轉向大規模推理,一批專注特殊用途晶片的新創企業開始浮現,其中來自美國矽谷的AI晶片公司D-Matrix,正試圖以低功耗、高效率的推理晶片切入已長期主導的AI資料中心市場。
D-Matrix成立於2019年,主要目標並非直接取代輝達在AI訓練市場的GPU,而是鎖定生成式AI普及後快速成長的「AI推理」需求,透過專為推理任務打造的加速器,降低企業部署大型AI服務時面臨的能源成本與延遲問題。
目前AI產業仍由輝達GPU掌握核心地位,尤其在大型語言模型(LLM)訓練領域,CUDA軟體生態與硬體優勢形成強大護城河。
不過,隨著雲端巨頭持續擴大AI基礎建設投資,市場對不同類型AI加速晶片的需求增加,也讓新創企業迎來切入機會。
處理小型算力任務速度可達輝達GPU的10倍
D-Matrix認為,推理工作與模型訓練需求不同,更重視低延遲、低功耗與成本效率,因此不一定需要使用高階GPU,而是可以透過專用晶片完成。
《金融時報》報告指出,包括D-Matrix、Groq與Cerebras等AI晶片新創,都正在尋找突破輝達主導地位的方法,並聚焦於AI推理市場,希望受惠AI技術繁榮帶來的紅利。
Cerebras執行長Andrew Feldman受訪表示:“戰勝巨頭的辦法就是推出遠勝於它的產品,以我的經驗來看,更好的產品通常會勝出。”
D-Matrix推出的核心產品為Corsair AI加速平台,採用數位記憶體內運算(Digital In-Memory Compute, DIMC)架構,試圖解決傳統AI晶片中「運算單元與記憶體距離過遠」造成的資料搬移瓶頸。
公司表示,AI推理過程大量涉及資料傳輸,而傳統GPU架構需要頻繁在處理器與記憶體間交換資料,造成能源消耗與延遲增加。 D-Matrix透過將運算能力更靠近記憶體,希望提升效率。
根據D-Matrix公佈資料,Corsair平台主打AI推理應用,號稱在處理小型算力任務時,速度可達輝達GPU的10倍,能耗僅為5分之1,試圖在AI數據中心推理市場切入輝達長期主導的高效運算版圖。
D-Matrix採用基於SRAM的記憶體內運算架構,減少對傳統外部記憶體頻繁存取的需求。
D-Matrix股東包括微軟、淡馬錫
D-Matrix推出Corsair AI推理晶片後,市場也開始重新檢視輝達在AI晶片市場的競爭壓力。消息公佈後,輝達股價在6月9日盤中一度受到壓力,最低下探至199.34美元,跌幅達4.5%,重新跌破200美元關卡;不過市場拋售情緒隨後收斂,終場僅下跌0.22%,收在208.19美元。
D-Matrix的發展也受到大型科技公司的關注。路透社等媒體通報,D-Matrix曾獲微軟旗下創投基金M12投資,2023年完成1.1億美元募資,投資人包括新加坡淡馬錫(Temasek)與微軟M12等。
到了後續融資階段,彭博報告指出,D-Matrix完成2.75億美元募資,公司估值達約20億美元,投資人包括卡達投資局、新加坡企業發展局(EDBI)、淡馬錫,以及微軟M12等既有投資人。
D-Matrix聯合創辦人兼執行長Sid Sheth受訪時表示,「這是一個正在形成的上兆美元市場」。 Sid Sheth不願透露Corsair具體客戶有哪些,但他透露,許多知名超大規模資料中心、AI實驗室已承諾採購,Corsair預計本月開始出貨,其中9成客戶都在美國,海外客戶則在中東和東南亞。
(示意圖)
D-Matrix晶片由台積電代工
除了資金支持外,D-Matrix晶片也與台灣半導體供應鏈連結。市場消息傳出,其晶片由台積電負責代工,顯示台積電不僅支撐輝達GPU供應,也成為新興AI晶片公司的重要製造夥伴。
儘管D-Matrix宣稱產品具備速度與能源效率優勢,但分析指出,D-Matrix晶片仍有明顯缺點,尤其無法承載超大參數推理模型,意味著其短期定位較偏向小型推理、企業級AI應用與特定工作負載,而非全面取代輝達GPU。
輝達不只提供GPU硬件,更擁有CUDA軟體平台、生態系統以及與全球雲端服務商長期合作關係,這些都是新創晶片公司難以快速複製的優勢。
分析師指出,投資人真正擔心的並非D-Matrix直接取代輝達GPU,而是AI晶片市場可能逐漸分化。過去輝達憑藉GPU硬體、CUDA軟體生態係以及與雲端服務商的深度合作,在AI訓練市場建立難以撼動的優勢。
但隨著AI模型部署規模擴大,推理階段所消耗的算力與能源成本快速增加,低功耗、高效率的專用晶片可能成為新的成長領域。
不過,華爾街人士認為,輝達短期內仍具備明顯優勢。原因在於大型AI模型訓練與高階運算需求,仍高度依賴GPU架構,而D-Matrix目前主要聚焦在特定推理場景,未來D-Matrix能否憑藉Corsair平台,在AI推理市場殺出重圍,值得持續觀察。
讀報知天下事:輝達GPU的挑戰者速度可快10倍?
