Counterpoint 指出未來五年 AI 伺服器晶片逾1.3億顆 營收近2兆美元

研調機構Counterpoint Research最新研究指出，未來五年全球預計將有超過1.3億顆用於AI伺服器的GPU與AI ASIC，搭載先進封裝的運算端記憶體（on-compute memory），相關運算市場營收預計接近2兆美元。

Counterpoint研究團隊指出，隨著生成式AI與大型語言模型持續推升運算需求，AI半導體產業的發展重點正從提升邏輯晶片效能，進一步延伸至記憶體頻寬、晶片尺寸與資料傳輸效率等議題。

隨著AI算力需求快速成長，半導體產業面臨三項重要技術瓶頸Memory Wall（記憶體牆）、Performance Wall（效能牆）與Copper Wall（銅互連牆）。記憶體頻寬與資料搬移效率對AI加速器效能的影響日益增加，也使先進封裝、HBM及新型記憶體架構受到更多關注。

目前高階AI加速器廣泛採用HBM，並透過先進封裝提升運算晶片與記憶體之間的資料傳輸效率。以台積電CoWoS為代表的先進封裝技術廣泛應用於AI GPU與ASIC。

隨著AI晶片規模持續擴大，傳統HBM搭配矽中介層（Silicon Interposer）的架構，也需要進一步考量成本、封裝厚度、良率、產能及整體製造效率。因此，產業正探索不同技術路線，以縮短運算與記憶體之間的距離，並降低資料搬移所產生的功耗。

Counterpoint Research指出，英特爾正透過EMIB、ZAM與XBM等技術探索不同的記憶體與封裝架構。其中，EMIB已進入商用階段；ZAM著眼於HBM4世代的應用機會；XBM則進一步探索未來記憶體介面與晶片整合方式。

目前台積電在大規模製造、技術成熟度及JEDEC標準生態系方面具備既有基礎，而其他新型架構的發展與採用，仍將取決於量產進度、客戶與記憶體供應商支持，以及散熱與系統整合等因素。

除了持續改善HBM與先進封裝，AI晶片業者也開始從系統架構角度探索改善Memory Wall的方法。

高通提出High Bandwidth Compute（HBC）採取不同的設計方向。相較於傳統AI加速器將HBM與XPU配置於矽中介層上，HBC嘗試將運算晶片置於3D堆疊LPDDR記憶體下方，透過Wafer-to-Wafer Bonding，使部分運算功能更接近記憶體。此架構的核心概念在於減少資料在記憶體與運算單元之間的移動，以降低資料傳輸所產生的功耗與延遲。

從封裝角度來看，HBC不需要傳統HBM架構所使用的大型矽中介層，並可能提供不同的記憶體供應與系統設計選擇；另一方面，Wafer-to-Wafer整合也帶來製造、良率與封裝等新的技術要求。目前HBC仍處於早期發展階段。第一代產品預計於2027年中開始送樣，第二代預計於2028年推出，其實際效能、量產能力及軟體生態系仍有待後續發展與驗證。

Counterpoint Research共同創辦人兼研究副總裁Neil Shah認為，隨著AI模型規模與資料量持續增加，提升AI系統效能將不再僅依賴製程微縮與運算核心擴展，如何提高記憶體頻寬、降低資料搬移，以及改善封裝與互連效率，也將成為下一代AI運算架構的重要發展方向。