此舉旨在突破 AI 晶片瓶頸，將 GPU 核心置入 HBM 基底裸晶，實現更快速的運算，但空間、功耗與散熱是 GPU 整合 HBM 的挑戰。為了突破 AI 計算效能的天花板，NVIDIA 竟打算把 GPU「塞進」高頻寬記憶體（HBM）裡！根據韓媒《ETNews》報導，NVIDIA 與 Meta、三星電子、SK 海力士等科技大廠，正研究將 GPU 核心內建在下一代 HBM 的技術方案，試圖打造更高效、節能的 AI 晶片架構。 根據報導，這項技術的核心目標，是打破傳統處理器與記憶體分離的限制，讓運算與儲存能在一個模組中完成，縮短資料傳輸距離、降低延遲與功耗。具體來說，是把 GPU 核心直接植入 HBM 的基底裸晶（Base Die）中，讓 HBM 不再只是記憶體，而成為具備運算能力的元件。 明年 HBM4 就要量產，整合控制器只是第一步 目前市面上的 HBM 主要靠堆疊多層 DRAM 晶片來提升頻寬與容量，最底層的基底裸晶主要負責記憶體與主處理器、其他模組之間的通訊。而預計明年量產的 HBM4 已計畫將控制器內建於基底裸晶，這次傳出 NVIDIA 的方案，則是在此基礎上更進一步，嘗試將部分 GPU 核心直接整合進去，代表記憶體模組本身也能進行運算，實現所謂的「存內計算」（In-Memory Computing）。 這樣的技術若能實現，不只能減少資料來回主 GPU 的傳輸瓶頸，也可分散運算負載、降低整體功耗，是目前 AI 晶片設計面臨瓶頸下的潛在解方。 難題還不少：空間、功耗、散熱全是挑戰 不過這樣的設計也面臨不少技術難關。首先，HBM 基底裸晶的體積本就有限，能塞入 GPU 核心的空間極為有限；再者，GPU 屬於高功耗單元，若直接植入 HBM 會產生相當熱量，如何處理供電與散熱，將是這項技術是否能商用化的關鍵。 NVIDIA 與 Meta 雖然已經與三星、SK 海力士展開合作洽談，但目前仍在研究階段，距離實際應用還有一段路要走。   延伸閱讀：HBM 之父預言：NVIDIA 可能收購美光、SanDisk，掌握 AI 主導權從 GPU 轉向記憶體 延伸閱讀：HBM戰火再起！三星HBM4送樣，挑戰美光頻寬極限 延伸閱讀：DDR5獲利將超車HBM3e？雲端需求引爆記憶體市場新戰局  加入T客邦Facebook粉絲團此舉旨在突破 AI 晶片瓶頸，將 GPU 核心置入 HBM 基底裸晶，實現更快速的運算，但空間、功耗與散熱是 GPU 整合 HBM 的挑戰。為了突破 AI 計算效能的天花板，NVIDIA 竟打算把 GPU「塞進」高頻寬記憶體（HBM）裡！根據韓媒《ETNews》報導，NVIDIA 與 Meta、三星電子、SK 海力士等科技大廠，正研究將 GPU 核心內建在下一代 HBM 的技術方案，試圖打造更高效、節能的 AI 晶片架構。 根據報導，這項技術的核心目標，是打破傳統處理器與記憶體分離的限制，讓運算與儲存能在一個模組中完成，縮短資料傳輸距離、降低延遲與功耗。具體來說，是把 GPU 核心直接植入 HBM 的基底裸晶（Base Die）中，讓 HBM 不再只是記憶體，而成為具備運算能力的元件。 明年 HBM4 就要量產，整合控制器只是第一步 目前市面上的 HBM 主要靠堆疊多層 DRAM 晶片來提升頻寬與容量，最底層的基底裸晶主要負責記憶體與主處理器、其他模組之間的通訊。而預計明年量產的 HBM4 已計畫將控制器內建於基底裸晶，這次傳出 NVIDIA 的方案，則是在此基礎上更進一步，嘗試將部分 GPU 核心直接整合進去，代表記憶體模組本身也能進行運算，實現所謂的「存內計算」（In-Memory Computing）。 這樣的技術若能實現，不只能減少資料來回主 GPU 的傳輸瓶頸，也可分散運算負載、降低整體功耗，是目前 AI 晶片設計面臨瓶頸下的潛在解方。 難題還不少：空間、功耗、散熱全是挑戰 不過這樣的設計也面臨不少技術難關。首先，HBM 基底裸晶的體積本就有限，能塞入 GPU 核心的空間極為有限；再者，GPU 屬於高功耗單元，若直接植入 HBM 會產生相當熱量，如何處理供電與散熱，將是這項技術是否能商用化的關鍵。 NVIDIA 與 Meta 雖然已經與三星、SK 海力士展開合作洽談，但目前仍在研究階段，距離實際應用還有一段路要走。   延伸閱讀：HBM 之父預言：NVIDIA 可能收購美光、SanDisk，掌握 AI 主導權從 GPU 轉向記憶體 延伸閱讀：HBM戰火再起！三星HBM4送樣，挑戰美光頻寬極限 延伸閱讀：DDR5獲利將超車HBM3e？雲端需求引爆記憶體市場新戰局  加入T客邦Facebook粉絲團