發表
我的網誌
當日盤勢重點：《8 月營收月、年雙增，Q4 出貨看增，股價重返多頭》
1. AI模型記憶體用量爆炸增長，容量不足問題浮現
2. HBM難以提供充足容量，GPU閒置成本高昂
3. 兩大方案擺脫容量限制，HBF成明日新星？！
4. 兩檔概念股稱勢起飛！
先前我們在《南亞科領頭上攻，Google新品引爆儲存需求？！》一文有提到，AI浪潮的驅動下下，生成式AI從文字、圖片再到影音，掀起儲存需求爆發，進而驅動市場對於記憶體規格與需求的全面提升。而在這背後，大型語言模型(LLM)能力的效率的持續突破，也讓市場遇到新的問題，即AI模型已開始面臨GPU內記憶體容量瓶頸。
AI模型記憶體用量爆炸增長，容量不足問題浮現
自OpenAI的ChatGPT推出以來，在參數數量呈現爆炸性增長，從2018年GPT-1的1.17億，到2022年GPT-3.5的1,750億個參數，到最新的GPT-5約3~5兆的參數，過去8年成長幅度至少2萬5千倍以上。
此外，為提供使用者更完整、精確的對話內容，每一代版本的升級在tokens方面也大幅提升。GPT-1推出時僅僅能支援512個tokens，來到GPT-3.5就成長至4,096個，再到最新的GPT-5已上看至400,000 tokens。換句話說，這種數量上的提升也讓模型在訓練與推論時對於記憶體空間要求大幅增加，模型在記憶體的用量更是大幅成長超過百倍到千倍！
反觀，目前AI伺服器內GPU所用的記憶體是高頻寬HBM(High Bandwidth Memory)，由堆疊式DRAM組成。以輝達(NVIDIA)舉例，在AI GPU中的HBM記憶體容量方面，從2017年推出配備32GB HBM2的V100，到2026年即將量產配備288GB HBM3e的B300，過去8年記憶體容量也僅僅成長9倍，對比AI模型動輒成長數十、上百倍的用量，GPU記憶體不足的問題已明確浮現。
HBM難以提供充足容量，GPU閒置成本高昂
難道這些科技大廠都沒有發現記憶體是個問題嗎？不是再增加一些HBM記憶體就能解決了嗎？以主流的AI GPU伺服器架構來看，一般由8組的GPU透過NV Link等互連技術串接，在考慮到GPU晶片封裝與接腳布線等限制下，最多僅能匯聚1~2 TB的HBM記憶體。因此，如需要更多的記憶體容量，就必須加入更多的GPU伺服器相連才得以一起提供模型使用。
但只是為了記憶體而買入更多GPU卻很不划算，因為AI GPU相當昂貴，買來只是為了裡面的HBM，GPU就會有利用率與閒置的情況發生，極度缺乏成本效益。雖然在AI浪潮的擴張階段，CSP大廠們還不會斤斤計較成本問題，但在未來一旦要面對資料中心的成本轉換效率時，就不得不去考慮GPU的利用率。
兩大方案擺脫容量限制，HBF成明日新星？！
＊本文章之版權屬筆者與CMoney全曜財經，未經許可嚴禁轉載，否則不排除訴諸法律途徑。
＊本文章所提供資訊僅供參考，並無任何推介買賣之意，投資人仍須謹慎評估，自行承擔交易風險。
