發表
我的網誌
圖 / Shutterstock
本文你將看到
- 何謂NPU（神經處理單元）
- Intel 的 Meteor Lake 處理器架構
- Meteor Lake上的神經網路處理單元 (NPU)
- AMD 發表 Ryzen Pro 超越Intel Meteor Lake
- Qualcomm 再次以全新 Arm 架構 PC SoC 叩關市場
- 下一代的 Apple Silicon 據稱已接近正式生產階段
- Donan、Brava 、 Hidra
- AI 效能決勝負
- 軟體生態仍待成熟，硬體先行
- Intel CEO Pat Gelsinger 展示新一代筆電晶片 Lunar Lake，透露 AI 工作負載中擁有超過 100 TOPS 的運算力
- AMD 與 Qualcomm 的反擊，AMD表示將持續領先Intel，Qualcomm 將在年中率先發布新晶片
- Intel 仍於銷量領先
- Apple Mac銷售下滑，須觀察Apple是否推出AI應用
- AI產業的關鍵問題，雞生蛋還是蛋生雞?
何謂NPU（神經處理單元）
NPU，全稱為神經處理單元（Neural Processing Unit），是一種專門為加速機器學習算法，特別是為深度學習神經網絡的運算而設計的專用硬件加速器。與CPU和GPU相比，NPU在架構上更專注於高吞吐量的數學運算，如張量和矩陣乘法，這些運算是當今人工智慧應用中最常見和最關鍵的部分。NPU的設計允許它在執行深度學習模型時，能夠提供更高效率和低能耗的表現，特別是在移動設備和邊緣計算設備中。我們將在後文中詳細介紹市場中的主要競爭者。
Intel 的 Meteor Lake 處理器架構
首先，Intel (Intc) 將晶片封裝方式稱為「拼接」（tiled）架構，但其他業界對應的名詞則是「晶片」（chiplet）。實際上，這兩個術語之間並沒有太多技術上的區別。Meteor Lake 由四個 active tile 組成，裝載在單一被動的中間基板上：計算（CPU）區(tile)、繪圖（GPU）區、SoC(System on Chip) 區與 I/O(input output) 區。這些單元都是 Intel 設計、使用 Intel 架構。但IO、SoC 與 GPU 的外部單元是由台積電製造，只有 CPU 由 Intel 使用 Intel 4 製程生產。這四個 active tile 都建立在 Intel 產製的 Foveros 3D(Intel 開發的一種晶片封裝技術) 底層晶片上，Foveros 能夠以足夠高的頻寬、足夠低的延遲來連結不同功能的單元，讓這些晶片能夠如同單一個晶片般順暢運作。
而Meteor Lake 有三個可以處理 AI 負載的運算單元：CPU、NPU(位於SoC 區) 與 GPU。AI 工作負載將會根據任務需求分派到相應的單元。
Meteor Lake上的神經網路處理單元 (NPU)
Intel 的神經網路處理單元（Neural Processing Unit，NPU）是專為持續性 AI inference 工作負載設計（並非 AI 訓練）的專用 AI 引擎。Meteor Lake 除了 NPU 也包含 CPU、GPU 以及 GNA （Gaussian and Neural Accelerator，高斯與神經加速器），能夠執行各式多樣的 AI 工作。NPU 主要負責背景任務，而 GPU 則用於更大量的平行運算。CPU 則是處理輕量、低延遲的 inference 工作。
某些 AI 工作負載能夠同時於 NPU 與 GPU 上執行，Intel 也提供了機制讓開發者能夠針對手邊應用的需求，將工作分散至不同運算層級，最終能在降低功耗的同時提升效能，事實上，AI 加速 NPU 最主要的目標，就是讓效能提升 8 倍之多並大幅減少電力消耗。
現今許多更密集的 AI 工作負載，像是訓練 ChatGPT 這類大型語言模型的工作，仍需要強大的算力才能完成，因此仍會交由資料中心處理。然而，Intel 認為有些 AI 應用，像是音訊、影片以及影像處理，會改由 PC 在本地端執行，改善延遲、隱私以及成本。
AMD 發表 Ryzen Pro 超越Intel Meteor Lake
AMD(AMD)也不落人後，於4月17 日發布其 Ryzen Pro 新品，進一步強化 Hawk Point 8040 系列於商用筆電與工作站的應用，同時搭配 Ryzen 8000 Phoenix APU 型號擴展商用桌機市場。如同過往慣例，Pro 系列是基於 AMD 現有移動端消費型產品( Ryzen 8040系列)設計，並針對商業用戶的需求加入額外功能。值得注意的是AMD 的Ryzen 8040系列是第一個將 NPU 引入行動和桌上型電腦市場的 x86 公司。
AMD 內建的 XNDA 引擎為 NPU 提供強大效能，若以TOPS為單位，1TOPS代表處理器每秒鐘可進行一兆次（10^12）操作，AMD Ryzen 上NPU最高可達 16 TOPS，相較 Intel Core Ultra上的 Meteor Lake NPU 的 11 TOPS更具優勢。另外，AMD 在同時整合NPU、CPU 及 GPU 的 AI 運算效能上也保持微幅領先，以 39 TOPS 對上 Intel 的 34 TOPS。在桌機產品線部份， AMD 的 Ryzen 8000 APU 內建 NPU 引擎同樣達 16 TOPS，相對地，Intel 至今仍未發布整合 AI 引擎的桌機處理器。
Qualcomm 再次以全新 Arm 架構 PC SoC 叩關市場
同樣使用四奈米製程的還有Qualcomm(QCOM)。利用收購 Nuvia 所獲得的全新 Oryon 核心，Qualcomm再度推出 Arm 架構 PC 晶片，Snapdragon X Elite。這款新晶片預計在 2024 年中於筆電產品亮相，並已在公司的年度夏威夷大會上發佈。
此系列晶片將是 Qualcomm 試圖讓 Windows 用戶改用 Arm 架構晶片的最新嘗試。儘管目前的作業系統支援度良好，但其過去用於筆記型電腦Surface Pro X的晶片仍存在效能與相容性問題。現在，Qualcomm 表示 Snapdragon X Elite 在達到同等或更佳效能的同時，將提供遠優於競爭對手(如mac)的效能，但這項說法得等到幾個月後實際測試才能驗證。
Qualcomm 宣稱 Snapdragon X Elite 可以在 device 上執行 130 億參數（特地指名 Meta 的 Llama 2 開源語言模型）。同時也暗示可以以 30 tokens/秒的速度執行 70 億參數的模型。Qualcomm 表示此款晶片的 AI Engine 具備比過往筆電晶片快 2.5 倍的 tensor accelerator，同時搭載兩倍的 shared memory。Qualcomm 聲稱， Snapdragon X Elite 的 NPU 操作性能可達每秒 45 TOPS。
下一代的 Apple Silicon 據稱已接近正式生產階段
根據彭博社記者 Mark Gurman 的消息，Apple(AAPL) 也已經準備好三款截然不同的 Apple M4 處理器(由內部知情人士透露)。有趣的是，這批新晶片同樣著眼於 AI 應用，試圖用全新的人工智慧重振 Mac 電腦產品線 — 這也是 Apple 明顯落後於產業的一個趨勢。
Gurman 解釋道，Mac 電腦在最近幾月的銷售表現算不上出色。在上一財年中，機器銷售額度下滑了 27%，而外界對全新 M3 電腦的平淡反應也顯示單純從 M2 升級到 M3 並不足以吸引消費者掏錢升級。
Donan、Brava 、 Hidra
彭博社的報導強調了三款 Apple M4 晶片的代號，但目前還沒有關於規格細節的可靠資訊。Gurman 的消息來源表示，入門款的 M4 晶片將被命名為 Donan。定位在中階的強大 SoC 將被稱為 Brava。而 Apple M4 Hidra 則會是下一代當中的高端 SoC。這三款產品有望分別接替 M3、M3 Pro 與 M3 Max 的定位。
可以肯定的是，Donan、Brava 與 Hidra 會在性能上比前一代 M3 提升，但幅度到底多大無人知曉。不過，值得注意的是，Apple 已經在 M3 系列加入了強勁的 16 核心 Neural Engine，具有 18 TOPS 的運算能力（比 M1 晶片快了 60%）。然而，很少人會日常使用 Mac 內建的這些運算能力。
據Apple官方資料，其M3晶片Neural Engine 較 M1 晶片快了 60%，較M2晶片快15%
AI 效能決勝負
值得注意的是，無論 AMD 或 Intel 的晶片都沒有達到微軟下一代 AI 電腦所需的 45 TOPS NPU 效能門檻。儘管兩家公司都指稱下一代產品(預計於今年底發布 Strix Point(AMD) 和 Lunar Lake(Intel) 晶片)將符合標準，但 45 TOPS 的要求主要針對微軟能夠在本機端執行 Copilot AI 元件的能力，當 Windows 更新啟用該項功能後，現有 AMD 及 Intel 處理器的實際運作仍有待觀察。 Qualcomm 的 Snapdragon X Elite Arm 晶片則將率先於今年年中達成 NPU 45 TOPS 之效能表現。至於 Apple 的 M3 雖然具備 18 TOPS 的 NPU 效能，但Apple不可能在其裝置上運行Colilot AI，因此不受微軟要求影響。
在本機端執行 AI 工作負載的能力有助於緩解商用領域中關鍵的隱私問題，同時為 AI 應用程式提供延遲、性能和電池續航力的優勢（與在 GPU 上執行相比，使用 NPU 的 AI 工作負載在能效上大幅提升）。 然而，釋放該性能需要高度整合的軟體解決方案，在許多方面，早期的 AI 主導地位之爭將取決於開發人員合作夥伴關係。
軟體生態仍待成熟，硬體先行
當開發者努力於產品中善用 NPU 加速時，AI 生態系統仍處於早期階段，但 AMD、微軟等公司正合作奠定基礎，未來將在軟體及 Windows 中實現廣泛的 AI 加速功能。 AMD 預計 2024 年將有超過 150 個 ISV（獨立軟體供應商）合作夥伴開發 AI 驅動的解決方案 。 相對地， Intel 不斷擴大的 AI 開發人員計劃到目前已有 100 家 ISV 和 100 多家 IHV（整合硬件供應商）夥伴關係。
Intel CEO Pat Gelsinger 展示新一代筆電晶片 Lunar Lake，透露 AI 工作負載中擁有超過 100 TOPS 的運算力
在 Vision 2024 活動中，Intel CEO Pat Gelsinger 展示了 Lunar Lake 處理器，並透露晶片在 AI 工作負載中能提供超過 100 TOPS 的效能，其中有 45 TOPS 來自 NPU 單獨貢獻。這代表 Intel 晶片的 AI 性能較現在的產品將提升 3 倍以上，也達成了 Intel 近期在台北 AI 峰會上討論的 next-gen AI PC 需求 — 45 TOPS NPU 效能門檻。當時，Intel 高層在與 Tom's Hardware 的問答中提到，部分 Microsoft Copilot 功能將很快在 Windows PC 上以 local 方式呈現。Gelsinger 並未明確說明其餘的 55+ TOPS 中，CPU和GPU 分別貢獻了多少，不過可以預期 GPU 大約能提供 50 TOPS 以及 CPU 核心會貢獻 5-10 TOPS 的算力。
AMD 與 Qualcomm 的反擊，AMD表示將持續領先Intel，Qualcomm 將在年中率先發布新晶片
AMD 現世代 Ryzen Hawk Point 平台的 NPU 擁有 16 TOPS 的效能，同樣未達 next-gen AI PC 的標準。不過，公司近期針對其 next-gen 產品對我們發了一份聲明：
AMD表示「我們相信 AI PC 需要強力的 CPU、GPU 與 NPU 引擎，而這正是 AMD 在 Ryzen 7040 以及現在的 Ryzen 8040 系列推出至今，超過一年來不斷提供給消費者的優勢。在去年 12 月的 Advancing AI 活動中，我們揭露了搭載 XDNA 2 架構的下一代 "Strix Point" 行動處理器相較現行世代，在 generative AI 性能上擁有 3 倍提升。我們相信這樣的效能表現將會使我們持續成為 next-gen AI PC 的領先選擇。」
AMD 並未進一步提供各單元分別貢獻的效能值，但透過簡單地計算，如果 NPU 效能達成 3 倍提升，AMD Strix Point 的 NPU 將具備 48 TOPS。
Qualcomm 的 Snapdragon X Elite 晶片也值得關注，這些 Arm 晶片預計在「年中」正式亮相，擁有 45 TOPS 的 NPU 效能（總計 75 TOPS），讓這個 next-gen AI PC 的戰爭陷入 Intel、AMD 以及 Qualcomm 之間的膠著對峙。
Intel 仍於銷量領先
在銷售方面，Intel 似乎以 Core Ultra Meteor Lake 晶片取得了領先優勢。Intel CEO Gelsinger 表示公司至今已經出貨 500 萬台 AI PC，並計劃在年底前出貨 4000 萬台。這是朝向公司在 2025 年末前銷售 1 億顆 AI PC 晶片的目標邁出的扎實一步。
Apple Mac銷售下滑，須觀察Apple是否推出AI應用
目前還無法確定更多的 AI 運算能力（以及背後的行銷）是否能扭轉 Mac 銷售下滑的局勢。彭博記者Gurman 指出，M4 晶片將導入完整的 Mac 產品線，從「全新的 iMac、入門款 14 吋 MacBook Pro、高階 14 吋與 16 吋 MacBook Pro 以及 Mac Mini」都會搭載 M4 系列晶片。不過，這其實並不意外。希望能在 6 月 10 日開幕的 Apple WWDC 上，看到更多具體方向以及引人注目的 AI 應用規劃。
無論如何，Apple 的競爭對手們在這幾個月來可說是卯足全勁往 AI 加速方面前進。我們預計看到像是超過 100 TOPS 的 Lunar Lake，以及帶來「突破性」表現的 Qualcomm Snapdragon X Elite 等令人興奮的新晶片在今年晚些時候登場。
AI產業的關鍵問題，雞生蛋還是蛋生雞?
總結而言，目前針對 PC 新型專用 AI 引擎的軟體生態系正在快速成長，不只 Intel 推出了相關晶片，AMD 競爭對手的 Ryzen 8040 系列處理器也已經搭載了專屬 AI 引擎，且其效能似乎更勝一籌。儘管目前還缺乏大量主流應用程式，如同「雞生蛋、蛋生雞」的窘境，Intel 計畫在 2025 年前讓支援 NPU 的裝置數量達到數千萬台。隨著 AMD 也做出類似設計抉擇的態勢，我們可以預期軟體支援力道將快速增長。
展望未來，CMoney研究團隊認為AMD的硬體優勢有機會使其扳倒Intel，成為AIPC市場的CPU主要供應商，不過Qualcomm Arm架構晶片潛力也值得留意，其晶片若能克服ARM架構帶來系統上相容性問題就有機會快速成長，成為Windoes陣營的Apple電腦。反觀Mac，儘管各方面表現不俗，卻在AI算力上落後，未來若無法向過去一樣提出足夠吸引人的應用，完善生態系，恐怕銷量將一蹶不振。
延伸閱讀
【美股新聞】三星晶片市場競爭激化，AI需求推動HBM晶片市場擴張
【美股新聞】三星、SK 海力士擴大 HBM 產能，市場競爭進入新階段！
【美股新聞】HBM 需求燒燙燙，SK 海力士 2024 年 HBM3 及 HBM3E 產能滿滿滿！
【美股研究報告】記憶體風光時刻，美光 2024 財年第 2 季由虧轉盈，盤後飆逾 18%！
版權聲明
本文章之版權屬撰文者與 CMoney 全曜財經，未經許可嚴禁轉載，否則不排除訢諸法律途徑。
免責宣言
本網站所提供資訊僅供參考，並無任何推介買賣之意，投資人應自行承擔交易風險。
