你唔需要 GPU：記憶體層級推理的硬體革命

GPU 短缺係假命題

過去兩年，每一個想部署 LLM 嘅團隊都喺度搶 GPU。H100 炒到十幾萬美金一張，A100 要排半年隊，連消費級嘅 RTX 4090 都俾人掃晒去訓推理。但你噤認真諗下：一個 70B 模型做推理，真正嘅瓶頸係乜嘢？係 memory bandwidth，唔係 compute。GPU 的確好快，但佢哋嘅 VRAM 容量限制咗你可以 load 嘅模型大小同 context length。當你嘅 workload 唔係 training 而係 inference，當你唔需要每秒處理成千上萬個 request，GPU 嘅 parallelism 優勢其實係浪費緊。你畀咗好多錢買嘅算力，大部分時間係 idle 緊。呢個 paradox 背後，有一個被忽略咗嘅替代路徑：用大容量記憶體行 inference，將 bottleneck 從 compute shift 去 memory hierarchy。

POWER8 + Optane：被遺忘嘅巨人

IBM POWER8 呢個架構，喺 AI 熱潮入面幾乎無人提起。但你睇下佢嘅 spec：每條 memory channel 支援 8 個 DIMM，總共可以插 16 條 DDR3，理論上最大支援 1TB RAM。更重要嘅係，POWER8 嘅 CAPI（Coherent Accelerator Processor Interface）容許你直接喺 memory bus 上連接 accelerator，latency 遠低過 PCIe。我哋嘅實驗平台係一台二手 POWER8 workstation，淘返嚟唔使兩萬港幣。插滿 768GB DDR3 ECC RAM，然後用 Optane SSD 作為第二層 memory pool——透過 memmap 技術將 Optane 掛載成 NUMA node，CPU 可以直接 load/store，唔經 filesystem。呢個組合嘅 total cost of ownership 大概係同等 VRAM 容量 GPU 方案嘅十分之一。768GB 意味住你可以成個 70B FP16 模型（約 140GB）load 入 RAM，仲有大量空間留俾 key-value cache。Context window 可以推到上百萬 token，唔使做果啲損害質量嘅 sliding window 或 retrieval augmentation。

RAM Coffers：記憶體池化嘅新範式

我哋喺呢個 infrastructure 上面開發咗一套叫 RAM Coffers 嘅推理框架。個核心概念好簡單：將 DRAM、Optane、甚至係遠端機器的記憶體抽象成一個 unified memory pool，然後用 cost model 決定每一層 weight 同 cache 應該放喺邊個 tier。Hot weight 同經常 access 嘅 KV cache 放 DRAM，cold weight 放 Optane，rarely used historical context 甚至可以放去另一台機嘅 memory pool。個 scheduler 會根據當下嘅 request profile 動態調整 data placement。用處唔止係 cost saving——更重要係你可以做到 GPU 做唔到嘅嘢：例如 Daily Scout 嘅 1T-parameter Optane benchmark 顯示，用呢種 memory-tiering 方法，一個 175B 模型嘅 cold start latency 可以控制喺 8 秒以內。呢個數字對於 chatbot 嚟講唔算快，但對於 batch inference、document analysis、code review agent 呢類 asynchronous workload 嚟講完全 acceptable。而同時你嘅 cost per token 可以降到 GPU 方案嘅 5-10%。

Claude Code for POWER8：實戰驗證

講到實戰，我 consistently 用 Claude Code 喺呢個 POWER8 + Optane 嘅環境做 production code review。Claude Code 嘅 agent 需要頻繁 call LLM，context window 往往大過 100K tokens，而且係多輪對話。如果用 GPU 方案，每輪嘅 prefill time 會隨 context 增長而線性上升，因為 KV cache 要重新 compute。但喺我哋嘅 memory-tiering 架構下，KV cache 可以直接 keep 喺 DRAM，唔使釋放。結果係 multi-turn 對話嘅 latency 幾乎 constant，唔會 degradation。仲有一個好重要嘅細節：POWER8 嘅 memory bandwidth 雖然唔及 H100（~500GB/s vs ~3TB/s），但因為我哋唔需要做 batch inference，single-user 嘅 throughput 其實夠用有餘。實際上，對大部份 developer tooling 同 internal tool 嚟講，single-stream 嘅 latency 比 throughput 重要得多。而呢個仲未計電費——成個 platform 嘅 TDP 大約 350W，相比雙卡 H100 嘅 1400W，一年慳返嘅電費已經夠買多台機器。

你嘅下一步行動

如果你係一個獨立開發者或者細團隊，正喺度諗緊點樣 deploy LLM 而俾 GPU 價格嚇親，我建議你認真考慮呢條 alternative path。去淘寶搵部二手 POWER8 工作站（或者 even 一部 high-memory x86 server），插滿 RAM，加幾條 Optane，然後試下我哋嘅 RAM Coffers framework。唔係要取代 GPU，而係開拓一個 GPU 做唔到嘅 niche：低成本、大 context、低功耗、可預測 latency 嘅 LLM inference。GPU 短缺唔係問題——問題係你仲用緊 GPU 嘅思維去諗 inference。Hardware revolution 唔係追求更快嘅 compute，而係重新思考 memory hierarchy。