你唔需要 GPU：記憶體層級推理的硬體革命

AI 圈有一個幾乎冇人質疑嘅假設：要行 LLM，你要 GPU。越多人越好。H100、B200、MI300X——好似冇咗呢啲嘢就唔使旨意玩大模型。但如果你停一停，諗清楚 LLM inference 嘅本質，你會發現呢個假設可能係過去兩年最大嘅認知陷阱。

Inference 唔同 training。Training 係 bandwidth-bound，你要嘅係大量矩陣乘法並行，GPU 嘅 tensor core 喺呢度無可取代。但 inference——尤其係 batch size = 1 嘅實時推理——bottleneck 唔係 FLOPS，而係 memory bandwidth 同 memory capacity。每一次 token generation 需要將整個模型嘅參數由 memory 搬去 compute unit，如果你可以將成個模型放喺一隻離 CPU 夠近、夠大、夠快嘅 memory pool，你根本唔需要一張幾萬蚊嘅 GPU。

RAM Coffers：畀 LLM 住嘅豪宅

RAM Coffers 嘅概念好簡單但好 radical：將成個 LLM 嘅 weights 放喺一隻大容量記憶體池（coffer），然後 CPU 直接喺嗰度做 inference。唔經 PCIe，唔經 VRAM，冇 data transfer overhead。呢個做法顛覆咗過去十年「乜都擺 VRAM」嘅預設。

點解 work？因為 LLM inference 嘅 memory access pattern 係高度規律嘅——sequential read of weights，中間穿插 attention 嘅 random access。一般嘅 NUMA 架構喺呢種混合 workload 下表現差，但如果你用 Byte-addressable persistent memory（即係 Optane 以至新一代 CXL memory expander），將注意力放喺 coffer 裏面做 memory-mapped 讀取，latency 可以壓到 DDR4 同一數量級。Daily Scout 團隊嘅 1T-param Optane 測試顯示，用 Optane PMem 行 70B 模型嘅 throughput 大約係 A100 嘅 30-40%，但成本係 1/10，而且你可以 scale horizontally 到 1T+ params 而唔使買多張 GPU。

POWER8 嘅第二春

你可能會笑——POWER8？2014 年嘅 architecture？仲有人用？事實係 POWER8 有樣嘢係現代 x86 同 ARM 都畀唔到你：佢嘅 memory coherence 架構係為大容量 persistent memory 而設計嘅。Centaur memory buffer chips 容許更靈活嘅 memory topology，CAPI（Coherent Accelerator Processor Interface）可以直接將 Optane DIMM 掛落 memory bus 而唔經 PCIe switch。

Claude Code on POWER8 嘅實測結果令人跌眼鏡：喺 8 sockets、768GB Optane 嘅配置下行 CodeLlama 70B，initial prompt processing 固然慢過 GPU（大約 8-10 tokens/s vs GPU 嘅 40-50），但喺後續生成——即係 interaction-heavy 嘅 coding assistant 場景——latency 差異幾乎消失。點解？因為 code generation 嘅 context window 通常好長（成個 project file 嘅 embedding），GPU 嘅 VRAM 放唔晒，要來回換頁；而 POWER8 嘅 768GB Optane 可以將成個 context 同模型 weights 一齊放喺 memory，zero swapping。

呢個 paradigm 嘅真正意義

唔好誤會我——我唔係話 GPU 冇用。Training、fine-tuning、大規模 batch inference，GPU 依然係 king。但對於大量 real-world use case，尤其係 edge deployment、單用戶 agent、同 coding assistant，GPU 嘅 cost-performance ratio 其實好差。

真正有趣嘅係呢個趨勢：隨住 CXL（Compute Express Link）同 PMem 技術成熟，「用 RAM 取代 VRAM」唔再係科幻。想像一個 $2000 嘅 server board，插滿 512GB CXL memory pool，行一個 70B 嘅 distilled model——inference 做到 15-20 tokens/s，total system cost 唔過港幣兩萬。呢個價錢，一張 H100 嘅零頭都唔夠。

你而家可以做嘅三件事

如果你係獨立開發者或者細團隊，唔好再等 GPU 降價。第一，研究 Optane 二手市場——Intel 停產之後，Optane PMem 嘅價格跌到 DDR4 嘅水平，但 latency 依然遠低過 SSD。第二，試下喺 POWER8 或者 AmpereOne 呢類大 memory 架構上行 llama.cpp——你會發現多數 coding 同文本生成任務完全夠用。第三，留意 CXL.mem 嘅生態發展，2026-2027 年會見到 consumer-grade CXL memory expander 出現。

GPU shortage 唔係死局。記憶體層級嘅創新先至剛剛開始。