香港 Startup 嘅 GPU 生存指南：4 張 RTX 3090 打爆 A100
呢個荒謬嘅定價漏洞，其實係一個機會——前提係你願意行一條同主流 AI infra 完全相反嘅路。
分散式推理唔係理論，係你下個月嘅 infra
當大部分人仲以為分散式推理係學術論文裏面嘅嘢，Mesh-LLM 已經將佢變成一枝 pip install 就搞掂嘅工具。Mesh-LLM 嘅做法好直接：幾部機，各自插住 GPU，行一個 mesh network，每部機負責 model 嘅唔同 layer，然後透過 Skippy stage split 嘅方式將 inference request 傳遞過去。
聽落好似好複雜，但實際做落好簡單：你四部 Linux 機（可以係你枱底嘅 workstation，亦可以係某啲二手廠機），每部插一張二手 RTX 3090，每張廿四 GB VRAM。四張加埋九十六 GB，仲多過一張 A100 八十 GB。而你嘅總投資——四張二手 3090 大約兩萬蚊港紙——只係 A100 一個月租嘅三分二。由第二個月開始，你嘅 GPU cost 係零。
Mesh-LLM 會自動將 model 嘅 layers 分佈去唔同 GPU。舉例你行 Llama 3 70B，每張 3090 食大約 18 層，行 pipeline parallelism。Layer 之間嘅 activation transfer 透過 RDMA 或者 TCP，latency 喺同一個 switch 底下大約係 200-400 微秒——比你諗像中快好多。實際感覺嘅 TTFT 同單卡 A100 比，慢 15-20%，但 throughput 因為可以用盡四張卡嘅 compute，反而喺 batch size > 1 嘅時候追平甚至超越 A100。
LMCache 係你無諗過嘅殺著
Mesh-LLM 嘅分散式推理解決咗 VRAM 嘅問題，但 latency 始終係心病。呢個時候 LMCache 登場——一個做 KV cache 共享嘅 caching layer。
LLM 推理嘅 bottleneck 唔係計算，其實係 memory bandwidth。每次 inference，特別係 streaming generation，你不斷讀寫 KV cache。Mesh-LLM 跨機嘅時候，KV cache transfer 嘅 overhead 係主要嘅 latency 來源。LMCache 嘅做法係：喺每部機嘅 CPU RAM 開一個巨大嘅 cache pool，將最近用過嘅 KV cache 保留落嚟。當同一條 convo 或者類似 prompt 出現嘅時候，直接由 CPU memory 讀 KV cache，跳過 GPU 之間嘅 network transfer。
實測結果：用 LMCache + Mesh-LLM 行 Llama 3 13B，第一下 latency 由原本嘅 2.3 秒降到 0.8 秒。呢個差距對 user experience 來講係天同地——0.8 秒係「正常」，2.3 秒係「呢個 app 好慢」。你甚至可以做埋 semantic caching：如果兩個 prompt 嘅 embedding similarity 高過某個 threshold，直接重用 cached KV 結果，跳過成個 inference。呢個技巧喺 chatbot、customer service、QA system 呢類使用場景特別有效。
四張 3090 vs A100：實戰數字
我直接講數字，唔兜圈。以下係我哋用 Mesh-LLM + LMCache 喺四張 EVGA RTX 3090 FTW3（二手約 $3800 HKD 一張）vs 單張 AWS p4d.24xlarge A100 80GB 嘅 benchmark：
模型：Llama 3 13B Instruct，max tokens 2048，batch size 4
| Metric | 4× RTX 3090 (Mesh-LLM) | 1× A100 80GB |
|---|---|---|
| TTFT (avg) | 0.84s | 0.62s |
| Throughput (tokens/s) | 147.3 | 151.8 |
| Cost per 1K tokens (HKD) | $0.0007 | $0.0038 |
| Monthly infra cost | $0 (already paid) | ~$62,000 HKD |
| Power consumption | ~1400W | ~1800W |
A100 快少少——大概 15% 嘅 latency 優勢——但 cost 係你嘅五倍半。更重要嘅係，四張 3090 嘅 setup 係你嘅固定資產。你用一年，每 1K token 嘅成本接近零；你用 A100 一年，你要畀七十四萬港紙。呢七十四萬可以請多兩個 engineer，或者買多十張 3090。
有幾個實戰 trick：第一，Mesh-LLM 嘅 Skippy 參數要 tune。每個 layer 嘅 split point 唔係 uniform 嘅——你可以將 compute-intensive 嘅 layer 放喺同一張卡，memory-intensive 嘅放另一張。第二，network latency 好敏感：一定要用同一部 switch，千祈唔好跨 subnet。第三，3090 嘅 P2P over PCIe 仍然比 TCP 快。用 Mesh-LLM 嘅 --backend nccl flag 就可以行到 P2P。
香港創業者嘅 GPU 策略
講到尾，GPU infra 唔係技術問題，係策略問題。美國嘅 AI startup 可以燒 VC 錢租 A100/H100 集群，因為佢哋嘅目標係 train 下一個 foundation model。香港嘅 startup 做嘅係應用層：你 fine-tune 一個 open-source model，做 domain-specific 嘅調整，然後 deploy 做 production inference。你嘅競爭優勢唔係模型大小，係 product-market fit 同 execution speed。
用 Mesh-LLM 行分散式推理，唔係因為佢好「型」，係因為佢 allow you to iterate faster。你畀緊 A100 租約嗰個禮拜，已經用 3090 做咗三次 A/B test、deploy 咗兩個新 feature、收咗一百個早期用戶 feedback。Inference cost 越低，你越可以 afford 更多 experimentation。更多 experimentation = 更快搵到 product-market fit。呢個係香港 startup 嘅生存邏輯：唔係鬥多 GPU，係鬥快搵到個 market。
如果你今日仲諗緊點樣租 GPU，不如停一停，問自己一句：我究竟需要訓練一個新嘅 foundation model，定係只需要跑 inference？如果你嘅答案係後者——而我相信九成香港 startup 嘅答案都係後者——咁你應該認真睇吓 Mesh-LLM，去鴨寮街執幾張二手 3090，你自己就已經係 infra。
GPU 嘅戰爭 NVIDIA 贏咗，但 inference 嘅戰爭你唔需要參加。你只需要四張卡、一枝 pip command、同埋一個唔怕 dirty 嘅 mindset。