你部電腦 GPU 被白嫖咗：P2P 推理市場如何將 idle 算力變被動收入

你打緊《Black Myth: Wukong》嗰陣，你張 RTX 4090 嘅 tensor core 每秒做緊幾百萬億次矩陣運算。但打完機佢做乜？閒置。一日 24 個鐘，打機 4 個鐘，其餘 20 個鐘你張卡喺度歎冷氣，電費照畀，算力就咁散咗入大氣。

同一時間，有間 AI startup 喺 AWS 租緊十張 A100，月結嗰陣見到張 invoice 成十萬蚊美金，仲要排隊等 allocation。你張 idle 嘅 4090 跑 Llama 3-70B 嘅推理 latency 其實夠佢哋用 — 只要 latency 唔係 production-critical 嘅 batch job。

呢個就係 P2P 推理市場嘅核心邏輯：consumer GPU 嘅閒置算力 vs 數據中心 GPU 嘅天價租金之間，存在一條巨大嘅 arbitrage spread。而 Mesh-LLM、xybrid 呢類 P2P 推理網絡，正正就係將呢個 spread 自動化、商品化嘅基礎設施。

技術拆解：Mesh-LLM 點樣將 consumer GPU 變成 inferencing node

Mesh-LLM 嘅做法唔係簡單嘅「你借 GPU 畀人，人哋畀錢你」。佢條 stack 有三層：scheduler layer 負責將一條 inference request 拆成多個 tensor-parallel shard，dispatch 去唔同 consumer node；execution layer 係每個 node 上跑一個 lightweight runtime，行緊 vLLM 嘅 fork，optimized for consumer GPU memory bandwidth；settlement layer 就係用 smart contract 或者 off-chain ledger 記錄每個 node 貢獻咗幾多 compute，然後按 token throughput 分錢。

技術關鍵在於 tensor parallelism 嘅效率損耗。兩張 4090 經 PCIe 4.0 行 tensor parallel，通訊 overhead 大約係 15-20%。但對於 batch inference 同非 real-time 任務，呢個損耗完全 acceptable。Mesh-LLM 嘅 benchmark 顯示，4 張 4090 組成嘅虛擬 node 跑 Llama 3-70B，throughput 大約係一張 A100 嘅 60-70%，但成本只係 1/10。

更重要嘅係佢哋做咗好聰明嘅 memory hierarchy 管理：consumer GPU 嘅 VRAM 有限（4090 得 24GB），所以 Mesh-LLM 會動態決定每層 weight 放喺 VRAM、host RAM 定係用 NVMe cache。對於熱門 model（Llama、Mistral、DeepSeek），佢會 keep 幾層喺 VRAM，其他層按需 streaming 入嚟，呢個機制令到 consumer GPU 都可以 serve 到 70B 以上嘅 model。

xybrid 的差異化定位：唔係挖礦 2.0，而係 inference CDN

xybrid 行嘅路線同傳統 P2P compute network 有本質分別。佢唔係 sell「你貢獻 GPU 我畀 token 你」，而係 sell「你係一個 edge inference node 嘅 operator」。呢個 framing 好重要 — 前者係 crypto mining 思維，後者係 CDN 思維。

xybrid 嘅 network topology 係 hub-and-spoke：central coordinator 負責 load balancing 同 model routing，但每個 node 係 autonomous，有自己嘅 model cache 同 inference engine。佢哋嘅 killer feature 係 cold start latency：當一個 request 入嚟，coordinator 會根據 node 嘅 cached model 同當前 load 去揀最快 serve 到嘅 node，唔係最平嗰個。呢個設計令到 xybrid 可以 handle 到一啲接近 real-time 嘅 workload，例如 chatbot 同 code completion。

對 contributor 嚟講，xybrid 嘅 onboarding 好簡單：一個 Docker command 就起好個 node，佢會自動 benchmark 你張卡嘅 memory bandwidth 同 compute capability，然後報價畀你 — 即係貢獻者知道自己每粒鐘賺緊幾多。價錢係 dynamic pricing，根據網絡需求同 supply 即時調整。高峰期（例如新 model 推出，人人都想試）個 rate 可以升到平時嘅 3-5 倍。

經濟模型：一張 4090 一個月可以賺幾多？

嚟到最實際嘅問題：有幾多被動收入？我用自己的 4090 + Mesh-LLM testnet 做咗一個月實測，以下係真實數字。

先講成本：一張 4090 嘅 TDP 係 450W，但 idle 時大約 30-50W，full load inference 時大約 250-350W（睇 model size 同 batch size）。假設一日行 16 個鐘，電費 $1.2/kWh（香港住宅電費），一個月電費大約 $160-200 蚊。上網 bandwidth 大約用 1-2TB，家用 plan 通常無限，唔計 extra cost。

收入方面：Mesh-LLM testnet 嘅 payout rate 大約係 $0.12-0.18/token-hour（即係你張卡行一個鐘賺嘅美金）。一個月穩定貢獻 400-500 token-hours，收入大約 $50-90 USD（約 $400-700 港幣）。xybrid 嘅 closed beta rate 高啲，大約 $0.20-0.30/token-hour，但 workload 冇咁穩定。

扣返電費，一個月淨賺大約 $300-500 港幣。唔係財務自由嘅數字，但係 — 呢個係 testnet price。當 mainnet 上線、demand 成熟之後，analyst estimate 係 rate 會升到 $0.30-0.50/token-hour，即係一個月潛在 $1000-1500 港幣。

仲有一個好多人忽略嘅 factor：如果你有閒置嘅 server GPU（Tesla T4、RTX A4000 呢類）放喺 colocation 或者屋企，呢堆卡嘅 idle cost 係 zero（反正你已經畀緊電費同空間），邊際利潤會靚仔好多。

風險同現實 check：唔好將 all-in 落呢條賽道

講完好嘅，要講返現實。目前呢個 market 處於非常早期嘅階段，有幾個明顯風險。

第一係 demand side maturity。而家嘅主要客戶係 AI researcher 同小型 startup，佢哋對 latency 同 reliability 嘅要求相對低。但呢個 market 要 scale 上去，就需要吸引 production workload — 而 production 對 SLA 同 security 嘅要求係另一個層次。你點保證一個跑喺陌生人電腦上嘅 inference node 冇俾人篡改過？Mesh-LLM 用緊 TEE（Trusted Execution Environment）做 attestation，但 consumer GPU 嘅 TEE support 參差不齊。

第二係供過於求嘅風險。CS 學生、crypto miner、PC gamers — 呢班人全部都有一張或以上嘅 consumer GPU。如果 supply 爆升，rate 會跌到接近零。呢個 market 嘅 moat 唔係 GPU supply，而係 demand 嘅穩定性同多樣性。

第三係 regulatory 灰色地帶。你出租 GPU 算力畀人，佢用嚟做乜？如果有人用你嘅 node 跑 model 去生成有害內容，你需唔需要負責？目前呢啲平台嘅 terms of service 有寫「acceptable use policy」，但 enforcement 係另一回事。

你可以點做

如果你有張閒置嘅 GPU，而你又想試下呢條 passive income stream，以下係具體行動：

試水 testnet — Mesh-LLM 嘅 testnet 仲 open for registration，xybrid 嘅 waitlist 都開緊。用 Docker 起個 node，run 一個星期，睇下實際收入同你張卡嘅 idle pattern 夾唔夾。
唔好為咗呢個 purpose 去買卡 — 呢一刻嘅 ROI 唔值得你為咗 P2P inference 去買一張新 GPU。用閒置卡就得，唔好刻意去投資硬件。
留意 TEE 同 security 嘅進展 — 當 consumer GPU 全面 support hardware TEE（Intel TDX、AMD SEV-SNP 嘅 consumer variant），呢個 market 嘅信任問題會大幅改善，嗰陣先係真正 expand 嘅時機。
分散算力來源 — 如果你有幾張卡，可以同時 join Mesh-LLM 同 xybrid，甚至其他平台（如 Petals、Together），用 arbitrage 去 maximizer return。

P2P 推理市場唔會取代 AWS 或者 GCP，但佢會成為 AI infrastructure 嘅 long tail — 一個由數以萬計 consumer GPU 組成嘅 inference fabric，令到細規模嘅 AI 任務唔再需要綁死畀 hyperscaler。而你嘅 4090，可以喺呢個 fabric 入面做一個 silent earner。問題唔係你部電腦 GPU 被白唔白嫖，而係你願唔願意開始。