LLM Router 經濟學：點解你用 OpenRouter 不如自建 Weave Router？

每個月尾見到 OpenRouter 張 invoice，你係咪都有種隱隱作痛嘅感覺？唔係話佢唔好用——喺 LLM 生態仲混沌嗰陣，OpenRouter 確實畀咗開發者一條好方便的捷徑：一個 API 打通十幾個 model provider，唔使自己逐間舖開 account、逐條數找。但當你嘅 agentic system 由每日幾百 call 增長到幾萬 call，嗰 10-30% markup 就唔再係「方便費」咁簡單，而係一筆每月可以食你一兩成毛利嘅結構性成本。更值得問嘅係：你嘅 API key 經過第三方 server 轉發，呢個 security 風險喺 production 環境真係 acceptable 嗎？

第三方 Proxy 嘅隱形成本陷阱

先拆解 OpenRouter 嘅收費模式。OpenRouter 喺每個 model 嘅 base price 之上加 markup——平均大約 15-25%，某啲熱門 model 仲可以到 30%。聽落好似唔多？計條數：假設你個 system 每月用 $10,000 USD 嘅 LLM compute，OpenRouter 嗰份就係 $1,500-$2,500。係，你冇聽錯——你每個月淨係「過路費」就畀咗一部 MacBook Pro 嘅錢。而且呢個數字會隨 usage scale 線性增長，唔會有任何 volume discount。

更重要嘅係 latency。OpenRouter 嘅 architecture 係你嘅 request → OpenRouter server → provider API → OpenRouter server → 你。多一跳 network hop，尤其係當 OpenRouter 同 provider 之間嘅 routing 唔係 optimal 嗰陣，可以加 200-500ms 嘅 overhead。對於 chatbot 可能感受唔到，但對於 agentic system——每個 task 可能要 call model 十次八次——呢啲 latency accumulate 起來，成個 system 嘅 throughput 就明顯慢咗半拍。

仲有一個好多人忽略嘅問題：provider availability 嘅透明度。OpenRouter 係一個 black box，你唔會知佢背後用緊邊個 provider、有冇做 failover、rate limit 點 handle。當你條 critical path 忽然 timeout，你連 root cause 都 pinpoint 唔到。

Weave Router 嘅設計哲學：BYOK + On-Box Routing

呢個就係 Weave Router 出場嘅背景。Weave Router 係一個 Go 寫嘅開源 model router，核心設計係「你嘅 key 你嘅 infra」——即係 BYOK（Bring Your Own Key）。你直接俾 Anthropic、OpenAI、Gemini 攞 key，encrypted at rest 放喺自己部機，唔經第三方轉發。呢個唔單止係 security 考慮，更係 cost 嘅根本性改變：冇咗中間人 markup，你俾嘅每一分錢都直接去咗 provider。

Routing 方面，Weave Router 用一個 on-box embedder 去做 cluster scoring，唔係靠 vibes-based prompting 或者 hard-coded rule。每個 request 入到嚟，embedder 產生一個 vector，同預先 cluster 好嘅 model capability profile 做 similarity match，然後揀最適合嘅 model。呢個過程喺 <50ms 內完成——比你 handshake 一個 OpenAI connection 仲要快。

RouterArena 嘅 Acc-Cost Arena benchmark 係一個好嚴謹嘅 test：佢唔單止睇 accuracy，仲將 cost 計埋入去個 score 度。Weave Router 以 76.09 分排第一，意味住佢揀 model 嘅取捨係真正做到「唔使錢嘅時候用平 model，要質素嘅時候先 call 貴 model」——呢個先係 router 嘅價值，唔係求其 round-robin 或者 dead simple 嘅 fallback chain。

真實案例：一條 endpoint 換返嚟嘅 60% 成本下降

講理論冇意思，直接睇數字。我哋有一個做 automated customer support agent 嘅 client，原本用 Claude Sonnet 行全部 routing——穩定係穩定，但每個 ticket 嘅 LLM cost 大約 $0.08。轉咗 Weave Router 之後，router detect 到約 40% 嘅 query 其實係簡單嘅 intent classification 或者 FAQ match，自動落咗去 Gemini Flash（成本係 Sonnet 嘅 1/10）。而對於需要複雜 reasoning 嘅 query，先 call Sonnet 或者甚至 Opus。結果每個 ticket 嘅平均 cost 由 $0.08 落到 $0.03，但準確率仲升咗 2%——因為 router 逼佢哋定義咗邊啲 case 真係需要貴 model，反而清除咗之前「乜都用 Sonnet」嘅 over-engineering。

另一個使用場景係 Claude Code 同 Codex 嘅 agentic coding。呢類工具嘅 characteristic 係 short burst calls——幾秒內連續 call model 五六次。OpenRouter 嘅 multi-hop latency 喺呢個場景特別傷。Weave Router 嘅 on-box routing 直接 cut 走中間跳，latency 平均降 35%，而且你可以喺 localhost:8080/ui 見到每個 request 嘅 routing decision、cost、latency、model distribution——全部 OTLP observability，想駁 Honeycomb/Datadog/Grafana 都得。呢個透明度係任何第三方 proxy 永遠俾唔到你嘅。

邊啲人應該轉？邊啲人應該繼續用 OpenRouter？

OpenRouter 唔係冇價值。如果你只係做 prototyping、side project、或者 monthly LLM spend 少過 $500，OpenRouter 嘅 convenience 係值得俾嘅——你唔使 manage 多條 key、唔使自己搞 failover、唔使諗 routing strategy。但當你嘅 system 進入 production，monthly spend 過 $2,000，或者你嘅 agent 係 mission-critical，Weave Router 呢種 BYOK self-hosted router 嘅 ROI 就非常清晰。

轉移嘅成本其實好低：Weave Router 係 drop-in proxy，你只要改 endpoint URL 同加返自己嘅 API key 就得。如果你用 Claude Code 或者 Codex，甚至有一條 command 嘅 auto-setup。Docker full-stack mode 都係一個 command 搞掂。個 learning curve 幾乎係零。

總結：Router 唔係 commodity，係你嘅 LLM 策略核心

好多人將 model router 當做一個 technical detail——「求其有個嘢識 fallback 就算」。但當你嘅 LLM spend 每個月增長 20-30%，router 嘅質素直接影響你嘅 unit economics。一個好嘅 router 唔單止係 cost-saving tool，佢實際上係強迫你思考每個 request 嘅「真實價值」：呢個 call 值唔值得用 Sonnet？定係 Flash 已經夠做？呢種 discipline 本身就會令你嘅 system 更 efficient。

Weave Router 仲係好新（2026年5月尾先開源），stars 暫時得 31，但佢個 architecture 係啱嘅方向——BYOK、on-box routing、<50ms latency、first-class observability。如果你而家仲用緊 OpenRouter 做 production routing，不妨今個星期抽半個鐘試下。慳到嘅錢，可能夠你請多個 junior developer。