三只貓
Rich Mindset Zone
richmindsetzone.com
← All posts

你嘅 AI Agent Production Ready 未?三款觀測工具橫評

你層 agent 噉日喺 production 行咗幾千轉,有冇試過佢突然 call 錯 tool、loop 死、或者 silent fail 咗半日你都唔知?大部分香港嘅 AI 團隊仲停留喺「print 嚟 debug」嘅石器時代——production 出咗事就靠 user report,跟住打開 terminal 狂睇 log 撞手神。有人話「Agent 係 black box,冇得 monitor 㗎」,噉你就大錯特錯。2026 年今日,agent observability 嘅工具生態已經成熟到可以分三條路揀,視乎你係 side project 定係 production 緊要嘢。

agents-observe:俾 Claude Code 用嘅即時雷達

如果你主力用 Claude Code 或者 Codex 嚟寫 code、做 automation,agents-observe 係最快上到手嘅選擇。佢係一個 open source 嘅 real-time dashboard,直接 hook 住 Claude Code 嘅每個事件——tool call、prompt、subagent spawn——全部 streaming 去一個 web UI。你睇住啲事件逐個彈出嚟,邊個 agent spawn 咗邊個、call 咗咩 tool、用咗幾多 token,一目了然。

最大嘅賣點係「零 config,即插即用」。一行 command 裝好,開個 browser 就見到 dashboard,唔使搞 OpenTelemetry、唔使起 backend。佢嘅 session replay 功能可以俾你回頭睇返成個 agent 嘅決策路徑,逐個 step expand 睇 payload。對於獨立開發者或者細 team 嚟講,呢個體驗係一流嘅。

但佢嘅局限都好明顯:只限 Claude Code / Codex 生態,唔係 framework-agnostic。如果你用緊 LangChain、CrewAI、AutoGen 或者其他 agent framework,agents-observe 就幫你唔到。而且佢係 lightweight 工具,唔係 enterprise-grade observability platform——冇 alerting、冇 eval pipeline、冇 policy enforcement。佢係「睇住佢做嘢」嘅工具,唔係「確保佢做得啱」嘅平台。

如果你嘅 stack 係 Claude Code 為主,呢個係 fastest path to visibility。否則,你要睇下一步。

LangWatch:由 sim 到 production 嘅 all-in-one

LangWatch 係比較完整嘅 answer。呢個荷蘭開源 project(MIT license)cover 咗 agent lifecycle 由 testing 到 production monitoring。佢最特別嘅係 Scenario 機制——你可以用 synthetic conversation 嚟測試 agent 喺唔同 scenario、language、edge case 嘅表現,唔使靠 production traffic 先發現問題。對於 multi-turn agent,呢個 pre-deployment simulation 係 game changer。

Production 方面,佢用 thread-based tracing 連結每個 agent session——tool call、memory read、delegation、model call——全部串埋一條 thread。你睇到嘅唔係散修修嘅 log entry,而係完整嘅 agent 決策鏈。佢仲有 LLM-as-a-judge evaluation、PII redaction、DSPy integration 做 prompt optimization。OpenTelemetry native 嘅架構令你可以駁落自己嘅 backend。

但 LangWatch 有個致命弱點:個 team 得大概五個人,得 €1M pre-seed。呢個規模嘅 startup 可以隨時消失。佢哋嘅 self-hosted 方案要 Kubernetes/Helm,對 indie developer 嚟講太重。而且佢只 support LLM-as-a-judge,冇 heuristic evaluation,有啲場景會唔夠靈活。

對於 serious agent product 嘅團隊,LangWatch 係性價比最高嘅 choice——但你要接受 vendor risk。如果你唔想綁死喺一個可能下年唔存在嘅 platform,就要睇第三條路。

自家製:OpenTelemetry 做底、你話事

最後一條路係自己砌。OpenTelemetry GenAI semantic conventions 喺 2026 年已經初步穩定——五個 agent span(create_agent、invoke_agent_client、invoke_agent_internal、invoke_workflow、execute_tool)加一個 gen_ai.* attribute vocabulary,俾你 standardise 所有 agent trace。呢條路嘅好處係你 control 一切:data 喺你度、policy 你定、backend 你揀。你可以用 Langfuse on ClickHouse、Arize Phoenix、OpenObserve,甚至 SQLite 做 storage。

但代價係時間。你要自己 handle instrumentation、sampling strategy、alerting、dashboard。現實係,大部分香港 startup 根本冇 bandwidth 去 maintain 一個 internal observability platform。你嘅 core business 係 agent,唔係 monitoring infra。除非你嘅 scale 大到用 off-the-shelf 工具會破產(例如每月 >100M observations),否則 DIY 往往係 false economy。

有條 middle ground:用 Arthur 或者 OpenLLMetry 呢類 auto-instrumentation library,一行 code 搞掂大部分 tracing,然後將 traces 送去 OpenObserve 或者 Grafana。呢個 hybrid approach 俾你 keep 到 data ownership 之餘唔使由零開始。

點揀?一句講晒

Side project / Claude Code 為主 → agents-observe。Serious agent product → LangWatch。Enterprise compliance / massive scale → DIY with OTel。最緊要嘅係:唔好等到 production 出事先諗 observability。Agent 唔係普通 API,佢會自己決定下一步做咩——你睇唔到佢做緊咩,就等於揸住對眼矇嘅車。今日就用最少 effort 起個 dashboard,聽日你唔會後悔。