Grafana又出大招！一键把AI代理对话、成本和风险全盯上

Grafana Labs 推出 AI Observability 公测功能，把 AI 代理的對話、工具調用、詞元消耗與輸出品質一併納入 Grafana Cloud 的可觀測性視窗，讓開發團隊不必再靠事後用戶回報才能發現問題。該方案相容 OpenTelemetry，會擷取對話內容、模型與供應商元資料、工具使用紀錄、延遲、token 用量與推論成本，並可依模型、供應商、時間或標籤篩選查詢。輸出品質可透過 LLM 當裁判、啟發式規則或正則表達式評估，用於偵測低品質回應、政策違規或異常模式，並以原生警示機制發出通知。平臺也能辨識憑證洩漏與異常使用行為，提供版本管理：當系統提示詞或工具集變更時自動建立新版本，便於比較不同設定的效能與回溯問題根源。除監控介面外，開發者可透過自然語言助理交叉檢視 AI 資料與其他遙測訊號，快速定位延遲或高成本操作成因；結合代理專屬操作手冊，可在異常時直接要求助理讀取並給出修復建議。Grafana 同時釋出支援自動化與代理驅動流程的命令列工具 GCX 及開源基準測試工具 o11y-bench，方便團隊在現有觀測平臺上整合與量測 AI 代理運行表現。