OpenLIT

agent workflow全体をtraceし、cost・latency・error・evaluationを一つのviewで追う

LLM callだけでなくprompt/response、tool invocation、retrieval、embedding、memory、sub-agent、token usage、cost、error、evaluationまでOpenTelemetry span/metricとして扱います。AI applicationのroot causeを一連のworkflowとして追える点が中心です。

出典：[2]

Claude Code・Cursor・CodexをCLIでinstrumentし、coding sessionのfile/shell/tool activityを観測する

OpenLIT CLIはcoding-agent instrumentationをinstallでき、Claude Code、Cursor、Codexなどのsessionからprompt、LLM、tool、file read/edit、shell command、search、sub-agent、token、cost、code impactを収集します。

出典：[2]

2.1.0ではloop detectionとtrace governanceを加え、agentの失敗とgovernanceを可視化する

2.1.0はrepeated tool callからstuck-agent loopを検出し、wasted token/costを表示します。さらにtrace governance panel、coding-agent security check、NIST AI RMF・EU AI Act・OWASP ASIのpolicy packとGovernance Passport exportを追加しています。

出典：[3]

AI agentやcoding agentを本番運用し、token costだけでなくtool失敗・loop・品質まで調査したいteamに

複数provider/frameworkをまたぐagentを運用し、障害時に「どのprompt・tool・retrieval・sub-agentで崩れたか」をOpenTelemetry標準で追いたいteamに向きます。既存のOTel pipelineへ寄せたい場合にも比較価値があります。

prompt・response・file operation・shell commandをtraceするため、telemetry自体を機密dataとして扱う

coding-agent観測ではuser prompt、LLM call、file read/edit、shell command等をcaptureし得ます。source code、secret、PIIがtelemetryへ混入する可能性を前提に、collector/export先、retention、access control、redaction方針を決める必要があります。

出典：[2]

default ComposeはClickHouseとOTLP portを公開する。default credentialのまま外部公開しない

repositoryのComposeはClickHouse 9000/8123、OpenLIT 3000、OTLP 4317/4318をhostへ公開し、DB user/passwordにdefault値も持ちます。local evaluationには便利ですが、shared/production環境ではcredential変更、network exposure、TLS/auth、volume backupを設計してください。

出典：[4][3]