LLMアプリを本番に出すなら、「危険な入力をどう弾くか」「望ましくない出力をどう止めるか」を決める必要があります。
Google CloudのModel ArmorやAWSのBedrock Guardrailsなど、クラウドのマネージドガードレールは導入しやすい一方で、認証、課金、運用基盤は各クラウドの仕組みに紐づきます。 マルチクラウドやオンプレミスを含む構成では、ガードレールの実行基盤を特定のクラウドに固定したくない場合もあります。
LMアプリケーションの可観測性（オブザーバビリティ）を確保しようとする際、Langfuse SDK や OpenTelemetry SDK をアプリケーション側に組み込んで計装するのが一般的なアプローチですが、これは多少なりとも手間がかかることと、社内のエージェントを勝手に動かす人などが意図的に観測されないように対応しないこともありえるでしょう。
Google ADK（Agent Development Kit）のトレースに Langfuse のプロンプト情報を紐付ける方法を解説します。これにより、プロンプトごとのコスト・レイテンシ分析や A/B テストが可能になります。
はじめに # LangfuseはSelf-Hosted可能で、過去のブログでもご紹介したとおり、Google Cloud上にも簡単にLangfuse環境の構築が可能です。
はじめに # LiveKit Agentsは、音声AIアプリケーションを構築するためのオープンソースフレームワークです。本記事では、Langfuseを使った観測可能性の実装と、その際に遭遇したトレース分離問題の解決方法を紹介します。
以前、Langfuse の mask オプションを利用する際のトレース保存方法について解説しました。（該当記事 ）
当時、 mask オプションに設定した関数内でトレースを保存しようとすると、該当の関数が再帰的に呼び出されてしまう問題がありました。該当記事内では、グローバル変数を用いて制御しましたがあまりスマートな方法とは言えません。
