1. はじめに: Langfuseとは何か？#
生成AIアプリケーションを本番投入したものの、「何が悪いか分からないが生成AIアプリが思ったように動かない」「ちょっとプロンプトを変えるだけで、アプリ自体をもう一度リリース」「プロンプトやモデルを変えたら精度は上がような気がするが、どれくらい良くなったのかなどは感覚でしかない」「エージェントが暴走して 無限にAPIを叩き続けているが原因が分からない」「どのユーザーセッションで不具合が起きたか追えない」「そもそも役に立ってるのかも分からない」
・・・・ このような悩みはありませんでしょうか？
こうした 開発・運用・改善の断絶 は、プロダクトマネージャー, SRE, 生成AIの企画担当者 まで誰もが抱える悩みです。Langfuse はそれらの悩みを “Trace” という一本のバックボーン に集約し、以下のような役割の課題を解決します。
- 開発者 … 処理の可視化、プロンプト管理、リリース前テストで開発工程を短縮
- 運用担当 … コスト, レイテンシ, 品質をモニタリングで異常を発見し、原因を特定
- 生成AI企画・業務担当者 … ROI や品質を判断して、改善に繋げる
Langfuse は OSS をベースにして Self-hostedと SaaS という２種類の提供オプションを持ち、ロードマップは常に公開・更新されており透明性があり、OSS コアモデルがゆえに国内外で活発なコミュニティが形成されている、非常にユニークな「LLM エンジニアリング プラットフォーム」です。
2. Langfuseが提供する主な機能#
以下の表は、Langfuseが提供する主な機能をまとめたものです。
これらの機能が非常にわかりやすい GUI や API で提供されています。
| 機能 | 目的 | 代表ユースケース |
|---|---|---|
| Tracing | レイテンシ・エラー・再試行・トークン・コストをまとめて記録 | ボトルネック解析／コスト急騰の問題解決 |
| Prompt Management | バージョン管理・ラベル付け・保護 | 破壊的変更の防止、チーム共有、プロンプト変更とリリースの高速化 |
| Evaluations | ユーザーフィードバック＋LLM as a Judge ＋人手評価 | 生成AIの効果測定／A/B テスト |
| Datasets | 良質 Q&A を蓄積し学習ループを構築 | 継続学習・RAG 強化 |
| Dashboards & Playground／Experiments | KPI 分析＋GUI テスト＋並列実験 | 仮説検証を高速化し部門間共有 |
この画像は実際のTracing 画面のキャプチャです。画像左側のバーに実際の処理の流れとコンポーネントが表示されており、クリックするとその中身が右側に詳細が表示されます。
3. “Trace” を中心に循環するオペレーティングモデル#
最近では、生成AIアプリケーション市場の高まりに合わせて、Proprietary から OSS まで、さまざまな可視化ソリューションが登場してきました。しかしながら、単なる可視化ソリューションの導入は前述のような課題の一部のみを解決するものであり、LLMの品質を上げるためには可視化された情報を活用することこそが重要です。Langfuse はその点において、ひとつのプラットフォームとして、必要とされる一連の流れをカバーできるということに大きな強みがあります。参考までに、どのように Langfuse の各機能が Trace に紐づいているかをまとめたものが以下の表です。
| サイクル | 役割 | キーとなる Trace の利用法 |
|---|---|---|
| Prompt Management | プロンプトを一元管理し、Trace の入力/出力とプロンプトもリンク | 使用されているプロンプトが、品質・コストへ与える影響をTraceごとに確認 |
| Evaluations | Trace ごとにユーザ評価/ 自動評価 / 人的評価を与える | 評価をTraceに紐づけることで、問題の特定 |
| Datasets | テスト用などのデータを管理 | Trace から直接データセットを作りし、問題があった Trace などをプロンプトやモデルの変更などで試験することで、改善サイクルを回すことができる |
| Dashboards | コスト、評価、利用状況などを一元管理 | Trace から KPI を判断 |
このようにTrace さえ送れば 管理→評価→最適化 が芋づる式に回り、GenAIOps/LLMOps の“理想形”を最短で実装できることが、LLMエンジニアリングプラットフォームとされている所以とも言えるでしょう。
例えば以下の画像は前出のTrace画像の一部ですが、トークンやコストだけではなく、この処理で使われたモデル名 “gpt-4o-mini " や プロンプト名 “qa-answer-withcontext-chat -v47” が紐づいていることが確認できます。またこのTraceを直接 dataset に入れることができる “Add to datasets” や 人的評価 (Human Annotation) をする “Annotate” もTraceから実施できることがわかります。
このように Langfuse は個々の機能を単に提供しているだけではなく、それらが Trace を軸にして全て結びついて設計がされているということに特徴を持ちます。
また今回は触れませんが、Langfuse外のツール 例えば異常を検知するガードレール機能やRAGASのような別の評価・スコアリングとも連携し、APIを通じてTraceにスコアをつけることなども可能であり、まさにプラットフォームとして幅広く利用することができます。
4. 導入パターン#
Langfuse では SaaS と Self-hosted の2パターンでの提供がされています。
SaaS と同様の機能を Self-hosted で利用でき、かつ OSS から手軽に始めることができることも Langfuse の大きな特徴です。まずは無償のSaaS版や OSS で簡単に立ち上げ、その後に本格導入することができるため、企業への導入の敷居も非常に低いと言えるでしょう。
| 方式 | 主に利用されているケース |
|---|---|
| SaaS (Langfuse Cloud) | 従量課金 (無償版あり)でも問題がない。個人プロジェクト、PoC やスタートアップ、メンテ不要で素早やく試したい。 |
| Self-hosted (Docker Compose, Helm, Terraform, AWS CDK などによるインストール) | 固定費用 (OSS版なら無償)が予算の都合が良い。セキュリティ要件として、自社内のNWに情報を保管する必要がある。検証用でローカル環境で手軽に試したい。 |
Self-hosted において、どのパターンでインストールするかについては、こちらの Blog も参考になさってみてください。 Docker compose などを使えば、すべての手順が数分で完了しますので、ぜひまずはとりあえずサクッとお試しください。
5. ロードマップとコミュニティ ― “公開・参加型”の進化エコシステム#
Langfuse は OSSをベースとして展開しており、その運営も非常にユーザーフレンドリーで透明性が高く、以下のような特徴を持ちます。
- 公開されたロードマップ
GitHub Discussions に専用スレッドを設け、公式ページは機能計画とステータスが随時更新されています。また採択・却下の理由まで閲覧可能で、ユーザーのニーズを汲み取りながらも、非常に透明性の高い運営がされています。
ロードマップ: https://langfuse.com/docs/roadmap 2. コミュニティサポート
もし Bug と思われる挙動を発見した場合には、Github の Issue で報告をすることができます。有償サポートほどではないですが、開発者をはじめとしてコミュニティから多くのサポートを得られます。 3. フィードバックが反映
Idea ボードで提案に投票→優先度が可視化されます。Issue/PR はコメント付きでレビューされ、採用までの過程がすべて残ります。 4. 定例イベント
Discord Community Session（隔週） と Town Hall（毎月） で最新リリースをライブ解説。アーカイブは YouTube に公開され、非参加者もキャッチアップが可能。 5. 日本発コミュニティ
**「Langfuse Night」**Langfuse Night #1（2025/1/28、虎ノ門）と #2（2025/3/25）が 50〜60 名規模で開催されています。資料・動画を全公開。国内でも知見循環が急速に広がっています。またAWS でのハンズオン なども開催され、関連エコシステムとの連携も発展しています。
Langfuse の Github レポジトリはこちらです。ぜひご確認ください。 https://github.com/langfuse/langfuse
まとめ#
Langfuse は生成AIアプリケーション / エージェント の開発から運用までを一貫して支援するプラットフォームです。その導入は非常にシンプルで、Cloud版やSelf hosted のDocker版なら数分で利用を開始することができます。まずはTraceの可視化を見える化から 始めて、その後にプロンプト管理や評価などをそこに付け足していくことで、生成AIのビジネス効果が高めていくことが可能です。
ガオ株式会社はサポートや有償版のリセールなどを行なっている Langfuse の 日本/APAC唯一のパートナーです。不明点など、お気軽にご相談ください。