本記事は こちらの記事 の続編 (アップデート版) となります。
(改めて) n8nとは何か、プロンプト管理の課題 # n8nは「nodemation」の略称で、ドラッグ&ドロップ操作や各ノードの設定によってワークフローを作成できる自動化ツールです。300以上の組み込みノードを提供しており、Slack、Gmail、Notion、カレンダー、Webhookなど、様々なサービスとの連携が可能です。コードを書くことなく複雑な自動化フローを構築できる一方で、JavaScript や最近はPython を使用したコードの実行をフローに埋め込むことなどにも対応しています。
これまで、LangfuseでのPIIマスキング手法として、llm-guard 、Guardrails for Amazon Bedrock 、そしてLLM(Gemini 2.5 Flash Lite) によるマスキング手法を検討してきました。
今回は、Google Cloudの機密データ保護機能であるSensitive Data Protection(旧:Cloud Data Loss Prevention, Cloud DLP) の利用について検討します。
PIIフィルター用LLMのトレース保存 # こちらの記事 で、Langfuse の PII フィルターに LLM を利用する方法について検証しました。
LangfuseにおけるPIIマスキング手法の検討 # 前回の記事 では、Guardrails for Amazon Bedrockを利用したPIIマスキングについて紹介しました。個人情報を列挙した形のテストデータにおいては精度が高く、大半の情報は除去できましたが、一部、フィルターが準備されていないなど、追加の対応が必要な項目が残っていました。
LangfuseにおけるPIIマスキング手法の検討 # 前回の記事 では、llm-guardを用いたPIIマスキングについて検証しました。llm-guardは柔軟なモデル選択が可能である一方、日本語のPII検出にはまだ課題が残ることが分かりました。
n8nとは何か # n8nは「nodemation」の略称で、ドラッグ&ドロップ操作や各ノードの設定によってワークフローを作成できる自動化ツールです。300以上の組み込みノードを提供しており、Slack、Gmail、Notion、カレンダー、Webhookなど、様々なサービスとの連携が可能です。コードを書くことなく複雑な自動化フローを構築できる一方で、JavaScript や最近はPython を使用したコードの実行をフローに埋め込むことなどにも対応しています。
LangfuseにおけるPIIマスキングの必要性 # チャットボットのようなアプリケーションでは、ユーザーが意図せず個人情報(PII)を入力してしまう可能性があります。個人情報保護の観点から、これらの情報がLangfuseのトレースにそのまま出力されるのは望ましくありません。
はじめに # 本記事では、この Langfuse 環境を AWS 上に構築する方法について解説します
はじめに # 本記事では、この Langfuse 環境を Google Cloud 上に構築する方法について解説します
1. はじめに # 本記事では Dify の Langfuse プラグインをご紹介いたします。
Dify でアプリを開発する際、ワークフローに直接プロンプトを書き込んでいくと、「前のプロンプトの方が良かったけど消しちゃった」「チームで同じプロンプトをスムーズに共有したいけど…」といったお悩みが出てきませんか?
はじめに # 本記事では、Agent Development Kit (ADK) によって構築されたAIエージェントの挙動をLiteLLMを通じてLangfuseで可視化する方法について解説していきます。
1. はじめに: Langfuseとは何か? # 生成AIアプリケーションを本番投入したものの、「何が悪いか分からないが生成AIアプリが思ったように動かない」「ちょっとプロンプトを変えるだけで、アプリ自体をもう一度リリース」「プロンプトやモデルを変えたら精度は上がような気がするが、どれくらい良くなったのかなどは感覚でしかない」「エージェントが暴走して 無限にAPIを叩き続けているが原因が分からない」「どのユーザーセッションで不具合が起きたか追えない」「そもそも役に立ってるのかも分からない」