メインコンテンツへスキップ

Google Cloud

TerraformでLiteLLM ProxyをGoogle Cloud上に構築する

はじめに # 近年、LLMアプリケーションの開発において、複数のLLMプロバイダーを使い分ける必要性が高まっています。 OpenAIのGPT、AnthropicのClaude、GoogleのGeminiなど、それぞれ異なる特徴を持っており、それぞれの特徴に合わせてLLMを使い分けるケースも多くあります。 また、コスト最適化の観点から、簡単なタスクには安価なモデルを、複雑なタスクには高性能なモデルを使い分けることも重要です。

GeminiコンテキストキャッシュとLangfuseで実現するコスト監視

はじめに # GoogleのVertex AI Geminiが提供するコンテキストキャッシュ機能は、大量のコンテキストを再利用することで、APIコストを大幅に削減できる強力なツールです。しかし、実際にどの程度のコスト削減効果があるのかを可視化するには、一手間加える必要があります。

Langfuseにおける個人情報(PII)マスキング:Sensitive Data Protection の活用

これまで、LangfuseでのPIIマスキング手法として、llm-guard 、Guardrails for Amazon Bedrock 、そしてLLM(Gemini 2.5 Flash Lite) によるマスキング手法を検討してきました。 今回は、Google Cloudの機密データ保護機能であるSensitive Data Protection(旧:Cloud Data Loss Prevention, Cloud DLP) の利用について検討します。

Langfuseにおける個人情報(PII)マスキング:Gemini 2.5 Flash Liteで実現するLLMベースPIIフィルター

LangfuseにおけるPIIマスキング手法の検討 # 前回の記事 では、Guardrails for Amazon Bedrockを利用したPIIマスキングについて紹介しました。個人情報を列挙した形のテストデータにおいては精度が高く、大半の情報は除去できましたが、一部、フィルターが準備されていないなど、追加の対応が必要な項目が残っていました。