Langfuse是开源的LLM可观测性平台，提供完整的追踪、监控和调试功能。支持自托管，集成OpenAI、Anthropic等主流LLM，实时查看调用链、成本和性能指标，帮助开发者优化AI应用性能和成本，是构建生产级AI应用的必备工具，已获得25.7k Stars认可。
🎤 引言
构建 LLM 应用时，你是否遇到过这些问题：API 调用成本失控、响应延迟难以定位、多步骤调用链无法追踪、生产环境故障难以复现？
Langfuse 是一款开源的 LLM 可观测性平台，专门解决这些问题。它提供完整的追踪（Tracing）、监控（Monitoring）和调试（Debugging）功能，让你对 LLM 应用的运行状态了如指掌。目前已有 25.7k Stars，成为构建生产级 AI 应用的必备工具。
⭐ 核心功能
完整调用链追踪
Langfuse 的核心能力是追踪 LLM 应用的完整执行流程。无论是简单的单轮对话，还是复杂的多 Agent 协作，都能清晰记录每一步的输入、输出、延迟和成本。
追踪数据以树状结构展示，直观呈现调用层级关系。点击任意节点，可查看详细的请求参数、响应内容、Token 消耗和执行时间。
实时监控仪表盘
内置丰富的监控指标，包括：
- API 调用量和成功率
- 平均延迟和 P99 延迟
- Token 消耗和成本估算
- 错误率和异常分类
仪表盘支持自定义时间范围，可快速定位性能瓶颈和异常情况。
调试与诊断
当生产环境出现问题时，Langfuse 的调试功能让你快速定位根因：
- 查看完整的上下文信息
- 对比不同版本的提示词效果
- 分析 Token 消耗分布
- 追踪错误传播路径
数据集与评估
支持创建数据集进行离线评估，对比不同模型、提示词或参数配置的效果。可自定义评估指标，量化 LLM 应用的改进效果。
📥 安装使用
Langfuse 支持两种部署方式：云端托管和自托管。
云端托管（推荐新手）
注册账号即可使用，免费版包含每月 10k 次追踪额度：
# 安装 Python SDK
pip install langfuse
# 初始化客户端
from langfuse import Langfuse
langfuse = Langfuse(
public_key="pk-...",
secret_key="sk-...",
host="https://cloud.langfuse.com"
)自托管部署
使用 Docker Compose 一键部署：
# 克隆仓库
git clone https://github.com/langfuse/langfuse.git
cd langfuse
# 启动服务
docker-compose up -d
# 访问 http://localhost:3000集成示例（OpenAI）
from langfuse.openai import openai
# 替换原有的 openai 导入即可自动追踪
response = openai.chat.completions.create(
model="gpt-4",
messages=[{"role": "user", "content": "Hello"}]
)
# 所有调用自动记录到 Langfuse集成示例（LangChain）
from langfuse.callback import CallbackHandler
langfuse_handler = CallbackHandler()
# 在 LangChain 调用中添加回调
chain.invoke(
{"input": "Hello"},
config={"callbacks": [langfuse_handler]}
)🎯 适用场景
生产环境监控
对于已上线的 LLM 应用，Langfuse 提供 7×24 小时监控，及时发现性能退化和成本异常。设置告警阈值，当延迟或错误率超标时自动通知。
开发调试
在开发阶段，使用 Langfuse 追踪每次测试调用，快速迭代提示词和参数。对比不同版本的输出质量，选择最优方案。
成本优化
通过详细的 Token 消耗统计，识别高成本的调用模式。优化提示词模板，减少不必要的 Token 消耗，降低运营成本。
合规审计
记录所有 LLM 调用的完整上下文，满足合规要求。支持数据导出，便于内部审计和外部监管。
🔍 对比/替代方案
| 特性 | Langfuse | LangSmith | Weights & Biases |
|---|---|---|---|
| 开源 | ✅ 完全开源 | ❌ 闭源 | ⚠️ 部分开源 |
| 自托管 | ✅ 支持 | ❌ 不支持 | ⚠️ 企业版支持 |
| 价格 | 免费额度充足 | 较贵 | 较贵 |
| 集成框架 | 广泛支持 | 主要支持 LangChain | 通用 ML 平台 |
| 社区活跃度 | 25.7k Stars | 官方产品 | 较少 LLM 专用 |
Langfuse 相比 LangSmith 的优势在于开源和自托管，数据完全掌控在自己手中，无供应商锁定风险。适合对数据隐私有要求的企业。
⚠️ 注意事项
数据隐私
虽然 Langfuse 支持自托管，但默认配置下追踪数据可能包含敏感信息。生产环境建议：
- 启用数据脱敏功能
- 配置访问控制
- 定期清理历史数据
性能开销
追踪功能会引入一定的性能开销，大约增加 5-10% 的延迟。对于高并发场景，建议：
- 采样追踪（只记录部分请求）
- 异步发送追踪数据
- 配置合理的批处理大小
存储成本
长期保留追踪数据会占用大量存储空间。建议设置数据保留策略，自动清理过期数据。
✅ 总结
Langfuse 是一款功能完善、开源免费的 LLM 可观测性平台。它解决了 LLM 应用开发中的核心痛点——可观测性，让你对 AI 应用的运行状态了如指掌。
优点：
- 开源免费，支持自托管
- 功能全面，覆盖追踪、监控、调试
- 集成简单，支持主流 LLM 框架
- 社区活跃，持续迭代
缺点：
- 自托管需要一定的运维能力
- 高级功能需要付费订阅
- 文档对部分高级场景覆盖不足
推荐指数：⭐⭐⭐⭐⭐
项目地址：https://github.com/langfuse/langfuse
对于正在构建生产级 LLM 应用的开发者，Langfuse 是必备工具。无论是监控成本、优化性能，还是排查故障，它都能提供强有力的支持。