综合介绍
Laminar是一个开源的AI工程优化平台,旨在通过第一原理驱动AI工程开发。它帮助用户有效收集、理解并应用数据,从而提升大型语言模型(LLM)应用的质量。Laminar提供了全面的可观测性、文本分析、评估以及提示链管理功能,支持用户构建和优化复杂的AI产品。无论是数据追踪、在线评估还是数据集构建,Laminar都能够为用户提供强大支持,助力高效的AI开发与部署。
其现代化的开源技术栈包括Rust、RabbitMQ、Postgres、Clickhouse等,保证了高性能与低资源消耗。用户可以通过Docker Compose快速部署,或选择托管平台享受完整功能。
(adsbygoogle=window.adsbygoogle||[]).push({});

DEMO:https://www.lmnr.ai/
功能列表
- 数据追踪:详细记录LLM应用的每一个执行步骤,收集宝贵数据以便后续评估与微调。
- 在线评估:可以将LLM设置为评估者,或者通过Python脚本进行评估,对每个接收到的跨度进行分析。
- 数据集构建:基于追踪数据构建数据集,便于后续评估、微调和提示工程。
- 提示链管理:支持构建和托管多样化的提示链,包括代理混合和自反思的LLM管道。
- 开源与自托管:完全开源,便于自托管,用户只需简单命令即可启动。
使用帮助
安装流程
- 克隆GitHub仓库:
git clone https://github.com/lmnr-ai/lmnr
- 进入项目目录:
cd lmnr
- 使用Docker Compose启动:
docker compose up -d
功能操作指南
数据追踪
- 初始化:在代码中导入Laminar并初始化项目API密钥。
from lmnr import Laminar, observe Laminar.initialize(project_api_key="...")
- 注释函数:使用
@observe
装饰器标记需要追踪的函数。@observe() def my_function(): ...
在线评估
- 设置评估器:可以设定LLM作为评判者或使用Python脚本评估器,对接收到的跨度进行评估与标记。
# 示例代码 evaluator = LLMJudge() evaluator.evaluate(span)
数据集构建
- 创建数据集:从追踪数据中生成数据集,以供后续的评估与微调使用。
dataset = create_dataset_from_traces(traces)
提示链管理
- 构建提示链:支持生成复杂的提示链,包括代理混合和自反思的LLM管道。
chain = PromptChain() chain.add_prompt(prompt)
自托管
- 自托管步骤:通过几个简单的命令即可开始自托管,确保环境中已安装Docker和Docker Compose。
git clone https://github.com/lmnr-ai/lmnr cd lmnr docker compose up -d
暂无评论