Output.ai

Output.ai：用于构建、测试和运行生产 AI 工作流程的开源 TypeScript 框架，在版本控制 (Git) 下对提示、跟踪、配置和测试进行集中式、存储库范围的管理 用于构建、测试和运行生产 AI 工作流程的开源 TypeScript 框架；在版本控制 (Git) 下对提示、跟踪、配置和测试进行集中式、存储库范围的管理；内置跟踪和成本跟踪，记录每个 LLM 呼叫和第三方服务呼叫；评估驱动的开发，具有确定性检查、基于 LLM 的评估器、CLI 驱动的重播和单元式测试。 通过在 Git 中集中存储库范围内的提示、配置、跟踪和测试，在 TypeScript 中创建可重现、可审计的 AI 管道，以便团队可以跟踪 LLM 调用、成本和评估驱动的回归，同时管理加密凭证以实现安全协作；使用具有自动重试功能的临时支持执行、LLM 调用跟踪和成本跟踪以及存储库范围的提示来构建持久、重试安全的长期运行的 AI 工作流程（例如，文档摄取、多步骤编排、模型微调），以确保可靠、可观察的运行；通过控制与评估驱动的测试的合并、跟踪 LLM 交互和责任成本、在存储库中存储提示和配置以及通过加密凭证管理安全地处理机密，实现 AI 功能的自动化 CI/CD。