产品详情
Okareo 简介
AI Agent 的行为难以预测，这是所有 AI/ML 团队在开发过程中面临的核心挑战。与传统软件不同，Agent 基于大语言模型驱动，可能在生产环境中出现意外行为——偏离任务、幻觉回答、工具使用错误、流程断裂——这些问题往往在真实用户遇到后才被发现，导致用户体验下降和信任损失。
Okareo 是总部位于旧金山的 AI Agent 测试与评估平台，核心价值在于通过**合成用户（Synthetic Users）**模拟真实用户行为，在用户发现之前发现 Agent 的边缘情况和行为问题。该平台与 CrewAI、Anthropic、OpenAI、Google Cloud、Groq、Fireworks AI、Hugging Face、Cohere 等主流 AI 平台深度集成，支持语音、文字、Headless 多种交互模式，覆盖从开发测试到生产监控的完整生命周期。
与传统的"氛围测试"不同，Okareo 提供系统化的测试方法：构建行为地图（Behavior Map）识别 Agent 在不同场景下的决策路径，实时监控（Real-Time Monitoring）捕获范围违规、错误工具、幻觉和流程断裂，并在每次代码提交时自动运行合成用户模拟（CI/CD Automation），确保发布前的可靠性。
核心能力
- 合成用户模拟：定义 Driver 包含上下文和目标，自动与多轮 Agent 交互，暴露意外行为和边缘情况
- 行为映射：构建 Agent 决策行为地图，识别 gaps、loops、dead-ends，从根源解决问题
- 实时错误发现：生产环境护栏，实时监控 Agent 行为，捕获范围违规、幻觉、流程断裂
- CI/CD 自动化：每次提交时自动运行测试，提前捕获失败，信心发布可靠 Agent
Okareo 的核心功能
Okareo 的核心功能围绕智能体模拟和自动化评估两大支柱展开，帮助团队在开发周期中系统化地发现和修复 Agent 问题。
**Agentic Simulation（智能体模拟）**是 Okareo 的核心能力。开发者可以定义合成用户（Driver），包含上下文和目标，让 Driver 与多轮 Agent 交互，自动暴露意外行为和边缘情况。系统基于 Persona 目标动态生成合成对话，评估每一轮交互，支持配置不同人格（新手用户、高级用户、黑客、不满客户），替代数小时的手动 QA 工作。**Voice Simulation（语音模拟）**则运行语音优先的多轮模拟，配置语音目标（OpenAI Realtime、Deepgram 或自定义端点），定义模拟呼叫者人格和目标，测试真实语音对话行为，Pro 计划包含 250 Agent Voice Minutes。
**Behavior Map（行为映射）**不仅记录输出，还构建 Agent 在不同场景下决策的行为地图。系统自动评估目标对齐、事实性、相关性、对话流程，帮助团队识别 gaps（行为缺口）、loops（循环陷阱）、dead-ends（死胡同），从根源解决问题而非追逐症状。**Evaluation & Checks（评估与检查）**使用 Auto-Generated Checks 和 Scorecards 客观评估模型表现，支持自动检查、代码生成检查、自然语言检查、自定义检查，覆盖分类模型、代码生成、生成模型、向量数据库等多种场景。
**Error Discovery（错误发现）**作为生产环境护栏，实时监控 Agent 行为，捕获范围违规、错误工具、幻觉、流程断裂，并映射错误起始位置、如何传播、何时破坏信任。**CI/CD Automation（CI/CD 自动化）**在每次提交时运行合成用户模拟，无需"氛围测试"，提前捕获失败，让团队信心满满地发布可靠 Agent。
- 多框架集成：原生支持 CrewAI、Anthropic、OpenAI、Google Cloud、Groq、Fireworks AI 等主流框架
- 多交互模式：支持文字、语音、Headless 多种交互方式，覆盖语音助手、聊天机器人、API Agent
- 完整评估链路：从意图检测、检索、生成到端到端对话，支持 RAG 和 Function Calling 完整测试
- 自动化程度高：自动生成测试场景、评估检查、评分卡，减少手动测试工作量
- 学习曲线：需要一定的 AI 开发经验，理解 Agent 架构和评估方法论
- 集成复杂度：接入新框架或自定义端点需要一定的开发工作
Okareo 的技术架构
Okareo 采用模块化技术架构，支持从单点评估到企业级部署的灵活扩展。核心技术能力涵盖多模态交互、Function Calling 评估、RAG 链路评估三大核心场景。
多模态交互支持是架构的基础层。系统支持 Voice & Simulation（语音优先的多轮模拟）、Multi-turn 对话测试、Headless 模式，覆盖文字、语音、纯 API 调用三种主流交互方式。语音模块支持 OpenAI Realtime、Deepgram 及自定义端点，企业可根据技术栈灵活选择。Function Calling 评估模块测试 Agent 的规划、记忆和决策能力，识别工具使用错误和记忆问题，确保 Agent 在复杂任务中正确调用外部工具。RAG 完整链路评估端到端验证意图检测→检索→生成过程，测试 RAG 管道每个阶段——错误意图分类、检索质量、幻觉答案——确保从查询到答案的完整流程可信。
核心技术能力层面，Behavior Map构建 Agent 行为地图，识别决策路径和异常模式；Real-Time Monitoring实时检测范围违规、错误工具、幻觉、流程断裂；Scenario Copilot自动生成测试场景和合成数据，解决手写测试缺少真实世界边缘案例的问题；Auto-Generated Checks自动生成评估检查和评分卡，客观量化模型表现。
框架集成方面，Okareo 与主流 AI 平台深度集成，包括 CrewAI、Anthropic（Claude）、OpenAI（GPT）、Google Cloud（Gemini）、Groq、Fireworks AI、Hugging Face、Cohere、CircleCI、Azure 等，开发者可使用现有模型和框架快速接入。
技术选型建议
推荐在开发早期集成 Okareo，利用 Scenario Copilot 自动生成测试场景。基于真实生产失败案例扩展测试覆盖，在 Agent 架构确定后接入评估模块效果最佳，可减少后期重构成本。
谁在使用 Okareo
Okareo 面向 AI/ML 团队、开发 AI Agent 的企业、语音/聊天机器人开发者，以下是典型使用场景。
场景一：Agentic AI 开发。AI Agent 行为难以预测，可能在生产环境中出现意外行为。通过 Synthetic Users 模拟各种用户人格，自动发现 Agent 边缘情况——例如新手用户的错误操作、高级用户的复杂查询、黑客的安全攻击、不满客户的投诉场景——在用户发现之前发现并修复问题，大幅降低生产环境故障率。
场景二：CI/CD 集成评估。传统测试无法覆盖 Agent 的真实行为，"氛围测试"不够可靠。通过在每次提交时运行自动化 Agent 评估，提前捕获失败，确保每次发布的 Agent 稳定性，实现信心发布。
场景三：RAG 系统评估。RAG 系统可能在任何步骤断裂——错误意图分类、差检索、幻觉答案。使用真实指标测试 RAG 管道每个阶段，确保从查询到答案的完整流程可信，适用于知识库问答、企业搜索等场景。
场景四：Voice Agent 测试。语音助手可能给出错误政策、偏离任务或漏掉步骤，但不触发任何异常。运行完整的语音会话模拟，测试端到端对话行为，压力测试各种呼叫者人格，确保语音交互的可靠性。
场景五：Function Calling 测试。Agent 可能使用错误工具、无法从函数调用错误中恢复、忘记关键细节。测试 Agent 的规划、记忆和决策，识别工具使用错误和记忆问题，在生产前诊断决策缺陷，适用于工具调用型 Agent。
选择建议
根据交互模式选择测试类型：文字交互优先使用 Agentic Simulation，语音场景使用 Voice Simulation，纯 API 调用使用 Headless 模式。RAG 系统使用 RAG Evaluations，多工具调用场景使用 Function Calling 测试。
快速开始
Okareo 提供简洁的接入流程，开发者可在短时间内完成首个测试场景搭建。
注册步骤：访问 https://app.okareo.com/account/sign-up 创建账户，无需信用卡即可开始使用 Free 计划。Free 计划包含 500 datapoints、Agent Error Discovery、Online/Offline Evaluation、Custom Evaluators、Dataset/Prompt Versioning、CI/CD Integration，适合早期验证和概念测试。
最小可用示例：完成注册后，定义第一个合成用户（Driver），配置目标人格（例如"不满客户"）和对话目标（例如"申请退款"），选择目标 Agent 的端点，运行第一轮模拟。系统将自动评估每一轮交互，生成行为报告和错误分析。
系统要求：Okareo 支持 API 集成，需具备目标模型的 API Key（OpenAI/Anthropic/Google Cloud 等）。开发者需要了解目标 Agent 的功能和端点，以及期望的交互行为模式。建议在接入前阅读官方文档：https://okareo.com/docs/getting-started/overview。
最佳实践
建议从 Free 计划开始（500 datapoints），熟悉平台界面和评估方法论后升级到 Pro 计划。Pro 计划（$199/月起）包含 5k datapoints、最多 1000 Agent Simulations、250 Agent Voice Minutes、Persona-Based Simulation、Error Discovery & Auto-Tuning、Agent Outcome Monitoring，适合规模化测试需求。
Okareo 的定价方案
Okareo 采用按使用量分层定价模式，满足从个人开发者到企业团队的不同需求。
| 方案 | 价格 | 核心功能 | 适合人群 |
|---|---|---|---|
| Free | $0/月 | 500 datapoints、Agent Error Discovery、Online/Offline Evaluation、Custom Evaluators、Dataset/Prompt Versioning、CI/CD Integration | 个人开发者、概念验证 |
| Pro | $199/月起 | 5k datapoints（超出按量计费）、最多 1000 Agent Simulations、250 Agent Voice Minutes、Persona-Based Simulation、Error Discovery & Auto-Tuning、Agent Outcome Monitoring | 中小团队、生产环境 |
| Scale | 自定义 | 自定义使用条款、自定义语音模型、企业控制、多模态分析、治理报告、组织/团队访问管理 | 大型企业、合规需求 |
Free 计划无需信用卡，适合早期验证；Pro 计划超出 datapoints 后按量计费，适合规模化测试场景；Scale 计划支持自定义语音模型和治理报告，满足企业级合规需求。
计费说明
Pro 计划超出 5k datapoints 后按量计费，具体费率可在定价页面 https://okareo.com/pricing 查看。建议根据测试频率和 Agent 复杂度预估 datapoints 消耗，避免意外账单。
常见问题
Error Tracking 是否是一种可观测性？
Error Discovery 是 Okareo 的核心功能之一，作为生产环境护栏实时监控 Agent 行为。它捕获范围违规、错误工具、幻觉、流程断裂，并映射错误起始位置和传播路径。这与可观测性理念高度一致，但更聚焦于 Agent 行为异常的检测和诊断，帮助团队从"指标异常"深入到"行为异常"。
是否有本地部署或 VPC 版本？
当前版本主要提供云服务。关于本地部署或 VPC 版本的详细需求，建议联系 Okareo 团队评估企业特定场景的技术可行性。Scale 计划支持自定义部署选项，可根据企业安全要求定制。
Okareo 是否能处理 RAG？
完全可以。Okareo 提供完整的 RAG 评估能力，端到端验证意图检测→检索→生成过程。系统测试 RAG 管道每个阶段——错误意图分类、检索质量、幻觉答案——确保从查询到答案的完整流程可信，适用于知识库问答、企业搜索等场景。
Okareo 是否支持智能体评估？
是的，Agentic Evaluation 是 Okareo 的核心能力。通过定义合成用户（Driver）与多轮 Agent 交互，自动暴露意外行为和边缘情况。系统支持配置不同人格（新手用户、高级用户、黑客、不满客户），自动评估目标对齐、事实性、相关性、对话流程。
Okareo 是否能帮助聊天机器人和生成？
可以。Okareo 支持文字、语音、Headless 多种交互模式，可用于聊天机器人、语音助手、API Agent 等多种场景。Evaluation & Checks 功能支持分类模型、代码生成、生成模型、向量数据库等多种任务类型的评估。
是否能支持有重大数据安全顾虑的组织？
Okareo 重视数据安全，针对有重大数据安全顾虑的组织，Scale 计划提供企业级安全控制、自定义使用条款、多模态分析、治理报告等功能。建议通过官方渠道联系团队，评估具体的安全合规需求和技术方案。
