Okareo - AI agent testing platform with synthetic users

Okareo 简介

AI Agent 的行为难以预测，这已成为开发团队面临的核心挑战。与传统软件不同，Agent 基于大语言模型构建，能够自主决策和多轮交互，但这也意味着它们可能在生产环境中表现出开发者未曾预料的边缘情况——错误的工具调用、偏离目标的对话流程、甚至产生幻觉答案。当这些问题被真实用户发现时，企业已经付出了信任损失和品牌损害的代价。

Okareo 是专为 AI Agent 设计的测试与评估平台，通过**合成用户（Synthetic Users）**模拟真实用户行为，在用户发现之前自动发现 Agent 的边缘情况和行为问题。平台的核心价值在于将不可预测的 Agent 行为转化为可量化、可复现、可自动化的测试流程。

Okareo 总部位于旧金山，已与 CrewAI、Anthropic、OpenAI、Google Cloud、Groq、Fireworks AI、Hugging Face、Cohere 等主流 AI 平台建立深度集成，为 AI/ML 团队、开发 AI Agent 的企业、语音和聊天机器人开发者提供全面的测试解决方案。

---

Okareo 的核心功能

Okareo 提供从模拟到评估的完整测试链路，核心功能围绕自动发现问题而非手动测试展开。

Agentic Simulation 是平台的基石功能。开发者可以定义合成用户（Driver），为其配置上下文和目标，然后让 Driver 与多轮 Agent 进行交互。系统会动态生成基于 Persona 目标的合成对话，评估每一轮交互并自动暴露意外行为。这种方法可以配置不同人格——新手用户、高级用户、黑客、不满客户——替代数小时的手动 QA 工作，在真实用户破坏之前发现 Agent 的行为盲点。

Voice Simulation 支持语音优先的多轮模拟测试。开发者可以配置语音目标（OpenAI Realtime、Deepgram 或自定义端点），定义模拟呼叫者的人格和目标，运行完整的语音会话测试。这对于压力测试各种呼叫者人格、确保语音助手在真实场景中表现可靠尤为重要。

Behavior Map 功能不仅记录 Agent 的输出，还构建 Agent 在不同场景下决策的行为地图。系统自动评估目标对齐、事实性、相关性、对话流程等维度，帮助开发者从根源识别 gaps（行为缺失）、loops（循环行为）、dead-ends（死胡同），而非追逐表面症状。

Evaluation & Checks 提供客观的模型表现评估。平台支持 Auto-Generated Checks 和 Scorecards，可进行自动检查、代码生成检查、自然语言检查和自定义检查。支持的场景涵盖分类模型、代码生成、生成模型和向量数据库评估。

Error Discovery 作为生产环境护栏，实时监控 Agent 行为，捕获范围违规、错误工具调用、幻觉和流程断裂。更重要的是，它能够映射错误的起始位置、传播路径以及何时破坏了用户信任。

CI/CD Automation 允许在每次代码提交时运行合成用户模拟，无需依赖"氛围测试"，提前捕获失败，让团队信心满满地发布可靠的 Agent。

---

Okareo 的技术架构

Okareo 的技术架构围绕多模态交互测试和全链路评估设计，支持从单轮对话到复杂多轮场景的全面测试需求。

多模态交互支持是架构的核心维度。平台支持 Voice & Simulation（语音优先的多轮模拟）、Multi-turn 对话测试（评估 Agent 在长对话中的上下文保持能力）以及 Headless 模式（用于无界面自动化测试）。这种全面的交互模式支持确保开发者能够在任何部署场景下进行充分测试。

Function Calling 评估模块测试 Agent 的规划、记忆和决策能力。系统能够识别工具使用错误（如调用了错误的函数、参数传递错误）、函数调用错误恢复失败、以及关键细节遗漏问题。这对于依赖外部工具和 API 的 Agent 尤为重要。

RAG 完整链路评估是 Okareo 的技术亮点之一。平台端到端验证 RAG 管道每个阶段：意图检测（判断用户查询的真实意图）、检索质量（评估返回文档的相关性）、生成质量（检查最终答案的事实性和准确性）。这确保了从查询到答案的完整流程可信。

核心技术能力包括：Behavior Map 构建 Agent 行为地图；Real-Time Monitoring 实时检测范围违规、错误工具、幻觉、流程断裂；Scenario Copilot 自动生成测试场景和合成数据；Auto-Generated Checks 自动生成评估检查和评分卡。

框架集成方面，Okareo 与主流 AI 平台深度集成，包括 CrewAI（多智能体框架）、Anthropic（Claude 系列）、OpenAI（GPT 系列）、Google Cloud（Gemini 系列）、Groq（高性能推理）、Fireworks AI、Hugging Face、Cohere 等。这种广泛的集成能力确保团队无需改变现有技术栈即可接入 Okareo。

---

谁在使用 Okareo

Okareo 面向需要构建可靠 AI Agent 的技术团队，不同场景下的开发者都能从平台功能中获益。

Agentic AI 开发场景中，团队面临的核心痛点是 AI Agent 行为难以预测，可能在生产环境中出现意外行为。Okareo 通过 Synthetic Users 模拟各种用户人格，自动发现 Agent 的边缘情况，在真实用户发现之前完成修复。开发者可以定义特定的目标场景，系统会自动生成多样化的测试用例，包括那些开发者可能遗漏的边缘情况。

CI/CD 集成评估场景解决了传统测试无法覆盖 Agent 真实行为的痛点。"氛围测试"依赖人工判断，难以规模化且不可靠。Okareo 允许在每次提交时运行自动化 Agent 评估，提前捕获失败，确保每次代码变更后 Agent 仍然稳定运行。这对于持续迭代的 AI 产品尤为重要。

RAG 系统评估场景中，RAG 系统可能在任何步骤断裂——错误意图分类导致查询被路由到错误的处理流程、检索质量不足导致返回无关文档、生成阶段产生幻觉答案。Okareo 使用真实指标测试 RAG 管道每个阶段，确保从查询到答案的完整流程可信。

Voice Agent 测试场景针对语音助手可能给出错误政策、偏离任务或遗漏步骤但不触发任何异常的痛点。平台支持运行完整的语音会话模拟，测试端到端对话行为，压力测试各种呼叫者人格——从礼貌的咨询者到激进的不满客户。

Function Calling 测试场景验证 Agent 的规划、记忆和决策能力。系统测试 Agent 是否正确选择工具、是否正确处理函数返回结果、是否在多轮对话中保持关键信息。这对于构建依赖外部工具完成复杂任务的 Agent 至关重要。

---

快速开始

Okareo 设计了简洁的接入流程，帮助开发者快速上手。

注册步骤非常直接：访问 https://app.okareo.com/account/sign-up 创建账户。Free 计划无需信用卡， 提供 500 datapoints 的初始额度，足以完成早期的概念验证和基础测试。

最小可用示例遵循以下流程：首先，定义第一个合成用户（Driver），配置其背景、目标和行为模式；其次，选择目标 Agent 的功能和端点；然后，运行第一轮模拟，系统会生成基于配置人格的合成对话；最后，查看评估结果和行为地图，识别需要修复的问题。

系统要求方面，Okareo 通过 API 集成工作，需要开发者具备目标 AI 平台的 API Key（支持 OpenAI、Anthropic、Google Cloud 等主流平台）。开发者需要了解目标 Agent 的功能边界和端点配置，以便正确设置测试场景。

---

Okareo 的定价方案

Okareo 采用按使用量分层的定价策略，确保不同规模的团队都能找到合适的方案。

Free 方案无需信用卡，为开发者提供完整的评估框架和基础的错误发现功能。这足以支持早期开发和概念验证，帮助团队建立测试基线。

Pro 方案适合需要频繁迭代的团队。超出 5k datapoints 后按量计费，提供完整的 Persona-Based Simulation 和 Error Discovery & Auto-Tuning 功能。250 Agent Voice Minutes 支持语音场景的测试需求。

Scale 方案面向大型企业和有严格合规要求的组织，提供自定义使用条款、自定义语音模型、多模态分析和完整的治理报告功能。

---

常见问题