Okareo - Plataforma de testes de agentes de IA com usuários sintéticos

Okareo 简介

O desenvolvimento de AI Agents representa um dos maiores desafios da engenharia de software moderna. Diferente de aplicações tradicionais com comportamento determinístico, os Agents baseados em Large Language Models podem exibir comportamentos inesperados quando expostos a cenários não previstos durante o treinamento. Essa imprevisibilidade se manifesta frequentemente em produção, quando usuários reais interagem com o Agent de formas que a equipe de desenvolvimento jamais imaginou — resultando em falhas silenciosas, experiências ruins e perda de confiança.

É nesse contexto que a Okareo se posiciona como a plataforma líder em testes e avaliação de AI Agents. Localizada em San Francisco e integrada aos principais ecossistemas de IA do mercado — incluindo CrewAI, Anthropic, OpenAI, Google Cloud, Groq, Fireworks AI, Hugging Face e Cohere — a Okareo oferece uma abordagem fundamentalmente diferente para garantir a confiabilidade de Agents: a simulação de usuários reais antes que eles alcancem produção.

O diferencial competitivo da plataforma está no conceito de Synthetic Users (Usuários Sintéticos). Em vez de depender de testes manuais ou cenários escritos à mão, a Okareo permite que equipes de desenvolvimento definam "Drivers" — entidades que simulam diferentes personas de usuários, desde iniciantes curiosos até usuários avançados ou até mesmo comportamento adversarial. Esses Drivers interagem com o Agent através de múltiplas rodadas, expondo automaticamente bordas, loops infinitos, dead-ends e comportamentos inesperados que escapariam à maioria dos processos tradicionais de QA.

A plataforma vai além da simples verificação de outputs. Através do Behavior Map, a Okareo constrói um mapa visual das decisões que o Agent toma em diferentes cenários, permitindo que engenheiros identifiquem a raiz dos problemas — não apenas os sintomas. Combined with Error Discovery em tempo real e automação completa em pipelines de CI/CD, a Okareo transforma o teste de Agents de uma atividade manual e reativa em um processo sistemático e proativo.

---

Okareo 的核心功能

A plataforma Okareo foi construída com foco em proporcionar visibilidade completa sobre o comportamento de AI Agents em desenvolvimento e produção. Cada funcionalidade foi projetada para endereçar uma dor específica do ciclo de desenvolvimento de Agents.

Agentic Simulation

O coração da plataforma é o Agentic Simulation, onde desenvolvedores definem Drivers com contexto, objetivos e personas específicas. O sistema então conduz conversas multi-turn com o Agent automaticamente, avaliando cada interação e identificando onde o Agent se desvia do comportamento esperado. Um Driver pode representar um usuário iniciante que precisa de orientação passo a passo, um usuário avançado que espera eficiência máxima, ou até um "usuários黑客" que testa os limites do sistema propositalmente. Essa abordagem substitui horas de QA manual por execuções sistemáticas que descobrem problemas que levariam dias para ser identificados manualmente.

Voice Simulation

Para equipes que desenvolvem Voice Agents, a Okareo oferece Voice Simulation — capacidade de executar simulações multi-turn com foco em语音优先. A configuração permite integrar com provedores de voz como OpenAI Realtime, Deepgram ou endpoints customizados. A plataforma simula diferentes人格 de chamadores e testa como o Agent responde em cenários de conversaoral,压力测试 diferentes perfis de usuários que ligam para o sistema.

Behavior Map

O Behavior Map representa uma evolução significativa na forma como equipes entendem o comportamento de seus Agents. Em vez de apenas registrar outputs, o sistema constrói um mapa visual das decisões que o Agent toma em cada cenário, permitindo avaliação automática de alinhamento com objetivos, factualidade, relevância e fluxo conversacional. A visualização revela gaps estruturais, loops onde o Agent fica preso, e dead-ends onde a conversa não progride — problemas que frequentemente passam despercebidos em testes tradicionais mas que frustram usuários reais.

Evaluation & Checks

O sistema de Evaluation & Checks fornece métricas objetivas através de Auto-Generated Checks e Scorecards. A plataforma suporta múltiplos tipos de verificação: checks automáticos baseados em regras, validação de código gerado, verificação de natureza linguística, e checks customizados desenvolvidos pela equipe. Isso permite avaliar desde modelos de classificação até qualidade de código, respostas gerativas e performance de vector databases.

Error Discovery

O Error Discovery funciona como uma camada de proteção em produção, monitorando o Agent em tempo real e capturando automaticamente violações de escopo, uso de ferramentas incorretas, alucinações e quebras de fluxo conversacional. O sistema mapeia onde cada erro começou, como ele se propagou, e em que ponto a confiança do usuário foi comprometida — informações valiosas para priorização de correções.

CI/CD Automation

A integração com pipelines de CI/CD permite que simulações de usuários sintéticos sejam executadas automaticamente a cada commit de código. Essa automação elimina a dependência de "ambiente testing" baseado em feeling, permitindo que equipes façam releases com confiança ao saber que regressões serão capturadas antes de alcançarem produção.

---

Okareo 的技术架构

A arquitetura técnica da Okareo foi desenhada para suportar os requisitos únicos de teste e avaliação de sistemas baseados em LLMs, oferecendo flexibilidade para diferentes casos de uso e necessidades de integração.

Suporte a Múltiplas Modalidades de Interação

A plataforma oferece suporte nativo para três modalidades principais de interação. Voice & Simulation permite testar Agents de voz com conversas multi-turn que simulam chamadas telefônicas reais, incluindo suporte a OpenAI Realtime e Deepgram. O modo Multi-turn é ideal para chatbots e assistentes de texto que precisam manter contexto ao longo de múltiplas trocas de mensagens. O modo Headless é utilizado para testes de Agents que operam sem interface conversacional, executando tarefas em background.

Function Calling Evaluation

O módulo de Function Calling avalia a capacidade do Agent de planejar, executar e acompanhar chamadas de função corretamente. O sistema testa se o Agent seleciona a ferramenta correta para cada tarefa, se recupera gracefully de erros em chamadas de função, e se mantém detalhes importantes ao longo de uma sequência de operações. Essa avaliação é crítica para Agents que dependem de ferramentas externas para completar suas tarefas.

RAG Evaluation Pipeline

A Okareo oferece validação completa de pipelines RAG (Retrieval-Augmented Generation), testando cada etapa do processo: desde a classificação correta de intent do usuário, passando pela qualidade da recuperação de documentos, até a geração final de respostas. O sistema identifica falhas específicas em cada etapa — se a intenção foi mal classificada, se os documentos recuperados são irrelevantes, ou se a resposta gerada contém alucinações.

Capacidades Técnicas Centrais

Além das modalidades de teste, a plataforma oferece quatro capacidades técnicas principais. O Behavior Map constrói a visualização comportamental do Agent. O Real-Time Monitoring fornece observabilidade em tempo real durante execução em produção. O Scenario Copilot assists na criação automática de cenários de teste baseados em padrões de falha reais. O Auto-Generated Checks cria verificações automaticamente baseadas no comportamento observado do Agent.

---

谁在使用 Okareo

A Okareo atende diferentes perfis de equipes e casos de uso, desde startups até empresas enterprise. Entender quais cenários a plataforma endereça ajuda potenciais usuários a identificar se a solução é adequada para suas necessidades.

Desenvolvimento de Agentic AI

Equipes que desenvolvem AI Agents enfrentam o desafio fundamental de comportamento imprevisível. Através de Synthetic Users, a Okareo permite simular diversas personas de usuários — desde novatos que precisam de orientação até usuários avançados que testam limites do sistema. A plataforma descobre automaticamente edge cases e comportamentos inesperados antes que usuários reais os encontrem, permitindo correções proativas.

Integração CI/CD

Para organizações que praticam continuous deployment de Agents, a automação de testes em CI/CD é essencial. A Okareo executa simulações automáticas a cada commit, capturando regressões imediatamente. Isso elimina a dependência de testes manuais lentos e permite que equipes deployem com confiança, sabendo que problemas serão identificados antes de alcançarem produção.

RAG Systems Evaluation

Sistemas RAG são complexoes porque podem falhar em qualquer etapa: classificação incorreta de intent, recuperação de documentos irrelevantes, ou geração de respostas com alucinações. A Okareo testa cada etapa do pipeline com métricas específicas, garantindo que o fluxo completo — da consulta à resposta — seja confiável.

Voice Agent Testing

Voice Agents apresentam desafios únicos porque podem fornecer respostas incorretas, desviar do objetivo da chamada, ou pular etapas importantes sem gerar nenhum erro aparente. A plataforma executa simulações completas de chamadas telefônicas, testando o comportamento end-to-end do Agent em cenários conversacionais reais.

Function Calling Testing

Para Agents que dependem de ferramentas externas, a capacidade de chamar funções corretamente é fundamental. A Okareo testa planejamento, execução e recuperação de erros, identificando onde o Agent falha em usar ferramentas corretas, não consegue se recuperar de erros, ou perde informações importantes durante o fluxo.

---

快速开始

Para começar a utilizar a Okareo, siga estes passos fundamentais que permitirão executar sua primeira simulação em poucos minutos.

Criando uma Conta

O primeiro passo é acessar https://app.okareo.com/account/sign-up e criar uma conta. A plataforma não requer cartão de crédito para o plano gratuito, permitindo exploração completa antes de comprometer recursos financeiros. O cadastro é simples e direto, com suporte para autenticação via contas existentes.

Definindo o Primeiro Driver

Após o cadastro, o próximo passo é definir seu primeiro Driver — o usuário sintético que interagirá com seu Agent. Configure o Driver com uma persona específica: um usuário iniciante que precisa de orientação passo a passo, um usuário avançado que espera eficiência máxima, um usuário insatisfeito que testa o sistema com demandas complejas, ou um "usuários hacker" que tenta encontrar vulnerabilidades. A escolha da persona determina o tipo de comportamento que será simulado.

Configurando o Target Agent

Informe à Okareo qual é o Agent que deseja testar, fornecendo o endpoint da API ou integração necessária. Você precisará de uma API Key válida do seu provedor de LLM (OpenAI, Anthropic, Google Cloud, etc.) para que a plataforma possa executar as simulações.

Executando a Primeira Simulação

Com o Driver e o Target configurados, execute a primeira simulação. A plataforma conduzirá automaticamente uma conversa multi-turn entre o Driver e seu Agent, avaliando cada interação e gerando um Behavior Map que mostra as decisões tomadas pelo Agent ao longo do diálogo.

Requisitos do Sistema

A Okareo opera como uma plataforma baseada em cloud com integração via API. Os requisitos básicos incluem: uma conta na Okareo, acesso à API do seu Agent (REST ou SDK), e API Keys do provedor de LLM que você está utilizando (OpenAI, Anthropic, Google Cloud, etc.). Não há necessidade de instalação local — toda a infraestrutura de simulação é gerenciada pela plataforma.

---

Okareo 的定价方案

A Okareo adota um modelo de precificação baseado em uso, com três planos diseñados para atender diferentes estágios de maturidade e necessidades de equipes.

Plano Free

O plano gratuito é ideal para avaliação inicial e projetos pessoais. Com custo de $0/mês (sem necessidade de cartão de crédito), oferece 500 datapoints, acesso a Agent Error Discovery, avaliação Online e Offline, Custom Evaluators, Dataset e Prompt Versioning, e integração com CI/CD. Este plano permite que equipes experimentem a plataforma e entendam suas capacidades antes de investir recursos.

Plano Pro

O plano Pro, a partir de $199/mês, é designed para equipes em desenvolvimento ativo de Agents. Inclui 5,000 datapoints com cobrança por uso adicional, até 1,000 Agent Simulations por mês, 250 Agent Voice Minutes, Persona-Based Simulation, Error Discovery com Auto-Tuning, e Agent Outcome Monitoring.超出 datapoints limite的部分会被收取额外费用，让团队能够根据实际使用量灵活扩展。

Plano Scale

O plano Scale é destinado a empresas que precisam de controle customizado e capacidades enterprise. O preço é negociado individualmente e inclui customização de termos contratuais, modelos de voz customizados, controles administrativos enterprise, análise multmodal, relatórios de governança, e gestão de acesso por organização e equipes.

---

---

常见问题