Respan - Complete AI observability from tracing to deployment

O que é o Respan

À medida que aplicações de IA se tornam cada vez mais complexas, desenvolvedores e equipes de engenharia enfrentam desafios crescentes: debugar comportamentos imprevisíveis de agentes de IA, garantir qualidade consistente em produção, controlar custos que escalam exponencialmente e identificar problemas antes que afetem os usuários. Essas dificuldades se intensificam quando você está lidando com milhões de requisições por hora, dezenas de modelos diferentes e fluxos de trabalho cada vez mais sofisticados.

O Respan (anteriormente Keywords AI) é uma plataforma completa de observabilidade de IA que transforma essa realidade. A ferramenta oferece um fluxo de trabalho integrado que vai do rastreamento à avaliação, otimização e implantação de agentes de IA — tudo em uma única plataforma unificada.

A proposta central do Respan é fornecer visibilidade completa sobre o comportamento dos seus agentes de IA em produção. Ao invés de trabalhar com ferramentas fragmentadas para logging, avaliação, monitoramento e deploy, você拥有一个 plataforma que integra todas essas capacidades de forma nativa. O resultado? Redução significativa de complexidade operacional e acceleration no ciclo de desenvolvimento.

A plataforma já processou mais de 80 trilhões de tokens e atende empresas referências no ecossistema de IA, incluindo Retell AI, Mem0, AlphaSense e Gumloop. Com investimento da Y Combinator e uma base de clientes que varia de startups em crescimento a empresas consolidadas, o Respan se posiciona como a infraestrutura confiável para equipes que precisam escalar aplicações de IA com confiança.

---

Principais Funcionalidades do Respan

Tracing: Visibilidade Completa do Fluxo de Execução

O módulo de tracing do Respan captura cada prompt, chamada de ferramenta e resposta gerada, incluindo o contexto completo do流量 em produção. A implementação técnica permite visualização端到端 do caminho de execução, com suporte para busca, filtragem e ordenação por conteúdo, latência, custo, qualidade, tags e metadados personalizados.

A capacidade de performance suporta mais de 1 milhão de logs por hora através de registro assíncrono, o que significa que a instrumentação não adiciona latência perceptível às suas requisições. O recurso de Playground permite reproduzir e depurar traces de produção diretamente na interface, transformando a análise de problemas de algo que levava horas em minutos.

Outro diferencial significativo é a capacidade de converter traces de produção em datasets de avaliação versionados. Isso permite que você use dados reais do ambiente de produção para melhorar continuamente a qualidade do seu agente, criando um ciclo virtuoso de aprendizado e otimização.

Evaluate: Avaliação Integrada e Workflows Unificados

O módulo de avaliação do Respan integra revisão humana, checagens de código e julgamento por LLMs em um workflow unificado. Essa abordagem holística permite que você defina métricas personalizadas e construa avaliadores compostos que combinam múltiplos critérios de qualidade.

A plataforma suporta a criação de datasets versionados a partir de traces de produção, permitindo对比 diferentes versões de prompts, modelos e releases contra uma baseline estabelecida. Essa funcionalidade é essencial para equipes que praticam desenvolvimento iterativo e precisam tomar decisões baseadas em dados concretos sobre qual versão performou melhor.

O sistema de avaliação é particularmente valioso para cenários de A/B testing e comparação de modelos, onde você precisa determinar qual abordagem entrega melhor qualidade a um custo sustentável.

Optimize: Iteração Contínua com Controle de Versão

O módulo de otimização oferece rastreamento completo de versão para prompts, ferramentas, modelos e fluxos de trabalho. Cada alteração é registrada com histórico completo, permitindo que você compare versões side-by-side e identifique exatamente o que mudou no comportamento do seu agente.

A capacidade de testar contra baselines reais elimina a incerteza nos deployments. Você pode validar mudanças em um ambiente isolado antes de liberar para produção, com métricas objetivas de impacto. A otimização cruzada entre prompts, ferramentas e orquestração permite otimizações que consideram o sistema como um todo, não apenas partes isoladas.

Deploy: Gateway Unificado e Controle Flexible

O Respan funciona como um gateway unificado que agrega mais de 500 modelos através de um único endpoint. Isso simplifica drasticamente a arquitetura da sua aplicação, eliminando a necessidade de gerenciar múltiplas integrações com provedores de modelo.

O deployment direto pela interface permite推送 versões de prompt ou workflow para produção com um clique. Recursos de release gating, comparação de comportamento e rollback oferecem controles de segurança enterprise que você espera de infraestrutura crítica. A flexibilidade na seleção e roteamento de modelos permite que você ajuste dinamicamente qual modelo usar baseado em requisitos de custo, latência ou qualidade.

Monitor: Dashboard Customizável e Alertas Inteligentes

O módulo de monitoramento oferece mais de 80 tipos de gráficos customizáveis para criar dashboards que refletem as métricas mais importantes para seu negócio. O monitoramento de comportamento em produção, combinado com sampling de avaliação online, fornece uma visão contínua da qualidade do seu sistema.

O sistema de alertas suporta múltiplos canais: Slack, email e SMS. Além de notificar sobre anomalias, você pode configurar workflows automatizados que são desencadeados quando condições específicas são atingidas, permitindo respostas proativas a problemas antes que usuários percebam.

AI Gateway: Infraestrutura Escalável

O AI Gateway do Respan unifica o acesso a mais de 500 modelos através de um único endpoint, eliminando a complexidade de gerenciar múltiplas integrações. Funcionalidades como Key Vault (BYOK), logging integrado, request caching, auto-retry e fallback estão disponíveis nativamente.

O gateway também fornece load balancing, controle de gastos e rate limiting — tudo configurável através da interface ou API. O plano Team suporta até 8.400 requisições por minuto, suficiente para a maioria das aplicações em produção.

---

Quem Está Usando o Respan

Cenário 1: Monitoramento de IA em Escala para Voice AI

Plataformas de voice AI processam milhões de chamadas telefônicas, cada uma envolvendo dezenas de gerações de LLM. O desafio é manter visibilidade completa sobre cada interação sem adicionar latência que degrade a experiência do usuário.

A Retell AI implementou o Respan para processar mais de 1 milhão de logs por hora. Utilizando o recurso de thread_identifier, a equipe链接 todas as gerações de LLM com a chamada telefônica correspondente, criando uma visão completa de cada interação do cliente. O resultado foi visibilidade total sobre conversas telefônicas com instrumentação que não impacta a performance do sistema.

Cenário 2: Resolução Rápida de Problemas em Produção

Um dos maiores desafios com agentes de IA em produção é identificar quando o comportamento começa a derivar ou quando falhas começam a se acumular. Problemas frequentemente só são descobertos dias depois, quando o impacto já afetou milhares de usuários.

O Respan resolve isso com monitoramento em tempo real combinado com alertas configuráveis. A plataforma detecta automaticamente eventos como fallbacks, retries, JSON inválido e stream timeouts, notificando a equipe instantaneamente. A Retell AI reportou resolução de problemas em produção 10x mais rápida após implementar o Respan.

Cenário 3: Preparação de Dados para Avaliação e Treinamento

Exportar grandes volumes de logs de produção para construir datasets de treinamento ou avaliação tradicionalmente requer desenvolvimento de pipelines customizados, processus manuais e muita experiência com engenharia de dados.

O Respan simplifica isso com exportação em lote nos formatos JSONL e CSV, com filtragem por atributos personalizados. A Retell AI conseguiu economizar 90% do tempo Previously gasto em preparação de dados e exportação de datasets.

Cenário 4: Comparação e Seleção de Modelos

Escolher entre dezenas de modelos disponíveis requer benchmarks objetivos e reproduzíveis. A abordagem tradicional de testes manuais não escala e não oferece dados suficientes para decisões informadas.

Com o gateway unificado do Respan e recursos de baseline comparison, equipes podem executar testes lado a lado com diferentes modelos, usando o mesmo conjunto de dados e métricas. O resultado é uma seleção verdadeiramente orientada por dados.

Cenário 5: Versionamento e Rollback de Prompts

Mudanças em prompts podem alterar dramaticamente o comportamento de um agente de IA. Quando algo dá errado em produção, identificar qual alteração causou o problema e reverter para uma versão anterior pode ser extremadamente difícil sem o controle de versão adequado.

O Respan oferece histórico completo de versão para prompts com capacidade de rollback com um clique. Cada alteração é registrada, permitindo análise forense completa e deployments seguros com capacidade de reversão instantânea.

Cenário 6: Segurança e Conformidade Enterprise

Empresas em setores regulados precisam demonstrar conformidade com SOC 2, HIPAA e GDPR. Isso frequentemente requer evidências documentadas de controles de segurança, acordos de processamento de dados e auditorias regulares.

O Respan possui certificações ISO 27001, SOC 2, HIPAA (incluindo BAA) e GDPR. O plano Enterprise inclui HIPAA BAA específico para clientes que processam dados de saúde, além de relatórios SOC 2 e suporte dedicado para processos de revisão de segurança.

---

Características Técnicas e Capacidades de Integração

Integração com Modelos

O Respan unifica o acesso a mais de 500 modelos através de um único gateway. A lista de provedores suportados inclui os principais nomes do mercado: OpenAI, Anthropic, OpenRouter, Groq, Fireworks, Together AI, Azure OpenAI, AWS Bedrock e Google Gemini. Essa flexibilidade permite que você escolha o modelo ideal para cada caso de uso, balanceando custo, latência e qualidade.

A arquitetura de gateway significa que você pode mudar de provedor ou modelo sem alterar uma linha de código na sua aplicação. O roteamento inteligente permite direcionar requisições diferentes para modelos diferentes baseado em regras configuráveis.

Suporte a Frameworks

A plataforma integra-se nativamente com mais de 40 frameworks主流. O ecossistema de LangChain, Vercel AI SDK, OpenAI Agents SDK, Mastra, LlamaIndex, Google GenAI, Mem0, Cognee e Agno são todos suportados. Para equipes que usam frameworks proprietários ou customizados, o suporte a OpenTelemetry garante compatibilidade com instrumentação padrão da indústria.

SDKs e Desenvolvimento

O Respan oferece SDKs oficiais para Python e JavaScript/TypeScript, cobrindo a maioria dos stacks de desenvolvimento modernos. A documentação completa e exemplos de código facilitam a integração, seja você uma equipe pequena ou uma organização enterprise com requisitos complexos.

Recursos avançados incluem suporte a multimodalidade (imagens e áudio), registro assíncrono de logs que não bloqueia a execução principal, e configuração flexível de níveis de detalhamento para otimizar o volume de dados coletado.

Confiabilidade e Performance

Os números falam por si: mais de 80 trilhões de tokens processados pela plataforma, com clientes alcançando mais de 1 milhão de requisições por hora. O SLA do plano Team garante 99.9% de disponibilidade, enquanto o plano Enterprise eleva isso para 99.99% — o padrão enterprise para infraestrutura crítica.

Segurança e Conformidade

ORespan investiu pesado em segurança e conformidade regulatória. As certificações ISO 27001, SOC 2, HIPAA (incluindo BAA) e GDPR cobrem os requisitos mais rigorosos do mercado. O modelo de segurança inclui Key Vault com Bring Your Own Key (BYOK), garantindo que dados sensíveis permaneçam sob controle do cliente.

---

Planos de Preço do Respan

O Respan oferece uma estrutura de preços transparente que atende desde desenvolvedores individuais até empresas de grande escala. Entender as diferenças entre os planos é essencial para escolher a opção que melhor se adapta às suas necessidades.

Detalhes Adicionais dos Planos

Plano Pro (Gratuito)

O plano gratuito é perfeito para desenvolvedores que estão começando com observabilidade de IA ou precisam de uma ferramenta leve para projetos pessoais. Com 100k logs por mês, 1k avaliações, 5 datasets, 2 avaliadores e 5 prompts, cobre as necessidades básicas de tracing e avaliação. É uma excelente forma de experimentar a plataforma sem compromisso financeiro.

Plano Team ($199/mês anual)

O plano Team é projetado para equipes em crescimento que precisam de recursos ilimitados. Inclui acesso a canais privados de Slack para suporte prioritário, relatórios SOC 2 para processos de conformidade, e capacidade de 8.400 requisições por minuto no gateway. O suporte é mais responsivo e a plataforma oferece todas as funcionalidades disponíveis sem restrições.

Plano Enterprise (Personalizado)

Para organizações com requisitos específicos, o plano Enterprise oferece定制 soluções com discounts para volume, SLA personalizado, e engenheiros de suporte dedicados. O HIPAA BAA está incluído para clientes que processam dados de saúde, e a plataforma pode ser configurada para atender requisitos específicos de segurança e conformidade.

Custos Adicionais

Além da assinatura mensal,usage adicional é cobrado:

• Logs: $8 por 100k logs além da inclusão do plano
• Avaliações: $1 por 1k avaliações além da inclusão do plano

Esses custos adicionais são previsíveis e escalonados, permitindo que você planeje o orçamento conforme o uso cresce.

---

Perguntas Frequentes