Mercor
Visites mensuelles
14 164 192
2026-10
Croissance mensuelle +20,4 %

Mercor - Évaluations expertes et données humaines pour l’IA

Mercor met en relation les entreprises et les laboratoires d’IA avec des experts, des suites d’évaluation, des benchmarks et des services de données humaines. Ses évaluations testent les agents sur des workflows réels à l’aide de tâches et de grilles conçues par des experts. Les entreprises peuvent aussi cartographier leurs processus, déployer l’IA avec des ingénieurs intégrés et des intégrations, puis monétiser leurs données opérationnelles en contrôlant les éléments partagés.

Fonctionnalités

Évaluations conçues par des experts

Crée des tests répétables et des grilles de notation pour mesurer les performances et le coût d’exploitation d’un agent IA. Les experts transforment les workflows du client en tâches et évaluent les agents selon des critères définis ; les tests peuvent utiliser le trafic réel ou des simulations hors ligne.

Benchmarks APEX

Fournit des tâches de benchmark et des classements pour évaluer les modèles d’IA sur des activités professionnelles. Les domaines comprennent notamment la comptabilité, le génie logiciel, le droit et la médecine ; les tests peuvent utiliser des outils réels, des livrables professionnels et des critères rédigés par des experts.

Données humaines et réseau d’experts

Recrute des experts et soutient l’évaluation humaine, l’entraînement de l’IA et le travail sur les données. Les entreprises peuvent mobiliser des experts pour leurs évaluations et leur post-entraînement ; les services de données masquent automatiquement plus de 60 catégories d’identifiants sensibles et laissent à l’organisation le contrôle des données partagées.

Déploiement d’IA en entreprise

Aide les entreprises à repérer les possibilités d’IA et à déployer des solutions en production dans leurs workflows. Mercor cartographie les processus et les connaissances institutionnelles, intègre des Forward Deployed Engineers et fournit des intégrations d’entreprise ainsi que des outils d’évaluation et d’optimisation continue.

Tarifs

Les pages Mercor fournies ne publient ni tarifs ni liste standard de forfaits. Le périmètre des évaluations d’entreprise se définit lors d’un échange ; les évaluations à la tâche sont facturées par tâche et non par nombre d’experts.

Cas d’utilisation

Évaluer un agent IA sur des tâches réelles

Lorsqu’une entreprise veut vérifier un agent sur ses propres workflows, Mercor crée une suite répétable de tâches et de grilles rédigées par des experts. Les équipes peuvent tester un agent déployé avec du trafic réel ou comparer des modèles hors ligne dans des simulations, puis examiner la qualité et le coût.

Choisir un modèle et une configuration d’agent

Pour comparer des modèles ou des configurations sur un workflow, les équipes utilisent les résultats d’évaluation et la frontière prix-performance. Elles peuvent ainsi repérer le modèle le moins coûteux qui atteint le niveau de qualité requis et déterminer quels outils ou quel contexte améliorent l’agent.

Monétiser les données des workflows métier

Lorsqu’une organisation veut générer des revenus à partir des données issues de ses workflows existants, elle peut utiliser les services de monétisation de Mercor. L’anonymisation automatique masque plus de 60 catégories d’identifiants sensibles, tandis que l’organisation décide quelles données partager.

Limites

  • Le délai annoncé pour livrer une évaluation est de quatre à six semaines entre le premier échange et une suite réutilisable ; la durée exacte dépend de la mission.

  • Production Rubrics évalue un agent déployé avec du trafic de production en direct ; les benchmarks APEX s’exécutent hors ligne dans des simulations conçues par des experts.

  • Le service de monétisation laisse aux organisations le contrôle des données partagées, mais les pages ne précisent ni les conditions de licence ni les montants versés.

Public cible

  • Équipes d’entreprise qui développent ou évaluent des agents IA en production

  • Laboratoires d’IA ayant besoin de données humaines, d’évaluations ou de post-entraînement

  • Experts professionnels recherchant des missions rémunérées d’évaluation, d’entraînement ou de données IA

Questions fréquentes

Que mesure une évaluation ?

Une évaluation teste les capacités d’un agent IA sur un workflow donné au moyen de tâches, de grilles et de scores répétables. Selon Mercor, les résultats indiquent si l’agent fonctionne, quel modèle ou quelle configuration choisir et le coût de chaque option.

Mercor peut-il mesurer le coût d’exploitation d’un agent ?

Oui. Mercor décrit une frontière prix-performance pour le workflow du client, afin de choisir le modèle le moins coûteux qui respecte le niveau de qualité requis et d’ajuster le raisonnement et le contexte.

Quelle différence entre Production Rubrics et les benchmarks APEX ?

Production Rubrics fonctionne en direct sur un agent déployé et du trafic réel. Les benchmarks APEX s’exécutent hors ligne dans des simulations conçues par des experts et constituent un ensemble fixe et répétable pour comparer modèles et configurations avant le déploiement.

Combien de temps faut-il pour créer une suite d’évaluation ?

Mercor annonce quatre à six semaines entre le premier échange et la livraison d’une suite réutilisable. La page consacrée aux évaluations d’entreprise indique également un délai inférieur à six semaines.

Qui conserve la suite d’évaluation après la livraison ?

Le client conserve une suite réutilisable conçue pour son équipe, et pas seulement un rapport ponctuel.

Mercor peut-il créer un benchmark personnalisé pour un agent ?

Oui. Mercor indique que les benchmarks APEX peuvent être conçus pour un domaine donné, avec des simulations et des tâches rédigées par des experts et représentatives du travail de l’agent.

Liens officiels

Commentaires

Veuillez vous connecter pour laisser un commentaire.
Pas encore de commentaires. Soyez le premier à partager vos impressions !