
- 月访问量
- 14,164,192
- 2026-10
- 月流量增速 +20.4%
Mercor - 为 AI 系统提供专家设计的评测与人工数据
Mercor 为企业和 AI 实验室提供专业专家、评测套件、基准测试和人工数据服务。其评测使用专家设计的任务和评分标准,检验智能体在真实工作流程中的表现。企业还可梳理工作流程、借助嵌入式工程师和集成服务部署 AI,并在控制共享内容的前提下将业务流程数据变现。

核心能力
专家设计的评测
创建可重复的测试和评分标准,用于衡量 AI 智能体的表现及运行成本。专家将客户工作流程转化为任务,再按标准评估智能体;评测可针对已部署智能体和真实流量运行,也可在模拟环境中离线运行。
APEX 基准测试
提供基准任务和排行榜,用于评估 AI 模型处理专业工作的能力。覆盖会计、软件工程、法律和医学等领域,并可能使用真实工具、专业任务材料及专家编写的评分标准。
人工数据与专家网络
招募专业专家,并支持人工评测、AI 训练和专家数据工作。企业可邀请专家参与评测和后训练;数据服务还包括自动遮蔽 60 多类敏感标识符,并由组织决定共享哪些数据。
企业 AI 部署
协助企业发现 AI 机会并为工作流程部署生产级 AI。Mercor 梳理工作流程和机构知识,安排前沿部署工程师,并提供企业集成以及评测和持续优化工具。
定价
Mercor 提供的页面未公布套餐价格或标准套餐清单。企业评测项目可通过沟通确定范围;任务计价评测按任务收费,而不是按专家人数收费。
使用场景
评估智能体处理真实工作的表现
当企业需要了解智能体能否胜任自身工作时,Mercor 会构建由专家编写任务和评分标准的可重复评测套件。团队可在已部署智能体和真实流量上运行评测,也可通过离线模拟基准比较模型,并查看质量和成本。
选择模型和智能体配置
比较某项工作流程的模型或智能体配置时,团队可使用评测结果和性价比前沿。结果有助于找出以最低成本达到指定质量门槛的模型,以及能改善智能体表现的工具或上下文。
将业务流程数据变现
组织希望利用现有工作流程产生的数据创造收入时,可使用 Mercor 的数据变现服务。自动匿名化会遮蔽 60 多类敏感标识符,组织仍可控制共享哪些数据。
使用限制
Mercor披露的评测交付周期为首次沟通后四至六周,以交付可重复使用的套件;具体时间取决于合作内容。
Production Rubrics 使用实时生产流量评估已部署智能体;APEX 基准则在专家构建的模拟环境中离线运行。
Mercor 的数据变现服务允许组织控制共享数据,但页面未说明数据许可条款或收益金额。
适用人群
构建或评估生产级 AI 智能体的企业团队
需要专业人工数据、评测或后训练支持的 AI 研究实验室
寻求有偿 AI 评测、训练或数据工作的专业人士
常见问题
评测会衡量什么?
评测使用可重复的任务、评分标准和评分方式,检验 AI 智能体处理特定工作流程的能力。Mercor 表示,结果可用于判断智能体是否有效、应使用哪种模型或配置,以及各方案的成本。
Mercor 能否衡量智能体的运行成本?
可以。Mercor介绍了针对客户工作负载的性价比前沿,帮助选择达到质量门槛且成本较低的模型,并确定合适的推理和上下文设置。
Production Rubrics 与 APEX 基准有何不同?
Production Rubrics 针对已部署智能体和真实流量进行实时评测。APEX 基准在专家设计的模拟环境中离线运行,作为固定且可重复的测试集,在部署前比较模型和配置。
构建评测套件需要多久?
Mercor 表示,从首次沟通到交付可重复使用的评测套件需要四至六周。企业评测页面也将交付时间描述为不到六周。
交付后谁拥有评测套件?
客户会保留为其团队构建的可重复使用套件,而不只是收到一次性报告。
Mercor 能为智能体制作定制基准吗?
可以。Mercor 表示,APEX 基准可针对特定领域设计,使用专家编写的模拟环境和反映智能体实际工作的任务。
评论