Agent 评测正在失真：基础设施噪声可能比模型能力更影响榜单
Anthropic的实验揭示，Agentic Coding评测中基础设施噪声（如CPU、内存限制）可导致高达6个百分点的分数波动，这一差异甚至超过顶级模型间的能力差距。资源宽松度不仅影响基础设施错误率，还会改变任务难度，使评测结果失真。文章建议对小于3个百分点的榜单领先保持怀疑，强调公开资源配置、报告基础设施错误率，并指出企业在选型时需在真实环境复测。关键词：Agent评测、基础设施噪声、LLM benchmark、榜单失真、资源配置影响。