先别急着改结论。指标没动,最可能的原因不是“试验无效”,而是试验根本没生效:配置没发布、探针没加载、采样把目标页面排除了,或者你看的是另一套口径。用一条可核对的证据链确认实施状态,再决定保留、改写还是退出,比直接回滚更稳妥。
页面性能监控工具通常会在采集数据里留下可识别的标记,比如新增的指标项、版本号、构建标识、采样分组字段。先查这些标记是否存在,而不是先看核心指标有没有变化。
具体动作:在工具的原始数据或明细查询里,按试验上线时间筛一段数据,找试验专属字段。结果是“字段完全不存在”,说明采集链路没带上试验信息,此时任何指标对比都不可信;结果是“字段存在但取值单一”,说明分组或分流没生效,问题在配置而不是页面本身。这一步的结论直接决定下一步查哪里。
注意一个反直觉现象:请求量、抓取量或某个统计归零,并不等于试验被正确执行。它也可能是流量整体下滑、采集端故障或过滤规则收紧造成的。归零只能作为线索,不能作为结论。
单看监控工具不够,至少凑齐三类来源,互相不重叠:
三类证据指向一致时,才可以认为试验确实实施了。只有一类支持、另外两类缺失,通常说明是采集或口径问题,而不是页面行为变化。
三种处理各自有适用前提,不必都走一遍:
假设一个场景:某页面改版后,性能监控工具里的加载耗时指标没有变化。核查发现新版本只在部分 CDN 节点生效,其余节点仍返回旧版本。这是“改写”的典型情形——先统一发布范围,再重新观察,而不是判定改版无效。
指标没动至少有四种合理解释:试验未生效、生效但影响被稀释、生效但指标本身不敏感、生效且确实无影响。区分它们的方法不是反复看同一张图,而是逐条找反证:
完成这一轮排查后,你得到的不是“有没有效果”的答案,而是“这次试验值不值得继续投入”的判断依据。这个判断比单一指标更可靠,也更容易在团队内达成一致。