先给结论:当同一现象有多个解释时,不要急着找更多支持证据,而是为每个解释写一条“如果它成立,应该还能看到什么”的反证问题,再用最小代价去验证最容易推翻的那一条。保留、改写还是退出某个判断,取决于反证是否成立,而不是取决于解释听起来是否合理。
解释是叙述,反证是可观察的差异。例如“这批页面流量下滑是因为模板改动”只是解释;对应的反证问题应写成:如果模板改动是主因,那么未改模板的同类型页面在同一时段应保持相对稳定。若未改模板的页面同步下滑,模板改动这个解释就被削弱。
反证问题要满足三个条件:能被现有数据回答、答案只有“支持/削弱”两种倾向、验证成本低于继续争论的成本。写不出可观察差异的解释,先降级为待观察项,不要让它进入决策。
常见做法是收集支持某个解释的数据,越收越确信。诊断更稳的做法是反过来:对每个解释问“它在什么条件下不成立”。
把反证问题写下来后,优先验证“一旦不成立就能排除整个解释”的那条。这样一次验证能砍掉最多分支,而不是平均用力。
个别样本表现好,规模化后出现例外,通常不是方法错了,而是边界条件没写清。此时要问:这个规律在什么前提下成立?
假设某类页面在小批量测试中收录与表现都正常,扩大到全站后出现明显例外。可能的边界包括:页面之间的内容相似度、内链深度、模板参数差异、以及站内统计与搜索引擎报告口径不同。第三方估算流量、搜索引擎报告与站内统计对同一现象的计数方式并不一致,三者归零或背离都不能单独证明某个处理正确,需要交叉核对时间范围和定义。
实际操作:从例外样本中抽取一小批,逐条记录它们与成功样本的差异维度,只保留能同时解释“成功样本成立”和“例外样本失败”的那一个维度。若找不到这样的维度,说明当前解释不完整,应改写而不是继续放大投入。
保留适用于反证尚未被推翻、且验证代价低的情况。此时继续观察,但要设定明确的推翻条件,避免无限期保留。
改写适用于解释方向对、但边界条件缺失的情况。例如原判断是“这类页面都能照搬同一结构”,改写为“在内容相似度低于某水平时才适用”,然后重新验证。
退出适用于反证已成立、且没有可修补的边界条件。退出不是否定全部工作,而是停止在这个解释上继续投入,把资源转向下一个分支。
三种取舍不必同时存在。多数时候只需在“改写”和“退出”之间选一个,因为保留往往只是拖延决定的中间状态。
反证的价值在于它直接改变下一步。若反证被推翻,说明解释仍可能成立,下一步是扩大样本验证边界;若反证成立,说明解释被削弱,下一步是转向下一个解释,而不是继续修补原解释。
记录时写清三件事:反证问题、观察到的结果、由此改变的下一步动作。这样即使后续结论变化,也能追溯是哪一次反证驱动了决策,而不是凭印象重来。