交错测试是一种在生产环境中安全验证新模型的策略：对同一用户请求，同时输入主模型与候选模型，按预设规则（如轮询、随机或特征加权）混合输出并交付。其核心优势在于确保两模型在**完全相同的输入流和上下文下对比**，避免A/B测试中的分布偏差，提升性能评估准确性。结合在线指标实时监控稳定性，可快速发现异常（如延迟升高、逻辑冲突），支持及时回滚。适用于推荐、搜索、广告等高一致性要求场景。缺点是需双倍计算资源
Interleaved Testing（交错测试）
交错测试是一种在生产环境中安全部署和验证新机器学习模型的策略，其核心思想是将新旧模型的预测结果以某种规则“交错”混合后，再交付给用户或下游系统。具体而言，系统会将来自同一用户请求的输入同时送入当前的主模型（legacy model） 和待评估的候选模型（candidate model），并根据预设规则（如轮询、随机分配或基于特征的权重）将两个模型的输出进行组合（例如，交替返回不同模型的结果），最终呈现给用户或用于业务决策。
这种设计的关键优势在于：它确保了两个模型始终在完全相同的输入数据流下进行比较——即共享同一组请求、同一时间点的上下文信息以及一致的环境变量。这有效避免了因流量分配不均（如A/B测试中不同用户群体可能具有不同特征分布）而带来的偏差，从而更准确地衡量候选模型的相对性能提升或下降。
此外，交错测试通常与在线指标（如点击率、转化率、用户停留时长等）结合使用，并支持实时监控模型行为的稳定性。由于所有请求都由两个模型共同处理，团队可快速识别候选模型是否出现异常（如输出不稳定、响应延迟升高、结果逻辑冲突等），并及时调整或回滚。该方法特别适用于对公平性、一致性要求较高的场景，例如推荐系统、搜索排序或广告投放等关键业务环节。
值得注意的是，虽然交错测试能提供高度可靠的对比数据，但其实施成本较高——需要双倍的计算资源来运行两个模型，且需额外设计输出融合逻辑；因此常用于高价值模型上线前的精细化验证阶段，而非大规模灰度发布初期。
来源：