在对模型进行过充分的离线评估之后，为什么还要进行在线A/B测试？

在互联网公司中，A/B测试是验证新模块、新功能、新产品是否有效，新算法、新模型的效果是否有提升，新设计是否受到用户欢迎，新更改是否影响用户体验的主要测试方法。在机器学习领域中，A/B测试是验证模型最终效果的主要手段。

需要进行在线A/B测试的原因如下：

（1）离线评估无法完全消除模型过拟合的影响，得出的离线模型评估结果无法代替线上评估结果；

（2）离线评估无法完全还原线上的工程环境。一般来讲，离线评估往往不会考虑线上环境的延迟，数据的丢失，标签数据的缺失等情况。因此离线评估是理想工程环境下的结果；

（3）线上系统的某些商业指标在离线评估中无法计算。离线评估一般是对模型本身进行评估，而与模型的相关的其他指标，特别是商业指标，往往无法直接获得。比如新上线的推荐算法，离线评估往往关注的是ROC曲线，P-R曲线的改进，而线上评估可以全面的了解该推荐算法带来的用户点击率，留存时长，PV访问量等的变化，这些都要由A/B测试来进行全面的评估。

来源《百面机器学习》