扫码加入数据分析学习群
需要进行在线 A/B 测试的原因如下 。
( 1 ）离线评估无法完全消除模型过拟台的影响，因此 ，得出的离
线评估结果无法完全替代线上评估结果 。
( 2 ）离线评估无法完全还原线上的工程环境。 一般来讲，离结评
估往往不会考虑线上环境的延迟 、数据丢失、标签数据缺失等情况 。 因
此，离线评估的结果是理想工程环境下的结果 。
( 3 ）线上系统的某些商业指标在离线评估中无法计算。离线评估
般是针对模型本身进行评估，而与模型相关的其他指标，特别是商业
指标，往往无法直接获得 。 比如，上线了新的推荐算法， 离线评估往往
关注的是 ROC 由线、 P -R 曲线等的改进 ， 而线上评估可以全面了解该
推荐算法带来的用户点击率、留存时长、 PV 访问量等的变化 。 这些都
要由 A/B 测试来进行全面的评估。
添加CDA认证专家【维克多阿涛】，微信号：【cdashijiazhuang】，提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流，共同成长！
