随机变量的取值是某一个区间中的任意一点，这样的随机变量称为连续型随机变量，比如公交车每15分钟一班，某人在站台等车的时间x就是一个连续型随机变量。连续型随机变量的概率分布叫做连续型概率分布。
维克多阿涛
2021-04-26
伯努利试验是只有两种可能结果的单次随机试验。伯努利试验都可以表达为“是或否”的问题。例如，抛一次硬币，是否正面向上？在n次伯努利试验中，第k次试验才得到第一次成功的概率分布称为几何分布。
维克多阿涛
2021-04-26
自助法验证不管是 Holdout 检验还是交叉检验 ， 都是基于划分训练集和测试集的方法进行模型评估的 。 然而，当样本规模比较小时，将样本集进行划分会让训练集进一步减小 ，这可能会影响模型训练效果。有没有能维持训练集样本规模的验证方法呢？自助法可以比较好地解决这个问题 。自助法是基于自助采样法的检验方法 。 对于总数为 n 的样本集合 ，进行 n 次有放回的随机抽样 ，得到大小为 n 的训练集
维克多阿涛
2021-03-31
留一验证：每次留下1个样本作为验证集， 其余所有样本作为测试集 。样本总数为 n ，依次对 n 个样本进行遍历，进行 n次验证 ，再将评估指标求平均值得到最终的评估指标 。 在样本总数较多的情况下，留一验证法的时间开销极大 。 事实上，留一验证是留 p 验证的特例 。 留 p 验证是每次留下 p 个样本作为验证集，而从 n 个元素中选择 p 个元素有C种可能, 因此它的时间开销更是远远高于留一验证
维克多阿涛
2021-03-30
k-fold 交叉验证：首先将全部样本划分成 k 个大小相等的样本子集；依次遍历这 k 个子集，每次把当前子集作为验证集，真余所有子集作为训练集，进行模型的训练和评估；最后把 k 次评估指标的平均值作为最终的评估指标 。 在实际实验中， k 经常取 10。
维克多阿涛
2021-03-30
Holdout 检验Holdout 检验是最简单也是最直接的模型评估验证方法，它将原始的样本集合随机划分成训练集和验证集两部分。比方说，对于一个点击率预测模型，我们把样本按照 70% ～ 30% 的比例分成两部分， 70% 的样本用于模型训练； 30% 的样本用于模型验证，包捂绘制 ROC 曲线、计算精确率和召回率等指标来评估模型性能。Holdout 检验的缺点很明显，即在验证集上计算出来的最后评
维克多阿涛
2021-03-30
问题：如何划分实验组和对照组？ H 公司的算法工程师们最近针对系统中的“美国用户”研发了一套全新的视频推荐模型 A ，而目前正在使用的针对全体用户的推荐模型是B 。 在正式上线之前，工程师们希望通过 A/B 测试来验证新推荐模型的效果 。 下面有三种实验组和对照组的划分方法，请指出哪种划分方法是正确的？( 1 ）根据 user_id ( user_id 完全随机生成）个位数的奇偶性将用户划分为实验
维克多阿涛
2021-03-30
进行 A/B 测试的主要手段是进行用户分桶，即将用户分成实验组和对照组，对实验组的用户施以新模型 ，对对照组的用户施以旧模型 。在分桶的过程中 ，要注意样本的独立性和采样方式的无偏性，确保同一个用户每次只能分到同一个桶中，在分桶过程中所选取的 user_id 需要是一个随机数，这样才能保证桶中的样本是无偏的 。
维克多阿涛
2021-03-30
需要进行在线 A/B 测试的原因如下 。( 1 ）离线评估无法完全消除模型过拟台的影响，因此 ，得出的离线评估结果无法完全替代线上评估结果 。( 2 ）离线评估无法完全还原线上的工程环境。 一般来讲，离结评估往往不会考虑线上环境的延迟 、数据丢失、标签数据缺失等情况 。 因此，离线评估的结果是理想工程环境下的结果 。( 3 ）线上系统的某些商业指标在离线评估中无法计算。离线评估般是针对模型本身进行
维克多阿涛
2021-03-30
首先看距离的定义：在一个集合中，如果每一对元素均可唯一确定一个实数，使得三条距离公理（正定性，对称性， 三角不等式）成立，则该实数可称为这对元素之间的距离。余弦距离满足正定性和对称性，但是不满足三角不等式 ，因此它并不是严格定义的距离 。
维克多阿涛
2021-03-30
在机器学习问题中，通常将特征表示为向量的形式，所以在分析两个特征向量之间的相似性时， 常使用余弦相似度来表示 。余弦相似度的取值范围是［-1，1 ], 相同的两个向量之间的相似度为 1 。 如果希望得到类似于距菌的表示，将 1减去余弦相似度即为余弦距离 。因此，余弦距离的取值范围为［ 0,2］，相同的两个向量余弦距离为 0 。
维克多阿涛
2021-03-30
ROC 曲线的由来ROC 曲线最早是运用在军 事上的，后来逐渐运用到医学领域，并于 20 世纪 80 年代后期被引入机器学习领域。相传在第二次世界大战期间，雷达兵的任务之一就是死死地盯住雷达显示器 ，观察是否有敌机来袭。理论上讲，只要有敌机来袭，雷达屏幕上就会出现相应的信号。但是实际上 ，如 果飞鸟出现在雷达扫描区域时 ， 雷达屏幕上有时也会出现信号。这种情况令雷达兵烦恼不己，如果过于谨慎，凡是有
维克多阿涛
2021-03-30
相比 P-R 曲线， ROC 曲线有一个特点，当正负样本的分布发生变化时， ROC 曲线的形状能够基本保持不变，而 P -R 曲线的形状一般会发生较剧烈的变化 。 所以， ROC 曲线的适用场景更多，被广泛用于排序、推荐 、 广告等领域。 但需要注意的是，选择 P-R 曲线还是 ROC 曲线是因实际问题而异的，如果研究者希望更多地看到模型在特定数据集上的表现， P-R 曲线则能够更直观地反映其性能
维克多阿涛
2021-03-30
AUC指的是 ROC 曲线下的面积大小 ， 该值能够量化地反映基于 ROC 由线衡量出的模型性能 。 计算 AUC 值只需要沿着ROC 横轴做积分就可以了 。 由于 ROC 曲线一般都处于 y=x 这条直线的上万（如果不是的话，只要把模型预测的概率反转成 1-p 就可以得到一个更好的分类器），所以 AUC 的取值一般在 0.5 ～1之间 。 AUC越大 ， 说明分类器越可能把真正的正样本排在前面
维克多阿涛
2021-03-30
ROC 曲线是 Receiver Operating Characteristic Curve 的简称 ，中文名为“受试者工作特征曲线” 。 ROC 曲线源于军事领域，而后在医学领域应用甚广， “受试者工作特征曲线 ” 这一名称也正是来自于医学领域 。ROC 曲线的横坐标为假阳性率（ False Positive Rate, FPR ），纵坐标为真阳性率（ True Positive Rate,
维克多阿涛
2021-03-30
为了综合评估一个排序模型的好坏，不仅要看模型在不同 Top N 下的 Precision@N 和Recall@N ，而且最好绘制出模型的P-R (Precision-Recall ）曲线。这里简单介绍一下 P -R 曲线的绘制方法。P-R 由线的横轴是召回率，纵轴是精确率 。 对于一个排序模型来说，其 P-R 曲线上的一个点代表着，在某一阈值下 ，模型将大于该阈值的结果判定为正样本，小于该阈值的结
维克多阿涛
2021-03-30
精确率和召回率。精确率是指分类正确的正样本个数占分类器判定为正样本的样本个数的比例 。召回率是指分类正确的正样本个数占真正的正样本个数的比例 。在排序问题中，通常没有一个确定的阈值把得到的结果直接判定为正样本或负样本，而是采用 Top N 返回结果的 Precision 值和 Recall值来衡量排序模型的性能，即认为模型返回的 Top N 的结果就是模型判定的正样本 ， 然后计算前 N个位置上的
维克多阿涛
2021-03-30
根据上述讨论，对应的处理方法大致也可以分两类， 一是基于模型的方法，主要是采用降低过拟合风险的措施，包括简化模型（如将非线性模型简化为线性模型）、添加约束项以缩小假设空间（如 Ll/L2正则顶）、集成学习、 Dropout 超参数等；二是基于数据的方法， 主要通过数据扩充（ Data Augmentation ），即根据一些先验知识，在保持特定信息的前提下 ，对原始数据进行适当变换以达到扩充数据集
维克多阿涛
2021-03-30
Word2Vec 与 LDA 的区别和联系，首先， LDA 是利用文挡中单词的共现关系来对单词按主题聚类，也可以理解为对“文挡 － 单词”矩阵进行分解， 得到“文档 － 主题”和“主题 － 单词”两个概率分布 。而 Word2Vec 真实是对“上下文 － 单词”矩阵进行学习，其中上下文由周围的几个单词组成，由此得到的词向量表示更多地融入了上下文共现的特征 。 也就是说，如果两个单词所对应的 Wor
维克多阿涛
2021-03-30
