浅谈KL散度（相对熵）在用户画像中的应用-CDA数据分析师官网

热线电话：13121318867

浅谈KL散度（相对熵）在用户画像中的应用

2016-04-18

最近做用户画像，用到了KL散度，发现效果还是不错的，现跟大家分享一下，为了文章的易读性，不具体讲公式的计算，主要讲应用，不过公式也不复杂，具体可以看链接。（在后台回复关键词「KL」查看相对熵公式）

首先先介绍一下KL散度是啥。KL散度全称Kullback–Leibler divergence，也称为相对熵，信息增益，它是度量两个概率分布P与Q之间差异的一种不对称度量，可以看做是概率分布P到目标概率Q之间距离。一般情况下，P表示数据的真是分布，Q表示数据的理论分布，也可以理解为影响P分布的一种因素。计算公式为：DKL(P||Q) =ΣP(i)log(P(i)/Q(i))

（1）

从字面意思来看呢，是一种距离，但是实际上和我们理解的“距离”并不一样。我们常规理解的距离一般来说有几点性质：

1.非负：距离是绝对值，非负好理解。

2.对称：从A到B的距离 = 从B到A的距离

3.勾股定理：两边之和大于第三边

而KL的性质只满足第一点非负性，不满足对称性和勾股定理。

1.非负：当P(x) = Q(x)几乎处处成立时，才有DKL(P||Q) = 0. 证明可利用詹森不等式

2.非对称性：根据定义可知，如果要弄成对称的，可以定义

DSKL(P||Q) = (DKL(P||Q)+DKL(Q||P))/2　

（2）

为什么是非对称的呢，其实很简单，如果P(i)大，Q(i)小，那么log是一个增函数，P(i)/Q(i) > Q(i)/P(i)，则log(P(i)/Q(i)) > log(Q(i)/P(i))，因此DKL(P||Q) > DKL(Q||P)，如果想要DKL(P||Q) = DKL(Q||P)，那么P(i)大，Q的分布应该尽量和P接近一致，P(i)小，P和Q的差别对KL影响较小。

举例：

1.假设现在有两个用户群体A和B，在“女装”这个商品类别下面，A和B的消费总金额分别是11W和2W，是不是就能说明A群体相对于B群体就一定更偏好女装呢？不一定。因为A的人数可能比B的多，如果A和B的人数比例是10：1，那么可能A和B群体对于“女装的”偏好是一样的，简单来算的话，你可以只算人均价格，如果A和B在“女装”下的人均消费相似，可以说明偏好相同，但是这一点没有什么理论支撑，我们可以把A和B群体在“女装”下的消费情况分布作为P（真实分布），A群体和B群体的人数比例作为Q（拟合分布），那么

P= [11/13，2/13]　　　　　Q =[10/11，1/11]
DKL(P||Q) =Σi=1,2P(i)log(P(i)/Q(i)) = 0.02023101833433108

计算得出KL散度约为0.02，接近0，说明A和B在女装下的消费情况分布基本相同，即，两者对“女装”的偏好并没有明显差异，喜欢“女装”的程度为1：1

贴上KL散度的代码：

具体在用户画像里有什么用呢？举个例子，我在做用户画像的时候，根据消费金额，分出了8个用户群体，这八个群体的人均消费Top10的重叠性很大，很多人都集中在“女装”，“淑女装”，“商务休闲”，“运动户外”等这几类，看起来没有什么区分度，只能根据金额的高低来区分这些群体的消费能力，但并不能区分这些群体对某类商品的偏好。在计算了各商品类型下不同群体的消费金额的KL散度后，可以发现，这写消费比较集中的几类商品（“女装”，“淑女装”，“商务休闲”，“运动户外”等）的KL散度几乎等于0，或者0.1等，我取阈值为0.5的话，进行过滤一下，可以提取出对用户有偏好区分的商品，我做的实际情况中过滤掉了1/3的商品，再根据不同商品类型下的8个用户群体的消费金额百分比来进行排名，就可以看出各用户群对商品类型的真是偏好了。

简单来说，从表格上看，可以看到明显效果：

图1是没有计算KL散度之前的用户偏好，图2是计算KL散度之后的用户偏好。行：用户群体消费偏好的商品类型列：8个用户群体

图1 原始用户偏好

图2 计算KL散度后的用户偏好

从图2可以很明显看出，各用户群体已经有了明显的偏好了，第一类的用户群体可能偏好女性护肤，对象可能是18-30岁的时尚爱美女性；第二类用户群体可能是25-40的居家带娃女性；第三类用户群体可能是偏好贵金属投资的土豪群体；第四类可能是爱好旅游的文艺青年；第五类可能是偏好大牌的富人群体；第六类可能是钟爱宝宝的白富美；第七类可能是热爱运动的女青年；第八类可能是热衷手工和养身的动手达人。（妈呀，编不下去了 = =）

这个粒度还是比较粗的，因为同一个商品类别里面的商品的价格和风格也不一样，经常买LV的和买coach的人明显不是一个消费水平的，买coach的和买达芙妮的也不是一个消费水平。如果是以品牌为维度的话，再加上年龄、性别、其他的消费几率等等，因该就可以很容易看出各类用户群体的偏好了，这里写KL散度在用户画像中的应用只是一个引子，其实KL散度还有很多其他的应用，例如文档之间的相似度计算，推荐系统之间的应用等等，具体的怎么应用可以结合实际业务可以把KL散度的价值发挥的更好。

本文由CDA作者库成员Charlotte原创，并授权发布。

原文：http://www.cnblogs.com/charlotte77/p/5392052.html?from=timeline&isappinstalled=0

CDA作者库凝聚原创力量，只做更有价值的分享。

了解详情请微信添加trasn863，或发送邮件至songpeiyang@pinggu.org