登录
首页精彩阅读浅谈KL散度(相对熵)在用户画像中的应用
浅谈KL散度(相对熵)在用户画像中的应用
2016-04-18
收藏
最近做用户画像,用到了KL散度,发现效果还是不错的,现跟大家分享一下,为了文章的易读性,不具体讲公式的计算,主要讲应用,不过公式也不复杂,具体可以看链接。(在后台回复关键词「KL」查看相对熵公式)

首先先介绍一下KL散度是啥。KL散度全称Kullback–Leibler divergence,也称为相对熵,信息增益,它是度量两个概率分布P与Q之间差异的一种不对称度量,可以看做是概率分布P到目标概率Q之间距离。一般情况下,P表示数据的真是分布,Q表示数据的理论分布,也可以理解为影响P分布的一种因素。计算公式为:DKL(P||Q) =ΣP(i)log(P(i)/Q(i)) 

(1)

从字面意思来看呢,是一种距离,但是实际上和我们理解的“距离”并不一样。我们常规理解的距离一般来说有几点性质:

1.非负:距离是绝对值,非负好理解。

2.对称:从A到B的距离 = 从B到A的距离

3.勾股定理:两边之和大于第三边

而KL的性质只满足第一点非负性,不满足对称性和勾股定理。

1.非负:当P(x) = Q(x)几乎处处成立时,才有DKL(P||Q) = 0. 证明可利用詹森不等式

2.非对称性:根据定义可知,如果要弄成对称的,可以定义

DSKL(P||Q) = (DKL(P||Q)+DKL(Q||P))/2 

(2)

为什么是非对称的呢,其实很简单,如果P(i)大,Q(i)小,那么log是一个增函数,P(i)/Q(i) > Q(i)/P(i),则log(P(i)/Q(i)) > log(Q(i)/P(i)),因此DKL(P||Q) > DKL(Q||P),如果想要DKL(P||Q) = DKL(Q||P),那么P(i)大,Q的分布应该尽量和P接近一致,P(i)小,P和Q的差别对KL影响较小。

举例:

1.假设现在有两个用户群体A和B,在“女装”这个商品类别下面,A和B的消费总金额分别是11W和2W,是不是就能说明A群体相对于B群体就一定更偏好女装呢?不一定。因为A的人数可能比B的多,如果A和B的人数比例是10:1,那么可能A和B群体对于“女装的”偏好是一样的,简单来算的话,你可以只算人均价格,如果A和B在“女装”下的人均消费相似,可以说明偏好相同,但是这一点没有什么理论支撑,我们可以把A和B群体在“女装”下的消费情况分布作为P(真实分布),A群体和B群体的人数比例作为Q(拟合分布),那么

P= [11/13,2/13]     Q =[10/11,1/11]
DKL(P||Q) =Σi=1,2P(i)log(P(i)/Q(i))  = 0.02023101833433108

计算得出KL散度约为0.02,接近0,说明A和B在女装下的消费情况分布基本相同,即,两者对“女装”的偏好并没有明显差异,喜欢“女装”的程度为1:1

贴上KL散度的代码:



具体在用户画像里有什么用呢?举个例子,我在做用户画像的时候,根据消费金额,分出了8个用户群体,这八个群体的人均消费Top10的重叠性很大,很多人都集中在“女装”,“淑女装”,“商务休闲”,“运动户外”等这几类,看起来没有什么区分度,只能根据金额的高低来区分这些群体的消费能力,但并不能区分这些群体对某类商品的偏好。在计算了各商品类型下不同群体的消费金额的KL散度后,可以发现,这写消费比较集中的几类商品(“女装”,“淑女装”,“商务休闲”,“运动户外”等)的KL散度几乎等于0,或者0.1等,我取阈值为0.5的话,进行过滤一下,可以提取出对用户有偏好区分的商品,我做的实际情况中过滤掉了1/3的商品,再根据不同商品类型下的8个用户群体的消费金额百分比来进行排名,就可以看出各用户群对商品类型的真是偏好了。

简单来说,从表格上看,可以看到明显效果:

图1是没有计算KL散度之前的用户偏好,图2是计算KL散度之后的用户偏好。行:用户群体消费偏好的商品类型   列:8个用户群体


图1 原始用户偏好


图2 计算KL散度后的用户偏好

从图2可以很明显看出,各用户群体已经有了明显的偏好了,第一类的用户群体可能偏好女性护肤,对象可能是18-30岁的时尚爱美女性;第二类用户群体可能是25-40的居家带娃女性;第三类用户群体可能是偏好贵金属投资的土豪群体;第四类可能是爱好旅游的文艺青年;第五类可能是偏好大牌的富人群体;第六类可能是钟爱宝宝的白富美;第七类可能是热爱运动的女青年;第八类可能是热衷手工和养身的动手达人。(妈呀,编不下去了 = =)

这个粒度还是比较粗的,因为同一个商品类别里面的商品的价格和风格也不一样,经常买LV的和买coach的人明显不是一个消费水平的,买coach的和买达芙妮的也不是一个消费水平。如果是以品牌为维度的话,再加上年龄、性别、其他的消费几率等等,因该就可以很容易看出各类用户群体的偏好了,这里写KL散度在用户画像中的应用只是一个引子,其实KL散度还有很多其他的应用,例如文档之间的相似度计算,推荐系统之间的应用等等,具体的怎么应用可以结合实际业务可以把KL散度的价值发挥的更好。

本文由CDA作者库成员Charlotte原创,并授权发布。

原文:http://www.cnblogs.com/charlotte77/p/5392052.html?from=timeline&isappinstalled=0

CDA作者库凝聚原创力量,只做更有价值的分享。

了解详情请微信添加trasn863,或发送邮件至songpeiyang@pinggu.org








数据分析咨询请扫描二维码

客服在线
立即咨询