作者：小伍哥
来源：小伍哥聊风控
大家好，我是小伍哥。
有效的风险感知或者无监督风险识别，其实非常的难，很多同学甚至无法下手，做了的可能也没有效果，如果找到合适的方法了，其实是非常有意思，且考验想象力的事情，我认为是风控领域的一个明珠，需要扎实且广泛的算法储备、敏锐风险直觉、以及非常丰富的想象力，本文进行初步的探讨，希望对风险感知的同学有一定的启示作用。
当风控做到一定程度，或者平台生态非常复杂的时候，需要对未知风险进行感知，也就是提前发现或者感知到平台里面隐藏的未知风险。多于很多风控人员来说，是个非常大的挑战，本文拿订单场景举例，抛砖引玉。
假如订单包含：订单编号、订单时间、买家、卖家、价格、类目、收货地址、收货手机····
1、基于正态分布异常
要对其中的风险进行感知，大家首先想到的是基于统计的方法
商家成交同比增加1倍
商家成交环比增加80%
买家成交环比增加80%
······
简单的统计特征用完了，就要基于分布异常进行感知了，从全部订单维度，检测正态分布两端的价格，分布异常的视为异常订单
从买家维度，监控3倍标准差以外的订单
从卖家维度，监控3倍标准差以外的订单
从卖家维度，监控5倍标准差以外的订单
······
很多刚入风控的小伙伴，可能就到此为止了
如果要分类别监控，我们可以利用箱线图的方式进行，其实还是上面的分布异常，只不过比较方便可视化和分类别进行监控，比如下面的指标：
根据类目，监控每个类目上分布的价格异常的订单
根据时段（每天24小时），监控每个时段上的价格异常订单
根据收货城市，监控每个城市的价格异常订单
根据收货城市，监控每个用户订单量的分布
······
在时序维度上，波动程度太大的，可能存在异常，所以我们可以构建时序维度上的特征，并利用变异系数进行时序维度的波动监控，然后把波动过大的视为异常
以买家为维度，统计近30天每天的销量，然后计算变异系数，如果变异系数过高，则视为异常
以卖家为维度，统计近30天的销量，然后统计变异系数，如果过高，则认为存在异常
······
时序维度，其实还可以变换下，变成有序的价格段维度，能够发现更多的异常。
以买家为对象，计算每个价格段为维度，计算分布的变异系数，过高，则认为价格分布异常
以卖家为对象，计算每个价格段为维度，计算分布的变异系数，过高，则认为价格分布异常
以类目为对象，计算每个价格段为维度，计算分布的变异系数，过高，则认为价格分布异常
以地区为对象，计算每个价格段为维度，计算分布的变异系数，过高，则认为价格分布异常
部分机器订单，可能下单速度比较异常，一秒钟下几单，并且每天如此，肯定是有问题的
买家维度的速率监控，这个需要涉及一个好的指标，单位时间订单数，或者最大持续密度，最大密度持续订单量等，这个是个很有意思的话题，后续我研究好了告诉大家，欢迎持续关注小伍哥聊风控。
卖家维度的速率监控，最好和大盘速率进行对比
比如上图，我们可以只监控红框的长度和密度，其他两个不监控，把红框内点多的以及密度多的视为异常，为什么要这么做，就担心十分钟内下单100笔，隔了23小时又下了一笔，如果按天平均并不异常，但是某一个十分钟，却是十分异常。
商品关联规则分析，哪些商品一起关联购买，某些商品组合，非常诡异的，不应该出现的，可能是刷单导致的
类目关联规则分析，这个是个特别抽象的，商家的店铺的类目应该很类似的，但是某些商家类目非常诡异的分布，比如女装+扑克，可能就是卖赌博器材的
商家关联团伙分析，通过分析某一时间片段同时出现的商家，判断商家的团伙，对于高频率同时出现的商家，可能存在异常
买家团伙分析，通过时间分段，挖掘哪些买家一起行动，可以找到团伙买家
基于松散同步行为的团伙挖掘，非常抽象，可以看我之前的文章，这个通过订单表，发现大规模的异常关联和团伙关系，是非常重要的无监督感知方法。
对于通过订单表挖掘出来的团伙，再从时间维度，去看团伙的变迁，购买行为的移动，发现极具价值的信息。也是我最近研究的重点，发现了很多有价值的东西。
基于图的异常感知，才是感知的难点和价值点，就比如宇宙中的黑洞，黑洞本身看不见，但是我们可以通过监测引力异常发现黑洞，黑洞越大周围的引力越异常。大规模的复杂网络中，由于异常用户的出现，同样会扭曲网络空间的曲线，我们设置合理的指标，就能感知出异常的'黑洞'
1）主导边异常
再一个商家一个月卖了10000个订单，100个消费者，其中一个消费者买了9900单，那这个消费者占比9000/10000=90%，形成了主导边，那这个商家可能就存在异常。
我们把卖家-买家换下，类目-商家，假如发现某个类目某个商家占比过高，会不会出现类目入侵的问题，如果更高级，我们是不是加入一个时间线，监测长时间某个类目、卖家成交权重的分布变化，那能发现非常多的莫名其妙的异常，非常推荐尝试研究。
2）权重边检测
检测商家与买家的平均订单数量，再与大盘进行比较，比如大盘每个买家对卖家的平均订单是5单，但是某一个商家，平均每个买家买了30单，是不是商家组织一群人在不停的刷单。
3）Near-Star异常检测
在正常的社交网络中，我们通常认为朋友之间可能会相互认识，因此一阶Ego-net中的邻居之间没有任何关联是非常可疑的，近似星型，邻居之间很少联系（如通话关系网络中的中介、电催人员、营销号码，他们大量的联系别人，然而联系人中之间几乎没啥联系），这种结构的Ego-net被称为star，如下图所示，中心节点与大量节点存在关联，但是邻居之间无联系或者联系很少。
这个怎么理解：监控每个商家的消费者，假如这些消费者近一段时间以来，只买了这个商家，没买其他商家，是不是就非常异常，正常一个买家会买好多商家，不会只买一个的
当然，也可以利用无监督算法进行风险感知
买家维度：构建注册时长、订单数、平均价格、类目分布等等指标，用孤立森立、HBOS、KNN等算法进行异常感知，输出异常分数高的买家
订单维度：构建注册时长、订单价格、价格分位数，类目分布等等指标，用孤立森立、HBOS、KNN等算法进行异常感知，输出异常分数高的买家
有没有更多监督的方法？我觉得这个话题还可以更加深入的探讨，我还需要更多的研究才能提供有价值的信息，不过大家可以去研究下。
本福特定理监控商家、类目等维度的价格分布是否异常？
利用面相、星座等识别用户的头像与八字是否冲突？（早年间就有小贷公司根据面相确定贷款额度）
······
在无监督的场景下，我们可以尽情的想象并进行测试，说不定有意外的惊喜，今天就写到这里了。
数据分析咨询请扫描二维码
