京公网安备 11010802034615号
经营许可证编号:京B2-20210330
作者:小伍哥
来源:小伍哥聊风控
大家好,我是小伍哥。
有效的风险感知或者无监督风险识别,其实非常的难,很多同学甚至无法下手,做了的可能也没有效果,如果找到合适的方法了,其实是非常有意思,且考验想象力的事情,我认为是风控领域的一个明珠,需要扎实且广泛的算法储备、敏锐风险直觉、以及非常丰富的想象力,本文进行初步的探讨,希望对风险感知的同学有一定的启示作用。
当风控做到一定程度,或者平台生态非常复杂的时候,需要对未知风险进行感知,也就是提前发现或者感知到平台里面隐藏的未知风险。多于很多风控人员来说,是个非常大的挑战,本文拿订单场景举例,抛砖引玉。
假如订单包含:订单编号、订单时间、买家、卖家、价格、类目、收货地址、收货手机····
1、基于正态分布异常
要对其中的风险进行感知,大家首先想到的是基于统计的方法
商家成交同比增加1倍
商家成交环比增加80%
买家成交环比增加80%
······
简单的统计特征用完了,就要基于分布异常进行感知了,从全部订单维度,检测正态分布两端的价格,分布异常的视为异常订单
从买家维度,监控3倍标准差以外的订单
从卖家维度,监控3倍标准差以外的订单
从卖家维度,监控5倍标准差以外的订单
······
很多刚入风控的小伙伴,可能就到此为止了
如果要分类别监控,我们可以利用箱线图的方式进行,其实还是上面的分布异常,只不过比较方便可视化和分类别进行监控,比如下面的指标:
根据类目,监控每个类目上分布的价格异常的订单
根据时段(每天24小时),监控每个时段上的价格异常订单
根据收货城市,监控每个城市的价格异常订单
根据收货城市,监控每个用户订单量的分布
······
在时序维度上,波动程度太大的,可能存在异常,所以我们可以构建时序维度上的特征,并利用变异系数进行时序维度的波动监控,然后把波动过大的视为异常
以买家为维度,统计近30天每天的销量,然后计算变异系数,如果变异系数过高,则视为异常
以卖家为维度,统计近30天的销量,然后统计变异系数,如果过高,则认为存在异常
······
时序维度,其实还可以变换下,变成有序的价格段维度,能够发现更多的异常。
以买家为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以卖家为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以类目为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以地区为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
部分机器订单,可能下单速度比较异常,一秒钟下几单,并且每天如此,肯定是有问题的
买家维度的速率监控,这个需要涉及一个好的指标,单位时间订单数,或者最大持续密度,最大密度持续订单量等,这个是个很有意思的话题,后续我研究好了告诉大家,欢迎持续关注小伍哥聊风控。
卖家维度的速率监控,最好和大盘速率进行对比
比如上图,我们可以只监控红框的长度和密度,其他两个不监控,把红框内点多的以及密度多的视为异常,为什么要这么做,就担心十分钟内下单100笔,隔了23小时又下了一笔,如果按天平均并不异常,但是某一个十分钟,却是十分异常。
商品关联规则分析,哪些商品一起关联购买,某些商品组合,非常诡异的,不应该出现的,可能是刷单导致的
类目关联规则分析,这个是个特别抽象的,商家的店铺的类目应该很类似的,但是某些商家类目非常诡异的分布,比如女装+扑克,可能就是卖赌博器材的
商家关联团伙分析,通过分析某一时间片段同时出现的商家,判断商家的团伙,对于高频率同时出现的商家,可能存在异常
买家团伙分析,通过时间分段,挖掘哪些买家一起行动,可以找到团伙买家
基于松散同步行为的团伙挖掘,非常抽象,可以看我之前的文章,这个通过订单表,发现大规模的异常关联和团伙关系,是非常重要的无监督感知方法。
对于通过订单表挖掘出来的团伙,再从时间维度,去看团伙的变迁,购买行为的移动,发现极具价值的信息。也是我最近研究的重点,发现了很多有价值的东西。
基于图的异常感知,才是感知的难点和价值点,就比如宇宙中的黑洞,黑洞本身看不见,但是我们可以通过监测引力异常发现黑洞,黑洞越大周围的引力越异常。大规模的复杂网络中,由于异常用户的出现,同样会扭曲网络空间的曲线,我们设置合理的指标,就能感知出异常的'黑洞'
1)主导边异常
再一个商家一个月卖了10000个订单,100个消费者,其中一个消费者买了9900单,那这个消费者占比9000/10000=90%,形成了主导边,那这个商家可能就存在异常。
我们把卖家-买家换下,类目-商家,假如发现某个类目某个商家占比过高,会不会出现类目入侵的问题,如果更高级,我们是不是加入一个时间线,监测长时间某个类目、卖家成交权重的分布变化,那能发现非常多的莫名其妙的异常,非常推荐尝试研究。
2)权重边检测
检测商家与买家的平均订单数量,再与大盘进行比较,比如大盘每个买家对卖家的平均订单是5单,但是某一个商家,平均每个买家买了30单,是不是商家组织一群人在不停的刷单。
3)Near-Star异常检测
在正常的社交网络中,我们通常认为朋友之间可能会相互认识,因此一阶Ego-net中的邻居之间没有任何关联是非常可疑的,近似星型,邻居之间很少联系(如通话关系网络中的中介、电催人员、营销号码,他们大量的联系别人,然而联系人中之间几乎没啥联系),这种结构的Ego-net被称为star,如下图所示,中心节点与大量节点存在关联,但是邻居之间无联系或者联系很少。
这个怎么理解:监控每个商家的消费者,假如这些消费者近一段时间以来,只买了这个商家,没买其他商家,是不是就非常异常,正常一个买家会买好多商家,不会只买一个的
当然,也可以利用无监督算法进行风险感知
买家维度:构建注册时长、订单数、平均价格、类目分布等等指标,用孤立森立、HBOS、KNN等算法进行异常感知,输出异常分数高的买家
订单维度:构建注册时长、订单价格、价格分位数,类目分布等等指标,用孤立森立、HBOS、KNN等算法进行异常感知,输出异常分数高的买家
有没有更多监督的方法?我觉得这个话题还可以更加深入的探讨,我还需要更多的研究才能提供有价值的信息,不过大家可以去研究下。
本福特定理监控商家、类目等维度的价格分布是否异常?
利用面相、星座等识别用户的头像与八字是否冲突?(早年间就有小贷公司根据面相确定贷款额度)
······
在无监督的场景下,我们可以尽情的想象并进行测试,说不定有意外的惊喜,今天就写到这里了。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在用户运营与产品增长体系中,留存是衡量产品真实价值与用户粘性的核心标尺,也是决定用户生命周期价值、获客投产比的底层因素。 ...
2026-07-23 很多数据分析师精通Excel、SQL、Python等工具,但当被问到“面对一个具体的业务问题,该用什么分析方法”“描述性分析和诊断 ...
2026-07-23【核心关键词】埋点、产品、互联网、数据库、决策、数据分析、产品经理、商业模式、移动互联网、指标体系、运营模块、大数据平 ...
2026-07-22在高并发、大数据量的业务系统中,单表数据量达到千万级甚至亿级后,会出现查询性能骤降、索引维护成本飙升、存储扩容困难等问题 ...
2026-07-22 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-07-22在金融风控、企业运营、行业研究等数据分析场景中,大量数据以面板数据形态存在:例如多家分支机构连续多个季度的风险指标、多位 ...
2026-07-21 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-07-21一、活动介绍 2026暑期CDA备考冲刺季,为想利用假期拿证的你量身打造。考点胶囊内容搭配多重硬核福利,让你在旅行、实习、居家 ...
2026-07-21金融行业的运营风险贯穿业务全流程,涵盖交易欺诈、操作违规、流程漏洞、合规偏差、客户信用异常等多元场景,是银行、保险、证券 ...
2026-07-17财产保险作为金融行业的核心板块,涵盖车险、家财险、责任险、企财险等多元品类,是个人与企业抵御财产风险、经营风险的重要保障 ...
2026-07-17 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-07-17【核心关键词】模块、餐饮、客户、门店、企业、订单、供应链、多样化、产品、生产计划、数据分析、生产管理、物料管理、业务分 ...
2026-07-16在数字化分析时代,原始数据本身不具备业务价值,只有通过科学的统计学方法加工、拆解、验证与解读,才能挖掘数据背后的规律、差 ...
2026-07-16 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-07-16在描述性统计分析、数据预处理、异常值排查与多组数据分布对比工作中,箱线图(Box Plot)是应用最广泛的可视化与统计工具之一。 ...
2026-07-15在企业数据存储、业务统计与数据分析工作中,绝大多数业务数据都带有时间维度属性,例如订单创建时间、用户注册时间、支付完成时 ...
2026-07-15 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-07-15【核心关键词】产品、经营、客户、调研、销售额、宏观、会计行业、客户满意度、发展趋势、经营状况、数据分析、竞争对手、数据 ...
2026-07-14问卷调查是市场调研、用户研究、社会调研与产品分析的核心数据采集方式。问卷数据大多以分类数据为主,例如用户性别、年龄分层、 ...
2026-07-14 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-07-14