京公网安备 11010802034615号
经营许可证编号:京B2-20210330
有关大数据 你不一定知道的几个冷知识
大数据的隐秘魅力就在于,他比你都了解你。你以为你每次按下手机按键的动作都是一样的吗?哈哈图样图森破。
来自今日头条的技术副总裁杨震原告诉童鞋们,他们正在测试的“黑科技”,恰恰能从你点击按键的时间和手指面积,推测出你当时的情绪。你的漫不经心、愤怒或者感动,都能够成为后台为你推送何种消息的依据。未来,如下场景可期:
如果你正处在被女神甩掉的悲伤中,也许客户端会为你推送——搞基的一百种好处。如果你正处在领到本月工资飘飘欲仙的快乐中,也许客户端会为你推送——在北京月两万何时能买一个厕所?
那么这种“恰到好处“的情绪拿捏和大数据有什么关系呢?实际上对你情绪的推测是建立在对你多次正常点击的记录之上的。这种行为数据甚至在你还未意识到的时候,就“出卖”了你的情绪。
今日头条技术副总裁杨震原在分析一个按钮的平均触摸时间
你的“姿势”,才是真的大数据
银行每天的交易账目流水的统计数据,并不是大数据,而每个用户在拿号之后等待了多久才排到,有多少用户骂娘,有多少用户过于焦急愤而离去,这些真正的行为才是大数据。
杨震原又举了今日头条在应用中的另一个例子。
实际上,你在一篇文章的什么位置停留多久,然后划动了多远,在新的位置停留了多久,是否看了评论,看了几条评论,都可以按顺序被记录下来。接下来就是通过算法评估读者的兴趣所在。
CSDN创始人蒋涛也特别提到,美国电商平台Wish正是用大数据的方法,根据每个人的数据不同,“看人下菜碟”地推荐你可能喜欢的货品,三年时间已经发展成北美最大的电商之一。
所以,一个悲伤的消息是:未来如果你要隐藏自己的身份,不仅仅要变装易容伪造指纹,甚至连点击手机,查看文章的习惯都要改变了。
大数据就是:一个都不能少
如果要想知道有多大比例的人喜欢GV,那么只需要做好抽样调查就可以了,没有必要对所有人进行调查。但是如果你想要推销宅腐的周边智能硬件产品,则需要逐个排查每个人“独特”的兴趣爱好。
所有数据一个都不能少,这就是所谓的“全量加工”,这些数据的制造者正是各大厂商利润的源泉。
360商业产品首席架构师刘鹏是一名网红,他在很多场合都强调:全量加工才是大数据。他说,涉及到个性化推荐、计算广告、个人征信这些场景,大规模的计算就是无法避免的。
从技术角度来说,之所以大数据可以做到这么精准,也主要得益于技术的进步。感知设备被丰富地用在五花八门的硬件上,使得以前无法记录的数据,现在都可以被记录了。
大数据不应该给人用
大数据应该交给机器做决策,而不是交给人做决策。
这种洋溢着对人类深深不信任感的论断同样来自于刘鹏。在他眼中,大数据是为机器提供的食粮。而能够驾驭大数据的人类基本只有两种:数据科学家和统计工作者。
IT企业中养一群科学家的可能性为零。而人类的判断往往基于宏观、战略,不可能有精力做到“因事而异”。相比之下机器的判断比人类更加细致。比如为每个用户比如画像、贴标签。所以,要想把大数据利用透彻,愚蠢的人类还是暂时靠边站吧。
“有点错误”的大数据更好用
“数据”这两个字,天然给人一种完美而且精准的感觉。在这方面,大数据要挑战你的底线。作为数字广告领域的大牛,刘鹏强调,大数据可以存在半一致性这样模棱两可的属性。换句话说,允许数据错误和丢失。
纳尼?错误的数据也是好数据吗?没错。由于数据量巨大,而且分析半天往往没什么有用的收获(价值密度低),分析者往往需要选取一些特征数据做加工,而对于这些特征数据,也许还要简化之后再加工。所以最终大数据要达到的结果是难得糊涂,却一针见血。
所以,如果有人向喜爱人民网的你推荐草榴的时候,先不要发火,你可能只是大数据的一个错误罢了。
保险公司最喜欢和大数据在一起
如果你是一个鲁莽的人,最想知道这个情况的无疑是你的汽车保险公司,想必你的保费会居高不下;如果你是一个谨小慎微的人,最想知道的也是保险公司,因为它可以用打折的保费吸引你投保。
在你身上,甚至存在一个精确的“岀险率”数字。这个听上去很惊悚的数字恰恰是保险公司利润的来源。因为不掌握这样大数据的个人,是无法计算自己的岀险率的。保险公司恰恰利用这种信息不对称,给一个岀险率是万分之一的人开出了千分之一的保价,相当于赚了十倍的利润。
隐私问题要靠技术改进
数据比它看上去的样子更险恶,这是大数据业内人士的普遍共识。即使隐去了你的姓名电话等等敏感信息,只保留你和其他人联系的记录,熟悉你的人完全可以猜到你的身份。目前大数据的安全性,在他人的恶意之下,显得力不从心。
隐私问题,制度只能解决20分,剩下的80分要靠技术进步来解决。
刘鹏如是说。期待市场倒退到前大数据时代,似乎没有希望了。
如何精确统计出有多少人喜爱苍井空,有多少人喜欢武藤兰,但是又不泄露到底是谁喜欢苍老师,谁喜欢武老师,这是目前大数据的最前沿研究。
有关大数据的政策再严格,没有一套可靠的保密技术,数据的安全都是无从谈起的。隐私算法、数据脱敏、数据隔离。都是研究的方向。在此之前,各位的大数据还都在相对危险的状态。这也是为什么目前法律没有禁止数据买卖,而各大巨头却不敢将数据出售的原因。 当然,大数据库市场价目前比较低也是一个重要的原因。
SDCC,中国软件开发者大会。由全球最大中文IT社区CSDN于2007年创办,每年一届。主题是下一代软件开发技术趋势与对各行业的深刻影响,以谈干货实料著称。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
【核心关键词】统计学、互联网、知识、课程、学生、数学、软件、招聘、数据分析、实习经历、机器学习、理论基础、业务思维、统 ...
2026-07-10在互联网运营、产品设计、市场营销与商业数据分析领域,所有转化、成交、复购行为的底层逻辑,都依托于用户决策流程。用户从产生 ...
2026-07-10 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-07-10数据透视表是数据分析中最常用、最高效的汇总分析工具,具备快速分组、聚合计算、维度拆解、数据可视化等优势,能够轻松完成求和 ...
2026-07-09在统计学、CDA数据分析、机器学习与商业数据研究中,正态分布是最基础、最重要的数据分布形态。绝大多数参数检验、数据建模、指 ...
2026-07-09 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-07-09【核心关键词】采购、周期、原材料、企业、产品、成本、要素、库存、供应商、数据分析、生产计划、生产制造、加工制造、技术工 ...
2026-07-08在数据分析、特征工程、机器学习建模的工作流程中,原始数据往往包含多个不同维度的数值指标,例如客户交易数据中的消费金额、交 ...
2026-07-08 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-07-08商业谈判是企业采购合作、渠道签约、价格议价、项目合作、客户签约的核心关键环节,直接决定企业的合作成本、利润空间与经营风险 ...
2026-07-07在数据分析、业务效果验证、AB 测试、学术研究等场景中,T 检验是假设检验体系里最基础、应用最广泛的统计方法,也是均值差异分 ...
2026-07-07 很多数据分析师每天都在写SQL,但当被问到“数据查询语言(DQL)的本质是什么”“SELECT语句中各子句的书写顺序与实际执行顺 ...
2026-07-07【核心关键词】转化率、企业、策略、岗位、互联网、拆分、产品、运营、分析师、指标体系、数据分析、用户画像、数据诊断、产品 ...
2026-07-06在数据分析工作中,文本数据处理是高频刚需场景,用户评论、客服工单、日志信息、调研问卷、商品文案等数据都包含大量文本内容。 ...
2026-07-06 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-07-06在 CDA 数据分析师能力体系中,透视分析是数据探索、多维度汇总、业务复盘的核心基础技能。无论是 Excel 数据透视表,还是 Power ...
2026-07-03在市场竞争日趋激烈、获客成本持续攀升的当下,企业粗放式的“广撒网”获客模式早已无法适配经营需求。企业经营的核心逻辑,已经 ...
2026-07-03 很多数据分析师精通Excel函数和数据透视表,但当被问到“数据从哪里来”“表和视图有什么区别”“数据库管理系统和SQL是什么 ...
2026-07-03【核心关键词】运营、企业、核心、客户、新技术、数字化运营、数据分析、传统企业、人工录入、生产系统、技术人员、数据安全、 ...
2026-07-02在产品开发、项目立项、业务拓展、运营优化的工作中,市场调查、竞品分析、需求调研是三大核心基础工作。很多从业者容易将三者混 ...
2026-07-02