京公网安备 11010802034615号
经营许可证编号:京B2-20210330
限制大数据采集 解决大数据商用时的隐私问题
尽管大数据技术层面的应用可以无限广阔,但是由于受到数据采集的限制,能够用于商业应用、服务于人们的数据要远远小于理论上大数据能够采集和处理的数据。用于商业行为大数据到底有哪些限制呢?
大数据按照信息处理环节可以分为数据采集、数据清理、数据存储及管理、数据分析、数据显化、以及产业应用等六个环节。在各个环节中,已经有不同的公司开始在这里占位。 而真正会制约大数据发展和应用的有三个环节:其一是数据收集和提取的合法性、数据隐私的保护和数据隐私应用之间的权衡。
任何企业或机构从人群中提取私人数据,用户都有知情权,将用户的隐私数据用于商业行为时,都需要得到用户的认可。
未来很多大数据业务在最初发展阶段将会游走在灰色地带,当商业运作初具规模并开始对大批消费者和公司都产生影响之后,相关的法律法规以及市场规范才会被迫加速制定出来。
可以预计的是,尽管大数据技术层面的应用可以无限广阔,但是由于受到数据采集的限制,能够用于商业应用、服务于人们的数据要远远小于理论上大数据能够采集和处理的数据。数据源头的采集受限将大大限制大数据的商业应用。
再次,大数据发挥协同效应需要产业链各个环节的企业达成竞争与合作的平衡。大数据对基于其生态圈中的企业提出了更多的合作要求。如果没有对整体产业链的宏观把握,单个企业仅仅基于自己掌握的独立数据是无法了解产业链各个环节数据之间的关系,因此对消费者做出的判断和影响十分有限。
在一些信息不对称比较明显的行业,例如银行业以及保险业,企业之间数据共享的需求更为迫切。例如,银行业和保险业通常都需要建立一个行业共享的数据库,让其成员能够了解到单个用户的信用记录,消除担保方和消费者之间的信息不对称,让交易进行得更为顺利。
然而,在很多情况下,这些需要共享信息的企业之间竞争和合作的关系同时存在,企业在共享数据之前,需要权衡利弊,避免在共享数据的同时丧失了其竞争优势。此外,当很多商家合作起来,很容易形成卖家同盟而导致消费者利益受到损害,影响到竞争的公平性。
大数据最具有想象力的发展方向是将不同的行业的数据整合起来,提供全方位立体的数据绘图,力图从系统的角度了解并重塑用户需求。然而,交叉行业数据共享需要平衡太多企业的利益关系,如果没有中立的第三方机构出面,协调所有参与企业之间的关系、制定数据共享及应用的规则,将大大限制大数据的用武之地。权威第三方中立机构的缺乏将制约大数据发挥出其最大的潜力。
最后,大数据可以从数据分析的层面上揭示各个变量之间可能的关联,但是数据层面上的关联如何具象到行业实践中?如何制定可执行方案应用大数据的结论?这些问题要求执行者不但能够解读大数据,同时还需深谙行业发展各个要素之间的关联。这一环节基于大数据技术的发展但又涉及到管理和执行等各方面因素。
在这一环节中,人的因素成为制胜关键。从技术角度,执行人需要理解大数据技术,能够解读大数据分析的结论;从行业角度,执行人要非常了解行业各个生产环节的流程的关系、各要素之间的可能关联,并且将大数据得到的结论和行业的具体执行环节一一对应起来;从管理的角度,执行人需要制定出可执行的解决问题的方案,并且确保这一方案和管理流程没有冲突,在解决问题的同时,没有制造出新的问题。
这些条件,不但要求执行人深谙技术,同时应当是一个卓越的管理者,有系统论的思维,能够从复杂系统的角度关联地看待大数据与行业的关系。此类人才的稀缺性将制约大数据的发展。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
写在开头 老板在微信上甩来一句: "帮我看下为什么销量跌了。" ” 你回工位,打开 SQL,开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23 很多数据分析师每天都在写 SQL,但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22