京公网安备 11010802034615号
经营许可证编号:京B2-20210330
不要因为你的误解,对大数据进行妖魔化了
近日,一篇题为《15家数据公司被调查,数据行业面临大清洗?》的微信文章刷爆朋友圈,短短几日,平均阅读1w+的公众号“一本财经”打造出一款10w+的爆文;从该文评论也可以看出大众的不忿和担忧,不知从什么时候开始,我们很难想象“大数据”这个充满科技感的名词会触及到我们的个人隐私。在大数据时代,我们真的还有隐私可言吗?
试想一个场景;“当你在网上购物的时候,你的信息已经悄然地被存储起来、当你在微信里刷朋友圈的时候,你的活动已经被跟踪、当你敲击电脑键盘的时候,电脑程序记录下你的键盘操控过程、当你走在大街上的时候,有无数监控摄像头正冷冷地盯着你....”我们可以想的更加大胆一些;当你一直不清在酒酣耳热之后讲的那些愚蠢的话,转眼间就会在网络上被人疯传。我的天啊!!!如果这一天真的来到,我恐怕只能安慰自己说“你的隐私只剩零了,想开点吧。”
难道“大数据”就真的这么恐怖?我不否认现在很多大数据公司,披着大数据的外衣,干着倒卖个人信息的勾当。“在2016年8月,山东考生徐玉玉遭遇电信诈骗,9900元学费被骗走后不幸离世、2017年2月16日,信息贩子公然叫嚣,只要一个手机号码就能查到最私密的个人信息,且范围覆盖全国。”这类现象比比皆是,社会舆论直指个人信息泄露。
当社会对大数据公司开始慢慢地妖魔化,我想这未免对这个大数据行业有了很深的误解。社会大众可能并不知道大数据公司到底在做什么?上面提到的隐私泄露、黑市交易等现象都不是真正意义上的大数据公司。
大数据公司究竟在做什么?
对于“大数据”,研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。维基百科的定义,大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。简单来说,大数据具有4个特点特点:大量、高速、多样、价值。
可能抽象的定义很难去理解大数据,至于大数据公司究竟是干什么的更是没有明确的定义。下面是利用“大数据”去分析的一个小案例。在这一场景下,我们根本不会涉及到个人信息。
这是“一本财经”在黑市内发现的车管所数据,我们一起大胆猜想一下这些数据有哪些用途:保险公司会定时给你推销各种品类的保险;销售公司会判断你大概什么时间要换车了,时间一到,立马会为你推销汽车广告;中介可以将数据卖给征信风控企业等一系列个人信息被泄露的现象。这些是某些大数据公司披着大数据的外衣,干着倒卖个人信息的勾当。这是个别的特例,是整个大数据行业所鄙视的行为。
一家大数据公司真正做的是把车主的信息进行脱敏处理的,我们不需车主的姓名,身份信息,手机号,保险到期时间等关键信息,只通过车辆型号,所有者年龄、性别等信息,利用大数据技术得到车主的整体画像。
如上,我们得出的数据分析报告是某个时间段内自主品牌汽车行业的相关情况,完全不会涉及侵犯个人隐私。我们利用“脱敏后的数据”进行分析,得到的是整个宏观的数据分析结果,这个数据报告将会对汽车厂商的设计、生产、营销推广均有不同程度的指导作用。
通过上面两个图片的对比,我们不难看出,利用大数据做的是一个不断优化的生态系统,大数据的真正价值在于挖掘,也就是洞察数据之间的关联,通过对比、交叉、相关、聚类等等方法,得出可视化的分析结果。基于结果洞察到新的机会点、预测未来趋势,得出一套科学合理的解决方案”。
所以开篇所提到的那15家数据公司所做的“公民隐私信息交易问题”,在整个数据分析中是根本不会涉及的。我们利用大数据想要的是一个宏观的趋势,而不是仅仅局限在个人的隐私上面。我相信在《网络安全法》正式实施之后,数据行业的风气将为之一新,以往在“灰色”领域不具备竞争优势的企业,将会脱颖而出,迎来绝佳的发展机会。
数据安全
“随着物联网的发展,在未来一切东西都会智能化、都在线上,社会上对于数据安全的呼声越来越高,需求也是越来越强烈。”今年5月,新型“蠕虫”式勒索病毒席卷全球,网络安全已成为政府部门、企业机构、社会大众共同关注的热点话题。27日,“大数据网络应用安全技术高峰论坛”在贵阳国际生态会议中心举行。业界专家大咖汇聚一堂,聚焦大数据基础系统,为营造安全和谐的网络环境建言献策。
6月1日,《中华人民共和国网络安全法》的正式实施,成为我国网络空间法治建设的重要里程碑,在确立安全在整个信息系统建设中的核心和关键地位的同时,对保护公众个人信息安全也起到积极作用。
由此可见,不管是从国家层面,还是个人层面,数据安全问题都是发展的核心问题。在风起云涌的大数据时代,我们每个人都很难做到独善其身,在推动数据应用时所面临的风险与挑战,需要国家和企业一起努力。
大数据浪潮势不可挡
数据已成为国家基础性战略资源和商业创新源泉,深化大数据应用成为世界各国和产业界的一致选择。全球数据规模持续迅猛增长,数据被认为是新时代基础生活资料与市场生产要素,成为了全球“互联网+”变革浪潮下的基础“能源”,战略价值不亚于工业社会的石油。
工信部发布的《中国大数据发展调查报告(2017年)》中显示,2016年中国大数据市场整体规模为168.0亿元,较2015年增速达45%,预计2017-2020年增速将保持在30%以上,意味着在未来3年,我国大数据市场的整体规模将来到500亿。
同样在报告的调查中显示,59.2%的受访企业已成立数据分析相关部门,35.1%的企业已经应用了大数据,大数据应用得到进一步普及;目前大数据应用最为广泛的三个领域分别为营销分析、客户分析和内部运营管理。
目前,我国大数据市场的供给结构已经初步形成,大数据创新应用深入经济社会各领域。大数据成为服务经济社会民生的重要支撑和引领产业转型升级的核心力量。在广大现有和新兴细分市场中,大数据市场融合技术与服务,正形成迅猛的发展势头。未来几年大数据市场仍将呈现强劲的增长,风头势不可挡。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你有没有想过,手机里点外卖、刷社交软件、转一笔账,背后到底是谁在替你"记着账"? 答案其实很简单:数据库,以及跟它对话的那 ...
2026-10-07CDA数据分析师 出品 作者:李诗怡 一、数据分析四大思维 1. 对比思维:没有对比就没有分析 核心观点:单独一个数字没有意义,有 ...
2026-10-05Kimball 是方法,星型模型是它产出的形状。 很多人把"Kimball vs 星型模型"当成一道选择题——这本身就是个误会:Kimball 是动词 ...
2026-10-05写在开头 老板在微信上甩来一句: "帮我看下为什么销量跌了。" ” 你回工位,打开 SQL,开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23