大数据如何知道那么多秘密
知道了大数据隐私的无穷杀伤力后,你也许就会追问,到底什么是大数据吧。
麦肯锡全球研究所说:“大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征”。还有更多的权威专家们,总结了大数据的若干其它特性,比如,容量的超大性呀,种类的多样性呀,获取的快速性呀,管理的可变性呀,质量的真实性呀,渠道来源的复杂性呀,价值提取的重复性呀,等等。有点晕吧?
其实,形象地说,所谓大数据,就是由许多千奇百怪的数据,杂乱无章地堆积在一起的东西。比如,你主动在网上说的话、发的微博微信、存的照片、收发的电子邮件、留下的诸如上网记录等行动痕迹等,都是大数据的组成部分。在不知道的情况下,你被采集的众多信息,比如,被马路摄像头获取的视频、手机定位系统留下的路线图、在各种情况下被录下的语音、驾车时的GPS信号、电子病历档案、公交刷卡记录等被动信息,也都是大数据的组成部分。还有,各种传感器设备自动采集的有关温度、湿度、速度等万物信息,仍然是大数据的组成部分。总之,每个人、每种通信和控制类设备,无论它是软件还是硬件,都是大数据之源。甚至,像本·拉登那样完全与世隔绝,不对外流露任何蛛丝马迹的人,也在为大数据提供信息;因为,一个大活人,“不对外提供信息”本身,就是一条重要的信息,说明此人必定有超级秘密!
一句话,无论你是否喜欢,大数据它就在那里;无论主动还是被动,你都在为大数据做贡献。
大数据到底是靠什么法宝,才知道那么多秘密的呢?用行话说,它利用了一种名叫“大数据挖掘”的技术,采用了诸如神经网络、遗传算法、决策树方法、粗糙集方法、覆盖正例排斥反例方法、统计分析方法、模糊集方法等高大上的方法。大数据挖掘的过程,可以分为数据收集、数据集成、数据规约、数据清理、数据变换、挖掘分析、模式评估、知识表示等八大步骤。
大数据产业,可能将是世界上最挣钱的产业!无论从工作原理、原料结构,还是从利润率等方面来看,能够与大数据产业相比拟的,也许只有另一个,从来就不被重视的产业,即,垃圾处理和废品回收!
真的,我可不是在开玩笑,更不是在自我贬低哟。
先看工作原理。其实,废品回收和大数据处理几乎如出一辙:废品收购和垃圾收集,可算做是“数据收集”吧;将废品和垃圾送往集中处理工场,算是“数据集成”吧;将废品和垃圾初步分类,算是“数据规约”吧;将废品和垃圾适当清洁和整理,算是“数据清理”吧;将破沙发拆成木、铁、皮等原料,算是“数据变换”吧;认真分析如何将这些原料卖个好价值,算是“数据挖掘”吧;不断总结经验,选择并固定上下游卖家和买家,算是“模式评估”吧;最后,把这些技巧整理成口诀,算是“知识表示”吧!
再看原料结构。与大数据的异构特性一样,生活垃圾、工作垃圾、建筑垃圾、可回收垃圾和不可回收垃圾等,无论从外形、质地,还是从内涵等方面来看,也都是完全不同的。与大数据一样,垃圾的数量也很多,产生的速度也很快,处理起来也很困难。
最后来看利润率。有人曾在纽约路边的垃圾袋里,一分钱不花就捡到了价值百万美元的,墨西哥著名画家鲁菲诺·塔马约的代表作《三人行》。即使不考虑这些“天上掉下来的馅饼”,就算将收购的易拉罐转手卖掉,也胜过铝矿利润率;将旧家具拆成木材和皮料,其利润率也远远高于木材商和皮货商。与垃圾专家一样,大数据专家也能将数据(废品)中挖掘出的旅客出行规律卖给航空公司,将某群体的消费习惯卖给百货商店,将网络舆情卖给相关的需求方等等,总之,大数据专家完全可以“一菜多吃”,反复卖钱,不断“冶金”,而且一次更比一次赚钱,时间越久,价值越大。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14