抢占大数据源头
在信息化的过程中,产生了结构化、半结构化和非结构化的数据,这种用电子化数据记录、传输和表示信息的方式是“智”。当这些数据达到一定的量级,数据的魅力才会显现,可以发挥出“慧”的优势,我们简称这种有价值的数据为大数据。由于人类社会财富的60%是近30年内创造的,90%的数据是近5年内记录的,大数据随着时代的发展越来越引人关注。它已经被运用到很多方面:社会管理、商业智能、军事侦察,医疗诊断等。
大数据在被获取之后,一般会被索引分类。储存在服务器的数据经过挖据、分析和处理,数据才有大作用。这个过程最为关键的是数据源,谁掌握了数据源头谁将掌握未来(但愿不是美国政府的秘密情报监视机构)。
1 直接的大数据源头——大自然
克强指数是一项用于评估中国GDP增长量的经济指标,它包含三个基本要素:工业用电量新增、铁路货运量新增和银行中长期贷款新增。这三个数据是属于人类社会源头的,可以通过统计的方法得到数据。但是,我们可以通过监测空气中二氧化碳等温室气体的含量,来反映工业用电量新增和铁路货运量,甚至可以直接利用温室气体的含量变化计算经济增长率。这就需要在不同的样本地点部署测量节点,由传感网络传递数据到处理中心,同时考虑其他数据的影响,综合历史数据,预算经济指标。
而测量节点需要总体规划,共用基础设施,可以同时测量和传输其他数据:风速、温度、降雨量、湿度、PM2.5、氧气含量,环流数据、地壳数据、森林覆盖率和动物数量、动物迁徙路径等数据。这些数据可能是数字,可能是文本、图片、音频、视频等。未来的部署模式类似现在的电信运营商,手机是节点,基站是小型处理中心。只不过数据源由人变成了大自然的状态、植物和动物。
这就是大自然的物联网。自然世界每天有大量信息产生,如果将这些信息数据化,通过云计算模式加工处理,可以帮助人们做出更好的决策、预测未知的事情。说不定,亚马孙河流域热带雨林中的蝴蝶飞行速度,和太阳表面温度息息相关。只不过人们尚未发现这种联系,已知晓的联系是乌云和下雨。
2 广泛的大数据源头——人类社会
香山衡器集团有这么一个梦想:在传统的体重秤和脂肪秤的基础上,用厨房秤自动识别食材种类(视觉搜索),记录重量;同时,通过便携式一体化的温度计、血氧仪、血压计、血糖仪、心率计等穿戴设备测量并记录身体显性健康数据,智慧地提供有关膳食结构、睡眠、心理和运动等健康解决方案。
想象一下,如果加上医院测量的隐性健康和诊断数据(扁桃体发炎、肝病、遗传病等),那么每个人完全可以拥有一个伴随一生的健康数据库,记录身体的各项指标。从最初的外界风寒或者食物的影响,到身体不适的参数变化,再到后来康复的过程,大量数据都会被记录下来。如果人群样本足够,运用大数据技术,可以分析出病理。那么,有人怀孕时,可穿戴设备能通过脉搏监测功能,提前预知并提醒,老中医的经验将被数据化;大数据处理中心能够提供健康解决方案,让人远离亚健康状态,更不用说生病了。
能够获取这些数据变得尤为重要,这是提供智慧的健康解决方案的基础。这些数据不仅有商业价值,还有社会价值和历史价值,后人将知道我们的膳食结构、生活习惯、身体指标等数据。
3大数据源头——意义非凡
然而,不仅厨房秤可以获得有关食材的数据, Google Glass
2.0或许也能识别并记录即将入口食物的数据。数据的源头是多源的,电影票房可以用电影院的座位传感器监测上座率,得到准确的数字。谷歌也能根据搜索量预测电影票房,准确率达94%。这就需要认识并挖掘大数据的价值,不能挖一口大数据源头的井,就把自己的数据井挖大,发现其中的价值。Linkedin发现雷曼兄弟的来访者忽然多了起来,就可以预见雷曼兄弟的倒闭。
在有形产品和无形产品(服务)的基础上,大数据源的价值将凸显。搜索引擎、媒体监测、点评、比价等互联网业务都是基于大量数据的,这些公司将分散凌乱的“小数据”集中起来,形成大数据,挖掘其中的价值。像Facebook、Twitter这类产品自身产生了大量数据,自然的占领了有关个人动态和社交的大数据源头,这些数据可以用作预测股市、选举结果、赛事比分等,这就是开放平台的作用,允许进行复杂的数据交互。无论是新浪微博开放平台,还是淘宝开放平台,数据是它们的核心竞争力。
这些掌握原始数据源头、分发数据的公司将炙手可热,一些自然界和人类社会尚未发现价值和挖掘的数据暗示着新的商业机会。整个大数据利用的阶段中,存储处理层是技术密集型的,但是,如果丧失了基础源头层,巧妇难为无米之炊。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据分析在当今信息时代发挥着重要作用。单因素方差分析(One-Way ANOVA)是一种关键的统计方法,用于比较三个或更多独立样本组 ...
2025-04-25CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-25在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03