京公网安备 11010802034615号
经营许可证编号:京B2-20210330
抢占大数据源头
在信息化的过程中,产生了结构化、半结构化和非结构化的数据,这种用电子化数据记录、传输和表示信息的方式是“智”。当这些数据达到一定的量级,数据的魅力才会显现,可以发挥出“慧”的优势,我们简称这种有价值的数据为大数据。由于人类社会财富的60%是近30年内创造的,90%的数据是近5年内记录的,大数据随着时代的发展越来越引人关注。它已经被运用到很多方面:社会管理、商业智能、军事侦察,医疗诊断等。
大数据在被获取之后,一般会被索引分类。储存在服务器的数据经过挖据、分析和处理,数据才有大作用。这个过程最为关键的是数据源,谁掌握了数据源头谁将掌握未来(但愿不是美国政府的秘密情报监视机构)。
1 直接的大数据源头——大自然
克强指数是一项用于评估中国GDP增长量的经济指标,它包含三个基本要素:工业用电量新增、铁路货运量新增和银行中长期贷款新增。这三个数据是属于人类社会源头的,可以通过统计的方法得到数据。但是,我们可以通过监测空气中二氧化碳等温室气体的含量,来反映工业用电量新增和铁路货运量,甚至可以直接利用温室气体的含量变化计算经济增长率。这就需要在不同的样本地点部署测量节点,由传感网络传递数据到处理中心,同时考虑其他数据的影响,综合历史数据,预算经济指标。
而测量节点需要总体规划,共用基础设施,可以同时测量和传输其他数据:风速、温度、降雨量、湿度、PM2.5、氧气含量,环流数据、地壳数据、森林覆盖率和动物数量、动物迁徙路径等数据。这些数据可能是数字,可能是文本、图片、音频、视频等。未来的部署模式类似现在的电信运营商,手机是节点,基站是小型处理中心。只不过数据源由人变成了大自然的状态、植物和动物。
这就是大自然的物联网。自然世界每天有大量信息产生,如果将这些信息数据化,通过云计算模式加工处理,可以帮助人们做出更好的决策、预测未知的事情。说不定,亚马孙河流域热带雨林中的蝴蝶飞行速度,和太阳表面温度息息相关。只不过人们尚未发现这种联系,已知晓的联系是乌云和下雨。
2 广泛的大数据源头——人类社会
香山衡器集团有这么一个梦想:在传统的体重秤和脂肪秤的基础上,用厨房秤自动识别食材种类(视觉搜索),记录重量;同时,通过便携式一体化的温度计、血氧仪、血压计、血糖仪、心率计等穿戴设备测量并记录身体显性健康数据,智慧地提供有关膳食结构、睡眠、心理和运动等健康解决方案。
想象一下,如果加上医院测量的隐性健康和诊断数据(扁桃体发炎、肝病、遗传病等),那么每个人完全可以拥有一个伴随一生的健康数据库,记录身体的各项指标。从最初的外界风寒或者食物的影响,到身体不适的参数变化,再到后来康复的过程,大量数据都会被记录下来。如果人群样本足够,运用大数据技术,可以分析出病理。那么,有人怀孕时,可穿戴设备能通过脉搏监测功能,提前预知并提醒,老中医的经验将被数据化;大数据处理中心能够提供健康解决方案,让人远离亚健康状态,更不用说生病了。
能够获取这些数据变得尤为重要,这是提供智慧的健康解决方案的基础。这些数据不仅有商业价值,还有社会价值和历史价值,后人将知道我们的膳食结构、生活习惯、身体指标等数据。
3大数据源头——意义非凡
然而,不仅厨房秤可以获得有关食材的数据, Google Glass
2.0或许也能识别并记录即将入口食物的数据。数据的源头是多源的,电影票房可以用电影院的座位传感器监测上座率,得到准确的数字。谷歌也能根据搜索量预测电影票房,准确率达94%。这就需要认识并挖掘大数据的价值,不能挖一口大数据源头的井,就把自己的数据井挖大,发现其中的价值。Linkedin发现雷曼兄弟的来访者忽然多了起来,就可以预见雷曼兄弟的倒闭。
在有形产品和无形产品(服务)的基础上,大数据源的价值将凸显。搜索引擎、媒体监测、点评、比价等互联网业务都是基于大量数据的,这些公司将分散凌乱的“小数据”集中起来,形成大数据,挖掘其中的价值。像Facebook、Twitter这类产品自身产生了大量数据,自然的占领了有关个人动态和社交的大数据源头,这些数据可以用作预测股市、选举结果、赛事比分等,这就是开放平台的作用,允许进行复杂的数据交互。无论是新浪微博开放平台,还是淘宝开放平台,数据是它们的核心竞争力。
这些掌握原始数据源头、分发数据的公司将炙手可热,一些自然界和人类社会尚未发现价值和挖掘的数据暗示着新的商业机会。整个大数据利用的阶段中,存储处理层是技术密集型的,但是,如果丧失了基础源头层,巧妇难为无米之炊。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析、业务监控、运营复盘等场景中,列值趋势计算是核心需求之一。无论是分析销售额的月度增长、用户活跃的变化趋势、库存 ...
2026-06-12在数字经济深度渗透的当下,消费者的购买行为已从过去的 “被动接受” 转变为 “主动决策”。流量红利消退、获客成本攀升、用户 ...
2026-06-12CDA三级认证是三个级别中的塔尖,全面考察数据战略、团队领导和复杂项目的综合能力。它所对应的《敏捷数据挖掘》教材,不再局限 ...
2026-06-12在游戏产业的商业逻辑中,付费玩家是支撑游戏生存与发展的核心支柱。行业普遍遵循 “二八定律”:20% 的付费玩家贡献了游戏 80% ...
2026-06-11【核心关键词】企业、定位、传统、产品、互联网、可视化、业务侧、数字化、结构化、数据分析、传统制造业、市场状态、发展空间 ...
2026-06-11 解读《CDA二级教材:量化策略分析(2025)》的全景结构与学习逻辑 ” CDA二级认证是企业招聘数据分析师时最常提及的证书门槛 ...
2026-06-11【核心关键词】药企、可视化、营销、分类、数据分析师、销售数据、业务人员、指导方向、分析报告、营销数据、营销医生 【专访摘 ...
2026-06-10在统计学分析、问卷调研、实验验证、业务复盘等场景中,卡方检验与 T 检验是应用最广泛的两类基础假设检验方法。前者专门处理分 ...
2026-06-10 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-06-10在MySQL数据库日常查询、数据统计、后台接口开发、数据导出等场景中,开发者经常需要查询数据表除某几列之外的所有字段。例如查 ...
2026-06-09在Python网络请求、爬虫开发、接口测试、数据抓取等实操场景中,requests库是最常用的第三方请求工具,而content属性是requests ...
2026-06-09 数据分析正在重塑每一个行业。CDA认证的三本官方教材,分别对应Level I、Level II、Level III,为你铺就从业务数据分析到数 ...
2026-06-09在数字财务、智慧财税、业财融合深度推进的当下,传统财务模式下数据标准混乱、业务流程碎片化、知识无法沉淀、系统互通性差等问 ...
2026-06-08随着数字经济深度渗透各行各业,数据正式成为继土地、劳动力、资本、技术之后的第五大生产要素,是企业数字化转型、精细化运营、 ...
2026-06-08 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-06-08【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-05在数据库数据查询、业务报表统计、多表关联分析中,LEFT JOIN左连接是使用率最高的SQL关联查询语句。其核心特性是保留左表全部数 ...
2026-06-05 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-06-05任何一款产品从诞生、普及到最终退出市场,都会遵循一套固定的发展规律,这就是产品生命周期理论。在市场竞争日益激烈、产品迭代 ...
2026-06-04在Excel数据分析、办公统计、业务报表制作场景中,数据透视表是数据汇总、分类统计、快速复盘的核心工具,能够高效完成海量原始 ...
2026-06-04