京公网安备 11010802034615号
经营许可证编号:京B2-20210330
对大数据现象和概念追根溯源,大致可以分为三个阶段。一是20世纪80年代至90年代中期,是大数据认知的萌芽阶段。1980年,美国著名未来学家阿尔文?托夫勒在《第三次浪潮》一书中将大数据盛赞为“第三次浪潮的华彩乐章”。二是20世纪90年代中期到21世纪前10年,是大数据广受各界关注的阶段。美国高德纳(Gartner Group)公司的分析师道格拉斯.兰尼(Douglas Laney)2001年首次从大数据的特征的角度对大数据进行了相对明确的定义,强调大数据必须具备3V特征,即容量大、多样化和速度快。三是2010年至今,是大数据战略应用被提上日程并迅速发展的阶段。美国总统科学技术顾问委员会于2010年给奥巴马总统和国会呈报了题为《规划数字化的未来》的报告。麦肯锡公司于2011年发布了《大数据:创新、竞争和生产力的下一个前沿》的报告。2012年更是一个重要年份。1月,瑞士达沃斯世界经济论坛发布报告《大数据大影响》;3月,美国奥巴马政府颁布了《大数据的研究和发展计划》;5 月,联合国秘书长执行办公室发布了《大数据促发展:挑战与机遇》的报告;6月,经合组织OECD统计委员会第9届会议发布《使用大数据作决策》研究报告。2013年则可以称为中国统计的大数据元年。7月,“大数据时代统计学:机遇与挑战——中国统计学高端论坛”在上海财经大学举办;10月,主题为“大数据背景下的统计”的第十七次全国统计科学讨论会在杭州举行。11月,国家统计局与阿里、百度等11家企业签署了大数据战略合作框架协议。
什么是大数据?麦肯锡报告的定义是,“大数据是指大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群”。维基百科(Wikipedia)的表述是,“大数据是难以用现有的数据库管理工具处理的兼具海量特征和复杂性特征的数据集成。”涂子沛将大数据定义为那些大小已经超出了传统意义上的尺度,一般的软件工具难以捕捉、存储、管理和分析的数据,认为一般应该是“太字节”的数量级。阿里创始人马云则说,大数据就是一种服务。而我们的同仁在研究中提出:大数据是指采用多种数据收集方式,汇集不同数据源,通过采用现代信息技术和架构能够高速分析处理的、具有高度应用价值和决策支持功能的多种类型数据及其技术集成。
从存在形态看:大数据分为可以用二维表反映的结构化数据和不能以二维表反映的非结构化数据,如音频、视频、图片等。从数据来源看:大数据可分为行政记录数据、商业记录数据、互联网及搜索引擎数据三大类。行政记录数据包括个人信息记录数据,单位信息记录数据和自然和资源记录数据等;商业记录数据包括电子商务交易数据,企业生产经营数据和信息咨询报告数据等;互联网数据则包括搜索引擎数据,新闻媒体数据和社交平台数据等。而大数据的特征,从最初的3V已经被归纳为6V加1C。即数据体量大(Volume),类型多样化(Variety),处理速度快(Velocity),应用价值大(Value),数据获取与发送的方式自由灵活(Vender),准确性(veracity) 和处理和分析难度非常大(Complexity)。
相对于传统数据,大数据多是自动化或半自动化生成;数据的搜集、处理、存储和分析能力都已极大提高;数据主体和来源日趋多元化;非结构化数据占绝大多数;需要大量过滤才能提取有用价值;隐私与安全也存在着巨大隐患。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析、质量控制、科研实验等场景中,数据波动性(离散程度)的精准衡量是判断数据可靠性、稳定性的核心环节。标准差(Stan ...
2026-01-29在数据分析、质量检测、科研实验等领域,判断数据间是否存在本质差异是核心需求,而t检验、F检验是实现这一目标的经典统计方法。 ...
2026-01-29统计制图(数据可视化)是数据分析的核心呈现载体,它将抽象的数据转化为直观的图表、图形,让数据规律、业务差异与潜在问题一目 ...
2026-01-29箱线图(Box Plot)作为数据分布可视化的核心工具,能清晰呈现数据的中位数、四分位数、异常值等关键统计特征,广泛应用于数据分 ...
2026-01-28在回归分析、机器学习建模等数据分析场景中,多重共线性是高频数据问题——当多个自变量间存在较强的线性关联时,会导致模型系数 ...
2026-01-28数据分析的价值落地,离不开科学方法的支撑。六种核心分析方法——描述性分析、诊断性分析、预测性分析、规范性分析、对比分析、 ...
2026-01-28在机器学习与数据分析领域,特征是连接数据与模型的核心载体,而特征重要性分析则是挖掘数据价值、优化模型性能、赋能业务决策的 ...
2026-01-27关联分析是数据挖掘领域中挖掘数据间潜在关联关系的经典方法,广泛应用于零售购物篮分析、电商推荐、用户行为路径挖掘等场景。而 ...
2026-01-27数据分析的基础范式,是支撑数据工作从“零散操作”走向“标准化落地”的核心方法论框架,它定义了数据分析的核心逻辑、流程与目 ...
2026-01-27在数据分析、后端开发、业务运维等工作中,SQL语句是操作数据库的核心工具。面对复杂的表结构、多表关联逻辑及灵活的查询需求, ...
2026-01-26支持向量机(SVM)作为机器学习中经典的分类算法,凭借其在小样本、高维数据场景下的优异泛化能力,被广泛应用于图像识别、文本 ...
2026-01-26在数字化浪潮下,数据分析已成为企业决策的核心支撑,而CDA数据分析师作为标准化、专业化的数据人才代表,正逐步成为连接数据资 ...
2026-01-26数据分析的核心价值在于用数据驱动决策,而指标作为数据的“载体”,其选取的合理性直接决定分析结果的有效性。选对指标能精准定 ...
2026-01-23在MySQL查询编写中,我们习惯按“SELECT → FROM → WHERE → ORDER BY”的语法顺序组织语句,直觉上认为代码顺序即执行顺序。但 ...
2026-01-23数字化转型已从企业“可选项”升级为“必答题”,其核心本质是通过数据驱动业务重构、流程优化与模式创新,实现从传统运营向智能 ...
2026-01-23CDA持证人已遍布在世界范围各行各业,包括世界500强企业、顶尖科技独角兽、大型金融机构、国企事业单位、国家行政机关等等,“CDA数据分析师”人才队伍遵守着CDA职业道德准则,发挥着专业技能,已成为支撑科技发展的核心力量。 ...
2026-01-22在数字化时代,企业积累的海量数据如同散落的珍珠,而数据模型就是串联这些珍珠的线——它并非简单的数据集合,而是对现实业务场 ...
2026-01-22在数字化运营场景中,用户每一次点击、浏览、交互都构成了行为轨迹,这些轨迹交织成海量的用户行为路径。但并非所有路径都具备业 ...
2026-01-22在数字化时代,企业数据资产的价值持续攀升,数据安全已从“合规底线”升级为“生存红线”。企业数据安全管理方法论以“战略引领 ...
2026-01-22在SQL数据分析与业务查询中,日期数据是高频处理对象——订单创建时间、用户注册日期、数据统计周期等场景,都需对日期进行格式 ...
2026-01-21