大小数据 | 辨析大数据价值与小数据洞察
大数据技术的出现带给人们的思维方式、行为方式、媒体传播方式及社会治理方式等都诸多方面带来了革命性的变革。《大数据时代》一书的核心观点是说:“在大数据时代,我们正经历着一场生活、工作与思维的大变革。
我们没必要非得知道现象背后的原因,而是要让数据自己发声。”在大数据时代,相关关系能够帮助我们更好地了解这个世界,建立在相关关系分析法上面的预测是大数据的核心,通过找到“关联物”并监控它,我们就能够预测未来。
作者还提出了“大数据三原则”:要全体不要抽样,要效率不要精确,要相关不要因果。虽说该书作者提出的“要相关不要因果”的观点还值得商榷,但“相关性”观点还是从某个层面上说出了大数据时代的核心特征。大数据是往往是商业自动化产生的数据,又具有实时在线的特征。
与大数据概念相对应的,在这之前的数据似乎就是所谓小数据,如果有所谓的小数据概念的话,应该特指采用调查方法获得的抽样数据,或者是结构化的海量数据。对于小数据的分析通常采用的是传统的统计分析方法,是一种自上而下的实证研究方法论。小数据往往依托数理统计的大数定律,描述了抽样理论下样本最终服从中心极限定理的正态分布理论,强调描述性统计学和推断统计学。
大数据重预测,小数据重解释
大数据的开放性、公开性和易获得性,社交网络每天产生的大数据可以在一定规则开放性下,通过应用程序接口(API)和爬虫技术采集,一些商业机构和政府组织也向社会研究机构提供各种海量数据源,特别是政府开始提供权威开放数据源。大数据往往带有时间标签,更具预测性。国内外众多机构开始采集海量Twitter和微博上的传播信息和个人属性特征和标签,期望预测社会舆情和社会情感、预测电影票房、预测商业机会,进而期望预测人们的态度和行为。开放、公开易获得数据源是大数据时代的基本特征和产生社会影响本质。
大数据重发现,而小数据重实证
传统的小数据重实证研究,强调在理论的前提下建立假设,收集数据,证伪理论的适用性,采用随机抽样的定量调查问卷获取数据,验证假设。这是一种自上而下的决策和思维过程。而大数据重发现知识,预知未来,为探索未知的社会现象和发展规律带来机遇。这种预见性是一种自下而上的知识发现过程,是在没有理论假设的前提下去预知社会和洞察社会现象、趋势和规律。
大数据重相关,小数据重因果
大数据重关系,而不关心因果,关注是什么而不关心为什么,尽管大数据依然可以回答因果问题,但因果关系并非来自统计或数据,而是来自研究者的理论和假设。大数据分析更关注数据的相关性测量和商业应用价值。大数据挖掘往往是发现那些不能靠直觉发现的信息和知识,甚至是违背直觉的,有时候越是出乎意料可能越有社会和商业价值。媒体人应该有责任和有能力从数据中发现事物内在规律,发现内在,预警社会。
大数据重全体,小数据重抽样
大数据是商业自动化存储的数据,在软硬件满足的条件下可以分析海量数据。随着存储和软硬件的经济性和分析工具的高性能,海量数据的处理能力得到提升,数据挖掘算法不断改进和丰富,特别是统计分析和机器学习的神经网络建模技术发展,抽样并非是必要的手段和方法论。尽管大数据不一定是总体,理论上讲再大的局部也没有随机抽样更具代表性,但机器学习算法所带来的个性化推荐技术、非线性建模、网络分析、空间地理分析、实时在线的数据可视化分析手段都应成为我们认识世界、感知社会的重要手段和目的。
大数据重感知,小数据重精确
大数据具有变生产边应用,边应用边生产,实时在线分析的特点,往往更关注数据从总体上感知社会,通过大数据的在线可视化技术呈现大规模数据的流动模式,大数据时代背景下的社会治理、舆情研究、智慧城市、智能交通、传染病传播、谣言传播提供了数据基础。大数据同时关注对个体的数据挖掘,个性化推荐,精准营销,传播路径分析等应用领域都具有大数据特点。小数据往往采用显著性检验,统计显著性受到样本代表性和样本量的影响,对数据来源的真实性、无偏性和代表性格外重视。
大数据挖掘技术可以说是统计分析技术的进化,但狭义角度讲大数据的挖掘已经不是小数据时代的统计分析了,更多的是指机器学习算法和云计算技术,当然也包括传统的多变量高级统计技术。与此同时,数据科学(Data Science)兴起,人们调侃说数据科学家成为最抢手、最热门、最性感的职业。
尽管所谓的小数据具有大数据不可替代的商业应用和学术研究价值,但是大数据带来的社会变革是小数据无法比拟的,社会已经将大数据认为是国家发展战略,是社会第四生产要素,是驱动社会变革和创新的新动力。
大数据一切从开源开始,”软件定义一起,数据驱动未来,算法统治世界”是IT领域相关人士对大数据时代的最好诠释。特别是大数据与新闻融合产生了数据新闻,成为未来新闻事业的发展方向,这种报道形式不仅丰富了新闻的表现形式,而且改变了新闻生产流程,对于新闻从业人员的思维也是一次巨大的颠覆。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14