京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代 树大数据意识
一,大数据及其特点
1.什么是大数据?
美国首屈一指的咨询公司麦肯锡给大数据的定义是:大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。全球最大的电子商务公司亚马逊的大数据科学家给出了一个更简单的定义:任何超过了一台计算机处理能力的数据量。而维基百科中只有短短一句话:“巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯。”
2.大数据的4V特点
Volume(大量)——相关数据显示,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多;发出的社区帖子达200万个;卖出的手机为37.8万台…… 更有数据显示,过去5年里,人类行为产生的数据量增长了10倍,而在接下来10年中,这一增长将达到29倍。这使得近两年所产生的数据量等同于2010年以前整个人类文明产生的数据量总和。
Velocity(高速)——数据处理遵循“1秒定律”,需从各种类型的数据中快速获得高价值的信息。
Variety(多样)——现在的数据类型不仅是文本形式,更多的是图片、视频、音频、地理位置信息等多类型的数据,个性化数据占绝对多数。
value(价值)——以视频为例,一小时的视频,在不间断的监控过程中,可能有用的数据仅仅只有一两秒。大数据分析犹如“大海捞针”。
二,大数据的六个维度
1.安全维度
没有国家信息安全的技术保障和环境氛围,国家的数字主权会受到侵害,国家的网络边防将受到威胁,国家在经济全球化和世界多极化持续推进过程的发展利益将难以维护;对内而言,没有国家信息安全的法律体系建设和舆论引导,国家的政治安全会带来挑战,各类非传统安全会造成侵害,社会的稳定会受到威胁。
大数据时代,线上与线下、虚拟与现实、软件与硬件重叠交错、跨界影响,尤其是核心的大数据不可避免地成为各种利益诉求的集散地、国与国之间进行渗透的重要渠道。数据安全既影响商业、金融等经济安全,也可能涉及文化意识形态等精神领域,甚至可能会激发社会动荡、改变战争形态、影响国家安全。
明确大数据采集和使用所涉及的包括数据隐私、准确性、可获取性、归档和保存等问题在内的应用规则,厘定信息使用权限和职责,确保数据依照规则规范使用。要重视大数据安全体系建设。大数据涉及政府数据公开,所以大数据的安全防护,需要有全新的模式,不仅要重视对大数据本身的安全保障,还要注重大数据平台的安全建设。
2.管理维度
数据安全管理问题,是我国应用大数据面临的最大风险。虽然将海量数据集中存储,方便了数据分析和处理,但由于安全管理不当所造成的大数据丢失和损坏,则将引发毁灭性的灾难。
筑牢我国大数据安全管理的“三道防线”,强化数据安全立法工作,防止“大而无序”;尽快实现对关键装备、核心领域与人才的自主自控,防止“大而无力”;高度重视大数据显隐价值保护,防止“大而无安”。总之,要以国家核心安全需要为牵引,多措并举实现大数据安全保障。
3.政府治理维度
大数据为政府治理能力的提升带来了发展机遇。首先是为推动政府治理理念和模式的变化带来机遇。在政府治理领域,通过让海量、动态、多样的数据有效集成为有价值的信息资源,推动政府转变管理理念和治理模式,进而加快治理体系和治理能力现代化。其次是为推动政府治理决策精细化和科学化带来机遇。
从政府层面来说,大数据可以将原本分散存储在不同部门、行业、主体的数据作为整体加以利用,实现统一管理,为信息分析、利用、开放提供基础。同时,大数据的信息平台,使数据资料更加全面,政府部门间的数据信息调用将更加方便快捷,可以有效地提高工作效率。大数据处理模式和大数据技术的应用,可以使政府决策更具科学性、共识性;帮助政府在第一时间内获得市场数据,有利于对市场的监管;提升公共管理和服务能力,有利于定制个性化服务。
4.互联网思维维度
互联网思维是一个多元概念。一般认为,互联网思维指在(移动)互联网、大数据、云计算等科技不断发展的背景下,对市场、对用户、对产品、对企业价值链乃至对整个商业生态进行重新审视的思考方式,本质是发散的非线性思维。
将大数据和社会治理紧密结合起来,改进网络舆情源头治理。将大数据和网上政务信息公开紧密结合起来,提升政府公信力。将大数据和日常舆情管理紧密结合起来,提高网络舆情整体掌控能力。将大数据和突发事件应对紧密结合起来,提高网络舆情应急处置能力。将大数据和舆论引导紧密结合起来,提高感染力和说服力。
5.生存维度
大数据是数字化生存时代的新型战略资源,正在改变人类的生产和生活方式,对国家和社会发展作用巨大。近年来,大数据引起各国科技界、产业界和政府部门的高度关注。
作为个体则必须在这个特定的环境中对自己的目的、价值和意图进行重建,从而达到强调自己个性和分享他人个性的理解。任何技术都倾向于创造一个新的人类环境。而信息技术、电脑网络乃至最近问世的大数据,已经为人类创造出一个崭新的环境。
6.实践维度
大数据时代,只有让政府以及各社会主体在合理共享各种最新数据的基础上,发挥各自的优势,深度挖掘数据的价值,在提供公共服务的方式、内容和机制上不断创新,以适应快速变化的社会需求和环境,才能不断提高我国的国家治理能力和实现社会治理方式的创新。深圳市福田区充分认识基础数据的重要性,在如何保证动态、精准、充分占有基础数据方面进行了卓有成效的创新和探索。
把大数据的手段和方法引入管理领域,是实现管理现代化的有效路径,也是大数据时代的必然要求。在广东省,伴随着经济的迅猛发展,地方税收纳税登记户从1994年60多万户增加到2011年的285多万户,地税收入从184亿元增加到4248亿元,而同期,地税系统干部人数仅增加了20%。海量数据的即时获取和精确分析成为摆在管理者面前的一道难题。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19在零售行业大数据分析与精细化运营领域,纸尿裤旁摆放啤酒是最经典、最具代表性的商业案例。两种看似毫无关联的商品,一个是婴幼 ...
2026-08-19 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-08-19在数据分析、业务监控、质量检测与风险管控工作中,数据波动性是衡量数据稳定性、业务健康度、结果可信度的核心依据。数据波动代 ...
2026-08-18很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当导致 ...
2026-08-18在数据分析、业务评价、产品评级、用户分层与综合决策场景中,单一指标往往无法全面、客观地评价事物整体水平。现实中的评价对象 ...
2026-08-18在数理统计、假设检验、数据分析与机器学习领域中,卡方分布(χ²分布)是继正态分布、t分布之后最重要的连续型概率分布之一。 ...
2026-08-17在Python数据清洗、文本校验、账号密码规则校验、脏数据过滤、字符串规整化处理中,正则表达式是最高效、最常用的文本匹配工具。 ...
2026-08-17 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-08-17手游行业具备用户迭代快、竞争激烈、用户粘性易流失的典型特征。随着新游持续上线、玩家审美升级、玩法疲劳等问题出现,存量用户 ...
2026-08-14在数字化产品运营、商业数据分析、业务增长管理中,零散的指标统计无法支撑系统性的业务决策。单一的点击率、转化率、销量数据只 ...
2026-08-14 很多数据分析师每天都在写SQL,但当被问到“数据查询语言(DQL)的本质是什么”“SELECT语句中各子句的书写顺序与实际执行顺 ...
2026-08-14在数据库数据分析、数据清洗、报表统计与业务查询场景中,日期时间是最高频、最核心的基础字段。数据库中存储的日期格式多样,包 ...
2026-08-13在数据统计分析与数据清洗工作中,箱线图是一种简洁高效、客观性强的数据可视化图表,能够直观呈现数据集的分布特征、离散程度和 ...
2026-08-13 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-08-13在自动化办公、数据采集、定时统计、日志清理、系统监控等场景中,程序往往需要按照固定时间间隔重复执行指定任务,这种运行机制 ...
2026-08-12