
大数据腾云还须落地
引言: 上个世纪九十年代,人们大胆的预测:互联网的出现和完备将对工业生产和人类的行为和生活做出颠覆性的变化。20年后的今天,我们可以看到,这个预测已经完全应验了。
今天,我们可以对大数据时代做类似的预测:10年之后,我们的生活会因为“大数据”发生了更大的变化。由于大数据的落地,我们对人类自身的了解将会达到一个前所未有的高度。
计算机从诞生的第一天开始起,它就在跟“数据”打交道,只不过那时候的数据跟今天我们的“大数据”是不一样的。当时的计算机是用在做非常复杂、快速的运算,然后得出结果,这就是计算机最原始的模型。
然而,今天的大数据并不是在已有的物理和物质的世界中间的延续,而是一个新的更大、更猛的数字世界的降临,这个数字怎么降临的呢?
我们今天所有行为都会被数据所记录,这些庞大的数据,我们要从这些大数据中获得新的知识,特别是对人类的消费、社交、思维等进行深入的分析、了解以及精确
的追踪记录,这些都是前所未有的,所以我们的计算机模型也发生了根本的变化。计算机的模型已经变成云计算模型,变成了数据中心。
大数据的到来,全方位的颠覆了IT领域的系统开发和数据处理,通用的数据库技术已经不能满足大数据可扩充、容错的这种特殊的需求,传统的数据库管理的商业
模式也不能被日益增长的非赢用户所接受,面对这些新的市场需求,新开发的大数据主流是以低成本的开源软件、云计算模式出现的。在大数据时代,数据处理和应
用远远超过事物性的处理和模拟,过去我们做的数据处理就是两件事情,现在要做各种各样的分析。
再者,当前大数据已成为国家层面的基础战略资源,正日益对全球生产流通分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。推动大
数据发展已成为国际社会的行动共识,国务院于2015年8月明确提出“全面推出我国大数据发展和应用,加快建设数据强国”,在这样的背景下,我们真真的完
全进入到了“大数据时代”。那么,大数据落地,我们终究获得了些什么呢?
10月20日,习近平主席这次在伦敦参观了帝国理工学院的数据科学研究所,这个实验室是大数据领域的世界顶尖研究机构,并听取了有关运用大数据的方法分析
国内人口迁移情况,“一带一路”政策的国际影响力,个性化医疗的推广,以及上海地铁的负载分布和应急办法等。习近平主席也对将大数据研究和社会实践相结合
给予了赞赏,他还鼓励了数据科学研究所和中国正在开展的合作。
值得一提的是,参观中,数据科学研究所向彭丽媛赠送了一件苏格兰羊绒披肩,披肩尺寸是计算机分析700张彭丽媛照片后得出的,可谓名副其实的“大数据披肩”。
为什么现在人人谈大数据、事事谈大数据?连习近平主席国事访问,这么重要的场合,也充满了大数据。由此可见,现如今大数据的发展已经成为国家、产业、社会、生活的一个重要话题。
目前,我国也已经将大数据上升为国家、社会层面的战略。将一个问题提升到国家和政府层面,说明其存在对社会和国家的综合价值。
大数据落地,使医疗服务质量“大跃进”
大数据使医疗服务质量得到提高——未来医院:现在,我国医疗信息化还处在成长期,如何解决看病难、医院超负荷运营、数据孤立等难题,都是全社会关注的问题。
APP
“微医”的上线,有效的解决了看病难的问题,很多患者已经开始使用这个APP平台,实现在线挂号、智能预约、分诊、远程候诊、查看报告、在线医患互动、后
续治疗和康复、病例保存、个人健康档案全覆盖等等一系列的操作。而当遇到疑难杂症时,医生还可以通过该平台寻找同行专家远程会诊,相当于为患者建立了一个
全方位的健康档案。
缴费也不用排队,患者可以通过支付宝钱包、微信钱包完来实现缴费,这样大幅缩短就诊、转诊时间,方便了患者,也大大缓解了医院的压力。
各大医院也已实现“电子化”,医院之间“联网”将患者的资料、病症录入到互联网里,更多地使用电子健康记录
(电子健康档案),并与新的分析工具相结合,这样能够使整个医疗行业的资源整合,医生可以看到患者的数据,医护人员可以利用这些数据、信息得出更有效的治
疗方案,并依据真实的医疗服务质量开展医疗治疗。通过大数据的分析和专业数据服务,改善了传统医疗服务体系的不足,让患者取得最有效的医疗效果,也使医院
的工作效率得到很到的提升让医疗变得更智能。这些,都是靠大数据实现的。
大数据落地,使教育理念“多元化”
大数据使教育质量得到提升——智库教育:比尔.盖茨曾预言,“5年以后,你将可以在网上免费获取世界上最好的课程,而且这些课程比任何一个单独的大学提供的课程都要好。”是的,现在已验证了这一预言。
如今,“远程教学”和“电子化教学”已成为了很多学校的一种常见教学模式,通过深入地跟踪和分析学生的在线学习活动,这种运用大数据的在线式教学,比起传
统的教学模式,使老师能够更好的确定学生的学习方式和提高学习的方法,更全面地看待学生的发展,发现以往考试成绩所反映不了的深层次问题。老师能对这一情
况及时掌握,就能对不同的学生开展不同的教学方式和方向。
未来,学生们可以没有门槛、没有围墙地获取任何一所大学、任何一位老师的课程,跨越国家、跨越民族,这些都会成为可能,线上学习越来越成为学习知识的主要
途径,而学生们学习行为的数据将自动留存,更易于后期的学习行为评价和评估,教师不再基于自己的教学经验来分析学生的共同点,在学习中的偏好、遇到的难题
等,只要通过分析整合学习的行为记录,就能轻而易举得到学习过程中的规律,而这些,都是大数据的功劳。
大数据落地,使企业成熟度得到提高
目前,百度、谷歌、阿里巴巴等公司正在积极研究如何利用大数据推动新的商业模式,产生新的商业链条,包括通过电子商务来建立产品的关联关系,利用大数据进行有效的电子商务分析等,努力提高企业自身“大数据”成熟度。
国外巨头企业的成功事例也表明,大数据成熟度高的企业,现在已成为行业大佬。比如像亚马逊和可口可乐等,它们在大数据方面进行了很多投资,实现更好的业务,更好的满足客户,因为他们有很多的大数据,他们的营销产品可以通过大数据更好的结合在一起。
大数据让数据交融和认知计算成为可能
生来就具有互联网大数据的IT企业。他们拥有其他企业没有的自身优势和地位冲击大数据领域,并将新产品及新方案推广到新一轮技术浪潮当中的,那么,大数据时代,IT企业是如何怒刷“存在感”的呢?其中,两个重要公司Informatica和IBM将成为我们探讨的例证。
Informatica:交融时代,一切皆数据!
从2005年,Informatica来到了中国,到2015年,Informatica在中国十年了。
十年来,Informatic始终是一切有关数据的行业领导者,也几乎是一切有关数据的代名词,每一家企业都在努力解决转型问题
时,Informatica始终还是专注于数据,也为我们展示了它能够在当今交融时代赋予数据驱动型企业强大力量的产品创新战略及大数据未来的发展之路。
Informatica 2015数据管理高峰论坛
契合交融时代的智能数据平台:
当前,我们已从效率时代、敏捷时代跨越到了交融时代。在交融时代,就要求我们必须具备敏捷思维。而中国整个大数据的领域也是瞬息万变的,这就需要更多的灵活性来更好地适应这个环境。
Informatica智能数据平台就是为契合交融时代客户需求的数据管理解决方案之一,该它能够对传输大数据业务的数据架构进行定义,随时对应用程序、数据库和技术开放——不论它们是在云中、企业内部部署还是二者相结合。
与此同时,它还涵盖了数据智能、数据基础设施、Informatica Vibe虚拟数据机等核心的技术和功能,通过铺设一条虚拟数据高速通道,将人员、位置与事物以更加智能的方式紧密相连,从而为应用程序、设备和人员提供支持。
推动端到端敏捷数据集成:
在2014年工信部出了一本中国的大数据白皮书,里面明确写到了大数据的推动要经历5个不同的阶段:第一个是数据准备阶段。第二个是数据存储阶段。第三个是数据管理分析阶段。第四个是数据的展现。第四个是实现业务的创新,总共有五个阶段。
而Informatica就是在帮企业完成他它实现大数据的每一步。
Informatica在PowerCenter中增加新功能却不会增加额外成本,IT由此从数据集成中获得更多新的优势;利用众多分析工具促进IT与业
务部门之间的协作,实现敏捷数据集成开发;面向关系、批处理、JDBC和ODBC数据源的连接器;实时引擎,开始使用实时数据仓库,以任意速度在各个运营
应用系统之间交换数据——批量、准实时和实时;高级数据转换,无论数据格式、复杂性或大小,企业级数据转换和分析能力适用于任意数据类型。
的确,大数据是交融时代的一个重要标杆,企业必须创建相应的战略,在业务应用中采用最恰当的数据管理方案,才能全面掌控数据,获得持续发展动力。
如同Informatica亚太和日本区资深副总裁Murray
Sargant先生表示的那样:“在全新的交融时代,数据的范畴早已超越了数据库应用以及云服务中产生的交易数据,而更进一步涵盖社交媒体、移动应用以及
物联网上产生的互动数据。同时,数据使用目的和传输数据的技术也在不断变化,数据不再是被动的记录,而是促进和形成客户参与的推动力。”
Informatica始终专注于提供一切有关数据的变革创新,帮助企业尽快成为数据驱动型企业,使之有能力通过将清洁、安全、互联互通的数据作为重中之重,更迅速地做出明智决策,优化企业运作,研发新的突破性产品和服务,并以此超越竞争对手。
大数据时代下,IBM帮你认识计算
认知计算兴起于20世纪初期,作为新兴的科学门类,一直被广泛的关注。认知计算发展到现在对于信息技术和人工智能都将产生革命性的影响,这也随着现代科技产品的诞生,进一步得到验证。
IBM是最早将认知计算纳入研究范围的机构之一,Watson是其最具代表性的技术成果。IBM合作伙伴利用Watson平台生产了一款绿色小恐龙。
这个小恐龙内置通信终端,可以远程连接沃森知识库,通过语音识别,用自然语言回答孩子的提问。这种商品的产生,也让认知计算和大数据不再是科学家和工作人员眼中的冰冷的符号。
IBM郭仁声也特别强调了:“在这个认知计算的时代,我们认为不能够简单套用今天大家成熟使用的计算模式,或者采用的工具和产品把它简单搬过来应用在未来
大数据认知计算的平台上面,我们必须要有从端到端,从最底层的基础科学到最上层的商业应用,全面的创新和整合,这样才能够看到完善的全面支持认知时代的计
算能力所要求的平台。”
为了实现端对端的整合,IBM在不同的技术层面都在做着产品的尝试,无论是芯片上的,还是基础技术上的,以及整体的计算平台。
第一,在芯片方面,IBM实现了对摩尔定律的验证,完成了对7纳米芯片原型的制造,从技术角度,把计算能力和芯片做到了进一步提升。
第二,在基础技术方面,IBM对神经元芯片和量子计算上有了突出的研究,神经元芯片,可以做70毫瓦功耗,到对大脑模拟已经可以相当于一只小白鼠的智力水平。
第三,在计算平台上,IBM新的Power服务器,利用Power多线程的技术、高带宽,让大数据走得更快,包括闪存技术消除读取瓶颈,IOPS更快等等。
这一切无不彰显着IBM的技术实力,从软件到硬件,各个平台之间的互补,当然,IBM也不是无所不能的,所以在各个方面IBM与自己的合作伙伴们都在进一步加强合作。
IBM一直推崇的就是互利共赢,在Power8发布后,对于OpenPower联盟的打造,是对重要合作伙伴的反馈,也是对整体生态圈的打造。这是一种全新的玩法,对自己有利,对合作伙伴有利。
这种全新的生态模式,被更多的伙伴们了解和接受。OpenPower联盟从最初的5家,到现在全球100家,就是比较好的例证。同时,OpenPower联盟中,中国本土几十家企业的加入,也对IBM本土化战略起到了积极有效的推动作用。
IBM大中华区硬件系统部PowerSystems产品总监李红讲到:“针对大数据时代不同的要求,发布新的产品,不仅是IBM自己的解决方案,也包括了OpenPower成员的产品在其中发挥作用。这种整个生态环境共同推出的产品,具有更快的市场适应力和反应速度。”
看新技术与大数据的结合
技术的发展永远不能一帆风顺,起落之间方显从容,大数据已经渗透到各行各业中,如何让大数据更接地气,更显平民化一直是一个重要的研究课题。
3D打印技术,是先在计算机上设计好CAD三维模型,然后3D打印机将材料逐层叠加,最终生成产品。3D打印技术具有按需制造、减少废弃副产品、材料多种
组合、精确实体复制、便携制造等多种优势。这些优势可以降低约50%制造费用,缩短加工周期70%,实现设计制造一体化和复杂制造。
目前3D打印技术已广泛应用于国防军工、航空航天、船舶汽车等工业领域,在建筑行业、医疗卫生、人偶玩具、服装服饰、食品加工等民用级行业则刚刚起步。
2012年4月,英国《经济学人》刊文认为,3D打印技术是第三次工业革命最具标志性的生产工具,该技术与其他数字化生产模式结合,将会推动第三次工业革命的实现。
那么,3D打印技术的优势倒底在哪里呢?为什么《经济学人》会认为“3D打印技术是第三次工业革命最具标志性的生产工具”呢?我们先来看看传统制造业的产生、销售模式是怎样的。
传统的制造和销售模式,是在工厂里通过流水线作业,将产品生产制造出来,然后通过线上的电商平台、线下的销售渠道(批发商、零售商)将产品发送到世界各地的消费者手中。主要缺点如下:
一.在设计阶段,存在大量设计作品浪费。厂家难以准确把握市场的具体需求,但又因为昂贵的开模费用,只得从众多的设计作品中挑选一个来生产,很多优秀的设计作品无法通过生产来实现价值。
二.在产品生产与流通过程中,会消耗大量的资源。在生产之前,原材料要通过物流环节运送到工厂;在生产过程中,主要采取模具铸造和机械加工等方法,其造型
能力受制于所使用的工具,物体形状越复杂,制造成本越高;产品生产出之后,需要将产品运送到各地,会占用能源、交通、仓储、人力等很多资源。
三.在消费端,产品不一定能真正受到用户的喜欢。通过传统制造方式生产的产品,一般具有一定的刚性需求,但在创意、设计方面,却未必受到用户的欢迎。用户能接受,是因为没有更多的选择。特别是用户需要的个性化定制的产品,传统制造方式因为本成原因很难现实。
而解决传统制造业这些痼疾的最好方式,就是建立以大数据为支撑的设计师平台,结合3D打印“个性化定制”的优点,打造出遍布世界各地的分布式制造点。
3D打印产品本身,如果与大数据平台相对接,会产生更大的价值,优势在于:
精确的市场定位。人通过对广泛人群的某一特定特征扫描、采样,将信息汇聚到云计算中心,形成规模庞大、可详尽分析的抽象数据,再结合3D打印定制化生产的特点和传统制造批量生产的优势,将虚拟的数据对象转化为实体成品。
良好的用户黏度。传统电商的优势主要体现在交易的便捷性,但用户在交易完成后,很少因为平台本身而产生依赖,同样服务质量的电商,用户的选择余地很大,会使用户在线上线下不断地参与交互,所产生的用户黏度远远超过传统电商。
平台的垄断优势。大数据实施的对象是人,当某家公司掌握了足够多的人类数据时,也就意味掌握了足够多的变现可能,“谁掌握了大数据,谁就掌握了人类”。
大数据的现状如何,通过前边的探讨,大家已经有了一定的了解,了解现在,遥看未来,才能在将来的应用中快人一步,对于未来大数据技术的探讨和其发展趋势,我们也想畅想一番,供大家参考。
大数据的技术趋势
第一,大数据认知计算将成为被关注的重点,认知计算将更好的为大数据分析服务,这种人工智能的计算方式将带给数据分析变革性的力量。
第二,数据信息进入了整合时代,越来越多的公司在与互联网相结合,在结合过程中将更多的已有解决方案融入其中,实现了业务层面的相互整合,在此基础上实现了数据共享。
第三,人力资源分析将成为大数据重要的业务领域,人才的关注度一直高居不下,越来越多的公司将通过分析数据获得认可人才,通过数据分析人力资源将会给带来更多的投资回报。
第四,数据的变现能力进一步增强,国家建立的大数据交易中心,将更多的被利用,交易让数据具有了更多的流动性,同时具有了随时变现的能力。
第五,数据的安全性和私密性将被广泛的关注,数据的安全防护将成为重点,保护数据的意识将更多的被大众了解,同时数据的脱敏也会成为下一步大数据关注的焦点之一。
第六,智能化的政府、智能化的城市建设让政府开放了公共的数据集,应用开放的API使初创公司和企业够轻松地与政府部门对接。这不仅能加速政府的智能化过程,甚至可能收获更多。
第七,数据湖将被更多的应用在主动式存储解决方案中,通过整理大量的结构化和非结构化数据,大量的应用才能够用于对其进行加工处理,包括企业数据仓库或开源技术,如Apache Hadoop或Spark。
第八,智能设备的发展,有利于智能化在各个行业的扩展。由智能机器带来的雾分析以改变整个行业,雾分析时代将正式来临。
大数据发展畅想
一.可视化技术。可视化作为技术形态能够排到第一,其实背后隐藏着大数据的贫民化,“可视化”不仅仅是可视化的形态,也包括了可视化的分析,这样可以让普通老百姓和常规的决策者能够更好的理解大数据的效果和价值,所以,可视化技术被排在了第一的位置。
二.多学科融合。这说明大家对学科的发展非常关注,认为数据科学的雏形已经出现了,从表现形式来看,很多相关的数据、科学研究院、专门的实验室,也可以看到这样的学科逐渐的完备,所以从事大数据研究不仅仅是计算机领域的科学家,也包括数学等方面的科学家参与到整个大数据前沿的研究中。
三.安全隐私。大数据的安全和隐私一直备受关注,从目前大数据的发展情况来看,针对大数据的威胁和大数据所产生的副
作用,以及大数据发展中的障碍会逐渐成为大数据领域所要关注的点。针对大数据的攻击现在没有大规模的报道,但是隐忧已经非常令大家担忧。在有了大数据之
后,我们每个人已经没有所谓的“隐私”可言。所以,大数据的安全隐私等问题会一定程度上阻碍大数据的发展。
四.大数据提升社会治理和民生领域的应用。基于大数据的社会治理成为社会的热点,且和民生相关的话题,例如智慧城市、应急、反恐、医疗健康等跟老百姓密切相关,同时也是国家大计,这些都是大数据发展的趋势所在。
五.政策对大数据产业的驱动。不可否认,促进大数据发展行动纲要,国务院提出的纲要对大数据的发展起到推动性的快速
作用,也成为一个产业快速发展的催化剂和政策标杆。且各个地方政府也出台了类似配套的一些政策,也产生了很大的推动作用。毋庸置疑,对大数据的推动除了学
术、技术商业的推动以外,政策的扶持也会产生很大的作用,所以我们可以认为,大数据相关的基础设施建设和大数据创业公司在双创政策的推动下,大数据两个驱
动力会快速带动大数据的发展。
六.学术技术。我们认为深度分析会继续成为一个关键来推动整个大数据智能的应用,尤其是涉及到人的相关能力延伸,例如决策预测,精准推介都是被专家委关注的技术和学术的应用点,这里面涉及到人思维的延展,人的能力的延展,这些都会成为大数据分析机器学习,这方面学术技术拉动的方向。
七.数据权属与数据主权的关注。所有的权属和主权的利益冲突和争夺都是来自数据资源化、数据价值化。
八.大数据整个的应用领域的变化。其实这个变化简单我们认为是老三样和新三样,“老三样”是互联网、金融、健康。“新三样”是城市、企业和工业的数据,新三样会拉动大数据发展的新的增长点。
九.整个人才和技术的生态方向。我们认为,开源会持续成为大数据发展的主导性的技术方向和技术平台,还有测评,测评
代表的是测试评估第三方形态的针对大数据功能和性能的这样一种评测和评价对比,它会相对公平,用良币驱逐劣币的方式引导优秀的大数据技术发展,这也是为产
业生态完成一个重要的标志。第三是各种各样的创业创新大赛,所以在开源第三方测评,大赛等等这些方面都是成为人才和技术生态完善的一个重要的标准和驱动
力。
十.技术角度。我们看到很多新的热点持续入大数据的整个模式中,形成一个更加平衡的路径。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
2025 年,数据如同数字时代的 DNA,编码着人类社会的未来图景,驱动着商业时代的运转。从全球互联网用户每天产生的2.5亿TB数据, ...
2025-05-27CDA数据分析师证书考试体系(更新于2025年05月22日)
2025-05-26解码数据基因:从数字敏感度到逻辑思维 每当看到超市货架上商品的排列变化,你是否会联想到背后的销售数据波动?三年前在零售行 ...
2025-05-23在本文中,我们将探讨 AI 为何能够加速数据分析、如何在每个步骤中实现数据分析自动化以及使用哪些工具。 数据分析中的AI是什么 ...
2025-05-20当数据遇见人生:我的第一个分析项目 记得三年前接手第一个数据分析项目时,我面对Excel里密密麻麻的销售数据手足无措。那些跳动 ...
2025-05-20在数字化运营的时代,企业每天都在产生海量数据:用户点击行为、商品销售记录、广告投放反馈…… 这些数据就像散落的拼图,而相 ...
2025-05-19在当今数字化营销时代,小红书作为国内领先的社交电商平台,其销售数据蕴含着巨大的商业价值。通过对小红书销售数据的深入分析, ...
2025-05-16Excel作为最常用的数据分析工具,有没有什么工具可以帮助我们快速地使用excel表格,只要轻松几步甚至输入几项指令就能搞定呢? ...
2025-05-15数据,如同无形的燃料,驱动着现代社会的运转。从全球互联网用户每天产生的2.5亿TB数据,到制造业的传感器、金融交易 ...
2025-05-15大数据是什么_数据分析师培训 其实,现在的大数据指的并不仅仅是海量数据,更准确而言是对大数据分析的方法。传统的数 ...
2025-05-14CDA持证人简介: 万木,CDA L1持证人,某电商中厂BI工程师 ,5年数据经验1年BI内训师,高级数据分析师,拥有丰富的行业经验。 ...
2025-05-13CDA持证人简介: 王明月 ,CDA 数据分析师二级持证人,2年数据产品工作经验,管理学博士在读。 学习入口:https://edu.cda.cn/g ...
2025-05-12CDA持证人简介: 杨贞玺 ,CDA一级持证人,郑州大学情报学硕士研究生,某上市公司数据分析师。 学习入口:https://edu.cda.cn/g ...
2025-05-09CDA持证人简介 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度、美团、阿里等 ...
2025-05-07相信很多做数据分析的小伙伴,都接到过一些高阶的数据分析需求,实现的过程需要用到一些数据获取,数据清洗转换,建模方法等,这 ...
2025-05-06以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/g ...
2025-04-30CDA持证人简介: 邱立峰 CDA 数据分析师二级持证人,数字化转型专家,数据治理专家,高级数据分析师,拥有丰富的行业经验。 ...
2025-04-29CDA持证人简介: 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度,美团,阿里等 ...
2025-04-28CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-27数据分析在当今信息时代发挥着重要作用。单因素方差分析(One-Way ANOVA)是一种关键的统计方法,用于比较三个或更多独立样本组 ...
2025-04-25