大数据会与深度学习划等号么_数据分析师

2014年12月12-14日，由中国计算机学会(CCF)主办，CCF大数据专家委员会承办，中科院计算所与CSDN共同协办，以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014，BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。

　　近年来，国内外互联网公司和传统企业大都已经意识到数据资产化和规模化带来的潜在价值，如何低成本且高效率地存储和处理数百TB乃至EB量级的数据成为极大挑战。“向数据要价值”使得几乎每个行业都面临着大数据问题。“大数据”引发了新一轮IT“工业革命”。

　　程学旗发布2015年大数据发展趋势预测

　　中科院计算所研究员，CCF大数据专家委员会秘书长程学旗在会上发表了大数据白皮书与发展趋势报告。《中国大数据技术与产业发展白皮书(2014年)》主要介绍了大数据的背景与动态，大数据典型应用，大数据技术进展，大数据IT产业链与生态环境，以及大数据发展趋势与建议等内容。同时对于2015年大数据发展趋势预测，程学旗总结为这几个词：融合、跨界、基础、突破。

　　一、结合智能计算的大数据分析成为热点，包括大数据与神经计算、深度学习、语义计算以及人工智能其他相关技术结合，成为大数据分析领域的热点。

　　二、数据科学带动多学科融合，随着社会的数字化程度逐步加深，越来越来多的学科在数据层面趋于一致。可以采用相似的思想来进行的统一的研究。

　　三、跨学科领域交叉的数据融合分析与应用将成为今后大数据分析应用发展的重大趋势。

　　四、大数据将与物联网、移动互联、云计算、社会计算、等热点技术领域相互交叉融合，产生很多综合性应用。物联网与移动计算加强了与物理世界和人的融合，大数据和云计算加强了后端的数据存储管理和计算能力。

　　五、大数据多样化处理模式与软硬件基础设施逐步夯实。内存计算将继续成为提高大数据处理性能的主要手段。以Spark为代表的内存计算逐步走向商用，并与Hadoop融合共存，专为大数据处理优化的系统和硬件出现，大数据处理多样化模式并存融合，一体化融合的大数据处理平台逐渐成为趋势。其中有一个观点这种多元化一定程度上成为一体化，未来大数据多样化处理模式并存并且有可能成为一体化的平台。

　　六、大数据安全和隐私持续令人担忧。

　　七、新的计算模式将取得突破，众包技术，可能未来不光是大数据讲深度学习。

　　八、各种可视化技术和工具提升大数据分析。进行分析之前，需要对数据进行探索式地考察。在此过程中，可视化将发挥很大的作用。

　　九、大数据技术课程体系建设和人才培养是需要高度关注的问题。

　　十、开源系统将成为大数据领域的主流技术和系统选择。

　　邢波分享大数据分布式机器学习平台

　　2014中国大数据技术大会首日的全体会议上，卡耐基梅隆大学教授邢波、ICML 2014程序主席邢波(Eric P. Xing)表示，着眼当下大数据处理平台，大量资源都都浪费在集群的通讯上。即使比较优秀的平台，计算时间也只有20%，通讯时间占到80%，就比如Hadoop的通讯时间占到90%。

　　而他的研究小组研发出的Petuum则是一种新型的大数据分布式机器学习平台，包含数据和程序并行两套功能，也对机器学习的特点做了比较好的研究和针对性的使用。大致结构是包含一个参数服务器，提供编程的一个虚拟并行内存，在编程的时候不用对每个机器进行单独通讯，还有一个叫做调度器，能够对模型进行有效的分割，甚至是动态分割，然后做分布化。

　　这个参数服务器有一个编程界面，在写内存读取不需要对每一个机器做特殊的指令，使用了比较巧妙的所谓半同步的协调机制，这样可以显著降低使用在通讯上的时间，而加强在计算上的时间，所以随着半同步参数的调整，通讯时间会显著下降，降到了甚至比计算时间还要少，这样使计算机的资源得到最大量的利用。

　　Petuum也是开源项目，目前的观察不光可以达到很大量，基本上等价于现在最好的系统。根据邢波教授刚刚收到学生最新送来的结果，很让人惊讶，还有一个组用这个系统跟Spark和Hadoop做了独立比较。Petuum系统的愿景既包含软件和底层软件的支持，目前也是在Hadoop生态系统里的一个分子，这个系统可以开放给大家下载以后做自己的开发。

　　余凯：深度学习将扮演人工智能时代关键角色

　　百度研究院副院长，深度学习实验室主任，图片搜索部高级总监余凯介绍了百度在人工智能方面的发展。对于互联网公司来说最重要的技术是基于大数据的人工智能。什么是人工智能?感知、思考和控制是人工智能的几个重要方面。真正智能的系统，是随着经验的演化，越变越聪明!而经验就是数据。

　　余凯在演讲中认为：人工智能的本质特征之一是学习的能力，也就是说系统的能力能否随着经验数据的积累而不断演化和提升。所以大数据时代的到来给人工智能的发展提供前所未有的机遇。在这个时代背景下，深度学习在各个方面所取得的突破性进展并非偶然，因为从统计和计算的角度来说，深度学习可能是目前我们能找到的最好的方法，用于在海量数据中寻找复杂的规律。

　　除此以外，他认为深度学习还有两个显著优点：首先，它是一套丰富的建模语言，或者说是建模框架，我们可以用这套语言系统来表达数据内在的丰富关系和结构，比如图像中的2D空间结构，自然语言的时序结构;其次，深度学习是几乎唯一的end-to-end的机器学习系统，它的目标是直接作用于原始数据，自动逐层做数据特征变换，整个学习过程直接优化某个问题相关的目标函数，而传统的机器学习往往被分解为几个不连贯的步骤，并非一致优化某个整体的目标。所以，万物互联的时代，数据暴增，也意味着人工智能时代的来临，深度学习将扮演关键性角色。从现在到2020年，我们将看到人工智能在语音识别，计算机视觉，自然语言理解，机器人，自动驾驶等领域的持续突破性进展。

　　智能化时代：大数据会与深度学习划等号么?

　　本次会议的组织者安排了媒体对几位专家的群访。我向李国杰院士等专家提出了一个问题：“刚刚程学旗秘书长说大数据专委会的专家们投票选择明年的大数据技术趋势是说大数据跟神经计算和人工智能相结合，有一些委员说明年首先是对国内大型互联网公司在推动大数据发展方面有更多期待，这是否意味着2015年大数据跟人工智能划等号，或者是跟深度学习划等号了呢?”

　　【李国杰】那么多专家把大数据和人工智能划等号，但不仅是大数据，整个智能化技术，是中国未来一段时间很重要的方向。过去几十年是数字化，接下来是自动化，然后是网络化，智能化也做过，但是相对来说不是那么看重，但是越到后来，现在发现智能化的要求越来越高，希望它对产业方面贡献越来越大。所以智能化一定是很重要的一个主题词。但是智能化没有止境，打个比方，好象人的影子似的，太阳在那边照着，老想踩着影子，永远是个边界。原来认为是智能的东西现在认为不智能了。

　　现在智能化跟我们大家关心的经济新常态都扯了一点边。因为中国经济以前是靠要素驱动，现在GDP增长变慢了，下一步要提高GDP，靠人脑的创新。以前这么多年搞来搞去，是靠“筋肉”延伸，靠汗水。而未来人工智能靠创新，靠脑筋。

　　这是一个新时代的开始，所以所谓新常态不是往下降了，我觉得是往上升了，提升成大家更往智力上想办法。环境污染，资源耗尽的矛盾会降低一些。因为消耗脑子和消耗资源是两种问题，但是消耗脑子可能会引起世界上两极社会非常严重，收入等可能差几倍，聪明的人与不聪明的人将来在社会上的差距，更有所体现。怎么让全社会更加公平，更加普惠大众，这是一个新的课题。

　　【邢波】您刚才那个问题是说大数据跟人工智能和深度学习怎么划等号?是这么一个关系，大数据是一个研究对象，人工智能是一个目标，我们要达到人工智能的目标，要理解数据，方法论是机器学习或者是智能计算。深度学习是机器学习里面十个手指头里面的一个指头。比如刚刚这位老师讲到的网络安全，要对加密数据做一个分类，就无法用深度学习去解决。所以三者的关系不是等号的关系，甚至没有互相包容的关系，还是不同层面的说法。像深度学习在人工智能、机器学习里面什么地方可以用，什么地方不可以用，在学业界和工业界大家都是非常清楚的。不太成熟的我们就慢慢去研究，但是这并不代表深度学习就是包罗万象。

　　最近有一些社会人士，比如像霍金，像特斯拉CEO，他们说人工智能将导致革命，或者是人工智能将比人类更加强大，这应该是科普和娱乐性的话题，不应该当真。人工智能不是取代人类的课题，它要做的事情应该是人不能做的。比如人工智能，没有哪个科学家有极大的兴趣做仿生机器人。所以仿生和人工智能是两件事，工程层面和技术成功仿生的例子并不是很多，大家是通过仿生做一些科普宣传，比如说飞机。飞机原理和鸟的飞翔原理完全不一样，机器学习跟大脑运行原理完全不一样，他们讲的只是普及工作。对人工智能我们不能把它与深度学习划等号，就像说研究人脑就能达到人工智能。

　　【程学旗】我比较赞同邢波教授的观点，即肯定不能把大数据和人工智能划等号，大数据本身未来也可以作为学科，但是它目前还是一个现象。但是另外一方面看，大家讨论的结论里面，我们叫智能计算，也就是说大数据计算里面怎么体现它的智能，或者解决智能方面的问题，这可能是我们未来一段时间内学术界和工业界关心的问题，包括机器智能，人工智能，各种智能。

　　人工智能到底解决什么问题?解决人的思考?还是解决人的预测，还是解决现象?人工智能它的机理是什么，简单来讲至少大数据可以在人工智能做预测决策的范畴起到促进作用。本文来自：CDA数据分析师培训官网