
2016年大数据将走下神坛拥抱生活 资本青睐创业机会多
2016年,大数据在国防、气候、保险、医疗、农业、制造业、城市建设、公共服务等领域都将有着实质性的落地应用。大数据将走下神坛,拥抱我们的生活,直接影响着我们日常生活照的衣食住行和柴米油盐酱醋茶。大数据行业会发展得越来越健全,让我们的生活更加智能化和更加美好。
文|刘金玲(36大数据创始人 )欢迎转载,但请标明作者和来源。
每逢跨年,“年度总结”和“新的一年预测”文章都是最热门的PR之一。36大数据近期也刊登了众多来自大数据行业的年度总结以及2016年行业预测文章,有来自国内专家学者的,也有来自行业从业人员的,还有来自各个咨询机构的等等。到底谁的总结比较到位,谁的预测又较为精准,其实没有统一的标准。关键在于,作为从业人员、作为读者的你,你更倾向于选择相信谁。“横看成岭侧成峰,远近高低各不同。”由于立场的不同,角度的不同,大家的看法肯定也不同。不过没关系,大数据本身就具有“包容”的特质,整体的数据、全量的数据才能更好的诠释问题,相信观点和看法也一样。
所以,今天,我想站在一个媒体人客观中立角度,来说说我对2016年大数据行业的预测和洞察。也许观点和言词偶有偏颇,但仍然感谢大家来看我的文章。鞠躬ing。
数据和知识产权是息息相关的。在2015年间,我们看到了很多通过爬取公共数据来获得盈利的新创企业。比如说爬取社交媒体数据做舆情分析的,爬取网站数据来做分析报告的等等。其实这其中就存在“授权”的问题。一如36大数据的网站数据,全天候24小时被多家同业媒体及科技新闻媒体在爬取,部分有过授权,但是更多的是恶意爬取,通过攻击服务器来进行爬取等等。相信很多站长对恶意数据爬取都深痛恶觉,所以,我们相信,也大胆的预测,在2016年,防止网站数据爬取将变成一种生意。我们也期望未来在网站安全防数据爬取等方面,有更多的科技创新产品。
说到防网站数据爬取将变成一种生意,也从侧面说明我们的另外一个预测,那就网站更加注重安全性,且更多的网站会使用https协议。2015年3月21日,百度全站使用了https。2015年4月,据Builtwith调查数据显示,在排名TOP 10000的网站中,只有4.2%的站点默认使用HTTPS加密访问模式。再将范围放大到TOP 100万个网站,这个百分比则降到了1.9%。目前,包括谷歌、百度和搜狗等在内的搜索引擎都对HTTPS协议网站出台了相关的“优待”策略,这个百分比未来应该会有所上升。
2016年,越来越多的网站会使用https协议,那么除了爬虫,网络上的数据还能够从哪里获得呢?API接口。目前,据36大数据所知,高德地图、新浪微博、淘宝、腾讯云分析等多家网站,都开放了数据API接口。这会成为未来大数据行业的一个重要趋势,基于知识产权的商业数据源API将取代爬虫,成为传统企业获取网络数据的重要渠道。
翻寻过往关于“数据爬取”的官司,最著名的莫过于2013年百度就“违反Robots协议”向360巨额索赔的案件。该案件已于2014年8月在北京市第一中级人民法院进行一审宣判。法院审理判决360不正当竞争行为成立,赔偿百度经济损失共计70万元。在大数据时代,数据就是资产,是生产力也是洞察力。我们预测在2016年,关于数据爬取、授权、数据安全方面,将会出现越来越多关于“数据知识产权”纠纷的案子。
小结一下第一部分的观点:
①数据爬取更加困难,防网站数据爬取将变成一种生意;
②网站更注重安全性,更多网站使用https协议
③数据API或将取代爬虫
④欲将出现更多关于“数据知识产权”纠纷的案子。
在36大数据出品过的文章里,我们曾多次写到人才。根据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万,而在BAT企业招聘的职位里,60%以上都在招大数据人才。
放眼全球,根据WANTED Analytics和福布数据分析斯杂志刚刚公布的2015年数据来看,易安信、IBM、思科、甲骨文在2015年招聘的“大数据”人才最多。就岗位数量而言,需要“大数据”技能的岗位空缺呈现高速增长,其中“大数据”解决方案的销售人员、计算机系统分析师、管理分析师、IT项目经理、和信息安全分析师岗位的增幅都在100%以上。这一增长趋势也将延续至2016年。
不过,值得庆幸的是,在2016年下半年,中国大数据人才市场将迎来第一批高等院校的数据专业实习生。其中几个值得关注的院校为中国航空航天大学、北京大学、中国人民大学、中国科学院大学等。
2013年3月4日,中国航空航天大学软件学院设立大数据专业。随后,
北京大学、中国人民大学 、中国科学院大学、首都对外经济贸易大学以及中央财经大学五校合办了大数据分析方向的应用统计专硕,2014年是第一届学生。
到2016年下半年,预计第一批高等院校的大数据专业人才将会进入相关大数据企业实习。大数据人才万金难求,如何抢到这一批大数据人才,将会写进大数据企业HR2016年的工作计划中。
“2015年,大数据产业在国家和资本的推动下进入了全面爆发,2015年宣称自己是大数据企业的大概有将近400家,其中典型的大数据企业有200多家。拿到融资的大概有五十多家,整体融资额超过50亿元,其中拿到亿元融资以上的企业有17家,最高融资额为7以人民币,估值超过三十亿元人民币的有十家以上,初创一年之内的大数据企业的起始估值大概在10亿元人民币左右。拨开泡沫,我们也看到了大数据企业发展理智的一面,大多数大数据企业都获得了资本市场都青睐。资本的眼光是毒辣的,没有商业价值的企业,资本是不会主动投资的。2015年,50%以上大数据企业的业绩增长超过了几倍以上,人员增长超过了50%。”
以上内容引自鲍忠铁发表在36大数据的《2016大数据产业从数据思维和场景应用开始》一文。
抛开融资额和融资成功的企业来看,但从36大数据接触的投资人来看,2013年投资人是好奇大数据,2014年有部分资本开始试着投资大数据,而在2015年间,资本已经行动起来并且成功投资了多家大数据企业,且投资的金额和量级都是上亿人民币的。资本的眼光的毒辣的,我们相信,资本对大数据的热情不会减淡,到2016年,这一现象还会更加加剧。对此,36大数据也做了一个重要的决定,我们将从2016年3月,每月6日举办一个新创项目与资本的对接沙龙,尽请期待。
这一点怎么讲呢?大家可以参考2015年修订的广告法。为什么不是先有健全的法规政策,才有数据交易、数据隐私、数据安全等问题呢?法规也是在行业不断的成长和发展中建立起来的,只有这个行业不断的发展,才会有健全的法律法规。一如网络游戏一样,网络游戏在中国发展近10年之久,到2007年4月15日,国家才出台了针对未成年人的“防沉迷系统”。国家对大数据的重视程度远远超于网络游戏。我们相信,在2016年,中国关于大数据方面的法律法规会逐渐出台,并且下达到各个单位。关于数据知识产权的保护只会越来越多。
其实这都不算是一个预测。未来所有的企业都是大数据企业,所有的企业都会重视大数据。而新创的大数据项目将更加注重与生活、人文和文化的结合。未来在所有企业里,大数据都是基础设施,大数据的应用场景将和商业模式融合在一起。大数据创业的处女田仍然很多,别说蓝海,红海都还没到,创业机会遍地都是。那大数据创业将从什么地方开始呢?我们认为是从消费者需求和解决问题开始。
截止到目前,在中国新三板挂的企业已逾5000家;新三板真的好吗?对于独角兽类型的大数据企业来说,新三板满足得了他们的胃口吗?这是仁者见仁智者见智的问题。放眼全球,目前在纳斯达克成功上市的大数据企业里,除了IBM、HP等老牌企业外,新创大数据企业也只有Hortonworks和Splunk两家。我们期望2016年在中国,会有新创的大数据企业在创业板上市。
这一条很好理解。微博时代,数据信息图成为了热门的传播素材。在未来,基于报刊、杂志、电影、电视、网络信息等载体,数据可视化将会应用得更加广泛。数据的客观性无可取代。第一财经、搜狐新闻、网易新闻、凤凰网新闻都开通了“数据图说”等频道。预计2016年,这一热潮将会延续到更多的领域应用。未来的媒体平台,除了文字、视频编辑之外,数据编辑、数据可视化设计师也是热门职位。
2009年6月,Yahoo公布了Hadoop的源代码,由此,开创了一个新的时代,一个技术与数据的狂欢时代,一个被称之为“大数据时代”的时代。要问什么是促进大数据健康稳步向前发展的必要因素?“开源”和“技术”必不可少。技术的开源直接意味着行业门槛的降低,同时也推动着技术不断的迈向成熟。今天我们再回过头来看前几年Big Data Landscape图就会发现,大数据整条产业链上的玩家们,都是大数据开源技术的获利者。2015年下半年,微软、雅虎、IBM、亚马逊、阿里巴巴、百度都纷纷开源了旗下大数据、机器学习、数据库等技术,我们相信在2016年,更多的企业会把成熟的大数据工具和技术实现开源,共同促进这个行业的发展。
同时,尽管有开源的强大支持,但是大数据技术仍然存在很高的门槛。在中国这样的市场上,目前迫切需要的是一款“门槛较低、傻瓜式”的大数据处理工具,一个如同Word、Excel这样办公室office人员就能使用的工具。
另外,据Apache软件基金会调查显示:目前,已经有超过500个组织在生产中使用Spark,其中包括亚马逊,eBay,美国航空航天局,雅虎,IBM和许多其他公司。我们不觉得未来Spark会取代Hadoop,但是我们认为,Spark使用率会超过Hadoop。
政府数据源一直都是大数据公司最想要的数据。因有棱镜门的前车之鉴,政府数据是不会一下子全部开放的,只能说是一部分一部分的开放。目前我们已知的是,上海作为表率,已于2015年6月开放了政府数据,大家可以到http://www.datashanghai.gov.cn/home!toHomePage.action 查看到上海市经济建设、资源环境、卫生健康、民生服务等数据。相信在2016年,更多的城市也将逐步开放政府数据。
说到“征信”,想先和朋友们说一个我生活中的小事情。昨天晚上我和我的闺蜜们聊天,她们和我说起了京东白条和支付宝“借呗”,还说到了信用卡还款等事情。我的闺蜜因为对京东白条的额度不满向我抱怨了几句。我劝她谨慎的使用互联网金融产品和信用卡,因为这些数据,以后都会影响着她一生的“信用”,和她生活中买房、买车等需要贷款的地方息息相关。
2015年7月,在凤凰财经金融工作室携手中国领先个人金融门户网站我爱卡发布《2015中国信用卡行业报告》中,根据国内4家国有银行、11家股份制银行和2家城市商业银行的官方2014年业务数据显示:截止2014年底,全国累计发行信用卡4.55亿张。全国人均持有信用卡0.34张,较上年末增长17.24%。
征信是依托大数据来做授信的。在大数据强有力的支撑下,信用卡、互联网信用产品都会得到普及,预计在2016年,中国信用卡发行数量将达到7.8亿张,我们所有人的生活都将和大数据直接挂钩,全民征信时代来临。
除此之外,2016年,大数据在国防、气候、保险、医疗、农业、制造业、城市建设、公共服务等领域都将有着实质性的落地应用。大数据将走下神坛,拥抱我们的生活,直接影响着我们日常生活照的衣食住行和柴米油盐酱醋茶。大数据行业会发展得越来越健全,让我们的生活更加智能化和更加美好。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01