大数据人人皆可用

行业分析公司EMA调查了12家Splunk公司的客户投资回报情况，结果表明，使用Splunk软件收集、搜索、分析和可视化机器大数据的企业用户在第一年就实现了200%甚至更高的投资回报率。专注于机器大数据的Splunk自从在美国上市后，就被视作大数据行业的风向标。在近日举行的Splunk亚太区峰会上，本报记者独家专访了Splunk亚太及日本地区副总裁刘文熙和Splunk亚太及日本地区首席安全战略官彭志宏，就机器大数据的应用与Splunk在中国的发展等问题进行了深入交流。
　　简化使用 
　　在本次峰会上，Splunk发布了Splunk Enterprise 6.1和Hunk 6.1。与之前的6.0版本相比，Splunk Enterprise 6.1最明显的改变是，客户使用界面更加简化，不仅专业的工程师可以操作，即使是企业中的一般员工也可以利用Splunk Enterprise 6.1很轻松地生成报表。Splunk的计划是，未来每年进行两次产品版本的升级，除了增加更多功能以外，还要持续简化客户使用界面。 
　　Splunk Enterprise 6.1有以下几个亮点。第一，多站点集群技术通过在集群配置内复制原始与索引数据，保证Splunk Enterprise在多站点的连续可用性。彭志宏介绍说，Splunk Enterprise本来就具有处理多个站点数据的功能，而此次新增的多站点集群功能主要是出于数据保护的考虑，为重要数据保留多个副本。第二，zlinux Forwarder通过Splunk Enterprise可以轻松收集和索引源自IBM大型机的应用程序和平台数据。目前，银行普遍还在使用大型机，因此Splunk能够收集和分析大型机中的数据，为银行客户提供便利。第三，嵌入式报告功能支持将任何Splunk报告或图表嵌入Saleforce.com、WordPress、Wiki、Microsoft SharePonit和其他更多第三方商业应用程序中。第四，定制告警功能。第五，增强型仪表板编辑器，无需高级的XML编码，通过UI即可构建高级仪表板。Splunk Enterprise 6.1重点研发的多站点集群、定制告警和增强型分析功能得到了与会用户的充分肯定。 
　　Splunk大数据软件的底层技术核心是一个搜索引擎，这是从公司创始人最早开发的互联网搜索引擎演变发展而来的。Splunk创立于2003年，当时人们只是使用Splunk的互联网搜索引擎对网页进行分析，找出影响网页运行的问题所在。后来，在应用实践中，人们发现利用Splunk软件工具，还能分析用户的上网行为等，从而发掘出更多的数据价值。在大数据的概念出现后，Splunk的软件工具架构并没有本质的变化，底层技术基础还是搜索引擎，但它在收集和分析机器大数据方面的能力逐渐得到了行业用户的认可。 
　　“我们专注于机器数据的挖掘。我们的大数据软件能实现的许多功能是Hadoop力所不能及的。很多用户还在使用传统的商业智能工具，但是得到结果需要花费很长时间。与其他许多大数据方案相比，我们的大数据软件的长处在于可以进行实时分析。我们的关键技术很难被模仿。”彭志宏表示，“很多大数据方案厂商做的还是数据存储的工作，目的是想销售出更多的硬盘，而我们的工作重点则是实时数据处理。” 
　　去年9月，Splunk宣布收购移动数据分析平台公司BugSense，将产品触角伸向了最时髦的移动应用领域。Splunk以前收集的主要是数据中心内部IT基础设施的数据，包括服务器、存储、网络等。现在，Splunk要将数据中心内部和外部、移动设备与互联网中的数据一网打尽。 
　　中国特色 
　　在过去两年中，Splunk对中国市场进行了大量投资，不仅在北京、上海等地设立了办事机构，而且发展了多个合作伙伴，同时在金融和电信两大行业站稳了脚跟，银联支付、民生保险、百联支付、中国移动和中国电信等都是Splunk的客户。谈到中国大数据市场的变化，刘文熙深有感触：“越来越多的客户和合作伙伴会主动找上门。以前，客户比较盲目，只是说要做大数据，但不知为什么做，如何做。现在，客户对大数据的理解逐渐加深，很清楚要通过大数据挖掘得到什么样的结果，因此选择大数据解决方案更专业，也更有目的性。” 
　　在国外，Splunk的客户遍及各个行业，就连全球前五大的电商企业都是Splunk的客户。在中国，目前Splunk的客户主要来自金融和电信两个行业。刘文熙直言：“这是我们有意为之，因为我们进入中国市场时间不长，资源有限，只有先从对大数据比较了解，而且有迫切需求的行业入手。我们希望在未来5年内进入更多的行业。” 
　　Splunk公司将其大数据软件定位于一个平台，除了不断丰富这个平台的功能以外，就是提供更多的API，让合作伙伴可以根据行业和客户的需求，在这个平台上进行定制化的开发。“大数据市场的发展不可能只靠一两个厂商来推动。因此，我们会倚重合作伙伴的力量。我们的产品十分成熟，用户可以直接下载使用，而不需要太多服务支持。”刘文熙表示。 
　　在很多人的印象中，大数据的技术和应用门槛比较高，似乎只有依靠专业的人才，甚至是数据科学家才能更好地利用大数据分析工具。其实不然。Splunk的大数据标准平台之上有许多插件，针对不同的应用、设备，用户只要选择不同的插件，就可以得到自己想要的数据挖掘结果。对于很多软件厂商来说，除了产品之外，服务是必不可少的，而Splunk的大数据工具则是高度产品化的，不需要太多服务即可方便使用。“七八年前，我们就已开始提供软件的下载。虽然产品版本不断升级，功能逐渐丰富，但我们软件的核心价值始终没变，就是应用的简单化。用户购买了我们的软件，不需特殊服务，就可以自己部署和使用。”刘文熙表示。 
　　需要利用大数据工具处理的数据，与企业原有的数据是不同的。一个企业往往拥有多个数据平台。Splunk大数据工具的优势之一就是可以将不同数据平台上的数据集中在一起进行分析和挖掘。 
　　谈到中国用户在大数据应用方面的特色，彭志宏介绍说：“中国客户与美国客户有一点比较相似，就是数据分析的量非常大。正因为如此，如果使用传统的数据库，虽然也能得到想要的分析结果，但时间太长。而如果使用Splunk的大数据软件，就可以实时得到数据分析的结果。这才是用户爱上Splunk的主要原因。” 
　　在企业中，没有人敢轻易动那些存储了几年甚至几十年的数据。因此，大数据工具主要还是用于那些新建的应用系统。彭志宏表示，通常情况下，使用Splunk的大数据软件无需对原有的硬件架构做出改动，除非客户对安全有特殊的需求。Splunk的大数据产品是纯软件，既可以运行在一台设备上，也可以运行在多台设备上，软件本身可以根据应用的需求随硬件弹性伸缩。具有一定技术背景的人员，可以通过Splunk提供的培训文档、视频自己学习、掌握Splunk软件的使用技巧。“一般用户并不需要我们提供的专业服务。因此，我们的服务部门人数比较少，主要是为一些拥有复杂环境的客户，比如拥有上千台服务器的客户提供一些高层次的架构设计服务。” 
　　更多可能 
　　大数据是一把双刃剑，它既对企业的安全防护提出了更高要求，又可以作为一种新的安全防护工具和手段，帮助企业提升自身的安全防护能力。你可能想象不到，来自安全业务的收入已经占Splunk总收入的近三分之一。在本次峰会上，来自亚太地区的许多客户在介绍使用Splunk产品的经验时，都重点强调了Splunk在合规、查找企业安全漏洞方面的能力。许多传统的安全软件厂商，也都是Splunk的用户和合作伙伴。 
　　“我们最早的一批客户就是安全方面的客户，比如一些云服务提供商，它们希望找到一种有效的工具对网络、客户账号等进行实时监控和分析，及时发现安全隐患并告警。”彭志宏介绍说，“在大数据时代，数据最大的不同就是它是动态的，这让很多传统工具无法进行及时有效的处理和分析，而这正是Splunk的长项。我们的大数据软件可以对任何来源、任何类型的数据进行收集、分析和挖掘。” 
　　除了可以对数据中心里各种机器中的数据进行收集和分析以外，Splunk的大数据工具还可以收集和处理汽车电子设备中的数据。无论数据来自哪里，都可以成为Splunk分析和挖掘的对象。随着人们对大数据的认知逐渐深入，大数据将有更多用武之地