实用的大数据技巧合集 _数据分析师

大数据应用的安全性方面往往被忽视或者被视为次要的需求。但是，数据的安全性在数据处理过程有着十分巨大的影响。本文将介绍一些保护大数据应用的步骤和工具。
随着大数据在不同的领域蔓延，安全方面受到越来越多的关注。以前，我们使用具有中心控制的安全系统，但这并不足以保护你的应用程序免受入侵。大数据带来了另外一些安全关切问题，与正常的应用程序有很大不同。
在当今世界，安全性相关的探索非常困难,前进方向也难以界定。整个软件系统中实现合适的端至端安全系统是非常昂贵的。总有一个突破安全防护的可能性 存在，无论你遵循什么样的政策或制度都是一样。企业进行大数据项目时应制定相应的计划，根据自己的预算和政策，采用最现代化新式安全措施。
在大数据环境中的安全风险
大数据时代出现了数据量，数据速率和数据种类的显著增长，另外云计算模式下，移动应用程序和其他应用程序接连增长。通过不同的系统、应用和环境，数 据从一端流向另一端。这种数据爆炸对业务发展洞察力提供了有意义帮助，但它也把商业数据暴露给了各种系统，流程和相关人员。由于庞大的数据量在不同的协作 系统进行存储，处理，分析，总会存在安全漏洞。
大数据从不同的源和不同类型的商业智能工具采集出来以用于分析，并获得有意义的信息。该信息被决策者访问和使用。有时候数据也可用于协作。用于协作 和处理的工具也有安全性限制。所以，总有暴露敏感数据/内容的概率。一旦大数据的值元素被确定，它就可以被访问，更新或甚至由用户改变。这可能会导致对企 业造成严重的安全问题和威胁。
先进的安全措施，可以确保在协作环境中的信息安全。涉及大数据的企业需要在控制和平衡业务需求与数据安全防护之间做到更加精确。以下是关于保护数据的一些建议：
将大数据分割成小数据：以这种方式，系统将能够更好地处理数据的数量，速度和种类。其结果，企业也将能够更快和更准确进行商业决策。
识别信息的适用范围：企业需要识别参与此次合作的员工，合作伙伴，供应商，或任何其他第三方，另外也要识别沟通渠道。这有助于给出关于合作环境和利益相关者的详细思路。
部署数据控制：数据控件都部署在非常重要战略位置。这将确保数据的保护与协作。
在云计算和移动环境的控制部署：云和移动合作是任何应用程序及其部署的重要组成部分，也是风险最高的区域之一。企业需要了解和识别数据是如何在云计算和移动环境中实现共享。
大数据安全工具
在过去几年中，大多数企业采用单一的软件供应商和单个数据库(SAP，Oracle ，PeopleSoft等)为整个企业服务。其结果是，安全性问题更加明显并易于管理。但在目前情况下，我们有大数据，云计算，移动设备等等，系统中的安 全漏洞的数量是未知的，并且安全漏洞的可能性要高得多。
在最近的信息安全发展中，也有许多软件包和供应商可用于加强信息安全实践。对于大数据边界安全策略与其他系统类似，所以在这部分中，我们将只讨论’处于网络内部“ 的工具。
监控和记录：监视和记录一切是检测未授权活动的最佳策略。一些日志系统，如系统日志(Linux)，事件日志 (Windows)可以被有效地利用。SNMP对记录网络事件非常有用。也有可供日志汇总不同的软件包，并将其存储在一个中央位置进行分析。这些被称为安 全信息和事件管理软件(SIEM)包。
分析和审计：SIEM包的主要功能是自动检测未经授权的活动，并产生警告。但是，所有SIEM软件需要配置才能 正常工作。建议使用预配置SIEM包并时常更新他们，这样能够通过日志分析，找出安全漏洞。最新的SIEM包LogRhythm，Q1实验室 (IBM)，McAfee的Splunk等
身份管理：身份和访问管理(IAM)对于大数据保护来说是非常重要的，。因为数据是通过使用不同的信道被员工/ 承包商访问，这些信道包括移动设备，SAAS模式，或其他服务。身份可以确定是谁正在对敏感数据进行访问，考虑“身份”作为新的安全尺度是非常重要的，不 应只是专注于敏感数据的物理位置。身份管理是绝对有必要考虑的工具集合，将有助于我们应对周边发生的故障。
掩蔽数据：数据掩蔽是保护数据安全的另一种方式。这些数据可以通过加密或断词被屏蔽。一些厂商还要求他们的数据屏蔽工具不遵循加密和标记化，但能够动态地执行整个屏蔽。
应用安全：最后一步是确保访问敏感信息的大数据应用安全性。这是非常关键的，因为大部分流行工具构建时并没有考 虑安全因素。最近，大多数的大数据工具在安全方面有了显著改善。最重要的两个因素是“权限粒度级别’和’数据加密”。Hadoop的最新版本将支持新的安 全功能，可能解决这些新出现的问题。
总结
在当今世界，大数据安全是个大问题。正如我们所知道的大数据系统并不像普通单一的供应商系统，因此安全问题的处理更加复杂。没有单一的解决方案/工 具/供应商可以保护您的数据，但是你可能需要使用不同的安全工具，这取决于需要保护的区域所处位置。因此，最终的解决办法是继续使用多种有效的工具，随着 时间的推移。最后，你应该会具有一个良好的，全面的安全系统。