如何从海量数据中挖掘威胁情报_数据分析师

正如有些有见地的员工所指出，“威胁情报”是还没有明确定义的令人困惑的概念。如果你到处问问“什么是威胁情报?”，你会得到各种对解决方案和服务的描述，从恶意软件数据库到签名检测工具和IDS/IPS系统，再到现场咨询服务等。

然而，在乍看之下，这两个词一起看似乎立刻有了意义。“情报”即收集关于某物的详细信息，而“威胁”就是你收集关于什么的信息。当你在谷歌搜索“情报搜集”，定义很明确：

在最广泛的形式中，情报收集网络是指这样一个系统，即通过这个系统收集的关于特定实体的信息通过使用一个以上相互关联的来源而让另一个人受益。

从网络的角度来看，对可能威胁你的业务、网络、软件、web服务器等的信息的收集是很有价值的。那么，为什么网络威胁情报这么难以获取?对于初学者来说，是不是几乎所有安全工具或网络防御活动都是威胁情报机制?同时，如果是这样的话，企业如何利用来自四面八方的数据来采取任何形式的行动?答案是“是”以及“不是那么容易”。事实上，现在大多数企业很难从威胁情报中获取真正的价值。

网络安全领域的大多数解决方案会测量、追踪、日志记录或报告事件。所有这些工具和流程会产生数据，这些数据可以进行数据分析而产生“威胁情报”。这些工具会产生大量数据，而且是很低水平的数据，换句话说，关于任何实体的信息都是非常冗长、复杂，且很少相互关联。

更重要的是，很少有企业部署了强大的描述性-预测性-指令性分析功能来整理这些数据，以及支持最高业务层面的决策过程。这些威胁数据并没有标准模式或者联系网络活动到资产或业务操作。因此，并没有决策支持系统可以支持数据挖掘活动来回答典型的描述性问题，例如“在过去六个月是什么对企业造成最大的伤害?”或者更成熟的问题，“我们的哪个技术投资具有最高的投资回报率，以及哪些技术投资带来负面影响，哪些可能会构成威胁?”

信息太多

企业如何清除这些噪音而获取真正的价值呢?通过遵循一个简单的公式即可。还记得我们在学校学过的勾股定理吗?a2 + b2 = c2?这是几何的基本定理。还有麦克斯韦方程?热力学第二定律?傅立叶变换?或者其中最有名的，爱因斯坦的相对论，E=mc2?这些公司帮助我们制造了太多信息，太多数据。这些公式同样带领我们到了现在的时代，雷达、电视、喷气式客机、电子邮件、互联网以及社交媒体。

输入一个简单的公式可以帮助获取有效的网络威胁情报而不只是收集威胁数据：

Risk Intelligence = (High-Level Threat Intelligence + Context) * Continuous Data Collection/Intuitive KPIs

威胁情报=(高级别威胁情报+背景知识内容)*连续数据采集/直观的KPI

诚然，这并不是“真正的”公式。但它确实提供了同样强大的功能。换句话说，它可以帮助企业消除数据噪音，让看似无关的数据带来真正价值，带来切实可行的解决方案。

在上面的公式中，我们可以将通过从各种来源收集和转译的低水平的威胁数据，转变为到分析师可以理解的高水平语言。通过存储这些数据并赋予其与你的企业、行业、技术相关的特定背景知识，以及威胁会如何影响你的企业，数据就可以进行分析。

从这个公式来看，简单的分析通常就能够产生需要的结果。使用传统的关键绩效指标(KPI)业务智能结构，企业可以使用这个公式创建简单而强大的分析。例如，在金融领域，典型的KPI包括利用率、利润对收益率、现金流、净乘法器和积压量。当随着时间的推移，这个过程会为业务领导产生重要的决策信息。

这种kPI的概念还可以用于网络数据。最后，它们也可以产生重要的价值信息，例如，特定安全投资的投资回报率或者企业是否有足够的安全人员来实现特定的安全目标。应用简单的威胁情报公式来处理原始威胁情报可以产生有用和有价值的结果。CDA数据分析师培训官网