大数据 : 安全分析“架构”_数据分析师
根据ESG研究公司表示,44%的大型企业(即拥有超过1000名员工的企业)认为其安全数据收集和分析是“大数据[注]”应用,而另外44%认为其安全数据收集和分析将会在未来2年内成为“大数据”应用。此外,86%的企业正在收集比两年前“更多”或“略多”的安全数据。
这种增长趋势非常明显,大型企业正在收集、处理和保存越来越多的数据用于分析,他们使用来自IBM、Lancope、LogRhythm、Raytheon、RSA Security和Splunk等供应商的工具和服务从数据中获取可操作情报用于风险管理和事故预防/检测/响应。
最近,笔者与安全专家以及供应商围绕大数据安全分析进行了很多探讨,这些讨论往往专注于分析应用程序方面。有时候这些讨论会围绕于安全分析基础设施,例如Hadoop、HDFS、Pig和Mahout,有时候则围绕UI、可视化分析、应用程序整合等。
每个人都对大数据安全分析应用程序感兴趣,但几乎没有人会问大数据安全分析所需要的IT基础设施基础。其结果是,很多企业会受到打击,他们甚至无法收集他们想要分析的安全数据。
收集和处理千兆或兆兆字节的安全数据需要对大数据安全分析管道进行一些规划和部署,包括如下:
· 数据包捕捉设备。这些设备包括来自Cavium、Emulex和Solarflare等供应商的高性能智能NIC卡,磁盘驱动器,以及来自Wireshark等供应商的PCAP软件,它们整合在一起作为数据包捕捉设备。这些设备需要足够快以捕捉和处理数据包,用于分析引擎的分类。PCAP硬件设备将出现在整个网络的关键连接点,而虚拟PCAP设备能够支持服务器虚拟化和云计算[注]平台。
· 分析分布网络。数据包捕捉设备收集和处理数据,但数据仍然需要接近实时地在多个分析引擎移动。这正是分析分布网络的工作,这种系统包括来自Anue、Apcon、BitTap、Gigamon、Netscout和Riverbed等供应商的设备。在某些情况下,分析分布网络将补充数据包捕捉设备,在其他情况下,分析分布网络将提供轻量级PCAP功能。(请注意,用来描述这个的行业术语是“网络数据包代理设备”,但笔者认为这太以设备为中心,所以换了名称。)
· SDN[注]。SDN可编程控制平面很可能会成为穷人的分析分布网络,但SDN不会很快就抢占分配网络设备的地位。SDN将会成为分析基础设施的一部分,补充PCAP和分析分布网络功能。SDN和分析分布网络整合给网络数据捕捉和分析引擎带来了强大的连接性。
· 分析中间件。在很多情况下,每个分析工具收集、处理和路由其自己的数据。虽然这是可行的,但这带来了很大的冗余性、资本成本和运营开销。这里需要的是某种类型的基于标准的中间件,以进行消息队列或发布和订阅。例如,RSA Security公司使用开源RabiitMQ作为其分析引擎之间的中间件。
从架构的角度来看,企业可以采用分层的方法来部署大数据安全分析,其中分析引擎从管道中抽象出来,但可以很容易地用来定制化安全数据收集、处理和分布。这能让首席信息官[注]、首席信息安全官和网络工程师来调整期基础设施、流程和分析引擎,满足其具体的企业和行业要求,以及管理资本和运营成本。
这里有一个很明确的教训:你不能通过简单地连接每个分析引擎到span端口来收集、处理和路由安全数据。为了避免这种情况,首席信息官、首席信息安全官和网络工程师需要通过适当的管道为大数据安全分析调整其计划。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14