京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据来袭 企业如何保护非结构化大数据
目前企业已经进入全新的大数据时代。在高带宽、移动的、网络环境中工作和生活的我们,会产生大量的数据,这些都成为大数据的来源,而这些信息很少存在于同一个地方。在几微秒中,信息就能够发布给世界各地的很多人。企业的高管门(包括CEO、CIO、CSO等)都必须面对因为大数据带来的风险和安全挑战,并规划好如何去应对他们。本文将讨论如何看待非结构化数据相对于传统的结构化数据带来的安全风险和挑战以及多层面防护方法。
识别非结构化数据与结构化数据安全保护的差异
信息通常被归类为结构化形式的或非结构化形式的。不同的类型有不同的保护方法。举个例子来说,非结构化的Excel电子数据表实际上包含结构化的数据。在经典的术语中,结构化的数据是指数据符合某种严格的数据模型和限制的模型。比如,模型可以定义一个业务流程控制信息流经过一些面向服务的架构(SOA)系统,或者也可定义数据如何在内存的一个数组中存储。但是对于大多数IT和数据库管理专家来说,结构化数据是驻留在数据库中,并基于数据库架构和相关数据库规则被组织的信息。而作为一个安全专家来说,这就意味着两个重要的事情:
数据库驻留在数据中心,周围是物理安全设施(包括砖墙、金属柜子等)、网络防火墙和其他安全措施,允许你能够控制对数据的访问。
数据本身的结构化方式通常允许对数据的简单分类。举个例子,你能在数据库中识别一个特定的人的医疗记录和应用相应的安全控制。
所以,因为你知道结构化数据是什么样的以及它驻留在哪里,你有严格的控制机制来决定谁能访问它。对于结构化数据定义和应用安全控制相对简单,要么使用结构内置的特性或者专门为特定结构设计的第三方工具即可完成控制。
而在相比之下,非结构化数据的管理和安全更加困难。非结构化数据能在任何地方、以任何格式、在任何设备上存在,并且在大数据时代能够跨越任何网络。举个例子说明非结构化数据的应用复杂性,一个病人的记录从数据库中被提取出来显示在一个网页上,从网页拷贝到数据表格中,附在电子邮件中,然后发送到另外一个网络的邮箱中。
并且,非结构化的数据没有严格的格式。当然,我们的Word文档,电子邮件等符合定义它们内部结构的标准;然而,它们其中包含的数据几乎没有限制。比如上面列举的那个病人记录的例子,假设一个用户改变内容后把它从网页上拷贝到数据表格中,可能删除了某些字段和标题。因为这个信息从一种格式转变成了另外一种格式,它原始的机构被有效的改变了。
保护存储成结构化的数据和信息是相对简单的。但是随着一个信息从结构化的形式移转变为非结构化的时候,这个情况就会变得非常的复杂。考虑这样一个例子,很多分析人士的报告表明在当前的企业组织中,80%或者超过80%的电子信息是非结构化的,还有非结构化数据增长的速度是结构化数据的10到20倍。也考虑一下媒体上的新闻文章不断强调知识产权的窃取、信息的意外丢失、数据的恶意使用等,最核心的问题就是非结构化的数据。在2010年,全球总的非结构化的数据估计大概有100万PB(1048576000000GB),被认为将以每年25%的速度增加。我们显然需要去理解我们如何保护非结构化数据的安全。
非结构化数据需安全保护的“三态”
非结构化的数据在任何给定的时间总是处在三种状态中的一种:非使用、传输中、使用中。非使用也就是在存储设备中;它可能在传输中意味着它从一个地方被拷贝到另一个地方。或者,它可能在使用中(被一些应用程序打开着)。比如一个PDF文件,它可能存储在一个USB设备上,不在使用状态;同一个PDF文件可能从USB设备拷贝,并附在电子邮件中发送到因特网上。PDF从USB设备上被拷贝,通过很多州到电子邮件服务器,通过网络从发件箱到收件箱。最后,收件人收到邮件并打开PDF文件,在那个时刻非结构化数据处于使用状态(驻留在内存中),在一个应用程序的控制下(例如Adobe Reader阅读器),并被呈现给可以交互的用户。
结构化数据转化为非结构化数据带来风险
基于上面三种状态的描述,可以更加详细地讨论目前对保护非结构化数据的挑战。假设企业组织有一个HR的应用程序,它包括一个维护每个员工信息的数据库,包括他们的年度工资、以前的纪律处分信息、个人数据(例如家庭地址和社会安全号码)等。如同大多数现代的HR应用程序一样,它是基于网页的,所以当一个认证的用户运行一个报表的时候,报表是从结构化的数据库过渡到非结构化的数据,以HTML的格式传递给网页浏览器。用户应用程序能够很容易从浏览器的拷贝和粘贴这个信息到电子邮箱信息和通过其他方式转发。当这个信息一旦添加到邮件正文中,它失去了与原始的应用程序所有结构和关联。用户可能也会选择只拷贝和粘贴一部分信息,更改一部分信息,或者在原始的信息中添加一些新的内容。收到用户发的电子邮件的人可能会拷贝和粘贴数据到电子表格。这些电子表格信息可能被用来创建一个图示的信息,使用的原始的一些文本信息在图形上作为标签。如同这个情况所示,结构化信息很快就被三种状态的改变而转化成了非结构化数据,这些结构化数据从以前的数据库中改变并重构、存储在较小的数据格式中,它们包括电子邮件,文档,图片,视频等等。
企业可能已经很好的定义了安全模型去控制访问HR的应用程序和包含HR信息的数据库。然而,信息需要传递给对有意义的人们或者应用程序。如果它通过网络传输了,企业和用户能确定访问网络是安全的,然而,当信息到达用户时,它能够被转换成数千种不同的格式,发送给各种各样的应用程序和网络。每个信息存在的地方能够有保护的,它可能应用访问控制对共享文件和控制对数据驻留(内容)的地方和网络的访问;然而,你的非结构化信息可能在任何地方被终结,因此很难对它保护。事实上,甚至很难对它定位、识别和分类信息。一旦HR的数据终结在电子邮件中,意外的转发给错误的人,它就没有存储在数据库原始数据的良好结构了。它在从数据库到一个未授权的用户的收件箱的传输过程中,也被复制了好几次。
事实上,在大数据时代,非结构化的数据不断的发生变化,数据终结在你没有预期的地方,特别是因特网提供了一个令人难以置信的由擅长传输非结构化数据的计算机组成的大型网络。大量的金钱和精力投入到去建设社交网络(SNS),文件共享和协助服务,点对点的应用。点对点提供了无数种将非结构化数据在几秒钟内发布给数十亿的用户。所以我们经常听到关于数据丢失的例子就不足为奇,现在我们创造了这么多令人惊讶的方法允许信息简单的离开我们保护的边界,我们的网络控制用来阻止攻击者范围受我们保护的数据不再足以让它安全了。
因此,企业高层管理者要充分意识到大数据时代非结构化数据带来的安全风险和冲击,并提前准备好相应的措施来应对它。
多层面数据防泄露保护非结构化数据
非结构化数据通常需要以如下几种方式进行泄露管控:
针对以上需要,可以应用数据防泄露进行有效的防控。数据防泄露(也称DLP)指的是一个相对较新的一组技术设计去监控,发现和保护数据。你可能还听到这种技术成为数据泄露防护—有时它也称为“保护”这个词代替“防护”。在任何情况下,DLP像一个你“数据的防火墙”。有各种各样DLP的解决方案在市场上,通常能够使用如下三种类型来分别在不同的层面保护非结构化数据:
网络DLP 通常一个网络应用程序在主要的网络周围(大多数情况是在企业的组织网络和互联网之间)作为一个网关。网络DLP监控通过网关的流量试图去探测敏感的数据或者做点相关的事情,通常会阻止它离开网络。
存储DLP软件要么运行在一个应用程序上或者直接在文件服务器上,执行像网路DLP一样的功能。存储DLP扫描存储系统去发现敏感数据。当找到的时候,它可以删掉它,把它隔离或者简单的通知管理员。
终端的DLP软件运行在终端系统上监控操作系统活动和应用程序,观察内存和网络流量去探测敏感信息不恰当的使用。
并且,网络、存储和终端的DLP经常一起使用作为一个综合DLP解决方案去满足非结构数据的安全管控需求。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在机器学习建模中,决策树模型因其结构直观、易于理解、无需复杂数据预处理等优势,成为分类与回归任务的首选工具之一。而变量重 ...
2026-03-17在数据分析中,卡方检验是一类基于卡方分布的假设检验方法,核心用于分析分类变量之间的关联关系或实际观测分布与理论期望分布的 ...
2026-03-17在数字化转型的浪潮中,企业积累的数据日益庞大且分散——用户数据散落在注册系统、APP日志、客服记录中,订单数据分散在交易平 ...
2026-03-17在数字化时代,数据分析已成为企业决策、业务优化、增长突破的核心支撑,从数据仓库搭建(如维度表与事实表的设计)、数据采集清 ...
2026-03-16在数据仓库建设、数据分析(尤其是用户行为分析、业务指标分析)的实践中,维度表与事实表是两大核心组件,二者相互依存、缺一不 ...
2026-03-16数据是CDA(Certified Data Analyst)数据分析师开展一切工作的核心载体,而数据读取作为数据生命周期的关键环节,是连接原始数 ...
2026-03-16在用户行为分析实践中,很多从业者会陷入一个核心误区:过度关注“当前数据的分析结果”,却忽视了结果的“泛化能力”——即分析 ...
2026-03-13在数字经济时代,用户的每一次点击、浏览、停留、转化,都在传递着真实的需求信号。用户行为分析,本质上是通过收集、整理、挖掘 ...
2026-03-13在金融、零售、互联网等数据密集型行业,量化策略已成为企业挖掘商业价值、提升决策效率、控制经营风险的核心工具。而CDA(Certi ...
2026-03-13在机器学习建模体系中,随机森林作为集成学习的经典算法,凭借高精度、抗过拟合、适配多场景、可解释性强的核心优势,成为分类、 ...
2026-03-12在机器学习建模过程中,“哪些特征对预测结果影响最大?”“如何筛选核心特征、剔除冗余信息?”是从业者最常面临的核心问题。随 ...
2026-03-12在数字化转型深度渗透的今天,企业管理已从“经验驱动”全面转向“数据驱动”,数据思维成为企业高质量发展的核心竞争力,而CDA ...
2026-03-12在数字经济飞速发展的今天,数据分析已从“辅助工具”升级为“核心竞争力”,渗透到商业、科技、民生、金融等各个领域。无论是全 ...
2026-03-11上市公司财务报表是反映企业经营状况、盈利能力、偿债能力的核心数据载体,是投资者决策、研究者分析、从业者复盘的重要依据。16 ...
2026-03-11数字化浪潮下,数据已成为企业生存发展的核心资产,而数据思维,正是CDA(Certified Data Analyst)数据分析师解锁数据价值、赋 ...
2026-03-11线性回归是数据分析中最常用的预测与关联分析方法,广泛应用于销售额预测、风险评估、趋势分析等场景(如前文销售额预测中的多元 ...
2026-03-10在SQL Server安装与配置的实操中,“服务名无效”是最令初学者头疼的高频问题之一。无论是在命令行执行net start启动服务、通过S ...
2026-03-10在数据驱动业务的当下,CDA(Certified Data Analyst)数据分析师的核心价值,不仅在于解读数据,更在于搭建一套科学、可落地的 ...
2026-03-10在企业经营决策中,销售额预测是核心环节之一——无论是库存备货、营销预算制定、产能规划,还是战略布局,都需要基于精准的销售 ...
2026-03-09金融数据分析的核心价值,是通过挖掘数据规律、识别风险、捕捉机会,为投资决策、风险控制、业务优化提供精准支撑——而这一切的 ...
2026-03-09