大数据面临的问题：数据是否需要共享

在这个大数据时代，数据带来的难题可真不少，比如，一个企业重要的资产中包括一些特殊的数据，那么就会遇到一个问题，企业是否应该与合作伙伴和供应商共享这些数据，还是应该保留其专有权?

在有关Facebook公司宽松的数据共享政策和欧盟实施通用数据保护条例(GDPR)之间，很多人都在谈论数据隐私和消费者权利。那么作为Facebook或Google等公司的消费者，应该分享多少数据呢?

那么对于企业呢?

企业可能正在处理自己的数据隐私难题，他们应该与合作伙伴、供应商还是与其他组织共享公司数据吗?如果是这样，可以分享哪些数据，以及它们应该保留为私有和专有的数据?毕竟，数据是新的石油。亚马逊、Facebook和谷歌都通过收集和利用数据建立了价值数十亿美元的公司。

虽然数据是公司可能拥有的顶级资产之一，但也可能有令人信服的理由来共享数据。例如，如果行业前沿的癌症中心分享他们每个人收集的数据，它们可能会加速并促进社会治愈癌症的努力。但与竞争对手分享也可能影响他们在市场上的竞争优势。

组织也可能正在考虑参与供应商计划，例如SAP公司正在开发的名为Data Intelligence的计划，该计划将匿名化企业客户数据，并允许这些客户将自己与其他市场进行对比。

“人们意识到他们所拥有的数据具有一定的价值，无论是出于内部目的还是出售给数据合作伙伴，这都会让他们更加意识到他们如何匿名共享数据。”SAP公司MikeFlannagan表示。就他们如何看待数据而言，不同的公司处于不同的成熟水平。

即使企业共享匿名数据以便训练算法，问题仍然是企业在共享匿名数据资产时是否放弃竞争优势。组织需要小心。

“数据非常有价值。”Databricks公司的联合创始人兼首席执行官，加州大学伯克利分校的兼职教授AliGhodsi表示。根据Ghodsi的经验，组织不希望共享他们的数据，但他们愿意出售对它的访问权限。例如，组织可能会在有限的时间段内出售对特定数据集的有限访问权限。

Ghodsi说，数据聚合器是通过抓取网络来创建销售数据集的公司。

Ghodsi说，有些传统的公司可能有数年或数十年的数据尚未暴露于应用人工智能和机器学习，而这些公司可能希望使用这些巨大的数据集获得竞争优势。例如，任何拥有大量会员卡的零售商都可能拥有10年或20年的汇总数据。

在Ghodsi的经验中，组织需要更多数据，但他们不愿意分享，有时甚至在他们自己的组织内也不分享。在许多组织中，IT团队控制着对数据的访问，并且可能不愿意对业务线领域的数据科学家的所有请求进行响应。这是2017年12月由Ghodsi和加州大学伯克利分校的其他研究人员共同撰写的题材之一，主题为“伯克利人工智能系统挑战观点”。Ghodsi表示，该小组正在进行研究，以寻找激励企业公司分享更多数据的方法。其中一种方法是模型本身，而机器学习模型是对所有数据的非常紧凑的总结。

Ghodsi说，“例如，我们拥有世界上所有癌症的大量数据集，可以创建一个机器学习模型。它可以预测肺部癌症的可能性、它们的健康状况、癌症的风险。但仍然没有分享所拥有的所有X射线数据，而且不打算对外你分享。”

Ghodsi说，现在正在开始这种分享。谷歌公司已经发布了许多用于分类图像的模型。

另一种方法称为转移学习，Ghodsi说在Databricks公司启用了一种方法。Ghodsi说，这个工作通过将现有模型与新模型相结合，允许企业通过利用新数据获得新价值。

另一种分享研究数据价值同时保留企业对该数据的私人访问权限的方法是通过联合机器学习。这是Owkin公司使用的技术之一，Owkin公司是一家帮助癌症研究中心加速其研究效益的创业公司。

“在学习中，企业可能将数据留在边缘设备上。”ClouderaFastForwardLabs的数据科学家FriederikeSchuur表示。谷歌公司在博客中解释了它的工作原理：“企业的设备会下载当前模型，通过学习手机上的数据来改进它，然后将更改汇总为集中更新。只有模型的此更新才会发送到云端，使用加密通信，在其中立即与其他用户更新进行优化，以改善共享模型。所有培训数据都保留在设备上，并且云中不会存储任何单独的更新。”

通过这种方式，组织可以为社区的研究工作做出贡献，但不会在此过程中泄露他们的数据。

转移学习和联合学习等创新可以帮助解决医疗保健公司分享数据的问题。数据治理服务商Immuta公司的联合创始人兼首席执行官Matthew Carroll表示，在数据共享方面，医疗公司已经看到了很多关注。

他说，“他们害怕将数据提供给其他人，他们很清清楚楚这是未开发的财富，是未来的企业收入。”

对于初创公司而言，这种恐惧也可能转化为其他后果。例如，如果价值被认为是数据本身，投资公司是否会向分享其数据的公司提供资金?

Schuur说，每家公司都需要自己仔细决定分享内容。“如果是癌症研究，人们应该有更多的数据共享。”

但是组织应该非常小心他们分享的内容以及如何分享。