大数据面临的问题:数据是否需要共享
在这个大数据时代,数据带来的难题可真不少,比如,一个企业重要的资产中包括一些特殊的数据,那么就会遇到一个问题,企业是否应该与合作伙伴和供应商共享这些数据,还是应该保留其专有权?
在有关Facebook公司宽松的数据共享政策和欧盟实施通用数据保护条例(GDPR)之间,很多人都在谈论数据隐私和消费者权利。那么作为Facebook或Google等公司的消费者,应该分享多少数据呢?
那么对于企业呢?
企业可能正在处理自己的数据隐私难题,他们应该与合作伙伴、供应商还是与其他组织共享公司数据吗?如果是这样,可以分享哪些数据,以及它们应该保留为私有和专有的数据?毕竟,数据是新的石油。亚马逊、Facebook和谷歌都通过收集和利用数据建立了价值数十亿美元的公司。
虽然数据是公司可能拥有的顶级资产之一,但也可能有令人信服的理由来共享数据。例如,如果行业前沿的癌症中心分享他们每个人收集的数据,它们可能会加速并促进社会治愈癌症的努力。但与竞争对手分享也可能影响他们在市场上的竞争优势。
组织也可能正在考虑参与供应商计划,例如SAP公司正在开发的名为Data Intelligence的计划,该计划将匿名化企业客户数据,并允许这些客户将自己与其他市场进行对比。
“人们意识到他们所拥有的数据具有一定的价值,无论是出于内部目的还是出售给数据合作伙伴,这都会让他们更加意识到他们如何匿名共享数据。”SAP公司MikeFlannagan表示。就他们如何看待数据而言,不同的公司处于不同的成熟水平。
即使企业共享匿名数据以便训练算法,问题仍然是企业在共享匿名数据资产时是否放弃竞争优势。组织需要小心。
“数据非常有价值。”Databricks公司的联合创始人兼首席执行官,加州大学伯克利分校的兼职教授AliGhodsi表示。根据Ghodsi的经验,组织不希望共享他们的数据,但他们愿意出售对它的访问权限。例如,组织可能会在有限的时间段内出售对特定数据集的有限访问权限。
Ghodsi说,数据聚合器是通过抓取网络来创建销售数据集的公司。
Ghodsi说,有些传统的公司可能有数年或数十年的数据尚未暴露于应用人工智能和机器学习,而这些公司可能希望使用这些巨大的数据集获得竞争优势。例如,任何拥有大量会员卡的零售商都可能拥有10年或20年的汇总数据。
在Ghodsi的经验中,组织需要更多数据,但他们不愿意分享,有时甚至在他们自己的组织内也不分享。在许多组织中,IT团队控制着对数据的访问,并且可能不愿意对业务线领域的数据科学家的所有请求进行响应。这是2017年12月由Ghodsi和加州大学伯克利分校的其他研究人员共同撰写的题材之一,主题为“伯克利人工智能系统挑战观点”。Ghodsi表示,该小组正在进行研究,以寻找激励企业公司分享更多数据的方法。其中一种方法是模型本身,而机器学习模型是对所有数据的非常紧凑的总结。
Ghodsi说,“例如,我们拥有世界上所有癌症的大量数据集,可以创建一个机器学习模型。它可以预测肺部癌症的可能性、它们的健康状况、癌症的风险。但仍然没有分享所拥有的所有X射线数据,而且不打算对外你分享。”
Ghodsi说,现在正在开始这种分享。谷歌公司已经发布了许多用于分类图像的模型。
另一种方法称为转移学习,Ghodsi说在Databricks公司启用了一种方法。Ghodsi说,这个工作通过将现有模型与新模型相结合,允许企业通过利用新数据获得新价值。
另一种分享研究数据价值同时保留企业对该数据的私人访问权限的方法是通过联合机器学习。这是Owkin公司使用的技术之一,Owkin公司是一家帮助癌症研究中心加速其研究效益的创业公司。
“在学习中,企业可能将数据留在边缘设备上。”ClouderaFastForwardLabs的数据科学家FriederikeSchuur表示。谷歌公司在博客中解释了它的工作原理:“企业的设备会下载当前模型,通过学习手机上的数据来改进它,然后将更改汇总为集中更新。只有模型的此更新才会发送到云端,使用加密通信,在其中立即与其他用户更新进行优化,以改善共享模型。所有培训数据都保留在设备上,并且云中不会存储任何单独的更新。”
通过这种方式,组织可以为社区的研究工作做出贡献,但不会在此过程中泄露他们的数据。
转移学习和联合学习等创新可以帮助解决医疗保健公司分享数据的问题。数据治理服务商Immuta公司的联合创始人兼首席执行官Matthew Carroll表示,在数据共享方面,医疗公司已经看到了很多关注。
他说,“他们害怕将数据提供给其他人,他们很清清楚楚这是未开发的财富,是未来的企业收入。”
对于初创公司而言,这种恐惧也可能转化为其他后果。例如,如果价值被认为是数据本身,投资公司是否会向分享其数据的公司提供资金?
Schuur说,每家公司都需要自己仔细决定分享内容。“如果是癌症研究,人们应该有更多的数据共享。”
但是组织应该非常小心他们分享的内容以及如何分享。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14