京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据流通仍在“以物易物”_数据分析师
一个新兴产业发展到一定阶段,就很自然地会呼唤规则和标准。大数据亦不例外。
“一开始大家都想制定标准,但随着研究深入,我们发现,大数据产业距离较系统的标准出现,应该还有很长一段距离。”12月3日,工信部电信研究院互联网中心主任何宝宏在接受21世纪经济报道记者采访时表示。
何宝宏认为,打个比方来说,大数据处于原始社会阶段:没有数据贸易,没有通用的数据交易规则、交易平台、定价标准,甚至也没有数据的描述语言。现在刚刚出现最基础的“以物易物”,也就是两家公司最基础的、无公开规则的“点对点”数据交换。
“还在找原始共识”
《21世纪》:大数据标准制定一直是业界关注的问题,你能否介绍下目前大数据标准的进展情况?
何宝宏:标准,其实是由很多被广为认可的规范、共识形成的。大数据,还处于找共识的阶段,而且还是在找最原始的一些基本共识。
最初大家对大数据的概念都很模糊,可以说没有任何共识。大约两年前,企业大数据形成了第一个共识:数据是一种资产。这应该算是大数据在规范中迈出的第一步。而资产的价值在于流通,接下来,大家意识到:数据要发挥更大价值就必须流通、跨界,形成然后数据贸易。然而,贸易基于市场需求,贸易需要规则的支撑。
在探索大数据标准的时候,我们不得不一步步退到最基础、原始的状态去考虑。
最先被提出来的问题是:大数据的商业模式不清楚,没办法明确市场。然后是大数据无法定价,数据所有权不清楚,在讨论这个问题的时候,大家又发现:原来企业与企业之间都没有通用的数据描述方法。你描述自己的数据,别人听不懂这个数据有什么价值,别人讲自己的数据需求,你也不知道对应的是哪些数据。
比如同样是对一个人身份的描述数据,A企业的描述办法与B企业就可能完全不同。如果银行、运营商、电商同时提供同一个用户的数据,但这个用户的金融数据、电信消费行为数据、互联网消费数据等,可能根本就无法匹配,也就谈不上交换。
所以,我们只能再退回去,寻找数据、需求描述的通用语。每次深入研究,大家就后退一步,当然是为了更好地前进一步。可以说,整个标准的研究过程,是一个扎扎实实的后退、寻找最原始东西的过程,从而不断前进的过程。
《21世纪》:如果把现在这种原始状态定义为一个阶段,在这个阶段应该形成的标准是什么?或者说计划取得哪些成果?
何宝宏:现在的大数据有点像原始社会的“以物易物”阶段,大多发生在企业的点对点交易,都是把数据进行统计性的加工处理,然后互换,数据现在还没有形成产品,也没有出现稳定的交易形态和定价模式。
企业需要想办法去描述自己有什么数据,需要什么数据,就像“我有一头牛”、“我需要一只羊”。但现实是,很可能你描述的“牛”别人根本不知道是什么。通过企业点对点的交易,我们希望能找到“通用语”,企业之间也就是数据、需求的表述方法。
然后建立一个交流平台,大家都在这个平台上发布自己有什么数据,描述这些数据的价值是什么,未必交易,就像是资产的公示。同样,这个平台上,企业也可以发布自己对数据的需求。
至于定价和交易规则,都应该是这个平台建立之后的事。在这些基础上,不断丰富不同领域、不同行业、不同商品属性的共识。
应建设数据交流平台
《21世纪》:目前企业愿意在这个平台上展示自己的数据么?可能一些企业更想寻找需求,而非展示自己的数据,都想保密。
何宝宏:发布需求,也需要先寻找通用语,也需要先建立平台。
无论企业如何探索自己的商业模式,有一点是大家都认同的:大数据市场,必须先形成规范。这是开展标准的基础,我们会在这个基础之上,形成更多企业、行业、更多领域的共识。
《21世纪》:目前企业之间的数据交换细节是否清楚?有哪些做得比较好的案例?
何宝宏:交换都是私下进行的,我们也不了解细节,但形成了哪些共识,这个是可以知道的。
做得比较好的是广告联盟。因为互联网生存的基础就是广告,很多年前就开始进行交换数据,有目的性地做了一些数据交换的工作,但也只是特定目的数据的交换,只适用于广告这个行业。当然,交换的不是原始数据,而是统计和处理后的。
《21世纪》:国外诸如芝加哥等城市建设了详尽的政府数据开放平台。国内做得怎么样?政府数据开放是否更容易形成规范?
何宝宏:企业数据属于市场资源,是商业活动中产生的,最后也必然要形成交易。但政府数据属于公众资源,是纳税人的资源,应该开放,而且是免费向全社会开放。
国内的很多政府部门的不少数据都是开放的,不过目前开放的效率不是很高。我们正在推动一些政府部门打造高效的数据开放平台,规范数据开放的工具、格式,方便机器可读,方便用户使用。
政府数据开放之后,也有利于大数据产业的研究,进而推动企业数据市场的标准、法律法规的完善。
“卖原始数据”是一锤子买卖
《21世纪》:现在的数据交换会涉及到用户隐私泄露么?
何宝宏:不会。企业都只会把原始数据加工处理,不会让对方看到用户原始信息。能够交易的是统计的结果,肯定不是原始数据,这也算是一种共识了。
《21世纪》:企业都强调把保护用户隐私放在首位,但怎样在用户面前更有说服力?
何宝宏:其实,你应该换个角度来想。如果你手里有一些很值钱的数据,你愿意直接卖掉这些数据么?肯定会先处理的吧,原始数据只能卖一次。但把数据留着自己手里,只交易统计结果,这样原始数据就能持续产生价值。用户原始数据,肯定是企业的核心,没有哪个企业会做“卖原始数据”这种一锤子买卖。
从利益角度来讲,用户不用担心,大企业会想方设法保护自己的核心价值和声誉的。
《21世纪》:目前有没有关于用户隐私的法律、法规?大数据时代是否需要重新考虑这个问题?
何宝宏:2013年通过了《电信和互联网用户个人信息保护规定》。这里规定了用户个人信息的范畴,包括姓名、出生日期、身份证件号码、住址、电话号码、账号和密码,以及使用服务的时间、地点等信息。并且规定了信息收集规范、安全保障措施、监督检查、以及法律责任。
不过,应该说该规定还不太适应大数据的发展需求,可能需要完善、调整。比如,目前规定的焦点是信息采集,规定哪些数据涉及隐私不许采集,什么情况下不允许采集,限制企业采集用户的电话号码等个人信息,并没有规范数据的使用方式。但在大数据时代,只关注信息采集是不够的。因为你不知道企业拿这些数据干什么。
现在的规定通过几十个限制条款,限制企业泄露用户的隐私数据。但是,随着大数据发展,用户隐私环境会越来越复杂、多样,描述一个人可能有上千个维度,立法能把这上千个维度都禁止了么?你禁止了100个,通过另外900个仍然可以精确描出用户画像。
如果把所有的维度都禁止了,那最后允许采集的数据会越来越少,企业也就没有资产了,更谈不上大数据市场了。限制数据的采集,最终也会限制大数据的发展,限制使用目的是关键。
《21世纪》:有没有什么调整的方案?
何宝宏:其实,大数据时代,隐私已经成为一个相对的概念。
用户访问互联网时,每天都会留下大量用户隐私。应该说目前行业内对大数据隐私的研究都还十分表面,跟行业需求是脱节的。世界经济论坛以前提过一个说法,或许更可行:应该允许信息的采集,但要严格用户信息的存储安全、使用规范。
《21世纪》:是不是国外的标准规范会更成熟一些?比如欧美国家?
何宝宏:确切来说,欧洲没有数据交易市场,欧洲的大数据发展很慢。
事实上,欧洲在计算机时代之前就已经有隐私立法,后来还设立了严格的数据保护法。这些立法最早肯定也是源于市场需求,但大数据时代,立法并没能与时代一同发展,反而滞后于市场需求,严重限制了欧洲的大数据发展。
从另一个角度也可以说,在大数据时代,我们的机会非常大
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 MySQL 实际应用中,“频繁写入同一表” 是常见场景 —— 如实时日志存储(用户操作日志、系统运行日志)、高频交易记录(支付 ...
2025-10-30为帮助教育工作者、研究者科学分析 “班级规模” 与 “平均成绩” 的关联关系,我将从相关系数的核心定义与类型切入,详解 “数 ...
2025-10-30对 CDA(Certified Data Analyst)数据分析师而言,“相关系数” 不是简单的数字计算,而是 “从业务问题出发,量化变量间关联强 ...
2025-10-30在构建前向神经网络(Feedforward Neural Network,简称 FNN)时,“隐藏层数目设多少?每个隐藏层该放多少个神经元?” 是每个 ...
2025-10-29这个问题切中了 Excel 用户的常见困惑 —— 将 “数据可视化工具” 与 “数据挖掘算法” 的功能边界混淆。核心结论是:Excel 透 ...
2025-10-29在 CDA(Certified Data Analyst)数据分析师的工作中,“多组数据差异验证” 是高频需求 —— 例如 “3 家门店的销售额是否有显 ...
2025-10-29在数据分析中,“正态分布” 是许多统计方法(如 t 检验、方差分析、线性回归)的核心假设 —— 数据符合正态分布时,统计检验的 ...
2025-10-28箱线图(Box Plot)作为展示数据分布的核心统计图表,能直观呈现数据的中位数、四分位数、离散程度与异常值,是质量控制、实验分 ...
2025-10-28在 CDA(Certified Data Analyst)数据分析师的工作中,“分类变量关联分析” 是高频需求 —— 例如 “用户性别是否影响支付方式 ...
2025-10-28在数据可视化领域,单一图表往往难以承载多维度信息 —— 力导向图擅长展现节点间的关联结构与空间分布,却无法直观呈现 “流量 ...
2025-10-27这个问题问到了 Tableau 中两个核心行级函数的经典组合,理解它能帮你快速实现 “相对位置占比” 的分析需求。“index ()/size ( ...
2025-10-27对 CDA(Certified Data Analyst)数据分析师而言,“假设检验” 绝非 “套用统计公式的机械操作”,而是 “将模糊的业务猜想转 ...
2025-10-27在数字化运营中,“凭感觉做决策” 早已成为过去式 —— 运营指标作为业务增长的 “晴雨表” 与 “导航仪”,直接决定了运营动作 ...
2025-10-24在卷积神经网络(CNN)的训练中,“卷积层(Conv)后是否添加归一化(如 BN、LN)和激活函数(如 ReLU、GELU)” 是每个开发者都 ...
2025-10-24在数据决策链条中,“统计分析” 是挖掘数据规律的核心,“可视化” 是呈现规律的桥梁 ——CDA(Certified Data Analyst)数据分 ...
2025-10-24在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22