京公网安备 11010802034615号
经营许可证编号:京B2-20210330
别让大数据成“大箩筐”
对于大数据标准研制在中国的发展情况,中国电子技术标准化研究院(以下简称电标院)近日发布的《大数据标准化白皮书》(以下简称白皮书)指出,全国信息技术标准化技术委员会(TC28)持续开展数据标准化工作,在元数据、数据库、数据建模、数据交换与管理等领域推动相关标准的研制与应用,为提升跨行业领域数据管理能力提供标准化支持。具体而言,全国信标委于2012年成立了非结构化数据管理标准工作组,对口ISO/IECJTC1SC32WG4。全国信标委云计算标准工作组目前正在开展大数据存储和分析应用的研究工作,旨在研究大数据存储和分析技术的应用分析、技术框架和标准研究等。全国信标委SOA分技术委员会负责面向服务的体系结构(SOA)、Web服务和中间件的专业标准化的技术归口工作,并协助全国信息技术标准化技术委员会承担国际标准化组织相应分技术委员会的国内归口工作。
另外,全国信息安全标准化委员会(TC260)是在信息安全技术专业领域内,从事信息安全标准化工作的技术工作组织。委员会负责组织开展国内信息安全有关的标准化技术工作,技术委员会主要工作范围包括:安全技术、安全机制、安全服务、安全管理、安全评估等领域的标准化技术工作。全国信安标委目前正开展大数据安全技术、产业和标准研究,为大数据的安全保障提供支撑。
呼吁设立标准工作组
现有标准适用于大数据,提供了一定基础,但缺乏整体规划,呼吁设立标准工作组。
在研究提出大数据技术框架的基础上,结合数据全周期管理,数据自身标准化特点,当前各领域推动大数据应用的初步实践,以及未来大数据发展的趋势,白皮书提出了大数据标准体系框架,即大数据标准体系由六个类别的标准组成,分别为:基础标准,数据处理标准,数据安全标准,数据质量标准,产品和平台标准及应用和服务标准。
通过对现有各类标准情况进行分析,白皮书认为,一方面,从技术标准上来看,大数据相关的技术标准具有一定的工作基础。在数据整理方面,我国已经研制的一些相关标准,同样适用于大数据环境,目前急需加强这类标准的推广应用;数据分析是大数据的特点和难点,标准较为缺乏;在数据访问方面,目前在研多项数据库、云数据存储和管理类标准,适用于大数据底层数据接口,但是尚缺乏数据导入、导出类标准;数据安全方面,部分现有标准适用,但是尚缺乏针对大数据的安全框架、隐私、访问控制类标准;数据质量是大数据应用和发展的基础,目前有多项在研标准,但是均尚未发布,较为缺乏。
另一方面,针对大数据产品和平台,目前在研多项数据库、非结构化数据管理产品类标准,尚无针对大数据可视化工具、数据处理平台的标准;在大数据环境下,数据也已成为产品,而针对开放数据集、数据服务平台等新兴产品和服务形态,尚缺乏相应的标准。
因此,针对大数据,我国在数据管理、云计算、信息安全等方面,已经发布和在研一些标准,适用于大数据环境,提供了一定的基础,但是缺乏标准化整体规划;数据分析、数据安全、数据质量管理等技术标准,数据处理平台、开放数据集、数据服务平台类新型产品和服务形态的标准较为缺乏,急需研制。
大数据标准化工作是支撑大数据产业发展和应用的重要基础。目前国际、国内大数据标准化工作都刚刚起步,白皮书建议尽快成立大数据标准化工作组,吸纳国内产学研用各方面的力量,国内、国际标准化工作同步发展,梳理国内各方面成果,系统地研究国际先进成果,适时参与国际标准化工作。建议加强大数据标准化顶层设计,从产品、技术、安全、管理、应用等多个角度梳理大数据标准需求,认真分析智慧城市、云计算、移动互联网等相关领域与大数据的关系,建立健全大数据标准体系,重点突破一批涉及大数据发展的基础性、方法性、公共性标准的研制,为大数据发展和应用夯实标准化基础。梅宏也呼吁,有必要设立大数据技术与应用标准工作组,整合各方力量从而形成合力,构建统一的大数据标准体系。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数字化运营中,“凭感觉做决策” 早已成为过去式 —— 运营指标作为业务增长的 “晴雨表” 与 “导航仪”,直接决定了运营动作 ...
2025-10-24在卷积神经网络(CNN)的训练中,“卷积层(Conv)后是否添加归一化(如 BN、LN)和激活函数(如 ReLU、GELU)” 是每个开发者都 ...
2025-10-24在数据决策链条中,“统计分析” 是挖掘数据规律的核心,“可视化” 是呈现规律的桥梁 ——CDA(Certified Data Analyst)数据分 ...
2025-10-24在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16