京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据会带来越来越细的标准_数据分析师
我们经常谈大数据,什么是大数据呢?大数据首先它体积非常大,有各种各样的数据,另外还有非常复杂,还包括数据传输的速度。在2000年的时候,我们的因特网的大小规模大概21Tb,用现在的技术,放在四页A4纸上就能储存下来。2012年,这个数据达到了2.1个Zb,如果把地球上所有海滩的沙粒放在一起的话,数量就相当于2.1Zb。
从过去到今天,进步很快,大家都知道生日卡,这种技术在二战时候开始流行。后来我们发明了手机,手机里面有电脑的成分来做这个功能,现在手机的功能比美国宇航局探索月球的时候使用的计算机还要强。现在我们普通的电脑功能比以前强大很多,所以我们现在的计算能力比以前强大了很多。
在中国每天有13万新人用互联网,到2016年,使用互联网的人会越来越多。另外如何使用大数据,会影响到我们思考生活和工作的方式。比如说我们的一些新的技术,新的技术可以收集储存数据,并且把它用在新的用途上进行分析。我们会有新的知识,因为更多的个人行为都可以变成数据。这些数据可以在网上进行交流,可以在大学里面使用因特网进行远程的教育。
大的数据会影响到我们现在解决问题、看待问题和处理信息的能力,另外也会有新的挑战。大数据有一些不完美的地方。如何来将计算和人的本能判断进行均衡?另外你的个人的隐私和信息的安全,从这个方面你要考虑到这些新的挑战。
现在我们经常是生产很多产品,然后把它放到亚马逊或者其它一些网上平台上,如果说你预测做的好的话,你就可以知道如何来最大程度地减少库存。市场有一个需求,你进行设计,进行定制。其次要将商店与你的办公场所结合起来,这样的话每个人都可以很好地进行交流。另外就是营销和投资决定的时候也需要使用数据分析。
我们都需要大数据帮助我们进行研究设计,进行好的生产供应和服务。这也就意味着我们需要对数据进行探索挖掘和分析,这样连结和优化产品价值链,提供适时的信息,更好地进行改建,同时也可以改善工厂的生产质量,增加透明度,在我们的生产销售各个环节进行连结。最终减少待机的时间,减少库存,减少废料。我们产品的质量会更高,并且消费者他们的满意度也会更高。
工业革命是什么意思呢?首先是工厂的自动化,然后使用工艺,工艺制造的更加自动化,更加有效率,然后联网。另外就是使用机器人、物流,还有横向地和纵向地整合。关于机器人,我们可以对它进行更好地控制。这就需要电脑的作用,因为机器人本身不会,我们需要用电脑来控制它们,用电脑让它们去做。另外我们有些老年人在家里,可以有一些智能的方式来帮助他们,比如说他们可以在窗户外面放一个信号,然后机器人就可以发现,根据人的需求来提供必要的服务。
这也就意味着我们需要进行整合,整合也是工业革命的核心。首先是横向的整合,我们需要有这个生命周期的整合。另外有纵向的整合,需要有很高的弹性,对订单的处理能既涵盖生产也涵盖配送。
另外我们谈互联网的时候,以前我们可以有人的互联网,东西的互联网,物联网或者服务联网,我们可以有智能的家庭、智能工厂、智能电网。在将来我们会有智能的因特网,我们把它叫做适时的智能因特网,就是说它能提供适时的信息,这样的话每个时候你就可以把一个工厂跟另外的工厂结合起来,也就是每个工厂都是智能的,而且信息都是适时的,我想这个是我们将来通过因特网可以做到的,我们把它叫做数字化智能因特网.本文来自:http://cda.pinggu.org/
这么多里面有一个关键问题,就是标准化。我在德国的DKE工作,就是一个标准化机构,是负责电气电子产品的标准化,我们希望通过标准化促进工厂的自动化和技术的创新。另外我们所谓制造业的生态系统里面,大数据是非常重要的,因为我们只有处理好了大数据才能够实现转型。所以说我们如何来解决这个问题呢?在解决这个问题的过程当中,标准化会起到关键的作用。
在德国我们就是为工业革命做标准化的路线图。第一步就是我们要对工业革命做一个定义,然后找到现在已经有的一些现成的标准,这些标准是可以被我们所用的。在这个工作做完了之后,我们要有一个新的工业形态的模型,因为这是一个复杂的体系,比如几年之前我们做过一个智能电网,这是一个非常复杂的体系,你要理解它的复杂性,而且要减少它的复杂性,我们就必须改革我们的标准体系。我们要做到,首先要知道什么算是智能电网,在信息方面,在通讯领域,在其他的电厂和变电站,各个领域里面什么是智能,他们是如何组成智能电网的。我们通过研究这些问题,来让我们对智能电网有一个更好地了解。现在我们还没有开发出来相关的标准,但是我们正在做工作。
另外我们还可以为制造业,其它的工业领域也做同样的标准,有些标准已经有了,有些标准还要进一步的来开发。我们要确定,由谁来开发或者制定这些标准,比如说你是由大学来做,还是由第三方来做,以及开发出来标准以后会不会起到促进工业形态的效果。
德国对于电器技术标准工作的兴趣,主要是因为我们希望能够移除标准中各种阻碍性的因素,因为德国毕竟是电子电气产品比较大的出口国,因为我们认为在行业发展过程中,标准化是一个非常重要的工作。
我们有很多在德国内部自己做出来的标准,听起来好像说做本地标准不太可能,其实我们有很多都是本地的标准,但是我们也有不少的标准是国际化的标准。欧洲层面有一些人可能对国际标准不感兴趣,所以在欧洲层面会做一些高标准。德国的本地标准一般比较低,这当然和德国的电力发展的历史有关。
我们经常说要从国际的视角来做标准的工作,我们有一些倡议,中国也有很多的倡议,去执行一些新的技术。比如说中国在机器人方面就有一些新的倡议,我们和中国一起在国际的层面做这些标准的工作。另外我们在这个领域还做一些共同的修订工作。中国现在也在做一些共同修订工作,很多中国的标准现在已经接近于国际标准。我们和中国很多领域都开展了工作,比如说在智能电网这一块,我们和中国国家电网保持着非常好的关系。中国国家电网,主要的技术一般都是用于电力传输的,我们这些正在从中国那里学习经验。德国说2020年会关闭所有的核能电厂电站,所以我们要学习很多。现在欧洲正在使用大数据,使用网络来把更多的可再生能源发到电网上,我们也在这方面开始制定一些标准。
20世纪是一个人移动的世纪,我们发明了那么多交通工具,让我们哪里都可以去。21世纪的重点是物的流动,如果我们抓住了机会,那么这个时机就是一个大数据的时机,是一个工业4.0和物联网的时机。
根据摩尔定律,信息的增长周期是18个月一翻,实际上现在我们看到的情况比这个更加迅速,数据正快速的呈几何级数增长,带动整个IT行业也必须不断的生产更加快速,更大的数据存储设备已及更有效率的数据组织形式,所以大数据行业会越来越容易被人们所感知,在日常的生活中也会越来越重要。
未来,也许我们的信息会越来越透明,因为大数据会无处不在,现在我们已经可以看到,凡是我们在线所做的任何操作,发送的任何信息,实际上都在被不同的平台、公司所搜集,为的都是更全面的勾画出用户的全景,或者用户在某一属性上的全景,更好的帮助到制定用户更加容易接受的产品、服务,或者判断用户的信用情况。
实际上现在已经在某些行业的工厂实现了由数据推动生产的智能制造,工厂的制造辅助系统根据前端市场的数据、用户订单数据及生产设备数据等有效数据来自动的对工厂产能进行调整,对制造设备的制造工艺参数进行调整,以应对用户越来越多的个性化要求,这是一个大的趋势,很多传统制造业也有了这方面的意识,主动的寻求改变,也许在不久的将来,我们在某个网站下的订单或者提出对产品的要求,在下一秒,工厂的设备已经自动的开始生产用户个性需求的产品了。
标准化是智能工厂的一个必要的条件,试想如果某个零件的公差过大,是很难用自动化设备进行装配的,但是智能工厂必须是要做到全自动的生产及物流,所以在智能之前,标准必须先行。
互联网细分出许多垂直行业,行业细分形成后会有一段野蛮成长期,标准化是引导行业发展规范、繁荣的必要手段。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15