大数据与大科学_数据分析师
最近去武汉参加第八届全国测试学术会议,包括硬件测试、软件测试,碰到许多老朋友和新朋友,大家议论了许多。我和大家交流了在CACM上看到的Big data meets big science,也颇有感触。
在斯坦福的国家加速器实验室,大气观测望远镜到2020年要安装一个32亿像素(3.2GP)的照相机,10年以后每晚每隔15秒摄取极高分辨率的天空图像。该系统需要存储10亿亿字节(100PB)的数据,相当于2000万个DVD。当然,通过这个照相机获得的原始数据比这还要多得多。这个照相机的视野里面有400亿~500亿天文目标。长久存储这些像素几乎是不可能的,只能实时处理和提取关键数据。大型科学仪器,从大型强子碰撞型加速装置到高级光束处理器和分子成像工具产生大量数据,是目前的并行超级计算机所无法处理的。
可目前看到的现实是:1.摩尔定律已经失效,因为晶体管尺寸已经达到物理极限。2.超级计算机已经不能再这样用CPU堆下去了。成千上万,甚至几十万的CPU、GPU堆起来的超级计算机,耗电惊人,而并行计算实际上很难实现。大部分时间,CPU闲着,而Memory忙得要命。3.冯诺伊曼计算机体系结构非改不可了。存储计算的方式已经不适用新情况。对于许多应用来说,实际的瓶颈不是处理时间,而是需要不断地存取存储器。
一个明显的事实是,虽然我国的天河超级计算机几次排名世界第一,但美国最近基本不参与这个排名的竞争,排第几也不关心了。
对于大数据的问题,怎么解决?科学家们主要采取三个途径:一个是从观测开始各环节设法减小数据集;一个是从私人企业学习基于云计算的经验;另一个是探索新技术,譬如量子计算。
量子计算对于破解密码、因子分解、量子物理模拟可能很有效,但是,对组合优化、航空调度、绝热算法是否有效,还很难说。所以,大科学产生大数据,大数据技术要靠大科学。物理学、光学、生物学、计算科学一起来,研究这些数据的收集、分发、存储、处理。不能单靠计算机。我曾撰文说:大数据技术靠计算机,大数据分析要靠各领域的专家,现在看来,大数据技术也要靠大科学的专家。
在这样一个创新的关键时刻,中国人应该有所作为。不要天天想着发 SCI、投CNS、提职称、发牢骚,想想这些大问题吧!但是,我跟与会的朋友们说,不管计算机怎么变,容错计算是一个永恒的主题,在量子计算中,人们也在密切关注容错计算。高端容错计算机的实用价值就更不用说了,大家都懂得。
我想补充几句话:微纳电子产业现在还很兴旺,市场仍然很大;超级计算机,特别是其应用还是要搞,从科学研究的角度讲要有些前瞻性
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14