京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据与大科学_数据分析师
最近去武汉参加第八届全国测试学术会议,包括硬件测试、软件测试,碰到许多老朋友和新朋友,大家议论了许多。我和大家交流了在CACM上看到的Big data meets big science,也颇有感触。
在斯坦福的国家加速器实验室,大气观测望远镜到2020年要安装一个32亿像素(3.2GP)的照相机,10年以后每晚每隔15秒摄取极高分辨率的天空图像。该系统需要存储10亿亿字节(100PB)的数据,相当于2000万个DVD。当然,通过这个照相机获得的原始数据比这还要多得多。这个照相机的视野里面有400亿~500亿天文目标。长久存储这些像素几乎是不可能的,只能实时处理和提取关键数据。大型科学仪器,从大型强子碰撞型加速装置到高级光束处理器和分子成像工具产生大量数据,是目前的并行超级计算机所无法处理的。
可目前看到的现实是:1.摩尔定律已经失效,因为晶体管尺寸已经达到物理极限。2.超级计算机已经不能再这样用CPU堆下去了。成千上万,甚至几十万的CPU、GPU堆起来的超级计算机,耗电惊人,而并行计算实际上很难实现。大部分时间,CPU闲着,而Memory忙得要命。3.冯诺伊曼计算机体系结构非改不可了。存储计算的方式已经不适用新情况。对于许多应用来说,实际的瓶颈不是处理时间,而是需要不断地存取存储器。
一个明显的事实是,虽然我国的天河超级计算机几次排名世界第一,但美国最近基本不参与这个排名的竞争,排第几也不关心了。
对于大数据的问题,怎么解决?科学家们主要采取三个途径:一个是从观测开始各环节设法减小数据集;一个是从私人企业学习基于云计算的经验;另一个是探索新技术,譬如量子计算。
量子计算对于破解密码、因子分解、量子物理模拟可能很有效,但是,对组合优化、航空调度、绝热算法是否有效,还很难说。所以,大科学产生大数据,大数据技术要靠大科学。物理学、光学、生物学、计算科学一起来,研究这些数据的收集、分发、存储、处理。不能单靠计算机。我曾撰文说:大数据技术靠计算机,大数据分析要靠各领域的专家,现在看来,大数据技术也要靠大科学的专家。
在这样一个创新的关键时刻,中国人应该有所作为。不要天天想着发 SCI、投CNS、提职称、发牢骚,想想这些大问题吧!但是,我跟与会的朋友们说,不管计算机怎么变,容错计算是一个永恒的主题,在量子计算中,人们也在密切关注容错计算。高端容错计算机的实用价值就更不用说了,大家都懂得。
我想补充几句话:微纳电子产业现在还很兴旺,市场仍然很大;超级计算机,特别是其应用还是要搞,从科学研究的角度讲要有些前瞻性
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
尊敬的考生: 您好! 我们诚挚通知您,CDA Level III 考试大纲将于 2025 年 12 月 31 日实施重大更新,并正式启用,2026年3月考 ...
2025-12-31“字如其人”的传统认知,让不少“手残党”在需要签名的场景中倍感尴尬——商务签约时的签名歪歪扭扭,朋友聚会的签名墙不敢落笔 ...
2025-12-31在多元统计分析的因子分析中,“得分系数”是连接原始观测指标与潜在因子的关键纽带,其核心作用是将多个相关性较高的原始指标, ...
2025-12-31对CDA(Certified Data Analyst)数据分析师而言,高质量的数据是开展后续分析、挖掘业务价值的基础,而数据采集作为数据链路的 ...
2025-12-31在中介效应分析(或路径分析)中,间接效应是衡量“自变量通过中介变量影响因变量”这一间接路径强度与方向的核心指标。不同于直 ...
2025-12-30数据透视表是数据分析中高效汇总、多维度分析数据的核心工具,能快速将杂乱数据转化为结构化的汇总报表。在实际分析场景中,我们 ...
2025-12-30在金融投资、商业运营、用户增长等数据密集型领域,量化策略凭借“数据驱动、逻辑可验证、执行标准化”的优势,成为企业提升决策 ...
2025-12-30CDA(Certified Data Analyst),是在数字经济大背景和人工智能时代趋势下,源自中国,走向世界,面向全行业的专业技能认证,旨 ...
2025-12-29在数据分析领域,周期性是时间序列数据的重要特征之一——它指数据在一定时间间隔内重复出现的规律,广泛存在于经济、金融、气象 ...
2025-12-29数据分析师的核心价值在于将海量数据转化为可落地的商业洞察,而高效的工具则是实现这一价值的关键载体。从数据采集、清洗整理, ...
2025-12-29在金融、零售、互联网等数据密集型行业,量化策略已成为企业提升决策效率、挖掘商业价值的核心工具。CDA(Certified Data Analys ...
2025-12-29CDA中国官网是全国统一的数据分析师认证报名网站,由认证考试委员会与持证人会员、企业会员以及行业知名第三方机构共同合作,致 ...
2025-12-26在数字化转型浪潮下,审计行业正经历从“传统手工审计”向“大数据智能审计”的深刻变革。教育部发布的《大数据与审计专业教学标 ...
2025-12-26统计学作为数学的重要分支,是连接数据与决策的桥梁。随着数据规模的爆炸式增长和复杂问题的涌现,传统统计方法已难以应对高维、 ...
2025-12-26数字化浪潮席卷全球,数据已成为企业核心生产要素,“用数据说话、用数据决策”成为企业生存与发展的核心逻辑。在这一背景下,CD ...
2025-12-26箱线图(Box Plot)作为数据分布可视化的核心工具,凭借简洁的结构直观呈现数据的中位数、四分位数、异常值等关键信息,广泛应用 ...
2025-12-25在数据驱动决策的时代,基于历史数据进行精准预测已成为企业核心需求——无论是预测未来销售额、客户流失概率,还是产品需求趋势 ...
2025-12-25在数据驱动业务的实践中,CDA(Certified Data Analyst)数据分析师的核心工作,本质上是通过“指标”这一数据语言,解读业务现 ...
2025-12-25在金融行业的数字化转型进程中,SQL作为数据处理与分析的核心工具,贯穿于零售银行、证券交易、保险理赔、支付结算等全业务链条 ...
2025-12-24在数据分析领域,假设检验是验证“数据差异是否显著”的核心工具,而独立样本t检验与卡方检验则是其中最常用的两种方法。很多初 ...
2025-12-24