
数据科学与火箭科学如何将人类送上火星
在最近的CNN专栏中,奥巴马总统再次证实,美国将不遗余力地实行将载人航天器送上火星的任务。如果你觉得自己面临的数据科学难题太有挑战性,那你应该想一想,用挖掘数据的方式来探究火星远征对健康的影响,是多难的一件事。
在太空中生活几年对于宇航员的肌肉张力和肺活量有多大影响?对他们来说减轻体重的安全限度是多少?载人飞船中的二氧化碳含量应有多少?每一件太空服需要配置多少传感器用来计算宇航员的关节灵活性?
想要把人类送到“前无古人”的那些地方,有大量的变量需要纳入考虑,NASA也正刻苦研究未来的火星计划所涉及的健康和安全风险。这些风险影响着制定计划时所需要作出的一系列决策——从预估的潜在机组人员数量,到设备工程、任务后勤以及燃油储备,等等,因而对这些风险的明确了解可谓是重中之重。
虽然代价高昂,但NASA从开始就很明白,他们工作的重点不在于开发一个完美的分析模型,而在于打造一个数据科学程序,使决策者在回答一些不断变动的问题时,能用到分析学的办法。但是如果你想要学习NASA的分析方式,不一定非得跟火箭科学打交道。对于那些想要从事大数据分析,或困于大数据分析的组织来说,这里有从NASA的项目中总结的几个核心要点:
别小题大做
简而言之,数据科学根本没火箭科学那么难(不信的话你看我在那做了什么)。是的,分析大数据是有挑战性,而且根据你所期望获取的见解不同,方法也可能随之变动,但是完全没必要把事情搞得太复杂,想要得到解决方案远远用不着那么复杂。
很多组织时常循环往复试着把数据搬回来分析,其实他们更应该把分析方法带进数据里去。既然称之为大数据,自然是不可能把它搬来搬去的,就算做到了,也得历经艰难险阻。这也就是分散式存储和像Hadoop那样的处理框架存在的原因——云数据的可扩展性,比起硬盘里的数据可高太多了。
对于火星计划来说,涉及到很多层次的数据需要考虑,从曾经完成过太空任务的宇航员(比如说斯考特凯丽),身上取得的健康数据,到无人航天的测试研究,再到模拟太空环境下的研究,其中之一就是休斯顿市约翰逊太空中心的人类探索研究模拟计划(HERA)。
把所有数据归整到同一个地方是关键的第一步。为此,NASA使用了高级协作式分析方法和数据共享平台对数据进行分析,这一平台的开发者是洛克希德马丁公司和几个分析伙伴,比如勇攀科技。因为省去了下载数据到单独的分析环境中的步骤,研究者们现在可以把更多的时间和精力花在提问题、解决问题,然后更好地规划火星计划上面。
发射只是开始
火箭的成功发射只是持续数年的火星远征的第一步。基于从前的经验,NASA已经做好了遇到并解决无数挑战的准备。对于数据分析项目来说亦是如此,光是部署好了模型并不意味着项目大功告成,实际上那些基于实时基础上不断完善和迭代的模型才是最有价值的分析初创。
像科学研究方法一样,充分利用分析结果需要不断地做实验检测,从失败中获取教训,然后接着进行检测。NASA想要的是快速查询供其使用的大量数据,然后把结论传回可以立足于先前结果的新模型中。所以对他们来说,数据科学程序就像一个钟摆,向前的摇摆着重于从研究者那里快速获得结论,而向后的摇摆着重于测量、评估结果、改进模型以及再次向前摇摆。
用现有的数据进行工作,而不是你所期望的数据。
在数据组有缺陷的时候,快速轻巧地改善模型的能力尤其宝贵。(而且说实话,有完全没有缺陷的数据组这回事吗?)。
对NASA来说,最大的数据挑战就是宇航员的样本库太小了,只有三千多人被NASA认定为宇航员。想要取得推断,研究者们得把从这个小样本中取得的数据挖个底朝天才行。
举例来说,基于历时五个月的太空旅行对一个35岁,120磅重的女性的影响,两年的太空旅行对一个32岁,123磅重的会有什么影响呢?对30岁、118磅的呢?此外,到现在还没有宇航员实际踏上过这个红色星球,所以对在火星上居住会有什么健康影响,相关数据还处于空白阶段(马特达蒙不算哦)。
但是NASA从去过月球的宇航员或者在空间站待过一年的宇航员那里可以知道些什么呢?如果把处于模拟太空环境的测试体的数据放入预测模型,会发生什么呢?有了支持模型配置与完善的分析工具,各组织可以试着用各种方式从数据中提取结论来做出更准确的预测,甚至在缺失关键信息的情况下也可以做到。
打破隐喻黑箱
为了火星计划,NASA不仅仅押上了纳税人的数十亿美金,还押上了宇航员的性命,为了科学与探索,这些宇航员不惜担起健康和生命安全的风险。
对于这样的一个计划,关键在于让不是数据科学博士的那些分析工作者(比如说健康研究者、设备工程师和其他策划航行任务的人员)也能够自力完成构建和展开查询、使用数据的任务。这要求商业和IT股东们的通力合作,易用易改的建模工具以及将深入了解转达给需要的人的能力。这也是NASA选择一个这样的协作分析平台的原因,这一平台可以将输出结果直接延伸至火星计划的科学家和决策者所使用的系统和应用中。
大量复杂的数据组给任何想要从事分析部署的组织带来了挑战,但是NASA驾驭数据进行了最困难的行程规划——也就是火星远征,证明了这些挑战绝不是不可逾越的。只要有了正确的工具,以及最为重要的,一致周详的解决方式,数据科学根本不像火箭科学那么吓人。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01CDA 数据分析师:企业数字化转型的核心引擎 —— 从能力落地到价值跃迁 当数字化转型从 “选择题” 变为企业生存的 “必答题”, ...
2025-09-01数据清洗工具全景指南:从入门到进阶的实操路径 在数据驱动决策的链条中,“数据清洗” 是决定后续分析与建模有效性的 “第一道 ...
2025-08-29机器学习中的参数优化:以预测结果为核心的闭环调优路径 在机器学习模型落地中,“参数” 是连接 “数据” 与 “预测结果” 的关 ...
2025-08-29CDA 数据分析与量化策略分析流程:协同落地数据驱动价值 在数据驱动决策的实践中,“流程” 是确保价值落地的核心骨架 ——CDA ...
2025-08-29CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-28CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-08-28