数据科学与火箭科学如何将人类送上火星
在最近的CNN专栏中,奥巴马总统再次证实,美国将不遗余力地实行将载人航天器送上火星的任务。如果你觉得自己面临的数据科学难题太有挑战性,那你应该想一想,用挖掘数据的方式来探究火星远征对健康的影响,是多难的一件事。
在太空中生活几年对于宇航员的肌肉张力和肺活量有多大影响?对他们来说减轻体重的安全限度是多少?载人飞船中的二氧化碳含量应有多少?每一件太空服需要配置多少传感器用来计算宇航员的关节灵活性?
想要把人类送到“前无古人”的那些地方,有大量的变量需要纳入考虑,NASA也正刻苦研究未来的火星计划所涉及的健康和安全风险。这些风险影响着制定计划时所需要作出的一系列决策——从预估的潜在机组人员数量,到设备工程、任务后勤以及燃油储备,等等,因而对这些风险的明确了解可谓是重中之重。
虽然代价高昂,但NASA从开始就很明白,他们工作的重点不在于开发一个完美的分析模型,而在于打造一个数据科学程序,使决策者在回答一些不断变动的问题时,能用到分析学的办法。但是如果你想要学习NASA的分析方式,不一定非得跟火箭科学打交道。对于那些想要从事大数据分析,或困于大数据分析的组织来说,这里有从NASA的项目中总结的几个核心要点:
别小题大做
简而言之,数据科学根本没火箭科学那么难(不信的话你看我在那做了什么)。是的,分析大数据是有挑战性,而且根据你所期望获取的见解不同,方法也可能随之变动,但是完全没必要把事情搞得太复杂,想要得到解决方案远远用不着那么复杂。
很多组织时常循环往复试着把数据搬回来分析,其实他们更应该把分析方法带进数据里去。既然称之为大数据,自然是不可能把它搬来搬去的,就算做到了,也得历经艰难险阻。这也就是分散式存储和像Hadoop那样的处理框架存在的原因——云数据的可扩展性,比起硬盘里的数据可高太多了。
对于火星计划来说,涉及到很多层次的数据需要考虑,从曾经完成过太空任务的宇航员(比如说斯考特凯丽),身上取得的健康数据,到无人航天的测试研究,再到模拟太空环境下的研究,其中之一就是休斯顿市约翰逊太空中心的人类探索研究模拟计划(HERA)。
把所有数据归整到同一个地方是关键的第一步。为此,NASA使用了高级协作式分析方法和数据共享平台对数据进行分析,这一平台的开发者是洛克希德马丁公司和几个分析伙伴,比如勇攀科技。因为省去了下载数据到单独的分析环境中的步骤,研究者们现在可以把更多的时间和精力花在提问题、解决问题,然后更好地规划火星计划上面。
发射只是开始
火箭的成功发射只是持续数年的火星远征的第一步。基于从前的经验,NASA已经做好了遇到并解决无数挑战的准备。对于数据分析项目来说亦是如此,光是部署好了模型并不意味着项目大功告成,实际上那些基于实时基础上不断完善和迭代的模型才是最有价值的分析初创。
像科学研究方法一样,充分利用分析结果需要不断地做实验检测,从失败中获取教训,然后接着进行检测。NASA想要的是快速查询供其使用的大量数据,然后把结论传回可以立足于先前结果的新模型中。所以对他们来说,数据科学程序就像一个钟摆,向前的摇摆着重于从研究者那里快速获得结论,而向后的摇摆着重于测量、评估结果、改进模型以及再次向前摇摆。
用现有的数据进行工作,而不是你所期望的数据。
在数据组有缺陷的时候,快速轻巧地改善模型的能力尤其宝贵。(而且说实话,有完全没有缺陷的数据组这回事吗?)。
对NASA来说,最大的数据挑战就是宇航员的样本库太小了,只有三千多人被NASA认定为宇航员。想要取得推断,研究者们得把从这个小样本中取得的数据挖个底朝天才行。
举例来说,基于历时五个月的太空旅行对一个35岁,120磅重的女性的影响,两年的太空旅行对一个32岁,123磅重的会有什么影响呢?对30岁、118磅的呢?此外,到现在还没有宇航员实际踏上过这个红色星球,所以对在火星上居住会有什么健康影响,相关数据还处于空白阶段(马特达蒙不算哦)。
但是NASA从去过月球的宇航员或者在空间站待过一年的宇航员那里可以知道些什么呢?如果把处于模拟太空环境的测试体的数据放入预测模型,会发生什么呢?有了支持模型配置与完善的分析工具,各组织可以试着用各种方式从数据中提取结论来做出更准确的预测,甚至在缺失关键信息的情况下也可以做到。
打破隐喻黑箱
为了火星计划,NASA不仅仅押上了纳税人的数十亿美金,还押上了宇航员的性命,为了科学与探索,这些宇航员不惜担起健康和生命安全的风险。
对于这样的一个计划,关键在于让不是数据科学博士的那些分析工作者(比如说健康研究者、设备工程师和其他策划航行任务的人员)也能够自力完成构建和展开查询、使用数据的任务。这要求商业和IT股东们的通力合作,易用易改的建模工具以及将深入了解转达给需要的人的能力。这也是NASA选择一个这样的协作分析平台的原因,这一平台可以将输出结果直接延伸至火星计划的科学家和决策者所使用的系统和应用中。
大量复杂的数据组给任何想要从事分析部署的组织带来了挑战,但是NASA驾驭数据进行了最困难的行程规划——也就是火星远征,证明了这些挑战绝不是不可逾越的。只要有了正确的工具,以及最为重要的,一致周详的解决方式,数据科学根本不像火箭科学那么吓人。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-25在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02