大数据:用不用,怎么用_数据分析师
卫星收集了那么多数据,如果不用,那收集它干什么呢?如果只让少数人关起门来用,那么这种保密是要防止什么呢?
大数据用于环境保护,科研人员开发新的森林映射工具,当大片森林被砍伐、被破坏时,工具将对监视者发出声响警告。
现在国内大数据被叫得很响,但是空谈比较多。我不喜欢空谈,我想看到大数据的应用实例。
4月16日的《科技纵览》提醒列表(IEEE Spectrum Alert)发表一篇文章,介绍将大数据用于环境保护,科研人员开发了一个新的森林映射工具,当大片森林被砍伐、被破坏时,工具将对监视者发出声响警告。这引起了我的兴趣。
这个由世界资源研究所开发的、名为Global Forest Watch(全球森林监视)的在线工具,将大数据处理技术应用于卫星图像,能够随时发现森林采伐和受损的情况。用户通过它,可以探索全球地图,发现自2000年以来森林的变化趋势,同时可以考察森林情况,其精度可达30米。该地图的热带区域每16天更新一次。用户可以选择“警报”功能,即当系统侦察到非法采伐或者森林火灾时将第一时间对你发出警报。
当森林中一棵大树倒下,计算机将发出一个警告,给环保人士、研究人员和环境政策制定者。这事看似容易,实则不易。要从杂乱无章的特殊格式的卫星数据里找到那块特定的森林,然后从图像上识别出刚刚倒下的那棵树,随即要实时发出警告推送给相关人员——这其中技术难点很多。
Global Forest Watch由谷歌地图引擎提供技术支持,由美国NASA和美国地质调查局的几颗卫星提供图像数据。此前,谷歌开发了一个平台,集中了千万亿字节的地球科学数据,向研究人员开放,让他们可以用简单直接的方式来使用这些数据。谷歌地球引擎高级开发人员David Thau说:“用户只要登录、取出这些数据、运行他们自己的算法就可以了。”谷歌地球引擎现在已经有数以千计的研究伙伴。
而谷歌森林监视是一连串项目研究成果的集成。世界资源研究所的数据实验室早就有一个热点地区森林警报系统,基于NASA两个卫星Terra和Aqua上的中等分辨率的分光辐射度计所测量的数据运行。美国马里兰大学一位地理科学Matthew Hansen教授与谷歌地球引擎合作,将NASA和美国地质勘探局的几个地球资源卫星,用于全球森林监视。前者能够提供较好的时间分辨率,而后者则可以提供很好的空间分辨率。
2008年,美国地球资源卫星数据可以自由使用了。每30米一个像素点,一共1430亿个像素点,Hansen每月每年跟踪这些点,发现根据季节的不同,它们的特征会呈现出正常的变化。Hansen的合作者于2013年11月发表了一个对刚果2000年至2012年消失的150万平方公里森林的报告,他们在10000台计算机上计算了一百万CPU核小时。在云计算中,研究人员要考虑计算任务在整个网络中的分布,而地球引擎的研究者只要用一个程序接口进入他们的问题,就能够实现自动并行化,十分简便易行。为了建造公用的全球森林监视网站,世界资源研究所计划让大众都能取得这些大数据,希望政府部门、商业界、研究人员和各种利益团体都能用这个工具,以得到森林管理的较好图像。
通过这个报道,我有几点感想:
一、大数据在这里得以应用决定于三要素:卫星、David Thau和Matthew Hansen。卫星提供数据,David Thau开发平台,Matthew Hansen做数据分析。
二、卫星是要用的。我们经常听到我国卫星发射成功的消息,却很少听到卫星被用上了的消息。我们的卫星发射技术的确已经过关,而且已经商业化。我们自己也发射了许多卫星。但是,较少听到卫星做了什么用、对国民经济起了什么作用、卫星数据可以供研究人员自由使用。
三、大数据的研究一定要有实际用处。用大数据做森林监视就是一个很好的实例。每年我国森林火灾和非法砍伐时有发生,如果能实现自动监测,并且实时给相关人员推送警示,那该多好啊!可要实现这一步,还有许多工作要做——IT人员要提供工具,方便专业人员处理这些数据;专业人员要研究他们自己的算法作出各种监视的判断。这真不容易啊!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA持证人简介: 万木,CDA L1持证人,某电商中厂BI工程师 ,5年数据经验1年BI内训师,高级数据分析师,拥有丰富的行业经验。 ...
2025-05-13CDA持证人简介: 王明月 ,CDA 数据分析师二级持证人,2年数据产品工作经验,管理学博士在读。 学习入口:https://edu.cda.cn/g ...
2025-05-12CDA持证人简介: 杨贞玺 ,CDA一级持证人,郑州大学情报学硕士研究生,某上市公司数据分析师。 学习入口:https://edu.cda.cn/g ...
2025-05-09CDA持证人简介 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度、美团、阿里等 ...
2025-05-07相信很多做数据分析的小伙伴,都接到过一些高阶的数据分析需求,实现的过程需要用到一些数据获取,数据清洗转换,建模方法等,这 ...
2025-05-06以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/g ...
2025-04-30CDA持证人简介: 邱立峰 CDA 数据分析师二级持证人,数字化转型专家,数据治理专家,高级数据分析师,拥有丰富的行业经验。 ...
2025-04-29CDA持证人简介: 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度,美团,阿里等 ...
2025-04-28CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-27数据分析在当今信息时代发挥着重要作用。单因素方差分析(One-Way ANOVA)是一种关键的统计方法,用于比较三个或更多独立样本组 ...
2025-04-25CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-25在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14