
大数据:用不用,怎么用_数据分析师
卫星收集了那么多数据,如果不用,那收集它干什么呢?如果只让少数人关起门来用,那么这种保密是要防止什么呢?
大数据用于环境保护,科研人员开发新的森林映射工具,当大片森林被砍伐、被破坏时,工具将对监视者发出声响警告。
现在国内大数据被叫得很响,但是空谈比较多。我不喜欢空谈,我想看到大数据的应用实例。
4月16日的《科技纵览》提醒列表(IEEE Spectrum Alert)发表一篇文章,介绍将大数据用于环境保护,科研人员开发了一个新的森林映射工具,当大片森林被砍伐、被破坏时,工具将对监视者发出声响警告。这引起了我的兴趣。
这个由世界资源研究所开发的、名为Global Forest Watch(全球森林监视)的在线工具,将大数据处理技术应用于卫星图像,能够随时发现森林采伐和受损的情况。用户通过它,可以探索全球地图,发现自2000年以来森林的变化趋势,同时可以考察森林情况,其精度可达30米。该地图的热带区域每16天更新一次。用户可以选择“警报”功能,即当系统侦察到非法采伐或者森林火灾时将第一时间对你发出警报。
当森林中一棵大树倒下,计算机将发出一个警告,给环保人士、研究人员和环境政策制定者。这事看似容易,实则不易。要从杂乱无章的特殊格式的卫星数据里找到那块特定的森林,然后从图像上识别出刚刚倒下的那棵树,随即要实时发出警告推送给相关人员——这其中技术难点很多。
Global Forest Watch由谷歌地图引擎提供技术支持,由美国NASA和美国地质调查局的几颗卫星提供图像数据。此前,谷歌开发了一个平台,集中了千万亿字节的地球科学数据,向研究人员开放,让他们可以用简单直接的方式来使用这些数据。谷歌地球引擎高级开发人员David Thau说:“用户只要登录、取出这些数据、运行他们自己的算法就可以了。”谷歌地球引擎现在已经有数以千计的研究伙伴。
而谷歌森林监视是一连串项目研究成果的集成。世界资源研究所的数据实验室早就有一个热点地区森林警报系统,基于NASA两个卫星Terra和Aqua上的中等分辨率的分光辐射度计所测量的数据运行。美国马里兰大学一位地理科学Matthew Hansen教授与谷歌地球引擎合作,将NASA和美国地质勘探局的几个地球资源卫星,用于全球森林监视。前者能够提供较好的时间分辨率,而后者则可以提供很好的空间分辨率。
2008年,美国地球资源卫星数据可以自由使用了。每30米一个像素点,一共1430亿个像素点,Hansen每月每年跟踪这些点,发现根据季节的不同,它们的特征会呈现出正常的变化。Hansen的合作者于2013年11月发表了一个对刚果2000年至2012年消失的150万平方公里森林的报告,他们在10000台计算机上计算了一百万CPU核小时。在云计算中,研究人员要考虑计算任务在整个网络中的分布,而地球引擎的研究者只要用一个程序接口进入他们的问题,就能够实现自动并行化,十分简便易行。为了建造公用的全球森林监视网站,世界资源研究所计划让大众都能取得这些大数据,希望政府部门、商业界、研究人员和各种利益团体都能用这个工具,以得到森林管理的较好图像。
通过这个报道,我有几点感想:
一、大数据在这里得以应用决定于三要素:卫星、David Thau和Matthew Hansen。卫星提供数据,David Thau开发平台,Matthew Hansen做数据分析。
二、卫星是要用的。我们经常听到我国卫星发射成功的消息,却很少听到卫星被用上了的消息。我们的卫星发射技术的确已经过关,而且已经商业化。我们自己也发射了许多卫星。但是,较少听到卫星做了什么用、对国民经济起了什么作用、卫星数据可以供研究人员自由使用。
三、大数据的研究一定要有实际用处。用大数据做森林监视就是一个很好的实例。每年我国森林火灾和非法砍伐时有发生,如果能实现自动监测,并且实时给相关人员推送警示,那该多好啊!可要实现这一步,还有许多工作要做——IT人员要提供工具,方便专业人员处理这些数据;专业人员要研究他们自己的算法作出各种监视的判断。这真不容易啊!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
LSTM 为何会产生误差?深入剖析其背后的原因 在深度学习领域,LSTM(Long Short-Term Memory)网络凭借其独特的记忆单元设 ...
2025-06-27LLM进入拖拽时代!只靠Prompt几秒定制大模型,效率飙升12000倍 【新智元导读】最近,来自NUS、UT Austin等机构的研究人员创新 ...
2025-06-27CDA 数据分析师:就业前景广阔的新兴职业 在当今数字化时代,数据已成为企业和组织决策的重要依据。数据分析师作为负责收集 ...
2025-06-27探秘 z-score:数据分析中的标准化利器 在数据的海洋中,面对形态各异、尺度不同的数据,如何找到一个通用的标准来衡量数据 ...
2025-06-26Excel 中为不同柱形设置独立背景(按数据分区)的方法详解 在数据分析与可视化呈现过程中,Excel 柱形图是展示数据的常用工 ...
2025-06-26CDA 数据分析师会被 AI 取代吗? 在当今数字化时代,数据的重要性日益凸显,数据分析师成为了众多企业不可或缺的角色 ...
2025-06-26CDA 数据分析师证书考取全攻略 在数字化浪潮汹涌的当下,数据已成为企业乃至整个社会发展的核心驱动力。数据分析师作 ...
2025-06-25人工智能在数据分析的应用场景 在数字化浪潮席卷全球的当下,数据以前所未有的速度增长,传统的数据分析方法逐渐难以满足海 ...
2025-06-25评估模型预测为正时的准确性 在机器学习与数据科学领域,模型预测的准确性是衡量其性能优劣的核心指标。尤其是当模型预测结 ...
2025-06-25CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-06-24金融行业的大数据变革:五大应用案例深度解析 在数字化浪潮中,金融行业正经历着深刻的变革,大数据技术的广泛应用 ...
2025-06-24Power Query 中实现移动加权平均的详细指南 在数据分析和处理中,移动加权平均是一种非常有用的计算方法,它能够根据不同数据 ...
2025-06-24数据驱动营销革命:解析数据分析在网络营销中的核心作用 在数字经济蓬勃发展的当下,网络营销已成为企业触达消费者 ...
2025-06-23随机森林模型与 OPLS-DA 的优缺点深度剖析 在数据分析与机器学习领域,随机森林模型与 OPLS-DA(正交偏最小二乘法判 ...
2025-06-23CDA 一级:开启数据分析师职业大门的钥匙 在数字化浪潮席卷全球的今天,数据已成为企业发展和决策的核心驱动力,数据分析师 ...
2025-06-23透视表内计算两个字段乘积的实用指南 在数据处理与分析的过程中,透视表凭借其强大的数据汇总和整理能力,成为了众多数据工 ...
2025-06-20CDA 一级考试备考时长全解析,助你高效备考 CDA(Certified Data Analyst)一级认证考试,作为数据分析师领域的重要资格认证, ...
2025-06-20统计学模型:解锁数据背后的规律与奥秘 在数据驱动决策的时代,统计学模型作为挖掘数据价值的核心工具,发挥着至关重要的作 ...
2025-06-20Logic 模型特征与选择应用:构建项目规划与评估的逻辑框架 在项目管理、政策制定以及社会服务等领域,Logic 模型(逻辑模型 ...
2025-06-19SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的利器 在数据分析的众多方法中,Mann-Kendall(MK)检验凭借其对数据分 ...
2025-06-19