大数据匹配农业生产与流通_数据分析师考试
“农产品产量不少,消费量也不少,但是为什么价格忽高忽低?产量与消费量如何匹配?”
三年前,正是从这个问题出发,中国农业科学院农业信息研究所(以下简称农科院信息所)所长许世卫组织研究团队开始对“基于物联网技术的农业智能信息系统与服务平台”项目进行攻关。
近日,这项由科技部立项、农业部牵头组织、由许世卫担任首席科学家的“十二五”国家科技支撑计划项目顺利通过了验收。7月17日,科技部网站以“‘互联网+’和物联网助力传统农业升级”为切入点报道了这项研究成果。
该项目涵盖了现代农业的生产、农资、市场、仓储、管理等关键环节,由全国13家单位180多位研究人员历时3年共同完成。
作为国家农业信息化研究领域的“国家队”,农科院信息所承担了项目的子课题之一 ——农业生产与市场流通匹配管理及信息服务关键技术研究与示范的研究任务。
课题的研究要解决什么问题?有哪些创新与成果?近日,《中国科学报》记者就该课题进展和相关成果采访了项目首席科学家许世卫研究员。
创新农产品数据预处理技术
“农产品从生产到流通再到消费,既是物质流,也是信息流。”许世卫告诉《中国科学报》记者。
信息及时准确的监测对于农产品市场的正常运行至关重要。然而,近些年,我国农产品市场上价格暴涨或暴跌的情形并不鲜见。这一方面使农民的利益蒙受损失,另一方面,也让管理调控部门头疼不已。
如何才能提高市场信息监测预警的准确率?在许世卫看来,准确的基础数据是关键。“如果最原始的数据有误差,那么结论也很可能会出问题。”
研究农业生产与市场流通的匹配管理,恰恰就需要即时采集准确的动态数据。那么,准确的信息又从何而来呢?
“信息的获取方式一是传统人工方式,二是现代信息技术手段,还有一种是把两者结合”,许世卫告诉记者,在他们的研究中,就利用了这样的工具——“农信采”,这是农科院信息所研究团队与清华大学等高校、科研院所联合,历时多年攻关研制出的农产品市场信息采集利器。
这种只有手机大小的设备,却能解决信息采集中的大问题,尤其当前农业信息采集中的标准化与时效性问题。
“以苹果为例,虽然卖的都是苹果,但是品种、大小、品质等具体信息都不一样,如果只统计苹果的价格,就解读不出精确的信息。”许世卫说。而农信采植入农业部行业标准,对品种进行了细化;采用了GPS空间信息匹配、无线传输等技术,将市场、品种、价格等信息即时传到后台,实现农产品流通环节信息的及时输送。
尤其是针对农信采获取的数据与已有的海量农产品市场数据的融合问题,团队创新了农产品市场数据预处理技术,建立数据清理优化模型,识别数据采集中遇到的数据缺失与噪声,从而自动模拟缺失数据、清除异常数据与纠正错误数据。设备通过科学界定农产品种类、规范信息流程、预设信息误差提醒等对农产品市场信息采集进行了革命性提升。
该技术被广泛应用到市场信息采集工作中,先后在天津、河北、福建、广东、海南等11个省市,针对田头市场、批发市场、零售市场,选择粮食、蔬菜、水果、油料、肉类、蛋类、奶类和水产品8大类主要农产品的市场信息采集开展了推广应用。
研究农产品市场产销匹配管理
在夯实了数据基础之后,研究团队针对鲜活农产品产销匹配难度大、市场波动强等问题,对农产品市场产销匹配管理评价进行了研究。
经过资料统计和亲自调研,研究人员决定选取北京市、上海市和重庆市等基础数据比较完备的城市日常消费的若干主要蔬菜为研究对象,构建了生产与市场流通匹配管理评价模型。
他们选择运用灰色关联度、核密度估计等分析方法,分别从蔬菜生产、消费的数量、品种、时间、空间多个角度,构建了蔬菜生产与市场流通匹配管理评价模型,对各大城市蔬菜生产与流通消费的匹配情况进行了全面评估,重点分析了当前我国蔬菜产地转换、流通方式情况,对蔬菜产地销地之间的运输时间、交通状况、运输成本以及季节性匹配等问题进行了深入探讨。
同时,研究团队还完成了区域农产品不同种类消费量预测研究,突破区域农产品供需预测技术。 研究主要从产品的消费类型、不同农产品消费之间的互补替代关系,以及地区差异等3个方面进行了创新的分析和预测,将多种农产品的消费需求放在统一的分析框架下进行分析,从而实现了中国31个省区各种农产品的具体消费需求情况研究。
在多领域取得突破
“我们这个课题又分为5个小课题,每个课题都有5名以上高级职称人员组成的研究团队。”许世卫告诉《中国科学报》记者,项目研究的内容非常丰富。
历时3年的研究中,信息所的研究团队在匹配管理评估研究、农业生产极值监测预警技术研究、农产品市场流通感知与信息处理研究、跨平台匹配管理决策分析系统研制、农产品产销全程服务平台开发研究等方面均取得了多项成果。
以匹配管理评估研究为例,研究团队对农产品市场全息信息规范表达与编码技术进行了研究。团队提出了畜产品全息信息处理技术,依据已有相关统计信息指标体系及标准规范,构建了畜禽产品、畜牧业管理机构和草原建设利用统计指标体系。基于该标准,可以进行数字化传输与智能化处理,大大提高了原有指标体系所收集信息的完备性和兼容性。
许世卫表示,下一阶段他们的研究成果和技术能够更大范围地推广应用,在已取得的成绩的基础上,努力提高技术先进性与设备的实用性。
背景阅读
“基于物联网技术的农业智能信息系统与服务平台”项目包括超大规模精准化农业核心业务集成应用平台及关键性设备与系统研究、农资管理与流通智能信息平台研究与应用示范,粮棉仓储特征监测安全与质量管理关键技术及系统应用示范、农业生产与市场流通匹配管理及信息服务关键技术研究与示范等4个课题。由中国农业科学院农业信息研究所、中国科学院合肥物质科学研究院、中国科学院遥感应用研究所、合浦果香园食品有限公司等13家科研院校、高新企业单位承担。
项目取得了多项创新性技术成果:突破了移动应用程序(App)与电子地图集成病虫害快速响应系统的关键技术,建立了自然灾害预警与历史分析系统;制定了《农资商品电子代码标准》;研发了粮棉仓密度与体积、温度与水分、虫害等传感器及组网技术,开发完成了粮棉仓储特征检测信息的安全传输、数据库管理及其信息分析预测预警平台;提出了畜产品全息信息编码方案,突破了农业生产极值监测预警技术、农产品市场流通感知与信息处理技术。获得实用新型专利授权3项,申请专利28项,获得计算机软件著作权37项。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14