2022年金湖县农业农村大数据中心建设方案

一、建设背景

农业农村是大数据应用的重要领域,随着卫星遥感、大数据、物联网、云计算、人工智能等新兴信息化技术与农业农村深度融合,日益成为发展智慧农业的神经系统和推进农业现代化的核心关键要素。建设农业农村大数据有利于推进农业农村信息化发展整体规划和设计,加快农业农村信息化基础设施提挡升级,开发更多满足“三农”需求的新技术、新产品和新服务,促进实现农业农村生产方式、经营方式、管理方式、服务方式和农民生活方式的深刻变革。

二、建设思路

建立金湖县农业农村数据资源中心,将我县所有涉农数据全部整合、清洗、建库、保存和有序共享;在分析当前数据存量的前提下,根据我县农业管理需要、新型经营主体服务需求、特色产业培育需要,以解决实际问题为出发点,在大数据平台的基础上建立相关应用。

三、建设内容

(一) 金湖县农业农村数据资源中心

1. 数据采集

通过农业农村大数据项目业务范围及相关业务分析提出相应的数据需求,对数据的存储或者相应的系统,在保证数据安全的前提下对数据进行收集,收集过程中保证数据的时效性及正确性。

项目采集的数据范围包括现有的农业业务数据、遥感影像、倾斜摄影模型、气象数据等数据资源。

2. 数据清洗

数据清洗是数据为后续大数据挖掘及储存应用的保障,主要内容是将数据由不符合存储、应用规则的“脏”数据经过数据整理、抽取、转换等过程变为客观、符合规范的有价值的数据。

3. 数据整合入库

对采集到的业务系统数据,采用与原业务系统相同的数据库类型,实时接收多种数据源的数据,保持数据的原始格式同步存储至大数据中心采集库,业务系统的数据整合工作在数据仓库中按照业务条线进行分类整合,数据的整合建模工作在数据仓库中进行,在数据仓库的分层流转的过程中会按照一定的数据清洗规则对业务数据进行清洗。

4. 资源目录梳理

基于大数据资源中心,对已有各类农业农村资源数据进行系统、全面的梳理,摸清数据资源家底,明确各类数据的提供单位、共享条件、更新频率等,逐步形成覆盖全市范围内农业、农村、政务等专项业务数据,形成较为完整、准确的农业农村数据资源目录体系,为农业农村大数据平台开发建设提供数据体系框架。

5. 农业农村数据资源库

通过对涉农数据资源的来源、类型、指标、特点等进行分析,进行数据资源库的规划设计,建立农业农村大数据监测采集体系,利用农业农村大数据平台工具,进行历史数据的导入和实时数据的采集,分别对种植业、畜牧业、渔业渔政、农机化、农田建设等十个类别进行梳理,建立农业农村信息资源目录,形成数据资源支撑库、数据资源库。在此基础上,通过数据采集汇聚形成农业农村数据资源库,根据不同的业务大数据应用方向,通过数据挖掘分析,形成不同主题的数据资源库。

(二) 大数据管理平台

部署省农业农村厅大数据底层支撑工具,并在此基础上增加数据分析工具系统,建立金湖特色数据建模分析、展示系统。

1. 省厅软件部署

数据采集系统、数据质量稽核系统、数据集成系统、数据资源目录管理系统、共享交换系统安装部署。

2. 数据计算平台

(1) BI 可视化分析系统

BI 可视化分析系统具备专业的可视化 UI 编排功能,为用户提供了数据自助分析展现的工具,系统内置柱状图、折线图、饼状图、气泡图、仪表盘、雷达图、瀑布图、词云、GIS 地图等多种组件,将抽象、海量的数据,通过不同颜色、形状和组合的图表进行直观、炫酷的展现,真实、丰富、立体地反映数据指标、特性及其关联关系,便于用户进行可视化决策,进行基于业务的交互性 Web 数据展示与分析,能够快速适应未来的业务可视化需求变化。

(2) 数据挖掘系统

数据挖掘系统为数据分析用户提供了一套专业的数据建模、训练工具,构建了农业农村领域的算法模型库,整合了通用算法、深度学习、地理算法、业务模型等多种大数据算法,支持结构化和非结构化数据的深度挖掘,能够以普适的算法服务能力,提供对农业农村数据应用的海量数据分析挖掘。

3. 数据支撑平台

(1) 集群管理系统

集群管理平台采用 Ambari 运营管理工具来支撑整个大数据平台的稳定运行。Ambari 运营管理工具能实现界面化的创建大数据组件,自动化安装部署扩容,统一集中的配置管理以及大数据平台实时监控等功能。

(2) 数据监控系统

集成大数据平台各系统监控内容构建综合监控平台,功能涵盖对各系统业务运行状态的监控对平台的数据采集库、治理库和共享库内总体数据服务的监控功能,对服务器的各种运行指标的监控和 CPU、Available memory、System load 和 Network traffic 状况的信息变动统计功能,对相关数据库的各种运行指标的监控以及数据库性能和各表空间使用情况进行动态变化监测功能。本系统的主要实现对大数据平台数据服务监控、服务器监控、数据库监控、系统运行监控的可视化统计。

(三) 大数据应用平台

1. 数据分类订阅查询

提供数据分类订阅查询,打破行业数据壁垒整合各条线数据,为局内各业务科室建立关注的数据分发,建立原始数据自动订阅和检索功能。例如,基础数据资源订阅,如农村土地承包经营权确权登记、永久基本农田划定、高标准农田上图入库、耕地质量调查监测等;生产数据订阅,包括种植类型、种植面积、土壤墒情、作物长势、灾情虫情;畜牧生产、流通、屠宰各环节信息;水产养殖种类、数量、变化量。经营数据订阅,所有涉农企业、合作社、家庭农场的数据,涵盖名称负责人等基本信息、承包土地(水域、圈舍)。农村数据订阅,政务管理和服务下沉到农户,围绕村级三资,农村集体资产清产核资、产权制度改革、集体经济组织登记赋码、集体资产财务管理等数据。

2. 特色产业

(1) 芡实特色农产品大数据应用

建立金湖特色农产品芡实产业数字化,将种植水面信息登记并在 GIS 中展示,登记种植区域地址、面积、区域;同时将具体种植农户、经营主体、加工企业、销售企业、技术服务单位等进行全面的管理和线上登记,并与种植区域关联。根据金湖芡实标准化种植要求建立标准种植数据库,分为育塘、选种、壮苗、田间管理、病虫害防治等阶段的标准化记录。将历年收获产量情况、亩产变化进行登记,并统计初加工产品的种量。建立芡实交易信息,包括交易量、交易均价、交易最高价、交易最低价、交易去向等信息。

将芡实地理标志、区域公共品牌、企业品牌、产品品牌的情况进行登记,并展示品牌故事、品牌建设过程等信息。针对芡实质量安全的监管情况,将追溯信息、药残检测信息等数据采集并独立处理、建库和变化上图。

以上数据分类建库、形成资源目录,并与省厅“苏农云”共享。

(2) 小龙虾单品大数据大数据应用

建立小龙虾全产业链的数据采集、分析和应用。利用卫星遥感和地面测量对养殖池塘进行识别,面积测算、空间分布、范围确定等工作,并可以叠加如其他养殖主体、服务机构信息等其他图层。对接养殖池塘物联网数据,建立物联网位置、上传得水质数据进行统计监测和数据分析上图。

根据已有数据资源建立企业生产经营情况的动态数据统计,对基于 GIS 的养殖企业分布情况、当前养殖面积及状态、产量以及交易量信息展示。基于监督管理应用、质量安全监测,在空间位置中展示质量安全的监管情况,将抽样检测的种类、时间、分布情况进行统计分析,建立监管人员的信息、技术服务员信息的展示。

以上数据分类建库、形成资源目录,并与省厅“苏农云”共享。

3. 建设时空专题图

依托金湖县农业农村数据资源体系,利用大数据分析、动态可视图表、可视化分析、地理信息技术等技术手段,构建金湖县农业农村时空专题图,实现本地数据资源在时间、空间维度的有机结合,客观反映本地农业农村发展的现状,满足各有关部门动态数据查询、统计、分析等管理工作需要。

(1) 农田建设专题

实现粮食生产功能区、重要农产品生产保护区、高标准农田三类图层、图斑的时空叠加运算。基于地理信息系统建立面积智能统计分析,计算两区与高标准农田的重合叠加区、外部区的面积和范围并以不同颜色区分。历年高标准农田的新增用不同颜色图斑区分,并统计新增面积、累计面积。

根据土壤采用监测数据,在 GIS 的基础上制定耕地质量全貌图。采样点的经度纬度、土类、亚类、土属、土种、有效土层厚度、耕层厚度、耕层质地等的数据统计;对土壤质量的 pH、耕层土壤含盐量、盐渍化程度、盐化类型、灌溉能力、土壤的有机质、全氮、有效磷、速效钾、缓效钾等土壤数据情况分图层,总体掌握耕地质量的变化情况。

(2) 高效种植业管理专题

种植业一张图主要提供全县种植资源的空间分布展示,统计分析、综合查询、空间分析等功能。通过对种植业数据进行空间化及统计分析,形成全县种植业一张图,有利于摸清全县种植业资源底数和时空分布,准确监测种植结构,更好地利用优势资源,发展优势特色产业。

建立主要农作物(小麦、水稻)种植面积监测模型,确定识别该作物所需的遥感影像最佳时间,通过对不同农作物光谱特征进行目视解译,并建立分类样本,通过遥感影像监督分类如随机森林方法进行作物识别提取,对作物识别结果进行面积统计。

(3) 生态渔业专题

提供全县渔业资源、渔业生产、水生作物种植,同时提供各类分布专题图,为渔业的产业规划、生产监管提供数据决策依据。

利用卫星遥感数据识别水域资源,结合渔业水域业务管理数据,基于一张图展示全区湖泊、渔业水域资源、品种资源等的分布及变化情况,具体包括养殖区、苗种场、保护区等分布情况,叠加水产品的产量数据,为合理利用渔业资源,规划渔业生产提供数据依据。

叠加养殖水域数据和渔业养殖捕捞生产数据,基于地图展示全县的渔业生产分布,主要包括全县渔业产值变化、渔业生产结构和水产养殖的捕捞面积、捕捞产量分布,水产品产量排行。

(四) 云服务器

租赁云服务器 4 台用于系统部署,包含政务外网资源。