农业大数据深度商业开发
面向农业大数据的信息化公共服务平台分析
中科云·易 谷
摘要:基于农业产业链信息化发展的现状,本文分析了农业信息
化公共服务平台的基础服务需求,以及面向农业大数据提供深度分析
实现平台增值服务的需求,并概述了所对应的关键技术和平台自身的
业务模式。
关键词:农业大数据;农业信息化;公共服务平台;关键技术
随着我国农业信息化建设研究和实践的不断深入,政府与第三方
主导的面向农业信息化应用和建设的公共服务平台也越来越受到重
视。而伴随近年来物联网技术的迅速推广,以及大数据和深度商务分
析在企业信息化层面的蓬勃展开,在农业信息化领域也开始了对农业
物联网和农业大数据的相关实践和研究探索。本文在回顾有关农业信
息化公共服务平台的相关研究的基础上,根据农业大数据和农业信息
化的特点,分析了农业信息化公共服务平台的一些基础共性需求和对
应的关键技术。
一、农业信息化相关研究实践评述
农业作为与工业、服务业并举的一大类产业类型,其内部的组成
部分包含了加工制造、流通、传统种养殖等多种业态,其复杂的产业
链构成和分散的从业主体规模都使得农业信息化的建设较一般的产
业信息化要复杂的多。刘金爱(2009)就将农业信息化的内涵分解为
农业科学研究信息化、农业基础设施信息化、农业生产过程信息化、
农业经营管理信息化、农业资源环境信息化等多种产业链构成要素。
曹芳、王凯(2004)通过对国外农业产业链管理的相关研究和实践综
述,得出政府在农业产业链 ICT 投入、即信息化投入上应该占据主导
作用的结论。这也从理论上支持了目前我国各地、各级政府主管部门
推动建设的围绕农业信息化发展的诸多公共服务平台的合理性,譬如
以农委和商委分别主导的围绕农产品和食品的质量安全监管系统和
质量追溯系统等。
随着近年来物联网技术应用的日益扩散,有关农业物联网的示范
建设以及基于农业物联网应用的各种服务支撑平台建设也开始受到
各方面的关注。如复旦大学无锡研究院主持的国家 863 项目“农业物
联网体系架构与应用服务支撑平台”就在农业物联网应用的智能芯片
数据感知、云通信数据传输、农业知识库建构与智能挖掘和综合应用
服务等方面做出了探索。
此外,大数据在农业领域的应用也开始受到重视。除了普遍认可
的农业大数据必须具备大数据的五“V”基本特性,即数据量大、处
理速度快、类型多、价值大、精确性高之外,蔡书凯(2014)分析了
大数据技术在农业中的应用,提出了政府扶持、主体培育、农业计算
水平、数据开发等四个方面的农业大数据技术应用关键问题。孙忠富
等(2013)基于大数据技术的基本阐述,初步分类分析了农业大数据
的内涵和主要应用方向,并提出了优化整合农业数据、构建农业大数
据平台的任务。基于山东农业大学成立的“农业大数据产业技术创新
战略联盟”的建设,温孚江(2013)探讨了了农业大数据研究的战略
意义与协同机制,也同样提出了构建农业大数据分析平台的目标。郭
平等(2013)则基于对相关技术的综述,结合各种推荐算法和用户社
会网络特征提出了基于农业大数据云平台、面向农户信息需求的主动
信息推送技术框架。
总体而言,目前有关农业大数据及相关平台的分析基本上以信息
服务为导向,而其数据资源的整合基础则主要依赖于农业产业链领域
现有的信息化基础中沉淀的数据,包括刚起步的农业物联网应用所产
生的基础数据,以及相关的产业互联网外部数据和社会化数据。同样,
前述若干面向农业的信息服务公共平台而言也更多是对产业内现有
数据的集成整合,而非针对产业内经营主体进行规范化的业务管理和
数据管理本身。然而,从现实来看,我国目前的农业信息化水平仍旧
相对滞后,信息化应用所覆盖的农业产业链业务范围和业务深度也不
全面。以农资生产、农资流通、农业种养殖、农产品加工、农产品流
通这样五层产业链结构来看,在农资流通、农业种养殖层级的信息化
应用明显落后于大数据的深度商业分析要求,而在农产品流通环节,
由于大量个体经营主体的存在也同样使得在该层级的农业基础数据
存在大量盲点,无法为全面有效的农业大数据分析提供完备的数据基
础。
因此,本文认为在农业领域的大数据应用发展应该与农业产业链
信息化建设同步推进,通过集成的农业信息化公共服务云平台,在打
通现有农业产业内的沉淀业务系统和数据平台的同时,完善、补足农
业产业链内的信息管理短板,特别是农资流通、种养殖、农产品流通
等相对滞后的产业层级的业务系统,进而通过面向完备、整合的农业
大数据深度商业分析为利益相关主体提供定制化的基于深度分析的
信息增值服务,从而提升公共服务平台的价值。
二、农业信息化公共服务平台的 ASP 服务
孙忠富等(2013)在分析智慧农业大数据应用中,将农业大数据
划分为生产过程管理数据、农业资源管理数据、农业生态环境管理数
据、农产品与食品安全管理数据、农业装备与设施监控数据,以及各
项科研活动产生的农业数据等六类应用。这些数据其来源或源自于有
关生产企业的生产业务管理系统,或源自于行业管理和科研机构的外
部监管数据,乃至更广泛的气象、交通、市场信息和互联网数据。然
而,由于经营规模、管理规范程度、信息技术应用能力等因素的限制,
使得农业产业链中农资流通和农业种养殖层级的信息化管理和应用
水平普遍较低,这一点在农产品流通层级由于众多个体经营者的存在
也同样较为明显。这种在产业链层级层面的信息化断层的直接结果,
就是农民的“买难卖难”,终端市场对农产品和食品的质量安全监管
也无法直达产业链源头,即农业大数据的基础缺失。
因此,本文认为,无论是从农业信息化公共服务平台本身的定位
出发,还是从面向农业大数据的深度商业分析和增值信息服务出发,
首先需要提供的基础服务就是面向农业产业链信息化环节提供如
ASP(Application Service Provider,应用服务提供商)模式的小型企
业/个体业者的业务管理工具,基于 SaaS 软件即服务模式和 PaaS 平
台即服务模式,通过云平台的方式向小型和个体农资商、农产品流通
者、种养殖散户和大户等提供基础的进销存管理工具,在帮助小业者
更好地规范管理其自身业务发展、填补农业产业链整体信息化建设空
白的同时,也通过后台将分布在不同区域、不同规模、不同业务类型
的农业经营主体的关键业务数据进行集成和统一的云存储。
在这一领域,无论是传统的进销存管理系统,还是基于智能终端的
APP 移动应用,在技术上都已经趋于成熟,并且也有大量的基于开源
软件的面向中小企业解决方案,只需用对此进行更“傻瓜化”、“行
业化”的再开发即可。
当然,随着业务管理工具的 ASP 服务的推进,相应的信息化技
能培训和在线技术服务功能也是信息化公共服务平台的基本要求。
三、农业信息化公共服务平台的“产业服务总线”
平台的 ASP 服务面向农业产业链中几个重要层级规范化和信息
化管理的基本业务需求,丰富、完善了农业产业链大数据中的一个关
键部分。但就农业信息化而言,上述的 ASP 服务解决了一些农业经
营主体的内部管理需求,但无法和电子商务这样的组织间信息系统那
样对经营主体之间的交易行为提供支持,尤其是不能满足农业产业中
各种规模、各种业态的企业间业务往来和信息跟踪回溯的要求,这同
时也给农业大数据的“精确性”要求带来了障碍。
因此,农业信息化公共服务平台在提供 ASP 服务的基础上,还
应进一步满足农业产业链内部的电子商务需求。目前,与农业相关的
若干电子商务应用和平台,包括面向农资销售的电商平台、面向农产
品、特别是生鲜食品销售的电商平台、以及一些大型农业企业主导的
电商业务,部分实现了面向客户的交易数据和物流过程数据的获取,
但相对市场份额和对农业整体的影响力还较小,也未能打通农业产业
链的全部层级。
作为公共服务平台,直接提供产业内的电子商务运作并非最好的
选择,因为这会导致公共服务平台与其他现有电商平台之间的竞争而
非融合,也不利于平台自身在产业链内部的推广。傅烨(2014)基于
共性技术扩散的标准提出以电子商务标准架构作为农业产业链信息
化切入点的观点,对于农业信息化公共服务平台而言是一个恰当的选
择,即平台并不直接介入到产业链内部电商业务,而是作为其后台的
支持体系,通过构建一套有农业产业特点的电子商务标准,帮助产业
链内现有的电商平台以 Web Service 的方式,通过公共服务平台来实
现其业务往来自动实现,并能够支持大量的中小型业者已简便的方式
快速加入产业链中的店子业务体系。
在这一进程中,如同面向服务的架构 SOA 中企业服务总线 ESB
能为诸服务单元提供注册、查询等路由传输服务、标准格式转换以及
事件处理等中间件服务,信息化公共服务平台所提供的电子商务标准
架构同样应能够连接整合产业内其他电商平台和业务系统的复杂 IT
环境,基于统一的标准快速实现服务资源的整合,并以松耦合的应用
方式来协调其跨系统交易服务的请求和响应。从这个意义上来说,可
以将农业信息化公共服务平台视为农业信息化中的产业服务总线
(Industry Service Bus,ISB)这一角色。
就构建信息化公共服务平台的 ISB 而言,其关键技术可以参考电
子产业链电子商务标准 RosettaNet 以及 ISO 组织的 ebXML 标准这两
大体系。前者有严格、完整的产业链层级体系运作模式,但强调紧耦
合从而导致较高的技术难度和实施成本;后者以快速实施部署为特
点,注重松耦合与低成本,但因过于强调通用性而不具备产业特点。
两者在技术体系上基本都遵循了 Web Service 的方式,并都为组织间
业务关系定义了业务词典以实现总线式的技术服务。
这两种标准各有鲜明特点,也都部分符合公共服务平台的 ISB 要
求。
四、面向农业大数据的平台架构
从技术角度来看,平台一般可以分为三个层次,即数据层、应用
层和服务层。如果将农业产业信息化公共服务平台的 ASP 服务和 ISB
服务视为其应用层中的部分关键应用且具有独立定义的的数据管理
架构的话,那么为了实现平台面向农业大数据的增值信息服务,还需
要对平台以外的农业相关海量数据进行整合处理,并通过深度商业分
析面向不同需求的用户提供增值信息服务。
4.1 平台的数据层 在本文中,平台的数据层实际上包含了数据
采集、数据传输两个组成部分。
平台数据内容不仅包括对平台外部的现有农业产业链内部各种
业务系统中结构化数据,也面向未来更丰富的基于农业互联网应用
的、由各类 RFID、二维码、智能传感器所提供的综合业务环境和业
务过程感知数据,以及与农业生产经营相关的其他机构,如气象、交
通、科研、统计等公共服务部门产生的产业外部数据,和互联网中大
量的用户评论等非结构化数据。
在数据采集层面,所涉及的主要关键技术包括基于射频识别
(RFID)的大容量电子标签和温湿度传感器标签、无线土壤温湿度
传感器、可配置传感信号智能调理芯片、智能包装和无线接入系统、
通用式主从传感节点系统等。
在数据传输层面,所涉及的主要关键技术包括多域异构云通信平
台接入、多元数据感知计算引擎设计与系统功能设计、物品解析与信
息发现研究与功能设计、可用于海量数据处理的农业产业链多媒体数
据管理系统架构等。
4.2 平台的应用层
在平台的应用层,除了本文前述的 ASP 应用服务和 ISB 应用服
务之外,面向大数据分析的应用还应该包括面向农业、农户的大数据
垂直应用、面向农业产业和农产品市场的大数据预测应用,以及跨行
业的农业内外部大数据整合应用。
面向农业、农户的大数据垂直应用主要可通过基于智能终端的
APP 移动应用工具,联结农户和农业科研服务机构,向农业从业人员
提供便捷可视的农业生产作业技术指导,实现农业的精确化科学生
产。
面向农业产业和农产品市场的大数据预测应用主要通过对各地
区乃至国内外有关农产品市场信息的整合获取,以及对农业生产过程
的大范围跟踪监测,基于农业大数据构建农资和农产品市场趋势分析
模型为农业种养殖环节提供及时可靠的分析数据,为农民解决“买难
卖难”、“增产不增收”等典型问题。
跨行业的农业内外部大数据整合应用主要通过对产业链生产、流
通活动的全程跟踪,整合现有的行业监管平台业务数据,以及互联网
中的用户评论等非结构化数据,实现真正全产业链的产品生产信息追
溯,保证农产品的质量安全和生产信息可靠。
平台应用层所涉及的主要关键技术包括农业生产知识库与案例库
构建标准、面向农业产业链的数据挖掘技术、基于互联网群智的产品
安全评价系统等。
4.3 平台的服务层
平台的服务层主要是面向不同类型的农业信息服务用户,提供个
性化的组合应用服务。譬如面向农业生产企业和个体的科技信息服
务、市场信息和预警服务,面向农资生产和农业科技机构的农业种养
殖过程全数据服务,面向行业监管机构和终端消费者的农产品生产过
程全产业链信息追溯服务等。
五、农业信息化公共服务平台的运作模式
通过总结分析国内目前现存的诸多公共服务平台,特别是农业领
域的有关公共服务平台,可以发现普遍存在的一个问题就是平台缺乏
可持续的服务能力,这与这些平台缺乏有效的业务运作模式相关。完
全免费的政府主导的平台服务模式由于缺乏自身独立的“造血能力”
而往往不能持续提供服务,由企业主导的收费的平台服务模式则很难
吸引足够多的用户参与也就无法真正体现平台的公共服务特点。
本文认为,农业信息化公共服务平台应该采用企业联盟主导、政
府引导的混合式主体管理,通过免费的信息化基础服务,包括 ASP
服务和 ISB 服务,带动农业产业链用户的积极加入,实现农业信息化
的快速推进,在此基础上通过基于农业大数据的深度商业分析提供收
费的增值信息服务,为平台自身提供长期可持续的收入来源。
而在平台的日常运营当中,则需要注重平台信息化服务和信息服
务能力的可靠性、可用性和可扩展性。这一方面可以参考当前 IT 治
理领域主流的 ITIL v3.0(IT 基础架构库)标准,在此不再赘述。
六、结论与展望 本文总结了当前农业公共服务平台的研究和
实际现状,提出了把信息化基础服务和面向大数据的增值信息服务有
机整合的农业信息化公共服务平台模式,并初步分析了平台的架构体
系、主要业务需求和关键技术,但平台主体的组成和内部的利益分配
机制尚未能展开有效分析,有赖于实践当中逐步予以解决。