机器视觉农业应用，帮助识别环境、监测作物

本文来自微信公众号“35斗”（ID：vcearth），作者35斗

本文为UK-RAS农业机器人白皮书节选，UK-RAS是英国政府主导的一个专门研究机构，主要课题是机器人和自主系统，其定期报告在业内拥有较高的知名度。

许多不同的技术将使机器人技术向农业领域过渡。有些技术需要专门为农业开发，而其他领域已经开发的技术可以适应农业领域，例如，自动化车辆、人工智能和机器视觉。在这里我们会简要回顾从硬件到软件、多机器人系统和人类机器人系统的各种使能技术的现状、机会和益处。

机器人平台

农业平台可以分为特定于领域(设计用于在预定义的领域中对给定作物执行特定任务)和特定于任务(设计用于在不同领域执行多个任务)的机器人和通用平台。两者都可能扮演重要角色。由于农场通常有与众不同的基础设施，早期的机器人只能在一个特定的农场上操作，而且只能在有限的范围内跨不同的农场工作。

与当前的农用车辆类似，我们可能会看到适应特定任务的机器人的组合，以及能够执行多种不同任务的多用途机器人的出现，类似于现代拖拉机的无数使用案例。一个常见的挑战是，目前对于现实世界的条件，如泥浆、雨、雾、低温和高温，大多数机器人平台都不够稳健。例如，目前大多数的机械手都不具备处理温室湿度的能力。

机电一体化和电子产品

快速还原技术和低成本处理器的发展导致3D打印和“创客”技术的使用激增，提高了低成本机器人平台在各种应用中的潜力。嵌入式软件的使用，使高度可配置和特定于应用程序的平台成为可能，这些平台可以使用通用的硬件模块并适应各种角色。

虽然这类方法已广泛应用于无人机和小型机器人，但在更大范围内，机器人技术在农业食品领域仍有很大的发展空间。从原型迁移到成熟的商业平台需要解决的问题包括稳健性和可靠性、电源管理(在某些情况下，平台需要能够全天候长时间运行)、可用性(平台必须能够被非专业人员有效使用)、维护(例如自我诊断)以及与移动通信的集成。

进一步的挑战包括更好地描述与这些机器人相关的土壤的机械特性，能够在恶劣天气下操作的加固平台，实时传感和控制算法，以使运动策略适应不断变化的环境，以及与其他性能共同设计运动方式。例如，农作物/水果收集是如何影响机器人移动的？我们需要什么样的运动能力才能有效地感知农作物?

运动方式

农业机器人需要在充满挑战的动态和半结构化环境中移动。地面机器人需要在不平坦、不均匀、泥泞的土壤上行走，而飞行器需要在不同的天气条件下长时间运行。目前的农业机器人主要是通过借用其他部门的技术(如无人驾驶飞机)或作为现有平台(如自主产业者)的附件来设计的。因此，它们可能没有针对其任务进行充分优化，或者可能保留了现有平台的一些限制。

无人机可以使用多旋翼或固定翼平台飞行(前者具有精确的位置，后者具有延长的飞行时间)，而地面平台需要能够在温室中的铁轨和混凝土地板上、多通道中的砾石或草地上以及露天场地中极其泥泞和困难的地形上移动。

因此，我们将看到各种各样的机器人以不同的方式发展起来。与拖拉机相比，这些机器人重量极轻，但由于机器人（或自主拖拉机）要执行更多的能源需求任务，机器人的尺寸和重量也会增加。今天，大多数农业机器人依靠电池和电动机运行。

未来的发展将取决于电池技术的发展，但在可预见的未来，我们可能会看到电动和内燃机在这一领域的发展。任何机器人平台的一个关键方面是重量和运动系统对地面和作物的影响，因此使用了不同的平台，包括履带式和多轮机器人。

平台还取决于所需的任务，例如，重型作物收割（如大量可耕地或块根蔬菜）需要比软水果采摘更重的平台。腿式机器人有潜力最小化它们的足迹，同时最大化运动的灵活性（例如侧向移动或在作物之间的狭窄空间内移动等）。它们的灵活性，加上携带专业的传感器，将有助于释放精准农业的全部潜力。

操纵器

未来农业的一系列任务将需要机械手，取代灵巧的人工劳动，降低成本和提高质量，或者比目前更大的机械如屠宰收割机，其能更有选择性地进行操作。这方面的工作正在进行中，软抓具用于选择性收获蘑菇、甜椒、番茄、覆盆子和草莓的实验工作。其他应用，如花椰菜收获可以用切割工具来完成，但也需要温和地处理和储存采摘的作物。在开阔的土地上，对于受保护的作物，有一些与收割互补的任务，机械手也可以发挥重要作用。这包括机械除草、精确喷洒和其他形式的检查和处理。在食品处理应用中，如大型自动化仓库，自动化程度的提高也需要机械手。

感觉和知觉系统

自动机器人系统中传感器系统的集成，为新的测量提供了潜在可能，否则这些测量是无法获得的。例如，目前的工作是通过应用宇宙射线传感器，来解决移动机器人对大量水分的大范围实地测绘。基于卫星或无人驾驶飞机的遥感能力的重大进步为以前所未有的时间和空间分辨率监测作物生长状况提供了机会，同时成本低廉。农民可以免费获得许多开源卫星数据集（例如来自欧洲航天局的数据）。

机器人平台还提供了利用地理标记和采样传感器的即时结果（如激光诱导击穿光谱）对土壤进行鉴定，或以系统和无污染的方式安全收集样本供以后分析。使用小型机器人和车载安全收集系统，将进一步提高使用机器人土地管理系统的监管效率和可靠性。

本土化绘图

随着实时运动学(RTK)的部署，全球定位系统导航在农业中的应用变得几乎无处不在，实时运动学允许拖拉机和联合收割机等大型农业机械的自动定位精确到厘米。最近，仅使用全球定位系统信号数据处理的方法已经显示出在不需要额外无线电信标的情况下提供同等精度的前景。准确的定位数据并不局限于使用GPS的无人驾驶车辆，根据所需的速度和精度，可以使用视觉基准标记或光学、声学、无线电信标来提供精确的定位系统。

为了确保机器人车辆的安全运行，在现场检测物体和风险时也需要传感器信息。为了尽量减少对作物的损害，在许多应用中，在许多应用中，相对定位和导航的准确性比RTK 、GPS提供的绝对导航和位置的准确性更重要，以尽量减少对农作物的损害。例如，希望驾驶机器人车辆以厘米的精度跟随作物线或跟随先前拖拉机操作留下的轨迹。基于全球定位系统、惯性导航系统、激光雷达、视觉等组合的多模态系统在提供精确和鲁棒的解决方案方面具有进一步的潜力，而不需要信标等现场基础设施。

例如，人们希望驾驶机器人车辆以厘米的精度沿着作物线行驶，或沿着以前拖拉机作业留下的轨迹行驶。基于GPS、INS、激光雷达、视觉等组合的多模态系统在提供精确和稳健的解决方案方面有提升空间，而不需要信标等现场基础设施。通过使用RTK全球定位系统被动记录种子和杂草的地理空间位置，已经进行了几次尝试来利用种子和杂草测绘概念。农业机器人可以进一步装备模式分类技术，利用计算机视觉预测不同杂草的密度和种类。其他方法侧重于无人机[28]捕获的多光谱图像中密集的语义杂草分类。

随着先进视觉系统(包括深度感知、激光雷达等扫描传感器以及用于决策和分类的人工智能)的加入，精度的概念可以提升到另一个层次。地面机器人提供的精确控制激光雷达等扫描传感器位置的能力，通过使用同步定位和制图(SLAM)技术将精确定位数据与测距仪扫描相结合，为恢复整个作物的定量生物量估计值，以及相关表型数据（如生长率和形态学）开辟了可能性。

同样，机器人传感平台提供了对昆虫害虫或传粉昆虫运动、及其物种形成进行大面积分析的潜力，单独使用3D麦克风或与光反向散射测量相结合，以实现特征飞行轨迹的日光测量。可以为疾病、害虫或杂草建立专题地图，从而实现可变速率处理，这是精准农业的一个关键概念。

作物监测

陆地和空中平台的使用，可以用数据融合和SLAM技术将第三维精确地添加到作物管理中。这可以与虚拟现实或增强现实（VR/AR）系统相结合，为单个工厂规模提供监控和干预的可能性。

长期数据收集将进一步使作物建模成为可能，例如，跟踪作物冠层的发展，从而改进对未来生长模式的预测。这种地面和空中机器人平台为实现局部极高信噪比、高分辨率感测提供了额外的前景，而这种高分辨率感测可能无法通过被动远程（卫星）或半远程（旋转翼或固定翼无人机）感测技术来实现。从最简单的层面来说，这些机器人平台提供了提取非常接近（10毫米以内）反射和透射的潜力。

多光谱成像(MSI)数据有助于弥补由于单个作物组织的表面拓扑结构和方向而导致的错误测量。在更高级别的水平上，使用机器人操纵器来定位农作物或牲畜周围的传感器，可以通过施加人工刺激来测试和检查反应。例如，通过在作物组织的特定区域应用聚焦光束，接着调节光谱和强度，有可能在植物的特定部分(例如茎、幼叶、衰老的老叶等)内驱动光化学。

通过这种方式，可以从植物中获得比单独使用被动固定成像探测器所能获得的更多的表型信息。同样，水果、蔬菜和肉类中的细胞结构和排列也可以用高分辨率进行无损检测，如绘制水果的皮下损伤或肉类的脂肪比例。通过将MSI数据与其他数据源进行融合，可以对作物的养分和水分胁迫进行评估。将这些评估与作物生长模型相结合，可以更好地预测产量和损失，从而改进农业管理和更好的食品供应链管理。

机器人视觉

机器视觉方法,为实现食品生产中机器人系统的自主性提供了重要的机会。基于视觉的作物监测任务包括表型、将待收割的单个作物进行分类以及质量分析，例如检测疾病的发作，所有这些都具有高通量数据。视觉系统也需要对水果、植物、牲畜、人等对象进行检测、分割、分类和跟踪，对农作物和杂草进行语义分割等，使现场的机器人系统能够进行场景分析（理解“是什么”“在哪里”“什么时候”）和安全操作。

应用于农业的机器人视觉需要对光照、天气条件、图像背景和物体外观的变化具有稳健性，例如当植物生长时，同时要确保足够的精度和实时性能，以支持机器人系统的车载决策和视觉引导控制。需要有效的视觉方法，集成次优视图规划，以确保所有相关信息可用于机器人决策和控制，例如当作物的果实或可收割部分被叶子或杂草遮挡时。基于3D点云分析的方法，例如从立体图像或RGB-D相机获得的方法，给机器人在具有挑战性的农业环境中实现稳健的感知带来了希望。

机器视觉已经在动物监测方面产生了早期影响，例如用于猪、牛和家禽的体重估计、身体状况监测和疾病检测。个体动物识别，例如使用适应于人类面部生物测定学工作的面部识别技术，将允许对个体动物进行更有针对性的精确护理和及时干预，从而确保它们的健康，并优化农场生产。

机器人视觉通常紧密依赖于从真实世界的数据资料进行机器学习，深度神经网络等方法获得了牵引力，进一步提高了机器人通过从大数据中学习来共享知识的可能性。利用神经网络系统作为牵引力，并进一步提高机器人通过从大数据中学习来分享知识的可能性。

机器人农业中机器人视觉和机器感知的一个公开挑战是实现开放式学习，提高适应季节变化、新出现的病虫害、新作物品种等的能力。大多数现有工作只考虑机器人视觉系统部署前的初始训练阶段，而不考虑在长期运行过程中学习模型的持续适应。开发用于农业机器人视觉系统的“地面真实感”和半监督学习的用户界面，也是一个开放性挑战。