精准农业的核心目标是通过收集、处理和分析时间和空间数据，并结合其他信息，为农业管理决策提供支持，从而提高作物生产力。其中，产量预测是精准农业中的关键信息来源。近年来，机器学习方法逐渐取代了传统的统计模型，成为处理高分辨率无人机数据和卫星数据的重要工具。尽管无人机多光谱影像能够提供高空间分辨率的植被信息，但直接将这些数据用于机器学习仍存在挑战，因为图像数据的复杂结构可能导致重要空间特征的丢失。此外，天气数据作为影响作物生长和产量的关键因素，其与无人机影像数据的整合被认为可以显著提高产量预测的精度。

然而，以往的研究中，将无人机数据与天气数据结合的多模态深度学习方法在产量预测中的应用还较为有限。基于此，来自日本岐阜大学的Takashi S.T. Tanaka博士及其研究团队探索利用无人机多光谱影像和天气数据的多模态深度学习模型在水稻产量预测中的潜力，特别是在抽穗期的无人机影像和天气数据整合方法对预测精度的影响。从预测精度和计算时间方面评估了卷积神经网络 (CNNs) 体系结构、层深度和气象数据集成方法对模型性能的影响。

图1. 文章图形摘要。

研究过程与结果

本研究旨在通过多模态深度学习模型结合无人机 (UAV) 多光谱影像和天气数据，预测水稻产量。作者首先在日本的宫城、岐阜和高知三个县的22个农民田块中进行了为期6年 (2017—2022年) 的水稻产量调查，使用无人机搭载的多光谱相机 (Sequoia+、Rededge Altum、P4 Multispectral) 在水稻抽穗期获取多光谱影像，收集了包括降水量、太阳辐射、温度、湿度、风速和水汽压在内的天气数据，并将其按周和按月汇总。使用Pix4D软件处理无人机影像，生成反射率影像，再将影像数据重采样为100×100像素，以适配神经网络输入，然后将天气数据与无人机影像数据结合，形成多模态输入。通过对比不同CNN架构 (AlexNet和CNN_2conv) 和不同层数的模型，发现使用每周天气数据的模型表现最佳。

研究结果表明，结合无人机多光谱影像和每周天气数据的多模态深度学习模型能够显著提高水稻产量预测的精度。最佳模型 (Model 8) 使用AlexNet特征提取器和每周天气数据，预测精度达到RMSE为0.859 t/ha，RMSPE为14%。第二佳模型 (Model 18) 使用CNN_2conv特征提取器和每周天气数据，预测精度为RMSE 0.860 t/ha, RMSPE 14%。尽管两种架构的预测精度相近，但CNN_2conv在计算效率上更高，计算时间减少了约8倍。此外，增加全连接层的层数可以进一步提升模型性能，但差异不显著。生成的产量预测图显示了空间异质性，不同模型之间的预测结果存在差异，表明模型选择对产量预测和后续数据分析有重要影响 (图2)。

图2. (a) Model 8和 (b) Model 18使用训练数据集和测试数据集所得作物产量观察值与预测值之间的关系。

研究总结

本研究通过多模态深度学习模型，结合无人机 (UAV) 多光谱影像和天气数据，对水稻产量进行预测。研究结论指出，多模态深度学习模型能够有效整合无人机影像和天气数据，提高水稻产量预测的精度。然而，尽管不同模型的预测精度相近，但产量水平和空间分布存在差异，这表明在实际应用中需要进一步评估模型的鲁棒性。未来的研究需要通过更多的独立田块测试数据集来验证模型在不同条件下的表现，并探索更优的时间分辨率和数据整合方法，以进一步提升模型的预测能力和实用性。

原文出自 Remote Sensing 期刊：https://www.mdpi.com/2287720

期刊主页：https://www.mdpi.com/journal/remotesensing

Remote Sensing 期刊介绍

主编：Prasad S. Thenkabail, USGS Western Geographic Science Center (WGSC), USA

期刊范围涵盖遥感科学所有领域，从传感器的设计、验证和校准，到遥感在地球科学、环境生态、城市建筑等各方面的广泛应用。

2023 Impact Factor ：4.2

2023 CiteScore：8.3

Time to First Decision：23.9 Days

Acceptance to Publication：2.5 Days