RSE:面向农业制图的多源时序遥感基础模型

文章信息

文章标题：AgriFM: A multi-source temporal remote sensing foundation model for Agriculture mapping

发表期刊：Remote Sensing of Environment

影响因子：11.4

第一及通讯作者：Wenyuan Li，Shunlin Liang*

所在机构：Jockey Club STEM Lab of Quantitative Remote Sensing, Department of Geography, The University of Hong Kong, Hong Kong Special Administrative Region of China

发表日期：2026.01

气候变化与人口增长不断加剧对精准农业制图的需求，以提升粮食安全保障。此类制图任务要求模型能够稳健建模多尺度时空模式：在空间上，涵盖从精细的田块纹理到宏观的景观背景；在时间上，覆盖从短期物候变化到完整生长季的动态演变。然而，现有方法往往将空间特征与时间特征割裂处理，限制了其对关键农业动态过程的捕获能力。尽管基于Transformer的遥感基础模型（RSFMs）具备统一建模时空信息的潜力，但多数现有方法仍存在明显局限：要么采用固定窗口机制，难以捕捉作物的多尺度特性；要么完全忽略时间维度信息。

为弥补上述不足，本文提出AgriFM——一种面向农业制图的多源、多时序遥感基础模型。AgriFM在Video Swin Transformer主干网络中引入时空同步下采样策略，在高效处理长时序、变长时间序列的同时，有效保留多尺度空间信息与作物物候特征。该模型基于一个具有全球代表性的数据集进行预训练，该数据集包含来自MODIS、Landsat-8/9与Sentinel-2的超过2500万个样本，并以土地覆盖比例作为监督信号。

此外，AgriFM设计了一种多功能解码器，能够动态融合来自主干网络不同阶段的多源特征，并适配变化的时间序列长度，从而支持跨卫星数据源与任务需求的统一且可扩展的农业制图。该模型支持多种下游任务，包括耕地提取、田块边界提取、农业土地利用/覆盖制图以及特定作物制图（如冬小麦与水稻）。大量实验结果表明，AgriFM在多项农业制图任务中均显著优于现有深度学习模型及通用遥感基础模型。

预训练阶段使用全球土地覆盖产品（GLC_FCS30D）提取各个地物的面积占比作为监督信号，模型学习时序中各种地物占比的稳定特征；同时引入Mean-Teacher（EMA教师网络）来缓解土地覆盖产品固有的噪声问题，可进一步提高预训练模型的稳定性。

AgriFM模型的核心是利用多源、多尺度与多序列长度统一建模表示稳定的农业物候的时序特征。模型根据不同传感器，设置独立的3D Patch Embedding，将Sentinel、Landsat与MODIS等遥感影像映射到统一特征空间；其次提出了同步时空下采样，在多阶段特征抽取过程中压缩空间和时间维度，使模型可以处理不同帧数的输入序列，有效处理不同作物和传感器的情况。

迁移到下游任务时，使用通用解码器融合骨干网络不同层级的特征，再根据具体任务输出作物、耕地和边界等地图，实现“一个基础模型，多任务复用”的目的。

3.1 预训练阶段

AgriFM的预训练数据构建目标在于使模型学习具有高度泛化性的时空遥感特征，而非针对单一地区或农业任务进行拟合。为此，研究团队构建超2500万样本的全球尺度多源时序遥感数据集，覆盖多种气候带、地貌类型与土地覆盖格局。预训练数据主要来源于Sentinel-2、Landsat（L8/L9）以及MODIS，三者在空间分辨率、时间分辨率和观测尺度上存在显著差异。通过引入多分辨率、多时间尺度的数据组合，模型在预训练阶段即可同时学习细粒度空间纹理信息与长时间序列变化特征。

从空间分布上看（图3所示），预训练样本点广泛分布于全球各大洲，覆盖不同地形、植被类型与人类活动强度区域。这种全球均匀采样策略为模型学习通用遥感表征提供了数据基础。

值得注意的是，AgriFM在预训练阶段采用了非配对（non-paired）数据策略。不同传感器的数据在空间和时间上不要求严格对齐，模型分别接收来自不同地理位置和不同观测时间的Sentinel-2、Landsat（L8/L9）和MODIS时序样本进行训练。这一设计显著降低了多源数据融合的先验约束，强调模型对时空统计规律本身的学习能力，而非依赖像素级配准关系。预训练样本是通过随机选择全球范围内的卫星数据位置，并将原始影像裁剪成固定大小的图像（224×224像素）而生成的。采集样本数量如表1所示：

3.2 下游任务阶段

为验证AgriFM模型在不同农业任务中的表现，研究选择了三个具有代表性的区域进行实验（图4所示）。

法国Auvergne–Rhône–Alpes（ARA）地区，在精细化农业制图实验中，研究选取法国ARA地区作为典型研究区，使用高空间分辨率的Sentinel-2数据对模型进行微调与评估。该部分数据统一来自Sentinel-2卫星，空间分辨率为10m，共使用10个光谱波段。时间上采用跨年划分策略，其中2018年作为训练集，2019年作为验证集，2020年作为测试集，以检验模型的时间泛化能力。每一类数据集均包含2327张影像样本，单幅影像尺寸为256×256像素。该区域包含高度多样化的作物类型，细分为16类，且地块较为细碎，适合验证高分辨率制图能力。利用该区域完成了耕地制图、边界提取和农业土地利用/覆盖制图的应用评估任务。

亚洲区域，冬小麦制图任务利用亚洲区域数据完成，该区域空间跨度大，从华北平原到中亚草原，涵盖多种农业气候带，用于检验模型在大尺度、长时间序列条件下的稳定性。该实验统一使用MODIS数据，空间分辨率为250m，包含7个光谱波段。时间序列从2020年8月到2021年6月，共11个时相，完整涵盖冬小麦从播种、越冬到成熟的生长周期。影像尺寸设置为512像素，以保持区域尺度信息。样本划分方面，训练集包含2711张影像，验证集636张，测试集569张。标签数据基于World Cereal产品生成，为亚洲尺度冬小麦分布提供参考。

季风亚洲区域，水稻制图实验聚焦于季风亚洲区域，该区域是主要的水稻产区，常面临多云雨覆盖的问题，该区域完成水稻制图，验证模型在多源遥感数据融合和抗云雨干扰能力。研究使用两种不同空间分辨率的遥感数据源，以验证模型在短时序和多尺度条件下的适应能力。第一类数据为HLS30，空间分辨率为30m，包含6个光谱波段，时间序列长度为5个时相；第二类数据为MODIS，空间分辨率为250m，包含7个波段，时间序列长度为46个时相。两类数据均覆盖2019年水稻关键生长季。样本数量方面，训练集包含3039张影像，验证集与测试集各1013张。影像尺寸根据传感器差异分别设置为：HLS30为224像素，MODIS为56像素。标签数据通过整合多种现有产品，筛选生成高置信度水稻样本，从而降低标签噪声对实验结果的影响。

4.1 耕地制图和边界提取

在耕地制图和边界提取任务中，基于法国ARA区域的Sentinel-2高分辨率时序数据，模型不仅在定量精度指标上取得领先表现（表2、表3和图5所示），更在空间结构层面展现出明显优势（图6所示）。从可视化结果对比图可以看出，AgriFM的预测结果在农田内部呈现出高度一致的分类分布，小斑块噪声明显减少，而农田与非农田之间的空间分界更加清晰（图7所示）。进一步在地块边界局部放大图中可以观察到，AgriFM在地块交界处的预测边界更加连续，边界位置与标注高度吻合，而其他模型普遍存在边界锯齿化或漂移现象。这些图表结果共同说明，AgriFM通过引入时序信息对空间决策进行约束，有效缓解了单时相遥感影像中因光谱相似性导致的空间不确定性，从而在耕地制图这一关键农业制图任务中实现了更高质量的结果。

4.2 农业土地利用/覆盖制图

在农业土地利用/覆盖制图任务中，基于多时相Sentinel-2数据的定量对比结果显示，AgriFM在总体精度和F1指标上均优于传统CNN、CNN-LSTM以及部分遥感基础模型（表4所示）。结合表格结果可以发现，AgriFM在不同地类之间的性能更加均衡，未出现明显依赖某一类别精度提升的情况（图8所示）。这一结果是由于模型有效学习了不同土地利用类型随时间变化的动态特征，而非仅依赖单一时间节点的光谱差异。相关实验结果表明，在农业景观高度异质、地类边界复杂的条件下，AgriFM能够通过时序建模捕获土地利用类型之间的物候差异，从而提升整体制图可靠性。

4.3 季风亚洲水稻制图

在季风亚洲水稻制图实验中，AgriFM的研究结果验证在短时序条件下的判别能力。使用5帧HLS30时序影像，对模型的时序建模能力提出了更高要求。从水稻制图结果图对比图可以观察到（图11所示），AgriFM能够准确刻画水稻的空间分布格局，预测结果在区域尺度上保持良好的连续性，与已知水稻种植区高度一致。相比之下（图12所示），其他模型在短时序条件下往往出现预测不精准的问题，结合定量评估结果可以看出（表5所示），AgriFM在该任务中的性能优势并非来自时间序列长度，而是源于其时序注意力机制对关键物候阶段的有效捕获。该结果说明，AgriFM能够在观测信息受限的条件下，自动聚焦水稻识别关键时间节点，降低对完整生长季数据的依赖。

4.4 亚洲冬小麦制图

在亚洲冬小麦制图任务中，基于MODIS长时序数据的实验结果验证模型跨尺度建模能力。从冬小麦制图结果对比图可以看出（图13所示），AgriFM的预测结果在大陆尺度上呈现出准确的空间细节。尽管MODIS数据的空间分辨率较低，模型仍能通过长时间序列捕获冬小麦完整生长周期中的关键动态特征，从而抑制随机噪声对预测结果的干扰。定量结果与空间可视化结果共同表明（表6和图13所示），AgriFM在粗分辨率条件下并未显著退化，其学习到的并非局部纹理特征，而是与作物生长过程相关的时序模式。该结果体现模型在大尺度农业监测场景中的应用潜力。

综合耕地制图、土地覆盖制图以及两类作物制图任务的实验结果可以看出，AgriFM在多任务、多区域和多尺度条件下均表现出稳定优势，相比传统深度学习模型和现有遥感基础模型，在不同传感器和不同时序长度条件下的性能下降幅度更小。结合多项可视化结果可以进一步发现，这种优势不仅体现在精度指标上，也体现在空间结构一致性和区域分布合理性上。整体研究结果说明，AgriFM的性能提升并非源于模型规模的简单扩展，而是来自其围绕农业物候过程构建的统一时序建模框架，这也是其在多种农业制图任务中均能取得稳定表现的根本原因。