AgriFM:面向农业制图的多源时序遥感基础模型

一、总体框架

本文将方法划分为两个紧密耦合的阶段：第一阶段从全球多源遥感序列中构建预训练样本，并从全球土地覆盖产品中抽取地表覆盖比例作为监督信号；第二阶段在完成基础模型预训练后，构建一个面向多任务的统一制图框架，通过可扩展解码器将主干输出转化为不同下游任务的像素级制图结果。该设计的关键点在于：用“地表覆盖比例”把不同传感器（分辨率、光谱配置、重访周期不同）的表示学习拉到同一语义目标上，同时让模型在结构上具备从“预训练表征”平滑迁移到“多任务制图”的能力。

二. 全球多源时序预训练数据构建

作者构建了一个覆盖全球的多源时序预训练数据集，输入来自 MODIS（250/500 m）、Landsat-8/9（30 m）、Sentinel-2（10/20 m）。数据被裁剪为 224×224 图像块，并为每个样本生成至少覆盖完整年度的时间序列（最短序列长度≥16），同时过滤“几乎全为背景地类”的样本以增强监督有效性。数据规模上，最终总计 25,244,211 张影像：其中 MODIS 1,574,451 张、Landsat 13,392,029 张、Sentinel-2 10,277,731 张；对应的时序序列数量分别为 51,964 / 335,985 / 345,843。这种“全球分布 + 年周期时序”的构造，使模型在预训练阶段就能接触到多样的作物物候与地表类型组合，为后续农业制图任务提供更强的时空先验。

三. 主干网络：改进 Video Swin

AgriFM 的主干基于 Video Swin Transformer，但核心改动在于：在分层下采样（patch merging）时不仅压缩空间分辨率，也同步压缩时间维度，从而让模型能在计算可控的前提下处理更长、更灵活的序列输入（文中指出预训练迭代中可动态采样 3–32 帧）。与此同时，为三种传感器分别设计 3D Conv 的 patch embedding，使多源输入先被投影到统一 token 空间，再进入四阶段层次化时空特征提取。该结构兼顾“田块边界等细粒度空间细节”与“作物生长季的长时序动态”，为农业制图类像素任务提供更贴合的表征学习路径。

四. 多任务覆盖、数据划分与指标体系

为验证“农业制图通用基础模型”的有效性，作者选择了 5 类下游任务，覆盖法国 ARA 区域的耕地/边界/用地覆被制图，以及亚洲季风区水稻制图、亚洲冬小麦制图。数据划分强调时间泛化：例如 ARA 区域使用 2018 训练、2019 验证、2020 测试；输入时序长度也按任务设定（如 32 帧、24 帧等），以验证模型对不同时间长度的适配能力。评估上采用 Precision/Recall/F1/OA 等指标，并对“正类（如耕地/边界/作物）”与“背景+正类平均”分别汇报，确保既衡量目标类别识别能力，也衡量整体像素级制图质量。

AgriFM 在精细空间任务上优势最明显

在 ARA（France）耕地制图任务中，AgriFM 的正类 F1 达到 83.09%，OA 84.61%，显著超过多种 ViT-based RSFMs（如 Prithvi 正类 F1 73.69%）与传统 CNN 结构；即便与 Swin-based（但不显式建模时间）的 GFM 相比，AgriFM 仍从 81.06% 提升到 83.09%，体现“层次化空间特征 + 时序预训练”的叠加收益。边界提取任务差异更大：AgriFM 正类 F1 为 76.27%、OA 81.84%；而 Prithvi 仅 53.45%，说明固定 patch 下采样导致的空间细节损失对“边界类”极其致命。可视化结果进一步表明，AgriFM 的边界更连续、田块轮廓更清晰，能更好地兼顾大范围制图与局部精细结构。

农业用地/覆被精细分类

在农业用地/覆被（16 类）制图中，AgriFM 的宏平均 F1 达到 60.49%，OA 77.38%，相较 PIS（54.51%）与 GFM（57.75%）仍有稳定提升；与 CNN-LSTM（F1 44.29%）以及表现较好的 ViT-based SMARTIES（F1 47.65%）相比，优势更为显著。作者通过多视角分析指出：一些模型在“少样本类别”或“多样本类别”上会出现偏科，而 AgriFM 的曲线更平稳，说明其表征在类别不均衡下更鲁棒；可视化对比也显示，AgriFM 在保持田块边界清晰的同时，显著减少了类别混淆与小地块遗漏，这对“早期（仅用上半年序列）识别作物布局”的农业管理需求尤其关键。

亚洲季风区水稻制图

水稻制图任务中，AgriFM 在正类（paddy rice）上取得 Precision 84.03%、Recall 90.12%、F1 86.97%，整体 OA 92.14%。与同为层次化结构的 PIS（F1 86.49%）和 GFM（F1 86.31%）相比，AgriFM 进一步提升，且在 precision 上更占优，意味着在保持高召回的同时更有效抑制误报。可视化结果显示，AgriFM 在若干具有代表性的区域能更准确勾勒稻田斑块，尤其在地类混杂或纹理细碎区域更不易出现“断裂、漏检或过度扩张”的现象，体现其对复杂时空纹理与物候差异的综合建模能力。

亚洲冬小麦制图

冬小麦制图使用 MODIS（250 m）月合成序列（11 个关键阶段），AgriFM 的冬小麦正类 Precision 75.56%、Recall 76.14%、F1 75.85%，OA 97.27%。对比 ViT-based Prithvi（F1 66.61%）与 SatMAE（F1 67.17%），AgriFM 提升幅度接近 8–9 个百分点；即便与 PIS（F1 74.47%）和 GFM（F1 74.33%）相比，仍能取得更高 F1，说明其“面向农业的多源时序预训练”确实学到了对冬小麦物候更敏感的判别表征。可视化对比同样表明，AgriFM 在一些易混淆区域能更稳定地恢复冬小麦空间分布，减少斑块破碎与漏检。

总体而言，AgriFM 的贡献可以概括为三点：其一，在结构上将 Video Swin 的层次化优势与时空同步下采样结合，使模型能在农业像素级制图任务中同时保留空间细节与长时序物候信息；其二，在数据与监督上通过全球多源时序数据集与“地表覆盖比例监督 + mean-teacher 抑噪”形成可扩展的预训练范式，为多传感器、跨任务迁移奠定基础；其三，在应用层面通过统一解码器支持多种农业制图任务，并在耕地/边界/用地覆被/水稻/冬小麦等场景中取得持续领先的量化结果与更优的空间制图质量。与此同时，论文也指出未来可进一步探索“多源配准数据的潜在收益”以及“更任务无关的解码器设计”，以拓展到回归类或点尺度预测等更广泛的地球观测任务。