浙江大学农业资源环境学科王珂团队提出用于提取果园的新型融合骨干神经网络

文章标题:An Improved Backbone Fusion Neural Network for Orchard Extraction

发表期刊:《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》（中科院2区| 最新影响因子：5.3）

引用格式：B. Dong, Z. Wang, C. Chen, K. Wang and J. Zhang, "An Improved Backbone Fusion Neural Network for Orchard Extraction," in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 18, pp. 17961-17974, 2025.

论文链接：https://doi.org/10.1109/JSTARS.2025.3586322

    果树是重要的经济作物，但其快速扩张也带来了一系列问题，及时、准确地监测果园面积对加强作物管理和优化布局至关重要。基于高分辨率遥感影像和深度学习语义分割模型的果园提取是当前的主流方案。然而，果园兼具自然林地的特点和人工种植的模式，在局部（如树冠边缘）和全局（规则排列）上都具有复杂的语义特征，容易与林地、草地等混淆。现有的基于单骨干神经网络（如CNN类骨干网或Transformer类骨干网）的语义分割模型难以同时高效捕获多尺度、多类型的特征，导致果园的提取精度较低。融合骨干网可能有助于解决该问题，但现有的骨干网融合方法（如同质融合、非渐进式混合融合、级联混合融合等）在融合架构和融合模块上存在局限，无法充分利用异构骨干网络的互补优势，特别是缺乏多向的信息流和动态特征的权重调整机制。因此，提出一套融合骨干网络优化果园的分割提取具有重要意义。

研究方法

    本研究提出了一套新型的骨干神经网络融合策略—平行协同自适应融合策略（FSC），主要包括两部分：

（1）双重信息交互融合架构：摒弃传统的主导-辅助结构。在每个阶段，将两个骨干网络输出的特征图通过FS块融合，得到的融合特征图同时作为两个骨干网络下一阶段的输入，实现了信息的双向平行交互。

（2）FS融合块：基于门控注意力机制的融合模块，取代传统骨干网的逐元素相加融合。该模块先将接收到的两个尺寸相同的特征图合并，随后进行降维处理，以减少计算量、避免过拟合，然后使用Softmax函数为两个骨干网络对应通道的特征动态生成注意力权重，最后进行加权求和。这使得网络能在不同阶段自适应地选择最优特征进行融合。在该策略基础上，本研究融合了两种性能优秀的骨干网—ResNet50和Swin Transformer，构建了融合骨干网络FSRNet。该网络采用四层编码器-解码器的U型网络结构，包含使用融合骨干网的编码器、解码器和跳跃连接部分。在跳跃连接处，引入一个结合了通道注意力、空间注意力和上述FS块的联合注意力模块，以消除编码器与解码器特征图之间的语义歧义，实现更有效的特征融合。损失函数方面，针对果园可能存在样本不平衡不平衡问题，采用边缘交叉熵损失函数IELoss和Dice损失函数进行加权组合。

    本研究以宁波奉化区的桃园作为实验对象，使用高分二号（GF-2）卫星影像（空间分辨率0.8米），通过人工目视解译结合第三次全国国土调查数据制作真实标签。本研究的数据集进行了增强：在RGB三波段数据基础上，从GF-2影像中提取了归一化植被指数（NDVI），和基于变异系数提取的最优纹理特征（熵），共同构建数据集，以丰富光谱和纹理信息。（图1）。

图1 研究的技术路线及融合骨干网络FSRNet的整体架构

（2）FSRNet与不同模型的对比

    本研究对比了FSRNet与常用的深度学习语义分割模型在果树提取上的性能（表2）。首先，对比了基于单一骨干网络的五种经典语义分割模型（DeepLabv3+，PSPNet，SegNet，UNet，FCN）。FSRNet的OA（0.897）和F1（0.864）均显著优于所有单骨干网模型。相比单骨干网络，FSRNet 的F1分数平均提升了约8.5%，OA平均提升了约4.2%，这证明了多骨干融合策略在特征提取能力上具有一定的优势。可视化分类结果（图4）显示，FSRNet准确识别了大部分的果园区域。与之相比，FCN表现出显著的误分类问题，而SegNet、UNet和DeepLabv3+的分类表现稍好，但在更精细的细节上仍显示出更多的混淆。

    随后，将FSRNet与六种先进的多骨干融合网络进行了对比，包括 CBNet（ResNet50版和SwinTransformer版）、ABNet、SWT-CNN、FECNet 以及 ViT-Hybrid。对比结果显示，传统融合模型如 CBNet-Res 和 CBNet-Swin 由于缺乏动态权重调整，在全局特征捕获或边界分割上存在明显短板，其F1 分数分别在0.819和0.828左右。ABNet因缺乏自适应融合策略，误分类较多，性能相对较低（F1=0.807）。表现最接近FSRNet 的是 ViT-Hybrid 模型，其 F1 分数约为 0.854。FSRNet 最终以0.897的OA和0.864 的 F1 分数排名第一，相比 ViT-Hybrid，OA 提升了约 1%，F1 分数提升了 0.037（即约 1.2%）。图5展示了不同多融合骨干模型的分类结果。其中，CBNet-Res对一些连片果园区域的识别效果不佳。CBNet-Swin 在规则分布的果园区域表现稍好，但边界分割不准确。ABNet 在大多数图像中存在显著的误分类。SWT-CNN和FECNet整体上误分类较少，但边界分割仍不够充分。ViT-Hybrid缺乏细节精度。整体而言，FSRNet在果园边界分割和复杂背景抑制方面展现出最强的鲁棒性。

（3）融合骨干网对于果园提取发挥的作用

如图6所示，果园提取中的主要误分和漏分集中在森林和裸地区域。这是因为茂密的果园和森林都可被归为植被，这些土地利用类型的光谱特征高度相似，而新种植或收割后的果园在光谱特征上与裸地几乎无法区分。此外，果园树冠有时可能非常密集，其树木间距类似于某些人工林，而稀疏的果园则与裸地极为相似，这使得仅凭纹理特征难以区分这些土地类型。FSRNet 在应对这些挑战方面表现出色，显著降低了这些土地类型之间的混淆。这种成功归功于该模型能够综合利用局部特征来区分果园边界，并利用全局信息来保持果园的连续性和完整性。这种能力特别适合果园景观的双重特征，即结合了局部纹理变化（如树冠边缘效应）和全局规则的种植格局。相比之下，其他模型通常只孤立地关注局部纹理特征或全局信息，因此难以准确识别果园。例如，ResNet的语义分割结果虽然边缘较为清晰与真实边界更为一致，但明显存在大量的错分区域，而Swin Transformer虽然错分更少，但边缘上的漏分情况更为严重。

图6 FSRNet，SwinTransformer以及ResNet50对果园的漏分与误分结果对比

研究价值