近日,中国农业大学植物保护学院彩万志/李虎团队在国际生物学知名期刊《Cladistics》在线发表了题为《Multi-angle, cross-domain fusion strategy enhances automated insect identification and hierarchical categorization: a case study on assassin bugs (Hemiptera: Reduviidae)》的研究论文,该研究以猎蝽科(Reduviidae)为例,提出一种昆虫深度学习图像识别的多角度、跨场景融合新策略,显著提升了模型在复杂场景下的识别精度与泛化能力。
在生物多样性监测、农林与卫生害虫防控乃至公民科学中,快速准确地识别昆虫至关重要。然而,当前识别模型往往有这样的局限:(1)基于实验室拍摄的标准标本照片训练的模型,在鉴定同样标准的标本照片时表现优异,但面对野外复杂背景、不同角度的生态照片,准确率便大幅下降;(2)更关键的是,当遇到一个从未见过的新物种时,这些模型通常无法将其归入正确的属或亚科。
研究团队以形态高度多样化、种类繁多的猎蝽科昆虫为例,融合三种类型的图片:标准标本照(背、侧、腹三视图)、转盘多角度照(模拟不同观察角度)、野外生态照(来自iNaturalist的真实场景),构建了一个包含近1.2万张高质量图片的综合数据集(图1)。
图1 数据集图片类型
研究发现,仅仅将多角度信息进行融合,就能使物种识别准确率提升5.72%;进一步加入生态照后,准确率进一步提升了13.53%(图2)。另外模型还拥有强大的层级化分类(Hierarchical Categorization)能力。即使面对训练集中从未出现过的全新物种,该模型也能凭借学到的知识,将其准确地归入正确的亚科甚至属。更重要的是,这种策略能引导模型(ConvNeXt-B)将注意力集中在头部、前胸背板等分类学家关注的关键鉴别特征上,而非学习一些无关的背景(图3)。
图2 跨场景与分层分类测试Top1准确率比较(多重比较统计分析)
图3 基于 Std+Trb+Eco 模型的 Grad-CAM 可视化分析,展示了六个亚科代表物种在不同分类层级识别任务中的关注区域。
这意味着,对于系统分类学家而言,这不再只是一个简单的“识图”工具,而是一个能辅助科研的智能助手:
1. 高效初筛:可快速将海量待鉴定标本分拣到亚科或属一级,极大程度地节省专家投入的时间。
2. 启发假说:模型持续混淆的类群,可能暗示着潜在的非单系群或趋同演化现象,为后续的系统学研究提供线索甚至提出假设。
这项研究不仅通过多角度与跨场景融合策略,显著提升了深度学习昆虫识别模型在真实世界中的泛化能力,更展示了深度学习技术如何辅助经典分类学研究,架起了一座连接数字标本馆藏与野外生态影像的桥梁,为应对全球昆虫分类学家短缺的挑战,以及加速生物多样性研究,提供了一个兼具实用性和前瞻性的解决方案。
未来,研究团队计划将这一框架推广至更多昆虫类群,并探索融合地理位置、时间等多模态数据,构建更加精准、智能的下一代生物分类系统。
中国农业大学植物保护学院博士研究生王新凯为论文第一作者,中国农业大学昆虫多样性与基因组学创新团队的李虎教授、李轩昆副教授为共同通讯作者,彩万志教授、段元格副教授、宋凡副教授,博士研究生刘怀宇、熊昊洋、博士后陈卓,军事医学研究院赵嫕盛助理研究员,首都师范大学刘盈祺讲师参与了该项工作。该研究得到了国家重点研发计划、国家自然科学基金、中国农业大学2115人才培育发展计划等项目的支持。
论文链接:https://onlinelibrary.wiley.com/doi/10.1111/cla.70029