作物叶片在植物生长过程中扮演着至关重要的角色，叶片表型的准确提取对于精准作物管理、育种和病害防控至关重要。然而，传统的叶片像素提取方法往往依赖人工标注，不仅费时费力，且存在较强的主观性，难以适应大规模、高通量的作物表型调查需求。随着RGB图像采集技术的不断发展，如何从这些普遍存在的低成本图像中自动且高效地提取叶片像素成为研究的关键。现有的基于阈值、数学形态学、机器学习和深度学习的方法在某些场景下仍然存在性能不稳定、对光照变化敏感及需人工干预等问题。针对这些挑战，本研究提出了一种无人工干预的自动化方法，通过结合拓扑特征和机器学习算法，旨在从RGB图像中准确提取作物叶片像素。此方法不依赖于人工标签，可广泛适用于多源RGB图像数据，为作物表型研究提供一种高效、普适的解决方案。
二、研究方法
本研究提出的无人工隔离作物叶片像素的方法通过四个主要步骤实现，方法流程如图1所示，包含以下步骤：
1、光谱特征转换：
在RGB图像中，由于叶片和背景的光谱特征差异明显，本研究选用了植被提取颜色指数（CIVE）和超绿指数（ExG）两种颜色指数。这些颜色指数能够有效突出叶片的光谱信号，同时抑制背景的干扰。通过对RGB图像进行光谱特征转换，分别生成CIVE和ExG图像，以突出叶片区域的光谱特征。图2展示了在CIVE和ExG空间中，叶片与背景像素的强度值分布情况，表明这两种颜色指数能够有效分离叶片和背景像素。
图2.同一拟南芥图像在(a)RGB、(b)红波段、(c)绿波段、(d)蓝波段、(e)CIVE、(f)ExG空间的强度值空间分布及其叶片与背景像素的一一对应频率分布直方图。红色虚线圆圈突出不同空间中所有叶片像素值的强度范围。
2、特征空间构建与分布规律总结：
通过构建CIVE-ExG空间，本研究总结了叶片和背景像素在该空间中的强度分布规律。图3展示了不同RGB图像在CIVE-ExG空间中叶片与背景像素的强度分布，显示了不同图像间的分布规律差异。利用该强度分布规律，可以自动标记出位于空间中左上角（叶片像素）和右下角（背景像素）的纯净像素，这些标记将作为后续训练的基础数据。
图3.对应任意6个展示拟南芥不同生长状态场景RGB图像的CIVE-ExG空间中叶片与背景像素强度值分布。深蓝色和浅黄色虚线圆圈中高亮的红色和蓝色点分别指纯净叶片与背景像素。
3、根据拓扑规律标记纯净像素：
在CIVE-ExG空间中，叶片与背景的像素具有明显的拓扑特征。为确保标记的准确性，本研究结合局部自适应阈值分割（ATS）算法，自动标记出CIVE-ExG空间中最接近左上角的10%像素作为纯净叶片像素，最接近右下角的10%像素作为纯净背景像素。这种标记方法避免了人工干预，确保了标签的高质量和准确性。
4、机器学习算法应用：
随后，利用随机森林（RF）算法对标记的纯净像素进行训练，构建作物叶片像素隔离模型。RF算法通过对输入RGB图像、CIVE图和ExG图的特征进行学习，成功地将叶片像素从背景中隔离出来。此外，为提高叶片像素的提取质量，采用ACE（自适应无边缘活动轮廓）算法进行后处理，精炼前景图像
三、主要的研究结果
1、图4展示了所提方法中，通过CIVE和ExG空间标记的纯净叶片和背景像素的空间分布，结果表明，标记的纯净叶片像素在CIVE-ExG空间中紧密集中在左上角区域，背景像素则位于右下角。这表明，拓扑策略能够准确地标记叶片和背景像素，有效为后续训练提供高质量的数据。
图4.对应任意6张展示拟南芥不同生长状态RGB图像的CIVE-ExG空间中标记纯净叶片与背景像素强度值分布及其在原图上对应位置。CIVE-ExG空间中的靛蓝色点及RGB图像上靛蓝色像素代表标记的纯净叶片像素。
2、图5展示了所提方法与Otsu、ATS、标记分水岭等传统方法在多个数据集上的性能对比。结果显示，所提方法在准确率、召回率、Dice、Manhattan和Jaccard的五个评估指标上均表现出色，平均值分别为0.9799、0.9177、0.9416、0.9416和0.9007，明显优于其他方法，且在多种背景和场景下均具有较好的鲁棒性。
图5.CVPPP数据集相同作物利用OSTU、ATS、标记分水岭和所提方法隔离叶片像素细节，其中(a)和(b)指拟南芥生长状态多样的原图与参考图像，(b)、(c)、(d)或(e)分别呈现OSTU、ATS、标记分水岭和所提方法获取的对应作物叶片像素前景图像。
3、图6显示所提方法在复杂背景下具有较强的抗干扰能力，能够准确从背景中提取叶片像素，尤其在阴影影响较大的场景中表现稳定。与Otsu、ATS和标记分水岭方法相比，所提方法在多样环境下具有更高的可靠性，提取的叶片图像与参考图像差异最小。ATS方法在光照均匀背景下表现较好，但在复杂背景下的效果较差；Otsu方法对阴影敏感，标记分水岭方法则难以有效区分叶片和背景。
图6.不同自然场景多种作物利用OSTU、ATS、标记分水岭和所提方法隔离叶片像素细节，其中(a)指不同自然场景多种作物的原图，(b)、(c)、(d)或(e)分别呈现OSTU、ATS、标记分水岭和所提方法获取的对应作物叶片像素前景图像。
4、表1显示所提方法在1000张RGB图像的测试中表现优异，五个评估指标的平均值均高于0.90，性能接近或超越现有方法。通过CIVE和ExG颜色指数增强叶片光谱信号，并结合拓扑策略自动标记纯净像素，确保了标记的准确性和可靠性。
表1.所提方法与最新现有方法作物叶片像素隔离准确性比较
四、结论
本研究提出的基于拓扑策略的无人工作物叶片像素提取方法，成功实现了从RGB图像中自动提取叶片像素，并在多个数据集上验证了该方法的有效性。所提方法具有较高的精度、鲁棒性和适应性，能够在不同场景和背景下稳定地提取作物叶片像素。与传统方法相比，所提方法在性能上具有显著提升，尤其在复杂背景下表现尤为突出。该方法不仅减少了人工干预的需求，还具有广泛的应用前景，能够为未来的高通量作物表型调查提供强有力的支持。
文献来源
XushengJi,ZhenjiangZhou,MostafaGouda,WenkaiZhang,YongHe,GongyinYe,XiaoliLi,Anovellabor-freemethodforisolatingcropleafpixelsfromRGBimagery:Generatinglabelsviaatopologicalstrategy,ComputersandElectronicsinAgriculture,Volume218,2024
https://doi.org/10.1016/j.compag.2024.108631
转自绿水智慧农业
监制：王丽娇
10个月宝宝每天需要喝多少奶粉？
