【论文精选】河南农业大学付博,姬小明,等:数据集划分及预处理方法对烟叶化学成分近红外定量模型的影响

当前烟叶化学成分的检测主要依靠流动分析、气质联用或液质联用等技术，普遍存在前处理烦琐、分析周期长等问题。近红外光谱技术具有无损、快速、绿色、高效的特点，为化学成分无损检测、质量快速判定等领域研究提供了新方法。近年来，烟叶近红外研究主要关注模型构建算法和特征波段的筛选，而在数据集划分和预处理组合方面研究较少。

数据集划分是将样本划分为校正集和预测集，校正集样本特征信息的涵盖范围影响模型的预测准确性，而预测集的分布影响模型评价的准确性。数据集划分比例决定了建模数据和模型评价数据的个数，数据集划分比例不合理会直接影响模型的精准度。

不同预处理方法的组合、包括组合的顺序均能够对模型的准确性造成影响。对于不同的数据集，由于信息和复杂性不同，其最佳预处理方法及组合也不同。即使相同数据集的光谱相同，不同组分的预处理方法也不相同。

因此，数据集的划分方式和预处理方法是建立稳定分析模型的关键。通过研究不同数据集划分方式及划分比例对模型的影响、预处理方式对模型准确率的影响，能够为建立准确、稳定的烟叶化学成分分析模型奠定基础。

烟叶样品是采集于河南、云南、贵州、四川、福建、湖南、黑龙江等产区的210份C3F和B2F初烤烟叶。烟叶总糖、还原糖、烟碱、总氮、钾和氯含量测量参考烟草行业标准。将烟叶样品烘干后研磨成粉末，利用傅里叶变换近红外光谱仪进行光谱采集。

分别用RS、LS、SPXY和KS数据集划分方法对样本进行分割，统计校正集和预测集的分段区间分布频率，绘制校正集和预测集分布散点图，直观展示数据集划分的均匀性。利用PLS回归算法构建定量模型，通过模型效果评价数据集划分方式的优劣。数据集划分比例以预测集占总数据集的比例表示，预测集比例范围为20%~50%，间隔1%递进形成30种数据集划分比例，分别构建PLS定量模型，通过模型效果筛选最佳数据集划分比例。

选用一阶导数、二阶导数、移动平均平滑（MA）、均值归一化（MEAN）、多元散射校正（MSC）、极差归一化（MAXMIN）、标准正态变量变换和小波变换（WAVE）8种预处理算法，按照无预处理、单种预处理、组合预处理等方法探讨预处理方法的优劣。组合预处理方式分别采用2~4种预处理方式叠加，通过随机组合形成69种组合方式，包括组合顺序和预处理叠加个数。数据集利用SPXY方式划分数据集，预测集比例为30%。构建模型，并通过相关系数进行评价。

结果表明，数据集通过SPXY方式划分的校正集和预测集分布更均匀，预测集比例为24%时，构建的模型预测能力更强。烟叶总糖和氯离子定量模型最佳预处理组合为MSC+MA+WAVE；还原糖和烟碱定量模型最佳预处理组合为MAXMIN+MSC+WAVE；钾离子预处理组合为MSC+WAVE，总氮则以原始光谱数据构建的模型预测能力最强。因此，烟叶常规化学成分近红外定量模型经过数据集划分和预处理优化后，提高了模型准确率。