YOLO+扩散模型杀疯了!抗噪检测/农业视觉/数据增强三线开花,顶会论文直接拿捏!!

本文提出DiffYOLO框架，旨在提升已在高质量数据集上预训练的YOLO模型在低质量（含噪声）测试图像上的鲁棒性。不同于依赖大量噪声数据重训或构建新网络的现有方法，DiffYOLO通过从已训练的去噪扩散概率模型（DDPM）的Unet中提取中间特征，并将其融合后注入YOLO的neck模块，实现轻量级增强。该方法无需噪声标注数据，仅需微调（fine-tune）即可显著提升YOLO在噪声图像上的检测性能，且在无噪声高质量测试集上亦保持甚至提升精度。

创新点：

1. 首次将预训练扩散模型（DDPM）的特征提取能力引入YOLO目标检测框架，用于增强抗噪能力，而非仅用于图像生成。

2. 提出无需噪声数据集训练、不修改YOLO主干结构、仅通过特征注入与微调即可实现跨质量域泛化的轻量级适配范式。

3. 验证了扩散模型隐式学习的去噪先验可迁移至检测任务，其Unet中间特征能有效提升检测器对输入退化（如噪声）的鲁棒性。

针对结肠镜视频中息肉定位任务因标注成本高、可用真实数据极度稀缺（仅数百至数万图像）导致深度学习模型性能受限的问题，本文探索利用扩散模型（Denoising Diffusion Models）联合生成带定位标注（如边界框）的结肠镜图像，以扩充训练数据。研究系统评估多种扩散模型训练策略（如自编码器上采样、多分辨率混合训练、生成-真实数据协同训练等），并将其生成数据用于YOLO v9模型在极低数据量下的迁移学习预训练，定量分析预训练对最终定位性能的增益及所需最小真实数据规模。

创新点：

1. 首次系统性地将条件扩散模型用于联合生成结肠镜图像及其对应的息肉定位标注（非仅分割掩码），直接适配目标检测任务

2. 提出并比较四种面向下游任务分辨率的扩散模型训练范式（含上采样、多分辨率混合、生成-真实协同训练等），填补低数据医学图像生成中的工程实践空白

3. 在息肉定位任务中实证评估‘生成数据预训练 + 少量真实数据微调’范式的有效性，并量化界定其显著收益所需的最小真实样本量阈值

文章解析：

本文针对农业杂草检测中高质量标注数据稀缺的问题，提出一种基于Stable Diffusion的生成式AI图像增强方法，生成高保真、高多样性的合成杂草图像，以扩充训练数据集；重点评估该方法对轻量级实时检测模型（如YOLO nano）性能的影响，并在mAP50和mAP50-95指标上验证了显著提升，表明生成式AI增强可有效增强模型鲁棒性与精度。

创新点：

1. 首次系统评估Stable Diffusion生成的合成图像对边缘端轻量级YOLO模型（如YOLO nano）杂草检测性能的实际增益

2. 将生成式AI增强与传统数据增强方法进行对照实验，明确其在 fidelity、diversity 和下游任务泛化能力上的相对优势

3. 面向农业场景的时空异质性，利用生成式AI建模真实杂草-作物共存关系，而非简单图像变换

文章解析：

本文指出，将Direct Preference Optimization（DPO）直接应用于文本到图像（T2I）扩散模型时存在两大瓶颈：一是DPO对偏好对的微小质量差异高度敏感，易因忽略绝对分数差距而误判胜/负样本；二是高质量人工标注偏好数据（如Pick-a-Pic）成本高昂、难以更新且不可编辑。为此，作者提出Group Preference Optimization（GPO）——一种无需外部标注数据、仅利用模型自身在线生成图像构成样本组的自改进方法。GPO将DPO从成对扩展至组级，引入基于z-score的奖励标准化重加权机制，在不筛选数据的前提下稳定优化，并显著提升计数准确率、文本渲染和图文对齐等能力。

创新点：

1. 首次揭示偏好对边际（pair margin）是导致DPO在T2I任务中性能退化的关键因素

2. 提出组级偏好优化（GPO），突破DPO固有的成对比较范式，实现无监督、自驱动的模型改进

3. 设计基于组内标准化（z-score）的奖励重加权机制，兼顾组内相对偏好信号与训练稳定性，避免显式数据过滤

沃恩智慧CCF、SCI科研论文一对一在线指导

沃恩智慧导师来自QS前100/国内TOP10高校/审稿人/教授/博导/大厂高级算法工程师，个人科研成绩突出，近年来个人论文产出量在10篇以上、活跃在科研一线。

除了个人科研成绩突出，更有丰富的论文辅导经验，不仅自己能写出顶会一作，更指导出多名发独立一作论文的学生，满足人工智能各个方向的辅导需求！

大咖导师不仅给你带来学术上的指导，不少导师还有学术界、工业界、投资界等丰富的connection，助力你实现科研梦想。