【研究综述】大语言模型与基础模型在智慧农业中的全景路线图:从 GPT/SAM 到落地挑战

Large Language Models and Foundation Models in Smart Agriculture: Basics, Opportunities, and Challenges

第一作者：Jiajia Li

通讯作者：Zhaojian Li *, Xunyuan Yin *

📍 Michigan State University / Nanyang Technological University

▲ Fig.1 农业基础模型 (AFM) 构建总览：(左) 多模态数据采集阶段，涵盖文本、图像、3D 信号、音频和结构化数据；(中) 在预清洗的策划数据集上训练/微调 LLM 与 FM（如 BERT、GPT-4）；(右) 下游适配到具体农业任务，包括植物健康监测、杂草与作物管理、果实采摘、动物养殖等

研究背景

• 传统 DL 在农业场景（杂草检测、病害识别、果实采摘等）严重依赖大规模标注数据，采集成本高、泛化性差，单一任务模型无法跨场景迁移

• 迁移学习（ImageNet 预训练 + Fine-tune）和少样本学习虽可缓解标注瓶颈，但预训练数据仍局限在单一域和单一模态，跨域适应性受限

• 基础模型 (FM) 范式——在海量多域多模态数据上自监督预训练后，仅需极少量微调即可解决下游任务——尚未被农业界系统性探索

研究目标

系统性梳理通用 CS 领域的四类基础模型（语言 FM、视觉 FM、多模态 FM、强化学习 FM），评估其在智慧农业五大场景（智能作物管理、智能育种、智慧畜牧、精准水产、农业机器人）中的落地潜力与关键瓶颈。

四大模型

🔹 语言基础模型 (LFMs)

🔹 视觉基础模型 (VFMs)

🔹 多模态基础模型 (MFMs)

🔹 强化学习基础模型 (RLFMs)

案例

📊 FM 在农业的已验证收益

• SAM 的零样本分割在畜禽场景下已接近人工标注精度（mIoU 94.8%），直接节省了标注人力

• LLM 辅助农业机器人设计流程（概念构思 → CAD 引导 → 代码生成），将跨学科知识的获取门槛从"团队协作"降低到"对话交互"

▲ Fig.2 SAM 在笼养鸡分割任务上的零样本表现 (Yang et al., 2023c)：(a) 侧视 RGB 原图；(b) 侧视 SAM 分割掩膜输出（逐只鸡实例着色）；(c) 俯视 RGB 原图；(d) 俯视 SAM 分割掩膜输出——无需任何微调即可精确区分密集排列的个体鸡

🔬 四大新兴落地方向

• 智能作物管理：MFM 融合卫星图 + 土壤传感 + 市场价格多模态输入，解决农田级实时决策

• 智能育种：MFM 处理基因组-环境-互作三维组学数据，加速表型预测精度

• 精准水产：生成式 FM 补充水下低质量训练样本，RLFM 用于投喂决策优化

• 农业机器人：RLFM 驱动精准控制 + LFM 辅助概念设计，完整覆盖 AgriRobot 研发链

⚠️ 关键挑战

• 数据采集：农田环境变量多（作物品种、生长期、土壤、气象），采集需跨年时间序列，且农户数据隐私问题严峻，可借助联邦学习缓解

• 训练效率：VPGTrans 通过在已有 FM 之间迁移视觉提示生成器 (VPG)，实现 10x 以上训练加速，仅需少量数据

• 分布偏移：LLM 在话题分布漂移时性能骤降 88%，通过神经变分动态主题模型可压缩至 2%；SAM/CLIP 结合多任务学习和蒸馏也可缓解域漂移

• 边缘部署：FQ-ViT 全量化仅用 1/4 内存，精度损失约 1%；MobileSAM 比原版小 60 倍且性能持平，适合在无人机/田间传感器端推理

总结：

LFM 适合辅助研发流程（概念设计、元数据治理）；VFM 的 SAM 在标注稀缺的畜禽场景已即插即用；MFM 的 CLIP/BLIP 路径适合多源异构传感融合；而 RLFM 则是 AgriRobot 自主决策的最后一块拼图但目前完全空白。伴随 MobileSAM、VPGTrans 等轻量化/高效迁移技术的成熟，FM 从实验室走向田间的通道正在真正打通。

推荐指数

⭐⭐⭐⭐⭐

📄 论文链接

https://arxiv.org/abs/2308.06668