【VLM助力智慧渔业】AutoDL+LLama Factory+Qwen2.5-VL-3B-Instruct-AWQ 微调
这是一个记录大模型微调的文章，旨在将VLM应用于农业，加速渔业智能化。算力平台：https://autodl.com/home微调框架：https://llamafactory.readthedocs.io/zh-cn/latest/模型：https://www.modelscope.cn/models/Qwen/Qwen2.5-VL-3B-Instruct-AWQ数据集：虾类养殖场景视觉问答，包含120张图片。见阅读原文。- 在AutoDL进行注册，并进行学生认证（申请学校个人邮箱）
- 下载隧道工具：https://autodl.com/docs/ssh_proxy/
其中LLama-Factory和flash_attn可能因为网络问题安装失败，请重复尝试。或者本地下载后再上传至服务器（和数据集上传的方式一样）。pip install datasets modelscopegit clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.gitcd LLaMA-Factorypip install -e ".[torch,metrics]"wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.8.3/flash_attn-2.8.3+cu12torch2.8cxx11abiTRUE-cp312-cp312-linux_x86_64.whlpip install flash_attn-2.8.3+cu12torch2.8cxx11abiTRUE-cp312-cp312-linux_x86_64.whlpip install autoawq --no-build-isolation
下载Qwen2.5-VL-3B-Instruct-AWQmodelscope download --model 'Qwen/Qwen2.5-VL-3B-Instruct-AWQ' --local_dir /root/model/
cd /rootunzip 20251001.zip -d /root/datasetrm 20251001.zip
输入以下命令开启LLama Factory的WEB UI界面打开下载的SSH隧道工具（双击文件夹里的exe文件），填上上图红框内的登录指令、密码、和端口然后如下图所示调整参数，感兴趣者可以自行调节其他参数训练过程中可以打开监控面板，入口在ssh密码同一个界面大概训练1h，可以在webui里看到损失和训练进度由于数据集比较少，所以未设置验证集和测试集，可以手动测试。进入chat页面。数据集大小和质量、模型参量大小、超参数都会影响最终的模型性能。
