Foundation-model pipelines for individual-level livestock monitoring -- combining open-vocabulary detection, promptable video segmentation, and self-supervised visual embeddings -- have raised the accuracy ceiling of precision livestock farming (PLF), but their GPU memory budgets exceed the envelope of commodity edge accelerators. To close this gap, the 446M-parameter Perception Encoder (PE-ViT-L+) backbone of SAM 3 is distilled into a 40.66M-parameter multi-scale student through three mechanisms: a Feature Pyramid Network student encoder built on TinyViT-21M-512, a four-term direction-then-scale distillation loss, and backbone-substitution inference with sliding-window session pruning that bounds streaming GPU memory growth. The DINOv3 family includes a pre-distilled ViT-S/16 variant (21.6M parameters) released alongside a 6716M-parameter ViT-7B teacher; the ViT-S (21M) variant is adopted as the per-individual embedder. On the Edinburgh Pig dataset, the compressed pipeline reaches 92.29% MOTA and 96.15% IDF1 against the SAM 3 teacher (1.68- and 0.84-percentage-point losses), achieves a 7.77-fold reduction in system-level parameters and a 3.01-fold reduction in peak VRAM (19.52GB -> 6.49GB), and reaches 97.34% top-1 accuracy with 91.67% macro-F1 on nine-class pig behaviour classification. The pipeline fits inside an NVIDIA Jetson Orin NX 16GB envelope with 4.9GB of headroom, supporting a proposed -- but not yet empirically validated -- on-device embedding-pool re-identification mechanism whose per-individual footprint of approximately 94MB per animal per year produces a longitudinal visual record amenable to retrospective association with disease, lameness, reproductive, and growth outcome labels.


翻译:基于基础模型流水线的个体级牲畜监测——融合开放词汇检测、可提示视频分割与自监督视觉嵌入——已提升了精准畜牧业(PLF)的精度上限,但其GPU内存需求超出商用边缘加速器的承载范围。为弥合这一差距,本文将SAM 3中参数规模达4.46亿的感知编码器(PE-ViT-L+)主干网络,通过三种机制蒸馏至参数规模为4066万的多尺度学生网络:基于TinyViT-21M-512构建的特征金字塔网络学生编码器、四项方向-尺度级联蒸馏损失函数,以及基于滑动窗口会话剪枝的主干替换推理方法(可约束流式GPU内存增长)。DINOv3系列包含预蒸馏变体ViT-S/16(参数2160万)及同步发布的6716M参数ViT-7B教师模型,本文采用其中参数规模2100万的ViT-S变体作为个体级嵌入器。在爱丁堡猪数据集上,压缩流水线相较SAM 3教师模型实现92.29%的MOTA与96.15%的IDF1(分别损失1.68与0.84个百分点),系统级参数规模缩减7.77倍,峰值显存从19.52GB降至6.49GB(缩减3.01倍),并在九类猪行为分类任务中达到97.34%的top-1准确率与91.67%的宏F1分数。该流水线适配于显存容量16GB的NVIDIA Jetson Orin NX边缘平台,保留4.9GB余量,支持所提出的(尚未经实验验证的)设备端嵌入池重识别机制——该机制以每头牲畜每年约94MB的个体级存储开销,生成可回溯式关联疾病、跛行、繁殖及生长结局标签的时序视觉记录。

0
下载
关闭预览

相关内容

视觉-语言模型在物体检测与分割中的应用:综述与评估
专知会员服务
25+阅读 · 2025年4月28日
SAM2 用于图像和视频分割:全面综述
专知会员服务
17+阅读 · 2025年3月22日
针对预训练视觉模型的参数高效微调
专知会员服务
22+阅读 · 2024年2月7日
分割任何模型(SAM)综述: 视觉基础模型与提示工程的结合
专知会员服务
53+阅读 · 2023年6月16日
面向实时视频流分析的边缘计算技术
专知会员服务
79+阅读 · 2022年6月5日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月28日
VIP会员
最新内容
《无人地面战车(UGV)的崛起》报告
专知会员服务
6+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
10+阅读 · 7月16日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员