Passive acoustic monitoring (PAM) systems generate continuous recordings spanning months, yet automated bioacoustic analysis of whale calls requires two separate annotation efforts: binary presence labels for classification and precise temporal boundaries for localization. A binary label for a multi-minute recording can be assigned in seconds, but timestamping every call within it requires hours of expert effort. Providing both is infeasible at operational scale. We present DSMIL-LocNet, a weakly supervised multiple instance learning (MIL) framework that performs both classification and temporal localization using only recording-level presence/absence labels. Our dual-stream architecture integrates spectral and temporal features to process recordings of 2--30 minutes without the temporal compression that degrades existing CNN methods on long inputs. On the AcousticTrends BlueFinLibrary, DSMIL-LocNet achieves F1 scores of 0.88--0.91 on recordings of 300--1800s, where fully supervised CNN baselines degrade to 0.19--0.64. It also provides temporal localization that these baselines cannot produce without frame-level annotation. Code: https://github.com/Ragib-Amin-Nihal/DSMIL-Loc


翻译:被动声学监测(PAM)系统可生成持续数月连续录音,但鲸鱼叫声的自动化生物声学分析需要两类独立的标注工作:用于分类的二元存在性标签和用于定位的精确时间边界。多分钟录音的二元标签可在数秒内完成标注,但标注其中每段叫声则需要数小时的专业人力。在规模化运营中同时实现两者不可行。我们提出DSMIL-LocNet,一种弱监督多实例学习(MIL)框架,仅利用录音级别的存在/不存在标签即可同时完成分类与时间定位。我们的双流架构融合频谱与时间特征,可处理2-30分钟录音,且无需采用导致现有CNN方法在长输入中性能下降的时间压缩策略。在AcousticTrends BlueFinLibrary数据集上,DSMIL-LocNet在处理300-1800秒录音时达成0.88-0.91的F1分数,而全监督CNN基线方法性能降至0.19-0.64。该框架还提供了这些基线方法在没有帧级标注情况下无法生成的时间定位功能。代码:https://github.com/Ragib-Amin-Nihal/DSMIL-Loc

0
下载
关闭预览

相关内容

《基于深度学习的自动无源声学监测》最新45页技术报告
专知会员服务
23+阅读 · 2024年12月15日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
38+阅读 · 2019年7月25日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
基于弱监督的视频时序动作检测的介绍
极市平台
30+阅读 · 2019年2月6日
语音关键词检测方法综述【附PPT与视频资料】
人工智能前沿讲习班
10+阅读 · 2019年2月2日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
29+阅读 · 2019年1月17日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
《基于深度学习的自动无源声学监测》最新45页技术报告
专知会员服务
23+阅读 · 2024年12月15日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员