Automated bioacoustic analysis is essential for biodiversity monitoring and conservation, requiring advanced deep learning models that can adapt to diverse bioacoustic tasks. This article presents a comprehensive review of large-scale pretrained bioacoustic foundation models and systematically investigates their transferability across multiple bioacoustic classification tasks. We overview bioacoustic representation learning by analysing pretraining data sources and benchmarks. On this basis, we review bioacoustic foundation models, dissecting the models' training data, preprocessing, augmentations, architecture, and training paradigm. Additionally, we conduct an extensive empirical study of selected models on the BEANS and BirdSet benchmarks, evaluating generalisability under linear and attentive probing. Our experimental analysis reveals that Perch~2.0 achieves the highest BirdSet score (restricted evaluation) and the strongest linear probing result on BEANS, building on diverse multi-taxa supervised pretraining; that BirdMAE is the best model among probing-based strategies on BirdSet and second on BEANS after BEATs$_{NLM}$, the encoder of NatureLM-audio; that attentive probing is beneficial to extract the full performance of transformer-based models; and that general-purpose audio models trained with self-supervised learning on AudioSet outperform many specialised bird sound models on BEANS when evaluated with attentive probing. These findings provide valuable guidance for practitioners selecting appropriate models to adapt them to new bioacoustic classification tasks via probing.


翻译:自动化生物声学分析对于生物多样性监测与保护至关重要,需要能够适应多样化生物声学任务的先进深度学习模型。本文全面回顾了大规模预训练的生物声学基础模型,并系统探究了它们在多类生物声学分类任务中的可迁移性。通过分析预训练数据源与基准测试,我们概述了生物声学表示学习。在此基础上,我们梳理了生物声学基础模型,深入剖析了其训练数据、预处理、数据增强、架构及训练范式。此外,我们基于BEANS与BirdSet基准对选定模型开展了广泛的实证研究,在线性与注意力探测下评估其泛化能力。实验分析揭示:Perch~2.0凭借多样化的多类群监督预训练,在BirdSet(受限评估)中获得最高得分,并在BEANS上取得最强的线性探测结果;BirdMAE是BirdSet上基于探测策略的最佳模型,在BEANS上仅次于NatureLM-audio的编码器BEATs$_{NLM}$;注意力探测有利于充分挖掘基于Transformer模型的性能;在BEANS上采用注意力探测评估时,通过自监督学习在AudioSet上训练的通用音频模型优于许多专用鸟类声音模型。这些发现为实践者选择适配模型以通过探测适应新生物声学分类任务提供了宝贵指导。

0
下载
关闭预览

相关内容

具有动能的生命体。
【NTU博士论文】基础模型的高效适配
专知会员服务
15+阅读 · 3月24日
用于多模态对齐的基础模型表征潜力:一项综述
专知会员服务
18+阅读 · 2025年10月8日
大型语言模型在生物信息学中的应用综述
专知会员服务
16+阅读 · 2025年3月15日
生物医学基础模型:综述
专知会员服务
36+阅读 · 2025年3月8日
大规模语言模型在生物信息学中的应用
专知会员服务
18+阅读 · 2025年1月16日
【博士论文】高效且有效的基础大型多模态模型学习
专知会员服务
41+阅读 · 2024年10月21日
大模型如何做音乐?最新89页《音乐基础模型》综述
专知会员服务
32+阅读 · 2024年8月27日
遥感基础模型发展综述与未来设想
专知会员服务
20+阅读 · 2024年8月13日
多语言语音识别声学模型建模方法最新进展
专知会员服务
36+阅读 · 2022年2月7日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
多模态深度学习综述,18页pdf
专知
51+阅读 · 2020年3月29日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
【好文解析】ICASSP最佳学生论文:深度对抗声学模型训练框架
中国科学院自动化研究所
13+阅读 · 2018年4月28日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
18+阅读 · 2023年9月2日
Arxiv
21+阅读 · 2023年7月12日
Arxiv
12+阅读 · 2023年5月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
【NTU博士论文】基础模型的高效适配
专知会员服务
15+阅读 · 3月24日
用于多模态对齐的基础模型表征潜力:一项综述
专知会员服务
18+阅读 · 2025年10月8日
大型语言模型在生物信息学中的应用综述
专知会员服务
16+阅读 · 2025年3月15日
生物医学基础模型:综述
专知会员服务
36+阅读 · 2025年3月8日
大规模语言模型在生物信息学中的应用
专知会员服务
18+阅读 · 2025年1月16日
【博士论文】高效且有效的基础大型多模态模型学习
专知会员服务
41+阅读 · 2024年10月21日
大模型如何做音乐?最新89页《音乐基础模型》综述
专知会员服务
32+阅读 · 2024年8月27日
遥感基础模型发展综述与未来设想
专知会员服务
20+阅读 · 2024年8月13日
多语言语音识别声学模型建模方法最新进展
专知会员服务
36+阅读 · 2022年2月7日
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员