Scene-level point cloud understanding remains challenging due to diverse geometries, imbalanced category distributions, and highly varied spatial layouts. Existing methods improve object-level performance but rely on static network parameters during inference, limiting their adaptability to dynamic scene data. We propose PointTPA, a Test-time Parameter Adaptation framework that generates input-aware network parameters for scene-level point clouds. PointTPA adopts a Serialization-based Neighborhood Grouping (SNG) to form locally coherent patches and a Dynamic Parameter Projector (DPP) to produce patch-wise adaptive weights, enabling the backbone to adjust its behavior according to scene-specific variations while maintaining a low parameter overhead. Integrated into the PTv3 structure, PointTPA demonstrates strong parameter efficiency by introducing two lightweight modules of less than 2% of the backbone's parameters. Despite this minimal parameter overhead, PointTPA achieves 78.4% mIoU on ScanNet validation, surpassing existing parameter-efficient fine-tuning (PEFT) methods across multiple benchmarks, highlighting the efficacy of our test-time dynamic network parameter adaptation mechanism in enhancing 3D scene understanding. The code is available at https://github.com/H-EmbodVis/PointTPA.


翻译:场景级点云理解因几何形态多样、类别分布不均及空间布局高度复杂而仍具挑战性。现有方法虽能提升目标级性能,但在推理过程中依赖静态网络参数,限制了其对动态场景数据的适应能力。我们提出PointTPA(测试时参数自适应框架),通过生成输入感知的网络参数实现场景级点云处理。PointTPA采用基于序列化的邻域分组(SNG)构建局部连贯的补丁块,并引入动态参数投影器(DPP)生成逐补丁自适应权重,使主干网络能根据场景特定变化调整其行为,同时保持低参数开销。将PointTPA集成至PTv3架构后,通过引入两个参数总量不足主干网络2%的轻量模块,展现出卓越的参数效率。尽管参数增量极小,PointTPA在ScanNet验证集上仍达78.4% mIoU,全面超越现有参数高效微调(PEFT)方法,凸显了测试时动态网络参数自适应机制在增强三维场景理解中的有效性。代码已开源:https://github.com/H-EmbodVis/PointTPA。

0
下载
关闭预览

相关内容

【牛津大学博士论文】学习理解大规模3D点云,191页pdf
专知会员服务
38+阅读 · 2023年6月22日
复旦等最新《预训练3D点云的自监督学习》综述
专知会员服务
31+阅读 · 2023年5月10日
「深度学习3D点云处理」最新2022进展综述
专知会员服务
60+阅读 · 2022年9月4日
深度学习人脸特征点自动定位综述
专知会员服务
24+阅读 · 2021年12月1日
ICCV2019 | 高精度,高效率点云三维重建 PointMVSNet
计算机视觉life
23+阅读 · 2019年9月5日
【泡泡点云时空】PointConv: 3D点云的深度卷积网络
泡泡机器人SLAM
23+阅读 · 2019年6月12日
PointNet系列论文解读
人工智能前沿讲习班
17+阅读 · 2019年5月3日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
【牛津大学博士论文】学习理解大规模3D点云,191页pdf
专知会员服务
38+阅读 · 2023年6月22日
复旦等最新《预训练3D点云的自监督学习》综述
专知会员服务
31+阅读 · 2023年5月10日
「深度学习3D点云处理」最新2022进展综述
专知会员服务
60+阅读 · 2022年9月4日
深度学习人脸特征点自动定位综述
专知会员服务
24+阅读 · 2021年12月1日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员