Representing and rendering dynamic scenes with complex motions remains challenging in computer vision and graphics. Recent dynamic view synthesis methods achieve high-quality rendering but often produce physically implausible motions. We introduce NeHaD, a neural deformation field for dynamic Gaussian Splatting governed by Hamiltonian mechanics. Our key observation is that existing methods using MLPs to predict deformation fields introduce inevitable biases, resulting in unnatural dynamics. By incorporating physics priors, we achieve robust and realistic dynamic scene rendering. Hamiltonian mechanics provides an ideal framework for modeling Gaussian deformation fields due to their shared phase-space structure, where primitives evolve along energy-conserving trajectories. We employ Hamiltonian neural networks to implicitly learn underlying physical laws governing deformation. Meanwhile, we introduce Boltzmann equilibrium decomposition, an energy-aware mechanism that adaptively separates static and dynamic Gaussians based on their spatial-temporal energy states for flexible rendering. To handle real-world dissipation, we employ second-order symplectic integration and local rigidity regularization as physics-informed constraints for robust dynamics modeling. Additionally, we extend NeHaD to adaptive streaming through scale-aware mipmapping and progressive optimization. Extensive experiments demonstrate that NeHaD achieves physically plausible results with a rendering quality-efficiency trade-off. To our knowledge, this is the first exploration leveraging Hamiltonian mechanics for neural Gaussian deformation, enabling physically realistic dynamic scene rendering with streaming capabilities.


翻译:在计算机视觉与图形学中,表示和渲染具有复杂运动的动态场景仍具挑战性。近期的动态视图合成方法虽能实现高质量渲染,但常产生物理上不合理的运动。我们提出了NeHaD,一种基于哈密顿力学驱动的动态高斯溅射神经变形场。我们的核心观察是:现有方法使用多层感知机预测变形场会引入不可避免的偏差,导致非自然的动态效果。通过引入物理先验,我们实现了鲁棒且逼真的动态场景渲染。由于哈密顿力学与高斯变形场共享相空间结构——其中基元沿能量守恒轨迹演化,该力学框架为建模高斯变形场提供了理想基础。我们采用哈密顿神经网络隐式学习控制变形的底层物理规律。同时,我们提出玻尔兹曼平衡分解机制,这是一种能量感知方法,能根据高斯基元的时空能量状态自适应分离静态与动态分量,实现灵活渲染。为处理现实世界中的耗散效应,我们采用二阶辛积分与局部刚性正则化作为物理约束,以建立鲁棒的动态模型。此外,我们通过尺度感知的mipmapping与渐进优化技术,将NeHaD扩展至自适应流式传输。大量实验表明,NeHaD在渲染质量与效率间取得平衡,实现了物理合理的渲染效果。据我们所知,这是首次利用哈密顿力学实现神经高斯变形的研究,为具备流式传输能力的物理真实动态场景渲染提供了新途径。

0
下载
关闭预览

相关内容

VIP会员
最新内容
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
5+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
8+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
6+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
13+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
9+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
4+阅读 · 4月24日
Top
微信扫码咨询专知VIP会员