从搜救任务到自动驾驶车辆等广泛的应用场景，均要求机器人具备对环境物体几何形态的感知与理解能力。物体感知系统需在多种场景中可靠工作，并在面对异常值及训练域分布偏移时保持预期性能水平。达成此性能目标需要采用能够识别并剔除异常值的稳健估计算法，以及能够在测试阶段持续改进基于学习的感知模块性能的技术。本论文通过以下创新方案应对这些挑战：（1）提出可证明最优求解器与图论框架相结合的方法，即使在高异常值率条件下仍能实现最先进的位姿估计性能；（2）开发自监督物体位姿估计器，在测试阶段提升性能，其精度可与最先进的监督方法相媲美；（3）提出无需CAD模型的物体形状重建与位姿估计测试时自适应方法。全文论证表明，通过综合运用优化与学习领域的多种工具，能够开发出在广泛条件下稳定运行的弹性物体感知系统。