Computer vision is an area that has been growing continuously. With the advance of technologies with a first-person view, new development opportunities have emerged inside the area. Mixed reality promotes virtual environments with objects from the physical world shown in real time. For that, it's necessary to be concerned with the immersion of the user in this simulated environment, increasingly seeking to bring it closer to a possible desired reality. This paper proposes the development of image processing in order to perform the segmentation of images to identify what is foreground and background in order to facilitate the union of virtual and real images. Thus, the present work obtain real images of the user using the off-highway truck simulator CAT793F, through a camera, to be able to perform the segmentation of such images with artificial intelligence techniques.The convolutional neural network architectures "U-net" and "DeepLabV3+" are applied to perform image segmentation. As a result, metrics with around 90% accuracy were presented and and the best model was determined.


翻译:计算机视觉是一个持续发展的领域。随着第一人称视角技术的进步,该领域内涌现出新的发展机遇。混合现实技术通过实时融合物理世界中的虚拟环境与实体对象,需要重点关注用户在模拟环境中的沉浸感,并持续优化使其更贴近预期现实。本文提出通过图像处理实现前景与背景的语义分割,以促进虚拟与真实图像的融合。研究基于CAT793F非公路自卸卡车模拟器,通过摄像头采集用户真实图像,并应用"U-net"和"DeepLabV3+"两种卷积神经网络架构进行图像分割。实验结果显示,模型准确率可达90%左右,并确定了最优模型方案。

0
下载
关闭预览

相关内容

基于Transformer的视觉分割技术进展
专知会员服务
20+阅读 · 2025年2月10日
几种典型的虚实融合技术发展研究
专知会员服务
94+阅读 · 2023年12月17日
基于深度学习的实时语义分割综述
专知会员服务
32+阅读 · 2023年11月27日
面向虚实融合的人机交互
专知会员服务
72+阅读 · 2023年6月25日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
专知会员服务
14+阅读 · 2021年5月25日
专知会员服务
63+阅读 · 2021年3月6日
基于深度学习的超分辨率图像技术一览
极市平台
17+阅读 · 2019年8月24日
【深度学习】深度学习技术发展趋势浅析
产业智能官
11+阅读 · 2019年4月13日
深度学习技术发展趋势浅析
人工智能学家
28+阅读 · 2019年4月11日
【优青论文】视觉问答技术研究
计算机研究与发展
13+阅读 · 2018年9月21日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Arxiv
14+阅读 · 2023年9月27日
Arxiv
17+阅读 · 2020年11月15日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
5+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
基于Transformer的视觉分割技术进展
专知会员服务
20+阅读 · 2025年2月10日
几种典型的虚实融合技术发展研究
专知会员服务
94+阅读 · 2023年12月17日
基于深度学习的实时语义分割综述
专知会员服务
32+阅读 · 2023年11月27日
面向虚实融合的人机交互
专知会员服务
72+阅读 · 2023年6月25日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
专知会员服务
14+阅读 · 2021年5月25日
专知会员服务
63+阅读 · 2021年3月6日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员