项目负责人

一、课程介绍

本实验项目切实贯彻“加强基础，强化应用，提高素质，注重创新，激励个性，体现特色”的人才培养思路，努力强化学生虚拟现实设计的实践能力的培养。

本实验项目的教学内容包括增强现实的基础，注重使学生理解增强现实技术的基本流程与关键技术，重点在于通过头戴显示器和鱼眼摄像头结合，为体验者提供沉浸式的增强现实体验，可以支持识别多个目标物体，即可放置多个目标物体，在建立数据库的时候，存入多个目标物体的特征点信息，将使增强现实的体验更加丰富和多样化，使用计算机来进行数据处理与虚拟物体渲染，在数据处理过程更加迅速准确，具有较高的性能，通过针对不同环境可渲染不同的虚拟物体且保持较高的精度，整个系统具有较高的扩展性和移植性。

实验教学中主要包括课内和课外两种教学。一是课内实验教学指导，通过老师随堂演示、指导及相配套的实验报告的完成使学生能够基本掌握虚拟现实交互中软硬件结合实现新的拓展功能；二是开放的网络教学，注重特色人才培养，使对实验内容有兴趣的学生有条件进行深入的、综合性的实验培训，配备专门老师进行在线或离线指导。

本实验项目及实验环境对本校学生开放，接收国内高校及信息学科研究机构业务技术人员进修访问。实验项目的虚拟资源放置在专用服务器上，不仅对相关专业学生开放，而且对社会各个单位和个人开放，实验项目的所有资源均可以上网对公众开发，课件、实践指南等都可以通过互联网自由下载。利用虚拟技术构建交互式的实验教学与管理信息平台，建立自觉式、协作式的“学习共同体”的虚拟仿真实验教学模型，可以是校内、校外个人或者单位注册账号，登陆本实验平台网站，浏览，并进行实际操作，最大化资源利用效果。

本实验教学对学生的评价主要包括四个方面：课程实验的出勤率、平时实验过程（实验报告）的完成情况、上机操作考核情况及学生在课堂之外的实验情况。对实验指导老师的评价主要包括三个方面，包括对实验内容的设计与更新、实验的过程管理及在线指导情况。通过这些客观的评测，强化提高学生进行增强现实系统设计的能力，并促进老师对本实验教学完善。

课程预备知识：软件：unity3D+visual studio2013+steamVR框架进行开发，采用的语言为C#。unity3D对虚拟环境进行建立，使用C#语言对环境内交互行为进行编程，最终使用steamVR将设计，编程后的摄像头采集到的真实场景与计算机渲染的虚拟信息一起叠加渲染在VR头盔中进行显示。

二、实验目的

1、我国有着悠久的文化历史，拥有丰富的文化遗存，每年还有大量的文物出土，但由于受场地、经费、人才等条件的限制，能够展出的藏品数量极其有限、更换率低。有的博物馆陈列形式长年不变，使得观众逐年减少。应用数码技术，将文物制作成各种类型的影像，如三维立体的、动画的、平面连续的等，可以展示文物生动的原貌，从而提高文物的展出率和效果。将文物进行数字化备份，保存文物原有的各项形式数据和空间关系等重要资源，实现濒危文物资源的高精度和永久保存，记录下现时的状况也是必不可少的工作。而三维虚拟技术可以完好地多角度地记录和展示文物，利用增强现实技术，将文化古迹的信息以增强现实的方式提供给参观者，用户不仅可以通过HMD看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构。提升学生对增强现实技术开发的了解以及让学生身临其境的感受中华的灿烂文明。

2、学生能亲自动做实验，观察实验现象，记录实验数据，验证公式、原理定理；

三、实验原理及内容

原理：

增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。

内容：

1. 在 C#中建立数据库，使用haar算法提取目标物体的特征点信息和虚拟物体的模型信息，将目标物体的特征点信息和虚拟物体的模型信息以相同ID形式存入数据库中。

2. 启动增强现实系统，初始化摄像头参数，使用openCV调用摄像头对摄像头捕捉范围内出现的物体进行识别，识别到目标物体时，利用计算机视觉算法计算虚拟物体的待渲染位置。

3. 在得到的虚拟物体的待渲染位置处，调用OPENGL函数将虚拟物体渲染到目标物体上。

四、实验仪器设备及平台

操作系统： Win7/Win10

软件： unity3D，visual studio2013，steamVR

硬件：HTC VIVE,高清鱼眼摄像头。

五、实验内容与步骤

（1）平台安装配置步骤

首先在符合运行环境的计算机上安装并运行 unity,steamVR, visual studio2013 软件。

(2）实验步骤

步骤1、确定目标物体和虚拟物体，获取目标物体和虚拟物体的图片，从图片中提取目标物体的特征点信息和虚拟物体的特征点信息，建立数据库，将目标物体的特征点信息和虚拟物体的特征点信息以相同ID的形式存入数据库中；

步骤2、初始化摄像头参数，摄像头参数包括摄像头分辨率和帧率；实时获取真实环境影像每一帧并提取每一帧的特征点，当某一帧图像特征点与目标物体的特征点的欧式距离的大于0.01，将该帧图像标记为目标图像B；获取目标物体在该帧目标图像B中的二维空间信息矩阵P；

步骤3、根据步骤2获得的目标物体在该帧目标图像B中的二维空间信息矩阵P，在头戴显示器的显示视口中绘制步骤2所述的该帧目标图像B，再将虚拟物体绘制在其对应的目标物体上。

步骤2具体包括，

2.1、利用摄像头获取真实环境影像，获取真实环境影像的每一帧；

2.2、提取步骤3.1中获取的真实环境影像的每一帧图像的特征点，分别将每一帧影像的特征点与数据库中存放的目标物体的特征点进行比较，当某一帧图像特征点与目标物体的特征点的欧式距离的大于0.01，将该帧图像标记为目标图像B；

2.3、根据步骤3.2检测到的目标图像B的特征点信息，计算目标物体在步骤3.2所述的该帧目标图像B中的坐标点矩阵M；

2.4、获取相机的内部参数矩阵A；

2.5、利用公式：，得到目标物体在步骤3.2中所述的该帧目标图像B中的二维空间信息矩阵P，其中，M表示目标物体在该帧目标图像B中的坐标点矩阵；[R|T]表示欧氏变换，其中矩阵R表示目标物体的旋转信息矩阵，T表示目标物体的平移信息矩阵，A表示相机内部参数矩阵。

步骤3具体包括，

3.1、根据步骤2.5中获得的目标物体在该帧目标图像B中的二维空间信息矩阵P，绘制步骤2.2中获取的该帧目标图像B；

3.2、在步骤3.1绘制的该帧目标图像B上，根据数据库中存放的虚拟物体的特征点信息将虚拟物体绘制在其对应的目标物体上。得到目标物体在步骤3.2中所述的该帧目标图像B中的二维空间信息矩阵P，其中，M表示目标物体在该帧目标图像B中的坐标点矩阵；[R|T]表示欧氏变换，其中矩阵R表示目标物体的旋转信息矩阵，T表示目标物体的平移信息矩阵，A表示相机内部参数矩阵。

六、实验结果与数据处理

利用增强现实技术，将文化古迹的信息以增强现实的方式提供给参观者，用户不仅可以通过HMD看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构。生在仿真平台上输入自己设计的算法，结合分析已有的文物模型，对算法的有效性及可行性进行验证，对学生设计的算法优劣进行分析和评价。

七、网络条件要求

（1）说明客户端到服务器的带宽要求（需提供测试带宽服务）带宽 > 100 Mbps

（2）说明能够提供的并发响应数量（需提供在线排队提示服务）并发响应数不少于10个。

八、项目成果

（1）本项目已获国家发明专利

（2）相关论文被VRCAI16 会议接收