非计算机专业中虚拟现实教学资源的建设及应用.pdf

非计算机专业虚拟现实教学资源的建设及应用报告人税午阳北京师范大学信息科学与技术学院北京师范大学信息科学与技术学院教育部虚拟现实应用工程研究中心教育部虚拟现实应用工程研究中心第十四届大学计算机课程报告论坛提纲一、背景二、虚拟现实课程建设三、虚拟现实教学资源的制作方法四、虚拟现实教学资源应用一、背景钱学森之问为什么我们的学校培养不出杰出的人才 “钱学森之问”是关于中国教育事业发展的一道艰深命题，需要整个教育界乃至社会各界共同破解。教育体制学生问题教师问题通识教育科学文化与人文文化的分裂 “钱学森之问” 不能只问学校人民日报人民日报痛批沉睡中的大学生你不失业，天理难容痛批沉睡中的大学生你不失业，天理难容上课时清醒没有发呆的多，发呆没有睡觉的多，睡觉没有玩手机的多；下课时自修没有吃零食多，吃零食没有看连续剧多，看连续剧没有游戏多；考试时不给范围就不会考试，给了范围也只是复印同学准备的答案。毕业前上大学前填报志愿，你说不知道自己的兴趣特长，好吧，大学毕业找工作了，同样不知道自己的兴趣特长。自己都不认识自己，还有谁能认识你专业课学技术不肯动手，学理论不肯动脑。修完了计算机基础，但真实水平却连个PPT都做不好。一、背景一、背景学生占座学生占座学生占座学生占座APPAPP 视频网站Python课程 Coursera edX 一、背景建设优质、易理解、感兴趣的online课程建设优质、易理解、感兴趣的online课程（学校、企业合作）交互性一、背景问题非计算机专业/通识教育如何建设课程资源医学解剖课程刑事勘查技术课程一、背景文物修复课程二、虚拟现实课程建设虚拟现实技术虚拟现实技术（（Virtual reality）），，““灵境灵境””，，利用计算机系统和各种显示利用计算机系统和各种显示及控制设备生成一个逼真地可交互地具有视觉及控制设备生成一个逼真地可交互地具有视觉、、听觉听觉、、触觉等沉浸感觉的触觉等沉浸感觉的三维环境的技术三维环境的技术。。 Virtual Reality Immersion InteractiveImagination 沉浸性沉浸性使用户难以觉察、分辨出其自身正处于一个由计使用户难以觉察、分辨出其自身正处于一个由计算机生成的虚拟环境中；算机生成的虚拟环境中；交互性交互性使用户通过自己的行为自主地改变所处的虚拟环使用户通过自己的行为自主地改变所处的虚拟环境、感受内容；境、感受内容；构想性构想性依靠自身的感知和认知能力可全方位地获取知识，依靠自身的感知和认知能力可全方位地获取知识，发挥主观能动性，寻求对问题的完美解决；发挥主观能动性，寻求对问题的完美解决；智能性（智能性（Intelligence）虚拟现实）虚拟现实人工智能人工智能以交互和沉浸为以交互和沉浸为核心的教学内容素材核心的教学内容素材更易更易于学生理解于学生理解二、虚拟现实课程建设二、虚拟现实课程建设 1965年，计算机图形学的奠基者 Ivan Sutherland发表了 “ TheUltimate Display” 的论文，提出一提出一种全新的图形显示技术种全新的图形显示技术，，能够使观察者直接沉能够使观察者直接沉浸在计算机生成的三维浸在计算机生成的三维世界中世界中，，而不是通过计而不是通过计算机屏幕来观察算机屏幕来观察。此外，允许观察者以自然的方式与虚拟现实中的对象进行交互。二、虚拟现实课程建设电影头号玩家  数字内容制作  沉浸式体验  无线传输  自由交互  力触觉反馈  多人协同解决方案虚拟现实教育培训一、背景赵沁平院士“教育是虚拟现实非常重要的应用领域。虚拟现实将在多媒体与计算机教学之后重新改造人们的学习方式，对整个教育领域的变革具有划时代的推动作用。” 马云“VR和互联网、大数据、云计算结合，改变教育、改变医疗” 2018虚拟VR产业大会“VR全景让世界更精彩” 国家虚拟仿真实验教学项目国家级虚拟仿真实验教学中心二、虚拟现实课程建设解决高等教育中特定教学内容难呈现、成本高、难重复、高危险的问题二、虚拟现实课程建设绝大多数虚拟仿真实验项目都是面向非计算机专业二、虚拟现实课程建设虚拟现实仿真实验项目建设的基本流程课程内容的提炼和描述内容制作软件VR软件交互技术显示设备机械设计课程医学人体解剖课程二、虚拟现实课程建设关键虚拟现实教学资源的质量三、虚拟现实教学资源的制作方法 1、三维教学资源的快速制作方法 Sketch Up 三、虚拟现实教学资源的制作方法 3ds Max 1、三维教学资源的快速制作方法三、虚拟现实教学资源的制作方法图易三维造型软件基于草图的建模技术手绘输入三维模型 1、三维教学资源的快速制作方法三、虚拟现实教学资源的制作方法问题课堂内容多样且每个教学问题课堂内容多样且每个教学资源场景需要多个三维模型资源场景需要多个三维模型，，使使得三维模型的种类多得三维模型的种类多、、数量大；数量大；手工建模速度慢手工建模速度慢，，难以快速根据难以快速根据教学内容完成三维场景的设计；教学内容完成三维场景的设计；方法方法将分散将分散、、孤立的存在于互孤立的存在于互联网中的教学模型转变为可共享联网中的教学模型转变为可共享利用的基础性教学资源利用的基础性教学资源，，实现教实现教学资源学资源三维内容的制作；三维内容的制作；三维模型素材库（a）基于草图的三维模型的检索技术 1、三维教学资源的快速制作方法三、虚拟现实教学资源的制作方法（b）基于语义的三维模型的检索技术 1、三维教学资源的快速制作方法从文本学习空间关系到三维场景的生成从文本中提取景中出现的对象及其约束 Yan Wang, Pu Ren, Mingquan Zhou, Wuyang Shui, Pengbo Zhou. Text to 3D Model of ChineseAncientArchitecture. International Conference on Cyberworlds. 2018 三、虚拟现实教学资源的制作方法照相机 RGBD 激光测距医学影像设备 2、三维教学资源的精确制作方法结构光扫描三、虚拟现实教学资源的制作方法问题已知不同角度拍摄的序列照片（视频），如何估算摄像机内外参数Motion，并恢复其三维模型Structure（几何信息）（（1 1）照片生成三维素材）照片生成三维素材 2、三维教学资源的精确制作方法 LEIPNERA, BAUMEISTER R, THALI MJ, et al. Multi-camera system for 3D forensic documentation. Forensic science international, 2016, 261123-128. 三、虚拟现实教学资源的制作方法照相机拍摄图像三维模型多幅图像特征提取计算摄像机参数稠密点云生成三维重建模型处理摄像机摄像机摄像机摄像机 Px,y,z 摄像机（（1 1）照片生成三维素材）照片生成三维素材 2、三维教学资源的精确制作方法三、虚拟现实教学资源的制作方法软件Autodesk 123D Catch 开源VisualSFMPMVS/CMVSMeshlab Source Code http//phototour.cs.washington.edu/bundler/S4 http//ccwu.me/vsfm/ （（1 1）照片生成三维素材）照片生成三维素材 2、三维教学资源的精确制作方法三、虚拟现实教学资源的制作方法 19张照片张照片（（1 1）照片生成三维素材）照片生成三维素材 2、三维教学资源的精确制作方法三、虚拟现实教学资源的制作方法 2、三维教学资源的精确制作方法三、虚拟现实教学资源的制作方法原理由扫描设备向目标物体表面发射可见光（激光），然后再通过扫描设备的CCD镜头捕捉反射回来的激光，最后采用三角测距triangulation-based或脉冲测距 time-of-flight等方法计算物体表面顶点的三维坐标；三角测距方法（（2）三维）三维扫描生成三维素材扫描生成三维素材软件Geomagic Studio、Rapid、 Polyworks、Meshlab、 Cloudcompare 2、三维教学资源的精确制作方法三、虚拟现实教学资源的制作方法原理由扫描设备向目标物体表面发射可见光（激光），然后再通过扫描设备的CCD镜头捕捉反射回来的激光，最后采用三角测距triangulation-based或脉冲测距 time-of-flight等方法计算物体表面顶点的三维坐标；（（2）三维）三维扫描生成三维素材扫描生成三维素材 2、三维教学资源的精确制作方法三、虚拟现实教学资源的制作方法 RGBD RGB Depth Map https//rgbd-dataset.cs.washington.edu/ （（2）三维）三维扫描生成三维素材扫描生成三维素材 2、三维教学资源的精确制作方法三、虚拟现实教学资源的制作方法三、虚拟现实教学资源的制作方法（（3）医学）医学影像生成三维素材影像生成三维素材 2、教学资源的精确三维建模方法影像分割影像分割影像数据重建影像数据重建 3D打印技术打印技术三、虚拟现实教学资源的制作方法（（3）医学影像的方法）医学影像的方法 2、三维教学资源的精确制作方法三、虚拟现实教学资源的制作方法动作捕捉记录并处理人或其他物体动作的技术。（（4）虚拟人及动作）虚拟人及动作行为的生成行为的生成惯性动作捕捉光学动作捕捉 2、三维教学资源的精确制作方法三、虚拟现实教学资源的制作方法四、虚拟现实教学资源应用 1、传统文化课程中的应用四、虚拟现实教学资源应用 1、传统文化课程中的应用四、虚拟现实教学资源应用 2、文物修复/鉴赏课程中的应用四、虚拟现实教学资源应用曲亮、高飞、刘建宇、何林、雷勇、税午阳. 现代科技与传统技艺结合的金属文物保护修复研究以故宫博物院藏辽代金属面具为例. 博物院 .2018.119-127 2、文物修复/鉴赏课程中的应用四、虚拟现实教学资源应用 Rothwell Charnel chapel Leica ScanStation P20 3、考古学课程University of Sheffield 四、虚拟现实教学资源应用 17 scan positions 27GB in .ptx at 3、考古学课程University of Sheffield 四、虚拟现实教学资源应用 http//www.rothwellcharnelchapel.group.shef.ac.uk/ Wuyang Shui, Steve Maddock, Peter Heywood, Elizabeth Craig-Atkins, Jennifer Crangle, Dawn Hadley, Rab Scott. Using Semi-automatic 3D Scene Reconstruction to Create a Digital Medi Charnel Chapel[C]. Computer Graphics Visual Computing1-8. Bournemouth university, UK. 2016. 4、法医人类学/医学课程四、虚拟现实教学资源应用主客观反馈评价学习效果主客观反馈评价学习效果 Chen S, Pan Z, Wu Y, et al. The role of three-dimensional printed models of skull in anatomy education a randomized controlled trai. Scientific Reports, 2017, 71 575. 4、法医人类学/医学课程四、虚拟现实教学资源应用  个性化病例作为教学资源  影像和模型的空间统一 Wuyang Shui, Mingquan Zhou, Shi Chen, et al. The production of digital and printed resources from multiple modalities using visualization and three-dimensional printing techniques. International Journal of ComputerAssisted Radiology and Surgery.2016. doi10.1007/s11548-016-1461-9. 5、现场勘查培训技术四、虚拟现实教学资源应用 5、现场勘查培训技术四、虚拟现实教学资源应用犯罪现犯罪现场场景场场景重要物重要物证线索证线索非重要非重要物证物证三维场三维场景组织景组织 VR/ARVR/AR 应用应用题目题目设计设计 P Ren, M Zhou, Jin Liu, Y Fan, W Zhao, W Shui.Sketch-based Modeling and Immersive Display Techniques for Indoor Crime Scene Presentation. 9th EAI International Conference on Digital Forensics Cyber Crime.2017. Best paper 尸体尸体扫描仪 5、现场勘查培训技术四、虚拟现实教学资源应用 Wuyang Shui, Jin Liu, Pu Ren, Steve Maddock and Mingquan Zhou. Automatic planar shape segmentation from indoor point clouds. Proceedings of the 15th ACM SIGGRAPH Conference on Virtual-Reality Continuum and ItsApplications in Industry.2016.363-372. 三、虚拟现实教学资源的建设 5、现场勘查培训技术 VR教学资源的开发和建设仍具有挑战性 1. 优质VR教学资源建设仍有技术门槛、开发周期较长； 2. 缺乏VR教学资源复用、二次开发的机制； 3. 注重将科研成果向优质教学内容的转换；五、总结总结 VR教学的优势 1. 节省成本、克服设备、场地、经费等硬件对教学条件的限制，实现教学资源的共享，促进教育公平； 2. 规避风险，降低具有风险的实验和培训项目的风险；先虚后实； 3. 激发学生的学习兴趣、热情和创造力；谢谢聆听谢谢聆听 QA 计算科学推动学科交叉创新人机结合推动课程建设五、总结总结