第1章 虚拟现实概述

1.1 虚拟现实的概念

虚拟现实(virtual reality，VR)涉及高性能计算、图形图像处理、人机交互、人机环境等，是计算机技术与应用衔接，向不同领域渗透，正在对各行业运行产生重大影响的颠覆性技术。虚拟现实在其产生和发展过程中，内涵和外延不断演化，同时，虚拟现实因多学科交叉融合也使得其在不同领域、不同学科中的表述有所差异，因此概念也在不断发生变化。综合而言，虚拟现实概念的定义在学术界较为经典和具有代表性的有如下几个：

虚拟现实概念1 (Wikipedia)虚拟现实，又称为沉浸式多媒体或计算机仿真现实，能重现一种可以模拟真实世界或虚拟世界中实际存在的环境，允许用户与世界交互。虚拟现实人工地创造感官，包括视觉、触觉、听觉和嗅觉等。

虚拟现实概念2 (Bryson)虚拟现实是指利用计算机和人机接口来创造拥有可交互对象和强烈三维空间感的虚拟世界的手段。

虚拟现实概念3 (NASA)虚拟现实是指利用计算机技术创建拥有可交互特性和强烈空间感的三维世界这一过程。

虚拟现实概念4(赵沁平)虚拟现实是以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视觉、听觉、触感等方面高度近似的数字他环境，用户借助必要的装备与数字化环境中的对象进行交互，相互影响，可获得亲临对应真实环境的感受和体验。

上述概念高度凝练了虚拟现实的重要内容，如计算机技术是构造虚拟现实的核心技术，因此计算机技术的快速发展是虚拟现实不断进步的重要驱动力；视觉、听觉和触感等多感官输出是虚拟现实作用于用户的通道，也是使虚拟现实具有多学科交叉融合特点的重要基础；虚拟现实与人机交互密切关联，是人机交互界面的形态，人机交互也是虚拟现实的重要组成内容。

1.2 虚拟现实的产生及发展过程

虚拟现实的产生和发展存在必然性。模拟仿制真实世界的对象为人所用，一直是人类追求的一个目标。"草船借箭"中的稻草人、"纸船明烛照天烧"中的纸船，以及军队训练拼刺刀用的木枪就是对人、船和枪的简单实物仿真。现代科学技术的发展将人类这一追求不断推向新的阶段和高度。虚拟现实就是随着高性能计算、图形图像处理、人机交互等技术的发展，人们在模拟真实世界方向上达到的境界。虚拟现实从概念产生、技术实现到产业发展，先后经历了几个不同的阶段：

1929年，Edwin发明了一种飞行模拟器，使乘坐者体验到了飞行的感觉。其后随着控制技术的不断发展，各种仿真模拟器陆续问世。1956年，Heileg开发出一种摩托车模拟器Sensorama，该模拟器具有三维显示和立体声效果，并能产生振动感觉，Heileg于1962年申请的专利"SensoramaSimulator"已具有虚拟现实的思想萌芽。

1963年，作家、发明家和未来学家Gernsback在Life杂志上发表了文章，论述了其发明的Teleyeglasses，这是他构思的一款头戴式电视收看设备，是虚拟现实显示器的萌芽。

1965年，计算机图形学、虚拟现实奠基人Sutherland博士发表了一篇短文"The ultimate display"，以其敏锐的洞察力和丰富的想象力描述了一种新的显示技术。他设想，使用这种显示技术，观察者可以沉浸在计算机生成的虚拟环境中，就如同生活在真实世界中一样。同时，观察者还能以自然的方式与虚拟环境进行交互，如触摸感知和控制虚拟对象等。1968年，Sutherland研制了个头戴式显示设备，称为"达摩克利斯之剑"(The Sword of Damocles)，这是个虚拟现实原型设备，开启了虚拟现实研究领域。

1973年，Krueger提出了"artificial reality"一词，这是早出现的虚拟现实词语。受计算机技术本身发展的限制，20世纪70年代虚拟现实技术发展较为缓慢。进入80年代，随着计算机技术，特别是个人计算机和计算机网络的发展，虚拟现实技术发展加快，这一时期出现了几个典型的虚拟现实系统。1983年，美国陆军和美国国防部高级项目研究计划局(DARPA)共同制定并实施SIMNET (SIMulation NETwork)计划，开创了分布交互仿真技术的研究和应用，对分布式虚拟现实技术的发展具有重要影响。1984年，Greevy和Humphries开发了虚拟环境视觉显示器，将火星探测器发回地面的数据输入计算机，构造了三维虚拟火星表面环境。此外还有Videoplace、View等，这些系统的开发推动了虚拟现实的应用。

1986年，Fisher等发表了虚拟现实方面的论文"The virtual environment display system"。1987年，Foley在《科学美国人》(Scientjfc American)上发表了题目为"Interfaces for advanced computing"的文章。该杂志还发表了数据手套的文章，引起了人们的关注。1989年，美国VPL公司的创始人Lanier提出了"virtual reality"一词，这一词语很快被学术界、产业界所接受，并成为该领域的专用名称。

90年代以后，随着高性能计算、人机交互技术与设备、计算机网络与通信等科学技术领域的突破和高速发展，以及军事演练、航空航天、复杂设备研制等重要应用领域的巨大需求，虚拟现实进入快速发展阶段。

1990年在美国Dallas召开的SIGGRAPH会议上，研究者们对虚拟现实展开了讨论，提出了虚拟现实研究的主要内客是实时三维图形生成技术、多传感交互技术，以及高分辨率显示技术等。1993年，Heim在其著作Metaphysics of Virtual Reality中刻画了虚拟现实的7个特征——模拟性、交互作用、人工现实、沉浸性、遥在、全身沉浸和网络通信。1994年，Burdea和Coiffet出版了Virtual Reality Technology一书，用3I(immersion-1nteraction-imagination)概括了虚拟现实的基本特征。

同期，一批用于虚拟现实系统开发的软件平台和建模语言开始出现。

1989年，Quantum 3D公司开发了OpenGVS。1992年，Sense8公司推出了WTK。1994年3月在日内瓦召开的届WWW大会上，首次提出了VRML，开始了相关国际标准的制定，并逐步形成了X3D、基于HTML5的WebGL等。

进入21世纪以来，计算机技术得到了更高速的发展，互联网、移动终端等改变了人类生活和工作的方式，其推动社会发展的作用凸显。虚拟现在80年代及90年代初期取得了一定成效，一些发达国家开始对其重视，将对其发展的支持提升到国家战略层面。美国、欧洲、日本和找国先后在国家科技发展战略中部署虚拟现实，其研究和应用向行业高端和大众普及两个方向拓展。

2002年，Nvida和ATI等公司推出可编程图形处理单元(graphics processing unit，GPU)，大幅提升了个人计算机的三维图形实时处理能力，并成为高性能计算机的重要组成部分。2009年，电影《阿凡达》使人们对虚拟现实有了更直接的感受，该年也被称为3D元年。其后许多国家掀起了制作三维电影的热潮，更具虚拟现实交互体验感的四维影院已成为受大众喜爱的观影方式。

2014年，虚拟现实显示器(head mounted display，HMD) Oculus Rift入选MIT《技术评论》年度10大突破性技术。评论认为：虚拟现实头盔显示器和沉浸式虚拟环境已经存在了三十多年，这项技术似乎开始进入终的广泛使用阶段，从各种媒体报道来看，Oculus Rift不但价格便宜，而且摆脱了传统昂贵头盔显示器带来的不适感，体验感更好。2014年3月，Facebook公司宣布斥资20亿美元收购Oculus VR公司；同年7月，AmazonFire Phone 3D手机，增强了三维购物/娱乐体验；同年9月，Microsoft公司研发了三维触觉反馈触摸屏，可以辅助医生"触摸"肿瘤，提升医疗诊断水平。Sony、HTC、Samsung、Vuzix、Nvida等巨头也纷纷介入头盔显示器和移动终端三维处理等领域。2015年，Google公司领投数亿美元的Magic Leap创业公司突破一项颠覆性技术，能使虚拟物体看起来与现实生活中一样。这～技术将给影视、游戏、商务、旅游和电信等行业带来全新的机会和颠覆性影响。

2016年初，美国著名投资银行高盛的一份报告详细讨论了虚拟现实与增强现实(augment reality，AR)产业的未来发展状况。高盛公司认为虚拟现实与增强现实拥有巨大潜力，到2025年虚拟现实与增强现实软硬件营收将达到800亿美元，乐观估计，年营收可达到1820亿美元，保守预测，到2025年也将达到230亿美元。如果高盛公司预测，那么2025年时虚拟现实与增强现实市场将比TV市场还大，规模可达到1100亿美元，而TV市场是990亿美元。信息技术及科技咨询公司IDC预测，2016年我国虚拟现实设备出货量将达到48万台，同比增长476%，行业将迎来爆发式增长。因此，许多媒体将2016年称为虚拟现实产业元年。

总之，人类探求自然的目标和社会需求是虚拟现实产生与发展的驱动力。计算机科技工作者对计算机系统更快捷、更聪明、更和谐的永恒追求，促使虚拟现实技术不断发展。

1.3 基本特点

虚拟现实的基本特点可以从其典型特征、系统形态、应用方向三方面概括为3I特征、4类系统形态和4大应用方向。

1.3.1 虚拟现实的3I特征与4类系统形态

1.虚拟现实的引特征

长期以来，虚拟现实的典型特征被概括为3I，即沉浸(immersion)、交互(interaction)和构想(imagination)。其中，沉浸是指在视觉、听觉和触觉等方面给参与人员带来的临场感；交互是指提供参与人员适人化的人机操作；构想是指通过沉浸和交互，使参与人员产生创想能力。近年来，虚拟现实系统的智能化研究日益受到重视，因此智能(intelligence)将成为虚拟现实的第4个重要特征，这在后续章节论述。

2.虚拟现实的4类典型系统形态

虚拟现实系统虽然具有31共性特征，但在表现形态上却千差万别，因应用而异，目前一般将其分为如下四种类型。

1) 沉浸型

主要面向高端应用，其特点是使用高端图形工作站(群)和高逼真感的视听触觉设备，以提供更好的沉浸感。例如，在视觉和听觉上使用大型360。环幕、头盔显示器、高逼真声场设备等，在触感和交互上使用高精度三维定位、数据手套、体姿获取装置等沉浸型交互设备。

2) 桌面型

主要面向普及型应用，其特点是基于个人计算机和常规交互设备，在通用硬件上构造简易型系统。例如，采用常规键盘、游戏杆、鼠标(三维鼠标)、显示器(三维显示器)、三维眼镜、立体音箱等，为了使交互更为自然，利用Kinect、Wiimote等便携装置获取用户的体姿和操控信息。

3) 增强型

主要面向增强现实应用，其特点是利用机械、声波、光学和电磁技术获取运动物体的三维姿态，然后与虚拟对象进行注册、融合，并使用透视式头盔显示器，在现实场景中叠加虚拟物体，增加虚实融合的内容。

4) 分布型

主要面向网络环境中的虚拟现实应用，其特点是利用网络将不同节点的虚拟现实系统联结在一起，共享一致的虚拟环境，从而进行分布交互和协同工作。这里，网络可以是专有网络，主要面向军事、航空航天等特定应用，也可以是互联网，主要面向教育、娱乐等大众普及型应用。目前，基于移动互联网的分布式虚拟现实系统是研究和应用的热点。

上述四种类型系统既有区别，也有联系。例如，沉浸型、桌面型和增强型系统都可以作为分布