数字媒体交互艺术的沉浸式体验-柴秋霞

Martells

数字媒体交互艺术的沉浸式体验
On Immersive Experience of Digital Media Interactive Art

柴秋霞 Chai Qiuxia

内容摘要：交互艺术改变了传统媒体的线性秩序叙事方式，强调观众的积极性和能动性，解构了传统艺术的认知与审美方式。交互的目标是借助虚拟现实技术打造出观众体验的沉浸环境，引导观众更好地理解和探索虚拟时空，建构出全新的审美体验，达到人和虚拟对象自然、和谐的交流方式。

关键词：交互艺术、沉浸式、体验、非线性叙事


数字媒体虚拟对象和人交往的直观的行为反映是交互。交互的目标是要依靠交互技术达到人和虚拟对象自然、和谐的交流方式，引导用户更好地理解和探索虚拟时空。交互技术将我们对图像的理解转变为一个基于时间框架的多感官交互空间。在这样的虚拟空间中，时间和空间的变数可以被随意修正，观众可以随意地改变自己与空间的关系。同时，虚拟环境也会与人产生互动，观众还可以在某种程度内调整他们所发现的环境。数字媒体交互艺术是以人机相互作用为基础的艺术形式，是人和虚拟事物交往的直观的行为反映，适应人类数字化、机器智能化的双重需要而出现。它强调人与机器之间的相互作用，交互艺术还强调观众的积极性和能动性，它要求观众参与到作品中来并通过这种互动使作品本身发生可逆或不可逆的变化，从而产生实时的、可变的艺术效果。

艺术从本质上讲是一种观念、思维和情感交流的活动。沉浸式交互艺术作为新兴的一门新媒体艺术形式，特指观众能够通过视、听、触、嗅等感觉手段和智能化艺术作品实现即时交互以达到全身心的融入、沉浸和情感交流。观众进入到数字虚拟场景中，得到多感官的沉浸式审美享受。


一、艺术创作空间的拓展
现代科技的不断发展，为艺术家的创意设计提供了无限的空间。交互艺术家对人类的五大感官、动作和姿态技能的研究越来越感兴趣。诺基亚的研究为我们提供了启示：将技术运用在用户的感官体验上，并通过动作、姿势、触摸、凝视、操作与激活目标等形式的感知和反应诱发用户更高层次的体验目标。[1] 在不断发展的移动设备中，视觉、听觉和触觉的输入输出体验已成为一种常规的交互形式。

在数字虚拟现实技术环境下，艺术家在探索如何能够有效地基于既有的技术资源创造另外一个世界。交互艺术借助虚拟现实技术、三维实境技术、多通道交互技术或机械数控装置打造出用户体验的沉浸环境，其通常的形式是通过数字摄像头、遥控器、红外线感应等多种采集工具将观众的语言、表情、动作或其他“肢体语言”进行捕捉和数据分析，并根据计算机的程序处理，通过声音、图像、音乐、光线、数字视频、合成动画和机械互动装置等给观众反馈信息，并要求观众的全身心参与和体验，从而实现与观众即时的“对话”或情感交流。如上海世博会德国馆动力之源大厅的互动金属球[2]，其直径达到3米，重量约为1.5 吨。奇妙之处在于这个庞大金属球的摆动、发光均来自于观众的呼喊声。据介绍，金属球的基座设有声控及互动控制装置，能够对外来声音产生反应，只要金属球顶部的基座接收到轻微的震动，就能将悬挂于其下的重达1.5 吨的金属球带入摆动状态。所以，当观众齐声高喊时，球内的声控驱动装置就能够左右金属球摆动的方向，球体表面上不断变化的影像和色彩也随之投映到动力之源大厅的各个角落。（图1）这种以虚拟现实技术为代表的拟人化智能装置为数字媒体沉浸式交互艺术的发展提供了广阔的空间。

数字媒体交互艺术的沉浸式体验-柴秋霞

二、非线性的交互叙事
认知科学家罗杰· 尚克（Roger C. Schank）指出“人类生来就理解故事，而不是逻辑”[3]。相对于宏观的系统和微观的规则，叙事更容易被人所理解、也更具有感性的力量。把人的行为嵌入一定的叙事框架中，获得具有吸引力的体验设计。叙事是交互艺术结构中的直观层面，通过叙事，使系统和规则在用户行为和体验的层面得到落实和实施。交互叙事既是虚拟体验设计方法的重要切入点和设计的直观对象，也是设计过程和评价的重要方法。

由于解释的素材与物质的组合不可分割地组合在一起，古典的艺术作品是事先确定的，是以线性叙事为特征的。数字媒体交互艺术则将非线性叙事当成自己的一面旗帜。用艾伦· 卡普洛（A l l a n K a p r o w）的话说，艺术是一个不断变化的“进展中的工作”，一个由观众参与而产生的叙述。事件是非线性的，并鼓励消除作品固定的空间和暂时的局限，改变作者的核心地位，并利用与作品进行交互的观众的想象力来实现作品的提升。[4]非线性的交互叙事方式之所以能够实现，得益于数码复制和编辑的技术优势。麻省理工学院教授默里（Janet Murray）以“万花筒”作为这种非线性叙事的隐喻。由于传统媒体特性的限制，作品处理同时性事件通常只能以相互交叠的形式。而计算机媒体则使创作者可以将所有同时发生的事件置于一个网格，允许交互者在它们之间航行，以多种路径提供同时性的行动。在万花筒结构所具有的多种叙事可能性中，人物在不同地方穿行时，观众能追随他们，就像摄像机追拍演员的行动那样。这样一种多舞台的叙事、故事线的结构，唤起观众的好奇，引诱他们从一个场景走入另一个场景。[5] 不仅如此，这种场景的流动可以自动化进行，正如加州大学教授曼洛维奇（L e vManovich）所指出的那样：“数码化、模块性允许许多涉及媒体创造、操作与访问的自动化。”[6]数字媒体交互艺术改变了传统媒体的“线性秩序”叙事方式，不再只是向观众进行单向的输出，而是将主动权交给观众，不同的参与者产生不同的艺术效果，解构了传统艺术理论中的认知与审美方式，建构出全新的审美体验。


三、沉浸式的交互体验
沉浸式交互艺术作品主要是在艺术场馆、博物馆、公共空间中展示，并以多通道、多媒体的智能人机交互形式出现。这种艺术作品通过计算机捕捉人的多种感觉（如言语、眼神、脸部表情、唇动、触觉、嗅觉或味觉等）和动作通道（如语音、手写、姿势、视线、表情等），并实现即时反馈，而观众则以并行或非精确的方式“沉浸”于虚拟计算机交互环境中，并借助可接触式或虚拟人机交互界面实现与艺术品的对话和交流。

沉浸式交互作品通常需要一个“相对封闭式的交互艺术空间”或“虚拟展厅”来实现观众的沉浸体验。这种类似于电影院的“沉浸空间”可以使观众更易于集中注意力于艺术对象，并减少操作的随意性或失误。此外也有利于电子屏幕、声光电效果或其他模拟自然环境的效果无干扰地反馈给观众，由此达到最佳的用户体验效果。电影院或科技馆里常见的封闭剧场为六面体、球体或穹顶状空间。（图2、图3[7]）德国斯图加特A T B 工作室为上海世博会国家电网馆设计的“魔盒”（图4）就是一个悬浮在空中的封闭六面体，观众站在3.22 米高的玻璃天桥中，享受720 度空间多媒体视听盛宴。封闭的空间内四周布满了美轮美奂的画面，就连脚底都有壮观的影像。随着影像的播放，观众跟着电流时而潜入深海，时而跨越极地，达到了沉浸式“六面影像，悬浮体验”的梦幻效果。

数字媒体交互艺术的沉浸式体验-柴秋霞

数字媒体交互艺术的沉浸式体验-柴秋霞

沉浸式交互艺术作品的反馈形式通常有直接反馈和间接反馈两种：间接反馈型的交互艺术通过“环境交互”的方式使观众与作品进行接触和交互，观众对环境的沉浸体验是这些作品构成的重要因素。其交互作品对参与者行为的反馈为间接的、环绕式的或“滞后”的。有的交互作品并不需要观众的直接接触，而是通过“探测”的方式与观众进行“互动”。还以上海世博会信息通信馆为例，在后展区侧重于未来信息通信应用体验，展现信息通信行业的发展趋势，提示观众主展梦想的可实现性。观众可以体验各种有趣的互动形式，并通过网上展馆延伸信息通信馆的梦想体验。在“梦想互动体验舞台”，观众通过手持移动终端（I C T）（ 图5）收集梦想，制作情感明信片。为收集过程增添更多乐趣的是别出心裁、非常漂亮的梦想灯笼。一个个梦想灯笼，象征着一个个梦想和应用，其散发出来的光芒，照亮了梦想实现之路。

数字媒体交互艺术的沉浸式体验-柴秋霞

直接反馈使观众通过较直接的方式与作品进行接触和互动，对周围环境的依赖相对较小，其接触方式包括控制杆、遥控器、语言、手势或肢体动作（如骑自行车）等，有些作品则只需要观众近距离凝视即可。这种交互作品通常放置在较为开放的空间中，观摩者和体验者可以处于同一环境，有些互动装置艺术作品还允许多名观众同时接触并体验。如上海世博会园区内，人们能体验到的很多内容往往是平常生活中我们无法接触的。太空家园馆里的卫星通信演示装置，观众把手按在两个球上就能体验操控卫星，观众在特制的屏幕前体验当航天员的滋味；加拿大馆的“轮转之都”展区（图6），观众脚蹬造型独特的自行车，在前方屏幕上不断变换的城市风景中穿越，当改变骑速时，眼前图像的色彩和运动也会随之变化，或疾或徐，以别样的方式领略加拿大的最佳城市风貌。[8] 这些交互作品普遍强调观众的“接触”行为并可以直接体验到互动的结果。这些互动作品充分调动了观众的多感觉通道，普遍强调观众的体验行为，并在沉浸环境中体验到互动的艺术结果。

数字媒体交互艺术的沉浸式体验-柴秋霞

结语
沉浸式交互艺术的出现恰恰代表人类力图借助计算机来实现情感交流和思想沟通的努力。在参与的过程中观众的愉悦、奇想、领悟、发现和探索本身促成了艺术观念表达的完整性。随着虚拟现实技术和多通道交互技术的进一步发展，沉浸式交互艺术将以更加自然、和谐的交互方式、更新颖的艺术表现形式，将艺术创作融入科技化社会和全球文化的环境中，并成为未来数字媒体艺术发展的主导方向。


* 本文为2011 年度上海教育委员会科研创新项目“新媒体艺术沉浸性取向研究”（项目编号：11YS35）阶段性研究成果

注释：
[1]（美）库伯(Alan Cooper)、瑞宁(RobertReimann)、克洛林(David Cronin) ：《交互设计精髓》，刘松涛译，电子工业出版社，北京，2008，第58-59 页。
[2] 这一部分的事实性描述，根据作者参观上海世博会时的体验，并参照了《上海世博》、《新民晚报》等媒体的有关新闻报道。
[3]（美）丹尼尔·平克：《全新思维》，林娜译，北京师范大学出版社，2007，第79 页。
[4]（德）奥利弗·格劳：《虚拟艺术》，陈玲译，清华大学出版社，北京，2007，第150 页。
[5] Murray, Janet Horowitz. Hamlet on theHolodeck [M]. New York, NY: The FreePress.1997.p.157.
[6] Manovich, Lev. The Language of NewMedia [M]. Cambridge, MassachusettsLondon: The MIT Press,2001.p.32.
[7] 图片来源：Ed Lantz. A Survey of Large-Scale Immersive Displays [DB/OL]. VisualBandwidth, Inc.2007. http://www.citeulike.org/group/7678/article/8318346.
[8] 同[2]。

柴秋霞 上海大学数码艺术学院