从VR/AR 到元宇宙：面向α世代的沉浸式儿童绘本交互设计研究-何思倩
从VR/AR 到元宇宙：面向α世代的沉浸式儿童绘本交互设计研究何思倩 覃京燕
[ 摘 要] 2010 年之后出生的α 世代人群作为人工智能时代的首批“原住民”，其数字化生存方式、生活型态和阅读习惯都发生了巨大变化。以人工智能、虚拟现实技术为代表的元宇宙为儿童绘本的创作、设计和出版构建了新的创新实践场域。元宇宙将深度重塑儿童绘本的叙事结构、内容生产、交互界面和阅读场景，为读者带来沉浸式的、立体的、全息的、多维的时空体验。为了探究元宇宙视域下的儿童绘本交互设计的变化和发展，以儿童数字绘本交互设计为研究对象，分析元宇宙技术赋能下的儿童数字绘本交互设计未来图景和α 世代人群画像，从数字绘本的沉浸式技术、沉浸式叙事和沉浸式交互三个方面阐释了如何为元宇宙时代的儿童用户提供沉浸式体验，并据此构建了儿童绘本元宇宙的人机交互设计模型，为促进儿童数字内容体验迈向更加人机共融的交互图景提供了参考与借鉴。
[ 关键词] 元宇宙 α 世代 儿童绘本 交互设计
[ 中图分类号] G250; G232 [ 文献标志码] A
[ DOI ] 10.19764 / j.cnki.tsgjs.20220169
[ 本文引用格式] 何思倩, 覃京燕. 从VR/AR 到元宇宙: 面向α 世代的沉浸式儿童绘本交互设计研究. 图书馆建设,2022(5):66-72.
从2021 年元宇宙第一股Roblox 在纽约证券交易所上市以来，元宇宙概念迅速进入了大众的视野。当前有关元宇宙的研究大多聚焦于元宇宙的技术基础、应用场景和未来发展模式，如元宇宙环境下的未来媒介传播趋势、数字图书馆阅读服务、虚拟博物馆展览展示设计、在线教学模式等。尽管针对元宇宙技术在教育、游戏领域的应用研究已有一定探索, 但尚未有研究关注到元宇宙视域下面向儿童用户的数字产品交互设计, 从新型交互形态和目标用户两大主体视角切入的研究尚且不足。本文将探讨元宇宙赋能下儿童数字绘本的未来图景，构建儿童绘本元宇宙的技术场域架构，提出元宇宙环境下的儿童绘本交互设计模型，进而为元宇宙这一新型交互环境下的儿童用户行为及交互设计研究提供参考。
1 “元宇宙”赋能下的儿童数字绘本交互设计变革
1.1 元宇宙的概念和特征
元宇宙是由人类创造的一个平行但又并非简单复制现实世界的虚拟世界。作为一个新兴概念，它是建立在虚拟现实、增强现实、区块链、云计算、5G、数字孪生等技术基础上而逐渐成型的。元宇宙（Metaverse）一词最初来源于尼尔·斯蒂芬森在1992 年创作的科幻小说《雪崩》。该书描绘了一个与现实世界相平行的虚拟世界——元宇宙，在元宇宙中所有虚拟人都能够在现实世界中找到其人类本体。元宇宙的英文Metaverse 是由“meta”( 意为超越)与“universe”( 意为宇宙) 组合而成，表明元宇宙是一种虚拟与现实无缝衔接、深度共融的数字世界,并且能产生超越现实世界的价值。元宇宙代表了视觉沉浸技术的最新阶段，具有视听性、交互性、持久性和沉浸性等特征。清华大学新媒体研究中心在其发布的《2020—2021 年元宇宙发展研究报告》中谈到，“元宇宙是基于扩展现实技术提供的沉浸式体验, 基于数字孪生技术生成现实世界的镜像，基于区块链技术搭建的经济体系。” 随着Facebook 宣布将公司名称更改为“META”，元宇宙也受到了来自资本市场前所未有的关注，其对于人类世界的颠覆性畅想也将逐步成为现实。
1.2 元宇宙的“育乐” （Edutainment）①属性
当前，大多数体现元宇宙的技术和产品主要聚焦于数字娱乐领域，将元宇宙视作一种沉浸式游戏世界。多数人对元宇宙的认知偏向其娱乐属性，而忽视了元宇宙的“育乐”（Edutainment） 潜能。探索“育乐”元宇宙的形态以及为儿童教育带来变革的契机，将一种数字化生活方式与游戏化学习方式紧密地结合在一起, 具有重要的理论与实践意义。如果把“育乐”元宇宙比做一个大型儿童应用商店，那么儿童数字绘本可以理解为“育乐”元宇宙中的一项重要应用，它为读者创建数字身份，在虚拟世界中进行故事内容的
体验与生产。元宇宙时代的交互范式必然与过去的图形用户界面有很大的差异，而学习和适应新的复杂系统的用户界面也无疑会增加儿童用户的认知负担, 影响其用户体验，这就对儿童数字绘本的交互设计提出了新的挑战。
1.3 技术赋权下的儿童绘本发展脉络
儿童绘本诞生于十七世纪的欧洲，是依靠图画和文字的相互关系共同推动故事情节的艺术类型。它能激发儿童的阅读兴趣，激活他们的想象力和创造力。近年来, 以虚拟现实、增强现实、数字孪生等为代表的视觉沉浸技术, 正不断从叙事结构、内容生产、交互界面和系统平台等方面重塑儿童数字绘本生态。数字技术的赋能让儿童绘本的媒介产生了变化或融合，也助推着儿童绘本进入3.0 阶段（见表1）。元宇宙作为虚拟现实技术的高阶产物，集合了VR/AR/MR、5G、云计算、人工智能、数字孪生等新兴信息技术于一体, 将塑造下一代互联网的最新形态, 届时人类社会将进入一个虚实融合、泛在互联、智能开放、去中心化的智联网时代。元宇宙作为儿童数字绘本搭载的新平台将重新定义儿童绘本的创作、设计和出版, 相应的人机交互设计也应当重新审视和研究，以提升儿童用户的交互体验，培育儿童用户的数字创造素养。
2 α 世代人群画像及儿童绘本设计的未来图景
2.1 α 世代人群画像及其阅读行为特征
如果说Z 世代（泛指95 后和00 后）是互联网时代的原住民，那么α 世代就是人工智能时代的首批原住民。未来学家、人口统计学家马克·麦克林登（MarkMcCrindle）把出生于2010 年之后的人称作“α 世代”（Generation Alpha）（见图1）。这一代数字原生人群大多是千禧一代的孩子，他们的日常生活和学习成长与人工智能息息相关，大多数人从小已具备了良好的数字素养。对于α 世代而言，获取数字技术和产品不仅是一种生活方式, 更是未来获得生存和发展机会的必备技能。
由于α 世代出生后就生活在高度数字化的世界里，也因此缺乏对于实体图书的利用。在人工智能以及算法的“宠溺”下, 在各种视效、声效的渲染下,α世代对数字阅读的沉浸感要求更高。和他们的长辈一代相比，其阅读行为呈现出明显的差异，表2 从阅读内容偏好、获取方式、阅读时长、阅读场景、读者角色、交互方式6 个方面总结了婴儿潮世代和α 世代阅读行为特征的不同之处。
2.2 技术赋能下面向α 世代的儿童绘本交互设计的未来图景
传统的儿童绘本与读者的交互方式是单纯依靠手指翻页来实现线性阅读。以人工智能、虚拟现实为代表的新兴技术让儿童绘本突破了线性叙事的框架，因此也产生了读者和绘本内容之间新的虚实交互需求。根据现有的数字绘本交互设计和技术应用，可以展望未来儿童数字绘本的交互设计趋势。
第一，视听触多模态交互并存。以Moonbot 工作室出品的《神奇飞书》和2012 年获得苹果设计大奖的《小星星》为代表的交互儿童绘本是数字交互绘本市场上的佼佼者。《神奇飞书》运用大量的动画及交互技术使得读者能够用手指点击、滑动、涂抹、敲打、锤击等动作参与故事情节的推动，不知不觉中激发了儿童的好奇心，与故事融为一体。现有的交互绘本以激发儿童的视、听、触觉为主，而嗅觉和味觉的调动还未涉及。多模态交互是指将多种感官进行融合，计算机利用多通道响应输入，充分模拟人与人之间的交互方式。数字时代叠加后疫情时代的到来，儿童长时间身处智能化环境和封闭环境下受到的视觉刺激将越来越强，而对于多种感官的综合刺激越来越少，因此通过新兴技术增强五感的体验会是未来的绘本交互发展方向。
第二，交互行为逻辑更加注重自然交互的方式。自然交互（Natural User Interface）是指用户可以用自然的、基于直觉的方式与系统进行交互。目前，运用人工智能技术赋能绘本阅读的行为大多需要借助点触笔、绘本机器人、玩具、VR 眼镜等实物交互中介。对于手指精细动作尚未发育成熟的幼儿来说，在屏幕上进行小图标拖拽或使用中介物进行操控等精细化手指动作存在一定困难。未来的数字绘本可以不依赖图形界面和执行指令，读者可以使用更舒适、自然、内隐的方式与其进行交互。自然交互的绘本能让读者无需学习、无需任何输入设备便可进行交互。
第三，注重前馈自适应的主动交互的方式。我们所熟知的数字绘本交互方式是由读者发起，如手指滑动平板电脑或智能手机翻到下一页、移动屏幕中的某个角色、涂抹屏幕进行填色、晃动设备等，绘本是被动接受指令的对象。主动式交互的绘本则是绘本能主动向读者提出一些阅读中的引导和建议，甚至是主动进行操作。主动交互需要建立在对读者阅读习惯和认知水平的深度学习之上，基于大数据的运算对绘本内容、阅读行为、阅读场景进行智能分析，注重前馈自适应的交互方式，将被动的阅读交互主动化。
3 “元宇宙”赋能下的沉浸式儿童数字绘本交互设计探究
3.1 沉浸式技术：元宇宙赋能下的儿童数字绘本交互技术场域架构
图2展现了儿童绘本元宇宙的技术场域架构。互联网的发展使得儿童绘本从纸质媒介转向数字媒介，以VR、AR、MR、数字孪生为代表的元宇宙技术的发展也为儿童数字绘本的交互设计提供了技术支撑和实践场域。真正让用户体会到沉浸式的虚实交互体验依赖于儿童绘本元宇宙数字基建的完善。首先，实现大量用户实时在线进行绘本内容获取、内容交流和内
容生产的需求离不开5G 网络环境、云存储和物联网的完善。在数据处理方面，云计算和数据挖掘为数字绘本内容的供给、吸收与转化提供支持。在创作知识产权认证方面，区块链技术与代币（Non-fungibleToken，简称NFT）体系可为绘本元宇宙中绘本资源的生产、确权和交易奠定技术基础。区块链技术不易篡改，它可以对用户创造的数字资产进行标记，从而更好地维护数字儿童绘本的创作生态，激发用户的创造欲望。在虚实交互方面，XR 技术、生物数据采集技术和脑机接口等物联网设备使用户与内容在虚拟与现实之间的沟通成为可能，提供更为沉浸的交互体验。绘本内容生产方面，虚拟世界的故事场景构建需要计算机图形学、3D 建模、物理仿真等一系列技术的有机结合。人工智能算法还能根据用户的行为实时推送优质的数字内容，同时能降低绘本内容创作门槛，提升用户参与度。
3.2 沉浸式叙事：儿童数字绘本的交互式叙事特征
儿童绘本是一种面向儿童的叙事艺术，传统的纸质绘本是依靠图像和文字两大叙事元素组成的艺术形式。VR、AR 等新兴技术赋能下的儿童绘本融合了文字、图像、视频、动画、声音等多种叙事要素，使得儿童绘本的内容呈现出丰富多元的态势。元宇宙时代的儿童绘本将从叙事文本、叙事结构和叙事主体三个方面重新定义叙事特征，为儿童用户打造更为沉浸式的阅读体验。
3.2.1 叙事文本：从图文共生、声画合一到虚实融生
传统儿童绘本的叙事要素只有文字和图像，而新技术和媒介融合背景下的数字绘本以数字技术重构并丰富了绘本的叙事形式，也产生了多文本和超文本的叙事形态，包含了文字、声音、动画、视频等多种叙事要素。由 BOBAKA 游戏工作室推出的《小绿帽》是一款热门的数字绘本，曾获得2015 年年度最佳IPAD 应用程序，当读者点击绘本中的主人公，主人
公的面部表情会发生变化，而她手中的水管也会打开开始给植物浇水，此时读者能听到水流的声音，被水灌溉的泥土会开出芬芳的花朵。声画合一的叙事形式将故事内容以动态的、直观的、趣味的方式呈现，为用户打造了身临其境的动画场景。这一类移动终端数字绘本在交互方面除了简单的点、划、摇、 缩放、多角度变换外, 还能实现震动、语音反馈、重力反馈等体验, 提高了用户的参与感，也带来了独特的审美享受。然而嗅觉和味觉是目前纸质绘本、数字绘本都尚未直接触及的感官要素，元宇宙赋能下的儿童绘本不仅能带来图文共生、声画合一的享受，更能使读者创建数字身份进入绘本的故事剧场，提供多模态、多通道的、虚实融生的沉浸式故事体验。
3.2.2 叙事结构：从线性叙事到非线性叙事
传统的儿童绘本多遵循经典叙事学的线性结构，即主人公遭遇了某种坎坷，并依靠着某种力量或帮助一波三折地解决了问题。阅读传统纸质绘本时，受到翻页的限制，读者的阅读动线也以线性为主，而数字绘本依靠着数字技术的赋能得以更多地使用非线性的叙事结构，调动读者进行着一场阅读游戏。跨媒介叙事学研究者玛丽·劳尔·瑞安在《故事的变身》中解
析了互动小说、超文本小说、多媒体作品以及人工智能支撑的互动戏剧，她由此提出互动叙事结构可分为网状结构、放射结构、轨道切换结构和迷宫结构等。在元宇宙的赋能下，儿童绘本的叙事结构将更加开放、自由与多元，甚至叙事结构的主导权也能开放给读者。
3.2.3 叙事主体：从作者生成内容到读者生成内容
传统的绘本阅读中，作者是一成不变的叙事者，占有绝对的故事话语权。而在元宇宙时代，绘本读者与作者之间的身份界限将变得模糊，叙事主体和叙事声音也发生着转变。绘本的固有叙事模式将受到冲击，同时也为每个儿童打开了一扇绘本创作之门。儿童不再只是绘本内容的接受者，同时也是绘本内容的生产者与传播者，这对于提升儿童的阅读沉浸感及其数字创造素养有着积极的意义。
3.3 沉浸式交互：元宇宙时代儿童数字绘本的交互设计方法
随着未来元宇宙技术与α 世代数字生活的深度融合，如何设计易用、宜用的儿童友好型数字绘本交互界面成为当前的重要课题。基于上述对于元宇宙环境下实现沉浸式阅读体验的支持技术和叙事结构分析，可以归纳出元宇宙环境下的儿童绘本交互设计模型（见图3），基于该模型我们可以进一步探讨儿童数字绘本的交互设计方法。
3.3.1 从图形用户界面设计到三维用户界面设计
交互设计经历了传统的命令行交互（Command-Line Interface，简称CLI）阶段、图形用户界面交互（Graphical User Interface，简称GUI）阶段，以及近年来兴起的自然交互（NaturalUser Interface，简称NUI）阶段。目前，以桌面隐喻为基础的第二代用户界面范式WIMP（Window，Icon，Menu，Pointing Device） 仍占据用户界面的统治地位。为了避免用户学习新的界面范式可能造成的认知负担，许多虚拟现实环境下的界面依然生硬地沿用该范式，导致用户体验度低下。元宇宙时代与互联网时代的数字绘本阅读最大的差异就在于三维阅读空间的建立，用户得以在一个完整的虚拟空间里通过三维用户界面进行内容获取、交流和生产，因此WIMP 范式已不适用于元宇宙环境下三维的交互界面。近几年关于Post—WIMP 界面范式已有了一些有益的探索，但尚未形成成熟的交互范式。儿童用户体验数字绘本时的沉浸感建立在优秀的交互设计上，因此针对三维用户界面设计的探索，虚拟环境下用户心理学、行为学的研究将是元宇宙时代数字绘本交互设计的一个重要方向。
3.3.2 从人机交互（Human-Computer Interaction，简称HCI）到面向儿童的人机交互（Child-ComputerInteraction，简称CCI）
现在大多数人机交互研究和设计都面向成人，并没有将儿童用户的需求作为用户研究的对象。儿童具有不同的认知和运动特征，适用于成人的人机交互界面并不一定适用于处于不同年龄阶段的儿童。近年来随着对智能人机交互的探索, 元宇宙时代的人机交互方式也将变得更加自然直观、易于学习和使用,但这些人机交互方式并不一定特别适合儿童。将实物交互、手势交互、姿态交互、笔式交互、语音交互等多种通道技术进行自然交互整合, 探索“儿童友好型”的交互设计原则，将是元宇宙时代未来面向α 世代的人机交互技术的发展方向。
3.3.3 从以用户为中心的设计（User centereddesign， 简称UCD） 到以共同体为中心的设计（Community Centered Design，简称CCD）
以用户为中心的设计是人机交互的重要原则，以往的用户研究更多关注独立个体的需求和体验，如研究儿童阅读交互式绘本时的认知效果和情绪感知，而较少关注用户在使用产品时的社会关系。元宇宙赋能下的绘本体验更加注重参与性和社交性，因此人与人之间的共同体关系（包括虚拟人与人之间）变得尤为重要，不仅要理解元宇宙社区中的儿童个体需求，更要挖掘隐性的儿童社会需求。CCD 的研究对象不是个人，而是一个多元化的群体, 是一个涉及不同利益相关方、相互联系又彼此制约的儿童社会网络。作为α 世代的数字公民，当代儿童应当从小培育对数字内容的获取与辨识、分析与编辑、应用与批判、反馈与创新四大面向未来的数字素养。CCD 理念将赋予儿童更多的数字创作权利，激发儿童的创作欲望、降低创作的门槛，丰富交互式数字绘本的创作生态。
4结论与展望
以人工智能、虚拟现实为代表的新兴技术推动着数字儿童绘本迈向新的台阶，α 世代作为人工智能时代的“原住民”，也将是元宇宙时代重要的数字内容消费者和创造者，他们对数字儿童绘本的阅读体验和交互设计提出了更高的需求。本文探讨了元宇宙赋能下数字儿童绘本的未来图景，构建了儿童绘本元宇宙的人机交互设计模型，基于该模型从沉浸式技术、沉浸式叙事和沉浸式交互三个方面阐释了如何为儿童用户提供有沉浸感的绘本交互设计，为促进元宇宙时代的儿童数字内容体验迈向更加人机共融的交互图景提供了参考与借鉴。
参考文献：
吴江, 曹喆, 陈佩, 等. 元宇宙视域下的用户信息行为框架与展望. 信息资源管理学报,2021(12):4-20.
华子荀, 黄慕雄. 教育元宇宙的教学场域架构、关键技术与实验研究. 现代远程教育研究,2021(11):23-31.
王儒西, 向安玲.2020-2021 年元宇宙发展研究报告.北京: 清华大学新媒体研究中心,2021.
姜宇辉. 元宇宙中的“孤儿们”?——电子游戏何以作为次世代儿童哲学的教育平台.2021,39(5):21-29.
刘 威, 恽如伟.Edutainment 概念起源和定义研究综述. 远程教育杂志,2009,17(2):69-73.
张小龙, 吕 菲, 程时伟. 智能时代的人机交互范式.中国科学: 信息科学,2018(4):406-418.
何思倩, 贺 鼎. 动线理论视角下的儿童绘本书籍设计创新研究. 出版发行研究,2020(1):63-66.
曹瑞. 基于虚实交互技术的儿童绘本设计与研究.北京: 北京邮电大学,2016.
MCCRINDLE M.Generation Alpha.London:HachetteUK,2021.
杨新涯, 钱国富, 唱婷婷, 等. 元宇宙是图书馆的未来吗?. 图书馆论坛,2021,41(12):35-44.
盛歆漪, 胡心怡. 数字时代下儿童交互绘本设计特点研究. 装饰,2016(8):136-137.
吕菲, 张惠乔, 侯文军. 基于真实感框架的自然用户界面反馈设计方法. 北京邮电大学学报( 社会科学版),2015(6):14-21.
江中君. 面向交互创新的图书馆知识服务模式研究. 图书馆建设,2021(3):122-132.
岳涵. 基于学龄前儿童特征的电子绘本交互设计要素及趋势探究. 编辑之友,2020(8):85-90.
邱伟. 媒介融合背景下儿童绘本的互动叙事设计研究. 无锡: 江南大学,2021.
GREEN M, JACOB R.SIGGRAPH '90 workshop report:software architectures and metaphors for non-WIMPuser interfaces.ACM siggraph computer graphics,1991, 25(3):229-235.
VAN DAM A. Beyond WIMP.Computer graphics &applications IEEE, 2000, 20(1):50-51.
SHAER O, LELAND N,CALVILLO-GAMEZ E H, et al.TheTAC paradigm: specifying tangible user interfaces.Personal & ubiquitous computing,2004,8(5):359-369.
APITZ G,GUIMBRETIERE R,ZHAI R. Foundations fordesigning and evaluating user interfaces based on the crossing paradigm.ACM transactions on computer
human interaction, 2010, 17(2):9.
覃京燕, 安燕琳, 卢星晖, 等. 具身与离身认知在多模态交互环境下的交互语法研究. 包装工程,2019(6):134-194.
王田. 基于Avatar 面向儿童的3D 用户界面设计.杭州: 浙江大学,2007.
程文婷, 吴家辉. 学前儿童数字阅读用户意见主题挖掘与情感分析研究. 图书馆建设,2022(3):104-112.
季铁, 潘 英. 基于社区和网络的设计与社会创新—从UCD 到CCD. 装饰,2012(12):109-111.
南婷, 田原.α 世代拉开时代新序幕. 网络传播,2020(4):46-49.
[ 作者简介]
何思倩 1988 年生, 北京科技大学机械工程学院工业
设计系副教授, 硕士生导师，研究方向为儿童福祉设
计、儿童智能产品交互设计、儿童绘本创作与设计等。
E-mail: hesiqian_design@foxmail.com。
覃京燕 1976 年生, 北京科技大学机械工程学院工业设
计系教授, 博士生导师, 教育部长江学者特聘教授(2021),
研究方向为人工智能与创新设计、元宇宙游戏设计、
交互设计、信息设计以及大数据的信息可视化等, 为本
文通讯作者。E-mail: qinjingyan@me.ustb.edu.cn。
页:
[1]