【摘 要】 本文结合案例介绍立体投影、实时交互、虚拟现实、增强现实、混合现实、游戏渲染引擎等各种媒体技术在当下舞台中的运用，分析舞台影像创作中，运用媒体技术丰富视效并实现交互体验，运用蒙太奇手法叙事，达到兼顾艺术与技术的融合。
【关键词】舞台影像；媒体技术；蒙太奇；游戏引擎；立体投影；交互；叙事
Application of New Media Imaging Technology in Stage Art
Wu Zhen · Beijing Dance Academy(Beijing Dance Academy, Beijing 100081, China)
【Abstract】This paper introduces the application of various media technologies such as stereo projection, real-time interaction, virtual reality, augmented reality, hybrid reality, game rendering engine and so on in the current stage, and analyses the use of media technology to enrich visual effects and realize interactive experience in stage image creation, and montage narration to achieve the integration of art and technology.
【Key Words】stage image; media technology; montage; game engine; interactive; narrate
近年来，各种新媒体技层出不穷，发展速度越来越快，如立体投影（3D Mapping）、实时交互、虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）、混合现实（Mixed Reality，MR）、GLSL等编程语言，还有实时渲染游戏引擎等，不断被应用于舞台演出。因此，舞台多媒体的创作越来越复杂，不再是单纯的平面视频设计，而涵盖了立体投影（3D Mapping）呈现、虚拟现实剧场、现实增强/混合现实电视/网络直播的交互实现、着色器（Shader）的编写等，迫使软件、硬件加速整合，并衔接形成新的创作流程；叙事方式也不限于传统的线性叙事，非线性叙事（Nonlinear narrative）、充满不确定性交互叙事（Interactive storytelling）也开始出现。
在创作理念、叙事方式、表现形式变化的过程中，出现了一种现象，创作者在尝试新技术进行创作时忽视了运用新技术的初衷。因此，在舞台创作过程中，如何兼顾艺术与技术的融，尤其是在影像的制作中，运用媒体技术丰富视效并实现交互体验，运用蒙太奇手法叙事，是创作者需要关注和思考的。
1 媒体技术在舞台上的应用
从1998年的电影《罗拉快跑》开始，游戏行业就潜移默化地影响渗透着影视、新媒体行业，甚至改变着观众的审美习惯，使现代人习惯于游戏式的快节奏和更具带入感的主观运动镜头。主流游戏引擎（Unity 3D、Unreal）的开发者也野心勃勃地进军游戏行业之外的领域，例如动画电影、演出等。专门为舞台演出服务的实时渲染引擎也开始出现（例如NOTCH）。
游戏引擎的介入使得实时渲染、虚拟现实、增强现实、混合现实能够在舞台上实现，计算机独立显卡（GPU）的发展使游戏引擎实时渲染的优势得以发挥,省去了视频制作所需的大量渲染时间，极大地提高了创作效率。而游戏引擎在创作虚拟现实（VR）、增强现实（AR）方面的优势使得叙事形式更加丰富，特别是交互叙事，VR剧场。舞台投射介质越来越立体：球幕、异形成为常态；VJ（Visual Jockey，影像骑师）式的实时交互影像操控开始流行。
游戏引擎、实时渲染技术的发展及其与互动媒体的结合使得媒体艺术更好地融入大型演出、即兴和实验表演艺术中，对舞台多媒体创作带来深刻变化，使得媒体技术应用在跨界艺术创作中成为重要元素。
1.1服务器与多种传感设备结合创作
三维实时预览、立体投影（3D Mapping）、实时交互特效、多媒体文件的播控等功能开始通过服务器整合，不同功能的硬件设备与服务器无缝衔接，形成新的创作流程。例如英国disguise服务器、hecoos服务器、VYV、Smode、moduIo Pi等；服务器可以和渲染引擎NOTCH、红外跟踪设备（例如BlackTrax）、惯性动态捕捉设备诺亦腾Noitom整合进行舞台创作。
红外跟踪设备（例如BlackTrax、Optitrack、Vicon）等动补设备捕捉舞台装置或演员的表演动作，并传输到渲染引擎里绑定的虚拟角色，影像跟随舞台角色活动同步变化，形成有空间层次的交互立体视觉效果，模糊了现实与虚幻的边界（见下方视频）。
例：2019欧歌赛舞台：
经过60余年的打磨，欧歌赛对于舞台技术要求越来越高，对设计团队的挑战也越来越大。设计师不光要从美学和创意上对方案做整体设计，同时也要非常清楚的知晓方案落地的可行性，还要紧密的跟踪最新的技术动态。
简单的动作主要通过现场灯光、舞美影像来强化。因此在视觉设计上前后氛围的营造、在影像后期制作上动画的变化就成了增加张力的重要因素。由于欧歌赛直播对每个表演时间点要求极为精准，为了更直观地把握舞台现场效果，DNT团队联手hecoos联合开发更加适用于电视节目的预演系统，增加导播镜头切换，不仅方便提前观看效果，更可以通过实时预演现场的导播镜头切换看到不同效果以选择最优方案。本次欧歌赛中，团队结合节目需求对视觉效果进行了1:1全方位模拟演绎，借助hecoos所想即所见，所见即所得的工作流程，设计师们得以“预”见真实舞台。为了更好体现冰封质感，在灯光、材质等方面运用半透明+环境反射材质来模拟冰面质感，模拟舞台灯光打在冰面上，实现了真实的光照和阴影效果。
hecoos自主研发的hireal渲染引擎在材质和灯光的效果模拟和展示方面具有无可比拟的艺术表现力和性能表现，依托优异的引擎性能，细腻的冰封质感由此而生。在预演中，往往灯光的模拟呈现较为困难，因为灯光跟现场环境关系极大。为了让灯光观感更具真实感，hecoos模拟了真实的灯具效果，支持灯光的亮度色彩旋转等设置，同时无缝对接灯控台，可以让灯光师像操作真实灯具一样模拟现场预演效果，最大程度还原现场，体验与真实灯光一致的视觉感受。为了更好地实现节目中设计亮点的效果，在机位切换的模拟上，hecoos支持任意多机位切换、摄像机镜头焦距和光圈等效果模拟，同时还能做到摇臂以及摄像机目标的自动追踪，几乎百分百的还原了现场机位的模拟预演，帮助导演组精准的提炼镜头语言，给导播工作带来了极大的便利。
此次欧歌赛项目中的overlay影像画面跟歌手亲密的互动交流，也是本次欧歌赛的一大亮点。在展示互动的特定时间点时，基于时间线的节目编排提供了灵活并且精确的时间控制，同时基于关键帧和路径的动画编辑器可以同步控制场景中的任意目标，实现精确流畅的动作配合。hecoos预演场景甚至可以通过材质反射参数的设置，把现场地面对演员和舞台的倒影效果也很好地模拟呈现出来，达到对现场效果精准的全面预演呈现。体验与真实环境一致的视觉感受。
以笔者于2018年为武汉京剧院跨界融合剧《光之谷》创作的多媒体设计为例：在三维设计软件中导入舞台模型，舞台由6块活动的盒子和6道卷帘组成，拼接成一块15 m×7 m的投射面。6个盒子根据演出的需要运动。第二幕咖啡厅场景，1个盒子推进到前区，使舞台更有层次；尾声时，盒子依次排开全部推进到前区，与列车驶过城市的影像融为一体。
演出使用红外跟踪设备BlackTrax捕捉舞台盒子的运动，并传输到服务器里，使影像如同活动舞台装置的衣裳一样同步变化，完全附着在一起，形成有空间层次的立体视觉效果。
1.2 多媒体创作舞台绘景式的2D平面发展到“3D Mapping”
创作手法从之前舞台绘景式的2D平面发展到立体投影3D Mapping。它可以将影像完美地投射到户外建筑、汽车车身甚至钢琴、人的面部等任何可以投射的介质上。游戏引擎的介入使设计制作的视频能够完美、快捷地投射在三维介质上。而高流明激光投影机的普及极大地提升了投影画面的亮度，削弱了传统舞台灯光对其的影响。室内剧场演出的投影介质由传统的天幕，台口纱幕扩展延伸到地面和顶部。
设计师通过巧妙的创意构思，可以实现更加丰富、立体、富有变化的视觉效果，使观众的思维突破二维的限制，拓展出第三个维度的想象空间。视觉影像创作的内容开始摆脱舞台绘景式的具象画面，而开始用简洁抽象的画面表现人物内心世界。同时也增加了叙事的难度，舞台越来越复杂，影像往往分割成好几个单元，创作影像时还需考虑各部分之间的联系。
如下视频中由hecoos预演实施的马博会3D Mapping作品。
该项目是结合当地特色文化和民族体育需求建造的综合性建筑，主创团队在结合楼体本身特点的基础上进行创意投影，分为：【春】万物初始、【夏】碧草风驰、【秋】戎马征程、【冬】雪域圣洁四大主题，通过季节变换和时间推移来演绎内蒙古马文化的雄浑气势，8台高流明激光投影机、500组光束灯和图案灯、低空盘旋的无数无人机，共同呈现绚丽奇幻的马元素场景，尽显蒙古风采。此次投影秀在视觉设计阶段使用hecoos进行光路设计及整体效果预演，并通过多角度导播镜头切换预先看到不同机位所拍摄的画面效果，主创团队在设计阶段便对投影与导播的绚丽画面了然于胸，先进的工作流程为主创团队提供极大的便利。在现场执行中，Hirender全媒体总控系统及hecoos服务器为实际效果呈现保驾护航，实现最佳光影变幻。
1.3 游戏引擎的实时渲染和编程相结合
一些Audio Visual Show（音乐视觉秀）将游戏引擎做好的游戏场景文件（Unity 3D），并运用编程软件（如Touch Design、vvvv等）将场景文件编辑成完整的影像内容，通过MIDI与调音台进行同步，视觉设计师和音乐设计一起即兴操控视觉的变化，而不用演出前一帧一帧渲染好视频文件，既方便快捷又有很强的带入感。这种创作方式最早由游戏引擎Unity的开发师高桥启志郎（Keijiro Takahashi）开创。他本人也组建“VRDG+H”这一探索声音和视觉形象融合的新形式实验演出。如今，这种游戏引擎的实时渲染和编程相结合的VJ式的实时交互影像操控开始流行，在中国也有一批媒体艺术家运用这种方式进行创作。
这种VJ式的实时交互影像操控方式强调与演员表演的交互、同步、即兴，更注重节奏感、视觉冲击力，更适合抒发情绪，表现抽象内容。另一方面，利用计算机运算的创作，以其数学独有的美感和频率动态特点，挖深编程艺术独有的蒙太奇手法，增强多媒体在感观层面上的强度和整体结构性，但如果没有美学作为支撑也容易造成作品千篇一律的感觉。
1.4 虚拟现实技术与沉浸式戏剧表演相结合
近年来，虚拟现实影像这一视觉艺术形式开始出现并流行并应用于舞台创作中，虚拟现实技术与沉浸式戏剧表演相结合使观众成为演员，身临其境，呈现交互式、非线性叙事的观演模式。一些演出团体建立VR剧场，利用游戏引擎在开发虚拟现实作品方面的优势创作舞台作品。例如NAXS 涅所开发（台北）创作的《Render Ghost: XATAR》（VR剧场演出/装置）。
2018年，笔者在时代美术馆“全息书写”开幕展演中欣赏了该作品（见下图）。
《Render Ghost : XATAR》采用VR剧场性装置、仪式剧场的演出形式，创作者在尝试将光、声与虚拟现实相结合。观者身着防尘衣，配戴虚拟显示器，在声光与浓雾的包覆之下，徒步绕行于游戏引擎实时生成的信息丛生的人类世高塔与废墟中。在巨大的音效、浓雾、强风、粒子与镭射激光的包围下，虚实边界不断加速交融的时刻，以仪式剧场的角度探索人类处于信息历史中的座标，想像由现实跃向虚拟的巨大坠落、变形、失速与超越，拓宽了感知。
这些表演不同于用预编程的虚拟角色的表演，由专业演员站在动作捕捉台上表演，引领观者完成故事，每一次故事都不会完全相同。这种交互叙事方式也给创作者带来挑战，需要熟悉逻辑性和线性的计算机系统。
5G网路的发展可以使世界各地的观众参与到实时交互叙事的VR剧场中来。虚拟现实开发者（例如Oculus）已经将这一技术与沉浸式戏剧相结合（例如《不眠之夜》Sleep No More），开发VR沉浸式剧场。而目前的局限在于，穿戴设备（VR眼镜等）略显笨重，每次穿戴都需要调教。可以期待，随着5G网络的发展，虚拟现实技术与剧场相结合具有广阔的发展前景，能够在虚拟世界把演员带到观众家中。
1.5 增强现实技术和游戏式的交互叙事的结合
增强现实效果通过电视、网络直播呈现，现场的观众并不能裸眼欣赏到，而特效也需要前期设计好，作为现场舞台效果的延伸，表现实景难以呈现的魔幻效果。增强现实技术可以利用对摄影机影像的互动，使实时交互表演成为可能。其核心技术是追踪技术，现阶段的追踪技术主要有主动式红外追踪与被动式红外追踪。
主动式红外追踪需要在整个舞台空间内布置红外追踪摄像头，校准后，具有红外发射装置的发射器就可以追踪红外空间内的位置信息；而被追踪人员身上携带有追踪点设备，当其在舞台上移动，所产生的位置信息会被传回追踪服务器中产生六轴坐标点，送到渲染服务器，实时地针对位置渲染视觉特效。主动式红外追踪可以满足现场复杂环境下，超大范围内的稳定追踪。
被动式红外追踪是在摄像机自由运动的范围内，将标记点Marke贴在地面。校准后，摄像机的运动信息就能实时送到服务器（如hecoos服务器）。被动式红外追踪主要应用于室内光环境稳定的精准追踪。
舞台上运用混合现实通常是这两种追踪方式的整合体，然后再配合渲染引擎的实时渲染达到所需的效果。利用这两项技术解决视觉特效与角色动作或场景的同步性并进行3D拍摄。
以2018年德国科隆基督音乐节（Einfach Himmlisch 2018 Christian Music festival，Cologne, Germany）为例，视觉设计师在所有摄像机跟踪设置好后，开始设计AR环境作为视觉的延伸，将三维动画软件C4D与NOTCH相结合，动画师用C4D建模合成动画；将模型导入NOTCH，使用NOTCH的粒子动画和克隆创建特效，NOTCH可以在现场实时修改AR镜头里动画项目的参数；这些处理好的AR特效文件经NOTCH传输到hecoos服务器，AR内容被分成RGB渲染，服务器里面的Notchblocks模块将关键帧key/matte/alpha转化为信号，与视频实时混合为播放信号，实时传送到网站、电视台播放。于是观众可以看到体育馆里随着音乐升起的教堂、流动的发光河流、似漂浮在古典油画中的云朵。
在2019oppo年中音乐盛典上也运用了这一技术（如下视频），将现实场景与虚拟世界结合起来，由hecoos服务器完成影像融合与预演。
2 运用媒体技术完成舞台影像蒙太奇叙事手法的创作
近年来，舞台上媒体技术的运用往往会出现脱离叙事，缺少艺术审美单纯炫技，与主题关系不大的问题。盲目追求新技术使得传统影像在舞台演出中的运用受到了轻视，游戏引擎（实时渲染引擎）、编程软件以及各种追踪设备的结合使推拉摇移运动镜头，配合演员动作、声音实时交互的特效动画，充满不确定性的非线性叙事得到追捧，以至于整台演出变成了技术的堆砌，且大同小异，给人雷同感。因此，需要沉下心认真思考艺术与技术的关系。
反观一些行业内较成功的视觉工作室，在进行创作时根据内容选择适合的技术手段，如以擅长立体投影、交互编程、游戏引擎的59Production工作室在为2019年上海演艺集团偶剧《最后一头战象》创作多媒体视觉时反而回归传统，采用了手绘二维动画素材，服务器合成的方式，颇有返璞归真的意味。创作者考虑更多的是多媒体的使用与舞台演出的贴合度、艺术风格的统一，以及蒙太奇手法的实现。
“蒙太奇”一词来自法语，原义为建筑学上的构成、装配，借用到电影艺术中有组接、构成之意。如何发挥实拍影像的蒙太奇叙事优势，巧妙地与舞台演出融为一体，是创作者需要考虑的问题。
传统影像源自电影、动画、电视等视频艺术。在文中提及的舞台影像介质为平面投影、LED屏幕，舞台影像内容为拍摄的影像和手绘、三维电脑动画。它在中国约2007年开始流行，最初主要用作舞台布景的替代，之后将蒙太奇叙事手法融入舞台表演。时至今日，影像的质量越来越高，规格大小从早期标清（物理分辨率720P以下）到高清（物理分辨率达到1 080P）、超高清（物理分辨率达4K或8K像素）。而影像在舞台中的运用手法是否有所突破？
舞台影像采用看来更为传统的手法——实拍故事和非线性叙事方式：从固定角度拍摄，使用者从同一个机位表现同一场景的变迁，体现时间的流逝 。
笔者在2018年舞剧《苏园记忆》（该剧是国家艺术基金2017年度舞台艺术创作资助项目，跨界融合作品，由苏州歌舞剧院出品，2018年11月首演，分为春、夏、秋、冬四个章节）担任多媒体设计，创作中也尝试借鉴实拍电影的形式，运用蒙太奇手法来辅助叙事，增强作品的情绪感染力和艺术表现力。影像内容采用实拍和动画特效两种形式：用动画特效表现抽象元素，例如在空中流动的水的影像和舞台上舞动的水袖相呼应（见下图中的1）；在淅沥雨中缓缓旋转着的一把把雨伞的影像与女子打伞群舞相呼应（见下图中的3）；通过游戏引擎渲染的三维建筑动画运动镜头与男女主角游园的舞蹈戏曲动作相结合（见下图中的2），从主观视角来表现移步换景的园林景观，突出苏州园林的建筑美学和成就……
实拍电影的手法表现男女主角的相遇和表情，眼神、手势这些舞台上难以表现的细节动作。在一幕表现女主角初入园林的场景中，配合舞台上月牙形的景具，特写景别的影像呈现出女主角透过缝隙欣赏园林，左顾右盼略显羞涩又充满渴望的表情（见下图中的1）；当男主与女主相遇时用男女主角的脸部特写表现两人的眉目传情（见下图中的2、3）；男主角伏案构思写作的影像与双人舞相互呼应，似乎在笔尖舞蹈幻化成了文字（见下图中的4）；女主角手部的戏曲动作影像与舞台上男女主角的相遇相呼应（见下图中的5、6），表现了热恋中女主角的细腻情感。影像用4K摄像机高速（120 f/s）拍摄（见下图中的7、8、9），放慢的动作影像更加细腻，体现出真实表演无法感受的动作美感。
· 结语 ·
媒体技术的发展给舞台演出带来诸多的变化，有理由期待未来会更广泛的应用，给观众带来更强的视觉效果和交互体验。但同时也不能迷信技术，过于追求技术带来的绚烂视觉效果，而忽视演出作品本身内容的创作，回到媒体技术在舞台演出中运用的初衷，更好地实现技术与艺术的融合。
参考文献：
[1] Christiane Paul. Digital Art(Third edition)[M]. Thames & Hudson world of art,2015. P238.
[2] ink.zhihu.com/?target=https%3A//www.notch.one/showcase/" class=" external" target="_blank" rel="nofollow noreferrer" data-za-detail-view-id="1043" style="text-decoration-line: none; cursor: pointer; border-bottom: 1px solid rgb(128, 128, 128);">https://www.notch.one/showcase/.
[3] ink.zhihu.com/?target=https%3A//www.hecoos.com/" class=" wrap external" target="_blank" rel="nofollow noreferrer" data-za-detail-view-id="1043" style="text-decoration-line: none; cursor: pointer; border-bottom: 1px solid rgb(128, 128, 128);">hecoos全案设计