近期，XR（扩展现实）和MR（混合现实）的运用开始快速进入大众视野。在我们身边，6月5日晚OPPOReno4系列新品发布会上，我们也迎来了这些技术在国内发布会现场舞台表演的首次亮相。
50秒的开场秀由OPPO团队主导，联合浙江卫视导演团队、视觉设计团队DNT倾力打造。陈学武任总导演，姜阳建任副总导演，陈若川任执行总导演，石丝雨任现场导演，李建国任音乐导演，胡玥鹏任视觉导演。
通过赛博朋克风格的城市夜景、光绘奇幻乐园，加入实时互动元素让整个表演更加有趣有活力，诠释手机“超级夜景视频”的功能定位。
由于涉及AR、实时渲染、裸眼3D实时追踪、雷达实时互动等，每个环节设备技术必须精准实现才能保障秀的顺利推进，在这台MR大秀背后，隐藏着一群“低调的功臣”。
1-两套工作流系统并行-
A系统：摇臂追踪-Notch-disguisegx2-导播系统和barco激光投影
B系统：摇臂追踪-Notch-hecoos-导播系统和barco激光投影
摄像机追踪、实时渲染、前景叠加、大屏幕播控四大模块同时作用。两套Stypekit摇臂机械追踪，信息实时传输到Notch，渲染引擎根据机位变化实时渲染输出影像到disguisegx2和hecoos两款服务器，通过投影最终呈现，两套工作流系统并行确保效果万无一失。
摇臂机械追踪Stypekit：用于专业摄像摇臂系统的摄像机机械跟踪系统，安装在摄像摇臂上的传感器收集三轴的运动位置数据处理发送到渲染引擎，通过软件程序运算实时为虚拟图像系统提供摄像机跟踪数据，将真实素材与虚拟图形图像实时合成。此次在摇臂基础上增加了AR效果，可以把人物置于虚拟前景和背景实时裸眼3D场景的设计中，形成前后景包裹效果。
Notch：基于节点式的编程界面制作可交互的视觉内容。Notch的核心是其实时渲染能力，具备出色的空间感知，集创建、改变、合成、编辑、播放于一身，即时编辑视频特效、控制灯光、生成VR/AR。Notch实时渲染引擎此次分别对接disguisegx2和hecoos两款服务器，驱动进行前景、背景画面渲染。
Notch现场操作调整
disguisegx2视频服务器：实时特效处理引擎，可以结合Notch粒子功能创造非凡视觉效果，在该项目中，服务器将采集的数据、画面信息经过处理，一方面处理现场投影画面的正确透视关系，一方面完成导播系统中完整前景AR效果、背景裸眼3D画面的结合呈现。
disguisegx2现场工作调试
disguisegx2以往经典案例——
水果姐KatyPerry《Daisies》让MR、XR迅速为大众熟知
英国OMEN电竞挑战赛现场直播AR与MR技术实时呈现
全英音乐奖颁奖典礼上，Dave演绎《Black》
hecoos多媒体服务器：实现设计与现场执行的无缝对接，具有切片、视频解码和渲染、可同步控制多台设备、矩阵控制、键盘触发、可完成现场投影画面对异形物体的快速贴合和偏离矫正、可3DMapping和投影反算等功能，可以跟overlay显示增强技术，光学追踪等多种外部系统对接。在该项目中，hecoos将真实摄像机数据、透视投射数据、Notch中的摄像机三者坐标系保持一致并正确匹配，保障工作流程。
hecoos服务器现场工作调试
激光投影：10台四万流明激光Barco投影机实现3DMapping效果，控台基于模块排列的编程方法加快编程速度，确保快速使用系统资源，打破物理空间限制。团队在投影拼接融合和优化上保证实时裸眼校正，让现场投影画面从环境感、光比等方面都达到最舒服的状态。
Stypefollower红外追踪器：该系统由红外摄像组成，可跟踪人的位置和方向并让虚拟图像得以跟随，适用于直播。
Stypefollower在OPPOReno4发布会现场应用
Stypefollower演示（资料来源Stype