VR? AR? 今天，一切都是关于XR

VR 已死，VR万岁! That about sums up the reality check the industry is having to spin about next-gen immersive video. 阿迪, 谁代表全球移动网络运营商的利益, 承认虚拟现实(VR)继续遭受“后炒作现实”的困扰,这是GSMA一年一度的世界移动通信大会(MWC)在其中扮演的角色. 同时, GSMA指出，当前的移动生态系统是人工智能和沉浸式现实的“实验室”:“而智能手机的战争集中在应用经济上, 新的战场是人工智能的开发和对沉浸式现实的推动."

分析人士预测，全球增强现实(AR)和虚拟现实(VR)市场将会增长. 有先见之明的 & 战略情报局每年统计42人.增长9%，超过1美元.274 billion in 2030, largely based on an uptick in the sales of 平板电脑 and smartphones.

Futuresource Consulting expects that the market will have remained relatively flat in 2020, 据估计，VR和AR头盔的出货量不到1800万部. 该公司表示，这主要是由智能手机的VR观众推动的, 占所有VR出货量的一半以上. 市场结构有望迅速发展, 然而, Futuresource Consulting预测，主机VR头显, 电脑耳机, 而一体机(如Oculus的Quest 2)将在2024年前保持稳定增长.

简而言之，VR没有起飞，但它的时代会再次到来. This article reviews what happened, what's going on now, and what's next for immersive video.

VR 1.0摊位

2014年，脸谱网以30亿美元收购Oculus，点燃了VR的导火索. VR技术和制作公司成倍增长，2017年达到顶峰. Jaunt从迪士尼筹集了1亿美元, 谷歌, 和天空, 等, 直到2019年被威瑞森收购. 然而，从那以后，事情就失败了. 诺基亚放弃了OZO部门. 谷歌关闭了其虚拟现实平台Daydream. NextVR在2020年被苹果收购之前市值曾达到8亿美元.

"的 VR market was overhyped and did not deliver meaningful results besides CG-based VR games,蒂埃里·福捷说, 超高清论坛主席兼Harmonic视频战略副总裁. “VR之所以未能起飞，是因为这项技术不够令人信服, 因为严重的问题，比如晕动病和“纱门效应”,，而且画质也不够好(4K vs. 可能需要的16K). We now see a second wave of VR enabled by 5G and new HMDs [head-mounted displays] with 8K capability."

与5G部署相关的VR和AR的炒作周期始于2017年. 那年4月, 韩国电信和威瑞森在韩国电信总部的显示器上展示了威瑞森员工的全息影像，展示了世界上第一个端到端5G网络.

“如果5G网络商业化, 3D hologram video calls will be available as one of the representative 5G-based services,韩国电信发言人表示的 韩国先驱报》的采访. “通过一个完整的全息视频通话, 用户将能够在一个遥远的地方，以真实的尺寸实时见到一个人."

At MWC 2018, South Korea's SK Telecom debuted 8K "social virtual reality" and "hologram AI.那年9月, Vodafone demonstrated a live holographic appearance of the England women's soccer captain over 5G. 2019年2月.K. 移动运营商EE在英国电影和电视艺术学院奖的红地毯上展示了“数字超模”舒度的全息图，展示了其5G网络. 在MWC 2019上, ZTE and China Telecom teamed up to show 5G 8K VR panoramic live streaming from a traveling bus.

多年来, 业界一直在围绕5G大肆宣传, 特别是, its "game-changing" capability to stream video games and AR/VR experiences in real time. 毕竟, 5G是第一个能够提供VR和AR移动应用所需的速度(100Mbps)和延迟(10ms)的网络基础设施. 尽管苹果公司投入巨资, 微软, 谷歌, 和脸谱网, VR/AR还远未成为主流.

“缺乏合适的支持网络是导致VR主流采用速度低于预期的因素之一,索尔·罗杰斯说。, 沉浸式内容制作公司REWIND的CEO兼创始人, 在一篇他为 《欧洲杯在哪投注》. “5G将迎来沉浸式和云连接体验的下一个时代. 更快，更统一的数据速率，更低的延迟和更低的每比特成本将确保这一点."

在澳大利亚、美国和中国，VR头盔的拥有量已从2017年的峰值下降.K.美国和美国.S. 而13%的U.2017年，美国家庭拥有一台，到2019年，这一数字降至8%. 根据GSMA的说法, “昂贵, 笨重的硬件和持续的头晕挑战并没有帮助, but limited content libraries beyond gaming and lack of edge infrastructure are also to blame."

Sports leagues and 广播公司 are among those that continue to see VR as a means of boosting viewer interest. 面临的挑战是，在付费电视用户已经被更便宜、更灵活的流媒体套餐拉向相反方向的情况下，如何说服他们在VR广播上花更多的钱.

即使是1美元.预计到2030年，VR/AR的市场规模将达到20亿美元，与目前10亿美元以上的电子竞技市场规模相比相形见绌.GSMA预计到2025年全球移动总收入将达到52万亿美元.

“XR(扩展现实), VR的总称, AR, 混合现实, or MR] has been a disappointment insofar as it's not met the hype that has often surrounded it, 但是这些期望, 在事后看来, 很大程度上是站不住脚的,斯蒂芬·米尔斯说, 他是未来欧洲杯在哪投注咨询公司的研究分析师. “要让XR真正起飞，需要进行太多的技术开发，并相互配合, 还有几步要走. 值得注意的是, 改进的视觉效果必须与空间音频技术相结合, and likewise the SoCs [systems on a chip] must be further developed for specific XR use cases."

AR is a little different because it is inherently more suitable for on-the-go mobile computing. 谷歌, 微软, 神奇的飞跃很快意识到，增强现实早期最大的潜力在于B2B. 就连联想也推出了面向制造业的增强现实平台ThinkReality.

“(消费者增强现实)很难, as the technology cannot deliver the consumer expectation at a price consumers find agreeable,福捷说. "谷歌 Glass was a failure because the experience was flawed and [the] price was high. 神奇的飞跃的体验并不好, 生态系统不完整, 因为它需要一个特殊的硬件, 而且代价很高."

今年早些时候, Gartner将AR从其新兴技术列表中删除, 考虑到该技术已经成熟，并准备进入企业领域.

神奇的飞跃

神奇的飞跃是增强现实(AR)领域的早期领跑者之一, but the company soon discovered that the future lay not in consumer experiences but in B2B.

VR 2.0 = XR

XR这个词现在很流行. 未来学家和战略顾问伯纳德·马尔(Bernard Marr)对其组成部分的描述再清楚不过了:

VR:一种完全沉浸式的体验，用户通过VR头显离开现实世界的环境，进入一个完全数字化的环境.
AR: An experience where virtual objects are superimposed onto the real-world environment via smartphones, 平板电脑, 足智多谋的显示, 或AR眼镜.
MR:这是增强现实的一个进步，在现实世界中放置的虚拟物体可以像真实物体一样与之互动和反应.

高通是未来XR的主要推动者. 这家芯片制造商明确将XR与5G联系在一起，并与多家移动运营商合作，将一款可以连接到5G智能手机并由高通芯片供电的头戴式“XR查看器”商业化. “移动XR有可能成为未来十年世界上最普遍、最具颠覆性的计算平台之一, 就像这十年的智能手机一样,高通的一篇博客文章写道. “在未来的某个时候, 我们看到了智能手机的融合, 移动VR头显, 和AR眼镜整合到一个XR可穿戴设备中. … XR glasses could replace many other screens in your life—even big ones like the TV in your living room."

中国移动是全球最大的无线运营商网络运营商——德国电信、EE、KDDI、 Orange、软银、威瑞森、沃达丰、Tele-fón-ica和 NTT DOCOMO 也开着董事会. "We believe that the next decade will see a transition into a heads up society where eventually 眼镜将成为智能手机的替代品,肖恩·西顿说, 德国电信集团合作和设备高级副总裁, 在新闻发布会上.

高通第一反应眼镜

Qulcomm is working on extended reality (XR) glasses, which will connect to a 5G smartphone. 如图所示, such glasses will not only help first responders see their environments more effectively, 还可以监测这些反应者的活动和健康状况.

高通支持Nreal, 通过USB-C连接到安卓设备的XR查看器, 所有的加工过程, 存储, and wireless network connectivity needed for XR taking place on the phone instead of the headset. 爱奇艺等品牌, 3个眼镜, and Panasonic are expected to follow next year with gadgets bearing a "Qualcomm XR Optimized" badge. 高通公司提到了企业应用程序，比如“工作场所会议如何能够” be revolutionized through holographic telepresence with virtual collaboration platforms."

探索XR

与此同时，德国电信(Deutsche Telekom)正在合作与Orange合作开发消费者XR内容. 第一个合作伙伴是蒙特利尔的Felix & Paul工作室提供“国际空间站体验”.——摩根·布切特, Orange数字内容创新总监兼XR主管, 说, "[We] have been moving forwards with projects to develop platforms that deliver XR/5G, and have been confronted with a common challenge: finding high-quality interactive and immersive content. 在这个市场上，供应仍然有限，设计很少，远 Between, and expensive. 在一起, 我们更有能力与更大的公司竞争, 尤其是[谷歌, 苹果, 脸谱网, 和Ama-zon), 为了购买优质内容."

两家公司还在研究XR在体育和电视领域的应用. 丹尼尔Aslam, 德国电信全球合作伙伴和XR业务发展经理, 州, “我们正在探索XR(沉浸式)媒体用例，例如电视与混合现实眼镜交互. 我们将在2021年继续与Orange合作开发项目."

“短期内XR的增长将受到游戏和B2B的推动, 特别是在教育和培训方面,Futuresource咨询公司的莫里斯·加拉德说. "Improvements in productivity in the workplace will help bring XR into consumers' homes."

也许最大的(非高通)XR产品将是苹果的眼镜, 传闻将于2021年年中推出, 可能是8K规格的.

“最终, there will be compelling use cases for standalone (untethered) XR headsets and wearables, 最可能出现在企业AR中,米尔斯说。. “然而, 该行业必须确保无缝的消费者体验和, 最重要的是, 软件和内容开发者需要参与进来，以确保这些设备在开发时确实有一些值得做的事情."

VR和AR需要20mbps到30Mbps之间的带宽，因此可以在没有HMD的体育场内使用, Harmonic认为哪种用例会很流行. 多视角，多镜头，和多游戏高清视频也需要20Mbps 已经在RG实验室与法国tsamlsamvisions进行了演示.

"Before 2025, we will see in-stadium applications on mobile devices," predicts Fautier. "For VR or 2D, the applications are multicam, wide-angle camera for live and catch-up action. For AR, we envision score and statistics overlay and point cloud for volumetric capture. We believe multi-view and replay of action in the stadium can now be deployed at scale with 5G."

BT体育XR拳击

英国电信体育公司(BT Sport)的一项创新将使在咖啡桌上观看3D版拳击比赛成为现实.

XR应用程序

XR也不需要被视为纯粹的视觉机会. 例如, 有听觉增强现实的能力, 通过语音助手向佩戴者描述世界. 西蒙福勒斯特, 未来欧洲杯在哪投注咨询公司首席分析师, 假设这可能会以一种先进的可听产品的形式出现，这种产品能够使用基于位置的传感器和空间感知来提供精确的时间, 与用户正在做的事情相关的上下文感知信息. “这对人工智能在语音助手中的发展以及互联网搜索的运作方式产生了影响，因为所有结果都必须被说出来作为最佳答案, 每一次,他说.

超越标题速度, the ultra-low 延迟 in 5G effectively brings edge devices and cloud services far closer topologically, 模糊了可以放置计算欧洲杯在哪投注的边界. 此外, 网络切片的机会——有效地为特定应用保留保证带宽——将为移动网络提供先进的功能.

“这开辟了需要云服务实时响应的新应用, 与XR一个垂直，可以充分利用,福雷斯特说。. “然而, we're still around 5 to 7 years away from blanket 5G service coverage in most developed regions, 当然, 设备不会以千兆速度无处不在地连接, 因为这将需要5G网络基础设施的大规模密集化."

Forrest总结道，XR产品不能简单地依赖于高带宽毫米波. 以26 GHz为中心, 毫米波增加了“超级数据层”,“在很短的距离内提供高达10Gbps的超高带宽服务. "的refore, 5G should be considered as one part of the overall solution for XR,他说. “与此同时，soc正在与车载神经网络加速器一起开发. 这种创新为边缘人工智能提供了机会, 大大提高了XR设备本身的计算能力. Combining this with low-延迟 5G connectivity then allows cloud-based compute to run alongside. 最终, 5G实现了边缘和云之间的计算平衡, 具有近乎实时的执行能力."

用于家庭XR体验, 5G将“基本上毫无意义”,福雷斯特说。, Wi-Fi 6在确保低流量方面更为重要
延迟, high-quality XR experiences if the content being consumed or used is being directly streamed, 比如运动. 此外，Wi-Fi 7 (802.11)标准, 目前正在规范中，计划在2024年进行商业发射, 预计将提供30Gbps的峰值连接速度和更低的延迟, 直接与5G毫米波竞争. 福雷斯特指出，这将需要光纤到户，以便将巨大的本地带宽连接到互联网主干.

New codecs such as Versatile Video Coding (VVC) and Essential Video Coding (EVC; MPEG-5) will help reduce video bandwidth for broadcast/push VR applications, 这些编解码器将与5G和Wi-Fi 6连接一起使用. 但视频帧不一定是XR的最佳技术, 还有一些替代方案正在开发中. One such innovation is in volumetric capture techniques: Video can be captured using multiple cameras, 然后生成一个“点云”, 描述3D [x ?, y, 场景中每个像素的坐标和颜色.

“从成千上万的点, 一组3D对象被创建, and these can be rendered in the headset; coupled with the increase in local compute performance, 这为基于图形渲染技术的新XR产品提供了潜力, 而不仅仅是视频帧,福雷斯特说。.

BT Sport is exploring how to capture volumetric video and deliver interactive immersive experiences over 5G, 既可以在体育场馆内进行，也可以在家里进行直播. 创意包括将拳击比赛的实时虚拟体全息图流到观众的咖啡桌上, 与直播同时进行. 这一切都处于概念验证阶段，但这是美国近4000万美元项目的一部分.K. 政府资助的项目，开发将推动5G普及的应用.

6自由度自由视点

Companies within MPEG are actively defining algorithms for the compression of point clouds, 这样捕获和传输是标准化的. 这些分别是视频和图形的MPEG V-PCC和MPEG G-PCC, 两者都寻求捕获3D体积数据并显着减少带宽.

“超越2030年, 我们预计将会有6自由度的光场应用，这将需要在客户端进行高计算, 还有新的显示技术,福捷说. 这些实例将(适用于)基于位置的环境. 第二个应用程序是渲染游戏的免费视口应用程序. 虽然这个应用程序现在还不是实时的，但我们希望它是."

In 2019, Canon used its 免费的 Viewpoint Video System to provide highlight videos at the Rugby World Cup. 该公司表示，该系统“利用位于体育场周围的多个摄像头……将高分辨率的馈送组合并转换为3D空间数据。, 生成一个全面的三维地图的行动，每一刻."

另一个应用程序, 这需要5G网络中的特定软件, 是FeMBMS(进一步发展的多媒体广播组播业务). 在3GPP Release 17中，这种新的移动广播模式可以在半径60公里的范围内分发流行内容. Harmonic预计将在2024年巴黎奥运会上首次部署该系统. 如果这是决定性的，它可能在2025年后被广泛部署.

“移动广播是一个不确定因素，因为它在4G中失败了，”福捷说. “然而, 如果在流拥塞的情况下QoE更好, 那么FeMBMS就会成功. 移动网络运营商将能够将他们的网络向内容提供商货币化, 广播公司, 或活动组织者(如国际奥委会或国际足联)."

高通公司(Qualcomm)表示，如果XR要飞起来，它需要在显示技术上进行颠覆. 这些“眼镜”的属性包括为沉浸式VR和有用的AR提供视野(VR完全不透明), 但至少有85%的AR透明度), 驱动至少Rec的高动态范围(HDR). 2020色域，并以至少120Hz的频率刷新(每只眼睛). 它的成本也必须低于100美元.

高通还表示，5g增强的移动宽带是XR大规模采用的必要条件. 报告称:“XR视频将成为5G的杀手级用例。. Target attributes include 延迟 down to 1 ms and a uniform experience—even at the cell edge. 高通公司预测，在未来十年, 5G XR应该可以达到200英里/秒到5英里/秒的速度,000 mbps, 与互动, 实时, 3 d 免费的-Viewpoint, 6个自由度, 8K/90 fps - 120 fps HDR视频.

空间计算前沿

XR devices are the gateway toward the real prize targeted by tech giants like 神奇的飞跃, 微软, 苹果, 谷歌, 英伟达:下一代互联网, 也就是理论上的3D和触觉, 需要围绕声音和手势设计新的人机交互.

空间计算, 由神奇的飞跃定义, 允许数字内容与其物理环境互动，人们也可以无缝地与内容互动, 没有屏幕的限制.“该公司正在通过在日本NTT DOCOMO等合作伙伴的5G基础设施上运行空间计算来推进这一目标.

英伟达(Nvidia)对这个网络未来的控制份额的出价被称为Omniverse. 最初以企业为目标，Omniverse“融合” the physical and virtual worlds to simulate reality in real time with photorealistic detail," 该公司总裁兼首席执行官黄仁勋表示在最近的主题演讲中. “云原生和照片真实, 具有路径跟踪和材料模拟, Omniverse允许设计师、艺术家甚至人工智能在一个共同的世界中联系. 这是《欧洲杯在哪投注app最新版下载》全息甲板的开始，终于实现了."