2024年8月20日游科互动科技有限公司出品的3A游戏《黑神话：悟空》广受全球玩家关注和热议。在正式发售后不到24小时，Steam在线玩家峰值突破222万，在Steam所有游戏中在线玩家历史峰值排名第二。这款现象级产品正式开启国产3A游戏元年。《黑神话：悟空》凭借炫酷逼真的3D渲染效果和东方美学实力出圈，受央视、新华网、人民日报等官媒点赞和报道。
图1：《黑神话：悟空》
图片来源网络
《黑神话：悟空》取材于《西游记》的故事和人物角色，融入了大量古代建筑、东方美学、国风音乐等中华文化元素，36个取景地中，共有27个來自山西，例如悬空寺、小西天等。在游戏中，高清逼真的渲染场景与现实世界无缝衔接，虚拟与现实的界限在精湛的技术下难以分辨，带来身临其境的沉浸式体验。
图2：山西悬空寺vs《黑神话：悟空》渲染场景
图3：《黑神话：悟空》3D实时渲染动态场景
图片来源网络
3D实时渲染技术
在《黑神话：悟空》游戏开发中，有一至关重要的技术—3D实时渲染技术。它能够根据玩家的动作和视角变化，实时更新场景中的每一帧，确保游戏体验的流畅性和互动性。
（1）世界是“离散”的
光栅化渲染管线是当前主流的3D图形渲染方法之一，广泛应用于游戏中。其工作原理是将三维场景的几何数据（如多边形、顶点等）转换为二维图像，即将顶点信息连接形成的基本几何图元（如三角形）映射到二维的屏幕像素上。根据图元的顶点位置进行着色。光栅化渲染虽然高效，但是相比较光线追踪等物理更精确的渲染技术，其在光线的反射、折射、全局光照等方面的表现逊色。
图4：离散化渲染
图片来源网络
图5展示了不同密度三角面片表征的3D物体。随着三角形面片密度增加，3D物体越细腻，但也为3D计算带来了更大的负担。
图5：三角形面片表征的3D模型
图片来源网络
（2）世界是“连续”的
3D物体的表征本质上是找到在3D空间某坐标下物体的例如反射率、光学密度、颜色等属性。数学上实际上需要找到一种储存关于3D点坐标与这些物体属性的方式。离散的3D表征实际上是显式地将这些关系存储在网格中，通过访问这些网格就能获得物体的属性，从而得到整个3D场景下的物体。那么有没有可能通过构造函数的方式，直接将输入的3D坐标映射为物体属性呢？神经隐式表征给了我们答案。
2021年谷歌研究所Ben Mildenhall等提出隐式神经表示的神经辐射场（Neural Radiance Field，NeRF）。NeRF通过优化多层感知机的神经网络，实现从输入的稀疏视图合成复杂场景新视图。输入5D坐标（空间位置（,,）和观察方向（,），输出该空间位置的体积密度和与视角相关的辐射度（颜色），通过体渲染方式合成极具真实感的新视角渲染结果。但是该渲染技术训练效率低，难以实现高分辨率实时渲染效果。2022年，英伟达Thomas Müller等提出了Instant NeRF，采用多分辨率哈希表方式减少浮点运算和内存访问次数，能在几秒钟内完成高质量神经图形基元训练，并能在几十毫秒内完成1920×1080分辨率的渲染。
Nerf是计算机视觉中认知的一次飞跃：
计算机视觉的最高奖是“马尔奖”（Marr Prize），以David Marr命名，而David Marr作为计算机视觉4的开创者曾经提出过一个系统的视觉理论。在他的理论中，他把计算机视觉终极问题定义为：输入二维图像，输出是由二维图像"重建"出来的三维物体的位置与形状；而其他的一些我们现在常称为“计算视觉”的任务，比如识别、检测等等，在Marr的理论中只能称作“模式识别”问题，不能被称作“计算视觉”问题。这其中的分别在于，Marr证明如果终极问题能够被解决，那么其他问题都能够被解决。所以从整个计算机视觉的领域来讲，NeRF所解决的就是计算机视觉最根本的问题，它所展示的效果是计算机视觉领域最根本的进步。
引用知乎专栏的内容
https://zhuanlan.zhihu.com/p/574351707
尽管NeRF已经在高真实感的新视角合成方面取得了突破性进展，但它依然存在隐式表达不直观、训练效率低等问题。
图6：NeRF投影与渲染过程
图7：Instant NeRF 实时渲染结果
（3）在“离散”与“连续”中找到平衡
自2021年Nerf提出以来，有大量的工作前赴后继，为Nerf的改造与应用添砖加瓦，然而就在2023年夏天，Nerf的强大对手3D高斯泼溅（3D gaussian splatting, 3DGS）正在蕴量着一次革命。3DGS结合隐式辐射场表示和显式渲染的优势。它首先将场景物体显式表示为点云，然后给每个点赋予一个3D高斯椭球。显式地将3D场景表示为多个3D高斯函数，每个高斯椭球连续地表征当前点云的3D物体属性。使用可微的光栅化进行渲染，基本思想是将所有3D高斯根据相机参数投影到影像平面上，形成一系列的二维平面高斯，再通过二维平面上高斯的叠加混合，最终合成影像。通过对比渲染图像与实际拍摄图像直接的差异优化3D高斯椭球的参数，能够在1080p分辨率下实现高质量的实时新视图合成。近期，德国图宾根大学Andreas Geiger课题组介绍了一种抗锯齿3D 高斯泼溅方法Mip-Splatting，引进了3D平滑滤波器和2D Mip滤波器以实现任意采样率下的无伪影渲染。该工作获得2024年CVPR最佳学生论文。
图8：3D高斯函数溅射过程
图9：3DGS实时渲染结果
3D实时渲染技术的应用
3D实时渲染技术不仅在游戏领域有着广泛应用，还在多个行业展现了其重要价值。在自动驾驶领域，3D渲染技术可用于创建虚拟驾驶环境，协助自动驾驶系统识别和处理各种路况。例如，Waymo和Tesla等公司利用该技术进行自动驾驶的模拟测试。在虚拟现实与增强现实的应用中，3D渲染技术使人与虚拟环境之间的沉浸式交互成为可能，提供实时的交互反馈。微软推出的HoloLens增强现实设备可广泛应用于工业制造、建筑和医疗等领域，而Meta也推出了Meta Quest系列头显设备。此外，苹果推出了混合现实设备Apple Vision Pro。它们通过3D渲染技术实现用户与虚拟环境的互动。这项技术还被用于危险操作培训，如飞行员培训。在生物医学领域，3D渲染可用于手术前的三维成像与模拟，帮助医生规划手术路径，同时协助研究人员创建人体模型。天文学家则利用实时3D渲染构建并观察星系、恒星等天体的三维模型，还可以创建虚拟天文馆，让公众以沉浸式的方式探索宇宙。
图10：3D实时渲染技术的应用
3D实时渲染技术在自动驾驶、人机交互、虚拟现实、生物医学和天文观测等多个领域展现了广泛的应用前景，推动了智能化和可视化的发展。这项技术不仅提升了用户体验和产品功能，也加速了产品创新与迭代，具有显著的市场价值和工程价值。通过精准的3D视觉模拟，3D渲染技术正悄然改变工业和日常生活的传统模式，助力提供沉浸式体验和智能化操作范式，从而提升了工作效率和决策能力，印证了“科技改善生活、科技服务生活”的理念。
作者：陈雅婷，张书赫（清华大学）
参考文献
[1] https://www.heishenhua.com/
[2] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J].Communications of the ACM, 2021, 65(1): 99-106.
[3] Müller T, Evans A, Schied C, et al. Instant neural graphics primitives with a multiresolution hash encoding[J]. ACM transactions on graphics, 2022, 41(4): 1-15.
[4] 高建, 陈林卓, 沈秋, 等. 基于三维高斯溅射技术的可微分渲染研究进展 (特邀)[J]. 激光与光电子学进展, 2024, 61(16): 1611010-1611010-13.
[5] Kerbl B, Kopanas G, Leimkühler T, et al. 3D Gaussian Splatting for Real-Time Radiance Field Rendering[J]. ACM Trans. Graph., 2023, 42(4): 139:1-139:14.
[6] Charatan D, Li S L, Tagliasacchi A, et al. pixelsplat: 3d gaussian splats from image pairs for scalable generalizable 3d reconstruction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 19457-19467.
[7] Yu Z, Chen A, Huang B, et al. Mip-splatting: Alias-free 3d gaussian splatting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 19447-19456.
[8] 刘兴潭,张成渝, 武延鹏,等.小天体在轨渲染观测技术[J].光学精密工程, 2021, 29(12): 2745-2753.
[9] 滕嘉玮,赵岩,张艾嘉等.基于二维仿射变换的几何一致性虚实融合[J].光学精密工程,2022,30(11):1374-1382.
[10] 林晋钢,李东年,陈成军等.基于像素投票的人手全局姿态估计[J].光学精密工程,2022,30(19):2379-2389.
策划&监制：曹金
编辑：赵阳
来源：中国光学
原标题：光精漫谈 | 黑神话悟空出世：身临其境3D渲染技术
编辑：cc
转载内容仅代表作者观点
不代表中科院物理所立场
如需转载请联系原公众号
