『数毛社』专访索尼首席架构师：PS5 Pro如何增强游戏性能

长文预警：这里我翻译了『数毛社』访谈的全文，分享给同样对PS5的中期改款感兴趣的人。字数很多，但和看访谈视频相比还是更节约时间的。

虽然不打算买PS5 Pro，我对新主机的硬件与功能升级还是很感兴趣的。前段时间索尼开了官方PS5 Pro的技术研讨会，『数毛社』Digital Foundry（DF）也特地采访了PS5 Pro的首席系统架构师Mark Cerny和游戏开发商Insomniac Games的核心技术总监Mike Fitzgerald。

此次访谈讨论了PS5 Pro的硬件设计理念，全新的PS光谱超级分辨率技术（PSSR），以及开发者如何利用这些新功能提升游戏表现，也提到了索尼接下来和AMD在机器学习领域的深度合作。

文中出现的所有截图均来自DF和索尼的官方视频。如翻译有误，还请在评论区留言指正。以下为访谈正文。

基于卷积神经网络与机器学习的PSSR

DF：我想从PSSR开始聊。包括顽皮狗、史克威尔・艾尼克斯在内的开发商们会给玩家提供完全不同的游戏模式预设。一些工作室倾向于提供多种游戏模式供玩家选择，比如PS5中常见的性能模式和画质模式；另一些工作室则会利用PSSR把过往的多种模式融合成PS5 Pro中唯一的增强模式。您对这些不同的做法有偏好么？

Mark：我的偏好就是开发商选自己觉得最好的方式就好，所以这个问题可以问问Mike。

Mike：我们的工作室有很多团队和成员参与游戏开发。为了保证稳定的帧率，以往大家要在画质模式中的画质上限和性能模式中的画质下限之间做出艰难的妥协。在这方面新硬件确实带来了便利。我们要做的妥协突然消失了，因为在PS5 Pro上我们可以将高画质和高帧率整合为一种模式（译者注：即新的Pro模式）。

在花时间把这件事做成之后，我们意识到或许还是有玩家想要在30帧进行游戏。考虑到新主机的硬件确实还不错，我们就把注意力转向了还能用它做些什么有趣的事。（译者注：此处Mike应该在说画质比Pro模式更好的Pro Max模式。注意不同游戏对游戏模式的叫法并不相同，Pro和Pro Max为《剑星》中出现的叫法。）

和PS5的性能模式相比，在帧率表现相近的情况下，PS5 Pro中Pro模式的画质提升巨大

PS5 Pro中性能模式与Pro模式的画面对比

DF：是的，这确实在很大程度上和游戏有关。Insomniac的游戏在PS5上就大量运用了光线追踪技术（简称光追），能打包出不同的画面配置。然而现在许多其他开发者也有能力在稳60帧的同时提供高画质4K图像，也许这就是增强模式的用法。

Mark：没错。我知道将来会存在多种不同的策略，并且在制作的第一个视频里就坦率地提到了这一点。在视频中展示的六款游戏中，前三款采用了『全能』增强模式，而另外三款则采用了完全不同的模式。

画质模式中PS5 Pro的帧率提升

DF：我们看到不同的开发者在使用PSSR时会用到的上采样系数的范围很宽。比如《心灵杀手2》是从864P上采样到4K，而Insomniac的游戏通常是从1440P或1584P上采样到4K。索尼有没有对上采样系数的选择提供指导意见？或者只是简单地建议开发者自行测试并比较不同系数带来的图像质量差异？

Mark：我来从研发端介绍一下，然后让Mike讲讲使用端的情况。在这方面仍在进行大量的研究。现在增强模式支持的系数范围是从2.5∶1到1∶1。不管在未来这是否仍是理想的策略，我们都会继续讨论它。我们正在研究的是左侧的2.5∶1，以及在它和右侧1∶1比较时出现的问题。所以我真的不会把2.5∶1当作能一直有效的指导意见。

更高倍率的上采样系数会带来更高的资源占用，让每一个像素变得更『贵』

Mike：没错，得说这在很大程度上取决于你正在使用的技术。像我们一直在用的帧间抗锯齿技术很适合从1440P到4K的上采样，但当分辨率降到1080P到1280P之间的时候就会很难用。而PSSR在这个区间的表现非常好，所以（这种互补）对我们来说是个巨大的提升，有助于在开发过程中更有效的分配时间。

Mark：是的，那对光追性能模式颇有帮助。

Mike：哈哈，没错。对我来说，在家用老款PS5玩性能模式确实很吃力。现在更高级的享受终于来了……

DF：PSSR是你们第一个基于机器学习的上采样模型，我们也看到很多正在被使用的上采样系数。未来你们会考虑增加可用的上采样系数么？还是会通过升级PSSR版本提供更高的输出质量？听说PSSR在PS5 Pro发售前就有一波输出质量提升，你们在未来会继续这样做吗？

Mark：我们一定会继续开发基于机器学习的游戏图形库。只是目前要实现的目标太多了。在今天早些时候的谈话中我还讨论了帧生成、帧外推（即根据现有帧预测未来帧）、光追、降噪等话题。这些都是很好的技术方向，但应该如何排列它们的优先级？

此外，今天我们也宣布了与AMD合作的『紫水晶』(Amethyst）项目，共同研究如何将AI引入游戏开发。所以我们也有合作伙伴，并不是在独自做这个。显然合作伙伴对技术发展路线和优先级的想法也非常重要。

DF：好吧，那我们顺着这个思路继续聊。目前在PC上有很多技术，包括帧生成、AI上采样、帧外推和光线重建，在以一种非常轻量级的方式实时地对图像的构成产生影响。这种影响是非常深刻的。你会在未来PSSR的升级中探索这些领域么？

Mark：当然。不过它们不会叫『PSSR』。PSSR只是PS光谱超级分辨率技术。其中『光谱』（Spectral）一词被用做图像机器学习技术的品牌推广，就像『暴风雨』（Tempest）一词被用于推广索尼的3D音频技术一样。所以你提到的这些技术将来都会被称作『光谱啥啥啥』的。是的，我们确实在研究如果不是超级分辨率（简称超分）的话，还会有哪些『光谱』系的新技术。超分是个很好的起点。

DF：就PSSR在每款游戏中的实现方式而言，或许开发者必须通过补丁将游戏更新到支持PSSR的新版本，对么？因为你可能并不希望在不升级游戏的情况下把新版PSSR混入其中。或者说，这是你正在考虑的事情么？（译者注：这个问题实际上是在问将来会不会加入系统级的全局PSSR。）

Mark：嗯，这里有很多有趣的可能性，但我现在还不能给你答案。在游戏中提供升级选项，由玩家自己决定是否升级会是个很棒的主意。只是我还不知道如何将这些东西组合在一起。

Mike：从开发者的角度来看，我认为很多时候可以用不同的眼光看待自己的游戏。有些开发者会说：『我的游戏现在就是最佳呈现，我不想让系统碰它。』而其他开发者会说：『什么？新系统可以让游戏看上去更好，而且不用任何多余的调整？那真是太棒了。』所以这里会有很多种选择。

DF：使用PSSR可以在渲染分辨率不变的情况下显著改善图像质量，那么理解其中信息传递的过程会不会很难？我知道自己对技术不太了解，所以这可能是我自己的问题……

Mark：哈哈，当然不是你的问题。我知道你们很喜欢『数毛』，但我觉得你真的不应该过度关注渲染分辨率并试图从中得出太多结论。真正需要关注的是图像质量。今天我也在努力传递同样的信息，那就是我们需要改变谈论分辨率的方式。也许我们压根不应该谈论它。难点在于现如今如果没有分辨率的纸面数字，大家就很难进行这方面的对话。

DF：是的，我们尝试过建立一种能对画质进行大致评分的模型来解决这个问题，但如何用这种模型进行交流仍然有很大挑战。至少就目前为止，分辨率仍然是讨论中很重要的一环。具体来说，我们在应用了PSSR的《瑞奇与叮当》中注意到光追反射的稳定性和分辨率得到了提高。你在还处于开发阶段的其他游戏中有看到同样的情况么？你认为同样的提升会不会出现在其他使用光追反射和PSSR的游戏中？

Mike：光追反射是一个有趣的挑战，因为它们是在一帧画面中对多幅图像的合成。（译者注：每个位置的颜色和亮度会同时受到直接光照和反射光的影响，可以看成是多个光源单独照射效果的叠加。）因此当你向PSSR这类算法中投喂信息时，同时描绘每一个像素的精度会受到限制。

举个例子，如果你把深度缓冲传递给PSSR，告诉它物体距离摄像机有多远，PSSR并不知道窗户有多远、被反射的物体有多远以及窗户后面的物体有多远，对吗？当你移动摄像机，会获得有关窗户变化的速度信息，但或许并不是窗户中反射出的物体变化的信息。这种情形对类似帧间抗锯齿技术的分析算法来说确实很难处理，因此这是我们希望能在PSSR中看到改进的领域之一。PSSR有更多的潜力来识别和适应这种情况。

DF：你们设计PS4 Pro时的重点只是实现4K显示，而PS5 Pro实现了巨大的性能提升。在设计这款新主机时，你们是否预期提供特定的游戏体验给玩家？还是说只管提升主机性能，剩下的交给游戏开发者？

Mark：这是在世代中期发布的产品，所以目标就是提升图形表现。这里有三个带来提升的关键点：更强大的GPU、更先进的光追和机器学习。从概念上来说并不复杂。

就个人而言，深入研究机器学习并获得新知识的感觉非常棒。因为我们知道这正是我们未来的发展方向，所以这是通过Pro机型来积累相关知识的好机会，而不是等下一个世代开启以后才在完全没有经验的情况下摸索着试图做到完美。

DF：一件很有趣的事情是，尽管PS5 Pro的GPU、内存和硬盘空间都得到了提升，但CPU并没有变化，对开发者来说有用的只是CPU主频的提升。虽然CPU主频增加对开发者也有用处，但为什么没有整体升级CPU呢？

Mark：这只是个资源分配问题。我没有看到，也不认为将来会看到很多游戏因为CPU的限制而无法在60帧运行。这就是我的标准测试。当下我并没有问是不是所有游戏都能在120帧运行，而是在问是不是所有游戏都能在60帧运行。我觉得最终不能达到60帧运行的3A作品一只手就数得过来。因此，看上去我们把几乎所有资源都投入到图形性能的提升是最好的方法。

Mike：没错。作为开发者，当Mark找到我们说，嘿，我想给你们展示下一代产品的硬件规划，这绝对是每个人都期待的事。我们也对这次重点升级的方向非常满意。

PS5 Pro内存带宽的提升

DF：你是否认为在主机中加入的用于机器学习的新硬件可以解决当下芯片制程提升无法带来进一步成本优势的问题？与成本有关的考量在历史上曾是推动主机中期改款的关键因素。

Mark：是的。从PS4 Pro和其他类似案例来看，我不会说芯片制程提升已经到了极限，但性能提升主要还是通过增加GPU计算单元或提升内存速度来实现。因此，展望未来，得到改进的首先会是光追性能，我认为我们将会在这方面看到很多进展。然后就是通过机器学习能实现的一切新东西。

DF：PS5 Pro的GPU主频似乎和PS5很相似。鉴于GPU变大了，你们是否会遇到功耗限制？会因此加入更多主频的动态调整么？

Mark：这是个很好的问题。其实升级前后的GPU主频几乎一样。PS5的GPU主频是2.23 GHz，而PS5 Pro的是2.35 GHz。我今天没有提到这个是因为它会分散大家的注意力。我不希望有人按照2.35 GHz的纸面数据来做浮点运算能力的推算，因为最终我们会调整设计，让游戏运行在大约2.17 GHz的频率上。我们不希望主机变得太大，也不想装更大的散热风扇之类的东西。所以主频2.35 GHz其实是一种误导。我不认为有太多游戏会频繁在这个频率运行。

Mark：『Pro机型更聚焦于GPU的升级』

DF：在演讲中，你把PS4、PS5和PS4 Pro、PS5 Pro定位在两个不同的轨道上：左侧轨道代表世代跃升，右侧轨道表示中期改款。和以前相比，现在的开发者会更多地考虑对游戏跨世代的支持。但这张图是否反映了你在根本上仍然相信世代跃升的理念？即每到一个新世代，游戏都会有巨大的变化，开发者能够在新型主机上呈现更宏大、先进的内容。

Mark：我们并不生产PC，而是在生产高度定制化的产品。作为中期升级，Pro版主机的设计非常专注于GPU。但当新世代开始时，许多方面都会被拿出来重新审视：CPU该如何规划？内存容量该如何规划？在触觉反馈方面又有哪些创新？对于开发者来说，新世代会带来全新的体验。即使我们不在讨论时使用『革命性』这类字眼，我认为开发者问自己下面这个问题也会很有帮助：『好吧，这款游戏会在前后两代主机上发售，但我们怎么可以让它们看上去大相径庭呢？』这不是从游戏玩法的角度出发，而是从视觉体验的角度来考虑。

（译者注：我认为Mark在这里的意思是，主机厂商的责任是提供更好的硬件，而游戏开发者则需要在每个主机世代都尽可能地为玩家提供最佳的游戏体验。）

DF：我还有一个问题是关于你们找准主机定位的方式。现在栅格化性能的提升可能不再像过去那样重要，而上采样技术的使用正在改变我们对所有这些指标的感知方式。

Mark：好吧，但这些并不是一切，所以……

DF：哈哈，好的。所以从这个角度来看，PS5 Pro的工作组处理器数量还是比PS5多了67%的。尽管对人工智能和光追的大量关注代可能表着图形渲染的未来，但到今天它还没有完全实现，是吗？

Mark：当然。Mike，我们的新主机用起来怎么样？你们在原始图形性能上适度的提升获得了更大幅度的光追增强。你们是如何调整图形引擎的？

工作组处理器和总线带宽的提升了降低了工作负载

Mike：好的地方是这些提升以一种很有建设性的方式叠加在了一起，所以我们能够利用更快的光追性能，为上采样争取更多的时间。更大的GPU又进一步缩短了帧渲染时间。因此这些提升对于一款原本就是为PS5设计，并且已经用到这些技术的游戏来说非常合适。

Mark：嗯，我喜欢这一点的原因就是它变得更快了，就这么简单。只是渲染加速就带来了五毫秒空余时间。你可以用它来做任何事，那为什么不用这五毫秒来提升光追性能，或者加入其他新东西呢？如果你正在制作游戏引擎，没有人会来提醒你，有天上掉下来的五毫秒富裕的时间可以用来做任何你想做的事。没有人会拿着鞭子鞭策你。你总得拼命想办法让游戏达到60帧。

DF：是的，我觉得演示中有一个非常有说服力的地方，就是原本在PS5上16毫秒的工作负载在PS5 Pro上变成了11毫秒。突然间，你就有了一大块剩余的帧生成时间。这看起来非常诱人。然后资源就可以被用于处理光追、机器学习上采样，或者在硬件上做更多的事。你能解释一下和AMD合作的紫水晶项目吗？你们合作的愿景是什么？未来会带来什么样的影响？

Mark：我们的合作会很有深度，而且会持续很长时间。不要期待这个项目马上会有重要的硬件发布。为机器学习提供更优化的架构才是我们的目标。我是从一个非常狭隘的角度看这个问题的。因为我们是在做主机，所以我真正关心的首先是它能否为我们在图形处理中需要的轻量级卷积神经网络提供支持？当然我也愿意看到大家想用它做自己的AI或干点其他什么的。那它是否容易上手？是否易于帮助你进行创造？因为你永远不会希望人们在想做事的时候被硬件架构限制。因此，我们在致力于开发特别适合主机机器学习需求的通用架构。不过就这一点，我猜AMD可能会有不太一样的设想就是了。哈哈。

『紫水晶，用于游戏的卷积神经网络』

DF：所以对索尼来说，关注点是这些能在实时渲染中使用的超轻量级模型。

Mark：这是我个人的关注点。当然AMD的商业版图非常广泛，他们在很多领域都有布局，既有庞大的云端设备，又涉足笔记本电脑等。但这是我个人很希望看到的进展。另一方面，神经网络的开发非常耗时。毫不夸张地说，PSSR是我人生中参与过的最具挑战性的技术项目。和既有资源又有专业知识的合作伙伴拥有相近的目标实在是太棒了。那么这些目标是什么？就是超分。（将来）做得比PSSR更好是完全可能的，而这只是我们发展的开端。我提到了帧生成等技术，但我知道还有一些用途我们甚至都还没有开始讨论。所以我们会一起开发这些新技术和应用。

现在澄清一下，我们正在谈论的是开发组件，而不是开发库。因为我们的客户群体不同，使用的硬件也有一些差异。希望大家能够理解之前我说的PC超分与主机超分的不同。主机通常使用可变上采样系数，而PC往往使用固定上采样系数。因此，把我们联合开发的算法分别整合到各自的平台，将带来真正全面的提升。

PC游戏能通过可变帧率抵消固定上采样系数的负面影响，而很多电视并不支持可变刷新率（VRR）技术，所以游戏主机需要动态调整上采样系数来稳定帧率。

DF：我们很好奇PS5 Pro的硬件是如何处理向下兼容的。PS5 Pro并不像PS4 Pro那样拥有完美的蝶形GPU配置。

Mark：这是一个很好的问题。我们从PS4 Pro上学到了很多。起初我们以为必须尽可能精确地复制游戏运行的时间……结果发现并不需要。在时间有些许偏差的情况下游戏仍然能够运行，虽然偏差的幅度有一定限制。我们确实看到了一些游戏，比如在上千款游戏中发现了11 款，在PS4 Pro出现极大的运行时间差异时无法很好地响应。但总体来说，游戏在运行时间处理上还是相当稳健的。所以在PS5 Pro上我们根本不担心这个问题，而且游戏运行得很好。我们仍然需要保持二进制兼容。游戏需要访问的所有寄存器都得在。但之前需要1,000个时钟的操作不必仍然耗费1,000个时钟，600个、900个，甚至偶尔1,100个也没关系。

Mike：嗯，我觉得我们已经看到了效果。就像我们在《蜘蛛侠2》的补丁中所看到的，光追性能的一致性确实带来了回报。因此我们得以加入光追环境光遮蔽，还在过去面临瓶颈限制的一些地方加入了光追阴影。实际上，在《蜘蛛侠2》的镜面反射效果中我们有『作弊』，把反射光线的偏差效果调整得不如物理世界中那么真实，以此来挤出更多的性能。所以我们已经看到了这些优化为我们带来的机会和成效。