『數毛社』專訪索尼首席架構師：PS5 Pro如何增強遊戲性能

長文預警：這裏我翻譯了『數毛社』訪談的全文，分享給同樣對PS5的中期改款感興趣的人。字數很多，但和看訪談視頻相比還是更節約時間的。

雖然不打算買PS5 Pro，我對新主機的硬件與功能升級還是很感興趣的。前段時間索尼開了官方PS5 Pro的技術研討會，『數毛社』Digital Foundry（DF）也特地採訪了PS5 Pro的首席系統架構師Mark Cerny和遊戲開發商Insomniac Games的核心技術總監Mike Fitzgerald。

此次訪談討論了PS5 Pro的硬件設計理念，全新的PS光譜超級分辨率技術（PSSR），以及開發者如何利用這些新功能提升遊戲表現，也提到了索尼接下來和AMD在機器學習領域的深度合作。

文中出現的所有截圖均來自DF和索尼的官方視頻。如翻譯有誤，還請在評論區留言指正。以下爲訪談正文。

基於卷積神經網絡與機器學習的PSSR

DF：我想從PSSR開始聊。包括頑皮狗、史克威爾・艾尼克斯在內的開發商們會給玩家提供完全不同的遊戲模式預設。一些工作室傾向於提供多種遊戲模式供玩家選擇，比如PS5中常見的性能模式和畫質模式；另一些工作室則會利用PSSR把過往的多種模式融合成PS5 Pro中唯一的增強模式。您對這些不同的做法有偏好麼？

Mark：我的偏好就是開發商選自己覺得最好的方式就好，所以這個問題可以問問Mike。

Mike：我們的工作室有很多團隊和成員參與遊戲開發。爲了保證穩定的幀率，以往大家要在畫質模式中的畫質上限和性能模式中的畫質下限之間做出艱難的妥協。在這方面新硬件確實帶來了便利。我們要做的妥協突然消失了，因爲在PS5 Pro上我們可以將高畫質和高幀率整合爲一種模式（譯者注：即新的Pro模式）。

在花時間把這件事做成之後，我們意識到或許還是有玩家想要在30幀進行遊戲。考慮到新主機的硬件確實還不錯，我們就把注意力轉向了還能用它做些什麼有趣的事。（譯者注：此處Mike應該在說畫質比Pro模式更好的Pro Max模式。注意不同遊戲對遊戲模式的叫法並不相同，Pro和Pro Max爲《劍星》中出現的叫法。）

和PS5的性能模式相比，在幀率表現相近的情況下，PS5 Pro中Pro模式的畫質提升巨大

PS5 Pro中性能模式與Pro模式的畫面對比

DF：是的，這確實在很大程度上和遊戲有關。Insomniac的遊戲在PS5上就大量運用了光線追蹤技術（簡稱光追），能打包出不同的畫面配置。然而現在許多其他開發者也有能力在穩60幀的同時提供高畫質4K圖像，也許這就是增強模式的用法。

Mark：沒錯。我知道將來會存在多種不同的策略，並且在製作的第一個視頻裏就坦率地提到了這一點。在視頻中展示的六款遊戲中，前三款採用了『全能』增強模式，而另外三款則採用了完全不同的模式。

畫質模式中PS5 Pro的幀率提升

DF：我們看到不同的開發者在使用PSSR時會用到的上採樣係數的範圍很寬。比如《心靈殺手2》是從864P上採樣到4K，而Insomniac的遊戲通常是從1440P或1584P上採樣到4K。索尼有沒有對上採樣係數的選擇提供指導意見？或者只是簡單地建議開發者自行測試並比較不同係數帶來的圖像質量差異？

Mark：我來從研發端介紹一下，然後讓Mike講講使用端的情況。在這方面仍在進行大量的研究。現在增強模式支持的係數範圍是從2.5∶1到1∶1。不管在未來這是否仍是理想的策略，我們都會繼續討論它。我們正在研究的是左側的2.5∶1，以及在它和右側1∶1比較時出現的問題。所以我真的不會把2.5∶1當作能一直有效的指導意見。

更高倍率的上採樣係數會帶來更高的資源佔用，讓每一個像素變得更『貴』

Mike：沒錯，得說這在很大程度上取決於你正在使用的技術。像我們一直在用的幀間抗鋸齒技術很適合從1440P到4K的上採樣，但當分辨率降到1080P到1280P之間的時候就會很難用。而PSSR在這個區間的表現非常好，所以（這種互補）對我們來說是個巨大的提升，有助於在開發過程中更有效的分配時間。

Mark：是的，那對光追性能模式頗有幫助。

Mike：哈哈，沒錯。對我來說，在家用老款PS5玩性能模式確實很喫力。現在更高級的享受終於來了……

DF：PSSR是你們第一個基於機器學習的上採樣模型，我們也看到很多正在被使用的上採樣係數。未來你們會考慮增加可用的上採樣係數麼？還是會通過升級PSSR版本提供更高的輸出質量？聽說PSSR在PS5 Pro發售前就有一波輸出質量提升，你們在未來會繼續這樣做嗎？

Mark：我們一定會繼續開發基於機器學習的遊戲圖形庫。只是目前要實現的目標太多了。在今天早些時候的談話中我還討論了幀生成、幀外推（即根據現有幀預測未來幀）、光追、降噪等話題。這些都是很好的技術方向，但應該如何排列它們的優先級？

此外，今天我們也宣佈了與AMD合作的『紫水晶』(Amethyst）項目，共同研究如何將AI引入遊戲開發。所以我們也有合作伙伴，並不是在獨自做這個。顯然合作伙伴對技術發展路線和優先級的想法也非常重要。

DF：好吧，那我們順着這個思路繼續聊。目前在PC上有很多技術，包括幀生成、AI上採樣、幀外推和光線重建，在以一種非常輕量級的方式實時地對圖像的構成產生影響。這種影響是非常深刻的。你會在未來PSSR的升級中探索這些領域麼？

Mark：當然。不過它們不會叫『PSSR』。PSSR只是PS光譜超級分辨率技術。其中『光譜』（Spectral）一詞被用做圖像機器學習技術的品牌推廣，就像『暴風雨』（Tempest）一詞被用於推廣索尼的3D音頻技術一樣。所以你提到的這些技術將來都會被稱作『光譜啥啥啥』的。是的，我們確實在研究如果不是超級分辨率（簡稱超分）的話，還會有哪些『光譜』系的新技術。超分是個很好的起點。

DF：就PSSR在每款遊戲中的實現方式而言，或許開發者必須通過補丁將遊戲更新到支持PSSR的新版本，對麼？因爲你可能並不希望在不升級遊戲的情況下把新版PSSR混入其中。或者說，這是你正在考慮的事情麼？（譯者注：這個問題實際上是在問將來會不會加入系統級的全局PSSR。）

Mark：嗯，這裏有很多有趣的可能性，但我現在還不能給你答案。在遊戲中提供升級選項，由玩家自己決定是否升級會是個很棒的主意。只是我還不知道如何將這些東西組合在一起。

Mike：從開發者的角度來看，我認爲很多時候可以用不同的眼光看待自己的遊戲。有些開發者會說：『我的遊戲現在就是最佳呈現，我不想讓系統碰它。』而其他開發者會說：『什麼？新系統可以讓遊戲看上去更好，而且不用任何多餘的調整？那真是太棒了。』所以這裏會有很多種選擇。

DF：使用PSSR可以在渲染分辨率不變的情況下顯著改善圖像質量，那麼理解其中信息傳遞的過程會不會很難？我知道自己對技術不太瞭解，所以這可能是我自己的問題……

Mark：哈哈，當然不是你的問題。我知道你們很喜歡『數毛』，但我覺得你真的不應該過度關注渲染分辨率並試圖從中得出太多結論。真正需要關注的是圖像質量。今天我也在努力傳遞同樣的信息，那就是我們需要改變談論分辨率的方式。也許我們壓根不應該談論它。難點在於現如今如果沒有分辨率的紙面數字，大家就很難進行這方面的對話。

DF：是的，我們嘗試過建立一種能對畫質進行大致評分的模型來解決這個問題，但如何用這種模型進行交流仍然有很大挑戰。至少就目前爲止，分辨率仍然是討論中很重要的一環。具體來說，我們在應用了PSSR的《瑞奇與叮噹》中注意到光追反射的穩定性和分辨率得到了提高。你在還處於開發階段的其他遊戲中有看到同樣的情況麼？你認爲同樣的提升會不會出現在其他使用光追反射和PSSR的遊戲中？

Mike：光追反射是一個有趣的挑戰，因爲它們是在一幀畫面中對多幅圖像的合成。（譯者注：每個位置的顏色和亮度會同時受到直接光照和反射光的影響，可以看成是多個光源單獨照射效果的疊加。）因此當你向PSSR這類算法中投餵信息時，同時描繪每一個像素的精度會受到限制。

舉個例子，如果你把深度緩衝傳遞給PSSR，告訴它物體距離攝像機有多遠，PSSR並不知道窗戶有多遠、被反射的物體有多遠以及窗戶後面的物體有多遠，對嗎？當你移動攝像機，會獲得有關窗戶變化的速度信息，但或許並不是窗戶中反射出的物體變化的信息。這種情形對類似幀間抗鋸齒技術的分析算法來說確實很難處理，因此這是我們希望能在PSSR中看到改進的領域之一。PSSR有更多的潛力來識別和適應這種情況。

DF：你們設計PS4 Pro時的重點只是實現4K顯示，而PS5 Pro實現了巨大的性能提升。在設計這款新主機時，你們是否預期提供特定的遊戲體驗給玩家？還是說只管提升主機性能，剩下的交給遊戲開發者？

Mark：這是在世代中期發佈的產品，所以目標就是提升圖形表現。這裏有三個帶來提升的關鍵點：更強大的GPU、更先進的光追和機器學習。從概念上來說並不複雜。

就個人而言，深入研究機器學習並獲得新知識的感覺非常棒。因爲我們知道這正是我們未來的發展方向，所以這是通過Pro機型來積累相關知識的好機會，而不是等下一個世代開啓以後纔在完全沒有經驗的情況下摸索着試圖做到完美。

DF：一件很有趣的事情是，儘管PS5 Pro的GPU、內存和硬盤空間都得到了提升，但CPU並沒有變化，對開發者來說有用的只是CPU主頻的提升。雖然CPU主頻增加對開發者也有用處，但爲什麼沒有整體升級CPU呢？

Mark：這只是個資源分配問題。我沒有看到，也不認爲將來會看到很多遊戲因爲CPU的限制而無法在60幀運行。這就是我的標準測試。當下我並沒有問是不是所有遊戲都能在120幀運行，而是在問是不是所有遊戲都能在60幀運行。我覺得最終不能達到60幀運行的3A作品一隻手就數得過來。因此，看上去我們把幾乎所有資源都投入到圖形性能的提升是最好的方法。

Mike：沒錯。作爲開發者，當Mark找到我們說，嘿，我想給你們展示下一代產品的硬件規劃，這絕對是每個人都期待的事。我們也對這次重點升級的方向非常滿意。

PS5 Pro內存帶寬的提升

DF：你是否認爲在主機中加入的用於機器學習的新硬件可以解決當下芯片製程提升無法帶來進一步成本優勢的問題？與成本有關的考量在歷史上曾是推動主機中期改款的關鍵因素。

Mark：是的。從PS4 Pro和其他類似案例來看，我不會說芯片製程提升已經到了極限，但性能提升主要還是通過增加GPU計算單元或提升內存速度來實現。因此，展望未來，得到改進的首先會是光追性能，我認爲我們將會在這方面看到很多進展。然後就是通過機器學習能實現的一切新東西。

DF：PS5 Pro的GPU主頻似乎和PS5很相似。鑑於GPU變大了，你們是否會遇到功耗限制？會因此加入更多主頻的動態調整麼？

Mark：這是個很好的問題。其實升級前後的GPU主頻幾乎一樣。PS5的GPU主頻是2.23 GHz，而PS5 Pro的是2.35 GHz。我今天沒有提到這個是因爲它會分散大家的注意力。我不希望有人按照2.35 GHz的紙面數據來做浮點運算能力的推算，因爲最終我們會調整設計，讓遊戲運行在大約2.17 GHz的頻率上。我們不希望主機變得太大，也不想裝更大的散熱風扇之類的東西。所以主頻2.35 GHz其實是一種誤導。我不認爲有太多遊戲會頻繁在這個頻率運行。

Mark：『Pro機型更聚焦於GPU的升級』

DF：在演講中，你把PS4、PS5和PS4 Pro、PS5 Pro定位在兩個不同的軌道上：左側軌道代表世代躍升，右側軌道表示中期改款。和以前相比，現在的開發者會更多地考慮對遊戲跨世代的支持。但這張圖是否反映了你在根本上仍然相信世代躍升的理念？即每到一個新世代，遊戲都會有巨大的變化，開發者能夠在新型主機上呈現更宏大、先進的內容。

Mark：我們並不生產PC，而是在生產高度定製化的產品。作爲中期升級，Pro版主機的設計非常專注於GPU。但當新世代開始時，許多方面都會被拿出來重新審視：CPU該如何規劃？內存容量該如何規劃？在觸覺反饋方面又有哪些創新？對於開發者來說，新世代會帶來全新的體驗。即使我們不在討論時使用『革命性』這類字眼，我認爲開發者問自己下面這個問題也會很有幫助：『好吧，這款遊戲會在前後兩代主機上發售，但我們怎麼可以讓它們看上去大相徑庭呢？』這不是從遊戲玩法的角度出發，而是從視覺體驗的角度來考慮。

（譯者注：我認爲Mark在這裏的意思是，主機廠商的責任是提供更好的硬件，而遊戲開發者則需要在每個主機世代都儘可能地爲玩家提供最佳的遊戲體驗。）

DF：我還有一個問題是關於你們找準主機定位的方式。現在柵格化性能的提升可能不再像過去那樣重要，而上採樣技術的使用正在改變我們對所有這些指標的感知方式。

Mark：好吧，但這些並不是一切，所以……

DF：哈哈，好的。所以從這個角度來看，PS5 Pro的工作組處理器數量還是比PS5多了67%的。儘管對人工智能和光追的大量關注代可能表着圖形渲染的未來，但到今天它還沒有完全實現，是嗎？

Mark：當然。Mike，我們的新主機用起來怎麼樣？你們在原始圖形性能上適度的提升獲得了更大幅度的光追增強。你們是如何調整圖形引擎的？

工作組處理器和總線帶寬的提升了降低了工作負載

Mike：好的地方是這些提升以一種很有建設性的方式疊加在了一起，所以我們能夠利用更快的光追性能，爲上採樣爭取更多的時間。更大的GPU又進一步縮短了幀渲染時間。因此這些提升對於一款原本就是爲PS5設計，並且已經用到這些技術的遊戲來說非常合適。

Mark：嗯，我喜歡這一點的原因就是它變得更快了，就這麼簡單。只是渲染加速就帶來了五毫秒空餘時間。你可以用它來做任何事，那爲什麼不用這五毫秒來提升光追性能，或者加入其他新東西呢？如果你正在製作遊戲引擎，沒有人會來提醒你，有天上掉下來的五毫秒富裕的時間可以用來做任何你想做的事。沒有人會拿着鞭子鞭策你。你總得拼命想辦法讓遊戲達到60幀。

DF：是的，我覺得演示中有一個非常有說服力的地方，就是原本在PS5上16毫秒的工作負載在PS5 Pro上變成了11毫秒。突然間，你就有了一大塊剩餘的幀生成時間。這看起來非常誘人。然後資源就可以被用於處理光追、機器學習上採樣，或者在硬件上做更多的事。你能解釋一下和AMD合作的紫水晶項目嗎？你們合作的願景是什麼？未來會帶來什麼樣的影響？

Mark：我們的合作會很有深度，而且會持續很長時間。不要期待這個項目馬上會有重要的硬件發佈。爲機器學習提供更優化的架構纔是我們的目標。我是從一個非常狹隘的角度看這個問題的。因爲我們是在做主機，所以我真正關心的首先是它能否爲我們在圖形處理中需要的輕量級卷積神經網絡提供支持？當然我也願意看到大家想用它做自己的AI或乾點其他什麼的。那它是否容易上手？是否易於幫助你進行創造？因爲你永遠不會希望人們在想做事的時候被硬件架構限制。因此，我們在致力於開發特別適合主機機器學習需求的通用架構。不過就這一點，我猜AMD可能會有不太一樣的設想就是了。哈哈。

『紫水晶，用於遊戲的卷積神經網絡』

DF：所以對索尼來說，關注點是這些能在實時渲染中使用的超輕量級模型。

Mark：這是我個人的關注點。當然AMD的商業版圖非常廣泛，他們在很多領域都有佈局，既有龐大的雲端設備，又涉足筆記本電腦等。但這是我個人很希望看到的進展。另一方面，神經網絡的開發非常耗時。毫不誇張地說，PSSR是我人生中參與過的最具挑戰性的技術項目。和既有資源又有專業知識的合作伙伴擁有相近的目標實在是太棒了。那麼這些目標是什麼？就是超分。（將來）做得比PSSR更好是完全可能的，而這只是我們發展的開端。我提到了幀生成等技術，但我知道還有一些用途我們甚至都還沒有開始討論。所以我們會一起開發這些新技術和應用。

現在澄清一下，我們正在談論的是開發組件，而不是開發庫。因爲我們的客戶羣體不同，使用的硬件也有一些差異。希望大家能夠理解之前我說的PC超分與主機超分的不同。主機通常使用可變上採樣係數，而PC往往使用固定上採樣係數。因此，把我們聯合開發的算法分別整合到各自的平臺，將帶來真正全面的提升。

PC遊戲能通過可變幀率抵消固定上採樣係數的負面影響，而很多電視並不支持可變刷新率（VRR）技術，所以遊戲主機需要動態調整上採樣係數來穩定幀率。

DF：我們很好奇PS5 Pro的硬件是如何處理向下兼容的。PS5 Pro並不像PS4 Pro那樣擁有完美的蝶形GPU配置。

Mark：這是一個很好的問題。我們從PS4 Pro上學到了很多。起初我們以爲必須儘可能精確地複製遊戲運行的時間……結果發現並不需要。在時間有些許偏差的情況下游戲仍然能夠運行，雖然偏差的幅度有一定限制。我們確實看到了一些遊戲，比如在上千款遊戲中發現了11 款，在PS4 Pro出現極大的運行時間差異時無法很好地響應。但總體來說，遊戲在運行時間處理上還是相當穩健的。所以在PS5 Pro上我們根本不擔心這個問題，而且遊戲運行得很好。我們仍然需要保持二進制兼容。遊戲需要訪問的所有寄存器都得在。但之前需要1,000個時鐘的操作不必仍然耗費1,000個時鐘，600個、900個，甚至偶爾1,100個也沒關係。

Mike：嗯，我覺得我們已經看到了效果。就像我們在《蜘蛛俠2》的補丁中所看到的，光追性能的一致性確實帶來了回報。因此我們得以加入光追環境光遮蔽，還在過去面臨瓶頸限制的一些地方加入了光追陰影。實際上，在《蜘蛛俠2》的鏡面反射效果中我們有『作弊』，把反射光線的偏差效果調整得不如物理世界中那麼真實，以此來擠出更多的性能。所以我們已經看到了這些優化爲我們帶來的機會和成效。