NVIDIA a dezvăluit cum DLSS 5 „completează” imaginea, bazându‑se doar pe un cadru 2D și vectori de mișcare.

Cum funcționează DLSS 5: explicație de la un angajat Nvidia

Într-un interviu recent, Jacob Freeman din Nvidia a clarificat principiul de funcționare al noii tehnologii de scalare a imaginilor — DLSS 5, care utilizează inteligența artificială.

Ce se introduc în sistem
* Cadru 2‑D – o imagine desenată obișnuită.

* Vectori de mișcare – informații despre cum se deplasează obiectele între cadre.

Nu se folosesc date tridimensionale: modelul nu citește geometria scenei, adâncimea, materialele sau hărțile normalelor. Aceasta înseamnă că DLSS 5 se bazează complet pe informația 2‑D și pe mișcare.

Cum „înțelege” scena
* Semantica – AI recunoaște obiecte precum părul, țesătura, pielea și condițiile de iluminare.

* Pentru asta este suficient un singur cadru; modelul nu ia în considerare metalicitatea, rugozitatea sau alte proprietăți ale materialelor.

Prin urmare, uneori rezultatele pot părea „neprevizibile”:

- personajul își dezvoltă păr acolo unde nu există;
- se schimbă trăsăturile faciale.

Nu există modificări în geometria de bază – este doar o interpretare vizuală a AI.

Limitări și posibilități pentru dezvoltatori
* Dezvoltatorii pot regla intensitatea efectului, corecția culorilor, contrastul, saturația, gama.

* Se pot folosi măști pentru a exclude anumite obiecte din procesare.

* Totuși, nu pot schimba direct corecția trăsăturilor faciale sau elimina efectul „mașcăriei” – singura cale este să reduci intensitatea, să aplici o mască sau să dezactivezi complet algoritmul.

În final, fața este generată de AI, dar aspectul ei poate fi corectat doar indirect.