Nvidia DLSS : c’est quoi ? Améliorer l’image des jeux avec une RTX

Le DLSS de Nvidia pour améliorer performance et qualité d'image

Nvidia DLSS - C'est quoi - Améliorer image des jeux avec une RTX

La technologie Nvidia DLSS, c’est quoi ? Voici toutes les explications sur la fonctionnalité RTX d’amélioration d’images et de performances pour les jeux vidéo.

Tout d’abord, que signifie l’acronyme DLSS ? Deep Learning Super Sample. Comme son nom l’indique, c’est une technologie qui fait intervenir l’intelligence artificielle pour améliorer la qualité d’image, mais aussi pour soulager le processeur graphique. Ceci afin de bénéficier d’une fréquence d’images plus élevée, d’améliorer les paramètres graphiques du jeu vidéo, d’activer le Ray Tracing, bref, de soulager le GPU. Mais nous reviendrons sur ce point plus en détail.

Nvidia DLSS : c’est quoi l’objectif de cette nouvelle technologie RTX ?

Avant d’aller dans le détail du fonctionnement, il est nécessaire de comprendre à quelle problématique répond le DLSS. Si Nvidia investit dans cette technologie, c’est que la société est persuadée qu’elle va répondre à une attente des joueurs de jeux vidéo.

Actuellement, lorsque vous achetez un écran PC, il faut faire des compromis. À moins d’avoir un budget conséquent, vous ne pourrez pas avoir une image 4K à 144 Hz. Même si les dernières RTX haut de gamme s’en approchent, la nécessité de faire un compromis entre définition d’image et fréquence d’affichage sera toujours présente. La définition des moniteurs ne cesse d’augmenter, la 5K est déjà là, et le CES 2019 a déjà présenté ses écrans 8K.

Nvidia DLSS - C'est quoi - Améliorer l'image des jeux avec une RTX

Et si vous n’aviez plus à faire ce compromis ? S’il était possible de jouer en 4K à 144 Hz, avec une carte d’entrée de gamme comme la RTX 2060 ? Bien sûr, la qualité ne sera pas équivalente à une RTX 2080 Ti.

C’est cet objectif que cible Nvidia. Jouer en 4K, et à terme en 5K ou en 8K, avec une fréquence de rafraîchissement élevée. Ce qui permet d’atteindre cet objectif, c’est le Deep Learning.

L’idée est que votre carte graphique calcule le rendu des images à une résolution inférieure à l’affichage. Ensuite, c’est l’intelligence artificielle qui complète les informations manquantes, les pixels, pour créer une image avec une définition supérieure. Mais tout ceci est bien plus efficace et complexe qu’un simple sur-échantillonnage, ou Upscaling.

Nvidia DLSS : comment ça fonctionne ?

Comme nous l’avons dit précédemment, DLSS signifie Deep Learning Super Sampling. Dans les grandes lignes, voici le procédé :

  1. Pour un jeu donné, Nvidia entraîne son intelligence artificielle à améliorer l’image. Par exemple, le Deep Learning apprend à ajouter des pixels pour passer d’une résolution 1080 à la 4K. Cette opération se passe chez Nvidia, sur ses serveurs. Il en résulte un « savoir », c’est-à-dire la connaissance de l’intelligence artificielle pour ajouter des pixels, mais aussi pour améliorer l’image.
  2. Sur votre PC, lorsque vous exécutez un jeu compatible DLSS avec comme cible une définition 4K, voici ce qu’il se passe. Par exemple, votre carte graphique calcule le rendu en 1080, puis l’intelligence artificielle ajoute les pixels manquants afin d’obtenir une sortie en 4K. Ceci grâce au « savoir » de l’IA calculé par Nvidia, qui a été obtenu lors de la phase d’entraînement 1. Ce savoir est transmis à votre PC soit par les drivers, soit par Nvidia Expérience.

Cependant, il ne s’agit pas d’une simple technique de sur-échantillonnage de l’image. L’IA apprend à ajouter les pixels tout en améliorant l’image grâce à des techniques comme l’anti-crénelage (anti-aliasing). Mais aussi en évitant des dégradations de l’image, comme le flou, le ghosting ou encore les artefacts.

Vous trouverez plus de détails sur le fonctionnement de l’IA dans le paragraphe suivant.

Nvidia DLSS - c'est quoi l'objectif de cette nouvelle technologie RTX

Nvidia DLSS : le deep learning en action

L’apprentissage automatique (Machine Learning) permet de créer cette nouvelle technique de rendu : Deep Learning Super Sampling (DLSS). Il améliore considérablement les performances, la qualité de l’image et offre un meilleur anti-crénelage par rapport aux techniques (TAA) couramment utilisées.

Pour que cela fonctionne, il y a quelques étapes, chacune exploitant une technologie de pointe et l’expertise Nvidia sur le Deep Learning et l’IA.

Nvidia DLSS le deep learning en action

Tout d’abord, Nvidia possède un réseau neuronal avec des milliers de captures d’écran de chaque jeu DLSS. Ces captures peuvent aller jusqu’à 64 fois la définition standard, 64xSuper Sampled (64xSS). Ensuite, il y a un autre ensemble d’images capturées avec une définition inférieure, sans anti-aliasing et autres effets d’amélioration.

Une fois ces deux ensembles d’images obtenus, le réseau de neurones les compare. Ceci afin d’apprendre à améliorer l’image standard pour obtenir ou se rapprocher de la qualité de l’échantillon en 64xSS. Bien sûr, cela se fait sans les surcoûts, en termes de calcul, d’une image 64xSS.

Au fur et à mesure que le réseau répète le processus, ses algorithmes sont améliorés et il finit par apprendre à automatiser le processus. Le procédé ajoute les pixels tout en obtenant un anti-crénelage de qualité, proche de l’image 64xSS. Enfin, le système permet aussi d’éviter les problèmes associés au TAA, tels que le flou d’écran, le flou de mouvement, les images fantômes et les artefacts.

Tout ceci permet, au final, de calculer le rendu sur votre carte graphique avec une définition inférieure. Puis, le Deep Learning Super-Sample et les filtres de haute qualité améliorent la définition et la qualité du rendu. Tout cela accélère considérablement les performances.

Nvidia DLSS - ça vaut le coup

Nvidia DLSS : ça vaut le coup ?

Tout d’abord, la technologie est encore jeune. Mais plus elle sera utilisée, plus elle sera efficace. La dernière démo en date est la vidéo d’Anthem qui tourne sur une GeForce RTX 2060 avec le DLSS activé :

Ce n’est pas la seule démonstration que l’on peut trouver sur le net. Mais de manière générale, la qualité d’image est bien là. Alors que le rendu est en 4K dans la vidéo d’Anthem, il n’y a pas de problème de fluidité et l’image présente une grande qualité. Cependant, nous n’avons aucune information sur la fréquence d’affichage possible avec cette configuration.

Nvidia DLSS : les inconvénients ?

Il est encore un peu tôt pour identifier les inconvénients. D’abord, parce que la technologie est encore jeune et Nvidia ne cesse de l’améliorer. Par exemple, sur Final Fantasy XV, des défauts d’image ont été identifiés avec le DLSS. Mais depuis, certains ont été corrigés.

Au-delà de l’aspect technique, le DLSS est une solution propriétaire Nvidia. Et pour obtenir la compatibilité DLSS, il y a certainement un prix à payer pour le développeur. Ce qui est le frein principal à une adoption plus large de cette technologie. Par exemple, à l’heure où j’écris ces lignes, Fortnite n’est pas compatible DLSS.

Nvidia DLSS : enjeu et avenir

L’utilisation de l’IA a de plus en plus de débouchés concrets. Par exemple, la technologie DLSS de Nvidia. Mais la contrainte avec l’univers du gaming, c’est le temps de réponse. Les processus de l’IA doivent être courts pour ne pas provoquer de temps de latence. Ce qui réduit de fait les champs d’applications ou la complexité des tâches.

Nvidia travaille maintenant depuis longtemps sur l’IA, avec comme champs d’application la reconstruction ou l’amélioration d’image :

Les applications sont nombreuses. Mais si nous pouvions transférer une vidéo 1080p pour ensuite la transformer en 4K, les gains en terme de « compression » de données seraient conséquents. Par exemple, le principal frein à l’adoption de la 4K sur Netflix est un problème de débit.

A lire aussi :

Laisser un commentaire