RTX Broadcast Engine : Nvidia met de l’IA dans le streaming

Le RTX Broadcast Engine une boite à outils pour les streamers, pour remplacer le fond vert physique, créer un avatar 3D animé par les expressions de votre visage et ajouter des filtres en tout genre.

RTX Broadcast Engine - Nvidia met de l'IA dans le streaming

Nvidia a présenté sa solution RTX Broadcast Engine. En fait, c’est une solution pour faciliter la vie des Streamers avec l’aide de l’intelligence artificielle. Ainsi Nvidia sera en mesure de fournir des effets temps réels comme l’écran vert, des avatars AR animés et divers filtre qui viendront s’incruster dans le flux vidéo.

Tout d’abord, c’est les cartes graphiques RTX qui bénéficieront de ces fonctionnalités. Pour rappel, les RTX possèdent des cœurs Tensor qui ne sont pour l’instant que très peu exploités par le grand public.

A noter, pour l’instant le RTX Broadcast Engine est disponible en accès anticipé. En fait pour l’instant il s’agit d’un SDK, mais nous devrions voir arriver les fonctionnalités dans les logiciels grands publics assez rapidement.

Le RTX Broadcast Engine et le NVENC pour améliorer le streaming ?

Pour les amateurs et les débutants en streaming, le RTX Broadcast Engine permet de réduire le coût tout en améliorant la qualité globale de votre flux. Mais pour les streamers professionnels déjà bien équipés avec des cartes d’encodages, un second PC, bref d’un studio de streaming, alors la solution de Nvidia ne représente pas beaucoup d’intérêt.

Au délà du RTX Broadcast Engine, Nvidia a aussi amélioré le NVENC (Nvidia’s hardware accelerated video encoding engine). Ces changements touchent les RTX et les récentes GTX 1660 et 1660 Ti, ils améliorent la qualité d’encodage et réduisent l’impact sur vos FPS.

Les fonctionnalités du RTX Broadcast Engine

Voici les différentes fonctionnalités :

  • RTX Greenscreen permet la suppression en temps réel de l’arrière-plan lors du streaming. Seuls votre visage et votre corps apparaissent dans votre flux en direct. Il utilise l’intelligence artificielle pour séparer le streamer de l’arrière-plan. Cette fonctinonalité du RTX Broadcast Engine vous permet de vous passer  d’un écran vert physique.
  • RTX Style Filters : Modifier le style de votre flux vidéo avec le style d’une image en exemple.
  • Face Tracking : Technologie basée sur l’IA qui détecte les visages humains dans les images et les flux vidéo. Il détermine l’emplacement du visage et spécifie la taille à l’aide d’un cadre de sélection. Il est accéléré sur les cœurs de tenseurs.
  • Face Landmark Tracking : Technologie basée sur l’IA qui identifie les traits du visage et le contour du visage d’une personne (forme du visage, lèvres, yeux et paupières) en utilisant 68 points clés. Il a une sensibilité de 3 degrés de liberté de la tête et des déformations faciales dues aux mouvements et aux expressions du visage.
  • Face Mesh : permet de créer une représentation 3D d’un visage humain avec jusqu’à 3000 sommets et 6 degrés de liberté, pose de la tête en temps réel. En clair, un avatar 3D réprésente votre visage et il est animé en fonction de vos mouvements et expressions (sourire, expressions faciales diverses).

Si le fond vert du RTX Broadcast Engine sera certainement très utile, la fonctionnalité d’un avatar 3D trouvera peut-être aussi son public. Pour ceux qui recherchent un peu d’anonymat, c’est certainement une très bonne solution. Cependant, les spectateurs préféreront certainement un vrai visage, une personne plutôt qu’une représentation 3D.

Vous en pensez quoi du RTX Broadcast Engine ? Et de l’avatar 3D pour remplacer votre visage pendant les streams ? En tant que streamer et en tant que spectateur ?

A lire aussi

Laisser un commentaire