Sur le principe, c’est assez simple : La PortalCam capture l’environnement en utilisant un lidar et 4 caméras (2 fisheyes sur le devant et 2 caméras sur le côté). Le lidar est un laser qui mesure les distances relatives au capteur et ces données sont combinées avec les photos. Les laserscanners combinent également laser et imagerie mais le résultat, plutôt précis, est rarement aussi graphique que ceux de la PortalCam.
Alors, quelle est la recette qui aboutit à des rendus réalistes et d’excellente qualité. Comment génère-t-on des scènes très réalistes où il est possible de se déplacer et de changer le point de vue de façon fluide?
La réponse tient dans une expression un peu bizarre : le GAUSSIAN SPLATTING.
Le Gaussian Splatting (aka le 3DGS) est une technologie qui révolutionne le rendu en temps réel en permettant d’obtenir des scènes photoréalistes époustouflantes. Le Gaussian Splatting c’est, en Anglais littéralement, l’éclaboussement Gaussien !!!
Ce nom décrit exactement le Gaussian Splatting : c’est la somme des éclaboussures locales représentées par de petits points et dont la distribution de couleur, du centre vers les bords, suit une loi normale ou Gaussienne (fonction définie par le mathématicien Carl Friedrich Gauss pour représenter la distribution d’un très grand nb de phénomènes physiques).
Ceci n’est pas un œuf !
Ceci n’est pas un œuf. C’est la représentation d’un point dans le monde du Gaussian Splatting ! Ici le point est jaune et sa transparence varie selon les axes de l’ellipse en suivant des lois Gaussiennes. L’exemple est en 2D mais ça marche en 3D.
C’est quoi le le Gaussian Splatting ?
Le 3D Gaussian Splatting (ou 3DGS) est une méthode de rendu de scènes 3D en temps réel utilisant seulement quelques images prises sous différents angles. Avec le 3DGS, l’espace 3D est défini comme un ensemble de points enrichis de gaussiennes ou chacune décrite par les paramètres suivants :
• Position (XYZ) : son emplacement
• Covariance : son rayon/étirement (matrice 3×3) (En gros, la forme de la Gaussienne)
• Alpha (α) : sa transparence
Voici à quoi ressemblerait une scène composée de 3 éclaboussures Gaussiennes.
Et avec plus de Gaussiennes ?
Si on augmente le nb de Gaussiennes, on peut tendre vers un rendu réaliste de scènes complexes.
Voici un bel exemple avec une combinaison de ….. 7 millions de Gaussiennes.
Le Gaussian Splatting – Fonctionnement (un peu plus) détaillé
La technique 3D Gaussian Splatting utilise d’abord des techniques de photogrammétrie pour générer un nuage de points à partir des images d’entrée. Dans le cas de la PortalCam, cette étape est grandement accélérée et rendue robuste par l’emploi combiné d’un laser scanner qui fournit une valeur plus précise des coordonnées de ces points. Cette étape se rapproche du rendu que l’on pourrait obtenir avec un laserscanner. La grande force du 3DGS est d’associer à chaque point une gaussienne et c’est là que la magie opère.
Pour faire simple, chaque Gaussienne est ‘rasterisée’ c’est-à-dire simplifiée et représentée en matrice 3×3 puis comparée à l’image. S’il y a des différences, un processus mathématique complexe* permet d’affiner le découpage en ajustant le nb et la taille des Gaussiennes nécessaires au rendu optimisé de la scène. Cela permet aux gaussiennes de mieux s’adapter aux détails fins. (*détails sur https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/)
L’ENOOOORME AVANTAGE VISUEL du Gaussian Splatting :
Tout simplement, la production de scènes 3D de haute qualité en temps réel.
Bien que la photogrammétrie soit utile pour la numérisation d’objets, elle ne peut pas restituer des scènes sans contours (comme le ciel ou des surfaces homogènes) ni les détails fins des scènes éloignées. De plus, les reflets, miroirs et les effets de transparence perturbe le process de reconstitution photogrammétrique.
Comparé au laserscanner, le rendu 3DGS est souvent plus rapide à obtenir et surtout, le Gaussian Splatting gère mieux les situations complexes liées à la lumière, comme les réflexions sur des surfaces vitrées, les effets miroirs ou les textures très sombres ou très brillantes (reflets métalliques). Des rendus impossibles à obtenir correctement avec les techniques classiques deviennent donc accessibles grâce au Gaussian Splatting.
L’INTERET TECHNIQUE du Gaussian Splatting
LE 3DGS permet une représentation dynamique et qualitative où la scène n’est pas figée. Elle se génère selon le point de vue de l’observateur. On ne « voit » que ce que notre regard est censé voir, selon notre position dans l’espace, et qui est très pratique pour créer rapidement des représentations fluides et détaillées à partir de n’importe quel point de vue.
Gaussian Splatting Vs Photogrammetry Vs Laserscanner
Alors, faut-il jeter son laserscanner ou oublier la photogrammétrie ? Surtout pas !
Chaque technique comporte ses points forts.
On pourrait écrire 3 pages sur le sujet mais en résumé.
On retiendra que le Gaussian splatting est idéal pour créer des visualisations dynamiques détaillées et qu’il gère très bien les surfaces ‘difficiles’ que sont, miroirs, vitres, reflets et les brillances, ce qui est un point dur pour le laserscanner, tandis que la précision de mesure est meilleure avec la photogrammétrie et le laser scanner.
D’un point de vue opérationnel, le nuage de points du laser scanner, bien que plus précis pourra être difficile à appréhender pour le non-spécialiste.
Le partage du rendu 3DGS est simplissime, via un lien web et ne nécessite pas de disposer d’un logiciel dédié.
Avec le Gaussian Splatting, les couleurs et les textures sont bien rendus dans leur subtilité ce qui permet une compréhension directe et intuitive car une image vaut mieux que 1 000 mots !
Le Gaussian Splatting est donc à la fois, un formidable outil de communication et le complément de techniques de mesure.
La PortalCAM de XGRIDS rend le Gaussian Splatting simple et accessible pour toutes les applications de visite virtuelle, la génération de décor et d’environnement où un calcul dynamique de la scène est requis et où le partage simple d’une scène manipulable en 3D par tous est requise.
Immobilier, industrie du cinéma (previsualisation des lieux, effets spéciaux, …), réalité virtuelle, AR/VR, gaming, architecture, BIM …mais aussi elle est utile dans toutes les applications de partage de l’information technique et peut intéresser tous les acteurs de la construction, du BTP et du diagnostic.
Sources : https://huggingface.co/