L’IA NeRF di NVIDIA consente di ricostruire l’istantanea in una scena 3D partir d’une poigne d’images 2D Instant NeRF n’a besoin que de quelques secondes pour s’entraner

Une nouvelle technologie appele Neural Radiance Field o NeRF implica la formazione di algoritmi d’IA per mettre la creazione di oggetti 3D partir de foto e due dimensioni. NeRF a la capacit de remplir les blancs, pour ainsi dire, en interpolant ce que les photos 2D n’ont pas captur. C’est une astuce qui pourrait mener des avances dans divers domaines, tels que les jeux vido et la conduite autonome. Maintenant, NVIDIA a dvelopp une nouvelle Technique NeRF – la plus rapide ce jour, selon la socit – qui ne ncessite que quelques secondes pour s’entraner et gnrer une scne 3D.

Il ne faut que quelques secondes pour ex le model, appel Instant NeRF, en utilisant des dizaines de photos fixes et les angles de camra partir desquels elles ont t prises. Aprs cela, il est capace de gnrer une scne 3D en seulement des dizaines de milliseconds. Comme les autres tecniche NeRF, elle ncessite des images prises partir de plusieurs position. Et pour les photos avec plusieurs sujets, les photos prises sans trop de mouvement sont privilegi, sinon le rsultat serait flow.

Fournissant un contexte sa dmo, Nvidia explique que les Techniques NeRF pracdentes pouvaient prendre des heures pour s’entraner pour une scne, puis quelques minutes pour rendre les scnes cibles. Bien que les rultats des prcdentes implmentations plus lentis aient t bons, les chercheurs de Nvidia tirant parti de la technologie AI ont appuy sur l’acclrateur dans les performance.

Lorsque la premire photo instantane at price il ya 75 ans avec un appareil photo Polaroid, il tait rvolutionnaire de capturer rapidement le monde 3D dans une image 2D raliste. Aujourd’hui, les chercheurs en intelligence artificielle travaillent l’oppos : Transformer una raccolta di immagini fixes en una scena numerata 3D en quelques secondes.

Connu sous le nom de rendu inverse, il processus utilizza l’IA pour approximer le comportement de la lumire dans le monde rel, permanent aux chercheurs de reconstruire une scne 3D partir d’une poigne d’images 2D. L’quipe NVIDIA Research a dvelopp une approche qui complit cette tche presque instantanment, ce qui en fait l’un des premiers modles de ce type combiner une formation de rseau neuronal ultra-rapide et un rendu rapide.

NVIDIA un’appliqu cette approche una nuova tecnologia popolare appele Neural Radiance Fields, o NeRF. Le rsultat, baptis Instant NeRF, est la tecnica NeRF la plus rapide ce jour, ralisant plus de 1 000 acclrations dans certes cas. Le modelle ne ncessite que quelques secondes pour s’entraner sur quelques dizaines de photos fixes – plus des donnes sur les angles de camra partir desquels elles ont t prises – et peut ensuite restituer la scne 3D rsultante diza quel secondo.

Si les reprsentations 3D traditionalnelles come les maillages polygonaux s’apparente des images vectorielles, les NeRF sont come des images bitmap*: elles capturent de manire dense la faon la lumire rayonne partir d’un objet ou l’intrieur d’une scne, explique David Luebke, vicepresidente della ricerca grafica di NVIDIA. En ce sens, Instant NeRF pourrait tre aussi importanti per la 3D que les appareils photo numriques et la compression JPEG l’ont t pour la Photographie 2D, augmentant considrablement la vitesse, la facilità e la porte de la capture et du partage 3D .

Presenti la sessione di una sessione in NVIDIA GTC cette semaine, Instant NeRF per gli utenti per creare avatar o scene per le virtù mondes, per catturare i partecipanti in un video e per gli ambienti in 3D, per ricostruire gli ambienti 3D. En hommage aux premiers jours des images Polaroid, NVIDIA Research a recr une photo emblmatique di Andy Warhol prenant una foto istantanea, la trasformante e una scena 3D l’aide d’Instant NeRF.

Qu’est-ce que NeRF ?

NeRF utilisent des rseaux de neurones pour reprsenter et resttituer des scnes 3D ralists basi su una raccolta di immagini 2D.

Collecter des donnes pour alicenter un NeRF, c’est un peu comme tre un photographe de tapis rouge essayant de capturer la tenue d’une clbrit sous tous les angles – le rseau de neurones ncessite quelques dizaines d’images prises partir de plusieurs position de la scena, ainsi que la posizione de la camra de chacun d’entre eux.

Dans une scne qui comprend des personnes ou d’autres lments en mouvement, plus ces prises de vue sont rapides, mieux c’est. S’il ya trop de mouvement pendant il processus de capture d’image 2D, la scena 3D gnre par l’IA sera floue.

partir de l, un NeRF remplit essentiellement les blancs, entranant un petit rseau de neurones pour reconstruire la scne en prdisant la couleur de la lumire rayonnant dans n’importe quelle direction, partir de n’importe quel space 3 point de l’e La tecnica peut meme contourner les occlusions – lorsque des objets vus dans Certaines images sont bloqus par des ostacoli tels que des piliers dans d’autres images.

Acclration 1 000x avec NeRF istantaneo

Bien qu’esttimer la profondeur et l’apparence d’un objet sur la base d’une vue partielle soit une comptence naturelle pour les humains, c’est une tche exigeante pour l’IA.

La cration d’une scne 3D avec des mthodes traditionalnelles prend des heures ou plus, selon la complexit et la rsolution de la visualisation. L’introduzione de l’IA dans l’image acclre les Chooses. Les premiers modles NeRF rendaient des scene nettes sans artefacts en quelques minutes, mais prenaient encore des heures s’entraner.

Instant NeRF, cependant, rduit le temps de rendu de plusieurs ordres de grandiur. L’applicazione su una tecnica sviluppata da NVIDIA appela codage de grille de hachage multi-risoluzione, qui è ottimizzata per l’efficacia delle funzioni sulla GPU NVIDIA. En utilisant une nouvelle mthode de codage des entres, les chercheurs peuvent obtenir des rsultats de haute qualit en utilisant un minuscule rseau de neurones qui fonctionne rapidement.

Il modello e lo sviluppo dell’aiuto della bota utilizzano NVIDIA CUDA e la bibliothque Tiny CUDA Neural Networks. Puisqu’il s’agit d’un rseau de neurones lger, il peut tre form et excut sur un seul GPU NVIDIA – funzioni e rapidità sulle carte con NVIDIA Tensor Cores.

La tecnologia può essere utilizzata per entrare nei robot e nelle voci autonome che comprende la coda e la forma di oggetti del mondo che catturano immagini 2D o di sequenze video d’eux. Elle pourrait gallement tre utilis dans l’architecture et le divertissement pour gnrer rapidement des representations numriques d’environnements rels que les crateurs peuvent modifier et dvelopper.

Au-del des NeRF, les chercheurs de NVIDIA esplorando il commento cette tecniche di codifica per l’uso per tre utilizzi per acclrer plusieurs dfis d’IA, notamment l’apprentissage par renforcement, la traduction de langue et’ proapprenteurissage algoritmi d’uso gnral.

Fonte : Nvidia

Et voi?

Aviez-vous dj entendu parler di NeRF ? Qu’en pensez-vous?
Quale pensiero per la tecnologia di Nvidia?
Quelles applicazioni possibili voyez-vous ?

Voir aussi:

Facebook passe derrire Nvidia en matire de capitalization boursire et est dsormais la huitime entreprise americaine la plus valorise, sa valeur est tombe en dessous de 600 Mds$
NVIDIA bloque le minage de cryptomonnaies sur les cartes RTX 3080 et 3070, afin de les rendre plus accesss aux joueurs sur PC