Nvidias Neuralangelo-KI verwandelt iPhone-Videos in 3D-Welten

Ihre iPhone-Filme sind jetzt Spielwelten.

Das ist Neuralangelo, Nvidias neue KI, und sie wird riesig sein. Gerade als Sie dachten, die wilde Welt der KI könnte nicht mehr überraschen, stellt Nvidia seine neue Neuralangelo-KI vor, die 2D-Videoclips in 3D-Strukturen und Szenen umwandeln kann. Dabei entstehen im wahrsten Sinne des Wortes detaillierte Nachbildungen von Gebäuden, Skulpturen und realen Objekten aus Videoclips, die mit dem Handy oder der Kamera aufgenommen wurden.

Die Idee hinter Neuralangelo, das lebensechte 3D-Szenen aus Videos „formt“, wie ein moderner Michelangelo (geddit), besteht darin, dass diese 3D-Szenen dann in andere Software importiert werden können. Die Neuralangelo-Assets können für die Verwendung in Videospielen, Arch-Viz, Web-3-Projekten und eigentlich allem bearbeitet werden, einschließlich der Unterstützung digitaler Künstler bei der Definition von Lichtquellen.

Dies geschieht auf der Grundlage von Nvidias KI für die Kommunikation mit Spielcharakteren und der neuen generativen Text-zu-3D-KI, die sich noch in der Entwicklung von Forschern am HiFA befindet. In einer Neuralangelo-Demo (unten) zeigte Nvidia, wie seine KI komplexe Objekte wie Michelangelos David sowie etwas so Alltägliches wie einen Tieflader nachbilden konnte.

Nvidia hat eine ausführliche Erklärung zur Funktionsweise von Neuralangelo veröffentlicht und erklärt, wie es komplizierte Details in einem Video, wie zum Beispiel Glas und glatter Marmor, in 3D übersetzen kann. Der Grundgedanke ist, dass diese KI dazu beitragen wird, die Arbeitsabläufe von Kreativen zu beschleunigen und virtuelle 3D-Welten und -Ressourcen für neue Branchen zu erschließen, ohne Arbeitsplätze zu ersetzen.

„Die 3D-Rekonstruktionsmöglichkeiten, die Neuralangelo bietet, werden für Kreative von großem Nutzen sein und ihnen dabei helfen, die reale Welt in der digitalen Welt nachzubilden“, sagte Ming-Yu Liu, leitender Forschungsdirektor und Mitautor des Papiers, in einer Pressemitteilung. „Dieses Tool wird es Entwicklern schließlich ermöglichen, detaillierte Objekte – seien es kleine Statuen oder riesige Gebäude – in virtuelle Umgebungen für Videospiele oder industrielle digitale Zwillinge zu importieren.“

Die besten KI-Generatoren sind diejenigen, die sich in einen Arbeitsablauf einfügen und diesen verbessern, anstatt Jobs zu ersetzen. Neue generative KI-Modelle wie beispielsweise Adobe Firefly können in einen Konzeptkunst-Workflow passen und den Prozess beschleunigen, ohne die Künstler zu ersetzen, die die Arbeit erledigen. Lesen Sie Ken Colemans Tutorial zur Verwendung von Adobe Firefly oder mein Interview mit Chris Colman von Final Frontier, der täglich KI verwendet.

Vielen Dank, dass Sie diesen Monat 5 Artikel gelesen haben* Melden Sie sich jetzt an, um uneingeschränkten Zugriff zu erhalten

Genießen Sie Ihren ersten Monat für nur 1 £ / 1 $ / 1 €

*Lesen Sie 5 kostenlose Artikel pro Monat ohne Abonnement

Melden Sie sich jetzt an, um unbegrenzten Zugang zu erhalten

Versuchen Sie es im ersten Monat für nur1 £ / 1 $ / 1 €

Tägliche Design-News, Rezensionen, Anleitungen und mehr, ausgewählt von den Redakteuren.

Ian Dean ist Redakteur für Kunst und Design bei Creativebloq und ehemaliger Herausgeber vieler führender Zeitschriften. Zu diesen Titeln gehörten ImagineFX, 3D World und der führende Videospieltitel Official PlayStation Magazine. In seiner frühen Karriere schrieb er für Musik- und Filmmagazine, darunter Uncut und SFX. Ian hat das Xbox-Magazin X360 herausgebracht und PlayStation World herausgegeben. Für Creative Bloq kombiniert Ian seine Erfahrungen, um die neuesten Nachrichten zu KI, digitaler Kunst und Videospielkunst und -technologie und mehr zu Creative Bloq zu bringen. In seiner Freizeit kritzelt er in Procreate, ArtRage und Rebelle und findet dabei Zeit zum Spielen Xbox und PS5. Er ist außerdem ein begeisterter Cricut-Benutzer und Laserschneider-Fan und bastelt derzeit mit Glowforge und xTools M1.