Ein Nvidia-Forscherteam arbeitet an einem latenten Diffusionsmodell für hochaufgelöste Videos am Beispiel des Text-zu-Bild-Generators Stable Diffusion.
Das Paper konzentriert sich auf zwei Anwendungsfälle: Erzeugung kreativer Videoinhalte und simulierte Autofahrten. Für den kreativen Einsatz wurde das Video-LDM auf demtrainiert – ein umfangreicher Datensatz von Kurzvideos mit Textbeschreibungen von Stock-Footage-Websites. Für die Autofahrten griffen die Forschenden auf Dashcam-Videos zurück.
Wie bei Stable Diffusion selbst nutzten die Forscher aus, dass latente Diffusionsmodelle eine qualitativ hochwertige Bildsynthese ermöglichen und gleichzeitig übermäßigen Rechenaufwand vermeiden, indem sie ein Diffusionsmodell in einem latenten Raum trainieren. Zunächst wurde das Modell auf Bilddaten vortrainiert, anschließend um eine zeitliche Dimension erweitert und fein abgestimmt.
United States Latest News, United States Headlines
Similar News:You can also read news stories similar to this one that we have collected from other news sources.
Video-LDM: Hochauflösender Text-zu-Video-Generator aus Nvidias AI LabEin Nvidia-Forscherteam arbeitet an einem latenten Diffusionsmodell für hochaufgelöste Videos am Beispiel des Text-zu-Bild-Generators Stable Diffusion.
Read more »
Neue Nvidia-Grafikkarte RTX 4070: Folgt auf einen guten Start die schnelle Ernüchterung?Nvidias RTX 4070 hat in einem großen deutschen Shop einen guten Start hingelegt. Laut einem aktuellen Bericht muss Nvidia aber trotzdem bereits handeln.
Read more »
Geforce RTX 4000: Händler kombiniert Nvidia-GPUs mit Steam-Geschenkkarten im Wert von 100 US-DollarDer US-Händler Micro Center kombiniert sämtliche RTX-4000-Grafikkarten mit Steam-Geschenkkarten. hardware gaming
Read more »
Nvidia Geforce RTX 4090 kaufen: Eine Intel Arc A750 geschenkt bekommenWer aktuell in Japan eine Geforce RTX 4090 kauft, kann eine Intel Arc A750 gratis erhalten. Besonders herausragend ist das Angebot aber dennoch nicht. hardware gaming
Read more »
Nvidia soll Herstellung der RTX 4070 verringern, weil keiner sie kaufen will – Gamer spotten: „Unglaubliches Beispiel für Gier'Laut Gerüchten soll Nvidia die Produktion der GeForce RTX 4070 drosseln. Grund dafür sollen schlechte Verkaufszahlen sein.
Read more »