AI tekst naar video generatoren komen eraan, en ze zijn indrukwekkend


Kunstmatig intelligente (AI) tekst-naar-afbeelding generatoren hebben tot nu toe dit jaar de luchtwegen verlicht, maar nu heeft een bedrijf een AI tekst-naar-video generator geplaagd.

Videobewerkingssoftwarebedrijf Runway heeft een geweldige promotievideo uitgebracht waarin het teaset op het maken van elke scène die je maar kunt bedenken, maar dan als video.

De video begint met een operator die typt in “Import city street.” Een straatscène wordt gecreëerd en dan aangepast met de input “Laat het er meer filmisch uitzien.”

Het meest indrukwekkend is misschien wel wanneer een lantaarnpaal uit de bewegende scène wordt verwijderd met behulp van een soort spot healing tool.

De video schakelt dan over naar “Genereer een weelderige tuin.” Eenmaal ingevoerd, worden er een aantal verschillende scènes gecreëerd die de gebruiker kan bekijken, waaronder veel verschillende stijlen.

Na het kiezen van een scène, kan de gebruiker een animatie-optie kiezen zoals schaal in overtime, evenals tekst maken om in en uit te faden.

Vervolgens verschijnt een video van een fotograaf en wordt “Green screen character” ingevoerd in het prompt-vak. Dit scheidt het onderwerp van de achtergrond, zodat de operator het kan vervagen en vervolgens zwart-wit kan maken.

Runway is al enige tijd een videobewerker, maar dit nieuwe AI-aanbod lijkt volkomen nieuw te zijn in de film-cutting-ruimte. De software heeft al AI-functies, zoals de mogelijkheid om objecten in een video te maskeren.

AI-video-ontwikkelaars ondervinden moeilijkheden

Volgens Arts Technica, een van de problemen voor tekst-naar-video programma’s is de trainingsset. Er bestaan gevestigde beeldtrainingsmodellen voor AI-tekst-naar-beelden-programma’s, zoals LAION-5B.

Tot op heden zijn de trainingsmodellen voor AI-video primitief en zijn er ook problemen vanwege de hoge computationele eisen van video. Vorig jaar rond deze tijd bevonden AI-beeldgeneratoren zich echter in een vergelijkbare toestand, dus het is niet ondenkbaar dat AI-videogeneratoren in de komende maanden met sprongen vooruit zullen gaan.

Runway is een browser-gebaseerde app en is nu beschikbaar tegen een maandelijkse vergoeding. Maar de geadverteerde tekst-naar-video functie is momenteel nog in een vroege toegangsfase en om het uit te testen moeten gebruikers zich aanmelden voor de wachtlijst op de website van Runway.