Runway Aleph - vildere AI video!

Jeg har flere gange skrevet om AI video-værktøjet Runway - det er genialt til at lave små videosekvenser, langt bedre end OpenAI's Sora - blandt andet fordi man i den seneste version kan uploade referencebilleder som så danner baggrund for outputtet. Med introduktionen af "Aleph" tilføjes der endnu en super smart feature.

Nu kan man uploade en videosekvens og ændre elementer i omgivelserne med nogle meget simple tekstinput. I videoen herunder har jeg filmet en kort sekvens af mig selv der går en tur udenfor. Jeg uploader derefter sekvensen til Runway Aleph og beder om regnvejr, snevejr, omgivelser fra New York, at få mig til at se gammel ud, som en kvinde med langt hår, at blive jagtet af en bjørn osv.

Det nye er, at ændringerne ikke bare lægges ovenpå billedet som et filter, men at hele scenen bliver rekonstrueret i 3D-lignende kvalitet. Det betyder, at lyset, skyggerne og bevægelserne i videoen automatisk tilpasses, så det ser ud som om regnen eller sneen faktisk rammer mig, eller at folk faktisk går forbi mig i New York. Hvor man tidligere var begrænset til statiske prompt-baserede genereringer, kan Aleph altså transformere eksisterende video dynamisk – noget der nærmest føles som at redigere virkeligheden i realtid.

Det mest opsigtsvækkende er, at Runway Aleph bevarer konsistensen gennem hele klippet. Hvis du ændrer dig selv til en person med langt hår eller i en bestemt påklædning, så følger det look med hele vejen gennem videoen, også selvom du bevæger dig eller drejer hovedet. Den form for “identitetsfastholdelse” var stort set umulig i tidligere AI-videoer, hvor figurerne ofte ændrede ansigt eller detaljer fra frame til frame.

For videoproducenter, reklamefolk og undervisere åbner det helt nye muligheder. Man kan hurtigt tilpasse et budskab til forskellige målgrupper – for eksempel lave den samme video i en europæisk storby, en asiatisk storby og en sydamerikansk kontekst – uden at skulle filme tre gange. Eller man kan skabe visuelle metaforer, som tidligere krævede store produktionsbudgetter: en leder, der taler om at “stå i stormvejr”, kan rent faktisk vises midt i en storm, selvom optagelsen blev lavet på et stille kontor. Selvfølgelig er der et stykke vej endnu til det bliver helt realistisk, men ligesom med alt andet AI går udviklingen af video-modeller eksplosivt hurtigt.

Hvis du selv vil lege med det, hopper du bare ind på https://app.runwayml.com/ - god fornøjelse!