Wieso das KI-Videomodell Seedance 2.0 von ByteDance für Panik und Klagen sorgt

Das KI-Videomodell Seedance 2.0 sorgt derzeit sowohl für Begeisterung als auch für Ärger. Denn es ermöglicht eine bislang ungekannte Bildqualität und äußerst komplexe Szenenkonstruktionen. Ebenso lassen sich bekannte Schauspieler und Personen problemlos einbinden. Offensichtlich wurde das Modell von dem TikTok-Entwickler ByteDance mit Tausenden von Hollywood-Filmen trainiert.

Von Michael Förtsch

Als OpenAI sein Videomodell Sora zum ersten Mal präsentierte, waren viele erstaunt und geschockt. Denn im Vergleich zu anderen KI-Video-Generatoren, die zu dieser Zeit verfügbar waren, erzeugte das Modell erstaunlich detaillierte und glaubwürdige Videoinhalte. Es schien, als habe OpenAI einen massiven Vorsprung gegenüber der Konkurrenz. Inzwischen wurde OpenAI jedoch überholt. Mehrfach. Derzeit sind es vor allem KI-Videomodelle chinesischer Firmen, die hinsichtlich optischer Qualität, Steuerbarkeit, Länge der erzeugten Clips und passenden Audiospuren immer größere und weitere Sprünge machen. Zu ihnen zählten zuletzt Kling 3.0 von Kuaishou, WAN 2.6 von Alibaba und Hailuo 2.3 von Minimax. Dennoch sorgt derzeit ein neues KI-Videomodell für besonders viel Aufsehen: Seedance 2.0 vom TikTok-Entwickler ByteDance. Nicht nur aufgrund seiner Fähigkeiten, sondern insbesondere, da sehr gut erkennbar ist, womit das KI-Modell trainiert wurde.

Einzelne Clips von Seedance 2.0 waren bereits in den ersten Februartagen vor der offiziellen Veröffentlichung des Modells zu sehen. Mehrere chinesische KI-Influencer hatten vorab einen Zugang und experimentierten mit dem neuen KI-Modell. Sie teilten die Clips auf Plattformen wie Weibo und Bilibili.tv. Von dort gelangten sie auch zu X – ehemals Twitter –, auf Reddit und in anderen Social-Media-Kanälen. Was dort zu sehen war, beeindruckte. Einzelne Clips mit einer Länge von bis zu 15 Sekunden und einer Auflösung von 1080p sind kaum noch von echten Filmszenen zu unterscheiden. Da kämpft eine Katze in einem japanischen Dorf gegen ein gewaltiges Kaiju. Im Vergleich zu vor einem Jahr gibt es keine merkwürdigen verzerrten Körper, kruden Bewegungen oder Artefakte mehr. Ein dreiminütiger Mini-Film zeigt, wie Weltraumsoldaten eine Militärbasis auf einem Eisplaneten gegen eine Horde Monster verteidigen. Atmosphärische Nahaufnahmen, Slowmotion-Szenen, dynamische Kamerafahrten und physikalisch glaubwürdige Sprung- und Flugaufnahmen inklusive.

Das Modell kann nicht nur gänzlich neue Szenen erstellen. Es kann gezielt Charaktere und Umgebungen in vorhandenen Videos austauschen. Außerdem kann es mit Referenzmaterial arbeiten. Es ist möglich, Kameraführung, Bewegungen und Effekte aus bis zu drei bereitgestellten Referenzvideos zu übernehmen. Seedance 2.0 kann neun Bilder, etwa für Umgebungen, Charaktere oder auch Farb- und Zeichenstile, heranziehen. Auch Tonspuren können mitgegeben werden. Mit Prompts wie „Nutze die Umgebung aus Bild 2, übernimm den Hauptcharakter aus Bild 2, lass ihn gegen das Monster aus Bild 3 kämpfen. Übernimm dabei die Kameraführung aus Video 1. Lass die Charaktere dann durch einen Boden brechen und nimm ab dann die Umgebung aus Bild 3. Nutze die Tonspur aus 1.mp3 für Charakter 1 und 2.mp3 für Charakter 2“ lassen sich bislang ungekannt komplexe Szenen erstellen.

Dabei ist Seedance 2.0 nicht jedes Mal völlig erfolgreich. Zuweilen macht das Modell immer noch typische KI-Fehler. Es verwechselt mal die Charaktere, plötzlich trägt ein Charakter eine andere Hose als vorher, es ordnet Tonspuren falsch zu, schreibt Unsinn auf Schilder und Ladenmarkisen oder Objekte verschwinden, wenn jemand an ihnen vorbeiläuft. Bei manchen Szenentypen – wie Kämpfen zwischen mehreren Charakteren oder Flucht- und Autoverfolgungsjagden – wechselt die Optik zu einer, die eher an Videospielgrafik erinnert. Aber dennoch: Oft sind die Ergebnisse beeindruckend kohärent und wirken professionell. Vor allem Szenen mit wenig oder langsamen Bewegungen, eher statischen Umgebungen aus der Ersten-Person-Sicht, sind kaum noch von echten Smartphone- und Kameraaufnahmen zu unterscheiden.

Ist es vorbei für Hollywood?

Seit der Veröffentlichung in der letzten Woche sorgt Seedance 2.0 für Begeisterung, Irritation und Schock. KI-Künstler, Trolle und auch professionelle Filmemacher experimentieren damit. Innerhalb weniger Tage wurden die sozialen Netzwerke mit Hunderten von Seedance-2.0-Clips geflutet. Dabei ist das Modell derzeit nur auf chinesischen Diensten wie Jimeng, Pippit und der chinesischen Fassung von CapCut Dreamina zugänglich. Unter den Clips befinden sich durchaus beeindruckende Szenen, die aus Hollywood-Filmen stammen könnten und Hobby-Filmemacher davon träumen lassen, ganze Filme mittels KI zu erstellen. Es gibt aber auch bizarre Clips, wie etwa ein im Found-Footage-Stil gehaltenes Video, das Jeffrey Epstein, Charlie Kirk, Nicolás Maduro und Donald Trump zusammen beim Beschwören von P. Diddy zeigt. Auf Reddit sorgte ein Video für Aufsehen, in dem der junge Jackie Chan und Jet Li in einem perfekt choreografierten Kampf gegeneinander antreten. Von Nutzern generierte Seinfeld-Szenen und Momente aus fiktiven Sitcoms mit bekannten Stars werde vielfach geteilt.

Der Regisseur Ruairi Robinson, bekannt durch den Film The Last Days on Mars, postete wiederum einen 15-sekündigen Videoschnipsel, den er eigenen Angaben zufolge mit lediglich zwei Textzeilen generiert hat. In dem Video prügeln sich Brad Pitt und Tom Cruise auf dem halbzerstörten Dach eines Wolkenkratzers. In einer weiteren Fassung dieses Clips lässt er Pitt zudem Cruise beschimpfen, dass er Jeffrey Epstein töten ließ, woraufhin Cruise erklärt, dass Epstein „zu viel über unsere Russland-Operation wusste“. In weiteren Clips kämpfen Brad Pitt und Tom Cruise dann jeweils einzeln noch gegen Zombie-Ninjas und einen Roboter. Die beiden Stars sind von ihren realen Ebenbildern nicht zu unterscheiden.

Der Drehbuchautor und Produzent Rhett Reese, der unter anderem für die Deadpool-Filme verantwortlich ist, antwortete auf den Clip von Robinson: „Ich sage es nicht gerne. Aber für uns ist es aus.“ Später konkretisierte er seine Aussage: „Bald wird eine Person in der Lage sein, sich an einen Computer zu setzen und einen Film zu erstellen, der sich nicht von dem unterscheidet, was Hollywood heute veröffentlicht.  Wenn diese Person nicht gut ist, wird der Film natürlich schlecht sein.  Aber wenn diese Person über das Talent und den Geschmack von Christopher Nolan verfügt – und so jemanden wird es geben –, wird der Film großartig sein.“

Hollywood reagiert bereits

Viele Nutzer waren von Seedance 2.0 nicht nur überwältigt, sondern merkten auch an, dass ihnen viele Elemente in den geteilten Szenen absonderlich bekannt vorkamen. Das gilt auch abseits der Gesichter und Körper der bekannten Schauspieler und Persönlichkeiten, die sich offenbar ohne Probleme in die Szenen einfügen lassen. Im Mini-Film über den Eisplaneten ist beispielsweise an mehreren Stellen die Rüstung des Master Chiefs aus der Halo-Videospielreihe zu erkennen. In anderen Szenen finden sich sehr spezifische Waffen und Fahrzeuge, die an markante Vehikel aus Videospielen und Filmen erinnern. Oder Burgen und Festungen, die verdächtig nach Orten aus Der Herr der Ringe und Game of Thrones aussehen. Ohne Zweifel wurde das KI-Modell also mit Szenen und Bildern aus bekannten Filmen und Serien trainiert – und das offenbar ohne Genehmigung der Urheber.

Bereits am 12. Februar veröffentlichte die Motion Picture Association, die große Hollywood-Studios wie Warner Bros. sowie Streaming-Dienste wie Netflix vertritt, eine Stellungnahme. Darin wirft sie ByteDance „massive Verstöße“ und „unerlaubte Nutzung urheberrechtlich geschützter US-Werke in massivem Umfang“ vor. Das Unternehmen missachte etablierte Urheberrechte und gefährde eine Industrie, die Millionen von Arbeitsplätzen sichere. Charlie Rivkin, der Vorsitzende und CEO der MPA, sagte dazu: „ByteDance sollte seine rechtswidrigen Aktivitäten unverzüglich einstellen.“

Am gleichen Tag hat der Disney-Konzern eine Unterlassungserklärung an die US-Vertretung von ByteDance geschickt. Nach Einschätzung des Konzerns stellt ByteDance mit Seedance 2.0 „eine raubkopierte Bibliothek von Disneys urheberrechtlich geschützten Figuren aus Star Wars, Marvel und anderen Disney-Franchises zur Verfügung, als ob Disneys begehrtes geistiges Eigentum eine kostenlose, gemeinfreie Clip-Art wäre“.

Auch die Schauspieler- und Autorenvereinigung SAG-AFTRA hat reagiert. Sie stehe bei ihrer Einschätzung des Modells an der Seite der Studios. Durch das Modell würden „eklatante Rechtsverletzungen“ ermöglicht. „Dies ist inakzeptabel und untergräbt die Möglichkeit von Talenten, ihren Lebensunterhalt zu verdienen“, so die Vereinigung. „Seedance 2.0 missachtet Gesetze, ethische Grundsätze, Industriestandards und grundlegende Prinzipien der Zustimmung. Verantwortungsvolle KI-Entwicklung erfordert Verantwortung, und die gibt es hier nicht“.

Einzelne Studios und Vereinigungen wie SAG-AFTRA haben zudem bereits begonnen, nicht nur gegen ByteDance vorzugehen, sondern auch gegen einzelne Videos, die damit erstellt wurden. Unter anderem wurde ein scherzhaftes Der-Herr-der-Ringe-Video eines Mitarbeiters des KI-Dienstes FAL von nach einer Copyright-Beschwerde an X von der Plattform gelöscht.

Update: ByteDance hat inzwischen sowohl auf die Kritik als auch auf die rechtlichen Drohungen reagiert. Das chinesische Unternehmen kündigte an, die Nutzung des KI-Videomodells zur Erstellung von Videos mit echten Personen und urheberrechtlich geschützten Inhalten zu erschweren. Dabei sollen offenbar vor allem Prompts blockiert werden, die die Namen echter Schauspieler, Superhelden sowie Serien oder Filme enthalten. „ByteDance respektiert die Rechte an geistigem Eigentum, und wir haben die Bedenken bezüglich Seedance 2.0 wahrgenommen“, so ein Unternehmenssprecher in einem Statement.