Ai und Ki in der Filmproduktion

In diesem Text wollen wir unsere persönlichen Einschätzungen und Erfahrungen zum Umgang mit KI (oder AI) im Bereich der professionellen Werbefilmproduktion teilen. Am 4.4.2024 halten wir zu diesem Thema eine Key-Note bei der Österreichischen Filmfördertagung der RTR und dem Fernsehfonds Austria. Gern können Sie uns auch für änliche Vorträge anfragen.

Schon in dem Moment wo wir den Text schreiben, ist er wahrscheinlich nicht mehr aktuell, wir versuchen ihn aber trotzdem mit regelmäßigen Updates so aktuell wie möglich zu halten. Schreiben Sie uns gern, wenn Ihnen ein Hinweis fehlt. 

Als wir in der Filmagentur mit der Produktion von Werbefilmen begonnen haben, wurden Videos noch auf magnetischen Videobändern ausgezeichnet, professionelle Produktionen waren 50-90% teurer als heute und es wurden viel weniger Image- und Werbefilme gedreht. 

In der öffentlichen Diskussion bekommt man das Gefühl, dass mit KI in der Contenterstellung und im Marketing nun alles automatisch abläuft. Das ist so nicht. Mit diesem Artikel wollen wir einen differenzierten Blick auf das Thema werfen, denn es ist komplex die Frage zu beantworten, wie die KI Filmproduktionen zukünftig verändert werden. 

Die Welt der Filmproduktion ist so breit wie das Leben selbst: szenisch, fiktional, journalistisch und dokumentarisch, Kinderfilme, Schulungsfilme, Animationsfilme etc. Wir konzentrieren uns hier auf den kleinen Bereich der Werbe- und Imagefilme für Unternehmen, Behörden, Ministerien etc. 

Grundsätzlich sehen wir in der KI einen Copilot, der unsere Arbeitsprozesse beschleunigt und verdichtet und die ganz neue Darstellungsformen und Filmarten hervorbringen wird. So entstehen mehr kreative Möglichkeiten und schätzungsweise ein grundsätzlicher Zuwachs der Marktgröße für Imagefilmproduktionen, weil die Einstiegsbarrieren in eine Werbefilmproduktion sinken, egal ob professionell oder inhouse produziert. Warum das so ist, soll hier auch beschrieben werden. 

Grundsätzlich muss man sich darüber bewusst sein, dass unsere Filme oft Dinge in der nicht digitalisierten realen physischen Welt im Werbefilm zeigen. Seien es Produkte, ganze Unternehmen, Arbeitgeber, Dienstleistungen, Landschaften etc. Diese reale Wirklichkeit ist unendlich komplex und müsste, um ein Filmprojekt umzusetzen, für die KI erreichbar und digitalisierbar sein. Das ist sie aber im Moment oftmals “noch” nicht. Dieser systemischen Tatsache muss man sich immer bewusst sein, wenn man einen Film produzieren will.    

Jedes Filmprojekt teilt sich in drei Phasen: Vor-Produktion (Konzeption und Filmdrehplanung), Filmdreh und Postproduktion (Filmschnitt, Animationen, Audio). Wir Schritt für Schritt durch das Thema: 

KI in der Vorproduktion

KI in der Recherche

Die KI lässt sich zunächst sehr gut in der journalistischen Recherchephase einsetzen. Wenn wir zu Themen recherchieren, einen Überblick benötigen oder Unternehmen, die uns anfragen, schnell kennenlernen wollen, eignet sich Chat GPT ganz gut. Hier tritt aber immer wieder auf, was Viele andere auch feststellen: Die Ergebnisse nicht sicher korrekt, vollständig und reproduzierbar. Vielleicht verbessert sich in Zukunft die Qualität noch, was die Verbindlichkeit und detaillierte Korrektheit angeht.

KI in der Konzepterstellung

Bei der konkreten Konzepterstellung lässt sich Chat GPT theoretisch einsetzen, indem Konzepte, Storyboards und Interviewfragen von der KI erstellt werden. Wir versuchen ständig die Aufgabenstellungen, die uns aus einem Briefing erreichen, durch die KI interpretieren zu lassen und daraus Filmkonzepte schreiben zu lassen. Alles, was wir dann von der KI bekommen, ist höchstens 50% von dem, was es braucht, um ein professionelles Filmkonzept zu haben. So ist der Aufbau der Filme, der Texte und Bildideen oft zu rudimentär und zu wenig kreativ. Hier ein paar Beispiele: 

Dieses Konzept ist in unseren Augen einerseits wenig konkret. Es geht z.B. wenig auf die Tatsache ein, dass es bei Adidas im Wesentlichen um Sportartikel geht. Ob Adidas solche Innovationslabore hat, wissen wir natürlich nicht. Ein Fokus auf dieses Thema ist auf jeden Fall eine Überlegung wert. Außerdem folgt der Film keinen nachvollziehbaren Aufbau. So fragen wir uns, warum mitten im Film über Work-Life-Balance gesprochen wird, wenn am Ende nochmal Gemeinschaftsaktivitäten vorkommen. Hier wäre eigentlich der Platz für Informationen zur Work-Life-Balance. Die Szenen wirken wie eine zusammenhanglose  Aneinanderreihung von Dingen. Um hier ein vernünftiges Konzept zu haben, braucht es also noch mehr Input, kreative Leistung und eine Fokussierung auf eine Kernbotschaft. Und: Wozu braucht es einen Moderator? Dieses Stilmittel sieht man natürlich oft in der täglichen journalistischen Berichterstattung, aber nur noch sehr, sehr selten im Werbefilmbereich. Das Mittel wird uns übrigens fast immer bei Konzepten vorgeschlagen. Was wir bei dem Konzept auch vermissen, ist die Darstellung eines konkreten Arbeitsplatzes bei Adidas. Wir würden in so einem Film eigentlich auch gern einmal das Gebäude insgesamt und die nähere Umgebung des Headquarters zeigen, wenn neue Mitarbeiter mit dem Film für eine Arbeit dort begeistert werden sollen. 

Zweiter Versuch: 

Prompt: Schreibe ein Filmkonzept für einen Informationsfilm über die Hufeisensiedlung in Berlin. Der Film soll informativ und emotional sein. Erstelle eine Tabelle mit Szenennummern, Texten und passenden Bildern dazu. Beschreibe in 5 Sätzen, was die Grundidee des Films ist.

Das Konzept ist gar nicht schlecht, und in einzelnen Szenen erstaunlich nah an unserem Film. Die vorgeschlagenen Szenen liegen natürlich auch schnell auf der Hand. Aber inhaltlich sind hier doch ein paar Dinge zu finden, die schlicht falsch sind. Die Siedlung wurde nicht von Walter Gropius, sondern von Bruno Taut gebaut. Außerdem gibt es im Areal der Siedlung gar keine Bibliothek. Die KI liefert hier auch keine Idee oder Ansatz, wie der Film durch seine Machart, einen roten Faden oder kreative Idee einprägsamer werden kann. 

Was Text-KI von Chat GPT eigentlich ganz gut können müsste, ist die Einstellung von Sprechertexten. Aber auch hier sehen wir die oben beschriebenen Probleme: Genauigkeit, Originalität und Kreativität. Das ist übrigens unsere Umsetzung zum anvisierten Thema:

In dieser Phase kann die “KI” eine großartige Funktion ausspielen, nämlich in der Kreation von Bildern nach textlichen Vorgaben. So können Looks, Storyboards und ganze Filme durch Texteingabe vorgezeichnet werden.

Auch bei der Produktion von Standbildern zur Besprechung kompletter Looks ist mit Midjourney und DALL-E möglich. Unsere Erfahrung ist, dass die Bildgeneratoren immer dann scheitern, wenn man etwas ganz konkretes ohne viel Fantasie-Spielraum durch die KI darstellen möchte. In diesem Beispiel wollen wir eine Vorvisualisierung erstellen für einen Auftraggeber aus der Stahlindustrie.

Das sieht doch schon einmal gut aus.

KI in der Filmdrehplanung

Es wäre natürlich schön, wenn die KI uns nach erfolgter Konzept-Planung einen konkreten Filmdrehplan zur Umsetzung des Filmprojekts schreibt. In einem Filmdrehplan stehen in chronologischer Reihenfolge, wann, was und von wem gedreht wird. Wir können Drehpläne sehr schnell schreiben, schließlich haben wir das schon hunderte Male gemacht. Die KI tut sich schwer mit einer konkreten Aussage und liegt auch nicht so richtig richtig. 

Die Antwort wäre hier eigentlich kurz und bündig: Der Dreh dauert 2h. Das kann die KI aber (noch) nicht wissen, weil das eine sehr spezifische Fragestellungsthematik in einem schmalen professionellen Arbeitsbereich ist und sich dem Wissen der KI entzieht. Würde man die KI mit dem spezifischen Wissen "füttern" und schulen, könnte sie diese Frage vermutlich verlässlicher und präziser beantworten.

KI während des Filmdrehs

So vielfältig wie die Welt der fertigen Filme insgesamt ist, so vielfältig ist natürlich auch die Filmproduktion selbst. Neben animierten Filmen erstellen wir vor allem real gedrehte Filme an einem real existierenden Motiv, z.B. in einem Industrieunternehmen. Es gibt sowohl bei der Beleuchtungstechnik als auch Kameratechnik immer mehr Software getriebene Funktionserweiterungen und Verbesserungen. Diese Upgrades bauen aber soweit und das bekannt ist nicht auf maschinelles Lernen auf. Man kann also nicht einfach Lampen aufbauen und der KI nach einer Vorvisualisierung sagen, welcher Look erzeugt werden soll. Genauso verhält es sich (nicht) bei der Kameraführung. Die Kamera muss noch selbst geführt werden, Einstellungen je nach Anspruch und Bedarf für Schärfe, ISO, Blende, Speicherformat vorgenommen werden etc. Natürlich übernehmen all das auch Automatiken in Smartphones. Im professionellen Filmbereich, wo auch in suboptimalen Bedingungen (z.B. Dunkelheit, Helligkeitsunterschiede, ständig bewegte und verdeckte Fokus-Objekte) ein professionelles Bild erzeugt werden soll. Auch nimmt die KI natürlich nicht die Frage ab, wie sich an einem konkreten Drehort spannende Kameraperspektiven ergeben können, die Szenen aus Sicht der Regie aufgebaut werden müssen etc.

Es gibt für bestimmte Anwendungsfälle aber schon KI-Gestützte Software zur Bildgeneration.

1. Text zu Bild zu Video mit Runway

Wir sind noch keine Experten in der Nutzung von Runway AI und die Entwicklung des Tools ist noch in der Entwicklung. Man sieht aber schon ganz gut, wohin die Entwicklung bei fiktionalen Werbefilmen in Zukunft gehen könnte. So kann aus einem Text-Prompt ein Foto und Video generiert werden. Runway ist aktuell der Marktführer in diesem Bereich.

Bisher gibt es aber noch einige Dinge, die uns hier hin zu einer professionellen Nutzung fehlen: Die künstlich generierten Szenen sind noch recht kurz. Es gibt noch viele Artefakte und Fehler in der Darstellung von Bewegungen von Dinge und Personen. Außerdem hat die Anmutung und der Look der Filme oft etwas mystisches und traumhaftes an sich. Das passt natürlich nicht zu jeder Filmproduktion.

1. Text zu Avatar zu Video

Bei dem Online- und Webbrowser basierten Service können Texte in ein Presenter-Video übertragen werden. Dafür stehen nicht nur künstliche Avatare zur Verfügung, die täuschend echt aussehen, sondern es ist auch möglich von einer eigenen Person einen Avatar zu erzeugen, der dann zum vorgegebenen Text “Spricht”. 

Bei diesem Tool stellt sich grundlegend die Frage, die man eigentlich immer vor jeder Videoproduktion braucht: Für wen ist so ein Video relevant und würde auch ein Text ausreichen? Denn: die künstlich erzeugten Videos strotzen bis jetzt nicht unbedingt vor Lebendigkeit, Authentizität und Emotionalität von Mensch zu Mensch. Bei vielen Videoproduktionen kommt es aber genau darauf an.

KI und AI im Filmschnitt

Auch in dieser Phase ist es wieder so, dass “die KI” uns nicht den Film fertig schneidet, vertont und mit Animationen verschönert. Zeitraubend und wenig kreativ ist beim Filmschnitt vor allem die Sichtung und Sortierung des gedrehten Materials. Es gibt hier im Consumer-Bereich schon Videoschnitt-Smartphone-Apps, die das versuchen, aber die Qualität der Bildauswahl ist oft nicht so optimal, wie von "Hand" geschnittenes Filmmaterial, wo es eine exakte technische Auswahl an kommt und eine ideale Passung von Inhalten im Bild zum Ton und Inhalt auf der Audiospur. Aber im professionellen Bereich sind uns noch keine Möglichkeiten für diesen Anwendungsfall bekannt. Dennoch gibt es eine Menge Tools, die uns helfen. 

KI in der Transkription

Eine große Hilfe ist die Erkennung und Transkription von gesprochenem Text in frisch gedrehten Interview-Videos. Es gibt inzwischen viele Filmschnittprogramme wie Final Cut Pro oder Adobe Premiere Tools und Plug-ins. Die Tools können neben der eigentlichen Skripterstellung und Übersetzung auch Videos gleich so schneiden, wie man im Fließtext Passagen ändert, kürzt in der Reihenfolge verändert. Außerdem bieten die Tools zum Teil die Möglichkeit, eine teilbare Onlineseite mit Video und Script erstellen zu lassen, die unsere Auftraggeber im Team intern bearbeiten können. 

KI bei der Vertonung mit Sprechern und Musik

Einige Werbefilme werden mit einem Sprechertext vertont. Wir arbeiten hier mit dem Service von ElevenLabs. Hier kann geschriebener Text von künstlichen Stimmen eingesprochen werden. Das geht sehr schnell und erstaunlich gut, solange keine Besonderheiten auftreten. Eigennamen, Fachbegriffe, Abkürzungen und vor allem englische Begriffe in deutschen Texten oder deutsche Begriffe in englischen Texten klingen nicht gut. Das Tool nutzten wir vor allem um Layout-Texte in der Rohschnittphase einsprechen zu lassen, damit man sich einen Eindruck verschaffen kann von der Passung von Text und Bild.

KI in der Animationsfilmerstellung

Ein weiterer großer Anwendungsfall von KI und AI in der Filmproduktion sind Animationsfilme. So kann das Tracking von Personen in real gedrehten Aufnahmen und die Erstellung von animierten Charakteren von der KI übernommen werden. In unserer alltäglichen Praxis haben wir dafür bisher noch keinen Anwendungsfall gefunden.

KI in der Animationsfilmerstellung

Ein weiterer großer Anwendungsfall von KI und AI in der Filmproduktion sind Animationsfilme. So kann das Tracking von Personen in real gedrehten Aufnahmen und die Erstellung von animierten Charakteren von der KI übernommen werden. In unserer alltäglichen Praxis haben wir dafür bisher noch keinen Anwendungsfall gefunden.

Zusammenfassung

Bisher gibt es noch keine wissenschaftlichen Abhandlungen zum Thema KI und AI in der Filmproduktion, sodass wir hier nur auf unseren Alltagsbeobachtungen aufbauen können. Wir hoffen aber, dass der Artikel einen Überblick geben wird.