Seit der enormen Begeisterung für Sora von OpenAI vergeht kein Monat, ohne dass ein neuer KI-Videogenerator angekündigt wird. Diesmal sprechen wir über Dream Machine von Luma AI. Laut Produktseite erstellt ihr neu veröffentlichtes Modell hochwertige, realistische Videos aus Text, und das schnell. Das Interessanteste an diesem Generator ist jedoch, dass jeder ihn kostenlos ausprobieren kann. Wir werden es versuchen!
Dies ist nicht das erste Mal, dass wir über Luma AI schreiben. Ich bin ein großer Fan ihrer automatisierten 3D-Scans, die Benutzer anhand einfacher Smartphone-Videos durchführen können. Meiner Meinung nach ist diese Funktion besonders nützlich für die Standortsuche (den vollständigen Workflow können Sie in diesem Videobeitrag erklären). Die Entwickler nennen sich sogar „The 3D AI Company“, daher war es ziemlich überraschend, dass sie sich dem Rennen um die Videogenerierung anschließen. Aber vielleicht könnten sie ihr Wissen und ihre Unmengen gescannter Bilder auf ein funktionierendes Modell übertragen. Man weiß es nie, bis man es versucht.
Was die Dream Machine von Luma AI verspricht
In der Beschreibung präsentiert Luma AI Dream Machine als hochwertiges Text-zu-Video- (und Bild-zu-Video-)Modell, das in der Lage ist, physikalisch genaue, konsistente und ereignisreiche Aufnahmen zu erzeugen. Sie loben auch die unglaubliche Geschwindigkeit: Das neuronale Netzwerk kann angeblich 120 Frames in 120 Sekunden generieren (Spoiler: Meine Tests haben gezeigt, dass dies nicht immer der Fall ist, da einige Generationen bis zu 7 Minuten dauerten). Ein weiterer Vorteil dieses Tools ist seine Konsistenz:
Dream Machine versteht, wie Menschen, Tiere und Objekte mit der physischen Welt interagieren. Dadurch können Sie Videos mit hervorragender Charakterkonsistenz und präziser Physik erstellen.
Aus der Modellbeschreibung auf der Luma AI-Website.
Als Randbemerkung muss klargestellt werden, dass die meisten auf dem Markt erhältlichen KI-Videogeneratoren Schwierigkeiten mit der Konsistenz und der genauen Physik haben, wie wir in einigen umfangreichen Tests gezeigt haben.
Derzeit erzeugt Dream Machine 5-Sekunden-lange Aufnahmen (mit der Möglichkeit zum Heranzoomen) und soll sowohl filmische als auch naturalistische Kamerabewegungen verstehen und nachbilden.
Testen Sie Ihr Verständnis
Wenn Sie die Luma AI-Website aufrufen und sich anmelden, startet Dream Machine automatisch. Es verfügt über eine einfache Oberfläche, die aus einem Textfeld und einem Symbol zum Hochladen eines Bildes besteht (wir werden uns das weiter unten genauer ansehen).
Um einen fairen Vergleich zu ermöglichen, war die erste Nachricht, die ich an das Modell gesendet habe, dieselbe, die ich in meinen vorherigen Tests mit anderen KI-Videogeneratoren verwendet habe. Allerdings habe ich einige Anpassungen vorgenommen und die Beschreibung der Kamerabewegung und des Verhaltens der Figur hinzugefügt. Nach einigen Minuten gab das neuronale Netzwerk das Ergebnis zurück.
Eine schwarzhaarige Frau in einem roten Kleid steht regungslos am Fenster und beobachtet den Schnee, der draußen fällt, während die Kamera langsam schwenkt.
Meine Nachricht
Wie Sie sehen, fiel es diesem Videomacher ebenso wie seinen Konkurrenten schwer, den Schnee aus dem Fenster zu halten (vielleicht sieht die Frau deshalb in der resultierenden Szene so traurig und verwirrt aus). Auch wenn ich ihn bat, meine Figur regungslos am Fenster zu platzieren, beschloss Dream Machine, etwas Action und Drama hinzuzufügen.
Gleichzeitig ist das allgemeine Verständnis der beschriebenen Szene verblüffend. Ich habe alles bekommen, was ich wollte: ein Fenster, Schnee, eine schwarzhaarige Frau in einem roten Kleid. Wenn sich die Frau umdreht, leiden Gesicht und Figur nicht unter Dysmorphie. Sie bleibt konstant und sieht ziemlich normal aus. Persönlich habe ich bisher keine solche Konsistenz bei KI-Videogeneratoren beobachtet (mit Ausnahme von Googles Sora und Veo, da diese nicht für öffentliche Tests verfügbar sind). Was denkst du darüber?
Nachrichtentipps und verbesserte Nachrichten
Die einzige Einstellung, die Sie bisher im Luma AI-Generator ausprobieren können, heißt „Nachricht verbessern“. Nachdem Sie Ihre Beschreibung in das Textfeld eingegeben haben, erscheint die entsprechende Checkbox. Es ist standardmäßig aktiviert, sodass meine vorherige Ausgabe diese Option bereits enthielt. Laut den Dream Machine-Entwicklern gibt dies dem Modell mehr kreative Freiheit, sodass Sie nicht viel Ausarbeitung leisten müssen, um schöne, realistische Ergebnisse zu erhalten. Ihre Anweisungen können kurz sein und das Model füllt die Lücken mit den Details aus, die am besten passen.
Wenn Sie diese Option deaktivieren, müssen Sie Ihre Szene, Aktion, Bewegungen und Objekte so detailliert wie möglich beschreiben. Da meine vorherige Textanfrage bereits ausführlich genug war, habe ich sie beim zweiten Durchlauf erneut verwendet und das Häkchen bei „Nachricht verbessern“ entfernt. Hier ist das Ergebnis:
Wow! Was ist mit meiner schönen Frau passiert? Ich weiß nicht, wie es Ihnen geht, aber ich bekomme Gänsehaut, wenn ich dieses Ergebnis sehe. Der Grund liegt nicht nur in der Bewegung der linken Hand der Figur, sondern auch in der Art und Weise, wie sie ihre Schultern bewegt und ihren Kopf dreht. Ich schwöre, das könnte eine sehr passende Sequenz für einen Horrorfilm über eine Hexenjagd sein. Ansonsten hatte das Modell dieselben kontextbezogenen Probleme wie die vorherige erweiterte Nachricht.
Bild-zu-Video-Ansatz
Wie andere KI-Videogeneratoren ermöglicht auch die Dream Machine von Luma AI Benutzern, ein Bild als Eingabe hochzuladen und es mit zusätzlichem Text zu versehen. In diesem Fall empfehlen die Entwickler, die Schaltfläche „Nachricht verbessern“ zu aktivieren und zu beschreiben, welche Bewegungen und Aktionen (sowohl mit der Kamera als auch mit Ihren Charakteren) in der Szene stattfinden sollen.
Versuchen wir es noch einmal. Für dieses Experiment habe ich den Midjourney-Imager gebeten, dieselbe dunkelhaarige Frau zu erstellen, jedoch in Standbildform. Mein ursprünglicher Beitrag wurde nicht geändert, obwohl ich die Kameraanweisungen nicht hinzugefügt habe. Da wurde mir klar, dass die Text-zu-Bild-KI auch Probleme mit Fenstern und Wetterbedingungen hat:
Mit einigen zusätzlichen Parametern gelang es mir, ein besseres Ergebnis zu erzielen, aber aus einem unbekannten Grund wurde mein Charakter zu einer Anime-Figur. Egal, bleiben wir beim ersten Versuch, denn der Rest des Bildes war für einen Test recht gut:
Was denken Sie? Obwohl überall Schnee fällt, bleibt die Frau dieses Mal bis auf ein paar Bewegungen ihrer Haare still. Ein größeres Problem besteht darin, dass der Videogenerator die Kamerabewegung nicht richtig gemacht hat. Ich habe es mehrmals versucht, aber aus irgendeinem Grund bekomme ich immer einen Zoom anstelle eines einfachen Zooms. Soviel zur Präzision.
Aktuelle Einschränkungen der Dream Machine von Luma AI
Wie die Entwickler selbst betonen, befindet sich das Modell noch in der Forschungs- und Betaphase und weist daher einige Einschränkungen auf. Zum Beispiel:
- Dieser KI-Videogenerator kann (wie die anderen bereits auf dem Markt erhältlichen) Schwierigkeiten mit der Bewegung von Menschen oder Tieren haben. Versuchen Sie, einen laufenden Hund zu erzeugen, und Sie werden feststellen, dass er seine Pfoten überhaupt nicht bewegt.
- In der aktuellen Version kann die Dream Machine von Luma AI keinen zusammenhängenden und/oder aussagekräftigen Text einfügen oder erstellen.
- Transformation ist ebenfalls ein Problem und kann regelmäßig auftreten. Das bedeutet, dass Ihre Objekte bei komplizierten Bewegungen oder Aktionen ihre Form verändern können.
- Mangelnde aktuelle Flexibilität. Sie können keine Clips generieren, die länger als 5 Sekunden vom Anfang entfernt sind, keine negativen Nachrichten hinzufügen oder das Seitenverhältnis ändern. Zur Zeit. Die Entwickler geben im FAQ-Bereich an, dass sie an zusätzlichen Steuerelementen für kommende Versionen von Dream Machine arbeiten und offen für Feedback auf ihrem Discord-Kanal sind.
Die Dream Machine von Luma AI steht zum Testen zur Verfügung
Alles in allem scheint die Dream Machine von Luma AI fortschrittlicher zu sein als andere AI-Videogeneratoren, die ich bisher ausprobiert habe. Die Konsistenz der Ergebnisse ist größer, die Gesichter der Menschen sehen realistischer aus und auch die Bewegung ist nicht so schlecht. Allerdings ist es noch weit von dem entfernt, was Sora von OpenAI verspricht und zeigt. Aber bis wir es schaffen, werden Versprechen nur Versprechen bleiben.
Sie können Dream Machine hier ausprobieren. Derzeit erhalten Benutzer 5 kostenlose Generationen pro Tag. Es gibt auch kostenpflichtige Pläne, die Ihnen Downloads ohne Wasserzeichen, kommerzielle Rechte und 30 kostenlose + 120 kostenpflichtige Generationen ermöglichen.
Was sind Ihre ersten Eindrücke von der Dream Machine von Luma AI? Hast du es schon probiert? Wir sind uns bewusst, dass es in unserer Branche viele Debatten über KI-Videogeneratoren gibt. Was ist deine Meinung? Teilen Sie es uns unten in den Kommentaren mit und gehen Sie bitte freundlich und respektvoll miteinander um.
Empfohlene Bildquelle: Luma KI
