Automatisches Musikvideo mit Higgsfield und Claude Code

Schritt 1Bereite das Sängerbild, die Lyrics und den Song vor

Für dieses Musikvideo habe ich drei Ausgangsmaterialien verwendet:

• Ein Referenzbild der Sängerin: Darauf sollten Gesicht, Frisur und Kleidung gut erkennbar sein. Das Bild dient als Vorlage, damit die Figur über die einzelnen Szenen hinweg möglichst gleich aussieht.

• Die vollständigen Lyrics: Verwende den Text, der tatsächlich im fertigen Song gesungen wird. Kennzeichne nach Möglichkeit Strophen, Refrains und Zwischenrufe.

• Den fertig produzierten Song: Für die Ideenentwicklung bekam ChatGPT bei mir eine MP3-Datei. Für die anschließende Produktion erhielt Claude Code den Song als WAV-Datei.

Lege alle Dateien in einem gemeinsamen Projektordner ab. Verwende eindeutige Dateinamen, beispielsweise „Saengerin.png“, „Lyrics.txt“, „Song.mp3“ und „Song.wav“. MP3 und WAV sollten dieselbe Songfassung enthalten, damit Planung und späterer Schnitt zusammenpassen.

Schritt 2Lass dir von ChatGPT fünf Videoideen vorschlagen

Öffne einen neuen Chat in ChatGPT. Lade das Referenzbild deiner Sängerin oder deines Sängers, die vollständigen Lyrics und den Song als MP3 hoch.

Füge anschließend den folgenden Auftrag in den Chat ein. Du erhältst zunächst fünf unterschiedliche Konzepte und entscheidest danach, welche Idee weiter ausgearbeitet werden soll.

Ich möchte zu diesem Song ein zusammenhängendes Musikvideo erstellen. Du bekommst ein Referenzbild der Hauptfigur, die vollständigen Lyrics und die MP3-Datei.

Entwickle zunächst fünf unterschiedliche Videoideen, die zur Geschichte, Stimmung und musikalischen Entwicklung des Songs passen. Beschreibe für jede Idee:

• Die Grundidee und den erzählerischen Ablauf.
• Die Umgebung und den visuellen Stil.
• Einige konkrete Szenen passend zu den Lyrics.
• Wie die Hauptfigur eingebunden wird.
• Welche Schwierigkeiten bei einer späteren KI-Generierung entstehen könnten.

Die Hauptfigur soll anhand des Referenzbildes wiedererkennbar bleiben. Bevorzuge Szenen, die sich mit KI-Bild- und Videowerkzeugen sinnvoll umsetzen lassen.

Falls du die Audiodatei nicht auswerten kannst, sage das ausdrücklich. Erfinde keine Zeitmarken oder musikalischen Details.

Erstelle noch keinen endgültigen Schnittplan. Warte zunächst, bis ich eine der fünf Ideen ausgewählt habe.

Schritt 3Wähle deine Videoidee und lass das Konzept ausarbeiten

Lies dir die fünf Vorschläge durch und entscheide dich für eine Idee. Du kannst auch einzelne Elemente verschiedener Vorschläge kombinieren oder Änderungen wünschen.

Teile ChatGPT deine Auswahl mit und verwende den folgenden Auftrag. Ersetze dabei die Angaben in eckigen Klammern.

Das ausgearbeitete Konzept speicherst du anschließend als Textdatei. Im nächsten Schritt übergibst du es zusammen mit dem Referenzbild, den Lyrics und der WAV-Datei an Claude Code.

Ich entscheide mich für Vorschlag [NUMMER].

Diese Änderungen wünsche ich mir:
[ÄNDERUNGEN EINTRAGEN ODER „KEINE“]

Arbeite diese Idee zu einem zusammenhängenden Konzept für mein Musikvideo aus. Das Konzept soll anschließend von Claude Code mit einer Higgsfield-MCP-Verbindung umgesetzt werden.

Beschreibe:
• Die Geschichte vom Anfang bis zum Ende.
• Die passenden Szenen zu Strophen, Refrains und Zwischenrufen.
• Schauplätze, Lichtstimmung und Bildstil.
• Aussehen, Kleidung und wiederkehrende Merkmale der Hauptfigur anhand meines Referenzbildes.
• Handlungen und Bewegungen innerhalb der Szenen.
• Übergänge und wiederkehrende Motive, die das Video zusammenhalten.

Plane die Szenen so, dass sie mit KI-Bild- und Videogenerierung umsetzbar sind. Vermeide unnötig komplizierte Bewegungen und überladene Szenen.

Lege keine feste Anzahl an Clips fest. Claude Code soll später anhand der WAV-Datei und der Lyrics die genauen Schnittpunkte, benötigten Clip-Längen und die Anzahl der Clips bestimmen. Kennzeichne mögliche Zeitangaben von dir als vorläufig, sofern sie nicht anhand der Audiodatei überprüft wurden.

Gib mir das vollständige Konzept als zusammenhängende, klar gegliederte Übergabe für Claude Code aus.

Schritt 4Übergib das Projekt an Claude Code

Öffne dein Projekt in Claude Code und stelle diese Dateien bereit:

• Das ausgearbeitete Videokonzept aus ChatGPT.
• Das Referenzbild der Hauptfigur.
• Die vollständigen Lyrics.
• Den fertigen Song als WAV-Datei.

Für die spätere Generierung muss eine funktionierende MCP-Verbindung zu Higgsfield eingerichtet sein. In meinem Projekt war diese Verbindung bereits vorhanden.

Mit dem folgenden Auftrag lässt du zunächst die Dateien, die Verbindung und den Produktionsplan prüfen. Kostenpflichtige Generierungen beginnen erst nach deiner Freigabe.

Erstelle mit mir ein Musikvideo auf Grundlage der bereitgestellten Dateien: Videokonzept, Referenzbild, Lyrics und WAV-Datei.

Prüfe zunächst:
• Sind alle Dateien vorhanden und lesbar?
• Kannst du die WAV-Datei mit den verfügbaren Werkzeugen auswerten?
• Ist die Higgsfield-MCP-Verbindung erreichbar?
• Welche Bild- und Videomodelle stehen darüber tatsächlich zur Verfügung?

Melde fehlende Voraussetzungen ausdrücklich. Erfinde keine verfügbaren Funktionen, Analyseergebnisse oder Preise.

Erstelle anschließend einen Produktionsplan:
• Ordne die Lyrics zeitlich der tatsächlichen Aufnahme zu. Kennzeichne unsichere Zuordnungen.
• Plane Szenen und Schnittpunkte passend zu Gesang, Musik und Handlung.
• Bestimme die benötigte Anzahl und Länge der Clips. Verwende keine starre Clip-Anzahl.
• Berücksichtige die möglichen Generierungslängen der verfügbaren Modelle und den späteren Schnitt.
• Plane zuerst die Szenenbilder und anschließend deren Animation.
• Halte das Aussehen der Hauptfigur anhand des Referenzbildes möglichst einheitlich.

Frage nach dem gewünschten Bildformat, falls es aus dem Konzept nicht eindeutig hervorgeht.

Zeige mir vor der Produktion eine sparsame und eine aufwendigere Variante mit nachvollziehbarer Credit-Schätzung. Berücksichtige dabei mögliche Wiederholungen fehlerhafter Generierungen und kennzeichne unbekannte Kosten.

Starte noch keine kostenpflichtigen Generierungen. Warte auf meine Auswahl und die Freigabe einer verbindlichen Credit-Obergrenze.

Schritt 5Lege Budget, Qualitätsprüfung und Wiederholungen fest

Prüfe die vorgeschlagenen Produktionsvarianten und entscheide dich für eine davon. Lege anschließend fest, wie viele Credits insgesamt verbraucht werden dürfen.

Bei meinem Musikvideo betrug die freigegebene Obergrenze 2.500 Higgsfield-Credits. Tatsächlich wurden am Ende 1.500 Credits verbraucht. Das ist ein Erfahrungswert für dieses Projekt, kein Festpreis für andere Musikvideos.

Claude Code durfte die erzeugten Bilder und Videoclips prüfen und bei erkannten Fehlern jeweils eine zweite Version erstellen. Weitere Versuche waren nicht pauschal freigegeben. Auch diese Wiederholungen mussten innerhalb des Gesamtbudgets bleiben.

Passe im folgenden Auftrag die Variante und das Credit-Limit an dein eigenes Projekt an.

Ich entscheide mich für die Produktionsvariante [VARIANTE EINTRAGEN].

Für dieses Projekt erlaube ich insgesamt maximal [CREDIT-LIMIT EINTRAGEN] Higgsfield-Credits. Dieses Limit umfasst sämtliche Bild- und Videogenerierungen einschließlich Wiederholungen.

Gehe so vor:

1. Erstelle zunächst die geplanten Szenenbilder anhand des Konzepts und des Referenzbildes.

2. Prüfe jedes Bild mit den verfügbaren Bildanalyse-Werkzeugen auf erkennbare Fehler: falsche oder zusätzliche Gliedmaßen, veränderte Gesichter, abweichende Kleidung, unpassende Gegenstände und Abweichungen vom Szenenplan.

3. Bei einem erkannten Fehler darfst du für das betreffende Bild genau eine zweite Version erzeugen. Passe dafür die Anweisung gezielt an. Verwende die besser geeignete Version.

4. Erzeuge anschließend aus den geeigneten Bildern die geplanten Videoclips. Prüfe mit den verfügbaren Werkzeugen insbesondere Bewegung, Figurenkonsistenz und sichtbare Verformungen. Auch pro fehlerhaftem Videoclip ist höchstens eine zweite Version erlaubt.

5. Wenn du ein Bild oder einen Clip nicht zuverlässig prüfen kannst, kennzeichne ihn als manuell zu prüfen. Behaupte keine Prüfung, die du nicht durchführen konntest.

6. Dokumentiere den tatsächlichen Credit-Verbrauch und berücksichtige bereits gestartete, noch nicht abgerechnete Aufträge. Starte einen Auftrag nur, wenn seine Kosten innerhalb des verbleibenden Budgets liegen. Bei unbekannten Kosten oder drohender Überschreitung halte an und frage nach.

7. Wenn auch die zweite Version unbrauchbar ist, dokumentiere das Problem und frage nach dem weiteren Vorgehen. Starte keine zusätzlichen kostenpflichtigen Versuche ohne Freigabe.

Speichere die erzeugten Dateien und den Produktionsstand nachvollziehbar, damit die Arbeit nach einer Unterbrechung fortgesetzt werden kann.

Du darfst jetzt innerhalb dieser Vorgaben mit der Produktion beginnen. Veröffentliche oder lade das fertige Video nicht auf Social-Media-Plattformen hoch.

Schritt 6Lass die Clips zum fertigen Musikvideo zusammensetzen

Nach der Generierung werden die ausgewählten Videoclips passend zum Song zusammengeschnitten. Die WAV-Datei bildet dabei die durchgehende Tonspur. Claude Code soll die Szenen anhand des Produktionsplans anordnen und die Übergänge auf Musik und Gesang abstimmen.

Bei meinem Projekt lief die Produktion überwiegend über Nacht. Während des Workflows musste ich zwei Bestätigungen durchführen. Je nach Einrichtung und Berechtigungen können bei dir andere Rückfragen entstehen.

Mit folgendem Auftrag lässt du das Video fertigstellen:

Setze die ausgewählten Videoclips jetzt zu einem vollständigen Musikvideo zusammen. Nutze dafür die verfügbaren lokalen Schnitt- und Exportwerkzeuge. Falls ein benötigtes Werkzeug fehlt, melde das ausdrücklich.

Verwende die bereitgestellte WAV-Datei als durchgehende Originaltonspur. Verändere weder Tempo noch Tonhöhe und schneide den Song nicht ab. Entferne beziehungsweise deaktiviere eventuell vorhandenen Ton aus den generierten Videoclips.

Ordne die Szenen entsprechend dem Konzept und der überprüften Zuordnung der Lyrics an. Stimme die Schnitte auf musikalische Übergänge, Gesangseinsätze und die Handlung ab. Passe die verwendeten Ausschnitte der Clips an die benötigten Szenenlängen an.

Achte auf einen durchgehenden Bildfluss ohne unbeabsichtigte schwarze Bilder, Lücken oder eingefrorene Restbilder. Falls Material fehlt oder ein Clip unbrauchbar ist, dokumentiere die betroffene Stelle. Starte keine zusätzlichen kostenpflichtigen Generierungen außerhalb der bereits erteilten Freigabe.

Exportiere zunächst eine Version ohne Untertitel als MP4 im vereinbarten Bildformat. Prüfe anschließend mit den verfügbaren Werkzeugen, ob die Datei abspielbar ist, die vollständige Tonspur enthält und Bild und Ton bis zum Ende zusammenpassen.

Bewahre die Einzelclips und die Schnittinformationen auf, damit spätere Korrekturen möglich bleiben. Gib mir die fertige Datei und eine kurze Liste aller Stellen, die ich selbst noch kontrollieren sollte. Veröffentliche das Video nicht automatisch.

Schritt 7Prüfe das fertige Video und ergänze auf Wunsch Untertitel

Schau dir das fertige Musikvideo einmal vollständig mit Ton an. Achte besonders auf Gesichter, Hände, Arme, Beine und Gegenstände. Prüfe außerdem, ob die Szenen zum Gesang passen und der Song bis zum Ende vollständig zu hören ist.

Die automatische Prüfung erkennt nicht jeden Fehler. In meinem Video fiel mir beispielsweise eine dritte Hand bei einer Nebenfigur auf. Notiere solche Stellen mit Zeitangabe und entscheide, ob du sie akzeptierst oder korrigieren lassen möchtest. Zusätzliche Generierungen können weitere Credits kosten.

Nach der ersten fertigen Fassung ließ ich zusätzlich eine Version mit Untertiteln erstellen. Dafür kannst du folgenden Auftrag verwenden:

Erstelle aus dem fertigen Musikvideo eine zusätzliche Version mit eingeblendeten Untertiteln. Bewahre die Version ohne Untertitel unverändert auf.

Nutze die bereitgestellten Lyrics als Textgrundlage und gleiche sie mit dem tatsächlich hörbaren Gesang ab. Übernimm keine Abschnittsbezeichnungen oder Regieanweisungen als Untertitel. Berücksichtige gesungene Zwischenrufe und Wiederholungen.

Synchronisiere die Untertitel mit der WAV-Datei. Erfinde keine Wörter oder Zeitmarken. Kennzeichne unklare Stellen zur manuellen Prüfung.

Verwende gut lesbare, kontrastreiche Schrift und höchstens zwei Zeilen gleichzeitig. Halte ausreichend Abstand zu den Bildrändern und verdecke möglichst keine Gesichter oder wichtigen Bilddetails.

Verändere weder den Schnitt noch die Originaltonspur. Exportiere die Untertitelversion als separate MP4-Datei und speichere die Untertitel zusätzlich als SRT-Datei, damit sie später bearbeitet oder separat hochgeladen werden können.

Prüfe die fertigen Dateien mit den verfügbaren Werkzeugen. Nenne mir anschließend alle Stellen, bei denen Text oder zeitliche Zuordnung noch unsicher sind. Für diese Untertitelversion sind keine neuen kostenpflichtigen Bild- oder Videogenerierungen freigegeben.