Inhaltsverzeichnis
Die Generierung konsistenter Charaktere war bisher ein komplexes Thema, das sich nur über Stable Diffusion mit dem Training von LoRas, Checkpoints oder der Nutzung von IP Adapter abbilden ließ. Nerdig und schwer zugänglich. Aber jetzt stößt Midjourney zur Party dazu und hat seine eigene Form der Referenzierung über IP Adapter mitgebracht. In diesem Beitrag teste ich das Feature aus einer ganz eigenen Brille: Von jemandem, der damit beauftragt wird, solche künstlichen Avatare zu erschaffen. Challenge accepted!
Wie funktioniert das neue "cref" Feature von Midjourney?
Das Charakter-Referenz-Feature, kurz „cref“, ermöglicht es Nutzer:innen, eigene oder fremde Bilder als Referenz für die Erstellung neuer, einzigartiger Charaktere zu verwenden. Diese Technologie bietet unglaubliche Möglichkeiten, insbesondere in der Welt der virtuellen Avatare und digitalen Kunst.
Um das Feature zu nutzen, fügt ihr den Parameter –cref an euren Prompt an und gebt dahinter eine Bild-URL als Referenz an. Wie das geht zeige ich im folgenden Video:
Hier ein kurzes Tutorial-Video zur Nutzung von cref in Midjourney:
Gewichtung von --cref über --cw nutzen:
Um die Gewichtung der Referenz zu steuern, könnt ihr zusätzlich den Wert „cref weight“ (–cw) nutzen:
- –cw 100 (Standardwert): Hierbei wird alles als Referenz genutzt: Gesicht, Haare, Kleidung
- –cw 50 (Mittelwert): Hier werden Teile aus der Referenz genutzt: z.B. Gesicht und Haare
- –cw 0 (Minimalwert): Hier wird nur das Gesicht als Referenz genutzt und der Rest variiert.
Natürlich könnt ihr auch auch alle Werte dazwischen nutzen.
Beispiel-Prompt:
/imagine Photo Type: portrait, 50mm photograph, Canon EOS R3, 4k, highly detailed, Subject Focus: 30 year old woman from Berlin, business clothing, shoulder length wavy pink hair, round glasses, brown eyes, happy, Color Tone: natural, Setting: office space background, Atmosphere: professional, Texture: film grain:2, Mood: happy, Composition: bokeh, Lighting: natural lighting –ar 4:5 –style raw –v 6.0 –cref https://bildurl.com/beispiel.png –cw 100
Was taugt das neue cref Feature von Midjourney?
Um das neue Feature für mich, KundInnen und KursteilnehmerInnen zu testen, habe ich das System auf zwei Arten getestet und schließlich noch gegen Stable Diffusion antreten lassen.
Fremde Referenzen
Zunächst habe ich mit einem Bild experimentiert, das ich mit Stable Diffusion generiert habe. Durch Anpassen des „cref weight“ (–cw) konnte ich steuern, wie stark das Originalbild als Referenz herangezogen wird. Die Ergebnisse variierten je nach Einstellung erheblich, allerdings war die Ähnlichkeit zum Original nicht so konsistent, wie ich es mir gewünscht hatte.
Eigene Referenzen
Anschließend habe ich ein Bild verwendet, das von Midjourney selbst generiert wurde. Hier sind die Ergebnisse deutlich konsistenter, obwohl immer noch einige Abweichungen, beispielsweise bei Augenbrauen oder Gesichtsform, zu beobachten sind.
Stable Diffusion mit IP Adapter
Jetzt simulieren wir die Technik hier Midjourney cref mit Stable Diffusion und nutzen ControlNet mit dem IP Adapter Plus Face SDXL. Das Ergebnis zeigt eine ähnliche Wirkung und ist ohne tiefere Einstellung der Parameter mit –cw 0. Es werden Details übernommen, aber nicht genug um eine 100%ig Ähnlichkeit zum Original zu gewährleisten.
Fazit
Das neue „cref“-Feature von Midjourney ist eine gute Ergänzung für alle, die im Bereich der digitalen Charaktererstellung tätig sind. Besonders beeindruckend ist die Leistungsfähigkeit des Features, wenn es mit von Midjourney generierten Bildern als Referenz arbeitet. Für Anwendungen, bei denen eine oberflächliche Wiedererkennbarkeit ausreicht, bietet es eine überzeugende Lösung. Dennoch gibt es Raum für Verbesserungen, insbesondere wenn es um die feine Abstimmung und die Konsistenz der generierten Bilder geht.
Wer stark Ähnlichkeit und mehr Flexibilität benötigt, kommt derzeit um ein Finetuning/Training für Stable Diffusion nicht herum. Hier kann man je nach Anforderung über das Training eines LoRas oder eines finegetunten Checkpoints nachdenken. Auf Grund der Flexibilität rate ich zum Checkpoint, da diese erfahrungsgemäß deutlich flexibler sind als LoRas.
Du willst generative KI für Marketing und Kreation lernen?
In unserem KI Marketing Bootcamp nehmen wir dich an die Hand und erklären dir die Basics und das Hintergrundwissen dazu. Wir schulen Einzelpersonen oder auch ganze Abteilungen in unseren individuellen Unternehmens Bootcamps. Sprich uns einfach an und wir finden die passende Form für Dich.
