Vor ein paar Tagen wurde ControlNet veröffentlicht. Eine neurale Netzwerkstruktur, die latent diffusion Modellen extra Konditionen hinzufügt. Den Techtalk bei Seite geschoben: Stable Diffusion kann jetzt um einiges mehr.
Durch das Hinzufügen der verschiedenen Konditionen können jetzt per img2img Verständnis für menschliche Posen, Formen, Skizzen und sogar einzelne Flächen implementiert werden, wodurch sich ganz neue Möglichkeiten eröffnen.
Stable Diffusion ist ein ganzes Stück schlauer geworden.
Bildinhalte austauschen?
Easy mit Canny Edge.
Pix2Pix war gestern – durch die Edge Maps wird der Original Bildaufbau beibehalten und durch den Prompt ersetzt.
Interiordesign eines Raumes anpassen?
Ein Klick mit Line Maps.
Besonders für Architekten und Inneneinrichter höchst spannend.
Stilisierung von Bildern?
Noch viel besser als vorher.
Die HED Maps erlauben es möglichst viele markante Details aus dem Ursprungsbild in neue Ergebnisse mit anderen Stilen zu übertragen.
Bilder aus Skizzen erstellen?
Unglaubliche Ergebnisse.
Das ging schon früher mit img2img – aber nun auch auf einem ganz neuen Level.
Skizzen aus Bildern erstellen, aus denen dann wiederum neue Bilder entstehen?
Faulheit siegt!
Der Usecase aus der Github-Page spricht für sich.
Bilder aus Skizzen erstellen?
Unglaubliche Ergebnisse.
Das ging schon früher mit img2img – aber nun auch auf einem ganz neuen Level.
Menschliche Posen aus einem Bild auf neue übertragen? ENDLICH! Das openpose Model machts möglich.
Nächster Step: Hände 🥳
Natürlich habe ich das Ganze für euch direkt getestet.
