ControlNet in ComfyUI: Pose, Tiefe und Konturen

ControlNet einfach erklärt

Stell dir vor, du bestellst ein Porträt am Telefon. Du sagst dem Künstler: „Mal mir eine Frau im roten Mantel vor einer Stadtkulisse.“ Der Künstler ist gut drauf, aber malt eben auf seine Art. Die Pose stimmt nicht. Die Hand ist woanders. Der Kopf ist irgendwie zur Seite gedreht. Und du kannst nichts tun - eine Pose lässt sich nun mal nicht mit Worten erklären. Die Worte reichen einfach nicht.

Und jetzt schickst du zusätzlich zu den Worten ein Schema: hier steht eine Person, so sind die Arme erhoben, hier verläuft der Horizont. Genau das ist ControlNet. Der Text beantwortet die Frage „was soll gemalt werden“. ControlNet beantwortet die Frage „wo soll das hin und in welcher Pose“.

Wozu Vibecoder ControlNet brauchen

Du baust deine Generierung aus Nodes zusammen. Und früher oder später läufst du gegen eine Wand. Das Bild ist schön, aber die Pose stimmt nicht. Oder die Figur steht am falschen Ort. Oder du willst deine Skizze in eine saubere Illustration verwandeln. Mit einem Prompt kriegst du das nicht hin - egal wie oft du „Arme nach oben“ schreibst, das Modell entscheidet trotzdem für dich.

Das gibt dir ControlNet, was der Prompt nicht kann:

• eine Pose von einer Referenz übernehmen - deinem eigenen Foto, einem Screenshot, einem fremden Bild;
• Komposition und Volumen einer Szene behalten und nur den Stil ändern;
• eine krakelige Skizze in eine saubere Illustration verwandeln;
• eine Bildserie in ein und derselben Anordnung erstellen.

Ohne ControlNet überredest du das Modell mit Worten. Mit ControlNet zeigst du es ihm. Das ist der Unterschied zwischen „versuch mal zu raten“ und „mach es genau so“.

Wie ControlNet funktioniert: Präprozessor und Apply ControlNet

Unter der Haube läuft alles in zwei Schritten. Zuerst muss die Referenz in die Sprache der Schemata übersetzt werden. Dann wird dieses Schema in die Generierung eingemischt. Schauen wir uns beides an.

Der Präprozessor: Übersetzer von Foto zu Schema

Der Präprozessor Der Präprozessor (preprocessor) ist eine Node, die ein gewöhnliches Bild nimmt und nur die gewünschte Ebene herauszieht: das Pose-Skelett, eine Tiefenkarte oder Konturen. Alles andere wirft sie weg. ist im Grunde ein Filter. Gibst du ihm das Foto eines Menschen, gibt er dir nicht das Foto zurück, sondern ein Strichmännchen-Skelett (Modus pose). Oder eine schwarz-weiße Tiefenkarte, auf der Nahes hell und Fernes dunkel ist (depth). Oder nur Konturen, wie in einem Malbuch (canny). Alles Überflüssige schneidet er ab. Übrig bleibt ein sauberes Schema und sonst nichts.

Apply ControlNet: wo das Schema auf den Prompt trifft

Die Node Apply ControlNet ist genau die Stelle, an der das Schema mit deinem Text zusammengeführt wird. Du gibst ihr drei Dinge: das geladene ControlNet-Modell (eine eigene Datei für den jeweiligen Typ), die Schema-Skizze vom Präprozessor und dein Conditioning (eben den Prompt nach dem Encoder). Heraus kommt derselbe Prompt, aber jetzt „an das Schema gebunden“.

Die vier ControlNet-Modi: pose, depth, canny, scribble

Es gibt viele Modi, aber für den Anfang reichen vier. Denk an sie als vier Arten, eine Referenz „nachzuziehen“ - jede für ihre eigene Aufgabe.

Pose (OpenPose): wir übernehmen die Pose eines Menschen

Der Präprozessor - oft OpenPose genannt - findet auf dem Foto einen Menschen und zeichnet sein Skelett aus Punkten und Strichen: Schultern, Ellbogen, Knie. Danach setzt das Modell deine Figur genau in diese Pose. Haarfarbe, Kleidung, Hintergrund legst du per Prompt fest - das Skelett hält nur die Pose, mehr nicht. Es gibt erweiterte Versionen: die erfassen zusätzlich Finger und Mimik.

Depth: wir behalten Volumen und Bildebenen der Szene

Die Tiefenkarte Eine Tiefenkarte (depth map) ist ein schwarz-weißes Bild, auf dem die Helligkeit die Entfernung zeigt: was näher an der Kamera ist, ist heller, was weiter weg ist, ist dunkler. verrät dem Modell, wo in der Szene der Vordergrund ist und wo der Hintergrund. Praktisch, wenn du Anordnung und Volumen eines Raums oder einer Landschaft behalten, aber den Stil komplett umkrempeln willst. Die Geometrie bleibt, die Füllung ist neu.

Canny: wir halten scharfe Konturen

Canny lässt vom Bild nur die scharfen Linien-Konturen übrig - wie in einem Malbuch. Das ist der strengste Modus: das Modell ahmt die Umrisse der Objekte fast eins zu eins nach. Genau das Richtige, wenn du in einem anderen Stil umfärben oder neu zeichnen willst, aber die Form nicht antasten darfst.

Scribble: wir hauchen einer Freihand-Skizze Leben ein

Scribble versteht grobes Gekritzel. Du malst einen Kreis als Kopf, Striche als Arme, ein Häuschen im Hintergrund - und das Modell baut daraus ein ordentliches Bild. Der freieste Modus: du gibst die grobe Idee vor, den Rest übernimmt das Modell.

Wann du ControlNet brauchst und wann es nur stört

Beispiel: eine Pose Schritt für Schritt über ControlNet vorgeben

Du brauchst eine Figur in einer epischen Pose: ein Arm nach vorn gestreckt, als würde sie einen Zauber wirken. Du schreibst den Prompt zum zwanzigsten Mal - und das Modell malt die Arme stur an den Körper. Kennst du das? Genau hier rettet dich ControlNet.

So baust du das zusammen, Schritt für Schritt:

Finde oder mach eine Foto-Referenz mit der gewünschten Pose - ein eigenes Selfie in dieser Pose tut es auch.
Installiere über den ComfyUI Manager das Paket der ControlNet-Präprozessoren, falls es noch fehlt.
Lade ein ControlNet-Modell vom Typ pose herunter und leg es in den Modellordner für ControlNet.
Lade die Referenz mit einer Bild-Lade-Node.
Jage sie durch den Pose-Präprozessor - heraus kommt ein Skelett aus Punkten.
Füge die Node Apply ControlNet hinzu und gib ihr drei Eingänge: das ControlNet-Modell, das Skelett und deinen Prompt.
Weiter wie gewohnt: Sampler, Decode, Speichern.
Hält die Pose zu streng oder im Gegenteil kaum? Dreh am Stärke-Parameter.

Häufige Anfängerfehler bei ControlNet

• Den Präprozessor ins falsche Modell gefüttert. Konturen in ein depth-Modell - und heraus kommt Matsch. Typ zu Typ, immer.
• Den Präprozessor selbst vergessen. Du gibst Apply ControlNet ein rohes Foto statt eines Schemas - das Modell versteht nicht, was man von ihm will.
• Das Präprozessor-Paket nicht installiert. Die Nodes tauchen in der Suche einfach nicht auf. Das ist kein Bug - das ist „nicht installiert“.
• Die Stärke ständig aufs Maximum gedreht. Ein zu strenges Schema erstickt das Modell und versaut das Bild. Versuch es mal lockerer.
• Du erwartest Wunder von einem verschwommenen Skelett. Ist die Pose auf der Referenz unleserlich, liefert der Präprozessor ein krummes Skelett - und die Pose wird krumm.
• Du denkst, ControlNet malt für dich. Es hält die Geometrie. Inhalt und Stil sind nach wie vor Sache des Prompts.