Virtuelles Anprobieren - Amazon Nova
Das Maskenbild definierenGenerieren neuer Posen, Hände oder GesichterStilmerkmaleBilder zusammenfügen

Virtuelles Anprobieren

Virtuelle Anprobe ist ein bildgesteuerter Anwendungsfall der Inpainting-Technik, bei dem die Inhalte eines Referenzbildes auf der Grundlage einer Maskenvorlage in ein Quellbild eingeblendet werden. Amazon Nova Canvas wurde für Kleidungsstücke, Accessoires, Möbel und ähnliche Objekte optimiert. Das Modell lässt sich auch auf andere Anwendungsfälle gut übertragen, beispielsweise auf das Hinzufügen eines Logos oder Textes zu einem Bild.

Mit der API „Virtuelle Anprobe“ können Sie bis zu fünf Bilder generieren. Standardmäßig wird nur ein Bild generiert.

Um eine virtuelle Anprobe durchzuführen, müssen Sie drei Bilder bereitstellen:

  • Quellbild – Das Originalbild, das Sie bearbeiten möchten. Dies könnte beispielsweise ein Bild, eine Person oder ein Raum sein.

  • Referenzbild – Das Bild, das den Gegenstand, das Objekt oder den Artikel enthält, den Sie in das Quellbild einfügen möchten. Dies kann beispielsweise eine Jacke, eine Schüssel oder ein Sofa enthalten. Bei Kleidungsstücken kann das Referenzbild Kleidungsstücke mit oder ohne Körper enthalten und mehrere Produkte umfassen, die verschiedene Outfit-Komponenten darstellen (z. B. Hemden, Hosen und Schuhe in einem einzigen Bild).

  • Maskenbild – Das Bild, das definiert, welchen Teil der Quelle Sie ändern möchten. Ein Maskenbild ist ein Schwarz-Weiß-Bild, das verwendet wird, um zu definieren, welcher Teil des Quellbildes geändert werden soll. Schwarze Pixel kennzeichnen den Bereich des Quellbildes, der geändert werden soll, während weiße Pixel die Bereiche des Bildes anzeigen, die unverändert bleiben sollen. Sie können entweder Ihr eigenes Maskenbild bereitstellen oder das Modell anhand anderer von Ihnen angegebener Eingabeparameter eines erstellen lassen.

    Die Maskenbilder können bei Bedarf als Teil der Ausgabe zurückgegeben werden.

Hier finden Sie einige Beispiele zur Funktionsweise des Modells.

Upper body clothing

Die folgenden Bilder veranschaulichen, wie Amazon Nova ein Oberbekleidungsstück auf ein Model überlagert.

Quellbild

Referenzbild

Output
Ein Mann mit Sonnenbrille, der nach links blickt und ein blaues Hemd trägt.
Ein rosarotes Hemd mit Knöpfen.
Ein Mann mit Sonnenbrille, der nach links blickt und ein rosarotes Hemd mit Knöpfen trägt.
Couch in a room

Die folgenden Bilder veranschaulichen, wie Amazon Nova ein Sofa in einen Raum mit Möbeln einfügt.

Quellbild

Referenzbild

Output
Ein modernes graues Sofa aus der Mitte des Jahrhunderts in einem Raum, umgeben von weiteren Dekorationselementen.
Eine orangefarbene Couch vor weißem Hintergrund.
Eine orangefarbene Couch in einem Raum, umgeben von anderen Dekorationen.

Im Gegensatz zu anderen Amazon-Nova-Canvas-Aufgabentypen unterstützt die virtuelle Anprobe keine Text-Prompts oder negative Text-Prompts.

Das Maskenbild definieren

Sie können entweder direkt ein Maskenbild bereitstellen, indem Sie maskType: "IMAGE" angeben, oder das Modell es automatisch anhand von Hilfseingaben wie maskType: "GARMENT" oder maskType: "PROMPT" berechnen lassen.

Wenn ein Maskentyp von "GARMENT" angegeben wird, erstellt Amazon Nova Canvas eine kleidungsbewusste Maske auf der Grundlage eines von Ihnen angegebenen garmentClass-Eingabeparameterwerts. In den meisten Fällen ist eine der folgenden übergeordneten Bekleidungsklassen möglich:

  • "UPPER_BODY" – Erzeugt eine Maske mit voller Armlänge.

  • "LOWER_BODY" – Erzeugt eine Maske mit voller Beinlänge ohne Abstand zwischen den Beinen.

  • "FOOTWEAR" – Erzeugt eine Maske, die dem im Quellbild gezeigten Schuhprofil entspricht.

  • "FULL_BODY" – Erzeugt eine Maske, die der Kombination von "UPPER_BODY" und "LOWER_BODY" entspricht.

Sie können den "PROMPT"-Maskentyp verwenden, um mit natürlicher Sprache das Element im Quellbild zu beschreiben, das Sie ersetzen möchten. Dies ist nützlich für Szenarien, die nicht mit Bekleidung in Zusammenhang stehen. Dieses Feature nutzt dieselbe automatische Maskenfunktion, die im "INPAINTING"-Aufgabentyp über den Parameter maskPrompt vorhanden ist.

Warnung

Mit dem Maskentyp "PROMPT" erstellte Masken passen sich genau an die Form des von Ihnen beschriebenen Objekts an. Dies kann in vielen Fällen zu Problemen führen, da das hinzugefügte Produkt möglicherweise nicht die gleiche Form oder Größe wie das zu ersetzende Produkt aufweist. Aus diesem Grund bietet die API für das viertuelle Anprobieren auch einen optionalen maskShape-Parameter, der auf "BOUNDING_BOX" gesetzt werden kann. Wir empfehlen, diese Einstellung (die Standardeinstellung) in den meisten Fällen zu verwenden, wenn Sie den Maskentyp "PROMPT" nutzen.

Generieren neuer Posen, Hände oder Gesichter

Sie können das Modell anweisen, die Pose, die Hände oder das Gesicht der Person im Quellbild beizubehalten oder neu zu generieren. Wenn Sie sich dafür entscheiden, diese Elemente beizubehalten, werden sie automatisch aus dem Maskenbild entfernt, unabhängig davon, welchen maskType Sie ausgewählt haben.

In den folgenden Situationen möchten Sie möglicherweise Pose, Hände oder Gesicht beibehalten:

  • Sie entwickeln eine Anwendung, mit der Endbenutzer ihre eigenen Masken zeichnen können. Durch die Beibehaltung dieser Features wird verhindert, dass Endbenutzer versehentlich Hände oder Gesicht in die Maske einbeziehen.

  • Sie verwenden maskShape: BOUNDING_BOX, möchten jedoch keine neuen Hände oder Gesichter generieren. Mit preserveFace: ON oder preserveHands: ON werden diese Features automatisch aus der Maske entfernt.

  • Sie verwenden maskType:GARMENT und maskShape: BOUNDING_BOX mit einem Model, das sich nicht in einer aufrechten Körperhaltung befindet. In diesem Fall kann der Maskenbegrenzungsrahmen das Gesicht überlappen und wir empfehlen die Verwendung von preserveFace: ON.

Umgekehrt kann es in den folgenden Situationen sinnvoll sein, die Pose, die Hände oder das Gesicht neu zu generieren:

  • Bei Kleidungsstücken, die den Hals bedecken, kann preserveFace: ON einen so großen Teil des Halses aussparen, dass sich dies nachteilig auf das Ergebnis auswirkt.

  • Wenn das Model Schuhe mit hohen Absätzen trägt und das Referenzbild Schuhe mit flachen Absätzen zeigt oder umgekehrt. In diesem Fall führt die Beibehaltung der Körperhaltung zu unnatürlich aussehenden Ergebnissen.

  • Ebenso wie im vorherigen Beispiel kann das Erzeugen neuer Posen oder Handhaltungen beim Anprobieren von Handtaschen oder anderen Accessoires zu natürlicheren Ergebnissen führen.

Stilmerkmale

Mit dem Parameter garmentStyling können Sie bestimmte Stilmerkmale von Kleidungsstücken, die Sie beispielsweise in einem Fotoshooting vorfinden, beibehalten oder verändern. Amazon Nova Canvas kann beispielsweise das Design eines Hemdes so ändern, dass die Ärmel entweder hoch- oder heruntergekrempelt werden, oder es kann das Hemd so modifizieren, dass es eingesteckt ist oder nicht. Verfügbar sind die nachfolgend aufgeführten Optionen:

  • "longSleeveStyle" – Steuert, ob die Ärmel eines Langarmhemdes hoch- oder heruntergekrempelt werden.

    • "SLEEVE_DOWN" – Kann angewendet werden, wenn das Quellbild ein Langarmhemd (Ärmel hoch oder runter), ein Kurzarmhemd oder ein Hemd ohne Ärmel zeigt.

    • "SLEEVE_UP" – Kann angewendet werden, wenn das Quellbild ein Langarmhemd mit hochgekrempelten Ärmeln, ein Kurzarmhemd oder ein Hemd ohne Ärmel zeigt.

  • "tuckingStyle" – Steuert, ob ein Kleidungsstück für den Oberkörper in die Hose gesteckt oder locker getragen wird.

    • "UNTUCKED" – Kann unabhängig davon angewendet werden, ob das Hemd auf dem Ausgangsbild in die Hose gesteckt ist oder nicht.

    • "TUCKED" – Kann angewendet werden, wenn auf dem Quellbild das Hemd eingesteckt ist.

  • "outerLayerStyle" – Steuert, ob ein Kleidungsstück für den Oberkörper offen oder geschlossen getragen wird. Die Standardeinstellung ist "CLOSED", was für die meisten Kleidungsstücke (wie Hemden und Pullover) geeignet ist. Bei Oberbekleidung wie Jacken gewährleistet die Einstellung dieses Werts auf "OPEN", dass das ursprüngliche Kleidungsstück für den Oberkörper aus dem Quellbild beibehalten und das neue Oberbekleidungsstück darüber gelegt wird. Wenn Sie den Wert "CLOSED" für ein Oberbekleidungsstück verwenden, wird das Kleidungsstück möglicherweise nicht immer als geschlossen dargestellt. Dies liegt daran, dass ein Wert von "CLOSED" lediglich sicherstellt, dass jedes Oberbekleidungsstück im Ausgangsbild ersetzt wird, was gelegentlich dazu führen kann, dass eine offene äußere Schicht entsteht, unter der eine neue darunterliegende Schicht sichtbar wird.

    • "CLOSED"

    • "OPEN"

Weitere Informationen finden Sie unter den garmentStyling-Parametern in Anfrage- und Antwortstruktur für die Bildgenerierung.

Bilder zusammenfügen

Mit der virtuellen Anprobe können Sie festlegen, wie Bilder zusammengefügt werden, um das Endergebnis zu erzeugen. Sie können sich zwischen "BALANCED", "SEAMLESS" und "DETAILED" entscheiden. Jeder Zusammenführungsstil verfolgt einen anderen Ansatz, wie die Elemente zu einem endgültigen Bild zusammengefügt werden, wobei jeder Stil seine eigenen Vorteile und Nachteile aufweist.

  • "BALANCED" – Schützt alle nicht maskierten Pixel im Originalbild und stellt sicher, dass sie dem Original zu 100 % entsprechen. In bestimmten Fällen kann es zu einer geringfügigen Abweichung in der Farbe oder Textur des Ausgabebildes kommen, die sich als eine Art „Geisterbild“ der Maskenform darstellt. Dies tritt am wahrscheinlichsten auf, wenn die Person auf einem einfarbigen oder gleichmäßig strukturierten Hintergrund abgebildet ist. Um dies zu vermeiden, können Sie stattdessen den "SEAMLESS"-Stil verwenden.

  • "SEAMLESS" – Stellt sicher, dass im endgültigen Bild keine sichtbare Nahtstelle zwischen den maskierten und nicht maskierten Bildbereichen vorhanden ist. Der Nachteil besteht darin, dass sich alle Pixel im Bild geringfügig verändern und manchmal feine Details in den nicht maskierten Bereichen des Bildes verloren gehen.

  • "DETAILED" – Kann feine Details wie Logos und Text erheblich verbessern, insbesondere wenn der maskierte Bereich im Vergleich zum Gesamtbild relativ klein ist. Das Modell erreicht dies, indem es eine Inpainting-Bearbeitung an einer stark beschnittenen Version des Originalbildes mit höherer Auflösung durchführt, welche nur den maskierten Bereich enthält. Anschließend wird das Ergebnis wieder mit dem Originalbild zusammengeführt. Wie im "BALANCED"-Modus kann dies manchmal zu einer sichtbaren Naht führen.