Container-Images für private Workflows

HealthOmics unterstützt Container-Images, die in privaten Amazon ECR-Repositorys gehostet werden. Sie können Container-Images erstellen und sie in das private Repository hochladen. Sie können Ihre private Amazon ECR-Registrierung auch als Pull-Through-Cache verwenden, um den Inhalt von Upstream-Registrierungen zu synchronisieren.

Ihr Amazon ECR-Repository muss sich in derselben AWS Region befinden wie das Konto, das den Service aufruft. Eine andere Person AWS-Konto kann Eigentümer des Container-Images sein, sofern das Quell-Image-Repository die entsprechenden Berechtigungen bietet. Weitere Informationen finden Sie unter Richtlinien für den kontenübergreifenden Zugriff auf Amazon ECR.

Wir empfehlen Ihnen, Ihr Amazon ECR-Container-Image URIs als Parameter in Ihrem Workflow zu definieren, damit der Zugriff verifiziert werden kann, bevor der Lauf beginnt. Es macht es auch einfacher, einen Workflow in einer neuen Region auszuführen, indem der Parameter Region geändert wird.

Informationen zur Konfiguration von IAM-Berechtigungen für den Zugriff HealthOmics auf Amazon ECR finden Sie unter. HealthOmics Berechtigungen für Ressourcen

Synchronisieren mit Container-Registrierungen von Drittanbietern

Sie können Amazon ECR Pull-Through-Cache-Regeln verwenden, um Repositorys in einer unterstützten Upstream-Registry mit Ihren privaten Amazon ECR-Repositorys zu synchronisieren. Weitere Informationen finden Sie unter Synchronisieren einer Upstream-Registrierung im Amazon ECR-Benutzerhandbuch.

Der Pull-Through-Cache erstellt automatisch das Image-Repository in Ihrer privaten Registrierung, wenn Sie den Cache erstellen, und er synchronisiert sich automatisch mit dem zwischengespeicherten Image, wenn Änderungen am Upstream-Image vorgenommen werden.

HealthOmics unterstützt den Pull-Through-Cache für die folgenden Upstream-Registrierungen:

HealthOmics unterstützt keinen Pull-Through-Cache für ein privates Amazon ECR-Upstream-Repository.

Zu den Vorteilen der Verwendung des Amazon ECR Pull-Through-Cache gehören:

Pull-Through-Cache konfigurieren

Amazon ECR bietet eine Registrierung für Sie AWS-Konto in jeder Region. Stellen Sie sicher, dass Sie die Amazon ECR-Konfiguration in derselben Region erstellen, in der Sie den Workflow ausführen möchten.

In den folgenden Abschnitten werden die Konfigurationsaufgaben für den Pull-Through-Cache beschrieben.

Erstellen Sie eine Pull-Through-Cache-Regel

Erstellen Sie eine Amazon ECR-Pull-Through-Cache-Regel für jede Upstream-Registrierung, die Bilder enthält, die Sie zwischenspeichern möchten. Eine Regel spezifiziert eine Zuordnung zwischen einer Upstream-Registrierung und dem privaten Amazon ECR-Repository.

Für eine Upstream-Registrierung, die eine Authentifizierung erfordert, geben Sie Ihre Anmeldeinformationen mithilfe von AWS Secrets Manager ein.

Weitere Informationen finden Sie unter Erstellen einer Pull-Through-Cache-Regel im Amazon Elastic Container Registry-Benutzerhandbuch.

Erstellen Sie mithilfe der Konsole eine Pull-Through-Cache-Regel

Gehen Sie mit der Amazon ECR-Konsole wie folgt vor, um den Pull-Through-Cache zu konfigurieren:

Weitere Informationen finden Sie unter Eine Pull-Through-Cache-Regel erstellen (AWS Management Console).

Erstellen Sie mit der CLI eine Pull-Through-Cache-Regel

Verwenden Sie den Amazon create-pull-through-cache-rule ECR-Befehl, um eine Pull-Through-Cache-Regel zu erstellen. Für Upstream-Registrierungen, die eine Authentifizierung erfordern, speichern Sie die Anmeldeinformationen in einem Secrets Manager Manager-Geheimnis.

Die folgenden Abschnitte enthalten Beispiele für jede unterstützte Upstream-Registrierung.

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix ecr-public \
     --upstream-registry-url public.ecr.aws \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix kubernetes \
     --upstream-registry-url registry.k8s.io \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix quay \
     --upstream-registry-url quay.io \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix docker-hub \
     --upstream-registry-url registry-1.docker.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix github \
     --upstream-registry-url ghcr.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix azure \
     --upstream-registry-url myregistry.azurecr.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix gitlab \
     --upstream-registry-url registry.gitlab.com \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

Weitere Informationen finden Sie unter Erstellen einer Pull-Through-Cache-Regel (CLI) im Amazon ECR-Benutzerhandbuch.

Sie können den get-run-task CLI-Befehl verwenden, um Informationen über das Container-Image abzurufen, das für eine bestimmte Aufgabe verwendet wird:

 aws omics get-run-task --id 1234567 --task-id <task_id> 

Die Ausgabe enthält die folgenden Informationen über das Container-Image:

 "imageDetails": {
    "image": "string",
    "imageDigest": "string",
    "sourceImage": "string", 
          ...
 }         

Registrierungsberechtigungen für die Upstream-Registrierung

Verwenden Sie Registrierungsberechtigungen, um die Verwendung des Pull-Through-Cache und das Abrufen der Container-Images in die private Amazon ECR-Registrierung zu ermöglichen HealthOmics . Fügen Sie der Registrierung eine Amazon ECR-Registrierungsrichtlinie hinzu, die die in Läufen verwendeten Container bereitstellt.

Die folgende Richtlinie erteilt dem HealthOmics Service die Erlaubnis, Repositorys mit den angegebenen Pull-Through-Cache-Präfixen zu erstellen und Upstream-Pulls in diese Repositorys zu initiieren.

Vorlagen zur Repository-Erstellung

Um das Pull-Through-Caching in verwenden zu können HealthOmics, muss das Amazon ECR-Repository über eine Vorlage für die Repository-Erstellung verfügen. Die Vorlage definiert Konfigurationseinstellungen für den Fall, dass Sie oder Amazon ECR ein privates Repository für eine Upstream-Registrierung erstellen.

Jede Vorlage enthält ein Repository-Namespace-Präfix, das Amazon ECR verwendet, um neue Repositorys einer bestimmten Vorlage zuzuordnen. Vorlagen spezifizieren die Konfiguration für alle Repository-Einstellungen, einschließlich ressourcenbasierter Zugriffsrichtlinien, Tag-Unveränderlichkeit, Verschlüsselung und Lebenszyklus-Richtlinien.

Weitere Informationen finden Sie unter Vorlagen für die Erstellung von Repositorys im Amazon Elastic Container Registry User Guide.

So erstellen Sie eine Vorlage für die Erstellung eines Repositorys:

Den Workflow erstellen

Wenn Sie einen neuen Workflow oder eine neue Workflow-Version erstellen, überprüfen Sie die Registrierungszuordnungen und aktualisieren Sie sie bei Bedarf. Details hierzu finden Sie unter Erstellen Sie einen privaten Workflow.

Registrierungszuordnungen

Sie definieren Registrierungszuordnungen, um Präfixe in Ihrer privaten Amazon ECR-Registrierung und den Namen der Upstream-Registrierung zuzuordnen.

Weitere Informationen zu Amazon ECR-Registrierungszuordnungen finden Sie unter Erstellen einer Pull-Through-Cache-Regel in Amazon ECR.

Das folgende Beispiel zeigt Registrierungszuordnungen zu Docker Hub, Quay und Amazon ECR Public.

{
    "registryMappings": [
        {
            "upstreamRegistryUrl": "registry-1.docker.io",
            "ecrRepositoryPrefix": "docker-hub"
        },
        {
            "upstreamRegistryUrl": "quay.io",
            "ecrRepositoryPrefix": "quay"
        },
        {
            "upstreamRegistryUrl": "public.ecr.aws",
            "ecrRepositoryPrefix": "ecr-public"
        }
    ]
}     

Bildzuordnungen

Sie definieren Bildzuordnungen für die Zuordnung zwischen den Bildnamen, wie sie in Ihren privaten Amazon ECR-Workflows definiert sind, und den Bildnamen in der Upstream-Registrierung.

Sie können Image-Zuordnungen mit Registern verwenden, die den Pull-Through-Cache unterstützen. Sie können Image-Zuordnungen auch für Upstream-Registrierungen verwenden, die den Pull-Through-Cache HealthOmics nicht unterstützen. Sie müssen die Upstream-Registrierung manuell mit Ihrem privaten Repository synchronisieren.

Weitere Informationen zu Amazon ECR-Image-Zuordnungen finden Sie unter Erstellen einer Pull-Through-Cache-Regel in Amazon ECR.

Das folgende Beispiel zeigt Zuordnungen von privaten Amazon ECR-Images zu einem öffentlichen Genomik-Image und dem neuesten Ubuntu-Image.

{
    "imageMappings": [
        {
            "sourceImage": "public.ecr.aws/aws-genomics/broadinstitute/gatk:4.6.0.2",
            "destinationImage": "123456789012.dkr.ecr.us-east-1.amazonaws.com/broadinstitute/gatk:4.6.0.2"
        },
        {
            "sourceImage": "ubuntu:latest",
            "destinationImage": "123456789012.dkr.ecr.us-east-1.amazonaws.com/custom/ubuntu:latest",
        }
    ]
}     

Allgemeine Überlegungen zu Amazon ECR-Container-Images

Umgebungsvariablen für HealthOmics Workflows

HealthOmics stellt Umgebungsvariablen bereit, die Informationen über den Workflow enthalten, der im Container ausgeführt wird. Sie können die Werte dieser Variablen in der Logik Ihrer Workflow-Aufgaben verwenden.

Alle HealthOmics Workflow-Variablen beginnen mit dem AWS_WORKFLOW_ Präfix. Dieses Präfix ist ein geschütztes Umgebungsvariablenpräfix. Verwenden Sie dieses Präfix nicht für Ihre eigenen Variablen in Workflow-Containern.

HealthOmics stellt die folgenden Workflow-Umgebungsvariablen bereit:

Das folgende Beispiel zeigt typische Werte für jede Umgebungsvariable:

AWS Region: us-east-1
Workflow Run: arn:aws:omics:us-east-1:123456789012:run/6470304
Workflow Run ID: 6470304
Workflow Run UUID: f4d9ed47-192e-760e-f3a8-13afedbd4937
Workflow Task: arn:aws:omics:us-east-1:123456789012:task/4192063
Workflow Task ID: 4192063
Workflow Task UUID: f0c9ed49-652c-4a38-7646-60ad835e0a2e

Verwenden von Java in Amazon ECR-Container-Images

Wenn eine Workflow-Aufgabe eine Java-Anwendung wie GATK verwendet, sollten Sie die folgenden Speicheranforderungen für den Container berücksichtigen:

Hinzufügen von Aufgabeneingaben zu einem Amazon ECR-Container-Image

Fügen Sie alle ausführbaren Dateien, Bibliotheken und Skripten, die für die Ausführung einer Workflow-Aufgabe erforderlich sind, in das Amazon ECR-Image ein, das für die Ausführung der Aufgabe verwendet wird.

Es hat sich bewährt, die Verwendung von Skripten, Binärdateien und Bibliotheken zu vermeiden, die sich außerhalb eines Task-Container-Images befinden. Dies ist besonders wichtig, wenn nf-core Workflows verwendet werden, die ein bin Verzeichnis als Teil des Workflow-Pakets verwenden. Dieses Verzeichnis wird zwar für die Workflow-Aufgabe verfügbar sein, es ist jedoch als schreibgeschütztes Verzeichnis bereitgestellt. Erforderliche Ressourcen in diesem Verzeichnis sollten in das Task-Image kopiert und zur Laufzeit oder beim Erstellen des für die Aufgabe verwendeten Container-Images verfügbar gemacht werden.

Die maximale Größe des HealthOmics unterstützten Container-Images finden HealthOmics Workflow-Kontingente mit fester Größe Sie unter.