私有工作流程的容器映像

HealthOmics 支援 Amazon ECR 私有儲存庫中託管的容器映像。您可以建立容器映像並將其上傳至私有儲存庫。您也可以將 Amazon ECR 私有登錄檔做為提取快取來同步上游登錄檔的內容。

您的 Amazon ECR 儲存庫必須與呼叫 服務的帳戶位於相同的 AWS 區域。只要來源映像儲存庫提供適當的許可，不同的 AWS 帳戶 就可以擁有容器映像。如需詳細資訊，請參閱跨帳戶 Amazon ECR 存取的政策。

建議您將 Amazon ECR 容器映像 URIs定義為工作流程中的參數，以便在執行開始之前驗證存取權。變更區域參數也可讓您更輕鬆地在新區域中執行工作流程。

如需設定 HealthOmics 存取 Amazon ECR 的 IAM 許可的詳細資訊，請參閱 HealthOmics 資源許可。

與第三方容器登錄檔同步

您可以使用 Amazon ECR 提取快取規則，將支援的上游登錄檔中的儲存庫與您的 Amazon ECR 私有儲存庫同步。如需詳細資訊，請參閱《Amazon ECR 使用者指南》中的同步上游登錄檔。

當您建立快取時，提取快取會自動在私有登錄檔中建立映像儲存庫，並在上游映像發生變更時自動與快取映像同步。

HealthOmics 支援下列上游登錄檔的提取快取：

HealthOmics 不支援為上游 Amazon ECR 私有儲存庫提取快取。

使用 Amazon ECR 提取快取的優勢包括：

設定提取快取

Amazon ECR AWS 帳戶 為每個區域中的 提供登錄檔。請務必在計劃執行工作流程的相同區域中建立 Amazon ECR 組態。

下列各節說明提取快取的組態任務。

建立提取快取規則

針對具有您要快取之映像的每個上游登錄檔，建立 Amazon ECR 提取快取規則。規則指定上游登錄檔與 Amazon ECR 私有儲存庫之間的映射。

對於需要身分驗證的上游登錄檔，您可以使用 AWS Secrets Manager 提供您的登入資料。

如需詳細資訊，請參閱《Amazon Elastic Container Registry 使用者指南》中的建立提取快取規則。

使用主控台建立提取快取規則

若要設定提取快取，請使用 Amazon ECR 主控台執行下列步驟：

如需詳細資訊，請參閱建立提取快取規則 (AWS 管理主控台）。

使用 CLI 建立提取快取規則

使用 Amazon ECR create-pull-through-cache-rule命令來建立提取快取規則。對於需要身分驗證的上游登錄檔，請將登入資料存放在 Secrets Manager 秘密中。

以下各節提供每個支援的上游登錄檔的範例。

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix ecr-public \
     --upstream-registry-url public.ecr.aws \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix kubernetes \
     --upstream-registry-url registry.k8s.io \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix quay \
     --upstream-registry-url quay.io \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix docker-hub \
     --upstream-registry-url registry-1.docker.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix github \
     --upstream-registry-url ghcr.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix azure \
     --upstream-registry-url myregistry.azurecr.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix gitlab \
     --upstream-registry-url registry.gitlab.com \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

如需詳細資訊，請參閱《Amazon ECR 使用者指南》中的建立提取快取規則 (CLI)。

您可以使用 get-run-task CLI 命令來擷取用於特定任務之容器映像的相關資訊：

 aws omics get-run-task --id 1234567 --task-id <task_id> 

輸出包含下列容器映像的相關資訊：

 "imageDetails": {
    "image": "string",
    "imageDigest": "string",
    "sourceImage": "string", 
          ...
 }         

上游登錄檔的登錄檔許可

使用登錄檔許可，以允許 HealthOmics 使用提取快取，並將容器映像提取至 Amazon ECR 私有登錄檔。將 Amazon ECR 登錄檔政策新增至提供執行中所用容器的登錄檔。

下列政策會授予許可，讓 HealthOmics 服務建立具有指定提取快取字首的儲存庫 （以及啟動上游提取至這些儲存庫）。

儲存庫建立範本

若要在 HealthOmics 中使用提取快取，Amazon ECR 儲存庫必須具有儲存庫建立範本。當您或 Amazon ECR 為上游登錄檔建立私有儲存庫時，範本會定義 的組態設定。

每個範本都包含儲存庫命名空間字首，Amazon ECR 會使用此字首將新儲存庫與特定範本比對。範本會指定所有儲存庫設定的組態，包括資源型存取政策、標籤不可變性、加密和生命週期政策。

如需詳細資訊，請參閱《Amazon Elastic Container Registry 使用者指南》中的儲存庫建立範本。

如何建立儲存庫建立範本：

建立工作流程

當您建立新的工作流程或工作流程版本時，請檢閱登錄檔映射並視需要更新。如需詳細資訊，請參閱建立私有工作流程。

登錄檔映射

您可以定義登錄檔映射，以便在私有 Amazon ECR 登錄檔中的字首與上游登錄檔名稱之間進行映射。

如需 Amazon ECR 登錄檔映射的詳細資訊，請參閱在 Amazon ECR 中建立提取快取規則。

下列範例顯示 Docker Hub、Quay 和 Amazon ECR Public 的登錄檔映射。

{
    "registryMappings": [
        {
            "upstreamRegistryUrl": "registry-1.docker.io",
            "ecrRepositoryPrefix": "docker-hub"
        },
        {
            "upstreamRegistryUrl": "quay.io",
            "ecrRepositoryPrefix": "quay"
        },
        {
            "upstreamRegistryUrl": "public.ecr.aws",
            "ecrRepositoryPrefix": "ecr-public"
        }
    ]
}     

影像映射

您可以定義映像映射，以在私有 Amazon ECR 工作流程中定義的映像名稱與上游登錄檔中的映像名稱之間進行映射。

您可以搭配支援提取快取的登錄檔使用映像映射。您也可以搭配上游登錄檔使用映像映射，其中 HealthOmics 不支援提取快取。您需要手動同步上游登錄與您的私有儲存庫。

如需 Amazon ECR 映像映射的詳細資訊，請參閱在 Amazon ECR 中建立提取快取規則。

下列範例顯示從私有 Amazon ECR 映像到公有基因體映像和最新 Ubuntu 映像的映射。

{
    "imageMappings": [
        {
            "sourceImage": "public.ecr.aws/aws-genomics/broadinstitute/gatk:4.6.0.2",
            "destinationImage": "123456789012.dkr.ecr.us-east-1.amazonaws.com/broadinstitute/gatk:4.6.0.2"
        },
        {
            "sourceImage": "ubuntu:latest",
            "destinationImage": "123456789012.dkr.ecr.us-east-1.amazonaws.com/custom/ubuntu:latest",
        }
    ]
}     

Amazon ECR 容器映像的一般考量

HealthOmics 工作流程的環境變數

HealthOmics 提供環境變數，其中包含容器中執行之工作流程的相關資訊。您可以在工作流程任務的邏輯中使用這些變數的值。

所有 HealthOmics 工作流程變數都以 AWS_WORKFLOW_ 字首開頭。此字首是受保護的環境變數字首。請勿在工作流程容器中將此字首用於您自己的變數。

HealthOmics 提供下列工作流程環境變數：

下列範例顯示每個環境變數的典型值：

AWS Region: us-east-1
Workflow Run: arn:aws:omics:us-east-1:123456789012:run/6470304
Workflow Run ID: 6470304
Workflow Run UUID: f4d9ed47-192e-760e-f3a8-13afedbd4937
Workflow Task: arn:aws:omics:us-east-1:123456789012:task/4192063
Workflow Task ID: 4192063
Workflow Task UUID: f0c9ed49-652c-4a38-7646-60ad835e0a2e

在 Amazon ECR 容器映像中使用 Java

如果工作流程任務使用 Java 應用程式，例如 GATK，請考慮容器的下列記憶體需求：

將任務輸入新增至 Amazon ECR 容器映像

將執行工作流程任務所需的所有可執行檔、程式庫和指令碼新增至用於執行任務的 Amazon ECR 映像。

最佳實務是避免使用任務容器映像外部的指令碼、二進位檔和程式庫。這在使用將bin目錄做為nf-core工作流程套件一部分的工作流程時特別重要。雖然此目錄可供工作流程任務使用，但會掛載為唯讀目錄。此目錄中的必要資源應複製到任務映像中，並在執行時間或建置用於任務的容器映像時提供。

HealthOmics 工作流程固定大小配額 如需 HealthOmics 支援的容器映像大小上限，請參閱 。