プライベートワークフローのコンテナイメージ

HealthOmics は、Amazon ECR プライベートリポジトリでホストされているコンテナイメージをサポートしています。コンテナイメージを作成し、プライベートリポジトリにアップロードできます。Amazon ECR プライベートレジストリをプルスルーキャッシュとして使用して、アップストリームレジストリのコンテンツを同期することもできます。

Amazon ECR リポジトリは、サービスを呼び出すアカウントと同じ AWS リージョンに存在する必要があります。ソースイメージリポジトリが適切なアクセス許可を提供している限り、別の がコンテナイメージを所有 AWS アカウント できます。詳細については、「クロスアカウント Amazon ECR アクセスのポリシー」を参照してください。

実行を開始する前にアクセスを検証できるように、Amazon ECR コンテナイメージ URIs をワークフローのパラメータとして定義することをお勧めします。また、リージョンパラメータを変更することで、新しいリージョンでワークフローを簡単に実行できます。

HealthOmics が Amazon ECR にアクセスするための IAM アクセス許可の設定については、「」を参照してくださいHealthOmics リソースのアクセス許可。

サードパーティーのコンテナレジストリとの同期

Amazon ECR プルスルーキャッシュルールを使用して、サポートされているアップストリームレジストリ内のリポジトリを Amazon ECR プライベートリポジトリと同期できます。詳細については、「Amazon ECR ユーザーガイド」の「アップストリームレジストリの同期」を参照してください。

プルスルーキャッシュは、キャッシュの作成時にプライベートレジストリにイメージリポジトリを自動的に作成し、アップストリームイメージに変更があるとキャッシュされたイメージと自動的に同期します。

HealthOmics は、次のアップストリームレジストリのプルスルーキャッシュをサポートしています。

HealthOmics は、アップストリーム Amazon ECR プライベートリポジトリのプルスルーキャッシュをサポートしていません。

Amazon ECR プルスルーキャッシュを使用する利点は次のとおりです。

プルスルーキャッシュの設定

Amazon ECR は、各リージョン AWS アカウント の のレジストリを提供します。ワークフローを実行する予定のリージョンと同じリージョンに Amazon ECR 設定を作成してください。

以下のセクションでは、プルスルーキャッシュの設定タスクについて説明します。

プルスルーキャッシュルールを作成する

キャッシュするイメージを持つアップストリームレジストリごとに Amazon ECR プルスルーキャッシュルールを作成します。ルールは、アップストリームレジストリと Amazon ECR プライベートリポジトリ間のマッピングを指定します。

認証を必要とするアップストリームレジストリの場合は、AWS Secrets Manager を使用して認証情報を指定します。

詳細については、「Amazon Elastic Container Registry ユーザーガイド」の「プルスルーキャッシュルールの作成」を参照してください。

コンソールを使用してプルスルーキャッシュルールを作成する

プルスルーキャッシュを設定するには、Amazon ECR コンソールを使用して以下のステップに従います。

詳細については、「プルスルーキャッシュルールを作成する (AWS マネジメントコンソール）」を参照してください。

CLI を使用してプルスルーキャッシュルールを作成する

Amazon ECR create-pull-through-cache-rule コマンドを使用して、プルスルーキャッシュルールを作成します。認証を必要とするアップストリームレジストリの場合は、認証情報を Secrets Manager シークレットに保存します。

以下のセクションでは、サポートされている各アップストリームレジストリの例を示します。

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix ecr-public \
     --upstream-registry-url public.ecr.aws \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix kubernetes \
     --upstream-registry-url registry.k8s.io \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix quay \
     --upstream-registry-url quay.io \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix docker-hub \
     --upstream-registry-url registry-1.docker.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix github \
     --upstream-registry-url ghcr.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix azure \
     --upstream-registry-url myregistry.azurecr.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix gitlab \
     --upstream-registry-url registry.gitlab.com \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

詳細については、「Amazon ECR ユーザーガイド」の「プルスルーキャッシュルール (CLI) の作成」を参照してください。

get-run-task CLI コマンドを使用して、特定のタスクに使用されるコンテナイメージに関する情報を取得できます。

 aws omics get-run-task --id 1234567 --task-id <task_id> 

出力には、コンテナイメージに関する次の情報が含まれます。

 "imageDetails": {
    "image": "string",
    "imageDigest": "string",
    "sourceImage": "string", 
          ...
 }         

アップストリームレジストリのレジストリアクセス許可

レジストリアクセス許可を使用して、HealthOmics がプルスルーキャッシュを使用し、コンテナイメージを Amazon ECR プライベートレジストリにプルできるようにします。実行で使用されるコンテナを提供する Amazon ECR レジストリポリシーをレジストリに追加します。

次のポリシーは、HealthOmics サービスが指定されたプルスルーキャッシュプレフィックス (複数可) を使用してリポジトリを作成し、これらのリポジトリへのアップストリームプルを開始するアクセス許可を付与します。

リポジトリ作成テンプレート

HealthOmics でプルスルーキャッシュを使用するには、Amazon ECR リポジトリにリポジトリ作成テンプレートが必要です。テンプレートは、ユーザーまたは Amazon ECR がアップストリームレジストリのプライベートリポジトリを作成するときの設定を定義します。

各テンプレートには、Amazon ECR が新しいリポジトリを特定のテンプレートに一致させるために使用するリポジトリ名前空間プレフィックスが含まれています。テンプレートは、リソースベースのアクセスポリシー、タグのイミュータビリティ、暗号化、ライフサイクルポリシーなど、すべてのリポジトリ設定の構成を指定します。

詳細については、「Amazon Elastic Container Registry ユーザーガイド」の「リポジトリ作成テンプレート」を参照してください。

リポジトリ作成テンプレートを作成する方法：

ワークフローを作成します

新しいワークフローまたはワークフローバージョンを作成するときは、レジストリマッピングを確認し、必要に応じて更新します。詳細については、「プライベートワークフローを作成する」を参照してください。

レジストリマッピング

プライベート Amazon ECR レジストリのプレフィックスとアップストリームレジストリ名の間でマッピングするレジストリマッピングを定義します。

Amazon ECR レジストリマッピングの詳細については、「Amazon ECR でのプルスルーキャッシュルールの作成」を参照してください。

次の例は、Docker Hub、Quay、Amazon ECR Public へのレジストリマッピングを示しています。

{
    "registryMappings": [
        {
            "upstreamRegistryUrl": "registry-1.docker.io",
            "ecrRepositoryPrefix": "docker-hub"
        },
        {
            "upstreamRegistryUrl": "quay.io",
            "ecrRepositoryPrefix": "quay"
        },
        {
            "upstreamRegistryUrl": "public.ecr.aws",
            "ecrRepositoryPrefix": "ecr-public"
        }
    ]
}     

イメージマッピング

プライベート Amazon ECR ワークフローで定義されているイメージ名とアップストリームレジストリ内のイメージ名の間でマッピングするイメージマッピングを定義します。

イメージマッピングは、プルスルーキャッシュをサポートするレジストリで使用できます。HealthOmics がプルスルーキャッシュをサポートしていないアップストリームレジストリでイメージマッピングを使用することもできます。アップストリームレジストリをプライベートリポジトリと手動で同期する必要があります。

Amazon ECR イメージマッピングの詳細については、「Amazon ECR でのプルスルーキャッシュルールの作成」を参照してください。

次の例は、プライベート Amazon ECR イメージからパブリックゲノムイメージと最新の Ubuntu イメージへのマッピングを示しています。

{
    "imageMappings": [
        {
            "sourceImage": "public.ecr.aws/aws-genomics/broadinstitute/gatk:4.6.0.2",
            "destinationImage": "123456789012.dkr.ecr.us-east-1.amazonaws.com/broadinstitute/gatk:4.6.0.2"
        },
        {
            "sourceImage": "ubuntu:latest",
            "destinationImage": "123456789012.dkr.ecr.us-east-1.amazonaws.com/custom/ubuntu:latest",
        }
    ]
}     

Amazon ECR コンテナイメージの一般的な考慮事項

HealthOmics ワークフローの環境変数

HealthOmics は、コンテナで実行されているワークフローに関する情報を含む環境変数を提供します。これらの変数の値は、ワークフロータスクのロジックで使用できます。

すべての HealthOmics ワークフロー変数はAWS_WORKFLOW_、 プレフィックスで始まります。このプレフィックスは、保護された環境変数プレフィックスです。ワークフローコンテナの独自の変数にこのプレフィックスを使用しないでください。

HealthOmics には、次のワークフロー環境変数が用意されています。

次の例は、各環境変数の一般的な値を示しています。

AWS Region: us-east-1
Workflow Run: arn:aws:omics:us-east-1:123456789012:run/6470304
Workflow Run ID: 6470304
Workflow Run UUID: f4d9ed47-192e-760e-f3a8-13afedbd4937
Workflow Task: arn:aws:omics:us-east-1:123456789012:task/4192063
Workflow Task ID: 4192063
Workflow Task UUID: f0c9ed49-652c-4a38-7646-60ad835e0a2e

Amazon ECR コンテナイメージでの Java の使用

ワークフロータスクで GATK などの Java アプリケーションを使用する場合は、コンテナの次のメモリ要件を考慮してください。

Amazon ECR コンテナイメージにタスク入力を追加する

ワークフロータスクの実行に必要なすべての実行可能ファイル、ライブラリ、スクリプトを、タスクの実行に使用される Amazon ECR イメージに追加します。

タスクコンテナイメージの外部にあるスクリプト、バイナリ、ライブラリを使用しないことがベストプラクティスです。これは、nf-coreワークフローパッケージの一部としてbinディレクトリを使用するワークフローを使用する場合に特に重要です。このディレクトリはワークフロータスクで使用できますが、読み取り専用ディレクトリとしてマウントされます。このディレクトリに必要なリソースはタスクイメージにコピーし、実行時またはタスクに使用されるコンテナイメージの構築時に使用できるようにする必要があります。

HealthOmics がサポートするコンテナイメージの最大サイズHealthOmics ワークフローの固定サイズクォータについては、「」を参照してください。