프라이빗 워크플로용 컨테이너 이미지

HealthOmics는 Amazon ECR 프라이빗 리포지토리에서 호스팅되는 컨테이너 이미지를 지원합니다. 컨테이너 이미지를 생성하여 프라이빗 리포지토리에 업로드할 수 있습니다. Amazon ECR 프라이빗 레지스트리를 풀스루 캐시로 사용하여 업스트림 레지스트리의 콘텐츠를 동기화할 수도 있습니다.

Amazon ECR 리포지토리는 서비스를 호출하는 계정과 동일한 AWS 리전에 있어야 합니다. 소스 이미지 리포지토리가 적절한 권한을 제공하는 한 다른가 컨테이너 이미지를 소유할 AWS 계정 수 있습니다. 자세한 내용은 교차 계정 Amazon ECR 액세스에 대한 정책 단원을 참조하십시오.

실행이 시작되기 전에 액세스를 확인할 수 있도록 Amazon ECR 컨테이너 이미지 URIs를 워크플로의 파라미터로 정의하는 것이 좋습니다. 또한 리전 파라미터를 변경하여 새 리전에서 워크플로를 더 쉽게 실행할 수 있습니다.

HealthOmics가 Amazon ECR에 액세스하도록 IAM 권한을 구성하는 방법에 대한 자세한 내용은 섹션을 참조하세요HealthOmics 리소스 권한.

타사 컨테이너 레지스트리와 동기화

Amazon ECR 풀스루 캐시 규칙을 사용하여 지원되는 업스트림 레지스트리의 리포지토리를 Amazon ECR 프라이빗 리포지토리와 동기화할 수 있습니다. 자세한 내용은 Amazon ECR 사용 설명서의 업스트림 레지스트리 동기화를 참조하세요.

풀스루 캐시는 캐시를 생성할 때 프라이빗 레지스트리에 이미지 리포지토리를 자동으로 생성하고 업스트림 이미지가 변경될 때 캐시된 이미지와 자동으로 동기화됩니다.

HealthOmics는 다음 업스트림 레지스트리에 대한 풀스루 캐시를 지원합니다.

HealthOmics는 업스트림 Amazon ECR 프라이빗 리포지토리에 대한 풀스루 캐시를 지원하지 않습니다.

Amazon ECR 풀스루 캐시 사용의 이점은 다음과 같습니다.

풀스루 캐시 구성

Amazon ECR은 각 리전 AWS 계정 에서에 대한 레지스트리를 제공합니다. 워크플로를 실행하려는 리전과 동일한 리전에서 Amazon ECR 구성을 생성해야 합니다.

다음 섹션에서는 풀스루 캐시의 구성 작업에 대해 설명합니다.

풀스루 캐시 규칙 생성

캐시하려는 이미지가 있는 각 업스트림 레지스트리에 대해 Amazon ECR 풀스루 캐시 규칙을 생성합니다. 규칙은 업스트림 레지스트리와 Amazon ECR 프라이빗 리포지토리 간의 매핑을 지정합니다.

인증이 필요한 업스트림 레지스트리의 경우 AWS Secrets Manager를 사용하여 자격 증명을 제공합니다.

자세한 내용은 Amazon Elastic Container Registry 사용 설명서의 풀스루 캐시 규칙 생성을 참조하세요.

콘솔을 사용하여 풀스루 캐시 규칙 생성

풀스루 캐시를 구성하려면 Amazon ECR 콘솔을 사용하여 다음 단계를 따릅니다.

자세한 내용은 풀스루 캐시 규칙 생성(AWS 관리 콘솔)을 참조하세요.

CLI를 사용하여 풀스루 캐시 규칙 생성

Amazon ECR create-pull-through-cache-rule 명령을 사용하여 풀스루 캐시 규칙을 생성합니다. 인증이 필요한 업스트림 레지스트리의 경우 Secrets Manager 보안 암호에 자격 증명을 저장합니다.

다음 섹션에서는 지원되는 각 업스트림 레지스트리의 예를 제공합니다.

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix ecr-public \
     --upstream-registry-url public.ecr.aws \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix kubernetes \
     --upstream-registry-url registry.k8s.io \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix quay \
     --upstream-registry-url quay.io \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix docker-hub \
     --upstream-registry-url registry-1.docker.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix github \
     --upstream-registry-url ghcr.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix azure \
     --upstream-registry-url myregistry.azurecr.io \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

aws ecr create-pull-through-cache-rule \
     --ecr-repository-prefix gitlab \
     --upstream-registry-url registry.gitlab.com \
     --credential-arn arn:aws:secretsmanager:us-east-1:111122223333:secret:ecr-pullthroughcache/example1234 \
     --region us-east-1

자세한 내용은 Amazon ECR 사용 설명서의 풀스루 캐시 규칙(CLI) 생성을 참조하세요.

get-run-task CLI 명령을 사용하여 특정 작업에 사용되는 컨테이너 이미지에 대한 정보를 검색할 수 있습니다.

 aws omics get-run-task --id 1234567 --task-id <task_id> 

출력에는 컨테이너 이미지에 대한 다음 정보가 포함됩니다.

 "imageDetails": {
    "image": "string",
    "imageDigest": "string",
    "sourceImage": "string", 
          ...
 }         

업스트림 레지스트리에 대한 레지스트리 권한

레지스트리 권한을 사용하여 HealthOmics가 풀스루 캐시를 사용하고 컨테이너 이미지를 Amazon ECR 프라이빗 레지스트리로 가져올 수 있도록 허용합니다. 실행에 사용되는 컨테이너를 제공하는 레지스트리에 Amazon ECR 레지스트리 정책을 추가합니다.

다음 정책은 HealthOmics 서비스가 지정된 풀스루 캐시 접두사(들)로 리포지토리를 생성하고 이러한 리포지토리로 업스트림 풀을 시작할 수 있는 권한을 부여합니다.

리포지토리 생성 템플릿

HealthOmics에서 풀스루 캐싱을 사용하려면 Amazon ECR 리포지토리에 리포지토리 생성 템플릿이 있어야 합니다. 템플릿은 사용자 또는 Amazon ECR이 업스트림 레지스트리에 대한 프라이빗 리포지토리를 생성할 때에 대한 구성 설정을 정의합니다.

각 템플릿에는 Amazon ECR이 새 리포지토리를 특정 템플릿과 일치시키는 데 사용하는 리포지토리 네임스페이스 접두사가 포함되어 있습니다. 템플릿은 리소스 기반 액세스 정책, 태그 불변성, 암호화 및 수명 주기 정책을 포함한 모든 리포지토리 설정에 대한 구성을 지정합니다.

자세한 내용은 Amazon Elastic Container Registry 사용 설명서의 리포지토리 생성 템플릿을 참조하세요.

리포지토리 생성 템플릿을 생성하는 방법:

워크플로 생성

새 워크플로 또는 워크플로 버전을 생성할 때 레지스트리 매핑을 검토하고 필요한 경우 업데이트합니다. 자세한 내용은 프라이빗 워크플로 생성을 참조하세요.

레지스트리 매핑

프라이빗 Amazon ECR 레지스트리의 접두사와 업스트림 레지스트리 이름 간에 매핑하도록 레지스트리 매핑을 정의합니다.

Amazon ECR 레지스트리 매핑에 대한 자세한 내용은 Amazon ECR에서 풀스루 캐시 규칙 생성을 참조하세요.

다음 예제에서는 Docker Hub, Quay 및 Amazon ECR Public에 대한 레지스트리 매핑을 보여줍니다.

{
    "registryMappings": [
        {
            "upstreamRegistryUrl": "registry-1.docker.io",
            "ecrRepositoryPrefix": "docker-hub"
        },
        {
            "upstreamRegistryUrl": "quay.io",
            "ecrRepositoryPrefix": "quay"
        },
        {
            "upstreamRegistryUrl": "public.ecr.aws",
            "ecrRepositoryPrefix": "ecr-public"
        }
    ]
}     

이미지 매핑

프라이빗 Amazon ECR 워크플로에 정의된 이미지 이름과 업스트림 레지스트리의 이미지 이름 간에 매핑하도록 이미지 매핑을 정의합니다.

풀스루 캐시를 지원하는 레지스트리에서 이미지 매핑을 사용할 수 있습니다. HealthOmics 않는 업스트림 레지스트리에서 이미지 매핑을 사용할 수도 있습니다. 업스트림 레지스트리를 프라이빗 리포지토리와 수동으로 동기화해야 합니다.

Amazon ECR 이미지 매핑에 대한 자세한 내용은 Amazon ECR에서 풀스루 캐시 규칙 생성을 참조하세요.

다음 예제에서는 프라이빗 Amazon ECR 이미지에서 퍼블릭 게놈 이미지 및 최신 Ubuntu 이미지로의 매핑을 보여줍니다.

{
    "imageMappings": [
        {
            "sourceImage": "public.ecr.aws/aws-genomics/broadinstitute/gatk:4.6.0.2",
            "destinationImage": "123456789012.dkr.ecr.us-east-1.amazonaws.com/broadinstitute/gatk:4.6.0.2"
        },
        {
            "sourceImage": "ubuntu:latest",
            "destinationImage": "123456789012.dkr.ecr.us-east-1.amazonaws.com/custom/ubuntu:latest",
        }
    ]
}     

Amazon ECR 컨테이너 이미지에 대한 일반 고려 사항

HealthOmics 워크플로의 환경 변수

HealthOmics는 컨테이너에서 실행되는 워크플로에 대한 정보가 있는 환경 변수를 제공합니다. 워크플로 작업의 로직에서 이러한 변수의 값을 사용할 수 있습니다.

모든 HealthOmics 워크플로 변수는 AWS_WORKFLOW_ 접두사로 시작합니다. 이 접두사는 보호된 환경 변수 접두사입니다. 워크플로 컨테이너의 자체 변수에는이 접두사를 사용하지 마십시오.

HealthOmics는 다음과 같은 워크플로 환경 변수를 제공합니다.

다음 예제에서는 각 환경 변수의 일반적인 값을 보여줍니다.

AWS Region: us-east-1
Workflow Run: arn:aws:omics:us-east-1:123456789012:run/6470304
Workflow Run ID: 6470304
Workflow Run UUID: f4d9ed47-192e-760e-f3a8-13afedbd4937
Workflow Task: arn:aws:omics:us-east-1:123456789012:task/4192063
Workflow Task ID: 4192063
Workflow Task UUID: f0c9ed49-652c-4a38-7646-60ad835e0a2e

Amazon ECR 컨테이너 이미지에서 Java 사용

워크플로 태스크가 GATK와 같은 Java 애플리케이션을 사용하는 경우 컨테이너에 대한 다음 메모리 요구 사항을 고려하세요.

Amazon ECR 컨테이너 이미지에 작업 입력 추가

워크플로 작업을 실행하는 데 필요한 모든 실행 파일, 라이브러리 및 스크립트를 작업을 실행하는 데 사용되는 Amazon ECR 이미지에 추가합니다.

작업 컨테이너 이미지 외부에 있는 스크립트, 바이너리 및 라이브러리를 사용하지 않는 것이 좋습니다. 이는 bin 디렉터리를 nf-core 워크플로 패키지의 일부로 사용하는 워크플로를 사용할 때 특히 중요합니다. 이 디렉터리는 워크플로 작업에 사용할 수 있지만 읽기 전용 디렉터리로 마운트됩니다. 이 디렉터리의 필수 리소스는 작업 이미지에 복사하여 런타임 시 또는 작업에 사용되는 컨테이너 이미지를 빌드할 때 사용할 수 있어야 합니다.

HealthOmics가 지원하는 컨테이너 이미지의 최대 크기는 HealthOmics 워크플로 고정 크기 할당량 섹션을 참조하세요. HealthOmics