기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
HealthOmics에서 실행 시작
실행을 시작할 때 실행 스토리지 유형 및 스토리지 양(정적 스토리지용)을 설정할 수 있습니다. 자세한 내용은 HealthOmics 워크플로에서 스토리지 유형 실행 섹션을 참조하세요.
실행 우선 순위도 설정합니다. 우선순위가 실행에 미치는 영향은 실행이 실행 그룹과 연결되어 있는지 여부에 따라 달라집니다. 자세한 내용은 실행 우선 순위 섹션을 참조하세요.
워크플로 버전을 하나 이상 생성한 경우 실행을 시작할 때 버전을 지정할 수 있습니다. 버전을 지정하지 않으면 HealthOmics가 기본 워크플로 버전을 시작합니다.
출력 파일의 Amazon S3 위치를 지정합니다. 대량의 워크플로를 동시에 실행하는 경우 버킷 제한이 발생하지 않도록 각 워크플로에 대해 별도의 Amazon S3 출력 URIs를 사용합니다. 자세한 내용은 Amazon S3 사용 설명서의 접두사를 사용하여 객체 구성 및 Amazon S3 성능 최적화 백서의 스토리지 연결 수평 조정을 참조하세요.
참고
실행을 시작할 때 IAM 서비스 역할을 지정합니다. 선택적으로 콘솔에서 서비스 역할을 생성할 수 있습니다. 자세한 내용은 에 대한 서비스 역할 AWS HealthOmics 단원을 참조하십시오.
HealthOmics 실행 파라미터
실행을 시작할 때 실행 파라미터 JSON 파일에 실행 입력을 지정하거나 파라미터 값을 인라인으로 입력할 수 있습니다. 실행 파라미터 JSON 파일의 크기 관리에 대한 자세한 내용은 섹션을 참조하세요실행 파라미터 크기 관리.
HealthOmics는 파라미터 값에 대해 다음과 같은 JSON 유형을 지원합니다.
JSON 유형 | 예제 키 및 값 | Notes |
---|---|---|
boolean | "b":true | 값은 따옴표가 아니며 모두 소문자입니다. |
정수 | "i":7 | 값이 따옴표로 묶여 있지 않습니다. |
숫자 | "f":42.3 | 값이 따옴표로 묶여 있지 않습니다. |
문자열 | "s":"문자" | 값은 따옴표로 묶입니다. 텍스트 값 및 URIs에 문자열 유형을 사용합니다. URI 대상은 예상 입력 유형이어야 합니다. |
array | "a":[1,2,3] | 값이 따옴표로 묶여 있지 않습니다. 배열 멤버는 각각 입력 파라미터로 정의된 유형을 가져야 합니다. |
객체 | "o":{"left":"a", "right":1} | WDL에서 객체는 WDL 페어, 맵 또는 구조체에 매핑됩니다. |
콘솔을 사용하여 실행 시작
워크플로 실행을 시작하려면
-
HealthOmics 콘솔
을 엽니다. 왼쪽 탐색 창에서 실행을 선택합니다.
-
실행 페이지에서 실행 시작을 선택합니다.
-
실행 세부 정보 패널에서 다음 정보를 제공합니다.
-
워크플로 소스 - 소유 워크플로 또는 공유 워크플로를 선택합니다.
-
워크플로 ID -이 실행과 연결된 워크플로 ID입니다.
-
워크플로 버전(선택 사항) -이 실행에 사용할 워크플로 버전을 선택합니다. 버전을 선택하지 않으면 실행은 워크플로 기본 버전을 사용합니다.
-
실행 이름 -이 실행의 고유한 이름입니다.
-
실행 우선 순위(선택 사항) -이 실행의 우선 순위입니다. 숫자가 클수록 우선 순위가 높아지고 우선 순위가 가장 높은 작업이 먼저 실행됩니다.
-
스토리지 유형 실행 - 워크플로에 지정된 기본 실행 스토리지 유형을 재정의하려면 여기에서 스토리지 유형을 지정합니다. 정적 스토리지는 실행에 고정된 양의 스토리지를 할당합니다. 동적 스토리지는 실행 중인 각 작업에 대해 필요에 따라 확장 및 축소됩니다.
-
스토리지 용량 실행 - 정적 실행 스토리지의 경우 실행에 필요한 스토리지 양을 지정합니다. 이 항목은 워크플로에 지정된 기본 실행 스토리지 양을 재정의합니다.
-
S3 출력 대상 선택 - 실행 출력을 저장할 S3 위치입니다.
-
출력 버킷 소유자의 계정 ID(선택 사항) - 계정이 출력 버킷을 소유하지 않은 경우 버킷 소유자의 AWS 계정 ID를 입력합니다. 이 정보는 HealthOmics가 버킷 소유권을 확인할 수 있도록 하기 위해 필요합니다.
-
메타데이터 보존 모드 실행 - 모든 실행에 대해 메타데이터를 보존할지 아니면 계정이 최대 실행 수에 도달하면 시스템에서 가장 오래된 실행 메타데이터를 제거하도록 할지 선택합니다. 자세한 내용은 HealthOmics 실행에 대한 보존 모드 실행 단원을 참조하십시오.
-
-
서비스 역할에서 기존 서비스 역할을 사용하거나 새 서비스 역할을 생성할 수 있습니다.
-
(선택 사항) 태그의 경우 실행에 최대 50개의 태그를 할당할 수 있습니다.
-
다음을 선택합니다.
-
파라미터 값 추가 페이지에서 실행 파라미터를 제공합니다. 파라미터를 지정하는 JSON 파일을 업로드하거나 값을 수동으로 입력할 수 있습니다.
-
다음을 선택합니다.
-
그룹 실행 패널에서이 실행에 대한 실행 그룹을 선택적으로 지정할 수 있습니다. 자세한 내용은 HealthOmics 실행 그룹 생성 단원을 참조하십시오.
-
캐시 실행 패널에서 선택적으로이 실행에 대한 실행 캐시를 지정할 수 있습니다. 자세한 내용은 콘솔을 사용하여 실행 캐시로 실행 구성 단원을 참조하십시오.
-
Review and start run(실행 검토 및 시작)을 선택합니다.
-
실행 구성을 검토한 후 실행 시작을 선택합니다.
API를 사용하여 실행 시작
생성한 IAM 역할 및 Amazon S3 버킷과 함께 시작 실행 API 작업을 사용합니다. 이 예제에서는 보존 모드를 로 설정합니다REMOVE
. 보존 모드에 대한 자세한 내용은 섹션을 참조하세요HealthOmics 실행에 대한 보존 모드 실행.
aws omics start-run --workflow-id
\ --role-arn arn:aws:iam::1234567892012:role/service-role/OmicsWorkflow-20221004T164236 \ --name
workflow id
\ --retention-mode REMOVE
workflow name
이에 대한 응답으로 다음 출력을 얻습니다. uuid
는 실행에 고유하며와 함께 출력 데이터가 기록되는 위치를 추적하는 데 사용할 outputUri
수 있습니다.
{ "arn": "arn:aws:omics:us-west-2:....:run/1234567", "id": "123456789", "uuid":"96c57683-74bf-9d6d-ae7e-f09b097db14a", "outputUri":"s3://bucket/folder/8405154/96c57683-74bf-9d6d-ae7e-f09b097db14a" "status": "PENDING" }
워크플로의 파라미터 템플릿이 필요한 파라미터를 선언하는 경우 워크플로 실행을 시작할 때 입력의 로컬 JSON 파일을 제공할 수 있습니다. JSON 파일에는 각 입력 파라미터의 정확한 이름과 파라미터 값이 포함됩니다.
start-run
요청에를 AWS CLI 추가하여의 입력 JSON 파일을 참조--parameters file://<input_file.json>
합니다. 실행 파라미터에 대한 자세한 내용은 섹션을 참조하세요HealthOmics 실행 입력.
실행에 대한 워크플로 버전을 지정할 수 있습니다.
aws omics start-run --workflow-id
\ ... --workflow-version-name '1.2.1'
workflow id
워크플로에 지정된 기본 실행 스토리지 유형을 재정의할 수 있습니다.
aws omics start-run --workflow-id
\ ... --storage-type STATIC --storage-capacity 2400
workflow id
그림과 같이 GPU 워크플로 ID와 함께 시작 실행 API를 사용할 수도 있습니다.
aws omics start-run --workflow-id
\ --role-arn arn:aws:iam::1234567892012:role/service-role/OmicsWorkflow-20221004T164236 \ --name GPUTestRunModel \ --output-uri s3://amzn-s3-demo-bucket1
workflow id
워크플로 실행에 대한 정보 가져오기
다음과 같이 get-run API와 함께 응답의 ID를 사용하여 실행 상태를 확인할 수 있습니다.
aws omics get-run --id
run id
이 API 작업의 응답은 워크플로 실행 상태를 알려줍니다. 가능한 상태는 PENDING
, STARTING
, RUNNING
및 입니다COMPLETED
. 실행이 인 경우 출력 Amazon S3 버킷outfile.txt
의 라는 출력 파일을 실행 ID의 이름을 따서 라는 폴더에서 찾을 COMPLETED
수 있습니다.
또한 get-run API 작업은 워크플로가 Ready2Run
또는 인지 여부, 워크플로 엔진 및 액셀러레이터 세부 정보와 같은 기타 세부 정보를 반환PRIVATE
합니다. 다음 예제에서는 GPU 액셀러레이터가 있고 실행에 태그가 할당되지 않은 WDL에 설명된 프라이빗 워크플로 실행을 위한 get-run에 대한 응답을 보여줍니다.
{ "arn": "arn:aws:omics:us-west-2:123456789012:run/7830534", "id": "7830534", "uuid":"96c57683-74bf-9d6d-ae7e-f09b097db14a", "outputUri":"s3://bucket/folder/8405154/96c57683-74bf-9d6d-ae7e-f09b097db14a" "status": "COMPLETED", "workflowId": "4074992", "workflowType": "PRIVATE", "workflowVersionName": "3.0.0", "roleArn": "arn:aws:iam::123456789012:role/service-role/OmicsWorkflow-20221004T164236", "name": "RunGroupMaxGpuTest", "runGroupId": "9938959", "digest": "sha256:a23a6fc54040d36784206234c02147302ab8658bed89860a86976048f6cad5ac", "accelerators": "GPU", "outputUri": "s3://amzn-s3-demo-bucket1", "startedBy": "arn:aws:sts::123456789012:assumed-role/Admin/<role_name>", "creationTime": "2023-04-07T16:44:22.262471+00:00", "startTime": "2023-04-07T16:56:12.504000+00:00", "stopTime": "2023-04-07T17:22:29.908813+00:00", "tags": {} }
다음과 같이 list-runs API 작업을 사용하여 모든 실행의 상태를 볼 수 있습니다.
aws omics list-runs
특정 실행에 대해 완료된 모든 작업을 보려면 list-run-tasks API를 사용합니다.
aws omics list-run-tasks --id
task ID
특정 작업의 세부 정보를 가져오려면 get-run-task API를 사용합니다.
aws omics get-run-task --id <run_id> --task-id
task ID
실행이 완료되면 메타데이터가 스트림 아래의 CloudWatch로 전송됩니다manifest/run/<run ID>/<run UUID>
.
다음은 매니페스트의 예입니다.
{ "arn": "arn:aws:omics:us-east-1:123456789012:run/1695324", "creationTime": "2022-08-24T19:53:55.284Z", "resourceDigests": { "s3://omics-data/broad-references/hg38/v0/Homo_sapiens_assembly38.dict": "etag:3884c62eb0e53fa92459ed9bff133ae6", "s3://omics-data/broad-references/hg38/v0/Homo_sapiens_assembly38.fasta": "etag:e307d81c605fb91b7720a08f00276842-388", "s3://omics-data/broad-references/hg38/v0/Homo_sapiens_assembly38.fasta.fai": "etag:f76371b113734a56cde236bc0372de0a", "s3://omics-data/intervals/hg38-mjs-whole-chr.500M.intervals": "etag:27fdd1341246896721ec49a46a575334", "s3://omics-data/workflow-input-lists/dragen-gvcf-list.txt": "etag:e22f5aeed0b350a66696d8ffae453227" }, "digest": "sha256:a5baaff84dd54085eb03f78766b0a367e93439486bc3f67de42bb38b93304964", "engine": "WDL", "main": "gatk4-basic-joint-genotyping-v2.wdl", "name": "1044-gvcfs", "outputUri": "s3://omics-data/workflow-output", "parameters": { "callset_name": "cohort", "input_gvcf_uris": "s3://omics-data/workflow-input-lists/dragen-gvcf-list.txt", "interval_list": "s3://omics-data/intervals/hg38-mjs-whole-chr.500M.intervals", "ref_dict": "s3://omics-data/broad-references/hg38/v0/Homo_sapiens_assembly38.dict", "ref_fasta": "s3://omics-data/broad-references/hg38/v0/Homo_sapiens_assembly38.fasta", "ref_fasta_index": "s3://omics-data/broad-references/hg38/v0/Homo_sapiens_assembly38.fasta.fai" }, "roleArn": "arn:aws:iam::123456789012:role/OmicsServiceRole", "startedBy": "arn:aws:sts::123456789012:assumed-role/admin/ahenroid-Isengard", "startTime": "2022-08-24T20:08:22.582Z", "status": "COMPLETED", "stopTime": "2022-08-24T20:08:22.582Z", "storageCapacity": 9600, "uuid": "a3b0ca7e-9597-4ecc-94a4-6ed45481aeab", "workflow": "arn:aws:omics:us-east-1:123456789012:workflow/1558364", "workflowType": "PRIVATE" }, { "arn": "arn:aws:omics:us-east-1:123456789012:task/1245938", "cpus": 16, "creationTime": "2022-08-24T20:06:32.971290", "image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/gatk", "imageDigest": "sha256:8051adab0ff725e7e9c2af5997680346f3c3799b2df3785dd51d4abdd3da747b", "memory": 32, "name": "geno-123", "run": "arn:aws:omics:us-east-1:123456789012:run/1695324", "startTime": "2022-08-24T20:08:22.278Z", "status": "SUCCESS", "stopTime": "2022-08-24T20:08:22.278Z", "uuid": "44c1a30a-4eee-426d-88ea-1af403858f76" }, ...
CloudWatch 로그에 메타데이터가 없으면 실행 메타데이터가 삭제되지 않습니다. 실행 ID를 사용하여 CLI 도구를 사용하여 워크플로 실행을 다시 실행할 수도 있습니다. 자세히 알아보고 HealthOmics Tool GitHub 리포지토리에서 도구를
워크플로 실행 재실행
다음 예제에서는 rerun도구를 사용하여 실행을 다시 실행하는 방법을 보여줍니다. CloudWatch 로그에서 검색할 수 있는 실행 ID가 필요합니다.
omics-rerun 9876543 --name
--retention-mode REMOVE
workflow name
CloudWatch에 실행이 있는 경우 다음과 유사한 응답을 받게 됩니다.
Original request: { "workflowId": "9679729", "roleArn": "arn:aws:iam::123456789012:role/DemoRole", "name": "sample_rerun", "parameters": { "image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/default:latest", "file1": "omics://123456789012.storage.us-west-2.amazonaws.com/8647780323/readSet/6389608538" }, "outputUri": "s3://workflow-output-bcf2fcb1" } StartRun request: { "workflowId": "9679729", "roleArn": "arn:aws:iam::123456789012:role/DemoRole", "name": "new test", "parameters": { "image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/default:latest", "file1": "omics://123456789012.storage.us-west-2.amazonaws.com/8647780323/readSet/6389608538" }, "outputUri": "s3://workflow-output-bcf2fcb1" } StartRun response: { "arn": "arn:aws:omics:us-west-2:123456789012:run/9171779", "id": "9171779", "status": "PENDING", "tags": {} }
워크플로가 더 이상 존재하지 않으면 오류 메시지가 표시됩니다.