CloudWatch Logs를 사용하여 HealthOmics 모니터링 - AWS HealthOmics
HealthOmics 워크플로의 로그 유형CloudWatch의 로그그 Amazon S3의 로그CLI의 대화형 CloudWatch Logs콘솔에서 CloudWatch Logs에 액세스

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

CloudWatch Logs를 사용하여 HealthOmics 모니터링

HealthOmics는 실행을 이해하고 문제를 해결하는 데 도움이 되는 다양한 로그를 생성합니다. 로그는 CloudWatch와 Amazon S3의 두 곳에서 사용할 수 있습니다.

기본적으로 실행에는 로깅이 켜져 있습니다. 요청LogLevel = OFF에서를 설정하여 실행에 대한 로깅을 끌 수도 있습니다startrun.

참고

서비스 업데이트의 경우 Personal Health Dashboard를 구성하고 모니터링합니다. 대시보드 관리 방법에 대한 자세한 내용은 AWS Health Dashboard 시작하기를 참조하세요.

HealthOmics 워크플로의 로그 유형

HealthOmics는 워크플로에 대해 다음과 같은 유형의 로그를 제공합니다.

  • 엔진 로그 - 기본 워크플로 엔진(Nextflow, WDL 및 CWL)은 실행을 위한 엔진 로그를 생성합니다. 이러한 로그는 워크플로 정의 문제를 해결하는 데 도움이 될 수 있습니다.

  • 매니페스트 로그 실행 - 이러한 로그는 작업 상태, 시작 시간, 중지 시간 및 실패 이유(작업이 실패한 경우)와 같은 각 실행 작업에 대한 상위 수준의 정보를 제공합니다.

    매니페스트 로그 실행은 리소스 최적화 기회를 이해하는 데 도움이 될 수 있는 리소스 사용률 통계도 보고합니다. 이러한 통계에는 다음이 포함됩니다.

    • cpusAverage

    • cpusMaximum

    • cpusReserved

    • gpusReserved

    • memoryAverageGiB

    • memoryMaximumGiB

    • memoryReservedGiB

    • runningSeconds

  • 실행 로그 - 실행 로그는 전체 실행 상태와 개별 작업이 시작, 실행, 중지 및 완료된 시간을 제공합니다. 또한 실행 로그를 통해 파일 가져오기 및 내보내기 단계를 파악할 수 있습니다.

  • 작업 로그 - 작업 로그는 실행 중인 개별 작업에 대한 자세한 로깅 정보를 제공합니다. 작업 로그의 출력은 작업 정의와 코드에서 로그 문을 사용하는 위치에 따라 달라집니다. 작업 로그가 필요한 수준의 인사이트를 제공하지 않는 경우 작업 정의에 추가 로그 문을 추가하여 더 통찰력 있는 작업 로그를 생성하는 것이 좋습니다.

  • 캐시 로그 실행 - 캐시 로그 실행은 실행 캐시의 전체 상태와 작업 출력의 캐싱을 제공합니다. 캐시 실행 로그를 사용하면 캐싱을 사용하는 각 실행의 캐시 적중 및 누락을 파악할 수 있습니다.

  • Outputs.json – WDL 및 CWL 워크플로의 경우 HealthOmics는 실행 완료 후 라는 엔진 생성 파일을 Amazon S3 버킷outputs.json에 전달합니다. 이 파일에는 실행을 위한 모든 출력의 목록과 맵이 포함되어 있습니다.

CloudWatch의 로그그

HealthOmics CloudWatch 워크플로 로그는 로그 그룹에서 찾을 수 있습니다/aws/omics/WorkflowLog. 또한 get-run API 작업의 출력은 엔진 로그 및 실행 로그에 대한 CloudWatch 로그 스트림 ARNs을 제공합니다.

기본적으로는 CloudWatch Logs를 무기한 AWS 유지합니다. 로그 그룹의 보존 정책을 조정하여 보존 기간을 10년에서 1일로 설정할 수 있습니다.

다음 표에는 HealthOmics의 CloudWatch Logs에 대한 요약이 나와 있습니다. HealthOmics

로그 이름 CloudWatch Logs에서 사용 가능 에서 로그를 사용할 수 있는 경우 로그 스트림 형식
엔진 로그 예, 실패한 실행의 경우

실행이 완료된 후

 run/runID/engine
매니페스트 로그 실행 예

실행이 완료된 후

 매니페스트/실행/runID/runUUID
로그 실행 예 실시간 run/runID
작업 로그 예 실시간 run/runID/task/taskID
캐시 로그 실행 예 실시간 runCache/runCacheId/runCacheUUID
Outputs.json(WDL 및 CWL) 아니요 해당 사항 없음 해당 사항 없음

Amazon S3의 로그

실행이 완료되면 엔진 로그가 S3 버킷으로 전송되고 삭제할 때까지 무기한 사용할 수 있습니다. 이러한 로그는 워크플로에 지정한 S3 출력 URI의 로그 디렉터리에 있습니다.

로그 디렉터리의 경로 형식은 입니다s3://{user_provided_path}/logs/.

다음 표에는 Amazon S3 버킷에서 사용할 수 있는 HealthOmics 로그의 요약이 나와 있습니다.

로그 이름 Amazon S3에서 사용 가능 에서 로그를 사용할 수 있는 경우 로그 스트림 경로
엔진 로그 예 실행이 완료된 후 s3://user_provided_path/logs/engine.log
Outputs.json(WDL 및 CWL) 예

실행이 완료된 후

 s3://user_provided_path/runID/runUUID/logs/outputs.json
매니페스트 로그 실행, 로그 실행 및 작업 로그 아니요 해당 사항 없음 해당 사항 없음

CLI의 대화형 CloudWatch Logs

대화형 모드에서 Live Tail 명령을 사용하여 CloudWatch Logs를 대화형으로 볼 수 있습니다. 실행 진행 상황을 실시간으로 추적하고 로그에서 강조 표시할 키워드를 최대 5개까지 정의할 수 있습니다.

aws logs start-live-tail  \
  --mode interactive  \
  --log-group-identifiers arn:aws:logs:region:account-ID:log-group:/aws/omics/WorkflowLog

자세한 내용은 AWS CLI 명령 참조의 라이브 테일 시작을 참조하세요.

콘솔에서 CloudWatch Logs에 액세스

실행에 대한 로그에 액세스하려면 HealthOmics 콘솔의 실행 세부 정보 페이지에서 이러한 로그에 직접 연결할 수 있습니다.

  1. HealthOmics 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 실행을 선택합니다.

  3. 실행 테이블에서 실행을 선택합니다.

  4. 실행 세부 정보 페이지에서 다음 작업 중 하나를 선택할 수 있습니다.

    1. 실행 요약에서 실행 로그 보기를 선택합니다. 콘솔은 CloudWatch 콘솔에서 실행 로그를 엽니다.

    2. 요약 실행에서 Amazon S3에서 로그 보기를 선택합니다. 콘솔은 Amazon S3 콘솔에서 로그 폴더를 엽니다.

    3. 작업 실행에서 작업에 대한 로그 보기, 실행 로그 보기 또는 실행 매니페스트 로그 보기를 선택합니다. 콘솔은 CloudWatch 콘솔에서 로그를 엽니다.

CloudWatch 콘솔에서 로그로 이동할 수도 있습니다.

  1. CloudWatch 콘솔 https://console.aws.amazon.com/cloudwatch/ 엽니다.

  2. 왼쪽 메뉴에서 로그 그룹을 선택합니다.

  3. /aws/omics/WorkflowLog 그룹을 선택합니다.

    로그 그룹 목록이 긴 경우 검색 텍스트 상자에 omics를 입력하여 목록의 범위를 좁힐 수 있습니다.

  4. 로그 그룹 세부 정보 페이지가 열리면 보려는 로그 스트림을 선택합니다. 콘솔에이 로그 스트림에 대한 이벤트가 표시됩니다.