고급 훈련 구성 - AWS IoT SiteWise

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

고급 훈련 구성

샘플 속도 구성

샘플 속도는 센서 판독값이 기록되는 빈도를 정의합니다(예: 1초에 한 번 또는 1분에 한 번). 이 설정은 훈련 데이터의 세분성에 직접적인 영향을 미치며, 센서 동작의 단기 변형을 캡처하는 모델의 능력에 영향을 미칩니다.

훈련과 추론 간의 높은 빈도의 데이터 및 일관성 샘플링를 방문하여 모범 사례에 대해 알아봅니다.

대상 샘플링 속도 구성

선택적으로 훈련 구성TargetSamplingRate에서를 지정하여 데이터가 샘플링되는 빈도를 제어할 수 있습니다. 지원되는 값은 다음과 같습니다.

PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H

다음 시간 형식을 나타내는 ISO 8601 기간 형식입니다.

  • PT1S = 1초

  • PT1M = 1분

  • PT1H = 1시간

데이터 해상도훈련 효율성 간에 적절한 균형을 이루는 샘플링 속도를 선택합니다. 다음 요금을 사용할 수 있습니다.

  • 샘플링 비율이 높을수록(PT1S) 세부 정보가 더 세밀하지만 데이터 볼륨과 훈련 시간이 늘어날 수 있습니다.

  • 샘플링 속도가 낮을수록(PT10M, PT1H) 데이터 크기와 비용이 줄어들지만 수명이 짧은 이상을 놓칠 수 있습니다.

타임스탬프 정렬 오류 처리

AWS IoT SiteWise 는 훈련 중에 여러 데이터 스트림의 타임스탬프 정렬 오류를 자동으로 보정합니다. 이렇게 하면 입력 신호가 제시간에 완벽하게 정렬되지 않더라도 일관된 모델 동작을 보장할 수 있습니다.

훈련과 추론 간의 높은 빈도의 데이터 및 일관성 샘플링를 방문하여 모범 사례에 대해 알아봅니다.

샘플링 활성화

에 다음 코드를 추가합니다anomaly-detection-training-payload.json.

데이터의 샘플링 속도와 함께 훈련 작업 페이로드TargetSamplingRate에를 추가하여 샘플링을 구성합니다. 허용되는 값은 입니다PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H.

{ "exportDataStartTime": StartTime, "exportDataEndTime": EndTime, "targetSamplingRate": "TargetSamplingRate" }
예 샘플 속도 구성의 :
{ "exportDataStartTime": 1717225200, "exportDataEndTime": 1722789360, "targetSamplingRate": "PT1M" }

데이터에 레이블 지정

데이터에 레이블을 지정할 때 비정상적인 장비 동작 기간을 나타내는 시간 간격을 정의해야 합니다. 이 레이블 지정 정보는 CSV 파일로 제공되며, 각 행은 장비가 올바르게 작동하지 않는 시간 범위를 지정합니다.

각 행에는 두 개의 타임스탬프가 포함됩니다.

  • 비정상적인 동작이 시작된 것으로 생각되는 시기를 나타내는 시작 시간입니다.

  • 실패 또는 문제가 처음 관찰된 시기를 나타내는 종료 시간입니다.

이 CSV 파일은 Amazon S3 버킷에 저장되며 모델 훈련 중에 시스템이 비정상적인 동작의 알려진 예제에서 학습하는 데 사용됩니다. 다음 예제에서는 레이블 데이터를 .csv 파일로 표시하는 방법을 보여줍니다. 파일에 헤더가 없습니다.

예 CSV 파일의 :
2024-06-21T00:00:00.000000,2024-06-21T12:00:00.000000 2024-07-11T00:00:00.000000,2024-07-11T12:00:00.000000 2024-07-31T00:00:00.000000,2024-07-31T12:00:00.000000

1행은가 비정상적인 동작을 찾기 AWS IoT SiteWise 위한 12시간 기간(~2024-06-21T12:00:00.000000Z)이 있는 2024년 6월 2024-06-21T00:00:00.000000Z 21일 유지 관리 이벤트를 나타냅니다.

2행은가 비정상적인 동작을 찾기 AWS IoT SiteWise 위한 12시간 기간(~)이 있는 2024년 7월 11일 유지 관리 이벤트를 나타냅니다. 2024-07-11T00:00:00.000000Z 2024-07-11T12:00:00.000000Z

3행은가 비정상적인 동작을 찾기 AWS IoT SiteWise 위한 12시간 기간(~2024-07-31T12:00:00.000000Z)이 있는 2024년 7월 31일 유지 관리 이벤트를 나타냅니다. 2024-07-31T00:00:00.000000Z

AWS IoT SiteWise 는 이러한 모든 기간을 사용하여 이러한 이벤트와 관련된 비정상적인 동작을 식별할 수 있는 모델을 훈련하고 평가합니다. 모든 이벤트를 감지할 수 있는 것은 아니며 결과는 기본 데이터의 품질과 특성에 따라 크게 달라집니다.

샘플링 모범 사례에 대한 자세한 내용은 섹션을 참조하세요모범 사례.

데이터 레이블 지정 단계

  • 레이블 지정 데이터 사전 조건의 레이블 지정 사전 조건에 따라 Amazon S3 버킷을 구성합니다.

  • 레이블 지정 버킷에 파일을 업로드합니다.

  • 에 다음을 추가합니다anomaly-detection-training-payload.json.

    • 파일의 labelInputConfiguration 섹션에 위치를 입력합니다. labels-bucket를 버킷 이름으로 바꾸고를 파일(들) 경로 또는 접두사 부분files-prefix으로 바꿉니다. 위치의 모든 파일은 구문 분석되며 (성공 시) 레이블 파일로 사용됩니다.

{ "exportDataStartTime": StartTime, "exportDataEndTime": EndTime, "labelInputConfiguration": { "bucketName": "label-bucket", "prefix": "files-prefix" } }
예 레이블 구성의 :
{ "exportDataStartTime": 1717225200, "exportDataEndTime": 1722789360, "labelInputConfiguration": { "bucketName": "anomaly-detection-customer-data-278129555252-iad", "prefix": "Labels/model=b2d8ab3e-73af-48d8-9b8f-a290bef931b4/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/Lables.csv" } }

모델 평가

AWS IoT SiteWise 훈련 모델에 대한 포인트 모델 진단은 개별 이벤트에서 모델 성능을 평가하는 것입니다. 훈련 중에 입력 데이터 세트의 각 행에 대한 이상 점수 및 센서 기여도 진단을 AWS IoT SiteWise 생성합니다. 이상 점수가 높을수록 이상 이벤트의 가능성이 높음을 나타냅니다.

ExecuteAction API 및 AWS/ANOMALY_DETECTION_TRAINING 작업 유형으로 모델을 훈련할 때 포인트별 진단을 사용할 수 있습니다.

모델 평가를 구성하려면

  • 레이블 지정 데이터 사전 조건의 레이블 지정 사전 조건에 따라 Amazon S3 버킷을 구성합니다.

  • 에 다음을 추가합니다anomaly-detection-training-payload.json.

    • 모델의 성능을 평가하는 데 사용되는 창에서 데이터에 대한 evaluationStartTimeevaluationEndTime (둘 다 epoch 초 단위)를 제공합니다.

    • 평가 진단을 작성할 수 있도록 Amazon S3 버킷 위치(resultDestination)를 제공합니다.

참고

모델 평가 간격(dataStartTime~dataEndtime)은 겹치거나 훈련 간격과 연속되어야 합니다. 간격은 허용되지 않습니다.

{ "exportDataStartTime": StartTime, "exportDataEndTime": EndTime, "modelEvaluationConfiguration": { "dataStartTime": evaluationStartTime, "dataEndTime": evaluationEndTime "resultDestination": { "bucketName": "s3BucketName", "prefix": "bucketPrefix" } } }
예 모델 평가 구성의 :
{ "exportDataStartTime": 1717225200, "exportDataEndTime": 1722789360, "modelEvaluationConfiguration": { "dataStartTime": 1722789360, "dataEndTime": 1725174000, "resultDestination": { "bucketName": "anomaly-detection-customer-data-278129555252-iad", "prefix": "Evaluation/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/1747681026-evaluation_results.jsonl" } } }

모델 지표 생성

모델 지표는 훈련된 이상 탐지 모델의 성능 및 품질에 대한 포괄적인 인사이트를 제공합니다. 훈련 프로세스는 이러한 지표를 자동으로 생성하고 지정된 Amazon S3 버킷에 게시하므로 재훈련 워크플로에서 분석, 모델 비교 및 승격 결정을 위해 쉽게 액세스할 수 있습니다.

모델 지표 이해

훈련 프로세스는 모델 지표를 자동으로 생성하고 다음에 대한 자세한 정보를 제공합니다.

  • 모델 성능: 레이블이 지정된 데이터를 사용할 수 있을 때 정밀도, 재현율 및 AUC와 같은 정량적 측정

  • 데이터 품질: 사용된 훈련 데이터 및 다루는 기간에 대한 정보

  • 이벤트 감지: 식별된 이상 및 레이블이 지정된 이벤트에 대한 통계

  • 모델 비교: 재학습 중 다양한 모델 버전 간의 비교 지표

모델 지표 대상 구성

모델 지표 생성을 활성화하려면 지표가 게시되는 Amazon S3 대상을 구성합니다.

  1. 에 따라 Amazon S3 버킷을 구성합니다모델 평가 사전 조건.

  2. 훈련 작업 페이로드에 다음을 추가하여 모델 지표를 저장할 위치를 지정합니다.

    { "trainingMode": "TRAIN_MODEL", "exportDataStartTime": StartTime, "exportDataEndTime": EndTime, "modelMetricsDestination": { "bucketName": "bucket-name", "prefix": "prefix" } }
    예 모델 지표 구성의 예
    { "exportDataStartTime": 1717225200, "exportDataEndTime": 1722789360, "modelMetricsDestination": { "bucketName": "anomaly-detection-metrics-bucket-123456789012-iad", "prefix": "ModelMetrics/computation-model-id/asset-id/training-metrics.json" } }

재학습을 위한 모델 지표 구성

재훈련 일정을 설정할 때 포괄적인 모델 성능 추적 및 비교를 활성화하려면 모델 지표 대상이 필요합니다.

{ "trainingMode": "START_RETRAINING_SCHEDULER", "modelMetricsDestination": { "bucketName": "bucket-name", "prefix": "prefix" }, "retrainingConfiguration": { "lookbackWindow": "P180D", "promotion": "SERVICE_MANAGED", "retrainingFrequency": "P30D", "retrainingStartDate": "StartDate" } }
파라미터
bucketName

모델 지표가 저장될 Amazon S3 버킷

prefix

모델 지표 파일을 구성하기 위한 Amazon S3 접두사/경로

모델 지표 구조

모델 지표는 다음 구조로 Amazon S3 버킷에 JSON 파일로 저장됩니다.

{ "labeled_ranges": [], "labeled_event_metrics": { "num_labeled": 0, "num_identified": 0, "total_warning_time_in_seconds": 0 }, "predicted_ranges": [], "unknown_event_metrics": { "num_identified": 0, "total_duration_in_seconds": 0 }, "data_start_time": "2023-11-01", "data_end_time": "2023-12-31", "labels_present": false, "model_version_metrics": { "precision": 1.0, "recall": 1.0, "mean_fractional_lead_time": 0.7760964912280702, "auc": 0.5971207364893062 } }
주요 지표
labeled_ranges

훈련 중에 레이블이 지정된 이상이 제공된 시간 범위

labeled_event_metrics

모델이 알려진 레이블 지정 이벤트를 얼마나 잘 식별했는지에 대한 통계

num_labeled

훈련 데이터의 레이블이 지정된 총 이벤트 수

num_identified

모델이 올바르게 식별한 레이블이 지정된 이벤트 수

total_warning_time_in_seconds

레이블이 지정된 이벤트에 대해 모델이 경고 상태에서 소요한 총 시간

predicted_ranges

평가 중에 모델이 이상을 예측한 시간 범위

unknown_event_metrics

레이블이 지정되지 않은 데이터에서 감지된 이상에 대한 통계

data_start_time / data_end_time

훈련 데이터가 적용되는 기간

labels_present

훈련 중에 레이블이 지정된 데이터가 사용되었는지 여부를 나타내는 부울

model_version_metrics

모델 비교를 위한 추가 버전별 지표

레이블이 지정된 모델에 대한 고급 지표

훈련 중에 레이블이 지정된 데이터를 제공하면 Amazon S3 파일에 추가 성능 지표가 포함됩니다.

  • 리콜: 동일한 기간 동안 레이블을 지정한 이벤트에 AWS IoT SiteWise 대해 올바르게 식별한 이벤트의 비율입니다. 예를 들어 10개의 이벤트에 레이블을 지정했을 수 있지만이 중 9개 AWS IoT SiteWise 만 식별했을 수 있습니다. 이 경우 재현율은 90%입니다.

  • 정밀도: 식별된 총 이벤트에 대한 참 긍정의 비율입니다. 예를 들어에서 10개의 이벤트를 AWS IoT SiteWise 식별하지만 해당 이벤트 중 7개만 레이블이 지정된 이벤트에 해당하는 경우 정밀도는 70%입니다.

  • MeanFractionalLeadTime: 평균적으로 (이벤트 길이와 비교하여)가 각 이벤트를 AWS IoT SiteWise 감지하는 속도에 대한 측정입니다. 예를 들어 시설의 일반적인 이벤트는 10시간 동안 지속될 수 있습니다. 평균적으로 모델을 식별하려면 3시간이 걸릴 수 있습니다. 이 경우 평균 분수 리드 타임은 0.7입니다.

  • AUC: 곡선하면적(AUC)은 기계 학습 모델이 부정적인 예에 비해 긍정적인 예에 대해 더 높은 점수를 예측하는 능력을 측정합니다. 모델이 데이터 세트의 범주를 얼마나 잘 구분할 수 있는지를 나타내는 0에서 1 사이의 값입니다. 값이 1이면 범주를 완벽하게 구분할 수 있었음을 나타냅니다.

모델 홍보 및 지표

재훈련 워크플로 중에 Amazon S3에 저장된 지표를 통해 정보에 입각한 모델 홍보 결정을 내릴 수 있습니다.

관리형 모드(자동 승격)

  • 시스템은 Amazon S3 저장 데이터를 사용하여 이전 모델 버전과 새 모델 버전 간의 지표를 자동으로 비교합니다.

  • 개선된 성능 지표를 기반으로 모델 승격

  • 프로모션 결정에는 지표와 함께 저장된 특정 사유 코드가 포함됩니다.

    • AUTO_PROMOTION_SUCCESSFUL: 새 모델 지표가 현재 버전보다 낫습니다.

    • MODEL_METRICS_DIDNT_IMPROVE: 새 모델 성능이 개선되지 않음

    • POOR_MODEL_QUALITY_DETECTED: 새 모델의 품질 평가가 좋지 않음

수동 모드(고객 제어 승격)

  • Amazon S3에서 세부 지표를 다운로드하고 분석하여 프로모션 결정을 내릴 수 있습니다.

  • 모든 과거 모델 버전 및 지표는 Amazon S3에서 계속 액세스할 수 있습니다.

  • Amazon S3 저장 지표를 사용하여 사용자 지정 대시보드 및 분석 도구를 구축할 수 있습니다.