기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
고급 훈련 구성
샘플 속도 구성
샘플 속도는 센서 판독값이 기록되는 빈도를 정의합니다(예: 1초에 한 번 또는 1분에 한 번). 이 설정은 훈련 데이터의 세분성에 직접적인 영향을 미치며, 센서 동작의 단기 변형을 캡처하는 모델의 능력에 영향을 미칩니다.
훈련과 추론 간의 높은 빈도의 데이터 및 일관성 샘플링를 방문하여 모범 사례에 대해 알아봅니다.
대상 샘플링 속도 구성
선택적으로 훈련 구성TargetSamplingRate에서를 지정하여 데이터가 샘플링되는 빈도를 제어할 수 있습니다. 지원되는 값은 다음과 같습니다.
PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H
다음 시간 형식을 나타내는 ISO 8601 기간 형식입니다.
-
PT1S= 1초 -
PT1M= 1분 -
PT1H= 1시간
데이터 해상도와 훈련 효율성 간에 적절한 균형을 이루는 샘플링 속도를 선택합니다. 다음 요금을 사용할 수 있습니다.
-
샘플링 비율이 높을수록(
PT1S) 세부 정보가 더 세밀하지만 데이터 볼륨과 훈련 시간이 늘어날 수 있습니다. -
샘플링 속도가 낮을수록(
PT10M,PT1H) 데이터 크기와 비용이 줄어들지만 수명이 짧은 이상을 놓칠 수 있습니다.
타임스탬프 정렬 오류 처리
AWS IoT SiteWise 는 훈련 중에 여러 데이터 스트림의 타임스탬프 정렬 오류를 자동으로 보정합니다. 이렇게 하면 입력 신호가 제시간에 완벽하게 정렬되지 않더라도 일관된 모델 동작을 보장할 수 있습니다.
훈련과 추론 간의 높은 빈도의 데이터 및 일관성 샘플링를 방문하여 모범 사례에 대해 알아봅니다.
샘플링 활성화
에 다음 코드를 추가합니다anomaly-detection-training-payload.json.
데이터의 샘플링 속도와 함께 훈련 작업 페이로드TargetSamplingRate에를 추가하여 샘플링을 구성합니다. 허용되는 값은 입니다PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H.
{ "exportDataStartTime": StartTime, "exportDataEndTime": EndTime, "targetSamplingRate": "TargetSamplingRate" }
예 샘플 속도 구성의 :
{ "exportDataStartTime": 1717225200, "exportDataEndTime": 1722789360, "targetSamplingRate": "PT1M" }
데이터에 레이블 지정
데이터에 레이블을 지정할 때 비정상적인 장비 동작 기간을 나타내는 시간 간격을 정의해야 합니다. 이 레이블 지정 정보는 CSV 파일로 제공되며, 각 행은 장비가 올바르게 작동하지 않는 시간 범위를 지정합니다.
각 행에는 두 개의 타임스탬프가 포함됩니다.
-
비정상적인 동작이 시작된 것으로 생각되는 시기를 나타내는 시작 시간입니다.
-
실패 또는 문제가 처음 관찰된 시기를 나타내는 종료 시간입니다.
이 CSV 파일은 Amazon S3 버킷에 저장되며 모델 훈련 중에 시스템이 비정상적인 동작의 알려진 예제에서 학습하는 데 사용됩니다. 다음 예제에서는 레이블 데이터를 .csv 파일로 표시하는 방법을 보여줍니다. 파일에 헤더가 없습니다.
예 CSV 파일의 :
2024-06-21T00:00:00.000000,2024-06-21T12:00:00.000000 2024-07-11T00:00:00.000000,2024-07-11T12:00:00.000000 2024-07-31T00:00:00.000000,2024-07-31T12:00:00.000000
1행은가 비정상적인 동작을 찾기 AWS IoT SiteWise 위한 12시간 기간(~2024-06-21T12:00:00.000000Z)이 있는 2024년 6월 2024-06-21T00:00:00.000000Z 21일 유지 관리 이벤트를 나타냅니다.
2행은가 비정상적인 동작을 찾기 AWS IoT SiteWise 위한 12시간 기간(~)이 있는 2024년 7월 11일 유지 관리 이벤트를 나타냅니다. 2024-07-11T00:00:00.000000Z 2024-07-11T12:00:00.000000Z
3행은가 비정상적인 동작을 찾기 AWS IoT SiteWise 위한 12시간 기간(~2024-07-31T12:00:00.000000Z)이 있는 2024년 7월 31일 유지 관리 이벤트를 나타냅니다. 2024-07-31T00:00:00.000000Z
AWS IoT SiteWise 는 이러한 모든 기간을 사용하여 이러한 이벤트와 관련된 비정상적인 동작을 식별할 수 있는 모델을 훈련하고 평가합니다. 모든 이벤트를 감지할 수 있는 것은 아니며 결과는 기본 데이터의 품질과 특성에 따라 크게 달라집니다.
샘플링 모범 사례에 대한 자세한 내용은 섹션을 참조하세요모범 사례.
데이터 레이블 지정 단계
-
레이블 지정 데이터 사전 조건의 레이블 지정 사전 조건에 따라 Amazon S3 버킷을 구성합니다.
-
레이블 지정 버킷에 파일을 업로드합니다.
-
에 다음을 추가합니다
anomaly-detection-training-payload.json.-
파일의
labelInputConfiguration섹션에 위치를 입력합니다.labels-bucket를 버킷 이름으로 바꾸고를 파일(들) 경로 또는 접두사 부분files-prefix으로 바꿉니다. 위치의 모든 파일은 구문 분석되며 (성공 시) 레이블 파일로 사용됩니다.
-
{ "exportDataStartTime":StartTime, "exportDataEndTime":EndTime, "labelInputConfiguration": { "bucketName": "label-bucket", "prefix": "files-prefix" } }
예 레이블 구성의 :
{ "exportDataStartTime": 1717225200, "exportDataEndTime": 1722789360, "labelInputConfiguration": { "bucketName": "anomaly-detection-customer-data-278129555252-iad", "prefix": "Labels/model=b2d8ab3e-73af-48d8-9b8f-a290bef931b4/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/Lables.csv" } }
모델 평가
AWS IoT SiteWise 훈련 모델에 대한 포인트 모델 진단은 개별 이벤트에서 모델 성능을 평가하는 것입니다. 훈련 중에 입력 데이터 세트의 각 행에 대한 이상 점수 및 센서 기여도 진단을 AWS IoT SiteWise 생성합니다. 이상 점수가 높을수록 이상 이벤트의 가능성이 높음을 나타냅니다.
ExecuteAction API 및 AWS/ANOMALY_DETECTION_TRAINING 작업 유형으로 모델을 훈련할 때 포인트별 진단을 사용할 수 있습니다.
모델 평가를 구성하려면
-
레이블 지정 데이터 사전 조건의 레이블 지정 사전 조건에 따라 Amazon S3 버킷을 구성합니다.
-
에 다음을 추가합니다
anomaly-detection-training-payload.json.-
모델의 성능을 평가하는 데 사용되는 창에서 데이터에 대한
evaluationStartTime및evaluationEndTime(둘 다 epoch 초 단위)를 제공합니다. -
평가 진단을 작성할 수 있도록 Amazon S3 버킷 위치(
resultDestination)를 제공합니다.
-
참고
모델 평가 간격(dataStartTime~dataEndtime)은 겹치거나 훈련 간격과 연속되어야 합니다. 간격은 허용되지 않습니다.
{ "exportDataStartTime":StartTime, "exportDataEndTime":EndTime, "modelEvaluationConfiguration": { "dataStartTime":evaluationStartTime, "dataEndTime":evaluationEndTime"resultDestination": { "bucketName": "s3BucketName", "prefix": "bucketPrefix" } } }
예 모델 평가 구성의 :
{ "exportDataStartTime": 1717225200, "exportDataEndTime": 1722789360, "modelEvaluationConfiguration": { "dataStartTime": 1722789360, "dataEndTime": 1725174000, "resultDestination": { "bucketName": "anomaly-detection-customer-data-278129555252-iad", "prefix": "Evaluation/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/1747681026-evaluation_results.jsonl" } } }
모델 지표 생성
모델 지표는 훈련된 이상 탐지 모델의 성능 및 품질에 대한 포괄적인 인사이트를 제공합니다. 훈련 프로세스는 이러한 지표를 자동으로 생성하고 지정된 Amazon S3 버킷에 게시하므로 재훈련 워크플로에서 분석, 모델 비교 및 승격 결정을 위해 쉽게 액세스할 수 있습니다.
모델 지표 이해
훈련 프로세스는 모델 지표를 자동으로 생성하고 다음에 대한 자세한 정보를 제공합니다.
-
모델 성능: 레이블이 지정된 데이터를 사용할 수 있을 때 정밀도, 재현율 및 AUC와 같은 정량적 측정
-
데이터 품질: 사용된 훈련 데이터 및 다루는 기간에 대한 정보
-
이벤트 감지: 식별된 이상 및 레이블이 지정된 이벤트에 대한 통계
-
모델 비교: 재학습 중 다양한 모델 버전 간의 비교 지표
모델 지표 대상 구성
모델 지표 생성을 활성화하려면 지표가 게시되는 Amazon S3 대상을 구성합니다.
-
에 따라 Amazon S3 버킷을 구성합니다모델 평가 사전 조건.
-
훈련 작업 페이로드에 다음을 추가하여 모델 지표를 저장할 위치를 지정합니다.
{ "trainingMode": "TRAIN_MODEL", "exportDataStartTime":StartTime, "exportDataEndTime":EndTime, "modelMetricsDestination": { "bucketName": "bucket-name", "prefix": "prefix" } }예 모델 지표 구성의 예
{ "exportDataStartTime": 1717225200, "exportDataEndTime": 1722789360, "modelMetricsDestination": { "bucketName": "anomaly-detection-metrics-bucket-123456789012-iad", "prefix": "ModelMetrics/computation-model-id/asset-id/training-metrics.json" } }
재학습을 위한 모델 지표 구성
재훈련 일정을 설정할 때 포괄적인 모델 성능 추적 및 비교를 활성화하려면 모델 지표 대상이 필요합니다.
{ "trainingMode": "START_RETRAINING_SCHEDULER", "modelMetricsDestination": { "bucketName": "bucket-name", "prefix": "prefix" }, "retrainingConfiguration": { "lookbackWindow": "P180D", "promotion": "SERVICE_MANAGED", "retrainingFrequency": "P30D", "retrainingStartDate": "StartDate" } }
파라미터
bucketName-
모델 지표가 저장될 Amazon S3 버킷
prefix-
모델 지표 파일을 구성하기 위한 Amazon S3 접두사/경로
모델 지표 구조
모델 지표는 다음 구조로 Amazon S3 버킷에 JSON 파일로 저장됩니다.
{ "labeled_ranges": [], "labeled_event_metrics": { "num_labeled": 0, "num_identified": 0, "total_warning_time_in_seconds": 0 }, "predicted_ranges": [], "unknown_event_metrics": { "num_identified": 0, "total_duration_in_seconds": 0 }, "data_start_time": "2023-11-01", "data_end_time": "2023-12-31", "labels_present": false, "model_version_metrics": { "precision": 1.0, "recall": 1.0, "mean_fractional_lead_time": 0.7760964912280702, "auc": 0.5971207364893062 } }
주요 지표
labeled_ranges-
훈련 중에 레이블이 지정된 이상이 제공된 시간 범위
labeled_event_metrics-
모델이 알려진 레이블 지정 이벤트를 얼마나 잘 식별했는지에 대한 통계
num_labeled-
훈련 데이터의 레이블이 지정된 총 이벤트 수
num_identified-
모델이 올바르게 식별한 레이블이 지정된 이벤트 수
total_warning_time_in_seconds-
레이블이 지정된 이벤트에 대해 모델이 경고 상태에서 소요한 총 시간
predicted_ranges-
평가 중에 모델이 이상을 예측한 시간 범위
unknown_event_metrics-
레이블이 지정되지 않은 데이터에서 감지된 이상에 대한 통계
data_start_time / data_end_time-
훈련 데이터가 적용되는 기간
labels_present-
훈련 중에 레이블이 지정된 데이터가 사용되었는지 여부를 나타내는 부울
model_version_metrics-
모델 비교를 위한 추가 버전별 지표
레이블이 지정된 모델에 대한 고급 지표
훈련 중에 레이블이 지정된 데이터를 제공하면 Amazon S3 파일에 추가 성능 지표가 포함됩니다.
-
리콜: 동일한 기간 동안 레이블을 지정한 이벤트에 AWS IoT SiteWise 대해 올바르게 식별한 이벤트의 비율입니다. 예를 들어 10개의 이벤트에 레이블을 지정했을 수 있지만이 중 9개 AWS IoT SiteWise 만 식별했을 수 있습니다. 이 경우 재현율은 90%입니다.
-
정밀도: 식별된 총 이벤트에 대한 참 긍정의 비율입니다. 예를 들어에서 10개의 이벤트를 AWS IoT SiteWise 식별하지만 해당 이벤트 중 7개만 레이블이 지정된 이벤트에 해당하는 경우 정밀도는 70%입니다.
-
MeanFractionalLeadTime: 평균적으로 (이벤트 길이와 비교하여)가 각 이벤트를 AWS IoT SiteWise 감지하는 속도에 대한 측정입니다. 예를 들어 시설의 일반적인 이벤트는 10시간 동안 지속될 수 있습니다. 평균적으로 모델을 식별하려면 3시간이 걸릴 수 있습니다. 이 경우 평균 분수 리드 타임은 0.7입니다.
-
AUC: 곡선하면적(AUC)은 기계 학습 모델이 부정적인 예에 비해 긍정적인 예에 대해 더 높은 점수를 예측하는 능력을 측정합니다. 모델이 데이터 세트의 범주를 얼마나 잘 구분할 수 있는지를 나타내는 0에서 1 사이의 값입니다. 값이 1이면 범주를 완벽하게 구분할 수 있었음을 나타냅니다.
모델 홍보 및 지표
재훈련 워크플로 중에 Amazon S3에 저장된 지표를 통해 정보에 입각한 모델 홍보 결정을 내릴 수 있습니다.
관리형 모드(자동 승격)
-
시스템은 Amazon S3 저장 데이터를 사용하여 이전 모델 버전과 새 모델 버전 간의 지표를 자동으로 비교합니다.
-
개선된 성능 지표를 기반으로 모델 승격
-
프로모션 결정에는 지표와 함께 저장된 특정 사유 코드가 포함됩니다.
-
AUTO_PROMOTION_SUCCESSFUL: 새 모델 지표가 현재 버전보다 낫습니다. -
MODEL_METRICS_DIDNT_IMPROVE: 새 모델 성능이 개선되지 않음 -
POOR_MODEL_QUALITY_DETECTED: 새 모델의 품질 평가가 좋지 않음
-
수동 모드(고객 제어 승격)
-
Amazon S3에서 세부 지표를 다운로드하고 분석하여 프로모션 결정을 내릴 수 있습니다.
-
모든 과거 모델 버전 및 지표는 Amazon S3에서 계속 액세스할 수 있습니다.
-
Amazon S3 저장 지표를 사용하여 사용자 지정 대시보드 및 분석 도구를 구축할 수 있습니다.