기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
매니페스트 파일 형식
다음 섹션에는 입력, 출력 및 평가 파일의 매니페스트 파일 형식 샘플이 나와 있습니다.
입력 매니페스트
매니페스트 파일은 json 줄로 구분된 파일로, 각 줄에는 단일 이미지에 대한 정보가 들어 있는 JSON이 들어 있습니다.
입력 매니페스트의 각 항목은 Amazon S3 버킷에 든 이미지 경로가 있는 source-ref 필드를 포함해야 하며, 사용자 지정 조절의 경우 실측 정보 주석이 있는 content-moderation-groundtruth 필드를 포함해야 합니다. 한 데이터 세트의 모든 이미지는 동일한 버킷에 있어야 합니다. 이 구조는 훈련 매니페스트 파일과 테스트 매니페스트 파일 모두에 공통으로 적용됩니다.
사용자 지정 조절의 CreateProjectVersion 작업은 입력 매니페스트에 제공된 정보를 사용하여 어댑터를 훈련시킵니다.
다음 예제는 안전하지 않은 단일 클래스가 포함된 단일 이미지에 대한 매니페스트 파일의 한 줄입니다.
{ "source-ref": "s3://foo/bar/1.jpg", "content-moderation-groundtruth": { "ModerationLabels": [ { "Name": "Rude Gesture" } ] } }
다음 예제는 안전하지 않은 여러 클래스, 특히 나체 및 무례한 제스처를 포함하는 안전하지 않은 단일 이미지에 대한 매니페스트 파일의 한 줄입니다.
{ "source-ref": "s3://foo/bar/1.jpg", "content-moderation-groundtruth": { "ModerationLabels": [ { "Name": "Rude Gesture" }, { "Name": "Nudity" } ] } }
다음 예제는 안전하지 않은 클래스가 포함되지 않은 단일 이미지에 대한 매니페스트 파일의 한 줄입니다.
{ "source-ref": "s3://foo/bar/1.jpg", "content-moderation-groundtruth": { "ModerationLabels": [] } }
지원되는 레이블의 전체 목록은 콘텐츠 조절을 참조하세요.
출력 매니페스트
훈련 작업이 완료되면 출력 매니페스트 파일이 반환됩니다. 출력 매니페스트 파일은 JSON 줄로 구분된 파일로, 각 줄에는 단일 이미지에 대한 정보가 들어 있는 JSON이 들어 있습니다. OutputManifest의 Amazon S3 경로는 DescribeProjectVersion 응답에서 확인할 수 있습니다.
-
데이터 세트 훈련용
TrainingDataResult.Output.Assets[0].GroundTruthManifest.S3Object -
데이터 세트 테스트용
TestingDataResult.Output.Assets[0].GroundTruthManifest.S3Object
출력 매니페스트의 각 항목에 대해 다음 정보가 반환됩니다.
| Key Name | Description |
source-ref
|
Reference to an image in s3 that was provided in the input maniefst |
content-moderation-groundtruth
|
Ground truth annotations that were provided in the input manifest |
detect-moderation-labels
|
Adapter predictions, part of the testing dataset only |
detect-moderation-labels-base-model
|
Base model predictions, part of the testing dataset only |
어댑터 및 기본 모델 예측은 ConfidenceTrehsold 5.0에서 DetectModerationLabels 응답과 유사한 형식으로 반환됩니다.
다음 예제는 어댑터 및 기본 모델 예측의 구조를 보여줍니다.
{ "ModerationLabels": [ { "Confidence": number, "Name": "string", "ParentName": "string" } ], "ModerationModelVersion": "string", "ProjectVersion": "string" }
반환되는 레이블의 전체 목록은 콘텐츠 조절을 참조하세요.
평가 결과 매니페스트
훈련 작업이 완료되면 평가 결과 매니페스트 파일이 반환됩니다. 평가 결과 매니페스트는 훈련 작업에서 출력한 JSON 파일이며, 여기에는 테스트 데이터에서 어댑터가 얼마나 좋은 결과를 냈는지에 대한 정보가 들어 있습니다.
평가 결과 매니페스트의 Amazon S3 경로는 DescribeProejctVersion 응답의 EvaluationResult.Summary.S3Object 필드에서 확인할 수 있습니다.
다음 예제는 평가 결과 매니페스트 구조를 보여줍니다.
{ "AggregatedEvaluationResults": { "F1Score": number }, "EvaluationDetails": { "EvaluationEndTimestamp": "datetime", "Labels": [ "string" ], "NumberOfTestingImages": number, "NumberOfTrainingImages": number, "ProjectVersionArn": "string" }, "ContentModeration": { "InputConfidenceThresholdEvalResults": { "ConfidenceThreshold": float, "AggregatedEvaluationResults": { "BaseModel": { "TruePositive": int, "TrueNegative": int, "FalsePositive": int, "FalseNegative": int }, "Adapter": { "TruePositive": int, "TrueNegative": int, "FalsePositive": int, "FalseNegative": int } }, "LabelEvaluationResults": [ { "Label": "string", "BaseModel": { "TruePositive": int, "TrueNegative": int, "FalsePositive": int, "FalseNegative": int }, "Adapter": { "TruePositive": int, "TrueNegative": int, "FalsePositive": int, "FalseNegative": int } } ] } "AllConfidenceThresholdsEvalResults": [ { "ConfidenceThreshold": float, "AggregatedEvaluationResults": { "BaseModel": { "TruePositive": int, "TrueNegative": int, "FalsePositive": int, "FalseNegative": int }, "Adapter": { "TruePositive": int, "TrueNegative": int, "FalsePositive": int, "FalseNegative": int } }, "LabelEvaluationResults": [ { "Label": "string", "BaseModel": { "TruePositive": int, "TrueNegative": int, "FalsePositive": int, "FalseNegative": int }, "Adapter": { "TruePositive": int, "TrueNegative": int, "FalsePositive": int, "FalseNegative": int } } ] } ] } }
평가 매니페스트 파일에는 다음이 포함됩니다.
-
F1Score에 정의된 집계 결과 -
ProjectVersionArn, 훈련 이미지의 수, 테스트 이미지의 수, 어댑터가 훈련된 레이블 등 평가 작업에 대한 세부 정보
-
기본 모델 및 어댑터 성능 둘 다에 대한 TruePositive, TrueNegative, FalsePositive, FalseNegative 결과 집계치
-
입력 신뢰도 임계값에서 계산된 기본 모델 및 어댑터 성능 모두에 대한 레이블별 TruePositive, TrueNegative, FalsePositive 및 FalseNegative 결과
-
서로 다른 신뢰도 임계값에서 기본 모델 및 어댑터 성능 모두에 대한 레이블별 TruePositive, TrueNegative, FalsePositive 및 FalseNegative 결과 집계치 신뢰도 임계값의 범위는 5에서 100까지이며 5씩 조절 가능합니다.