기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

추론 데이터의 형식 지정 및 업로드

모델 간접 호출 작업을 제출할 때 선택하거나 지정할 S3 위치에 배치 추론 데이터를 추가해야 합니다. S3 위치에는 다음 항목이 포함되어야 합니다.

입력이 배치 추론 할당량을 준수하는지 확인합니다. Amazon Bedrock 서비스 할당량에서 다음 할당량을 검색할 수 있습니다.

배치 추론 입력을 설정하는 방법을 더 잘 이해하려면 다음 예제를 참조하세요.

Anthropic Claude 3 Haiku에 대한 텍스트 입력 예제

Anthropic Claude 3 Haiku 모델의 Messages API 형식을 사용하여 배치 추론을 실행하려는 경우 다음 JSON 객체가 포함된 JSONL 파일을 줄 중 하나로 제공할 수 있습니다.

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Amazon Nova에 대한 비디오 입력 예제

Amazon Nova Lite 또는 Amazon Nova Pro 모델을 사용하여 비디오 입력에서 배치 추론을 실행하려는 경우 비디오를 바이트 단위로 정의하거나 JSONL 파일의 S3 위치로 정의할 수 있습니다. 예를 들어, 경로가 s3://batch-inference-input-bucket이고 다음 파일이 포함된 S3 버킷이 있을 수 있습니다.

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

input.jsonl 파일의 샘플 레코드는 다음과 같습니다.

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

배치 추론 작업을 생성할 때는 InputDataConfig 파라미터s3://batch-inference-input-bucket에 폴더 경로를 지정해야 합니다. 배치 추론은 참조된 리소스(예: videos 하위 폴더의 비디오 input.jsonl 파일)와 함께이 위치에서 파일을 처리합니다.

다음 리소스는 배치 추론을 위한 비디오 입력 제출에 대한 자세한 정보를 제공합니다.

Converse 입력 예제

배치 추론 작업을 생성할 Converse 때 모델 호출 유형을 로 설정하는 경우 modelInput 필드는 Converse API 요청 형식을 사용해야 합니다. 다음 예제는 Converse 배치 추론 작업에 대한 JSONL 레코드를 보여줍니다.

{
    "recordId": "CALL0000001",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "Summarize the following call transcript: ..."
                    }
                ]
            }
        ],
        "inferenceConfig": {
            "maxTokens": 1024
        }
    }
}

Converse 요청 본문에서 지원되는 필드의 전체 목록은 API 참조의 Converse를 참조하세요.

다음 주제에서는 자격 증명이 배치 추론을 수행할 수 있도록 S3 액세스 및 배치 추론 권한을 설정하는 방법을 설명합니다.