배치 API를 사용하여 프롬프트 OpenAI 배치 제출 - Amazon Bedrock
지원되는 모델 및 리전사전 조건배치 작업 생성배치 작업 검색배치 작업 나열일괄 작업 취소

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

배치 API를 사용하여 프롬프트 OpenAI 배치 제출

Amazon Bedrock OpenAI 모델에서 배치 OpenAI 생성 API를 사용하여 배치 추론 작업을 실행할 수 있습니다.

배치 OpenAI 생성 API를 다음과 같은 방법으로 호출할 수 있습니다.

  • Amazon Bedrock 런타임 엔드포인트를 사용하여 HTTP 요청을 수행합니다.

  • Amazon Bedrock 런타임 엔드포인트와 함께 OpenAI SDK 요청을 사용합니다.

주제를 선택하여 자세히 알아보세요.

OpenAI 배치 API에 지원되는 모델 및 리전

배치 OpenAI 생성 API는 Amazon Bedrock 및 이러한 OpenAI 모델을 지원하는 AWS 리전에서 지원되는 모든 모델에 사용할 수 있습니다. 지원되는 모델 및 리전에 대한 자세한 내용은 섹션을 참조하세요Amazon Bedrock에서 지원되는 파운데이션 모델.

OpenAI 배치 API를 사용하기 위한 사전 조건

OpenAI 배치 API 작업을 사용하기 위한 사전 조건을 보려면 원하는 방법의 탭을 선택한 다음 다음 단계를 따릅니다.

OpenAI SDK
HTTP request

OpenAI 배치 작업 생성

배치 OpenAI 생성 API에 대한 자세한 내용은 OpenAI 설명서의 다음 리소스를 참조하세요.

  • 배치 생성 - 요청과 응답을 모두 자세히 설명합니다.

  • 요청 출력 객체 - 배치 작업에서 생성된 출력의 필드를 자세히 설명합니다. S3 버킷의 결과를 해석할 때는이 설명서를 참조하세요.

요청 양식 작성

배치 추론 요청을 구성할 때 다음 Amazon Bedrock 관련 필드 및 값을 기록해 둡니다.

요청 헤더
요청 본문 파라미터:

  • 엔드포인트 - 여야 합니다v1/chat/completions.

  • input_file_id - 배치 JSONL 파일의 S3 URI를 지정합니다.

생성된 결과 찾기

생성 응답에는 배치 ID가 포함됩니다. 배치 추론 작업의 결과 및 오류 로깅은 입력 파일이 포함된 S3 폴더에 기록됩니다. 결과는 다음 폴더 구조와 같이 배치 ID와 이름이 동일한 폴더에 있습니다.

---- {batch_input_folder}
        |---- {batch_input}.jsonl
        |---- {batch_id}
	           |---- {batch_input}.jsonl.out
	           |---- {batch_input}.jsonl.err

배치 OpenAI 생성 API를 다양한 메서드와 함께 사용하는 예를 보려면 원하는 메서드의 탭을 선택한 다음 다음 단계를 따릅니다.

OpenAI SDK (Python)

OpenAI SDK를 사용하여 배치 작업을 생성하려면 다음을 수행합니다.

  1. OpenAI SDK를 가져오고 다음 필드를 사용하여 클라이언트를 설정합니다.

    • base_url - 다음 형식과 /openai/v1같이 Amazon Bedrock 런타임 엔드포인트를에 접두사로 추가합니다.

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key - Amazon Bedrock API 키를 지정합니다.

    • default_headers - 헤더를 포함해야 하는 경우이 객체에 헤더를 키-값 페어로 포함할 수 있습니다. 또는 특정 API 호출을 수행할 extra_headers 때에서 헤더를 지정할 수 있습니다.

  2. 클라이언트와 함께 batches.create() 메서드를 사용합니다.

다음 예제를 실행하기 전에 다음 필드의 자리 표시자를 바꿉니다.

  • api_key - $AWS_BEARER_TOKEN_BEDROCK을 실제 API 키로 바꿉니다.

  • X-Amzn-BedrockRoleArn – arn:aws:iam::123456789012:role/BatchServiceRole을 설정한 실제 배치 추론 서비스 역할로 바꿉니다.

  • input_file_id – s3://amzn-s3-demo-bucket/openai-input.jsonl을 배치 JSONL 파일을 업로드한 실제 S3 URI로 바꿉니다.

이 예제에서는에서 배치 작업 OpenAI 생성 API를 호출us-west-2하고 메타데이터 하나를 포함합니다.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK", # Replace with actual API key
    default_headers={
        "X-Amzn-Bedrock-RoleArn": "arn:aws:iam::123456789012:role/BatchServiceRole" # Replace with actual service role ARN
    }
)

job = client.batches.create(
    input_file_id="s3://amzn-s3-demo-bucket/openai-input.jsonl", # Replace with actual S3 URI
    endpoint="/v1/chat/completions",
    completion_window="24h",
    metadata={
        "description": "test input"
    },
    extra_headers={
        "X-Amzn-Bedrock-ModelId": "openai.gpt-oss-20b-1:0",
    }
)
print(job)
HTTP request

직접 HTTP 요청으로 채팅 완료를 생성하려면 다음을 수행합니다.

  1. POST 메서드를 사용하고 다음 형식과 /openai/v1/batches같이 Amazon Bedrock 런타임 엔드포인트를에 접두사로 지정하여 URL을 지정합니다.

    https://${bedrock-runtime-endpoint}/openai/v1/batches

  2. Authorization 헤더에서 AWS 자격 증명 또는 Amazon Bedrock API 키를 지정합니다.

다음 예제를 실행하기 전에 먼저 다음 필드의 자리 표시자를 바꿉니다.

  • 권한 부여 - $AWS_BEARER_TOKEN_BEDROCK을 실제 API 키로 바꿉니다.

  • X-Amzn-BedrockRoleArn – arn:aws:iam::123456789012:role/BatchServiceRole을 설정한 실제 배치 추론 서비스 역할로 바꿉니다.

  • input_file_id – s3://amzn-s3-demo-bucket/openai-input.jsonl을 배치 JSONL 파일을 업로드한 실제 S3 URI로 바꿉니다.

다음 예제에서는에서 채팅 완료 생성 API를 호출us-west-2하고 메타데이터 하나를 포함합니다.

curl -X POST 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \  
    -H 'Content-Type: application/json' \
    -H 'X-Amzn-Bedrock-ModelId: openai.gpt-oss-20b-1:0' \
    -H 'X-Amzn-Bedrock-RoleArn: arn:aws:iam::123456789012:role/BatchServiceRole' \  
    -d '{    
    "input_file_id": "s3://amzn-s3-demo-bucket/openai-input.jsonl",    
    "endpoint": "/v1/chat/completions",    
    "completion_window": "24h",
    "metadata": {"description": "test input"}  
}'

OpenAI 배치 작업 검색

배치 OpenAI API 요청 및 응답 검색에 대한 자세한 내용은 배치 검색을 참조하세요.

요청할 때 정보를 가져올 배치 작업의 ID를 지정합니다. 응답은 S3 버킷에서 조회할 수 있는 출력 및 오류 파일 이름을 포함하여 배치 작업에 대한 정보를 반환합니다.

다양한 메서드에서 배치 OpenAI 검색 API를 사용하는 예를 보려면 원하는 메서드의 탭을 선택한 다음 다음 단계를 따릅니다.

OpenAI SDK (Python)

OpenAI SDK를 사용하여 배치 작업을 검색하려면 다음을 수행합니다.

  1. OpenAI SDK를 가져오고 다음 필드를 사용하여 클라이언트를 설정합니다.

    • base_url - 다음 형식과 /openai/v1같이 Amazon Bedrock 런타임 엔드포인트를에 접두사로 추가합니다.

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key - Amazon Bedrock API 키를 지정합니다.

    • default_headers - 헤더를 포함해야 하는 경우이 객체에 헤더를 키-값 페어로 포함할 수 있습니다. 또는 특정 API 호출을 수행할 extra_headers 때에서 헤더를 지정할 수 있습니다.

  2. 클라이언트와 함께 batches.retrieve() 메서드를 사용하고 정보를 검색할 배치의 ID를 지정합니다.

다음 예제를 실행하기 전에 다음 필드의 자리 표시자를 바꿉니다.

  • api_key - $AWS_BEARER_TOKEN_BEDROCK을 실제 API 키로 바꿉니다.

  • batch_id - $AWS_BEARER_TOKEN_BEDROCK을 실제 API 키로 바꿉니다.

이 예제에서는 ID가 batch_abc123인 배치 작업us-west-2의 OpenAI에서 배치 작업 검색 API를 호출합니다.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

직접 HTTP 요청으로 배치 작업을 검색하려면 다음을 수행합니다.

  1. GET 메서드를 사용하고 다음 형식과 /openai/v1/batches/${batch_id}같이 Amazon Bedrock 런타임 엔드포인트를에 접두사로 지정하여 URL을 지정합니다.

    https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123

  2. Authorization 헤더에서 AWS 자격 증명 또는 Amazon Bedrock API 키를 지정합니다.

다음 예제를 실행하기 전에 먼저 다음 필드의 자리 표시자를 바꿉니다.

  • 권한 부여 - $AWS_BEARER_TOKEN_BEDROCK을 실제 API 키로 바꿉니다.

  • batch_abc123 - 경로에서이 값을 배치 작업의 실제 ID로 바꿉니다.

다음 예제에서는 ID가 batch_abc123인 배치 작업us-west-2의에서 배치 OpenAI 검색 API를 호출합니다.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

OpenAI 배치 작업 나열

배치 OpenAI 나열 API 요청 및 응답에 대한 자세한 내용은 배치 나열을 참조하세요. 응답은 배치 작업에 대한 정보 배열을 반환합니다.

요청을 할 때 쿼리 파라미터를 포함하여 결과를 필터링할 수 있습니다. 응답은 S3 버킷에서 조회할 수 있는 출력 및 오류 파일 이름을 포함하여 배치 작업에 대한 정보를 반환합니다.

배치 OpenAI 나열 API를 다양한 메서드와 함께 사용하는 예를 보려면 원하는 메서드의 탭을 선택한 다음 다음 단계를 따릅니다.

OpenAI SDK (Python)

OpenAI SDK를 사용하여 배치 작업을 나열하려면 다음을 수행합니다.

  1. OpenAI SDK를 가져오고 다음 필드를 사용하여 클라이언트를 설정합니다.

    • base_url - 다음 형식과 /openai/v1같이 Amazon Bedrock 런타임 엔드포인트를에 접두사로 추가합니다.

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key - Amazon Bedrock API 키를 지정합니다.

    • default_headers - 헤더를 포함해야 하는 경우이 객체에 헤더를 키-값 페어로 포함할 수 있습니다. 또는 특정 API 호출을 수행할 extra_headers 때에서 헤더를 지정할 수 있습니다.

  2. 클라이언트에서 batches.list() 메서드를 사용합니다. 선택적 파라미터를 포함할 수 있습니다.

다음 예제를 실행하기 전에 다음 필드의 자리 표시자를 바꿉니다.

  • api_key - $AWS_BEARER_TOKEN_BEDROCK을 실제 API 키로 바꿉니다.

이 예제에서는에서 배치 작업 OpenAI 나열 API를 호출us-west-2하고 반환할 결과 수를 2개로 지정합니다.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

직접 HTTP 요청이 있는 배치 작업을 나열하려면 다음을 수행합니다.

  1. GET 메서드를 사용하고 다음 형식과 /openai/v1/batches같이 Amazon Bedrock 런타임 엔드포인트를에 접두사로 지정하여 URL을 지정합니다.

    https://${bedrock-runtime-endpoint}/openai/v1/batches

    선택적 쿼리 파라미터를 포함할 수 있습니다.

  2. Authorization 헤더에서 AWS 자격 증명 또는 Amazon Bedrock API 키를 지정합니다.

다음 예제를 실행하기 전에 먼저 다음 필드의 자리 표시자를 바꿉니다.

  • 권한 부여 - $AWS_BEARER_TOKEN_BEDROCK을 실제 API 키로 바꿉니다.

다음 예제에서는에서 배치 OpenAI 나열 API를 호출us-west-2하고 반환할 결과 수를 2개로 지정합니다.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

OpenAI 배치 작업 취소

배치 OpenAI API 요청 및 응답 취소에 대한 자세한 내용은 배치 취소를 참조하세요. 응답은 취소된 배치 작업에 대한 정보를 반환합니다.

요청을 할 때 취소할 배치 작업의 ID를 지정합니다.

배치 OpenAI API를 다양한 메서드와 함께 사용하는 예를 보려면 원하는 메서드의 탭을 선택한 다음 다음 단계를 따릅니다.

OpenAI SDK (Python)

OpenAI SDK를 사용하여 배치 작업을 취소하려면 다음을 수행합니다.

  1. OpenAI SDK를 가져오고 다음 필드를 사용하여 클라이언트를 설정합니다.

    • base_url - 다음 형식과 /openai/v1같이 Amazon Bedrock 런타임 엔드포인트를에 접두사로 추가합니다.

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key - Amazon Bedrock API 키를 지정합니다.

    • default_headers - 헤더를 포함해야 하는 경우이 객체에 헤더를 키-값 페어로 포함할 수 있습니다. 또는 특정 API 호출을 수행할 extra_headers 때에서 헤더를 지정할 수 있습니다.

  2. 클라이언트와 함께 batches.cancel() 메서드를 사용하고 정보를 검색할 배치의 ID를 지정합니다.

다음 예제를 실행하기 전에 다음 필드의 자리 표시자를 바꿉니다.

  • api_key - $AWS_BEARER_TOKEN_BEDROCK을 실제 API 키로 바꿉니다.

  • batch_id - $AWS_BEARER_TOKEN_BEDROCK을 실제 API 키로 바꿉니다.

이 예제에서는 ID가 batch_abc123인 배치 작업us-west-2의에서 배치 작업 OpenAI 취소 API를 호출합니다.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.cancel(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

직접 HTTP 요청으로 배치 작업을 취소하려면 다음을 수행합니다.

  1. POST 메서드를 사용하고 다음 형식과 /openai/v1/batches/${batch_id}/cancel같이 Amazon Bedrock 런타임 엔드포인트를에 접두사로 지정하여 URL을 지정합니다.

    https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123/cancel

  2. Authorization 헤더에서 AWS 자격 증명 또는 Amazon Bedrock API 키를 지정합니다.

다음 예제를 실행하기 전에 먼저 다음 필드의 자리 표시자를 바꿉니다.

  • 권한 부여 - $AWS_BEARER_TOKEN_BEDROCK을 실제 API 키로 바꿉니다.

  • batch_abc123 - 경로에서이 값을 배치 작업의 실제 ID로 바꿉니다.

다음 예제에서는 ID가 batch_abc123인 배치 작업us-west-2의에서 배치 OpenAI 취소 API를 호출합니다.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123/cancel' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'