전체 요청 스키마
요청 스키마는 Invoke API(스트리밍 및 비스트리밍)와 Converse API 간에 거의 동일합니다. 이미지 및 비디오 페이로드 인코딩과 관련된 미묘한 차이가 있습니다. Amazon Nova Micro는 이미지 또는 비디오를 입력으로 지원하지 않으므로 요청 스키마의 해당 부분은 Amazon Nova Micro에 적용되지 않습니다. 그렇지 않으면 요청 스키마는 모든 Amazon Nova 이해 모델에 대해 동일합니다.
중요
Amazon Nova에 대한 추론 직접 호출의 제한 시간은 60분입니다. 기본적으로 AWS SDK 클라이언트는 1분 후에 시간 초과됩니다. AWS SDK 클라이언트의 읽기 제한 시간을 최소 60분으로 늘리는 것이 좋습니다. 예를 들어 AWS Python botocore SDK에서 botocore.configread_timeout
필드 값을 3600 이상으로 변경합니다.
client = boto3.client( "bedrock-runtime", region_name="us-east-1", config=Config( connect_timeout=3600, # 60 minutes read_timeout=3600, # 60 minutes retries={'max_attempts': 1} ) )
{ "system": [ { "text": string } ], "messages": [ { "role": "user", //first turn should always be the user turn "content": [ { "text":
string
}, { "image": { "format": "jpeg" | "png" | "gif" | "webp", "source": { "bytes":image
// Binary array (Converse API) or Base64-encoded string (Invoke API) } } }, { "video": { "format": "mkv" | "mov" | "mp4" | "webm" | "three_gp" | "flv" | "mpeg" | "mpg" | "wmv", "source": { // Option 1: Sending a S3 location "s3Location": { "uri": string, // example: s3://my-bucket/object-key "bucketOwner": string // (Optional) example: "123456789012" } // Option 2: Sending file bytes "bytes":video
// Binary array (Converse API) or Base64-encoded string (Invoke API) } } }, ] }, { "role": "assistant", "content": [ { "text":string
//prefilling assistant turn } ] } ], "inferenceConfig":{ // all Optional, Invoke parameter names used in this example "maxTokens":int
, // greater than 0, equal or less than 5k (default: dynamic*) "temperature":float
, // greater then 0 and less than 1.0 (default: 0.7) "topP":float
, // greater than 0, equal or less than 1.0 (default: 0.9) "topK":int
, // 0 or greater (default: 50) "stopSequences":[string]
}, "toolConfig": { // all Optional "tools": [ { "toolSpec": { "name":string
, //meaningful tool name (Max char: 64) "description":string
, //meaningful description of the tool "inputSchema": { "json": { // The JSON schema for the tool. For more information, see JSON Schema Reference "type": "object
", "properties": {args
;: { //arguments "type":string
, //argument data type "description":string
//meaningful description } }, "required": [string
//args ] } } } } ], "toolChoice": {"auto":{}} //Amazon Nova models ONLY support tool choice of "auto" } }
다음은 필수 파라미터입니다.
-
system
– (선택 사항) 요청에 대한 시스템 프롬프트입니다.시스템 프롬프트는 특정 목표 또는 역할을 지정하는 것과 같이 Amazon Nova에 컨텍스트와 지침을 제공하는 방법입니다.
-
messages
– (필수) 입력 메시지입니다.-
role
- 대화 턴의 역할입니다. 유효 값은user
및assistant
입니다. -
content
- (필수) 대화 턴의 콘텐츠입니다.-
type
– (필수) 콘텐츠의 유형입니다. 유효한 값은image
,text
또는video
입니다.-
text - 텍스트 콘텐츠
-
text
- 대화 턴의 텍스트 콘텐츠입니다.
-
-
image - 이미지 콘텐츠(Amazon Nova Micro에는 해당되지 않음)
-
format
– (필수) 이미지 형식입니다. 다음 이미지 형식을 지정할 수 있습니다.-
jpeg
-
png
-
webp
-
gif
-
-
source
– (필수) 이미지 데이터입니다. Invoke API의 경우base64
로 인코딩된 이미지 문자열이어야 합니다. Converse API의 경우 바이트 배열이어야 합니다. -
bytes
– (필수) 이미지 데이터입니다. Invoke API의 경우 Base64로 인코딩된 이미지 문자열이어야 합니다. Converse API의 경우 바이트 배열이어야 합니다.
-
-
video - 비디오 콘텐츠(Amazon Nova Micro에는 해당되지 않음)
-
format
– (필수) 비디오 형식입니다. 다음 값을 지정할 수 있습니다.-
mkv
-
mov
-
mp4
-
webm
-
three_gp
-
flv
-
mpeg
-
mpg
-
wmv
-
-
source
– (필수) 비디오 데이터의 소스입니다. 요청에서 Amazon S3 URI 또는 비디오 파일 바이트를 지정할 수 있습니다.-
uri
- (필수) 비디오 파일의 Amazon S3 URI입니다. 예:“s3://my-bucket/object-key”
-
bucketOwner
- (선택 사항) 버킷을 소유한 계정 ID입니다. 별도의 계정에서 모델을 간접적으로 호출하는 경우 사용합니다. -
bytes
– (필수) 이미지 데이터입니다. Invoke API의 경우 Base64로 인코딩된 이미지 문자열이어야 합니다. Converse API의 경우 바이트 배열이어야 합니다.
-
-
-
-
-
-
inferenceConfig:
추론에 전달될 수 있는 추론 구성 값입니다.-
maxTokens
– (선택 사항) 중지하기 전에 생성할 최대 토큰 수입니다.참고로 Amazon Nova 모델은
maxTokens
값에 도달하기 전에 토큰 생성을 중지할 수 있습니다. 허용되는 최대 새 토큰 값은 5,000입니다. -
temperature
– (선택 사항) 응답에 주입되는 무작위성의 양입니다. 유효한 값은 0.00001에서 1 사이입니다. 기본 값은 0.7입니다. -
topP
– (선택 사항) nucleus 샘플링을 사용합니다.Amazon Nova는 각 후속 토큰의 모든 옵션에 대한 누적 분포를 확률 내림차순으로 계산하고
topP
에서 지정한 특정 확률에 도달하면 이를 차단합니다.temperature
또는topP
를 변경해야 하지만, 둘 다 변경해서는 안 됩니다. 유효한 값은 0에서 1 사이입니다. 기본값은 0.9입니다. -
topK
– (선택 사항) 각 후속 토큰에 대해 상위 K개 옵션에서만 샘플을 추출합니다.topK
파라미터를 사용하여 롱 테일 낮은 확률 응답을 제거합니다. 유효한 값은 0에서 128 사이입니다. 기본값은 이 파라미터가 사용되지 않는 것입니다.참고
topK
파라미터와 함께 Converse API를 사용하는 경우additionalModelRequestFields
필드에 추가inferenceConfig
파라미터를 포함해야 합니다. 이러한 파라미터가 전달되는 방법의 예제는 Converse API 사용 섹션을 참조하세요. -
stopSequences
– (선택 사항) 중지 시퀀스가 포함된 문자열의 배열입니다. 모델이 이러한 문자열을 생성하면 생성이 중지되고 해당 시점까지 응답이 반환됩니다.
Parameter Default value Range temperature
0.7 0.00001-1 topP
0.9 0-1 topK
Not used 0-128 -
-
toolConfig
– (선택 사항) 도구 사양과 도구 선택을 포함하는 ToolConfig 스키마를 따르는 JSON 객체입니다. 이 스키마는 Converse API에서 따르는 것과 동일합니다.