Converse API 사용

Converse API는 Amazon Nova 모델과 상호 작용하기 위한 통합 인터페이스를 제공합니다. 모델별 세부 정보를 간략화하고 모든 Amazon Nova 모델에서 멀티턴 대화, 시스템 프롬프트 및 스트리밍 응답을 처리하기 위한 일관된 방법을 제공합니다.

요청 구조

기본 Converse API 요청에는 모델 ID 및 메시지 목록이 포함됩니다.

import boto3

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.converse(
    modelId='us.amazon.nova-2-lite-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'What is machine learning?'}]
        }
    ]
)

content_list = response["output"]["message"]["content"]
# Extract the first text block
text = next((item["text"] for item in content_list if "text" in item), None)
if text is not None:
    print(text)

시스템 프롬프트 사용

시스템 프롬프트는 모델에 컨텍스트 및 지침을 제공합니다.

import boto3

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.converse(
    modelId='us.amazon.nova-2-lite-v1:0',
    system=[
        {'text': 'You are a helpful AI assistant specializing in cloud computing.'}
    ],
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Explain serverless computing.'}]
        }
    ]
)

# Print the response text
content_list = response["output"]["message"]["content"]
text = next((item["text"] for item in content_list if "text" in item), None)
if text is not None:
    print(text)

추론 파라미터

추론 파라미터를 사용하여 모델 출력을 제어합니다. 다음은 사용 가능한 추론 파라미터입니다.

예제:

import boto3
bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.converse(
    modelId='us.amazon.nova-2-lite-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Write a short story.'}]
        }
    ],
    inferenceConfig={
        'maxTokens': 512,
        'temperature': 0.7,
        'topP': 0.9,
        'stopSequences': ['END']
    }
)

content_list = response["output"]["message"]["content"]
text = next((item["text"] for item in content_list if "text" in item), None)
if text is not None:
    print(text)

추론 사용

Nova 2 Lite는 복잡한 문제 해결을 위해 확장된 사고를 지원합니다. reasoningConfig를 사용하여 추론을 활성화합니다.

기본적으로 추론은 단순한 쿼리에서 속도와 비용을 최적화하기 위해 비활성화됩니다. 이러한 간단한 태스크를 넘어선 작업이 필요한 경우 추론을 활성화할 수 있습니다. Nova 2에서는 세 가지 노력 수준을 통해 추론 깊이를 유연하게 제어할 수 있습니다.

다음 예제에서는 여러 추론 노력 수준을 보여줍니다.

Low effort

import boto3

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.converse(
    modelId='us.amazon.nova-2-lite-v1:0',
    system=[{"text": "You are a highly capable personal assistant"}],
    messages=[{
        "role": "user",
        "content": [{"text": "Provide a meal plan for a gluten free family of 4."}]
    }],
    inferenceConfig={
        "temperature": 0.7,
        "topP": 0.9,
        "maxTokens": 10000
    },
    additionalModelRequestFields={
        "reasoningConfig": {
            "type": "enabled",
            "maxReasoningEffort": "low"
        }
    }
)

추론 파라미터:

다음은 추론 파라미터임

응답에는 추론 콘텐츠가 포함됩니다.

{
    "output": {
        "message": {
            "role": "assistant",
            "content": [
                {
                    "reasoningContent": {
                        "reasoningText": {
                            "text": "[REDACTED]"
                        }
                    }
                },
                {
                    "text": "Based on the premises, we can conclude..."
                }
            ]
        }
    },
    "stopReason": "end_turn"
}