Amazon Nova 2에서 확장된 사고

Amazon Nova 2 Lite에서는 모델이 복잡한 문제에 대한 심층적인 추론에 참여할 수 있는 확장된 사고 기능을 도입했습니다. 이 선택적 기능을 사용하면 모델이 어려운 태스크를 고민할 때 추가 계산 리소스를 할당하는 시기와 방법을 제어할 수 있습니다.

확장된 사고의 작동 방식

Amazon Nova 2에서는 확장된 사고를 하이브리드 기능으로 도입합니다. 다음을 완벽하게 제어할 수 있습니다.

추론 노력

다음은 다양한 수준의 추론 노력을 보여줍니다.

낮은 수준의 노력(maxReasoningeffort: "low")

적합한 작업: 체계적인 사고가 요구되는 복잡성이 늘어난 태스크. 예를 들어 모델이 기존 코드 품질을 신중하게 고려해야 하는 코드 검토 및 개선 제안, 여러 요인을 신중하게 고려해야 하는 분석 태스크 또는 방법론적 접근 방식의 이점을 활용하는 문제 해결 시나리오에 사용할 수 있습니다. 낮은 수준의 노력은 심층적인 여러 단계의 계획을 세우지 않고도 기본적인 추론을 통해 정확도가 향상되는 복합 태스크에 적합합니다.

중간 노력(maxReasoningEffort: "medium")

적합한 작업: 여러 단계의 태스크 및 코딩 워크플로. 예를 들어 변경 사항을 구현하기 전에 모델이 기존 코드 구조를 이해해야 하는 소프트웨어 개발 및 디버깅, 여러 파일 또는 구성 요소에서 조정이 필요한 코드 생성, 상호 종속성이 존재하는 여러 단계의 계산이나 여러 제약 존건이 있는 태스크 계획에 사용할 수 있습니다. 중간 노력은 여러 도구를 조정하고 모델이 여러 순차적 작업에서 컨텍스트를 유지 관리해야 하는 에이전트 워크플로에 적합합니다.

높은 수준의 노력(maxReasoningeffort: "high")

적합한 작업: STEM 추론 및 고급 문제 해결. 예를 들어 엄격한 단계별 확인, 심층 조사를 요구하는 과학 분석 및 연구 태스크, 여러 차원에서 아키텍처 고려 사항이 포함된 복잡한 시스템 설계 또는 중요한 영향을 미치는 중요한 의사 결정 시나리오가 필요한 고급 수학적 문제 및 증명에 사용할 수 있습니다. 높은 수준의 노력은 정교한 추론, 대안에 대한 신중한 평가, 결론에 대한 철저한 검증이 필요한 태스크에서 최대의 정확도를 제공합니다.

빠른 시작: 확장된 사고 활성화

확장된 사고는 reasoningConfig 파라미터를 통해 제어됩니다.

import boto3

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.converse(
    modelId='us.amazon.nova-2-lite-v1:0',
    system=[{"text": "You are a highly capable personal assistant"}],
    messages=[{
        "role": "user",
        "content": [{"text": "Provide a meal plan for a gluten free family of 4."}]
    }],
    inferenceConfig={
        "temperature": 0.7,
        "topP": 0.9,
        "maxTokens": 10000
    },
    additionalModelRequestFields={
        "reasoningConfig": {
            "type": "enabled",
            "maxReasoningEffort": "low"
        }
    }
)

content_list = response["output"]["message"]["content"]

for item in content_list:
    if "reasoningContent" in item:
        reasoning_text = item["reasoningContent"]["reasoningText"]["text"]
        print("=== REASONING ===")
        print(reasoning_text)
        print()
    elif "text" in item:
        print("=== ANSWER ===")
        print(item["text"])

추론 파라미터:

확장된 사고를 활용하는 코드의 전체 예제는 코드 라이브러리 섹션을 참조하세요.

응답 구조

확장된 사고를 활성화하면 응답에는 reasoningContent 블록과 text 콘텐츠 블록이 순서대로 포함됩니다.

{
    "output": {
        "message": {
            "role": "assistant",
            "content": [
                {
                    "reasoningContent": {
                        "reasoningText": {
                            "text": "[REDACTED]"
                        }
                    }
                },
                {
                    "text": "Based on the premises, we can conclude..."
                }
            ]
        }
    },
    "stopReason": "end_turn"
}

구성 옵션

Amazon Nova 2에서는 추론을 활성화하기 위해 기존 Converse 요청 구조에 추가할 수 있는 새로운 reasoningConfig 파라미터를 도입합니다.

additionalModelRequestFields={
    "reasoningConfig": {
        "type": "enabled",  # or "disabled" (default)
        "maxReasoningEffort": "high"  # "low", "medium", or "high"
    }
}

파라미터:

지원되는 모델

확장된 사고는 현재 Amazon Nova 2 Lite(us.amazon.nova-2-lite-v1:0)에서 사용할 수 있음

도구 사용을 통한 확장된 사고

확장된 사고는 도구 직접 호출과 원활하게 작동하므로 Amazon Nova는 사용할 도구와 결과를 해석하는 방법을 추론할 수 있습니다.

추론 토큰 및 요금 이해

토큰 유형

확장된 사고 토큰은 출력 토큰으로 청구됩니다.

사용량 분석

세 가지 토큰 유형 모두 사용자의 사용량 지표 및 결제에 포함됩니다. 추론 토큰은 출력 토큰과 요금이 동일하며 모델 응답에 '삭제됨'으로 표시됩니다.”

  {
  "usage": {
    "inputTokens": 45,
    "outputTokens": 1240,
    "totalTokens": 1285
  }
}
  

FAQ