Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Cómo funciona la inferencia en Amazon Bedrock
Al enviar una entrada a un modelo, el modelo predice una secuencia probable de símbolos que sigue y devuelve esa secuencia como salida. Amazon Bedrock le ofrece la capacidad de ejecutar inferencias con el modelo básico que elija. Para ejecutar una inferencia, proporcione las siguientes entradas:
-
Petición: una entrada que se proporciona al modelo para que genere una respuesta. Para obtener información sobre la escritura de peticiones, consulte Conceptos de ingeniería de peticiones. Para obtener más información sobre la protección contra los ataques de inyección de peticiones, consulte Seguridad de la inyección de peticiones.
-
Modelo: usted solicita a un modelo que ejecute la inferencia en función de una solicitud. El modelo que elija también especifica un nivel de rendimiento, que define el número y la velocidad de los tokens de entrada y salida que puede procesar. Puede realizar solicitudes a los siguientes tipos de modelos:
-
Modelo base: un modelo básico con el que realizar inferencias. Las solicitudes se envían a una sola AWS región. Para ver el modelo IDs, consulteModelos fundacionales compatibles en Amazon Bedrock. Para obtener más información sobre los modelos fundacionales disponibles en Amazon Bedrock, consulte Información del modelo fundacional de Amazon Bedrock.
-
Perfil de inferencia: un modelo básico con el que realizar inferencias. Las solicitudes al modelo se realizan en varias AWS regiones. Para ver el perfil de inferencia IDs, consulteRegiones y modelos compatibles para perfiles de inferencia.
nota
Los modelos difieren en la disponibilidad del modelo base y del perfil de inferencia según la región y el método de API. Para obtener más información, consulte Modelos fundacionales compatibles en Amazon Bedrock las páginas de modelos individuales en la referencia de modelos de Foundation.
-
Rendimiento aprovisionado: un modelo básico para el que ha adquirido un rendimiento dedicado. Para obtener más información, consulte Rendimiento aprovisionado
-
Modelo personalizado: un modelo básico cuyos pesos se han modificado mediante la personalización del modelo. Para obtener más información, consulte Personalización del modelo para mejorar su rendimiento según su caso de uso.
-
-
Parámetros de inferencia: conjunto de valores que se pueden ajustar para limitar o influir en la respuesta del modelo. Para obtener más información acerca de los parámetros de inferencia, consulte Influencia sobre la generación de respuestas con parámetros de inferencia y Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.
Invocar modelos en diferentes regiones AWS
Cuando se invoca un modelo, se elige el lugar Región de AWS en el que se va a invocar. Las cuotas de frecuencia y tamaño de las solicitudes que puede realizar dependen de la región. Puede encontrar estas cuotas buscando las siguientes cuotas en Amazon Bedrock Service Quots:
-
Solicitudes de inferencia de modelos a pedido por minuto para
${Model} -
InvokeModel Tokens a pedido por minuto para
${Model}
También puede invocar un perfil de inferencia en lugar del propio modelo básico. Un perfil de inferencia define un modelo y una o más regiones a las que el perfil de inferencia puede dirigir las solicitudes de invocación del modelo. Al invocar un perfil de inferencia que incluye varias regiones, puede aumentar su rendimiento. Para obtener más información, consulte Aumente el rendimiento con la inferencia entre regiones. Para ver las cuotas de frecuencia y tamaño de las solicitudes que puede realizar con un perfil de inferencia, busque las siguientes cuotas en Amazon Bedrock service quota:
-
InvokeModel Solicitudes interregionales por minuto para
${Model} -
InvokeModel Tokens entre regiones por minuto para
${Model} -
InvokeModel Solicitudes globales entre regiones por minuto para
${Model} -
InvokeModel Tokens globales entre regiones por minuto para
${Model}
Las solicitudes realizadas a una región pueden tramitarse desde zonas locales que comparten la misma región principal. Por ejemplo, las solicitudes realizadas a EE. UU. Este (Virginia del Norte) (us-east-1) pueden atenderse desde cualquier zona local asociada a ella, como Atlanta, EE. UU. (us-east-1-atl-2a).
El mismo principio se aplica cuando se utiliza la inferencia entre regiones. Por ejemplo, las solicitudes realizadas al perfil de Anthropic Claude 3 Haiku inferencia de EE. UU. pueden atenderse desde cualquier zona local cuya región principal esté en EE. UU., como Seattle, EE. UU. (us-west-2-sea-1a). Cuando se añadan nuevas zonas locales AWS, también se añadirán al punto final de inferencia interregional correspondiente.
Para ver una lista de los puntos finales locales y las regiones principales a las que están asociados, consulte Ubicaciones de zonas AWS locales
Cuando invoca un perfil de inferencia entre regiones en Amazon Bedrock, su solicitud se origina en una región de origen y se enruta automáticamente a una de las regiones de destino definidas en ese perfil, lo que optimiza el rendimiento. Las regiones de destino del perfil de inferencia global entre regiones incluyen todas las regiones comerciales.
El perfil de inferencia global entre regiones para un modelo específico puede cambiar con el tiempo, ya que AWS agrega más regiones comerciales en las que se pueden procesar sus solicitudes. Sin embargo, si un perfil de inferencia está vinculado a una región geográfica (como EE. UU., la UE o APAC), su lista de regiones de destino nunca cambiará. AWS podría crear nuevos perfiles de inferencia que incorporen nuevas regiones. Puede actualizar sus sistemas para utilizar estos perfiles de inferencia cambiando IDs la configuración por una nueva.
nota
Las regiones de destino de un perfil de inferencia interregional pueden incluir regiones opcionales, que son regiones que debe habilitar de forma explícita a Cuenta de AWS nivel de organización. Para obtener más información, consulta Cómo activar o desactivar tu cuenta Regiones de AWS. Si utilizas un perfil de inferencia entre regiones, tu solicitud de inferencia se puede dirigir a cualquiera de las regiones de destino del perfil, incluso si no has optado por utilizar dichas regiones en tu cuenta.
Las políticas de control de servicios (SCPs) y las políticas AWS Identity and Access Management (de IAM) funcionan en conjunto para controlar dónde se permite la inferencia entre regiones. Con SCPs ellas, puede controlar qué regiones puede utilizar Amazon Bedrock para la inferencia y, mediante las políticas de IAM, puede definir qué usuarios o roles tienen permiso para ejecutar la inferencia. Si alguna región de destino de un perfil de inferencia entre regiones está bloqueada en su perfil SCPs, la solicitud fallará aunque se sigan permitiendo otras regiones. Para garantizar un funcionamiento eficiente con la inferencia entre regiones, puede actualizar sus políticas SCPs y las de IAM para permitir todas las acciones de inferencia requeridas de Amazon Bedrock (por ejemplo, bedrock:InvokeModel* obedrock:CreateModelInvocationJob) en todas las regiones de destino incluidas en el perfil de inferencia elegido. Para obtener más información, consulte https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/
