Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de la característica Uso de computadora para completar una respuesta del modelo de Amazon Bedrock
El uso del ordenador es una capacidad Anthropic Claude modelo (en versión beta) disponible únicamente con Anthropic Claude 3.7 Sonnet la versión Claude 3.5 Sonnet 2. Con Uso de computadora, Claude puede ayudarlo a automatizar tareas mediante acciones básicas de la GUI.
aviso
La función de uso del ordenador está disponible como un «Servicio beta», tal y como se define en las Condiciones del AWS servicio. Está sujeto a su acuerdo con AWS él, a las condiciones del AWS servicio y al modelo de EULA aplicable. Tenga en cuenta que la API de Computer Use presenta riesgos únicos que son distintos de los de las características de la API estándar o de las interfaces de chat. Estos riesgos aumentan cuando se utiliza la API de Computer Use para interactuar con internet. Para minimizar los riesgos, considere tomar las siguientes precauciones:
Utilice la característica Uso de computadora en una máquina virtual o un contenedor específicos con privilegios mínimos para evitar ataques directos al sistema o accidentes.
Evitar dar a la API de Computer Use acceso a datos o cuentas confidenciales, para prevenir el robo de información.
Limite el acceso a internet de la API de Computer Use a los dominios necesarios para reducir la exposición a contenido malicioso.
Para garantizar una supervisión adecuada, asigne a una persona a las tareas delicadas (como la toma de decisiones que podría tener consecuencias significativas en el mundo real) y para cualquier cosa que requiera un consentimiento afirmativo (como aceptar cookies, ejecutar transacciones financieras o aceptar las condiciones del servicio).
Cualquier contenido que permita que Claude vea o acceda puede anular las instrucciones o provocar que Claude realice errores o acciones no deseadas. Es fundamental tomar las precauciones adecuadas, como aislar a Claude de las superficies sensibles, incluso para evitar los riesgos relacionados con una inyección de peticiones. Antes de habilitar o solicitar los permisos necesarios para activar las características Uso de computadora en sus propios productos, informe a los usuarios finales de los riesgos correspondientes y obtenga su consentimiento, según proceda.
La API de Computer Use le ofrece varias herramientas de uso de computadora predeterminadas (computer_20241022, bash_20241022 y text_editor_20241022). A continuación, podrá crear una petición en la solicitud, como “envía un correo electrónico a Ben con las notas de mi última reunión” y una captura de pantalla (si es necesario). La respuesta contiene una lista de acciones de tool_use en formato JSON (por ejemplo, scroll_down, left_button_press, screenshot). El código ejecuta las acciones de la computadora y proporciona a Claude una captura de pantalla que muestra los resultados (cuando se solicita).
El parámetro tools se ha actualizado para que acepte tipos de herramientas polimórficas; se ha añadido una nueva propiedad tool.type para distinguirlos. type es opcional; si se omite, se asume que la herramienta es personalizada (anteriormente, era el único tipo de herramienta compatible). Además, se ha añadido un nuevo parámetro anthropic_beta con el correspondiente valor de enumeración: computer-use-2024-10-22. Solo las solicitudes realizadas con este parámetro y enumeración pueden usar las nuevas herramientas de uso de computadora. Se puede especificar de la siguiente manera: "anthropic_beta":
["computer-use-2024-10-22"] .
Para utilizar un ordenador con la Anthropic Claude 3.5 Sonnet versión 2, puede utilizar la Converse API (Converse o ConverseStream). Usted especifica el uso de la computadora en campos específicos en el additionalModelRequestFields campo. Para obtener información general sobre cómo llamar a la Converse API, consulteMantén una conversación con las operaciones de la Converse API.
Es posible utilizar herramientas con las operaciones de inferencia básicas (InvokeModelo InvokeModelWithResponseStream). Para encontrar los parámetros de inferencia que se transfieren en el cuerpo de la solicitud, consulte API de Messages de Anthropic Claude.
Para obtener más información, consulte Uso de computadora (beta)
Código de ejemplo
El siguiente código muestra cómo llamar a la API de Computer Use. La entrada es una imagen de la AWS consola.
with open('test_images/console.png', 'rb') as f: png = f.read() response = bedrock.converse( modelId='anthropic.claude-3-5-sonnet-20241022-v2:0', messages=[ { 'role': 'user', 'content': [ { 'text': 'Go to the bedrock console' }, { 'image': { 'format': 'png', 'source': { 'bytes': png } } } ] } ], additionalModelRequestFields={ "tools": [ { "type": "computer_20241022", "name": "computer", "display_height_px": 768, "display_width_px": 1024, "display_number": 0 }, { "type": "bash_20241022", "name": "bash", }, { "type": "text_editor_20241022", "name": "str_replace_editor", } ], "anthropic_beta": ["computer-use-2024-10-22"] }, toolConfig={ 'tools': [ { 'toolSpec': { 'name': 'get_weather', 'inputSchema': { 'json': { 'type': 'object' } } } } ] }) print(json.dumps(response, indent=4))
Ejemplo de respuesta
El código de ejemplo da un resultado similar al siguiente.
{ "id": "msg_bdrk_01Ch8g9MF3A9FTrmeywrwfMZ", "type": "message", "role": "assistant", "content": [ { "type": "text", "text": "I can see from the screenshot that we're already in the AWS Console. To go to the Amazon Bedrock console specifically, I'll click on the Amazon Bedrock service from the \"Recently Visited\" section." }, { "type": "tool_use", "id": "toolu_bdrk_013sAzs1gsda9wLrfD8bhYQ3", "name": "computer", "input": { "action": "screenshot" } } ], "stop_reason": "tool_use", "stop_sequence": null, "usage": { "input_tokens": 3710, "output_tokens": 97 } }
