Gunakan alat penggunaan komputer untuk menyelesaikan respons model Amazon Bedrock - Amazon Bedrock
Contoh kodeContoh tanggapan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan alat penggunaan komputer untuk menyelesaikan respons model Amazon Bedrock

Penggunaan komputer adalah kemampuan Anthropic Claude model (dalam versi beta) yang tersedia dengan Anthropic Claude 3.7 Sonnet dan Claude 3.5 Sonnet v2 saja. Dengan penggunaan komputer, Claude dapat membantu Anda mengotomatiskan tugas melalui tindakan GUI dasar.

Awas

Fitur penggunaan komputer tersedia untuk Anda sebagai 'Layanan Beta' sebagaimana didefinisikan dalam Ketentuan AWS Layanan. Ini tunduk pada Perjanjian Anda dengan AWS dan Ketentuan AWS Layanan, dan model EULA yang berlaku. Perlu diketahui bahwa Computer Use API menimbulkan risiko unik yang berbeda dari fitur API standar atau antarmuka obrolan. Risiko ini meningkat saat menggunakan Computer Use API untuk berinteraksi dengan Internet. Untuk meminimalkan risiko, pertimbangkan untuk mengambil tindakan pencegahan seperti:

  • Mengoperasikan fungsionalitas penggunaan komputer dalam Mesin Virtual khusus atau wadah dengan hak istimewa minimal untuk mencegah serangan sistem langsung atau kecelakaan.

  • Untuk mencegah pencurian informasi, hindari memberikan akses API Penggunaan Komputer ke akun atau data sensitif.

  • Membatasi penggunaan komputer akses internet API ke domain yang diperlukan untuk mengurangi paparan konten berbahaya.

  • Untuk memastikan pengawasan yang tepat, pertahankan manusia dalam lingkaran untuk tugas-tugas sensitif (seperti membuat keputusan yang dapat memiliki konsekuensi dunia nyata yang berarti) dan untuk apa pun yang memerlukan persetujuan afirmatif (seperti menerima cookie, melaksanakan transaksi keuangan, atau menyetujui persyaratan layanan).

Konten apa pun yang Anda aktifkan Claude untuk dilihat atau diakses berpotensi mengesampingkan instruksi atau Claude menyebabkan kesalahan atau melakukan tindakan yang tidak diinginkan. Mengambil tindakan pencegahan yang tepat, seperti mengisolasi Claude dari permukaan sensitif, sangat penting - termasuk untuk menghindari risiko yang terkait dengan injeksi segera. Sebelum mengaktifkan atau meminta izin yang diperlukan untuk mengaktifkan fitur penggunaan komputer dalam produk Anda sendiri, harap beri tahu pengguna akhir tentang risiko yang relevan, dan dapatkan persetujuan mereka sebagaimana mestinya.

API penggunaan komputer menawarkan beberapa alat penggunaan komputer yang telah ditentukan sebelumnya (computer_20241022, bash_20241022, dan text_editor_20241022) untuk Anda gunakan. Anda kemudian dapat membuat prompt dengan permintaan Anda, seperti “kirim email ke Ben dengan catatan dari pertemuan terakhir saya” dan tangkapan layar (bila diperlukan). Respons berisi daftar tool_use tindakan dalam format JSON (misalnya, scroll_down, left_button_press, screenshot). Kode Anda menjalankan tindakan komputer dan menyediakan tangkapan layar Claude yang menampilkan output (saat diminta).

Parameter alat telah diperbarui untuk menerima jenis alat polimorfik; tool.type properti baru sedang ditambahkan untuk membedakannya. typebersifat opsional; jika dihilangkan, alat ini diasumsikan sebagai alat khusus (sebelumnya satu-satunya jenis alat yang didukung). Selain itu, parameter baru,anthropic_beta, telah ditambahkan, dengan nilai enum yang sesuai:computer-use-2024-10-22. Hanya permintaan yang dibuat dengan parameter ini dan enum yang dapat menggunakan alat penggunaan komputer baru. Hal ini dapat ditentukan sebagai berikut:"anthropic_beta": ["computer-use-2024-10-22"] .

Untuk menggunakan penggunaan komputer dengan Anthropic Claude 3.5 Sonnet v2 Anda dapat menggunakan Converse API (Converse atau ConverseStream). Anda menentukan komputer menggunakan bidang tertentu di additionalModelRequestFields bidang. Untuk informasi umum tentang memanggil Converse API, lihatMelakukan percakapan dengan operasi Converse API.

Dimungkinkan untuk menggunakan alat dengan operasi inferensi dasar (InvokeModelatau InvokeModelWithResponseStream). Untuk menemukan parameter inferensi yang Anda lewatkan di badan permintaan, lihat. AnthropicClaudePesan API

Untuk informasi selengkapnya, lihat Penggunaan komputer (beta) dalam Anthropic dokumentasi.

Contoh kode

Kode berikut menunjukkan cara memanggil API penggunaan komputer. Input adalah gambar AWS konsol. 

with open('test_images/console.png', 'rb') as f:
        png = f.read()

    response = bedrock.converse(
        modelId='anthropic.claude-3-5-sonnet-20241022-v2:0',
        messages=[
            {
                'role': 'user',
                'content': [
                    {
                        'text': 'Go to the bedrock console'
                    },
                    {
                        'image': {
                            'format': 'png',
                            'source': {
                                'bytes': png
                            }
                        }
                    }
                ]
            }
        ],
        additionalModelRequestFields={
            "tools": [
                {
                    "type": "computer_20241022",
                    "name": "computer",
                    "display_height_px": 768,
                    "display_width_px": 1024,
                    "display_number": 0
                },
                {
                    "type": "bash_20241022",
                    "name": "bash",

                },
                {
                    "type": "text_editor_20241022",
                    "name": "str_replace_editor",
                }
            ],
            "anthropic_beta": ["computer-use-2024-10-22"]
        },
        toolConfig={
            'tools': [
                {
                    'toolSpec': {
                        'name': 'get_weather',
                        'inputSchema': {
                            'json': {
                                'type': 'object'
                            }
                        }
                    }
                }
            ]
        })

    print(json.dumps(response, indent=4))

Contoh tanggapan

Kode contoh memancarkan output yang mirip dengan berikut ini.

{
   "id": "msg_bdrk_01Ch8g9MF3A9FTrmeywrwfMZ",
   "type": "message",
   "role": "assistant",
   "content": [
        {
            "type": "text",
            "text": "I can see from the screenshot that we're already in the AWS Console. To go to the Amazon Bedrock console specifically, I'll click on the Amazon Bedrock service from the \"Recently Visited\" section."
        },
        {
            "type": "tool_use",
            "id": "toolu_bdrk_013sAzs1gsda9wLrfD8bhYQ3",
            "name": "computer",
            "input": {
                "action": "screenshot"
            }
        }
   ],
   "stop_reason": "tool_use",
   "stop_sequence": null,
   "usage": {
       "input_tokens": 3710,
       "output_tokens": 97
   }
}