Target inferensi
Anda dapat menambahkan target inferensi ke gateway Anda untuk merutekan lalu lintas LLM ke penyedia model. Gateway bertindak sebagai lapisan proxy LLM terpadu, memungkinkan klien untuk terhubung ke satu titik akhir dan merutekan permintaan ke penyedia model yang benar berdasarkan model yang ditentukan dalam permintaan. Target inferensi menyediakan perutean berbasis model, abstraksi kredenal, dan tata kelola terpusat untuk lalu lintas LLM di beberapa penyedia.
Menambahkan target inferensi ke gateway Anda berguna saat Anda ingin:
-
Menyediakan satu titik akhir yang merutekan ke beberapa penyedia model (seperti Amazon Bedrock, OpenAI, Anthropic, atau OpenAI-compatible layanan lainnya) tanpa mengharuskan klien untuk mengelola konfigurasi khusus penyedia.
-
Manajemen kredensi abstrak sehingga klien mengautentikasi ke gateway sementara gateway mengautentikasi ke penyedia atas nama mereka.
-
Menerapkan tata kelola terpusat melalui Amazon Bedrock Guardrails dan Amazon AgentCore Bedrock Policy secara konsisten di semua panggilan LLM terlepas dari penyedia.
-
Gunakan OpenAI SDK atau Anthropic SDK secara langsung dengan titik akhir gateway, beralih antar model dengan mengubah string model.
-
Buat daftar model yang tersedia di semua penyedia yang dikonfigurasi melalui satu titik akhir agregat.
Target inferensi menggunakan inference kunci dalam konfigurasi target. Anda dapat mengonfigurasi target inferensi dengan salah satu dari dua cara:
-
Konektor - Zero-configuration pengaturan untuk penyedia model yang didukung. Direkomendasikan untuk sebagian besar kasus penggunaan.
-
Penyedia - Kontrol eksplisit atas titik akhir, pemetaan model, dan operasi. Gunakan saat Anda perlu menyesuaikan perilaku perutean.
Topik berikut menjelaskan setiap jenis konfigurasi secara rinci.
