Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Perilaku penskalaan untuk Fungsi Web Lambda
Lambda menskalakan titik akhir Fungsi Web Anda secara otomatis saat lalu lintas tiba. Ini skala dalam dua dimensi:
+ **Jumlah lingkungan** — Lambda menambahkan lebih banyak lingkungan eksekusi, hingga. `maxEnvironments`
+ **Permintaan bersamaan per lingkungan** - Setiap lingkungan menangani beberapa permintaan sekaligus. Lambda mengelola batas konkurensi per-lingkungan dinamis berdasarkan penggunaan sumber daya Anda. Anda mengontrol batas atas batas dinamis ini menggunakan`maxConcurrencyPerEnvironment`. Untuk informasi selengkapnya, lihat [Batas konkurensi dinamis per lingkungan](#web-functions-scaling-dynamic-concurrency).
Anda juga dapat mengatur `rateLimit` titik akhir untuk membatasi tingkat kedatangan permintaannya. Ini adalah pengaturan opsional dan diterapkan sebelum permintaan mencapai lingkungan Anda.
Skala titik akhir dari nol. Ketika tidak ada lalu lintas, Lambda tidak menjalankan lingkungan. Halaman ini menjelaskan pengaturan penskalaan titik akhir, kuota akun terkait, dan cara memilih nilai yang mengoptimalkan biaya atau kinerja.
## Lingkungan eksekusi
Lingkungan eksekusi adalah instance komputasi terisolasi yang menjalankan server HTTP Anda. Setiap lingkungan memiliki memori, sistem file, dan ruang prosesnya sendiri. Untuk cara Lambda menginisialisasi, menggunakan kembali, dan mematikan lingkungan eksekusi, lihat. [Siklus hidup lingkungan eksekusi](web-functions-env-lifecycle.md)
Lambda membuat dan menghapus lingkungan secara otomatis berdasarkan lalu lintas:
+ Ketika lalu lintas meningkat, Lambda menciptakan lingkungan tambahan untuk memenuhi permintaan lalu lintas.
+ Ketika lalu lintas menurun, Lambda menguras lingkungan yang kurang dimanfaatkan dan menghilangkannya.
+ Ketika tidak ada lalu lintas, Lambda menghapus semua lingkungan. Skala titik akhir ke nol.
Tidak ada pengaturan minimum atau lingkungan cadangan. Titik akhir selalu berskala dari nol saat lalu lintas tiba. Untuk menghindari start dingin untuk peningkatan lalu lintas kecil, Lambda secara otomatis meningkatkan lingkungan eksekusi sebelum permintaan untuk mempertahankan kapasitas cadangan (headroom) untuk lalu lintas masuk. Ketika lingkungan kurang dimanfaatkan, Lambda menurunkannya, termasuk ke nol.
## Batas konkurensi dinamis per lingkungan
Batas konkurensi per-lingkungan dinamis adalah Lambda-managed batas jumlah permintaan yang ditangani oleh satu lingkungan eksekusi pada saat yang bersamaan. Berdasarkan penggunaan sumber daya fungsi Anda, Lambda secara otomatis menyesuaikan batas ini untuk mengoptimalkan efisiensi dan kinerja. Lambda meningkatkan lingkungan baru ketika lingkungan yang ada mendekati batasnya. Ketika batas mencegah semua lingkungan yang ada menerima lebih banyak permintaan, permintaan mengantri, menunggu lingkungan yang tersedia berikutnya.
Anda tidak mengonfigurasi batas dinamis secara langsung. Sebagai gantinya, Anda dapat menerapkan batas atas dengan mengatur `maxConcurrencyPerEnvironment` revisi. Batas dinamis Lambda bisa lebih rendah dari nilai ini, tetapi tidak pernah melebihi itu. Misalnya, jika Anda menyetel `maxConcurrencyPerEnvironment` ke 32, Lambda akan merutekan paling banyak 32 permintaan bersamaan ke lingkungan apa pun, meskipun lingkungan memiliki kapasitas untuk lebih.
Sebagian besar aplikasi dapat mengandalkan batas dinamis tanpa mengubah`maxConcurrencyPerEnvironment`. Untuk panduan tentang kapan harus mengubahnya, lihat[Memilih pengaturan penskalaan](#web-functions-scaling-optimization).
## Pengaturan penskalaan
Tiga pengaturan mengontrol bagaimana Lambda menskalakan Fungsi Web Anda. Anda mengonfigurasi setiap pengaturan pada titik akhir atau revisi.
| Pengaturan | Dikonfigurasi pada | Rentang yang valid | Default | Deskripsi |
| --- | --- | --- | --- | --- |
| maxConcurrencyPerEnvironment | Revisi | 1—128 | 64 | Batas atas batas Lambda-managed konkurensi dinamis per lingkungan. Lambda menyesuaikan konkurensi per-lingkungan aktual secara otomatis, sehingga sebagian besar aplikasi dapat mengandalkan batas dinamis tanpa mengubah nilai ini. |
| maxEnvironments | Titik akhir | Tidak wajib. 2—10.000 | Tidak ada | Membatasi jumlah lingkungan eksekusi untuk titik akhir di masing-masing. Wilayah AWS Mengontrol skala horisontal. Penskalaan lingkungan titik akhir selalu dibatasi oleh kuota vCPU akun yang tersedia, meskipun tidak disetel. maxEnvironments |
| rateLimit | Titik akhir | Tidak wajib. 0—10.000 | Tidak ada | Membatasi tingkat kedatangan permintaan titik akhir, dalam permintaan per detik, di masing-masing Wilayah AWS. Nilai hingga 1.000 harus kelipatan 100, dan nilai di atas 1.000 harus kelipatan 1.000. Nilai 0 memblokir semua lalu lintas. Permintaan di atas batas tarif efektif menerima respons HTTP 429 (Terlalu Banyak Permintaan). Jika tidak ditetapkan, tingkat kedatangan titik akhir dibatasi oleh kuota tarif per titik akhir akun. |
`maxEnvironments`dan `rateLimit` merupakan properti endpoint opsional. Anda dapat memperbaruinya tanpa membuat revisi baru. Secara default, tidak ada yang disetel. Sebuah besar `maxEnvironments` tidak menjamin bahwa titik akhir dapat skala sejauh itu. Penskalaan lingkungan selalu dibatasi oleh kuota vCPU regional akun. A `rateLimit` dari 0 memblokir semua lalu lintas. Lihat perinciannya di [Throttling](#web-functions-scaling-throttling). Tingkat permintaan titik akhir selalu dibatasi oleh kuota tingkat permintaan akun, bahkan ketika tidak `rateLimit` disetel. Untuk kuota, lihat bagian selanjutnya.
Untuk mengubah `maxEnvironments` atau`rateLimit`, jalankan `aws lambda-web update-web-function-endpoint` dengan `--throttle-config` parameter `--scaling-config` or, misalnya `--scaling-config '{"maxEnvironments": 50}'` atau`--throttle-config '{"rateLimit": 8000}'`. Hilangkan parameter untuk mempertahankan nilainya saat ini. Untuk menghapus nilai yang Anda tetapkan, berikan objek kosong, seperti`--scaling-config '{}'`. Untuk informasi lebih lanjut, lihat[Memperbarui titik akhir](web-functions-endpoints.md#web-functions-endpoint-update). `maxConcurrencyPerEnvironment`adalah pengaturan revisi. Untuk mengubahnya, buat revisi baru. Apakah revisi baru menerima lalu lintas tergantung pada mode penyebaran otomatis titik akhir. Untuk informasi selengkapnya, lihat [Membuat revisi](web-functions-revisions.md#web-functions-revisions-create).
## Kuota akun
Kuota ini berlaku per. Wilayah AWS Mereka selalu berlaku selain batas titik akhir yang dikonfigurasi secara opsional.
+ Per-endpoint batas tarif - 10.000 permintaan per detik (RPS).
+ Batas total suku bunga akun - 100.000 RPS di semua titik akhir di Wilayah.
+ Batas vCPU akun — 2.000 vCPU di semua titik akhir di Wilayah. Setiap lingkungan eksekusi mengkonsumsi 2 vCPU, jadi kuota ini membatasi jumlah total lingkungan per seluruh akun. Wilayah AWS
Untuk nilai kuota saat ini dan cara meminta kenaikan, lihat[Fungsi Web Lambda](gettingstarted-limits.md#web-functions-quotas).
## Bagaimana pengaturan penskalaan berinteraksi
Ketiga pengaturan penskalaan ini beroperasi secara independen untuk menentukan skala titik akhir Anda. Kecuali untuk kuota akun, setiap titik akhir menskalakan secara independen, bahkan titik akhir milik Fungsi Web yang sama.
Total kapasitas konkurensi
Anda dapat menganggap jumlah puncak permintaan dalam penerbangan titik akhir kira-kira `maxEnvironments` kali lipat batas konkurensi dinamis per lingkungan yang saat ini diizinkan Lambda. Titik akhir yang paling dapat ditangani sekaligus adalah `maxEnvironments` ×`maxConcurrencyPerEnvironment`. Ini mencapai angka itu hanya ketika menjalankan `maxEnvironments` lingkungan dan masing-masing menangani `maxConcurrencyPerEnvironment` permintaan. Jika tidak `maxEnvironments` diatur, skala titik akhir untuk memenuhi permintaan, hingga kuota vCPU akun.
Total batas tingkat permintaan
`rateLimit`membatasi permintaan per detik, terlepas dari kapasitas konkurensi. Lambda mengembalikan HTTP 429 untuk permintaan di atas batas tarif, bahkan ketika lingkungan memiliki kapasitas untuk melayani mereka.
Menskalakan
Sebelum semua lingkungan mencapai batas konkurensi dinamis, Lambda meningkatkan lebih banyak lingkungan, hingga. `maxEnvironments` Titik akhir berhenti meningkat saat mencapai `maxEnvironments` atau kuota vCPU akun. Jika titik akhir tidak dapat ditingkatkan, dan semua lingkungan yang ada digunakan sepenuhnya, Lambda segera membatasi permintaan baru dengan respons HTTP 429 (Terlalu Banyak Permintaan). Lambda tidak mengantri permintaan yang dibatasi. Jika lingkungan eksekusi baru diinisialisasi, meminta antrian alih-alih segera dibatasi.
Melebihi sementara
Selama perubahan berat badan revisi, bersepeda armada internal, dan acara operasional lainnya, Lambda mungkin `maxEnvironments` melampaui sementara untuk memprioritaskan ketersediaan. Overshoot ini singkat, dan Lambda kembali ke batas yang dikonfigurasi secara otomatis. Anda tidak perlu menganggarkan ruang kepala untuk acara operasional ini saat Anda memilih`maxEnvironments`.
**Example Contoh: perhitungan kapasitas**
Anda mengonfigurasi pengaturan berikut untuk Fungsi Web Anda:
+ `maxEnvironments`= 10
+ `maxConcurrencyPerEnvironment`= 64
+ `rateLimit`= 8000
Pengaturan ini membatasi konkurensi (permintaan dalam penerbangan sekaligus) dan tingkat permintaan (permintaan diterima per detik) secara terpisah. Dengan hingga 10 lingkungan dan masing-masing hingga 64 permintaan bersamaan, titik akhir dapat melayani paling banyak sekitar 640 permintaan bersamaan (10 × 64). Batas dinamis seringkali lebih rendah, sehingga konkurensi berkelanjutan biasanya kurang. Batas mana yang dicapai titik akhir pertama tergantung pada berapa lama waktu yang dibutuhkan setiap permintaan.
Concurrency-bound titik akhir
Misalkan setiap permintaan membutuhkan waktu 200 ms, misalnya karena menunggu pada kueri database. Dengan 640 permintaan dalam penerbangan, titik akhir menyelesaikan paling banyak sekitar 3.200 permintaan per detik (640 ÷ 0,2 detik), yang berada di bawah 8.000 RPS. `rateLimit` Ketika semua 10 lingkungan dimanfaatkan sepenuhnya, Lambda membatasi permintaan baru dengan HTTP 429. Untuk melayani lebih banyak lalu lintas, tingkatkan`maxEnvironments`.
Request-rate-bound titik akhir
Misalkan setiap permintaan membutuhkan waktu 10 ms. Dengan 8.000 permintaan per detik, sekitar 80 permintaan sedang dalam penerbangan (8.000 × 0,01 detik), jauh di bawah 640. Lambda mengembalikan HTTP 429 untuk permintaan di atas 8.000 RPS, meskipun lingkungan memiliki kapasitas untuk melayani mereka. Untuk menerima lebih banyak permintaan, tambah`rateLimit`, hingga 10.000 RPS kuota per endpoint.
## Throttling
Ketika tingkat permintaan masuk melebihi `rateLimit` pengaturan, Lambda mengembalikan respons HTTP 429 (Terlalu Banyak Permintaan) untuk permintaan berlebih. Batas tarif berlaku untuk titik akhir secara keseluruhan di masing-masing Wilayah AWS.
Lambda juga mengembalikan respons HTTP 429 ketika semua lingkungan dimanfaatkan sepenuhnya, baik karena titik akhir tercapai `maxEnvironments` atau akun mencapai kuota vCPU-nya. Untuk informasi selengkapnya, lihat [Bagaimana pengaturan penskalaan berinteraksi](#web-functions-scaling-interaction).
Lambda juga dapat mengembalikan HTTP 429 dengan jenis `Platform.EndpointConcurrentInitThrottle` kesalahan ketika terlalu banyak lingkungan eksekusi yang diinisialisasi pada saat yang sama. Throttle ini tidak menambah metrik throttle. Untuk metrik yang ditambahkan oleh tipe throttle lainnya, lihat. [Menggunakan CloudWatch metrik dengan Fungsi Web Lambda](web-functions-monitoring-metrics.md)
Ketika titik akhir `rateLimit` adalah 0, Lambda mengembalikan HTTP 503 (Layanan Tidak Tersedia) bukan HTTP 429, dengan header. `lambda-web-error-type` `Platform.EndpointDisabled` Lambda juga dapat mengembalikan HTTP 503 ketika melepaskan beban untuk melindungi layanan. Coba lagi 503 yang tidak memiliki `lambda-web-error-type` header dengan backoff dan jitter. Sebuah 503 dengan `Platform.EndpointDisabled` berlanjut sampai Anda menetapkan `rateLimit` ke nilai bukan nol.
Lambda mengukur batas suku bunga per detik. Semburan singkat di atas batas mungkin diterima. Lalu lintas berkelanjutan di atas batas menghasilkan pelambatan.
Saat aplikasi Anda menerima respons HTTP 429, terapkan backoff eksponensial dengan jitter dalam kode klien Anda untuk mencoba kembali permintaan yang dibatasi.
## Menskalakan dan memperkecil
### Penaikan skala
Ketika lalu lintas meningkat dan lingkungan yang ada mendekati batas konkurensi dinamis per lingkungan, Lambda menciptakan lingkungan eksekusi tambahan. Setiap lingkungan baru menginisialisasi sebelum melayani permintaan. Untuk langkah-langkah inisialisasi dan batas waktu startup, lihat[Inisialisasi (start dingin)](web-functions-env-lifecycle.md#web-functions-env-lifecycle-init).
Sementara lingkungan baru diinisialisasi, Lambda merutekan permintaan ke lingkungan yang ada yang memiliki kapasitas yang tersedia. Ketika tidak ada lingkungan yang memiliki kapasitas, permintaan menunggu sementara Lambda menginisialisasi yang baru (awal yang dingin). Lambda mengembalikan HTTP 429 hanya jika salah satu batasan [Throttling](#web-functions-scaling-throttling) berlaku, seperti `maxEnvironments` atau kuota akun vCPU.
### Skala ke bawah
Ketika lalu lintas menurun, Lambda mengidentifikasi lingkungan yang kurang dimanfaatkan dan menghapusnya. Lambda mengeringkan lingkungan sebelum menghapusnya. Ini berhenti merutekan permintaan baru ke lingkungan, memungkinkan permintaan dalam penerbangan selesai dengan upaya terbaik, dan mengirim. `SIGTERM` Lihat perinciannya di [Siklus hidup lingkungan eksekusi](web-functions-env-lifecycle.md).
Lambda menurunkan skala ke nol lingkungan ketika tidak ada lalu lintas. Permintaan berikutnya setelah itu memulai lingkungan baru (awal yang dingin).
## Memilih pengaturan penskalaan
Pertimbangkan hal berikut ketika Anda memilih nilai untuk titik akhir`rateLimit`, titik akhir`maxEnvironments`, dan revisi. `maxConcurrencyPerEnvironment`
Memilih `rateLimit`
Nilai defaultnya adalah none, yang berarti tingkat permintaan endpoint dibatasi oleh kuota RPS 10.000 per endpoint dan kuota RPS akun 100.000. Pertimbangkan untuk menetapkan `rateLimit` nilai saat Anda ingin membatasi berapa banyak endpoint yang dapat diklaim dari kuota RPS akun Anda, yang dibagi oleh semua titik akhir Anda.
Menyetel a juga `rateLimit` dapat membantu untuk membatasi lalu lintas total ke dependensi hilir.
Memilih `maxEnvironments`
Nilai defaultnya adalah none, yang berarti jumlah lingkungan titik akhir hanya dibatasi oleh kuota vCPU akun. Pertimbangkan untuk menetapkan `maxEnvironments` nilai saat Anda ingin membatasi berapa banyak titik akhir yang dapat diklaim dari kuota vCPU akun Anda, yang dibagikan oleh semua titik akhir Anda.
Saat menetapkan `maxEnvironments` nilai, pertimbangkan untuk memantau jumlah lingkungan titik akhir sehingga Anda diberi tahu saat mendekati `maxEnvironments` batas Anda, dan ambil tindakan untuk menghindari pembatasan untuk aplikasi yang memiliki pertumbuhan organik dari waktu ke waktu.
Menetapkan nilai rendah `maxEnvironments` dapat membantu membatasi biaya lingkungan berjalan untuk titik akhir Anda. Pertimbangkan untuk menggunakan nilai rendah untuk proyek hobi non-kritis.
Memilih `maxConcurrencyPerEnvironment`
Revisi `maxConcurrencyPerEnvironment` adalah batas atas batas konkurensi dinamis per lingkungan terkelola Lambda. Nilai default adalah 64, dan sebagian besar pengguna tidak harus memilih nilai optimal.
Untuk aplikasi yang terikat memori, pengaturan yang `maxConcurrencyPerEnvironment` lebih rendah dari default dapat membantu mencapai perilaku yang lebih dapat diprediksi.
Untuk CPU-bound aplikasi, pengaturan yang `maxConcurrencyPerEnvironment` lebih rendah dari default dapat mengurangi pertikaian CPU dan meningkatkan latensi kondisi tunak lingkungan yang hangat, tetapi juga dapat mengakibatkan start dingin yang lebih sering. Pengaturan yang `maxConcurrencyPerEnvironment` lebih tinggi dari default kemungkinan tidak akan berpengaruh jika batas konkurensi dinamis terkelola Lambda membatasi lalu lintas ke lingkungan.
Untuk I/O-bound aplikasi, pengaturan yang `maxConcurrencyPerEnvironment` lebih tinggi dari default dapat meningkatkan pemanfaatan per lingkungan dan biaya yang lebih rendah.
Pantau CloudWatch metrik berikut untuk menentukan apakah pengaturan penskalaan Anda sesuai. Untuk definisi metrik, lihat[Menggunakan CloudWatch metrik dengan Fungsi Web Lambda](web-functions-monitoring-metrics.md).
+ `EndpointRequestThrottles`dan `AccountRequestThrottles` — Jika `EndpointRequestThrottles` secara konsisten lebih besar dari nol, naik`rateLimit`, hingga kuota per-endpoint 10.000 RPS. `AccountRequestThrottles`meningkat ketika akun mencapai kuota request-rate di Wilayah. Untuk mengurangi throttle ini, mintalah peningkatan kuota, atau turunkan `rateLimit` pada titik akhir lainnya.
+ `EndpointActiveEnvironmentThrottles`dan `AccountActiveVCPUArm64Throttles` — Metrik ini meningkat saat `maxEnvironments` atau kuota vCPU akun mencegah penskalaan tambahan. Untuk mengurangi throttle ini, tambah `maxEnvironments` atau minta peningkatan kuota vCPU.
+ `EndpointActiveEnvironments`dan `EnvironmentConcurrentRequests` — Jika pendekatan lingkungan aktif`maxEnvironments`, atau permintaan bersamaan per lingkungan tetap dekat`maxConcurrencyPerEnvironment`, tingkatkan pengaturan yang relevan.
+ Latensi aplikasi — Ukur latensi dengan metrik aplikasi, dari log terstruktur, atau dengan pengukuran latensi pintu depan Anda. Jika latensi meningkat seiring dengan meningkatnya konkurensi per lingkungan, kurangi `maxConcurrencyPerEnvironment` untuk mengurangi pertikaian per lingkungan dan sebarkan beban ke lebih banyak lingkungan.
## Penskalaan untuk MultiRegion dan titik akhir PerRegion
Untuk Fungsi Web dengan **MultiRegion**atau **PerRegion**titik akhir, pengaturan penskalaan berlaku secara independen di setiap Wilayah AWS tempat titik akhir beroperasi.
Setiap Wilayah menciptakan dan mengelola kumpulan lingkungan pelaksanaannya sendiri. Lalu lintas di satu Wilayah tidak mengkonsumsi kapasitas penskalaan Wilayah lain.
## Contoh penskalaan
Lambda menskalakan titik akhir Anda untuk mempertahankan ruang kepala di atas bebannya saat ini. Headroom adalah perbedaan antara beban permintaan masuk dan total beban permintaan yang dapat dilayani oleh lingkungan eksekusi hangat. Ini menyerap peningkatan lalu lintas kecil tanpa menunggu lingkungan baru dimulai. Kapasitas meningkat secara bertahap, karena setiap lingkungan baru menambah kapasitas hanya setelah selesai menginisialisasi. Ketika titik akhir mencapai batas, kapasitas berhenti bertambah, dan Lambda membatasi permintaan yang melebihi apa yang dapat diterima titik akhir.
Contoh berikut menunjukkan bagaimana endpoint menangani ledakan lalu lintas, dan bagaimana perilakunya ketika beban mencapai setiap jenis batas. Bagan menggambarkan perilaku umum dan tidak ditarik ke skala.
### Menangani ledakan lalu lintas
Ketika beban tumbuh secara bertahap, headroom menyerap peningkatan sementara Lambda meningkatkan lingkungan baru di latar belakang. Ketika beban naik lebih cepat daripada yang dapat diserap headroom, lingkungan yang hangat tidak dapat menangani semua permintaan yang masuk. Lambda memulai lingkungan baru untuk menangani beban di atas headroom, dan permintaan tersebut menunggu lingkungan baru mulai dingin. Setelah lingkungan baru siap, Lambda mengembalikan ruang kepala di atas beban baru.
### Mencapai batas tingkat permintaan per titik akhir
Batas tingkat permintaan membatasi berapa banyak beban yang dapat diterima titik akhir, sehingga kapasitas tidak tumbuh melewatinya. Saat beban mendekati kuota tingkat per titik akhir atau `rateLimit` pengaturan Anda, ruang kepala menyusut. Ketika beban melebihi batas, Lambda mengembalikan HTTP 429 untuk permintaan di atasnya. Untuk menerima lebih banyak permintaan, naikkan`rateLimit`, hingga kuota tarif per titik akhir.
### Mencapai MaxEnvironments
Dalam contoh ini, `maxEnvironments` lebih rendah dari batas tingkat permintaan. Saat titik akhir mencapai`maxEnvironments`, Lambda berhenti menambahkan lingkungan eksekusi. Beban dapat terus tumbuh, sehingga ruang kepala menyusut. Ketika beban melebihi apa yang dapat ditangani oleh lingkungan, Lambda membatasi permintaan baru dengan HTTP 429, meskipun tingkat permintaan masih di bawah batas tarif. Untuk memungkinkan lebih banyak kapasitas, tingkatkan`maxEnvironments`.
### Mencapai kuota akun vCPU
Semua titik akhir dalam akun berbagi kuota vCPU di masing-masing. Wilayah AWS Lingkungan yang digunakan oleh titik akhir lain mengurangi seberapa jauh titik akhir ini dapat diskalakan. Dalam contoh ini, kuota vCPU yang tersedia untuk titik akhir lebih rendah dari `maxEnvironments` pengaturan dan batas tingkat permintaannya. Saat akun mencapai kuota, Lambda berhenti menambahkan lingkungan dan membatasi permintaan yang melebihi kapasitas yang tersedia, meskipun titik akhir belum mencapai batasnya sendiri. Untuk memungkinkan lebih banyak kapasitas, mintalah peningkatan kuota vCPU.
