Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pengujian dan validasi

Dalam arsitektur tanpa server berbasis AI, pengujian unit dan integrasi tradisional masih penting. Namun, jenis pengujian baru diperlukan untuk mengakomodasi ketidakpastian model bahasa besar (LLM), konkurensi tanpa server, dan orkestrasi alur kerja.

Tanpa validasi yang ketat, tim mengambil risiko masalah berikut:

Untuk membantu menghindari masalah ini, sistem AI generatif modern menuntut validasi berlapis-lapis di seluruh infrastruktur, logika, dan perilaku AI.

Jenis pengujian untuk AI tanpa server

Menguji aplikasi AI tanpa server memerlukan pendekatan komprehensif yang membahas kebutuhan pengujian aplikasi tradisional dan masalah khusus AI. Bagian ini menjelaskan jenis pengujian yang penting untuk memastikan keandalan, keamanan, dan kinerja.

Tes unit

Tes unit memvalidasi logika atom (misalnya, AWS Lambdakode). Tes ini sangat penting karena menangkap regresi dalam transformasi, pemformatan, dan operasi pra/pasca-pemrosesan.

Contoh transformasi Lambda berikut memastikan bahwa konstruksi prompt model sudah benar:

def test_format_text_for_model():
    raw_input = {"name": "Aaron", "topic": "feature flag"}
    result = format_text_for_model(raw_input)
    assert "Aaron" in result and "feature flag" in result

Tes cepat

Tes cepat memastikan bahwa respons LLM mengikuti harapan. Tes ini sangat penting karena petunjuknya rapuh dan tidak diketik, di mana perubahan kecil dapat merusak format atau makna keluaran.

Contoh berikut menggunakan input emas menunjukkan cara menangkap drift prompt atau degradasi model:

Prompt:
"You are a helpful assistant. Summarize this paragraph: {{input}}"

Test Case:
Input: "AWS Lambda lets you run code without provisioning servers."
Expected Output: "AWS Lambda enables serverless execution."

Validation: Does response contain "serverless" and avoid hallucinations?

Tes pemanggilan alat agen

Tes pemanggilan alat agen memvalidasi agent-to-tool logika dan pemetaan variabel. Tes ini sangat penting karena memastikan agen memanggil alat yang benar dengan parameter yang benar, yang mencegah kebingungan runtime.

Contoh berikut menunjukkan pengujian pemanggilan alat:

Agent Input: "Where is my recent order?"
Expected Lambda Call: `getRecentOrderStatus(userId)`

Tes integrasi alur kerja

Tes integrasi alur kerja memverifikasi orkestrasi multi-tahap (misalnya, alur kerja). AWS Step Functions Tes ini sangat penting karena mengkonfirmasi alur peristiwa, keluaran hand-off, jalur kesalahan, dan logika coba lagi.

Contoh Step Functions berikut memastikan bahwa alur kerja real-time berjalan end-to-end dan menangani timeout dan percobaan ulang:

Test Flow:
- Upload file to S3
- EventBridge triggers state machine
- Step 1: Textract
- Step 2: Classifier
- Step 3: Bedrock summary

Assert: Output file is created in S3, and summary includes key clause

Validasi skema dan tes kontrak

Validasi skema dan tes kontrak memvalidasi format keluaran AI. Tes ini sangat penting karena melindungi konsumen hilir dari respons AI yang salah bentuk.

Contoh berikut menunjukkan bagaimana mencegah kerusakan sistem hilir dari keluaran LLM yang salah bentuk:

Expected Output:
{
  "summary": "string",
  "risk_score": "number",
  "flags": ["array"]
}

Test: Validate response against schema using `jsonschema` in Lambda

Human-in-the-loop evaluasi

Human-in-the-loop Evaluasi (HITL) memberikan pemeriksaan kualitatif untuk landasan, nada, dan kebijakan. Evaluasi ini sangat penting untuk domain kepercayaan tinggi seperti layanan kesehatan, sumber daya manusia (SDM), hukum, dan dukungan pelanggan. Mereka diperlukan untuk industri yang diatur, pengalaman bermerek, atau paparan publik.

Contoh panel jaminan kualitas HITL (QA) berikut menunjukkan proses evaluasi:

Tes keamanan dan batas

Tes keamanan dan batas memastikan alat dan agen tidak melebihi ruang lingkup. Tes ini sangat penting karena memverifikasi kontrol akses berbasis peran (RBAC), ketahanan injeksi yang cepat, dan prinsip hak istimewa yang paling rendah. Mereka membantu memastikan keamanan yang cepat dan batas kontrol agen.

Contoh berikut menunjukkan pengujian keamanan:

Tes simulasi latensi dan biaya

Tes simulasi latensi dan biaya memperkirakan biaya runtime dan daya tanggap. Pengujian ini sangat penting karena membantu menyetel pemilihan model (misalnya, Amazon Nova Micro dibandingkan dengan Amazon Nova Premier) dan keputusan aliran asinkron.

Contoh berikut menunjukkan tes yang mendukung keputusan arsitektur pada pemilihan model berjenjang dan pembongkaran asinkron:

Pertimbangan cakupan uji

Pertimbangkan area cakupan pengujian berikut dan alat terkaitnya:

Ringkasan pengujian dan validasi

Pengujian dan validasi dalam arsitektur tanpa server berbasis AI adalah dasar. Mengingat sifat stokastik LLMs dan sifat terdistribusi dari sistem tanpa server, cakupan pengujian komprehensif di seluruh petunjuk, alat, alur kerja, dan perilaku AI mendukung: