Praktik terbaik untuk eksekusi lingkungan pengujian kustom

Andalkan perangkat lunak yang dikelola Device Farm dan fitur API untuk menjalankan konfigurasi sedapat mungkin, sebagai lawan menerapkan konfigurasi serupa melalui perintah shell dalam file spesifikasi pengujian. Ini termasuk konfigurasi host uji dan perangkat, karena ini akan lebih berkelanjutan dan konsisten di seluruh host dan perangkat uji.

Meskipun Device Farm mendorong Anda untuk menyesuaikan file spesifikasi pengujian sebanyak yang Anda butuhkan untuk menjalankan pengujian, file spesifikasi pengujian dapat menjadi sulit dipertahankan seiring waktu karena lebih banyak perintah khusus ditambahkan ke dalamnya. Menggunakan perangkat lunak yang dikelola Device Farm (melalui alat seperti devicefarm-cli dan alat default yang tersedia di$PATH), dan menggunakan fitur terkelola (seperti parameter deviceProxypermintaan) untuk menyederhanakan file spesifikasi pengujian dengan mengalihkan tanggung jawab pemeliharaan ke Device Farm itu sendiri.

Jangan gunakan jalur absolut atau mengandalkan versi minor tertentu dalam file spesifikasi pengujian atau kode paket pengujian Anda. Device Farm menerapkan pembaruan rutin ke host pengujian yang dipilih dan versi perangkat lunak yang disertakan. Menggunakan jalur spesifik atau absolut (seperti /usr/local/bin/python alih-alihpython) atau memerlukan versi minor tertentu (seperti Node.js 20.3.1 bukan hanya 20) dapat menyebabkan pengujian Anda gagal menemukan file/yang dapat dieksekusi yang diperlukan.

Sebagai bagian dari eksekusi pengujian kustom, Device Farm menyiapkan berbagai variabel lingkungan dan $PATH variabel untuk memastikan pengujian memiliki pengalaman yang konsisten dalam lingkungan dinamis kami. Lihat Variabel lingkungan untuk lingkungan pengujian khusus dan Perangkat lunak yang didukung dalam lingkungan pengujian khusus untuk informasi lebih lanjut.

Simpan file yang dihasilkan atau disalin dalam direktori temp selama uji coba. Hari ini, kami memastikan bahwa direktori temp (/tmp) akan dapat diakses oleh pengguna selama eksekusi pengujian (selain direktori terkelola, seperti). $DEVICEFARM_LOG_DIR Direktori lain yang dapat diakses pengguna dapat berubah seiring waktu karena kebutuhan layanan atau sistem operasi yang digunakan.

Simpan log eksekusi pengujian Anda ke $DEVICEFARM_LOG_DIR. Ini adalah direktori artefak default yang disediakan untuk eksekusi Anda untuk menambahkan log eksekusi /artefak ke dalam. Contoh spesifikasi pengujian yang kami sediakan masing-masing menggunakan direktori ini untuk artefak secara default.

Pastikan perintah Anda mengembalikan kode bukan nol pada kegagalan selama test fase spesifikasi pengujian Anda. Kami menentukan apakah eksekusi Anda gagal dengan memeriksa kode keluar bukan nol dari setiap perintah shell yang dipanggil selama fase. test Anda harus memastikan logika atau kerangka pengujian Anda akan mengembalikan kode keluar bukan nol untuk semua skenario yang diinginkan, yang mungkin memerlukan konfigurasi tambahan.

Misalnya, kerangka kerja pengujian tertentu (seperti JUnit5) tidak menganggap nol pengujian dijalankan sebagai kegagalan, yang akan menyebabkan pengujian Anda terdeteksi telah berjalan dengan sukses meskipun tidak ada yang dieksekusi. Menggunakan JUnit5 sebagai contoh, Anda perlu menentukan opsi baris perintah --fail-if-no-tests untuk memastikan skenario ini keluar dengan kode keluar bukan nol.

Tinjau kompatibilitas perangkat lunak dengan versi OS perangkat dan versi host uji yang akan Anda gunakan untuk uji coba. Sebagai contoh, ada fitur tertentu dalam menguji kerangka kerja perangkat lunak (yaitu: Appium) yang mungkin tidak berfungsi sebagaimana dimaksud pada semua versi OS perangkat yang sedang diuji.

Hindari menyimpan atau mencatat variabel sensitif (seperti kunci AWS) di file spesifikasi pengujian Anda. File spesifikasi pengujian, skrip yang dihasilkan spesifikasi pengujian, dan log skrip spesifikasi pengujian semuanya disediakan sebagai artefak yang dapat diunduh di akhir eksekusi pengujian. Hal ini dapat menyebabkan pemaparan rahasia yang tidak diinginkan untuk pengguna lain di akun Anda dengan akses baca ke uji coba Anda.