Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Menganalisis hasil pengujian di AWS Device Farm
Di lingkungan pengujian standar, Anda dapat menggunakan konsol Device Farm untuk melihat laporan untuk setiap pengujian dalam proses pengujian. Mempelajari laporan membantu Anda memahami pengujian mana yang lulus atau gagal, dan memberi Anda detail tentang kinerja dan perilaku aplikasi Anda di berbagai konfigurasi perangkat.
Device Farm juga mengumpulkan artefak lain seperti file, log, dan gambar yang dapat Anda unduh saat uji coba selesai. Informasi ini dapat membantu Anda menganalisis bagaimana aplikasi Anda berperilaku pada perangkat nyata, mengidentifikasi masalah atau bug, dan mendiagnosis masalah.
**Topics**
+ [Melihat laporan pengujian di Device Farm](how-to-use-reports.md)
+ [Mengunduh artefak di Device Farm](artifacts.md)
# Melihat laporan pengujian di Device Farm
Gunakan konsol Device Farm untuk melihat laporan pengujian Anda. Untuk informasi selengkapnya, lihat [Laporan di AWS Device FarmLaporan](reports.md).
**Topics**
+ [Prasyarat](#how-to-use-reports-prerequisites)
+ [Lihat laporan](#how-to-use-reports-viewing-reports)
+ [Status hasil tes Device Farm](how-to-use-reports-displaying-results.md)
## Prasyarat
Siapkan uji coba dan verifikasi bahwa itu sudah selesai.
1. Untuk membuat run, lihat[Membuat uji coba di Device Farm](how-to-create-test-run.md), dan kemudian kembali ke halaman ini.
1. Verifikasi bahwa proses selesai. Selama uji coba, konsol Device Farm menampilkan ikon tertunda ![\[Device Farm scheduled a job.\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/df-run-calendar.png) untuk proses yang sedang berlangsung. Setiap perangkat yang sedang dijalankan juga akan dimulai dengan ikon yang tertunda, lalu beralih ke ![\[Device Farm progress indicator.\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/df-run-progress.png) ikon yang sedang berjalan saat pengujian dimulai. Saat setiap pengujian selesai, ikon hasil pengujian ditampilkan di sebelah nama perangkat. Ketika semua pengujian telah selesai, ikon yang tertunda di sebelah run berubah menjadi ikon hasil pengujian. Untuk informasi selengkapnya, lihat [Status hasil tes Device Farm](how-to-use-reports-displaying-results.md).
## Lihat laporan
Anda dapat melihat hasil pengujian di konsol Device Farm.
**Topics**
+ [Lihat halaman ringkasan uji coba](#how-to-use-reports-console-summary)
+ [Lihat laporan masalah unik](#how-to-use-reports-console-unique-problems)
+ [Lihat laporan perangkat](#how-to-use-reports-console-by-device)
+ [Lihat laporan rangkaian pengujian](#how-to-use-reports-console-by-suite)
+ [Lihat laporan pengujian](#how-to-use-reports-console-by-test)
+ [Melihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan](#how-to-use-reports-console-log)
### Lihat halaman ringkasan uji coba
1. Masuk ke konsol Device Farm di [https://console.aws.amazon.com/devicefarm](https://console.aws.amazon.com/devicefarm).
1. Di panel navigasi, pilih **Pengujian Perangkat Seluler**, lalu pilih **Proyek**.
1. Dalam daftar proyek, pilih proyek untuk dijalankan.
**Tip**
Untuk memfilter daftar proyek berdasarkan nama, gunakan bilah pencarian.
1. Pilih proses yang sudah selesai untuk melihat halaman laporan ringkasannya.
1. Halaman ringkasan uji coba menampilkan ikhtisar hasil pengujian Anda.
+ Bagian **Masalah unik** mencantumkan peringatan dan kegagalan unik. Untuk melihat masalah unik, ikuti instruksi di[Lihat laporan masalah unik](#how-to-use-reports-console-unique-problems).
+ Bagian **Perangkat** menampilkan jumlah total pengujian, berdasarkan hasil, untuk setiap perangkat.
![\[Device Farm device summary results.\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/df-run-device-summary-results-bar.png)
Dalam contoh ini, ada beberapa perangkat. Pada entri tabel pertama, perangkat Google Pixel 4 XL yang menjalankan Android versi 10 melaporkan tiga pengujian yang berhasil yang membutuhkan waktu 02:36 menit untuk dijalankan.
Untuk melihat hasil berdasarkan perangkat, ikuti petunjuk di[Lihat laporan perangkat](#how-to-use-reports-console-by-device).
+ Bagian **Screenshots** menampilkan daftar tangkapan layar apa pun yang ditangkap Device Farm selama proses dijalankan, dikelompokkan berdasarkan perangkat.
+ Di bagian **Hasil parsing**, Anda dapat mengunduh hasil parsing.
### Lihat laporan masalah unik
1. Dalam **Masalah unik**, pilih masalah yang ingin Anda lihat.
1. Pilih perangkat. Laporan menampilkan informasi tentang masalah tersebut.
Bagian **Video** menampilkan rekaman video pengujian yang dapat diunduh.
Bagian **Hasil** menampilkan hasil tes. Status direpresentasikan sebagai ikon hasil. Untuk informasi selengkapnya, lihat [Status tes individu](how-to-use-reports-displaying-results.md#how-to-use-reports-displaying-results-individual).
Bagian **Log** menampilkan informasi apa pun yang dicatat oleh Device Farm selama pengujian. Untuk melihat informasi ini, ikuti instruksi di[Melihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan](#how-to-use-reports-console-log).
Tab **File** menampilkan daftar file terkait pengujian (seperti file log) yang dapat Anda unduh. Untuk mengunduh file, pilih tautan file dalam daftar.
Tab **Screenshots** menampilkan daftar tangkapan layar apa pun yang ditangkap Device Farm selama pengujian.
### Lihat laporan perangkat
+ Di bagian **Perangkat**, pilih perangkat.
Bagian **Video** menampilkan rekaman video pengujian yang dapat diunduh.
Bagian **Suites** menampilkan tabel yang berisi informasi tentang suite untuk perangkat.
Dalam tabel ini, kolom **Hasil pengujian** merangkum jumlah pengujian berdasarkan hasil untuk setiap rangkaian pengujian yang telah berjalan di perangkat. Data ini juga memiliki komponen grafis. Untuk informasi selengkapnya, lihat [Status untuk beberapa tes](how-to-use-reports-displaying-results.md#how-to-use-reports-displaying-results-summary).
Untuk melihat hasil lengkap berdasarkan suite, ikuti petunjuk di[Lihat laporan rangkaian pengujian](#how-to-use-reports-console-by-suite).
Bagian **Log** menampilkan informasi apa pun yang dicatat oleh Device Farm untuk perangkat selama dijalankan. Untuk melihat informasi ini, ikuti instruksi di[Melihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan](#how-to-use-reports-console-log).
Bagian **File** menampilkan daftar suite untuk perangkat dan file terkait (seperti file log) yang dapat Anda unduh. Untuk mengunduh file, pilih tautan file dalam daftar.
Bagian **Screenshots** menampilkan daftar tangkapan layar apa pun yang ditangkap Device Farm selama menjalankan perangkat, dikelompokkan berdasarkan suite.
### Lihat laporan rangkaian pengujian
1. Di bagian **Perangkat**, pilih perangkat.
1. Di bagian **Suites**, pilih suite dari tabel.
Bagian **Video** menampilkan rekaman video pengujian yang dapat diunduh.
Bagian **Tes** menampilkan tabel yang berisi informasi tentang pengujian di suite.
Dalam tabel, kolom **Hasil tes** menampilkan hasilnya. Data ini juga memiliki komponen grafis. Untuk informasi selengkapnya, lihat [Status untuk beberapa tes](how-to-use-reports-displaying-results.md#how-to-use-reports-displaying-results-summary).
Untuk melihat hasil lengkap dengan tes, ikuti instruksi di[Lihat laporan pengujian](#how-to-use-reports-console-by-test).
Bagian **Log** menampilkan informasi apa pun yang dicatat oleh Device Farm selama menjalankan suite. Untuk melihat informasi ini, ikuti instruksi di[Melihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan](#how-to-use-reports-console-log).
Bagian **File** menampilkan daftar pengujian untuk suite dan file terkait apa pun (seperti file log) yang dapat Anda unduh. Untuk mengunduh file, pilih tautan file dalam daftar.
Bagian **Screenshots** menampilkan daftar tangkapan layar apa pun yang ditangkap Device Farm selama menjalankan suite, dikelompokkan berdasarkan pengujian.
### Lihat laporan pengujian
1. Di bagian **Perangkat**, pilih perangkat.
1. Di bagian **Suites**, pilih suite.
1. Di bagian **Tes**, pilih tes.
1. Bagian **Video** menampilkan rekaman video pengujian yang dapat diunduh.
Bagian **Hasil** menampilkan hasil tes. Status direpresentasikan sebagai ikon hasil. Untuk informasi selengkapnya, lihat [Status tes individu](how-to-use-reports-displaying-results.md#how-to-use-reports-displaying-results-individual).
Bagian **Log** menampilkan informasi apa pun yang dicatat oleh Device Farm selama pengujian. Untuk melihat informasi ini, ikuti instruksi di[Melihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan](#how-to-use-reports-console-log).
Tab **File** menampilkan daftar file terkait pengujian (seperti file log) yang dapat Anda unduh. Untuk mengunduh file, pilih tautan file dalam daftar.
Tab **Screenshots** menampilkan daftar tangkapan layar apa pun yang ditangkap Device Farm selama pengujian.
### Melihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan
Bagian **Log** menampilkan informasi berikut:
+ **Sumber** mewakili sumber entri log. Nilai yang mungkin termasuk:
+ **Harness** mewakili entri log yang dibuat Device Farm. Entri log ini biasanya dibuat selama acara start dan stop.
+ **Perangkat** mewakili entri log yang dibuat perangkat. Untuk Android, entri log ini kompatibel dengan logcat-. Untuk iOS, entri log ini kompatibel dengan syslog.
+ **Tes** merupakan entri log yang dibuat oleh pengujian atau kerangka pengujian.
+ **Waktu mewakili waktu** yang telah berlalu antara entri log pertama dan entri log ini. Waktu dinyatakan dalam *MM:SS.SSS* format, di mana *M* mewakili menit dan *S* mewakili detik.
+ **PID** merupakan pengidentifikasi proses (PID) yang menciptakan entri log. Semua entri log yang dibuat oleh aplikasi pada perangkat memiliki PID yang sama.
+ **Level** mewakili tingkat logging untuk entri log. Misalnya, `Logger.debug("This is a message!")` mencatat **Level**`Debug`. Ini adalah nilai yang mungkin:
+ **Waspada**
+ **Kritis**
+ **Debug**
+ **Darurat**
+ **Kesalahan**
+ **Errored**
+ **Gagal**
+ **Info**
+ **Internal**
+ **Pemberitahuan**
+ **Lulus**
+ **Dilewati**
+ **Stopped**
+ **Verbose**
+ **Diperingatkan**
+ **Peringatan**
+ **Tag** mewakili metadata arbitrer untuk entri log. Misalnya, Android logcat dapat menggunakan ini untuk menjelaskan bagian mana dari sistem yang membuat entri log (misalnya,`ActivityManager`).
+ **Pesan** mewakili pesan atau data untuk entri log. Misalnya, `Logger.debug("Hello, World!")` mencatat **Pesan** dari`"Hello, World!"`.
Untuk menampilkan hanya sebagian dari informasi:
+ Untuk menampilkan semua entri log yang cocok dengan nilai untuk kolom tertentu, masukkan nilai ke dalam bilah pencarian. Misalnya, untuk menampilkan semua entri log dengan nilai **Sumber**`Harness`, masukkan **Harness** di bilah pencarian.
+ Untuk menghapus semua karakter dari kotak header kolom, pilih **X** di kotak header kolom itu. Menghapus semua karakter dari kotak header kolom sama dengan memasukkan **\$1** kotak header kolom itu.
Untuk mengunduh semua informasi log untuk perangkat, termasuk semua suite dan pengujian yang Anda jalankan, pilih **Unduh log**.
# Status hasil tes Device Farm
Konsol Device Farm menampilkan ikon yang membantu Anda menilai status uji coba selesai dengan cepat. Untuk informasi selengkapnya tentang pengujian di Device Farm, lihat[Laporan di AWS Device FarmLaporan](reports.md).
**Topics**
+ [Status tes individu](#how-to-use-reports-displaying-results-individual)
+ [Status untuk beberapa tes](#how-to-use-reports-displaying-results-summary)
## Status tes individu
Untuk laporan yang menjelaskan pengujian individual, Device Farm menampilkan ikon yang mewakili status hasil pengujian:
| Deskripsi | Ikon |
| --- | --- |
| Tes berhasil. | ![\[The test succeeded.\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/df-run-success.png) |
| Tes gagal. | ![\[The test failed.\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/df-run-failure.png) |
| Device Farm melewatkan tes. | ![\[The test was skipped.\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/df-run-skipped.png) |
| Tes berhenti. | ![\[The test was stopped.\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/df-run-stopped.png) |
| Device Farm mengembalikan peringatan. | ![\[Device Farm returned a warning.\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/df-run-warning.png) |
| Device Farm mengembalikan kesalahan. | ![\[Device Farm returned an error.\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/df-run-error.png) |
## Status untuk beberapa tes
Jika Anda memilih proses selesai, Device Farm menampilkan grafik ringkasan yang menunjukkan persentase pengujian di berbagai status.
![\[Device Farm test results summary graph.\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/df-summary-results-graph.png)
Misalnya, grafik hasil uji coba ini menunjukkan bahwa run memiliki 4 tes berhenti, 1 tes gagal, dan 10 tes yang berhasil.
Grafik selalu diberi kode warna dan diberi label.
# Mengunduh artefak di Device Farm
Device Farm mengumpulkan artefak seperti laporan, file log, dan gambar untuk setiap pengujian yang dijalankan.
Anda dapat mengunduh artefak yang dibuat selama uji coba:
**Berkas**
File yang dihasilkan selama uji coba termasuk laporan Device Farm. Untuk informasi selengkapnya, lihat [Melihat laporan pengujian di Device Farm](how-to-use-reports.md).
**Beberapa catatan**
Output dari setiap tes dalam uji coba.
**Tangkapan layar**
Gambar layar direkam untuk setiap pengujian dalam uji coba.
![\[Workflow diagram showing Project, Run, Job (device), Test suite, and Test stages in AWS Cloud.\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/hierarchy.png)
## Unduh artefak (konsol)
1. Pada halaman laporan uji coba, dari **Perangkat**, pilih perangkat seluler.
1. Untuk mengunduh file, pilih salah satu dari **File**.
1. Untuk mengunduh log dari uji coba Anda, dari **Log**, pilih **Unduh log**.
1. Untuk mengunduh tangkapan layar, pilih tangkapan layar dari **Screenshots**.
Untuk informasi selengkapnya tentang mengunduh artefak di lingkungan pengujian khusus, lihat[Mengunduh artefak di lingkungan pengujian khusus](using-artifacts-custom.md).
## Unduh artefak ()AWS CLI
Anda dapat menggunakan AWS CLI untuk membuat daftar artefak uji coba Anda.
**Topics**
+ [Langkah 1: Dapatkan Nama Sumber Daya Amazon Anda (ARN)](#artifacts-cli-step1)
+ [Langkah 2: Daftar artefak Anda](#artifacts-cli-step2)
+ [Langkah 3: Unduh artefak Anda](#artifacts-cli-step3)
### Langkah 1: Dapatkan Nama Sumber Daya Amazon Anda (ARN)
Anda dapat membuat daftar artefak Anda berdasarkan run, job, test suite, atau test. Anda membutuhkan ARN yang sesuai. Tabel ini menunjukkan input ARN untuk masing-masing perintah AWS CLI daftar:
| AWS CLI Daftar Perintah | ARN yang dibutuhkan |
| --- | --- |
| list-projects | Perintah ini mengembalikan semua proyek dan tidak memerlukan ARN. |
| list-runs | project |
| list-jobs | run |
| list-suites | job |
| list-tests | suite |
Misalnya, untuk menemukan ARN pengujian, jalankan **list-tests** menggunakan rangkaian pengujian ARN Anda sebagai parameter input.
Contoh:
```
aws devicefarm list-tests –-arn arn:MyTestSuiteARN
```
Respons termasuk ARN tes untuk setiap tes dalam rangkaian pengujian.
```
{
"tests": [
{
"status": "COMPLETED",
"name": "Tests.FixturesTest.testExample",
"created": 1537563725.116,
"deviceMinutes": {
"unmetered": 0.0,
"total": 1.89,
"metered": 1.89
},
"result": "PASSED",
"message": "testExample passed",
"arn": "arn:aws:devicefarm:us-west-2:123456789101:test:5e01a8c7-c861-4c0a-b1d5-12345EXAMPLE",
"counters": {
"skipped": 0,
"warned": 0,
"failed": 0,
"stopped": 0,
"passed": 1,
"errored": 0,
"total": 1
}
}
]
}
```
### Langkah 2: Daftar artefak Anda
Perintah AWS CLI [daftar-artefak](https://docs.aws.amazon.com/cli/latest/reference/devicefarm/list-artifacts.html) mengembalikan daftar artefak, seperti file, tangkapan layar, dan log. Setiap artefak memiliki URL sehingga Anda dapat mengunduh file.
+ Panggilan **list-artifacts** yang menentukan ARN run, job, test suite, atau test. Tentukan jenis FILE, LOG, atau SCREENSHOT.
Contoh ini mengembalikan URL unduhan untuk setiap artefak yang tersedia untuk pengujian individual:
```
aws devicefarm list-artifacts --arn arn:MyTestARN --type "FILE"
```
Respons berisi URL unduhan untuk setiap artefak.
```
{
"artifacts": [
{
"url": "https://prod-us-west-2-uploads.s3-us-west-2.amazonaws.com/ExampleURL",
"extension": "txt",
"type": "APPIUM_JAVA_OUTPUT",
"name": "Appium Java Output",
"arn": "arn:aws:devicefarm:us-west-2:123456789101:artifact:5e01a8c7-c861-4c0a-b1d5-12345EXAMPLE",
}
]
}
```
### Langkah 3: Unduh artefak Anda
+ Unduh artefak Anda menggunakan URL dari langkah sebelumnya. Contoh ini digunakan **curl** untuk mengunduh file keluaran Android Appium Java:
```
curl "https://prod-us-west-2-uploads.s3-us-west-2.amazonaws.com/ExampleURL" > MyArtifactName.txt
```
## Unduh artefak (API)
[ListArtifacts](https://docs.aws.amazon.com/devicefarm/latest/APIReference/API_ListArtifacts.html)Metode Device Farm API menampilkan daftar artefak, seperti file, tangkapan layar, dan log. Setiap artefak memiliki URL sehingga Anda dapat mengunduh file.
# Mengunduh artefak di lingkungan pengujian khusus
Dalam lingkungan pengujian khusus, Device Farm mengumpulkan artefak seperti laporan kustom, file log, dan gambar. Artefak ini tersedia untuk setiap perangkat dalam uji coba.
Anda dapat mengunduh artefak ini yang dibuat selama uji coba:
**Uji keluaran spesifikasi**
Output dari menjalankan perintah dalam file YAMM spesifikasi pengujian.
**Artefak pelanggan**
File zip yang berisi artefak dari uji coba. Ini dikonfigurasi di bagian **artefak:** dari file YAMM spesifikasi pengujian Anda.
**Uji skrip shell spesifikasi**
File skrip shell perantara yang dibuat dari file YAMM Anda. Karena digunakan dalam uji coba, file skrip shell dapat digunakan untuk men-debug file YAMM.
**Uji file spesifikasi**
File YAMM yang digunakan dalam uji coba.
Untuk informasi selengkapnya, lihat [Mengunduh artefak di Device Farm](artifacts.md).
![\[Hirarki operasi Device Farm di lingkungan pengujian kustom\]](http://docs.aws.amazon.com/id_id/devicefarm/latest/developerguide/images/hierarchy.png)