View a markdown version of this page

Mengkonfigurasi laporan kualitas dalam suatu tindakan - Amazon CodeCatalyst
Auto-discovery dan laporan manualMengkonfigurasi kriteria keberhasilan untuk laporanLaporan kualitas contoh YAML

Amazon CodeCatalyst tidak lagi terbuka untuk pelanggan baru. Pelanggan yang sudah ada dapat terus menggunakan layanan ini seperti biasa. Lihat informasi yang lebih lengkap di Cara bermigrasi dari CodeCatalyst.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi laporan kualitas dalam suatu tindakan

Bagian ini menjelaskan cara mengonfigurasi laporan kualitas dalam suatu tindakan.

Auto-discovery dan laporan manual

Ketika penemuan otomatis diaktifkan, mencari CodeCatalyst semua input yang diteruskan ke tindakan, dan semua file yang dihasilkan oleh tindakan itu sendiri, mencari laporan pengujian, cakupan kode, analisis komposisi perangkat lunak (SCA), dan analisis statis (SA). Anda dapat melihat dan memanipulasi setiap laporan ini di CodeCatalyst.

Anda juga dapat mengonfigurasi laporan mana yang dihasilkan secara manual. Anda dapat menentukan jenis laporan yang ingin Anda hasilkan serta format file. Untuk informasi selengkapnya, lihat Jenis laporan kualitas.

Mengkonfigurasi kriteria keberhasilan untuk laporan

Anda dapat menetapkan nilai yang menentukan kriteria keberhasilan untuk laporan pengujian, cakupan kode, analisis komposisi perangkat lunak (SCA), atau analisis statis (SA).

Kriteria keberhasilan adalah ambang batas yang menentukan apakah laporan lulus atau gagal. CodeCatalyst pertama menghasilkan laporan Anda, yang dapat berupa pengujian, cakupan kode, SCA, atau laporan SA, dan kemudian menerapkan kriteria keberhasilan ke laporan yang dihasilkan. Ini kemudian menunjukkan apakah kriteria keberhasilan terpenuhi, dan sejauh mana. Jika ada laporan yang tidak memenuhi kriteria keberhasilan yang ditentukan, CodeCatalyst tindakan yang menentukan kriteria keberhasilan gagal.

Misalnya, ketika Anda menetapkan kriteria keberhasilan untuk laporan SCA Anda, nilai kerentanan yang valid mulai dari yang paling parah hingga yang paling tidak parah adalah:CRITICAL,HIGH,MEDIUM,LOW,INFORMATIONAL. Jika Anda menetapkan kriteria untuk memindai satu kerentanan pada HIGH tingkat keparahan, laporan akan gagal jika setidaknya ada satu kerentanan pada HIGH tingkat keparahan atau tidak ada kerentanan pada tingkat HIGH keparahan, tetapi setidaknya satu kerentanan pada tingkat keparahan yang lebih tinggi, seperti satu kerentanan pada tingkat CRITICAL keparahan.

Jika Anda tidak menentukan kriteria keberhasilan, maka:

  • CodeCatalyst Laporan yang dihasilkan berdasarkan laporan mentah Anda tidak akan menampilkan kriteria keberhasilan.

  • Kriteria keberhasilan tidak akan digunakan untuk menentukan apakah tindakan alur kerja terkait berhasil atau gagal.

Visual
Untuk mengonfigurasi kriteria keberhasilan

  1. Di panel navigasi, pilih CI/CD, lalu pilih Alur kerja.

  2. Pilih alur kerja yang berisi tindakan yang menghasilkan laporan. Ini adalah laporan yang ingin Anda terapkan kriteria keberhasilannya. Anda dapat memfilter berdasarkan repositori sumber atau nama cabang tempat alur kerja ditentukan, atau memfilter berdasarkan nama atau status alur kerja.

  3. Pilih Edit.

  4. Pilih Visual.

  5. Dalam diagram alur kerja, pilih tindakan yang telah Anda konfigurasi untuk menghasilkan CodeCatalyst laporan.

  6. Pilih tab Output.

  7. Di bawah Auto-discover laporan atau di bawah Konfigurasi laporan secara manual, pilih Krit eria Sukses.

    Kriteria keberhasilan muncul. Tergantung pada pilihan Anda sebelumnya, Anda mungkin melihat salah satu atau semua opsi ini:

    Tingkat kelulusan

    Tentukan persentase pengujian dalam laporan pengujian yang harus lulus agar CodeCatalyst laporan terkait ditandai sebagai lulus. Nilai yang valid termasuk angka desimal. Misalnya: 50, 60.5. Kriteria tingkat kelulusan hanya diterapkan pada laporan pengujian. Untuk informasi lebih lanjut tentang laporan pengujian, lihatLaporan pengujian.

    Cakupan garis

    Tentukan persentase baris dalam laporan cakupan kode yang harus dicakup agar CodeCatalyst laporan terkait ditandai sebagai lulus. Nilai yang valid termasuk angka desimal. Misalnya: 50, 60.5. Kriteria cakupan jalur hanya diterapkan pada laporan cakupan kode. Untuk informasi selengkapnya tentang laporan cakupan kode, lihatLaporan cakupan kode.

    Cakupan cabang

    Tentukan persentase cabang dalam laporan cakupan kode yang harus dicakup agar CodeCatalyst laporan terkait ditandai sebagai lulus. Nilai yang valid termasuk angka desimal. Misalnya: 50, 60.5. Kriteria cakupan cabang hanya diterapkan pada laporan cakupan kode. Untuk informasi selengkapnya tentang laporan cakupan kode, lihatLaporan cakupan kode.

    Kerentanan (SCA)

    Tentukan jumlah maksimum dan tingkat keparahan kerentanan yang diizinkan dalam laporan SCA untuk CodeCatalyst laporan terkait yang akan ditandai sebagai lulus. Untuk menentukan kerentanan, Anda harus menentukan:

    • Tingkat keparahan minimum kerentanan yang ingin Anda sertakan dalam hitungan. Nilai yang valid, dari yang paling parah hingga yang paling tidak parah, adalah: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

      Misalnya, jika Anda memilihHIGH, maka CRITICAL ker HIGH entanan akan dihitung.

    • Jumlah maksimum kerentanan dari tingkat keparahan tertentu yang Anda inginkan diizinkan. Melebihi angka ini menyebabkan CodeCatalyst laporan ditandai sebagai gagal. Nilai yang valid adalah bilangan bulat.

    Kriteria kerentanan hanya diterapkan pada laporan SCA. Untuk informasi selengkapnya tentang laporan SCA, lihatLaporan analisis komposisi perangkat lunak.

    Bug

    Tentukan jumlah maksimum dan tingkat keparahan bug yang diizinkan dalam laporan SA untuk CodeCatalyst laporan terkait yang akan ditandai sebagai lulus. Untuk menentukan bug, Anda harus menentukan:

    • Tingkat keparahan minimum bug yang ingin Anda sertakan dalam hitungan. Nilai yang valid, dari yang paling parah hingga yang paling tidak parah, adalah: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

      Misalnya, jika Anda memilihHIGH, maka HIGH CRITICAL bug akan dihitung.

    • Jumlah maksimum bug dari tingkat keparahan tertentu yang Anda inginkan diizinkan. Melebihi angka ini menyebabkan CodeCatalyst laporan ditandai sebagai gagal. Nilai yang valid adalah bilangan bulat.

    Kriteria bug hanya diterapkan ke PyLint dan laporan ESLint SA. Untuk informasi selengkapnya tentang laporan SA, lihatLaporan analisis statis.

    Kerentanan keamanan

    Tentukan jumlah maksimum dan tingkat keparahan kerentanan keamanan yang diizinkan dalam laporan SA untuk CodeCatalyst laporan terkait yang akan ditandai sebagai lulus. Untuk menentukan kerentanan keamanan, Anda harus menentukan:

    • Tingkat keparahan minimum kerentanan keamanan yang ingin Anda sertakan dalam hitungan. Nilai yang valid, dari yang paling parah hingga yang paling tidak parah, adalah: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

      Misalnya, jika Anda memilihHIGH, maka HIGH kerentanan CRITICAL keamanan akan dihitung.

    • Jumlah maksimum kerentanan keamanan dari tingkat keparahan tertentu yang ingin Anda izinkan. Melebihi angka ini menyebabkan CodeCatalyst laporan ditandai sebagai gagal. Nilai yang valid adalah bilangan bulat.

    Kriteria kerentanan keamanan hanya diterapkan ke PyLint dan laporan ESLint SA. Untuk informasi selengkapnya tentang laporan SA, lihatLaporan analisis statis.

    Masalah kualitas

    Tentukan jumlah maksimum dan tingkat keparahan masalah kualitas yang diizinkan dalam laporan SA untuk CodeCatalyst laporan terkait yang akan ditandai sebagai lulus. Untuk menentukan masalah kualitas, Anda harus menentukan:

    • Tingkat keparahan minimum masalah kualitas yang ingin Anda sertakan dalam hitungan. Nilai yang valid, dari yang paling parah hingga yang paling tidak parah, adalah: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

      Misalnya, jika Anda memilihHIGH, maka HIGH masalah CRITICAL kualitas akan dihitung.

    • Jumlah maksimum masalah kualitas dari tingkat keparahan tertentu yang Anda inginkan diizinkan. Melebihi angka ini menyebabkan CodeCatalyst laporan ditandai sebagai gagal. Nilai yang valid adalah bilangan bulat.

    Kriteria masalah kualitas hanya diterapkan pada PyLint dan laporan ESLint SA. Untuk informasi selengkapnya tentang laporan SA, lihatLaporan analisis statis.

  8. Pilih Terapkan.

  9. Jalankan alur kerja Anda untuk CodeCatalyst menerapkan kriteria keberhasilan pada laporan mentah Anda, dan buat ulang CodeCatalyst laporan terkait dengan informasi kriteria keberhasilan yang disertakan. Untuk informasi selengkapnya, lihat Memulai proses alur kerja secara manual.

YAML
Untuk mengonfigurasi kriteria keberhasilan

  1. Di panel navigasi, pilih CI/CD, lalu pilih Alur kerja.

  2. Pilih alur kerja yang berisi tindakan yang menghasilkan laporan. Ini adalah laporan yang ingin Anda terapkan kriteria keberhasilannya. Anda dapat memfilter berdasarkan repositori sumber atau nama cabang tempat alur kerja ditentukan, atau memfilter berdasarkan nama atau status alur kerja.

  3. Pilih Edit.

  4. Pilih YAML.

  5. Dalam diagram alur kerja, pilih tindakan yang telah Anda konfigurasi untuk menghasilkan CodeCatalyst laporan.

  6. Di panel rincian, pilih tab Output.

  7. Dalam tindakan, di AutoDiscoverReports bagian, atau di Reports bagian, tambahkan SuccessCriteria properti, bersama denganPassRate,,LineCoverage,BranchCoverage, VulnerabilitiesStaticAnalysisBug,StaticAnalysisSecurity, dan StaticAnalysisQuality properti.

    Untuk penjelasan tentang masing-masing properti ini, konsultasikanMembangun dan menguji tindakan YAML.

  8. Pilih Terapkan.

  9. Jalankan alur kerja Anda untuk CodeCatalyst menerapkan kriteria keberhasilan pada laporan mentah Anda, dan buat ulang CodeCatalyst laporan terkait dengan informasi kriteria keberhasilan yang disertakan. Untuk informasi selengkapnya tentang memulai alur kerja, lihatMemulai proses alur kerja secara manual.

Laporan kualitas contoh YAML

Contoh berikut menunjukkan cara mengkonfigurasi empat laporan secara manual: laporan pengujian, laporan cakupan kode, laporan analisis komposisi perangkat lunak, dan laporan analisis statis.

Reports:
  MyTestReport:
    Format: JUNITXML
    IncludePaths:
      - "*.xml"
    ExcludePaths:
      - report1.xml
      SuccessCriteria:
        PassRate: 90
  MyCoverageReport:
    Format: CLOVERXML
    IncludePaths:
      - output/coverage/jest/clover.xml
      SuccessCriteria:
        LineCoverage: 75
        BranchCoverage: 75
  MySCAReport:
    Format: SARIFSCA
    IncludePaths:
      - output/sca/reports.xml
      SuccessCriteria:
        Vulnerabilities:
          Number: 5
          Severity: HIGH
  MySAReport:
    Format: ESLINTJSON
    IncludePaths:
      - output/static/eslint.xml
      SuccessCriteria:
        StaticAnalysisBug:
          Number: 10
          Severity: MEDIUM
        StaticAnalysisSecurity:
          Number: 5
          Severity: CRITICAL
        StaticAnalysisQuality:
          Number: 0
          Severity: INFORMATIONAL