HealthOmics jalankan input - AWS HealthOmics
Mengelola ukuran parameter runFormat parameter masukan Amazon S3Status arsip masukan Amazon S3

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

HealthOmics jalankan input

Jika definisi alur kerja menentukan file input untuk alur kerja atau tugas alur kerja, HealthOmics tahapkan file ke volume awal yang didedikasikan untuk menjalankan alur kerja. File input ini hanya-baca, yang mencegah tugas memodifikasi input potensial ke tugas lain dalam alur kerja. Untuk impor direktori, direktori juga hanya-baca.

Banyak aplikasi genomik berasumsi bahwa file indeks ditempatkan bersama dengan file urutan (seperti file pendamping untuk bai file). bam Untuk menyertakan file indeks, tentukan sebagai input tugas dalam definisi alur kerja.

Mengelola ukuran parameter run

Saat Anda memulai proses, Anda menentukan input run di objek atau file JSON parameter run. Anda dapat menentukan hingga 50 KB parameter run untuk alur kerja. Anda dapat menggunakan teknik berikut untuk tetap berada dalam batasan ukuran ini:

  • Gunakan impor direktori

    Untuk menentukan sejumlah besar file input, tentukan satu parameter sebagai lokasi Amazon S3 yang berisi semua file, daripada menentukan parameter untuk setiap lokasi file. Untuk informasi selengkapnya, lihat topik berikutnya (format parameter input Amazon S3).

  • Gunakan lembar sampel

    Lembar sampel adalah file CSV atau TSV dengan satu kolom untuk alamat fastq.gz (atau dua untuk pembacaan berpasangan) dan kolom tambahan untuk metadata seperti nama sampel. Anda menentukan lembar sampel sebagai parameter input run, bukan parameter untuk setiap file input.

    Alur kerja Anda menentukan bagaimana lembar sampel Anda memetakan ke struktur data dalam alur kerja. Meskipun Anda dapat menulis kode untuk lembar sampel di WDL dan CWL, mereka lebih umum di. NextFlow Sebagai contoh, lihat lembar sampel di situs nf-core GitHub .

Format parameter masukan Amazon S3

Untuk parameter input yang menerima lokasi Amazon S3, parameter dapat menentukan lokasi satu file atau seluruh direktori file. Menggunakan direktori memiliki keuntungan sebagai berikut:

  • Kenyamanan - Anda menentukan nama direktori sebagai parameter. Anda tidak mencantumkan setiap nama file.

  • Kekompakan - Parameter input ukuran file maksimum adalah 50 KB. Jika Anda memberikan daftar panjang nama file input, Anda dapat melebihi maksimum ini.

Amazon S3 adalah sistem penyimpanan objek datar, sehingga tidak mendukung direktori. Anda mengelompokkan file ke dalam “direktori” dengan memberikan setiap file key prefix objek yang sama. Untuk informasi selengkapnya tentang awalan kunci objek Amazon S3, lihat Mengatur objek menggunakan awalan.

HealthOmics menafsirkan nilai parameter masukan sebagai berikut:

  • Jika lokasi Amazon S3 tidak diakhiri dengan garis miring ke depan atau menggunakan pola glob, HealthOmics mengharapkan nilai parameter menjadi kunci untuk satu objek Amazon S3.

    Misalnya, Anda menentukan untuk memasukkan s3://myfiles/runs/inputs/a/file1.fastq file1.fastq

  • Jika lokasi Amazon S3 diakhiri dengan garis miring ke depan, HealthOmics interpretasikan nilai parameter sebagai awalan Amazon S3. Ini memuat semua objek Amazon S3 dengan awalan itu.

    Misalnya, Anda dapat menentukan s3://myfiles/runs/inputs/a/ untuk memuat semua objek yang kuncinya dimulai dengan awalan ini.

  • Untuk Nextflow, HealthOmics mendukung pola glob untuk Amazon URIs S3 dalam parameter input.

    Misalnya, Anda dapat menentukan “s3://myfiles/runs/inputs/a/*.gz” untuk memasukkan semua file.gz yang kuncinya dimulai dengan awalan ini.

Penanganan garis miring ganda khusus bahasa di input Amazon S3

HealthOmics mempertahankan perilaku mesin asli untuk setiap mesin alur kerja saat menangani garis miring ganda di Amazon S3 URIs, sehingga Anda tidak perlu membuat perubahan apa pun pada alur kerja saat memigrasikannya. HealthOmics Bagian berikut menjelaskan bagaimana setiap mesin menangani berbagai skenario.

WDL

Jika parameter input menyertakan garis miring ganda di tengah atau di ujung URI, mesin WDL mempertahankan garis miring ganda.

Parameter masukan Lokasi yang diharapkan
s3://myfiles/runs/inputs//file1.fastq s3://myfiles/runs/inputs//file1.fastq
s3:////myfiles/runs/inputs s3:////myfiles/runs/inputs

Alur berikutnya

Jika parameter input menyertakan garis miring ganda di tengah URI, mesin Nextflow mempertahankan garis miring ganda. Untuk garis miring ganda di akhir URI, mesin Nextflow menyelesaikannya menjadi satu garis miring.

Parameter masukan Lokasi yang diharapkan
s3://myfiles/runs/inputs//file1.fastq s3://myfiles/runs/inputs//file1.fastq
s3://myfiles//runs/inputs//*.gz s3://myfiles//runs/inputs//*.gz
s3://myfiles//runs/inputs// s3://myfiles//runs/inputs/

CWL

Jika parameter input menyertakan garis miring ganda di tengah atau di ujung URI, mesin CWL mempertahankan garis miring ganda.

Parameter masukan Lokasi yang diharapkan
s3://myfiles// runs/inputs//file 1.fastq s3://myfiles// runs/inputs//file 1.fastq
s3://myfiles//runs/inputs// s3://myfiles//runs/inputs//

Status arsip masukan Amazon S3

HealthOmics dapat mengambil objek Amazon S3 yang dikirim S3 secara real time. Untuk objek yang berada dalam status penyimpanan yang diarsipkan restore berikut, objek untuk membuatnya tersedia untuk HealthOmics:

  • Pengambilan Fleksibel atau kelas penyimpanan Deep Archive di Amazon S3 Glacier.

  • Akses yang Diarsipkan atau Tingkat Akses Arsip Dalam dalam tingkatan Cerdas.

Untuk informasi tentang memulihkan objek, lihat Memulihkan objek yang diarsipkan di Panduan Pengguna Amazon S3.