View a markdown version of this page

HealthOmics ETag dan asal data - AWS HealthOmics
Amazon S3 ETagBagaimana HealthOmics menghitung ETag

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

HealthOmics ETag dan asal data

HealthOmics ETag (tag entitas) adalah hash dari konten yang dicerna di penyimpanan urutan. Ini menyederhanakan pengambilan dan pemrosesan data sambil mempertahankan integritas konten dari file data yang dicerna. ETag mencerminkan perubahan pada konten semantik objek, bukan metadatanya. Jenis set baca yang ditentukan dan algoritma menentukan bagaimana ETag dihitung. Perhitungan ETag tidak mengubah file aktual atau data genom. Ketika skema tipe file dari kumpulan baca mengizinkannya, penyimpanan urutan memperbarui bidang yang ditautkan ke asal data.

File memiliki identitas bitwise dan identitas semantik. Identitas bitwise berarti bahwa bit file identik, dan identitas semantik berarti bahwa isi file identik. Identitas semantik tahan terhadap perubahan metadata dan perubahan kompresi karena menangkap integritas konten file.

Kumpulan baca di HealthOmics penyimpanan urutan mengalami compression/decompression siklus dan pelacakan asal data sepanjang siklus hidup objek. Selama pemrosesan ini, identitas bitwise dari file yang dicerna dapat berubah dan diharapkan berubah setiap kali file diaktifkan; namun, identitas semantik file dipertahankan. Identitas semantik ditangkap sebagai tag HealthOmics entitas, atau ETag yang dihitung selama penyerapan penyimpanan urutan dan tersedia sebagai metadata kumpulan baca.

Ketika skema tipe file dari kumpulan baca mengizinkannya, bidang pembaruan penyimpanan urutan ditautkan ke asal data. Untuk file uBAM, BAM, dan CRAM, Comment tag @CO atau baru ditambahkan ke header. Komentar berisi ID penyimpanan urutan dan stempel waktu penyerapan.

Amazon S3 ETag

Saat mengakses file menggunakan URI Amazon S3, operasi Amazon S3 API juga dapat mengembalikan nilai Amazon S3 ETag dan checksum. Nilai Amazon S3 ETag dan checksum berbeda dari HealthOmics ETag karena mewakili identitas bitwise file. Untuk mempelajari lebih lanjut tentang metadata deskriptif dan Objek, lihat dokumentasi Amazon S3 Object API. Nilai Amazon S3 ETag dapat berubah dengan setiap siklus aktivasi kumpulan baca dan Anda dapat menggunakannya untuk memvalidasi pembacaan file. Namun, jangan menyimpan nilai Amazon S3 ETag untuk digunakan untuk validasi identitas file selama siklus hidup file karena nilai tersebut tidak tetap konsisten. Sebaliknya, HealthOmics ETag tetap konsisten sepanjang siklus hidup set baca.

Bagaimana HealthOmics menghitung ETag

ETag dihasilkan dari hash dari konten file yang dicerna. Keluarga algoritma ETag diatur ke MD5up secara default, tetapi dapat dikonfigurasi secara berbeda selama pembuatan penyimpanan urutan. Ketika ETag dihitung, algoritma dan hash yang dihitung ditambahkan ke kumpulan baca. Algoritma MD5 yang didukung untuk jenis file adalah sebagai berikut.

  • FastQ_MD5up — Menghitung hash MD5 dari sumber set baca FASTQ lengkap yang tidak terkompresi.

  • BAM_md5up — Menghitung hash MD5 dari bagian penyelarasan dari sumber kumpulan baca BAM atau UBAm yang tidak terkompresi seperti yang diwakili dalam SAM, berdasarkan referensi tertaut, jika tersedia.

  • cram_md5up — Menghitung hash MD5 dari bagian penyelarasan dari sumber kumpulan baca CRAM yang tidak terkompresi seperti yang diwakili dalam SAM, berdasarkan referensi yang ditautkan.

catatan

MD5 hashing diketahui rentan terhadap tabrakan. Karena itu, dua file yang berbeda mungkin memiliki ETag yang sama jika diproduksi untuk mengeksploitasi tabrakan yang diketahui.

Algoritma berikut didukung untuk keluarga SHA256. Algoritma dihitung sebagai berikut:

  • FastQ_SHA256up — Menghitung SHA-256 hash dari sumber set baca FASTQ lengkap yang tidak terkompresi.

  • BAM_SHA256up — Menghitung SHA-256 hash bagian penyelarasan dari sumber kumpulan baca BAM atau UBAm yang tidak terkompresi seperti yang diwakili dalam SAM, berdasarkan referensi tertaut, jika tersedia.

  • cram_sha256up — Menghitung SHA-256 hash bagian penyelarasan dari sumber kumpulan baca CRAM yang tidak terkompresi seperti yang diwakili dalam SAM, berdasarkan referensi yang ditautkan.

Algoritma berikut didukung untuk keluarga SHA512. Algoritma dihitung sebagai berikut:

  • FastQ_SHA512up — Menghitung SHA-512 hash dari sumber set baca FASTQ lengkap yang tidak terkompresi.

  • BAM_SHA512up — Menghitung SHA-512 hash bagian penyelarasan dari sumber kumpulan baca BAM atau UBAm yang tidak terkompresi seperti yang diwakili dalam SAM, berdasarkan referensi tertaut, jika tersedia.

  • cram_sha512up — Menghitung SHA-512 hash bagian penyelarasan dari sumber kumpulan baca CRAM yang tidak terkompresi seperti yang diwakili dalam SAM, berdasarkan referensi yang ditautkan.