View a markdown version of this page

Carga directa a un HealthOmics tienda de secuencias - AWS HealthOmics

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Carga directa a un HealthOmics tienda de secuencias

Le recomendamos que utilice el HealthOmics Transfer Manager para añadir archivos a tu almacén de secuencias. Para obtener más información sobre el uso de Transfer Manager, consulta esto GitHub Repositorio. También puedes subir tus conjuntos de lectura directamente a un almacén de secuencias mediante las operaciones de la API de carga directa.

Los conjuntos de lectura de carga directa son los primeros en PROCESSING_UPLOAD estado. Esto significa que las partes del archivo se están cargando actualmente y que puede acceder a los metadatos del conjunto de lectura. Una vez cargadas las partes y validadas las sumas de comprobación, el conjunto leído pasa a ser ACTIVE y se comporta de la misma manera que un conjunto de lectura importado.

Si la carga directa falla, el estado del conjunto de lectura se muestra como UPLOAD_FAILED. Puede configurar un bucket de Amazon S3 como ubicación alternativa para los archivos que no se cargan. Las ubicaciones de respaldo están disponibles para los almacenes de secuencias creados después del 15 de mayo de 2023.

Carga directamente a un almacén de secuencias mediante el AWS CLI

Para empezar, inicia una carga multiparte. Puede hacerlo mediante el AWS CLI, como se muestra en el ejemplo siguiente.

Para subir directamente mediante AWS CLI Comandos de la de
  1. Crea las partes separando los datos, como se muestra en el siguiente ejemplo.

    split -b 100MiB SRR233106_1.filt.fastq.gz source1_part_
  2. Una vez que los archivos fuente estén divididos en partes, cree una carga de conjunto de lectura multiparte, como se muestra en el siguiente ejemplo. Reemplazar sequence store ID y los demás parámetros con su ID de almacén de secuencias y otros valores.

    aws omics create-multipart-read-set-upload \ --sequence-store-id sequence store ID \ --name upload name \ --source-file-type FASTQ \ --subject-id subject ID \ --sample-id sample ID \ --description "FASTQ for HG00146" "description of upload" \ --generated-from "1000 Genomes""source of imported files"

    Obtienes el uploadID y otros metadatos en la respuesta. Utilice el uploadID para el siguiente paso del proceso de carga.

    { "sequenceStoreId": "1504776472", "uploadId": "7640892890", "sourceFileType": "FASTQ", "subjectId": "mySubject", "sampleId": "mySample", "generatedFrom": "1000 Genomes", "name": "HG00146", "description": "FASTQ for HG00146", "creationTime": "2023-11-20T23:40:47.437522+00:00" }
  3. Añade tus conjuntos de lectura a la subida. Si el archivo es lo suficientemente pequeño, solo tienes que realizar este paso una vez. Para archivos más grandes, realice este paso para cada parte del archivo. Si subes una nueva parte con un número de pieza usado anteriormente, se sobrescribe la parte cargada anteriormente.

    En el siguiente ejemplo, reemplaza sequence store ID, upload ID, y los demás parámetros con sus valores.

    aws omics upload-read-set-part \ --sequence-store-id sequence store ID \ --upload-id upload ID \ --part-source SOURCE1 \ --part-number part number \ --payload source1/source1_part_aa.fastq.gz

    La respuesta es un identificador que puedes usar para verificar que el archivo subido coincide con el archivo que querías.

    { "checksum": "984979b9928ae8d8622286c4a9cd8e99d964a22d59ed0f5722e1733eb280e635" }
  4. Continúa cargando las partes del archivo, si es necesario. Para comprobar que se han cargado los conjuntos de lectura, utilice el list-read-set-upload-parts Operación de API, como se muestra a continuación. En el siguiente ejemplo, reemplace sequence store ID , upload ID, y el part source con tu propia aportación.

    aws omics list-read-set-upload-parts \ --sequence-store-id sequence store ID \ --upload-id upload ID \ --part-source SOURCE1

    La respuesta devuelve el número de conjuntos leídos, el tamaño y la fecha de la última actualización.

    { "parts": [ { "partNumber": 1, "partSize": 104857600, "partSource": "SOURCE1", "checksum": "MVMQk+vB9C3Ge8ADHkbKq752n3BCUzyl41qEkqlOD5M=", "creationTime": "2023-11-20T23:58:03.500823+00:00", "lastUpdatedTime": "2023-11-20T23:58:03.500831+00:00" }, { "partNumber": 2, "partSize": 104857600, "partSource": "SOURCE1", "checksum": "keZzVzJNChAqgOdZMvOmjBwrOPM0enPj1UAfs0nvRto=", "creationTime": "2023-11-21T00:02:03.813013+00:00", "lastUpdatedTime": "2023-11-21T00:02:03.813025+00:00" }, { "partNumber": 3, "partSize": 100339539, "partSource": "SOURCE1", "checksum": "TBkNfMsaeDpXzEf3ldlbi0ipFDPaohKHyZ+LF1J4CHk=", "creationTime": "2023-11-21T00:09:11.705198+00:00", "lastUpdatedTime": "2023-11-21T00:09:11.705208+00:00" } ] }
  5. Para ver todas las subidas de conjuntos de lectura multiparte activas, usa listar-multipart-leer-set-uploads, como se muestra a continuación. Sustituya sequence store ID con el ID de tu propio almacén de secuencias.

    aws omics list-multipart-read-set-uploads --sequence-store-id sequence store ID

    Esta API solo muestra las subidas de conjuntos de lectura en varias partes que estén en curso. Una vez ingeridos, los conjuntos son ACTIVE, o si la carga ha fallado, la carga no se devolverá en la respuesta a la lista-multipart-lectura-set-uploads API. Para ver los conjuntos de lectura activos, utilice la listas de conjuntos de lectura API. Un ejemplo de respuesta para list-multipart-read-set-uploads se muestra a continuación.

    { "uploads": [ { "sequenceStoreId": "1234567890", "uploadId": "8749584421", "sourceFileType": "FASTQ", "subjectId": "mySubject", "sampleId": "mySample", "generatedFrom": "1000 Genomes", "name": "HG00146", "description": "FASTQ for HG00146", "creationTime": "2023-11-29T19:22:51.349298+00:00" }, { "sequenceStoreId": "1234567890", "uploadId": "5290538638", "sourceFileType": "BAM", "subjectId": "mySubject", "sampleId": "mySample", "generatedFrom": "1000 Genomes", "referenceArn": "arn:aws:omics:us-west-2:123456789012:referenceStore/8168613728/reference/2190697383", "name": "HG00146", "description": "BAM for HG00146", "creationTime": "2023-11-29T19:23:33.116516+00:00" }, { "sequenceStoreId": "1234567890", "uploadId": "4174220862", "sourceFileType": "BAM", "subjectId": "mySubject", "sampleId": "mySample", "generatedFrom": "1000 Genomes", "referenceArn": "arn:aws:omics:us-west-2:123456789012:referenceStore/8168613728/reference/2190697383", "name": "HG00147", "description": "BAM for HG00147", "creationTime": "2023-11-29T19:23:47.007866+00:00" } ] }
  6. Después de cargar todas las partes del archivo, utilice carga completa de varias partes, conjunto de lectura para finalizar el proceso de carga, como se muestra en el siguiente ejemplo. Reemplazar sequence store ID, upload ID, y el parámetro para las piezas con sus propios valores.

    aws omics complete-multipart-read-set-upload \ --sequence-store-id sequence store ID \ --upload-id upload ID \ --parts '[{"checksum":"gaCBQMe+rpCFZxLpoP6gydBoXaKKDA/Vobh5zBDb4W4=","partNumber":1,"partSource":"SOURCE1"}]'

    La respuesta para carga completa de conjunto de lectura multiparte son los ID de los conjuntos de lectura de los conjuntos de lectura importados.

    { "readSetId": "0000000001" }
  7. Para detener la carga, usa abortar multipart-lectura-set-upload con el identificador de carga para finalizar el proceso de carga. Reemplazar sequence store ID y upload ID con sus propios valores de parámetros.

    aws omics abort-multipart-read-set-upload \ --sequence-store-id sequence store ID \ --upload-id upload ID
  8. Una vez completada la carga, recupere los datos del conjunto de lectura utilizando get-read-set, como se muestra a continuación. Si la carga aún se está procesando, get-read-set devuelve metadatos limitados y los archivos de índice generados no están disponibles. Reemplazar sequence store ID y los demás parámetros con su propia entrada.

    aws omics get-read-set --sequence-store-id sequence store ID \ --id read set ID \ --file SOURCE1 \ --part-number 1 myfile.fastq.gz
  9. Para comprobar los metadatos, incluido el estado de la subida, utiliza el get-read-set-metadata Operación de API.

    aws omics get-read-set-metadata --sequence-store-id sequence store ID --id read set ID

    La respuesta incluye detalles de metadatos, como el tipo de archivo, el ARN de referencia, el número de archivos y la longitud de las secuencias. También incluye el estado. Los posibles estados son PROCESSING_UPLOAD, ACTIVE, y UPLOAD_FAILED.

    { "id": "0000000001", "arn": "arn:aws:omics:us-west-2:555555555555:sequenceStore/0123456789/readSet/0000000001", "sequenceStoreId": "0123456789", "subjectId": "mySubject", "sampleId": "mySample", "status": "PROCESSING_UPLOAD", "name": "HG00146", "description": "FASTQ for HG00146", "fileType": "FASTQ", "creationTime": "2022-07-13T23:25:20Z", "files": { "source1": { "totalParts": 5, "partSize": 123456789012, "contentLength": 6836725, }, "source2": { "totalParts": 5, "partSize": 123456789056, "contentLength": 6836726 } }, 'creationType": "UPLOAD" }

Configure una ubicación alternativa

Al crear o actualizar un almacén de secuencias, puede configurar un bucket de Amazon S3 como ubicación alternativa para los archivos que no se cargan. Las partes del archivo de esos conjuntos de lectura se transfieren a la ubicación alternativa. Las ubicaciones alternativas están disponibles para los almacenes de secuencias creados después del 15 de mayo de 2023.

Cree una política de cubos de Amazon S3 para conceder HealthOmics escriba el acceso a la ubicación alternativa de Amazon S3, como se muestra en el siguiente ejemplo:

{ "Effect": "Allow", "Principal": { "Service": "omics.amazonaws.com" }, "Action": "s3:PutObject", "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/*" }

Si el bucket de Amazon S3 para los registros de respaldo o acceso utiliza una clave gestionada por el cliente, añada los siguientes permisos a la política de claves:

{ "Sid": "Allow use of key", "Effect": "Allow", "Principal": { "Service": "omics.amazonaws.com" }, "Action": [ "kms:Decrypt", "kms:GenerateDataKey*" ], "Resource": "*" }