Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
HealthOmics ejecutar entradas
Si la definición del flujo de trabajo especifica archivos de entrada para el flujo de trabajo o las tareas del HealthOmics flujo de trabajo, distribuye los archivos en un volumen virtual dedicado a la ejecución del flujo de trabajo. Estos archivos de entrada son de solo lectura, lo que evita que las tareas modifiquen las posibles entradas para otras tareas del flujo de trabajo. En el caso de las importaciones de directorios, los directorios también son de solo lectura.
Muchas aplicaciones de genómica asumen que los archivos de índice están ubicados junto con los archivos de secuencia (por ejemplo, un bai archivo complementario para un archivo). bam Para incluir archivos de índice, especifíquelos como entradas de tareas en la definición del flujo de trabajo.
Temas
Administrar el tamaño de los parámetros de ejecución
Al iniciar una ejecución, se especifican las entradas de la ejecución en el archivo o objeto JSON de los parámetros de ejecución. Puedes especificar hasta 256 KB de parámetros de ejecución para el flujo de trabajo. Puede utilizar las siguientes técnicas para mantenerse dentro de esta restricción de tamaño:
-
Utilice las importaciones de directorios
Para especificar un gran número de archivos de entrada, especifique un parámetro como la ubicación de Amazon S3 que contiene todos los archivos, en lugar de especificar un parámetro para cada ubicación de archivos. Para obtener más información, consulte el siguiente tema (formatos de parámetros de entrada de Amazon S3).
-
Utilice una hoja de muestra
Una hoja de muestra es un archivo CSV o TSV con una columna para la dirección fastq.gz (o dos para la lectura combinada) y columnas adicionales para los metadatos, como los nombres de los ejemplos. La hoja de muestra se especifica como un parámetro de entrada de ejecución en lugar de un parámetro para cada archivo de entrada.
El flujo de trabajo define la forma en que la hoja de muestra se asigna a las estructuras de datos del flujo de trabajo. Si bien puedes escribir código para hojas de muestra en WDL y CWL, son más comunes en. NextFlow Para ver un ejemplo, consulte la hoja de muestra
en el sitio de GitHub nf-core.
Formatos de parámetros de entrada de Amazon S3
En el caso de un parámetro de entrada que acepte una ubicación de Amazon S3, el parámetro puede especificar la ubicación de un archivo o de todo un directorio de archivos. El uso de un directorio tiene las siguientes ventajas:
-
Comodidad: se especifica el nombre del directorio como parámetro. No se enumeran los nombres de cada archivo.
-
Compacidad: el tamaño máximo del archivo del parámetro de entrada es de 256 KB. Si proporciona una lista larga de nombres de archivos de entrada, puede superar este máximo.
Amazon S3 es un sistema de almacenamiento de objetos plano, por lo que no admite directorios. Los archivos se agrupan en un «directorio» asignando a cada archivo el mismo prefijo de clave de objeto. Para obtener más información sobre los prefijos de clave de objeto de Amazon S3, consulte Organizar objetos mediante prefijos.
HealthOmics interpreta el valor del parámetro de entrada de la siguiente manera:
-
Si la ubicación de Amazon S3 no termina con una barra diagonal ni utiliza el patrón global, HealthOmics espera que el valor del parámetro sea la clave de un objeto de Amazon S3.
Por ejemplo, usted especifica la entrada
s3://myfiles/runs/inputs/a/file1.fastqfile1.fastq -
Si la ubicación de Amazon S3 termina con una barra diagonal, HealthOmics interpreta el valor del parámetro como un prefijo de Amazon S3. Carga todos los objetos de Amazon S3 con ese prefijo.
Por ejemplo, puede especificar que se
s3://myfiles/runs/inputs/a/carguen todos los objetos cuyas claves comiencen por este prefijo. -
En el caso de Nextflow, admite HealthOmics parcialmente el patrón global de los URI de Amazon S3 en los parámetros de entrada.
Por ejemplo, puede especificar
“s3://myfiles/runs/inputs/a/*.gz”que se introduzcan todos los archivos.gz cuyas claves comiencen por este prefijo.
Nextflow: manejo del patrón Glob en las entradas de Amazon S3
| Patrón global | HealthOmics Comportamiento del partido | Notas |
|---|---|---|
| s3://bucket/directory/*.txt | Coincide con todos .txt los objetos de cualquier profundidad con el prefijo s3:///. bucket/directory Por ejemplo, coincide con s3://bucket/directory/abc.txt o s3://bucket/directory/subDir/123.txt, etc. |
|
| s3:///**/*.txt bucket/directory | Coincide con todos los .txt objetos de cualquier profundidad con el prefijo s3:///. bucket/directory Por ejemplo, coincide con s3://bucket/directory/abc.txt o s3://bucket/directory/subDir/123.txt, etc. |
En S3, ** es equivalente a*. |
| s3://bucket/directory/{a, b} .txt | s3://bucket/directory/a.txt, s3:///b.txt bucket/directory | |
| s3://bucket/directory/?. texto | Busca objetos en la raíz del prefijo cuyo nombre de archivo sea un solo carácter seguido .txt de. Por ejemplo, coincide con s3://bucket/directory/a.txt pero no con s3://bucket/directory/someDir/a.txt o s3://bucket/directory//a.txt someDir/subDir |
|
| s3://bucket/directory/[0-9] .txt | s3://bucket/directory/0.txt, s3://bucket/directory/1.txt,... , s3://bucket/directory/9.txt | |
| s3://bucket/directory/[0-9] .txt | s3://bucket/directory/1.txt, s3://bucket/directory/2.txt, s3:///3.txt bucket/directory | |
| s3:bucket/directory//[0-9] .txt | s3://bucket/directory/b.txt, s3://bucket/directory/c.txt,... , s3://bucket/directory/Y.txt |
Language-specific manejo de la barra doble en las entradas de Amazon S3
HealthOmics conserva el comportamiento nativo del motor de cada motor de flujo de trabajo al gestionar barras dobles en los URI de Amazon S3, de modo que no es necesario realizar ningún cambio en los flujos de trabajo al migrarlos a. HealthOmics En las siguientes secciones, se describe cómo gestiona cada motor los distintos escenarios.
WDL
Si el parámetro de entrada incluye una barra doble en el centro o al final del URI, el motor WDL conserva la barra doble.
| Parámetro de entrada | Ubicación esperada |
|---|---|
| s3://myfiles/runs/inputs//file1.fastq | s3://myfiles/runs/inputs/archivo1.fastq |
| s3://myfiles/runs/entradas// | s3:///entradas// myfiles/runs |
Flujo siguiente
Si el parámetro de entrada incluye una barra doble en el centro del URI, el motor de Nextflow conserva la barra doble. En el caso de una barra doble al final de la URI, el motor de Nextflow la resuelve en una sola barra.
| Parámetro de entrada | Ubicación esperada |
|---|---|
| s3://myfiles/runs/inputs//file1.fastq | s3://myfiles/runs/inputs/archivo1.fastq |
| runs/inputss3://myfiles////*.gz | s3://myfiles////*.gz runs/inputs |
| s3://myfiles//runs/inputs// | s3://myfiles//runs/inputs/ |
LLAMADA
Si el parámetro de entrada incluye una barra doble en el centro o al final del URI, el motor CWL conserva la barra doble.
| Parámetro de entrada | Ubicación esperada |
|---|---|
| s3://myfiles// runs/inputs //file1.fastq | s3://myfiles// runs/inputs //archivo1.fastq |
| runs/inputss3://myfiles//// | s3://myfiles//runs/inputs// |
Estados del archivo de entrada de Amazon S3
HealthOmics puede recuperar los objetos de Amazon S3 que S3 entrega en tiempo real. En el caso de los objetos que se encuentran en los siguientes estados de almacenamiento archivado, restore los objetos para los que están disponibles: HealthOmics
-
Clases de almacenamiento flexibles de recuperación o archivado profundo en Amazon S3 Glacier.
-
Niveles de acceso archivado o acceso a archivos profundos en niveles inteligentes.
Para obtener información sobre la restauración de objetos, consulte Restaurar un objeto archivado en la Guía del usuario de Amazon S3.
