Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Especificaciones de la definición del flujo de trabajo de Next

HealthOmics es compatible con Nextflow DSL1 y DSL2. Para obtener más información, consulte Compatibilidad con la versión de Nextflow.

Nextflow DSL2 se basa en el lenguaje de programación Groovy, por lo que los parámetros son dinámicos y la coacción de tipos es posible utilizando las mismas reglas que Groovy. Los parámetros y valores proporcionados por el JSON de entrada están disponibles en el mapa parameters () del flujo de trabajo. params

Usa los complementos nf-schema y nf-validation

HealthOmics proporciona el siguiente soporte para los complementos de Nextflow:

Especifique los URI de almacenamiento

Cuando se utiliza un HealthOmics URI o un archivo de Amazon S3 para crear un archivo o un objeto de ruta de Nextflow, el objeto coincidente está disponible para el flujo de trabajo, siempre que se conceda el acceso de lectura. Se permite el uso de prefijos o directorios para los URI de Amazon S3. Para ver ejemplos, consulte Formatos de parámetros de entrada de Amazon S3.

HealthOmics admite parcialmente el uso de patrones globales en los URI o URI de almacenamiento de Amazon S3. HealthOmics Utilice los patrones globales en la definición del flujo de trabajo para la creación de nuestros canales. path file Para conocer el comportamiento esperado y los casos exactos, consulteManejo de Nextflow del patrón Glob en las entradas de Amazon S3.

Directivas de Nextflow

Las directivas de Nextflow se configuran en el archivo de configuración de Nextflow o en la definición del flujo de trabajo. La siguiente lista muestra el orden de prioridad que se HealthOmics utiliza para aplicar los ajustes de configuración, desde la prioridad más baja a la más alta:

Estrategia de reintento de tareas mediante ErrorStrategy

Usa la errorStrategy directiva para definir la estrategia en caso de errores en las tareas. De forma predeterminada, cuando se devuelve una tarea con una indicación de error (un estado de salida distinto de cero), la tarea se detiene y HealthOmics finaliza toda la ejecución. Si se establece enretry, errorStrategy HealthOmics intenta volver a intentar la tarea fallida. Para aumentar el número de reintentos, consulte. Reintentos de tareas mediante MaxRetries

process {
    label 'my_label'
    errorStrategy 'retry'

    script:
    """
    your-command-here
    """
}   

Para obtener información sobre cómo se HealthOmics gestionan los reintentos de tareas durante una ejecución, consulte. La tarea se reintenta

Reintentos de tareas mediante MaxRetries

De forma predeterminada, HealthOmics no intenta reintentar una tarea fallida ni intenta reintentarlo si la configuras. errorStrategy Para aumentar el número máximo de reintentos, errorStrategy defina retry y configure el número máximo de reintentos mediante la directiva. maxRetries

El siguiente ejemplo establece el número máximo de reintentos en 3 en la configuración global.

process {
    errorStrategy = 'retry'
    maxRetries = 3
}     

El siguiente ejemplo muestra cómo configurarlo maxRetries en la sección de tareas de la definición del flujo de trabajo.

process myTask {
    label 'my_label'
    errorStrategy 'retry'
    maxRetries 3
    
    script:
    """
    your-command-here
    """
}   

El siguiente ejemplo muestra cómo especificar la configuración específica de una tarea en el archivo de configuración de Nextflow, en función de los selectores de nombre o etiqueta.

process {
    withLabel: 'my_label' {
        errorStrategy = 'retry'
        maxRetries = 3
    }

    withName: 'myTask' {
        errorStrategy = 'retry'
        maxRetries = 3
    }
}   

Opte por no participar en el reintento de la tarea con omics 5xx RetryOn

Para Nextflow v23 y versiones posteriores, HealthOmics admite los reintentos de tareas si la tarea falló debido a errores de servicio (códigos de estado HTTP 5XX). De forma predeterminada, HealthOmics intenta reintentar hasta dos veces una tarea fallida.

Puede configurarlo omicsRetryOn5xx para que excluya el reintento de una tarea en caso de errores de servicio. Para obtener más información sobre el reintento de tareas HealthOmics, consulte. La tarea se reintenta

El siguiente ejemplo configura omicsRetryOn5xx en la configuración global la opción de inhabilitar el reintento de tareas.

process {
    omicsRetryOn5xx = false
}     

El siguiente ejemplo muestra cómo realizar la configuración omicsRetryOn5xx en la sección de tareas de la definición del flujo de trabajo.

process myTask {
    label 'my_label'
    omicsRetryOn5xx = false
    
    script:
    """
    your-command-here
    """
}   

El siguiente ejemplo muestra cómo establecer omicsRetryOn5xx una configuración específica para una tarea en el archivo de configuración de Nextflow, en función de los selectores de nombre o etiqueta.

process {
    withLabel: 'my_label' {
        omicsRetryOn5xx = false
    }

    withName: 'myTask' {
        omicsRetryOn5xx = false
    }
}   

Duración de la tarea mediante la directiva de tiempo

HealthOmics proporciona una cuota ajustable (consulteHealthOmics cuotas de servicio) para especificar la duración máxima de una ejecución. Para los flujos de trabajo de Nextflow v23 y versiones posteriores, también puede especificar la duración máxima de las tareas mediante la directiva Nextflow. time

Durante el desarrollo de nuevos flujos de trabajo, establecer la duración máxima de las tareas te ayuda a detectar las tareas que se están agotando y las que llevan mucho tiempo ejecutándose.

Para obtener más información sobre la directiva de tiempo de Nextflow, consulte la directiva de tiempo en la referencia de Nextflow.

HealthOmics proporciona el siguiente soporte para la directiva horaria de Nextflow:

Especifique la duración del tiempo de espera con una o más de las siguientes unidades:ms,s, mh, od.

El siguiente ejemplo muestra cómo especificar la configuración global en el archivo de configuración de Nextflow. Establece un tiempo de espera global de 1 hora y 30 minutos.

process {
    time = '1h30m'
}     

El siguiente ejemplo muestra cómo especificar una directiva de tiempo en la sección de tareas de la definición del flujo de trabajo. En este ejemplo se establece un tiempo de espera de 3 días, 5 horas y 4 minutos. Este valor tiene prioridad sobre el valor global del archivo de configuración, pero no tiene prioridad sobre una directiva de tiempo específica para my_label una tarea en el archivo de configuración.

process myTask {
    label 'my_label'
    time '3d5h4m'
        
    script:
    """
    your-command-here
    """
}     

El siguiente ejemplo muestra cómo especificar las directivas de tiempo específicas de una tarea en el archivo de configuración de Nextflow, en función de los selectores de nombre o etiqueta. En este ejemplo, se establece un valor de tiempo de espera global para una tarea de 30 minutos. Establece un valor de 2 horas para la tarea myTask y un valor de 3 horas para las tareas con etiquetamy_label. En el caso de las tareas que coinciden con el selector, estos valores tienen prioridad sobre el valor global y el valor de la definición del flujo de trabajo.

process {
    time = '30m'
    
    withLabel: 'my_label' {
        time = '3h'  
    }

    withName: 'myTask' {
        time = '2h'  
    }
}     

Usa los perfiles de Nextflow

Los perfiles de Nextflow se denominan conjuntos de ajustes de configuración que puede seleccionar en tiempo de ejecución. Defina los perfiles en el profiles bloque de su nextflow.config archivo:

profiles {
    standard {
        process.cpus = 2
        process.memory = '4 GB'
    }

    production {
        process.cpus = 16
        process.memory = '64 GB'
        params.input = 's3://bucket/production-data.bam'
    }
}

Al iniciar una ejecución, especifique uno o más perfiles mediante el engineSettings parámetro. HealthOmics pasa la -profile bandera al motor de Nextflow. Para obtener más información, consulte Especifique la configuración del motor Nextflow.

aws omics start-run \
  --workflow-id workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket/prefix/ \
  --engine-settings '{"profile": "production"}'

Cuando se especifican varios perfiles (por ejemplo,"test,docker"), Nextflow los aplica en el orden en que se especifican en la línea de comandos. Los perfiles posteriores anulan los anteriores en caso de configuraciones conflictivas. Para las versiones de Nextflow inferiores a 26, los perfiles se aplican en el orden en que están definidos en el archivo de configuración y no en el orden de la línea de comandos.

Tenga en cuenta lo siguiente:

Exporte contenido a nivel de flujo de trabajo

Para Nextflow v25.10 y versiones posteriores, puede exportar archivos producidos fuera de tareas individuales, como los informes de procedencia o los DAG de tramitación. Para exportar estos archivos, escríbalos en. /mnt/workflow/output/ HealthOmics exporta los archivos ubicados en este directorio al output/ prefijo de la ubicación de salida de Amazon S3 de su ejecución.

El siguiente ejemplo muestra cómo configurar el nf-prov complemento para escribir un informe de procedencia en él. /mnt/workflow/output/

prov {
    formats {
        bco {
            file = "/mnt/workflow/output/pipeline_info/manifest.bco.json"
        }
    }
}

También puedes pasar esta ruta como parámetro en el JSON de entrada de tu ejecución. Este enfoque es común en los flujos de trabajo de nf-core que utilizan. params.outdir

{
    "outdir": "/mnt/workflow/output/"
}

Exporta el contenido de las tareas

Para los flujos de trabajo escritos en Nextflow, defina una directiva PublishDir para exportar el contenido de las tareas a su bucket de Amazon S3 de salida. Como se muestra en el siguiente ejemplo, defina el valor de PublishDir en. /mnt/workflow/pubdir Para exportar archivos a Amazon S3, los archivos deben estar en este directorio.

 nextflow.enable.dsl=2
              
  workflow {
    CramToBamTask(params.ref_fasta, params.ref_fasta_index, params.ref_dict, params.input_cram, params.sample_name)
    ValidateSamFile(CramToBamTask.out.outputBam)
  }
  
  process CramToBamTask {
    container "<account>.dkr.ecr.us-west-2.amazonaws.com/genomes-in-the-cloud"
  
    publishDir "/mnt/workflow/pubdir"
  
    input:
        path ref_fasta
        path ref_fasta_index
        path ref_dict
        path input_cram
        val sample_name
  
    output:
        path "${sample_name}.bam", emit: outputBam
        path "${sample_name}.bai", emit: outputBai
  
    script:
    """
        set -eo pipefail
  
        samtools view -h -T $ref_fasta $input_cram |
        samtools view -b -o ${sample_name}.bam -
        samtools index -b ${sample_name}.bam
        mv ${sample_name}.bam.bai ${sample_name}.bai
    """
  }
  
  process ValidateSamFile {
    container "<account>.dkr.ecr.us-west-2.amazonaws.com/genomes-in-the-cloud"
  
    publishDir "/mnt/workflow/pubdir"
  
    input:
        file input_bam
  
    output:
        path "validation_report"
  
    script:
    """
        java -Xmx3G -jar /usr/gitc/picard.jar \
        ValidateSamFile \
        INPUT=${input_bam} \
        OUTPUT=validation_report \
        MODE=SUMMARY \
        IS_BISULFITE_SEQUENCED=false
    """
  }   

Para Nextflow v25.10 y versiones posteriores, como alternativapublishDir, puede usar las salidas del flujo de trabajo para exportar el contenido de las tareas. El siguiente ejemplo muestra cómo definir un output bloque de flujo de trabajo que exporta los resultados de las tareas a Amazon S3.

process myTask {
    input:
    val data

    output:
    path 'result.txt'

    script:
    """
    echo ${data} > result.txt
    """
}

workflow {
    main:
    output_file = myTask('hello')

    publish:
    results = output_file
}

output {
    results {
        path '.'
    }
}

Para obtener más información sobre los resultados del flujo de trabajo, consulte los resultados del flujo de trabajo en la documentación de Nextflow.

Genere informes de ejecución de Nextflow

Nextflow puede producir cuatro informes integrados para cada ejecución: un informe de ejecución (report), un cronograma (timeline), un archivo de seguimiento (trace) y un diagrama de flujo de trabajo (dag). HealthOmics Para exportar estos archivos a la ubicación de salida de Amazon S3 de tu ejecución, configura cada uno de ellos para que escriba el resultado /mnt/workflow/output/ en tu nextflow.config archivo:

report {
    enabled = true
    file = '/mnt/workflow/output/report.html'
    overwrite = true
}

timeline {
    enabled = true
    file = '/mnt/workflow/output/timeline.html'
    overwrite = true
}

trace {
    enabled = true
    file = '/mnt/workflow/output/trace.txt'
    overwrite = true
}

dag {
    enabled = true
    file = '/mnt/workflow/output/dag.html'
    overwrite = true
}

HealthOmics exporta los archivos escritos con /mnt/workflow/output/ el output/ prefijo de la ubicación de salida de Amazon S3 de su ejecución. Para obtener más información sobre esta ruta de exportación, consulteExporte contenido a nivel de flujo de trabajo. Los informes escritos en el exterior no /mnt/workflow/output/ se exportan a la ubicación de salida de Amazon S3 de su ejecución.

Especifique la versión de sintaxis de Nextflow

La versión 26.04.0 de Nextflow usa el analizador de sintaxis estricto (v2) de forma predeterminada. Este es un cambio radical para los flujos de trabajo escritos con la sintaxis antigua (v1), que es la predeterminada en la versión 25.10.0 de Nextflow y versiones anteriores. Para obtener información sobre la sintaxis de la versión 2, consulte Sintaxis estricta en la documentación de Seqera Nextflow.

Para ejecutar un flujo de trabajo creado con el analizador antiguo (v1), engineSettings.syntaxVersion configúralo en la solicitud: v1 StartRun

{
  "engineSettings": {
    "syntaxVersion": "v1"
  }
}

Para la versión 25.10.0 de Nextflow y versiones anteriores, HealthOmics no es compatible con el analizador de la versión 2.

Validación automática de la sintaxis durante la creación del flujo de trabajo

HealthOmics ejecuta automáticamente el estricto DSL2 linter (nf-lang/v2) integrado en Nextflow al crear o actualizar un flujo de trabajo DSL2 de Nextflow. CreateWorkflowEste CreateWorkflowVersion linter funciona durante y. Se aplica a todas las versiones de DSL2 compatibles (v22.04, v23.10, v24.10, v25.10 y v26.04). Los flujos de trabajo de la DSL1 no están limitados.

El linter funciona en modo sin bloqueo. Los hallazgos de Lint no impiden que el flujo de trabajo se active. Los resultados aparecen como JSON estructurado en el statusMessage campo de la GetWorkflow respuesta.

Para obtener más información sobre el formato de salida lint y sobre cómo abordar los hallazgos, consulte. El flujo de trabajo apunta a HealthOmics

Cómo usar el almacenamiento desde cero de manera eficiente en Nextflow

La scratch directiva de Nextflow controla dónde escribe un proceso sus archivos de trabajo temporales. Cuando el almacenamiento efímero esté activado (scratchStorageMode: LOCAL), utilice la scratch directiva para dirigir desde cero I/O al rápido volumen local en el que se encuentra. /tmp

En la siguiente tabla se describen los valores de scratch directiva admitidos y su comportamiento en: HealthOmics

El enfoque recomendado es establecer scratch true en la definición del proceso, que utiliza automáticamente $TMPDIR y no requiere ninguna configuración de rutas:

process my_process {
    scratch true
    disk '200 GB'
    script:
    """
    my-tool --input ${input} --output ${output}
    """
}

Para obtener más información sobre el almacenamiento efímero y la disk directiva, consulte. Almacenamiento efímero para HealthOmics tareas de flujo de trabajo

Notas de la versión 26.04 de Nextflow

En las tablas siguientes se resume la HealthOmics compatibilidad con las nuevas funciones, mejoras y obsolescencias publicadas en la versión 26.04 de Nextflow.

Nuevas características y mejoras

Obsolescencias