Internetzugang für VPC-connected Workflows

Wenn Sie einen AWS HealthOmics Run mit einer VPC verbinden, kann der Run nur auf Ressourcen zugreifen, die in dieser VPC verfügbar sind. Um Ihrem Run Zugriff auf das öffentliche Internet oder AWS Dienste außerhalb der VPC zu gewähren, müssen Sie Ihre VPC mit den entsprechenden Netzwerkressourcen konfigurieren.

In diesem Thema wird beschrieben, wie Sie Ihre VPC einrichten, um Internetzugang und effiziente Konnektivität zu AWS Diensten für Ihre VPC-connected Läufe bereitzustellen. Hinweise zum Verbinden von Läufen mit einer VPC finden Sie unterHealthOmics Workflows mit einer VPC verbinden.

Einrichtung einer VPC mit Internetzugang

Um Ihren VPC-connected Läufen Zugriff auf das Internet zu gewähren, erstellen Sie eine VPC mit privaten Subnetzen, die ausgehenden Datenverkehr über ein NAT-Gateway weiterleiten.

Diese Konfiguration bietet:

Unterstützte Regionen und Availability Zones

HealthOmics Workflows ist in den folgenden Regionen und Availability Zones verfügbar. Stellen Sie beim Erstellen Ihrer VPC sicher, dass sich Ihre Subnetze in einer oder mehreren dieser Availability Zones befinden.

Wenn Sie Ihre HealthOmics VPC-Konfiguration erstellen, geben Sie die privaten Subnetze an. Die Läufe verwenden das NAT-Gateway im öffentlichen Subnetz, um das Internet zu erreichen.

VPC-Endpunkte für Dienste AWS

Sie können VPC-Endpunkte so konfigurieren, dass Läufe auf AWS Dienste zugreifen können, ohne das öffentliche Internet zu durchqueren. Dies verbessert die Sicherheit und kann die Kosten für die Datenübertragung senken.

In der folgenden Tabelle sind häufig verwendete VPC-Endpoints für HealthOmics Läufe aufgeführt:

Die vollständige Liste der Dienste, auf die Sie über AWS PrivateLink Endpunkte zugreifen können, finden Sie unter AWS Dienste, die sich integrieren lassen. AWS PrivateLink Eine ausführliche Anleitung zur Einrichtung von Endgeräten finden Sie unter Access AWS Services bis AWS PrivateLink im AWS PrivateLink Guide.

Anforderungen an das NAT-Gateway

Für Läufe, die einen öffentlichen Internetzugang erfordern:

Sicherheitsgruppenkonfiguration

Konfigurieren Sie Ihre Sicherheitsgruppen so, dass ausgehender Datenverkehr zu den Zielen zugelassen wird, auf die Ihre Läufe zugreifen müssen:

Das folgende Beispiel zeigt eine Sicherheitsgruppenregel für den öffentlichen Internetzugang:

Konfiguration der Routentabelle

Stellen Sie sicher, dass Ihre privaten Subnetze über Routing-Tabelleneinträge verfügen, die den internetgebundenen Datenverkehr an ein NAT-Gateway weiterleiten:

Für den Zugriff auf lokale Ressourcen konfigurieren Sie Routen zu einem virtuellen privaten Gateway oder Gateway.

IAM-Berechtigungen für Dienste AWS

Wenn Ihre Workflow-Aufgaben im VPC-Netzwerkmodus auf AWS Services wie Amazon Athena, AWS Glue oder Amazon DynamoDB zugreifen, müssen Sie der Servicerolle, die Sie an die API übergeben, die erforderlichen Berechtigungen hinzufügen. StartRun Ohne diese Berechtigungen schlagen Ihre Workflow-Aufgaben mit oder ohne Fehler fehl. AccessDeniedException UnauthorizedException

Wenn Ihr Workflow aufgrund von Berechtigungsfehlern fehlschlägt, überprüfen Sie die CloudWatch Logs für Ihre Workflow-Ausführung. Zu den häufigsten Fehlermeldungen gehören AccessDeniedException: You are not authorized to perform: action on the resource (der Servicerolle fehlt die erforderliche IAM-Berechtigung) oder UnrecognizedClientException: The security token included in the request is invalid (die Vertrauensrichtlinie für die Servicerolle ist möglicherweise falsch konfiguriert oder der übergebene Rollen-ARN StartRun ist falsch).

Allgemeine Dienstberechtigungen

Die folgenden Beispiele zeigen IAM-Berechtigungen für häufig verwendete AWS Dienste in Workflows im VPC-Modus. Fügen Sie diese Berechtigungen Ihrer Servicerollenrichtlinie hinzu, je nachdem, auf welche Dienste Ihr Workflow zugreift.

{
  "Effect": "Allow",
  "Action": [
    "athena:StartQueryExecution",
    "athena:GetQueryExecution",
    "athena:GetQueryResults",
    "athena:StopQueryExecution"
  ],
  "Resource": "arn:aws:athena:region:account-id:workgroup/workgroup-name"
}

{
  "Effect": "Allow",
  "Action": [
    "glue:GetDatabase",
    "glue:GetTable",
    "glue:GetPartitions",
    "glue:CreateTable",
    "glue:UpdateTable"
  ],
  "Resource": [
    "arn:aws:glue:region:account-id:catalog",
    "arn:aws:glue:region:account-id:database/database-name",
    "arn:aws:glue:region:account-id:table/database-name/*"
  ]
}

{
  "Effect": "Allow",
  "Action": [
    "dynamodb:GetItem",
    "dynamodb:PutItem",
    "dynamodb:Query",
    "dynamodb:Scan"
  ],
  "Resource": "arn:aws:dynamodb:region:account-id:table/table-name"
}

{
  "Effect": "Allow",
  "Action": [
    "s3tables:GetTableData",
    "s3tables:PutTableData"
  ],
  "Resource": "arn:aws:s3tables:region:account-id:bucket/bucket-name/table/table-id"
}

VPC-Konnektivität testen

Stellen Sie vor dem Ausführen von Produktionsworkflows sicher, dass Ihre VPC-Konfiguration Konnektivität zu den erforderlichen externen Diensten ermöglicht.

Erstellen Sie einen Test-Workflow

Erstellen Sie einen einfachen Workflow, der die Konnektivität zu Ihrem externen Dienst testet. Erstellen Sie beispielsweise einen Workflow, der versucht, eine TCP-Verbindung zu einem Zieldienstendpunkt herzustellen.

Führen Sie den Test aus

aws omics start-run \
  --workflow-id test-workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket-name/test-outputs/ \
  --networking-mode VPC \
  --configuration-name configuration-name \
  --parameters file://test-parameters.json

Überprüfen der Ergebnisse

Überprüfen Sie die Workflow-Ausgabe, um die erfolgreiche Verbindung zu bestätigen:

{
  "connectivity_test.result": "Testing connection to external service...\nSUCCESS: Connection successful!\nTest completed"
}

Wenn der Test fehlschlägt, überprüfen Sie Folgendes:

Beispiele

Zugriff auf NCBI-Daten mit API-Authentifizierung

Dieses Beispiel zeigt, wie Sie mithilfe der NCBI Datasets API mit Authentifizierung auf NCBI-Daten zugreifen können.

Um Ihren NCBI-API-Schlüssel zu erhalten, besuchen Sie die Dokumentation zu den NCBI-API-Schlüsseln.

Beispiel für eine Workflow-Definition:

version 1.0
#WORKFLOW DEFINITION

# Meant to be used as integration test for public internet access via VPC tunnel
workflow TestFlow {
    input {
        String ncbi_api_url = "https://api.ncbi.nlm.nih.gov/datasets/v2/gene/accession/NM_021803.4?api_key=<YOUR_API_KEY>"
    }

    call DataProcessTask{
        input:
            ncbi_api_url = ncbi_api_url,
    }

    output {
        File output_file = DataProcessTask.output_file
    }

}

#Task Definitions
task DataProcessTask {
    input {
        String ncbi_api_url
    }

    command <<<
        set -eu
        # Download file from NCBI Datasets API with API key
        curl -fsSL "~{ncbi_api_url}" -o gene_data.json

        # Add data processing task here
        cat gene_data.json > processed_data.json

        # Echo the content to output file
        cat processed_data.json > outfile.txt
    >>>

    output {
        File output_file = "outfile.txt"
    }
}

Die wichtigsten Punkte:

Weitere Informationen zu NCBI-API-Schlüsseln und Ratenbegrenzungen finden Sie in der NCBI Datasets API-Dokumentation.

Best Practices