Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Führen Sie die Optimierung für ein privates aus HealthOmics Arbeitsablauf
Sie können Läufe im Hinblick auf Gesamtkosten, Gesamtlaufzeit oder eine Kombination aus beiden optimieren. HealthOmics bietet Daten und Tools, die Ihnen bei Entscheidungen zur Laufoptimierung helfen. Die Ausführungsoptimierung gilt nicht für Ready2Run-Workflows, da Sie keine Kontrolle darüber haben, wie der Service die Ressourcenbereitstellung für diese Workflows verwaltet.
Der erste Schritt besteht darin, die aktuelle Nutzung der Aufgabenressourcen und die Kosten für die Aufgaben im Lauf zu ermitteln und dann Methoden zur Optimierung der Ausführungskosten und der Leistung anzuwenden.
Informationen zum Sammeln dieser Nutzungsdaten und zum Vergleich zwischen den einzelnen Durchläufen finden Sie unter Debuggen eines HealthOmics Workflow-Ausführung.
Themen
Führen Sie Analyzer aus
HealthOmics bietet ein Open-Source-Tool mit dem Namen Führen Sie Analyzer aus
Run Analyzer schätzt die Aufgabenkosten und potenziellen Kosteneinsparungen auf der Grundlage von AWS listet die Preise zum Zeitpunkt der Ausführung des Tools auf. Bewerten Sie die Optimierungsempfehlungen und implementieren Sie diejenigen, die für Ihre Anwendungsfälle sinnvoll sind. Testen Sie die Optimierungen, die Sie anwenden, um sicherzustellen, dass sie für Ihren Lauf funktionieren.
Run Analyzer führt die folgenden Aufgaben aus:
-
Wertet Speicher- und Rechenengpässe aus.
-
Identifiziert Aufgaben, für die zu viel Arbeitsspeicher oder CPU zur Verfügung steht, und empfiehlt neue Instanzgrößen, mit denen die Kosten gesenkt werden können.
-
Berechnet Kostenschätzungen für einzelne Aufgaben und berechnet die potenziellen Kosteneinsparungen, wenn Sie die Empfehlungen anwenden.
-
Bietet Ihnen eine Zeitleistenansicht der Aufgaben, sodass Sie die Aufgabenabhängigkeiten und die Verarbeitungsreihenfolge überprüfen können. Die Zeitleiste hilft Ihnen auch dabei, Aufgaben mit langer Laufzeit zu identifizieren.
-
Enthält Empfehlungen zur Dateisystemgröße für den Ausführungsspeicher.
-
Zeigt Ihnen die Bereitstellungszeiten von Aufgaben an, sodass Sie Bereiche identifizieren können, in denen große Containerlasten die Bereitstellungszeit verlangsamen könnten.
-
Das Tool enthält einen Eingabeparameter (Headroom), mit dem Sie die Aggressivität der Optimierungsempfehlungen kontrollieren können.
Die folgenden Abschnitte enthalten spezifische Vorschläge zur Verwendung von Run Analyzer zur Optimierung von Läufen.
Ermitteln Sie die laufenden Kosten
Sie können die folgenden Methoden und Richtlinien verwenden, um die Betriebskosten zu ermitteln:
-
Gehen Sie wie folgt vor, um die Gesamtkosten für einen Abrechnungszeitraum anzuzeigen:
-
Öffnen Sie das Abrechnung und Kostenmanagement
Konsole und wähle Rechnungen. In Gebühren nach Service, erweitern Omics.
Erweitern Sie die Regionund sehen Sie sich dann die Kosten all Ihrer Läufe an, aufgeschlüsselt nach Omics-Instance-Typ, Run-Speichertyp und Ready2Run-Workflow.
-
-
Gehen Sie wie folgt vor, um einen Kostenbericht zu erstellen, der Informationen für jeden Lauf enthält:
-
Öffnen Sie das Abrechnung und Kostenmanagement
Konsole und wähle Datenexporte. -
Wählen Erstellen um einen neuen Datenexport zu erstellen.
-
Geben Sie ein Namen exportieren für den Datenexport. Behalten Sie die Standardwerte der anderen Felder bei, um einen CUR-Bericht (Kosten und Nutzung) zu erstellen.
-
Für Zeitliche Granularität, wählen Sie stündlich oder täglich.
-
Unter Speichereinstellungen für den Datenexport, führen Sie die folgenden Konfigurationsschritte aus:
-
Konfigurieren Sie einen Amazon S3-Bucket für den Datenexport.
-
Für Versionierung von Dateien, wählen Sie aus, ob die vorhandene Exportdatei überschrieben oder jedes Mal eine neue Datei erstellt werden soll.
Das System generiert den ersten Bericht innerhalb der nächsten 24 Stunden und generiert die nachfolgenden Berichte einmal täglich.
-
Weitere Informationen zur Erstellung des Datenexports finden Sie unter Datenexporte erstellen in der AWS Benutzerhandbuch für Datenexporte.
-
-
Du kannst deine Läufe taggen, um die Kosten nach Kategorien zu überwachen und zu optimieren, z. B. nach Team oder Projekt. Wenn du Stichwörter verwendest, befolge diese Schritte, um die laufenden Kosten nach Tag-Kategorien anzuzeigen:
-
Öffnen Sie das Abrechnung und Kostenmanagement
Konsole und wähle Cost Explorer. In Berichtsparameter > Gruppieren nach, wähle Tag als Abmessung. und wählen Sie die gewünschte Tag Name.
-
-
Um die Ressourcennutzung für Aufgaben zu sehen, melden Sie sich im Ausführungsmanifest an CloudWatch. Weitere Informationen finden Sie unter Überwachung HealthOmics mit CloudWatch Logs.
-
Benutze das Führen Sie Analyzer aus Tool, um Informationen zur Nutzung der Aufgabenressourcen für einen Lauf zu extrahieren.
Ermitteln Sie die Nutzung der Laufzeit
Sie können die folgenden Methoden verwenden, um die Laufzeitnutzung zu untersuchen:
-
Aus dem Läuft Auf der Seite der Konsole können Sie die Gesamtlaufzeit eines Laufs einsehen.
-
Von der Details ausführen Auf dieser Seite können Sie die folgenden Elemente anzeigen:
-
Zeigt die Gesamtlaufzeit für einen Lauf an.
-
Zeigen Sie die Laufzeit für jede Aufgabe in der Ausführung an.
-
Wählen Sie einen der Links, um die Protokolle in Amazon S3 anzuzeigen oder um die Ausführungsprotokolle oder Ausführungsmanifestprotokolle in einzusehen CloudWatch.
-
-
Aus dem Aufgaben ausführen Liste, wählen Sie Protokolle anzeigen Link für eine Aufgabe, um die Aufgabenprotokolle einzusehen CloudWatch.
-
Die Antwort auf die
listRunsDer API-Vorgang umfasst die Start- und Stoppzeit der Ausführung, sodass Sie die gesamte Laufzeit berechnen können. -
Die Führen Sie Analyzer aus Das Tool zeigt die Dauer von Aufgaben in einer Zeitleistenansicht an. Dieses Tool bietet eine visuelle Darstellung der Reihenfolge der Aufgabenverarbeitung, die Sie der erwarteten Reihenfolge zuordnen können.
-
Wie Sie die Dauer der Aufgaben, die Bereitstellungszeit und die Parallelität selbst ableiten können, finden Sie unter Erstellen einer Aufgabenzeitleiste aus dem Run-Manifest.
Erstellen einer Aufgabenzeitleiste aus dem Run-Manifest
Das Ausführungsmanifestprotokoll zeichnet die Erstellungs-, Start- und Stoppzeiten für jede Workflow-Aufgabe in einem Lauf auf. Verwenden Sie sie, um einen Zeitplan für den Lauf zu rekonstruieren. Das Führen Sie Analyzer aus Das Tool meldet bereits die meisten dieser Zahlen. Erstellen Sie die Zeitleiste selbst, wenn Sie sie in Ihrem eigenen Skript oder Dashboard haben möchten oder wenn Sie eine Messung benötigen, die das Tool nicht meldet, z. B. wie viele Aufgaben gleichzeitig ausgeführt wurden.
HealthOmics schreibt das Manifest in ein einzelnes CloudWatch Log-Stream, nachdem der Lauf einen Terminalstatus erreicht hat, und ein Lauf, der mit deaktivierter Protokollierung gestartet wurde, erhält nie einen. Informationen zu den Protokollgruppen- und Stream-Formaten sowie zur Deaktivierung der Protokollierung finden Sie unter Überwachung HealthOmics mit CloudWatch Logs. Den Inhalt des Manifests und ein Beispiel finden Sie unter Führen Sie Metadaten in aus CloudWatch.
Jedes JSON-Objekt im Manifest ist ein separates Protokollereignis. Aufgabenobjekte tragen creationTime, startTime, und stopTime. HealthOmics Sets startTime wenn die Bereitstellung der Aufgabe abgeschlossen ist, und setzt stopTime ob die Aufgabe erfolgreich ist, fehlschlägt oder abgebrochen wurde. Aufgabenobjekte enthalten auch beschreibende Felder, nach denen Sie die Zeitleiste gruppieren können, sowie die Statistiken zur Ressourcenauslastung, die unter beschrieben werden Protokolltypen für HealthOmics Workflows.
HealthOmics meldet alle drei Zeitstempel in UTC, also behandeln Sie einen Zeitstempel ohne UTC-Bezeichner als UTC.
Gehen Sie folgendermaßen vor, um die Bereitstellungszeit, die Aufgabendauer und die Parallelität abzuleiten:
-
Rufen Sie den Manifest-Log-Stream ab. Die Run-UUID ist die
uuidFeld des GetRun Antwort (siehe Wichtige Felder in der Antwort).aws logs get-log-events \ --log-group-name /aws/omics/WorkflowLog \ --log-stream-name manifest/run/run-id/run-uuid\ --start-from-headDas Lesen des gesamten Streams erfordert mehrere Anfragen. Übergeben Sie das
nextForwardTokenaus jeder Antwort als beim nächsten Anruf--next-token, behaltend--start-from-head, bis eine Antwort das von Ihnen übergebene Token zurückgibt. Das Token kann über einige leere Antworten hinweg weiterlaufen, bevor es wiederholt wird. Hören Sie also nicht bei der ersten leeren Antwort auf. Weitere Informationen finden Sie unter get-log-eventsin der AWS CLI Befehlsreferenz. -
Analysieren Sie die von jedem Ereignis
messageFeld als JSON. Ein Aufgabenobjekt hat einearndas enthält:task/. Behalte das eine Objekt, dessenarnFeld enthält:run/: es ist das Run-Objekt, und Schritt 4 verwendet esstopTime. -
Berechnen Sie für jede Aufgabe die beiden Intervalle, aus denen sich die verstrichene Zeit zusammensetzt:
-
Die Bereitstellungszeit beträgt
startTimeMinuscreationTime. -
Die Laufzeit ist
stopTimeMinusstartTime.
Eine Aufgabe, die aus dem Run-Cache bedient wird, hat keine Zeitstempel und hat keinen Platz auf der Timeline. Andernfalls wäre eine Aufgabe ohne
startTimenie gelaufen, und eine Aufgabe ohnestopTimelief noch, als der Lauf gestoppt wurde, also hat er eine Bereitstellungszeit, aber keine Ausführungsdauer. Sortieren Sie die Aufgaben, die eine Ausführungsdauer haben, um die Aufgaben zu finden, die am längsten ausgeführt werden. -
-
Messen Sie die Parallelität zwischen den Aufgaben, die eine
startTime. Baue eine+1Übergang bei jedemstartTimeund ein-1bei jedemstopTime, unter Verwendung der Run-ObjektestopTimefür eine Aufgabe, die keine hatstopTimevon sich aus. Sortieren Sie die Übergänge nach Zeitstempel und führen Sie sie unter Beibehaltung einer laufenden Summe durch. Wenden Sie jeden Übergang an, der einen gemeinsamen Zeitstempel hat, bevor Sie die Summe lesen, sodass eine Aufgabe, die endet, wenn eine andere beginnt, nicht zweimal gezählt wird. Die Gesamtsumme bei jedem Zeitstempel entspricht der Anzahl der gleichzeitig ausgeführten Aufgaben, und der höchste Wert ist die maximale Parallelität des Laufs. Ein Lauf, bei dem keine Aufgabe gestartet wurde, hat keine.
Lange Abschnitte mit geringer Parallelität führen zu einer Abhängigkeitskette in Ihrer Workflow-Definition, die Sie möglicherweise umstrukturieren können. Konstant hohe Bereitstellungszeiten deuten auf die Größe des Container-Images oder auf das Warten auf Rechenkapazität hin. Die Methoden, die beide reduzieren, finden Sie unter Methoden zur Optimierung von Läufen.
Methoden zur Optimierung von Läufen
HealthOmics stellt automatisch Ressourcen bereit, verwaltet und optimiert sie, die das Daten-Staging durchführen (z. B. Datenimporte und Datenexporte). HealthOmics startet und führt auch die Workflow-Engine für Ihren Workflow aus. Sie können jedoch die Startzeiten der Ausführung, die Startzeiten der Aufgaben und die Gesamtlaufzeit der Aufgabe beeinflussen, indem Sie verschiedene Ausführungskonfigurationen festlegen. Ihre allgemeine Herangehensweise an die Workflow-Definition und das Design wirkt sich auch auf die Aufgabenlaufzeit aus. In der folgenden Liste werden Faktoren beschrieben, die sich auf die Ausführung und die Aufgabenleistung auswirken können:
- Speichertyp ausführen
-
Der Laufspeichertyp wirkt sich auf die Ausführungsleistung und die Ausführungsbereitstellungszeit aus. Dynamic führt die Speicherbereitstellung schneller aus, und es geht nie zu wenig Arbeitsspeicher aus, da er dynamisch an Ihre Laufspeicheranforderungen angepasst wird. Dynamic Run Storage eignet sich auch gut für Workflows in der Entwicklung, bei denen Sie häufig einen Workflow starten und beenden müssen, um Probleme zu beheben.
Statischer Laufspeicher erfordert längere Zeiten für die Bereitstellung des Dateisystems, kann aber einige Läufe schneller abschließen, typischerweise, wenn die Läufe eine hohe Anzahl an parallelen Aufgaben aufweisen oder mehr als 9,6 TiB an Dateisystemkapazität benötigen. Statischer Laufspeicher eignet sich gut für lang andauernde Workflows mit hoher I/O Anforderungen.
Um Ihnen bei der Bewertung der Kosten und der Leistung der einzelnen Laufspeichertypen für einen bestimmten Lauf zu helfen, können Sie Folgendes versuchen A/B Testen Sie, um festzustellen, welcher Laufspeichertyp eine bessere Leistung bietet. Erwägen Sie auch, dynamischen Laufspeicher für Ihre Entwicklungszyklen zu verwenden und dann statischen Laufspeicher für Produktionsläufe in großem Maßstab zu verwenden.
Weitere Informationen zu Run-Storage-Typen finden Sie Speichertypen in HealthOmics Workflows ausführen
- Over-provision statischen Speicher ausführen
-
Wenn die Berechnung Ihrer Workflow-Aufgabe eingeschränkt ist durch I/O, ziehen Sie in Betracht, den statischen Run-Speicher zu überlasten. Die Speicherkosten steigen mit der Größe, aber auch der maximale Durchsatz des Dateisystems steigt. Wenn eine teure Rechenaufgabe ansteht I/O Engpässe: Eine Erhöhung der Dateisystemgröße zur Verkürzung der Task-Laufzeit kann die Gesamtkosten senken.
- Reduzieren Sie die Größe der Container-Images
-
Wenn jede Aufgabe beginnt, HealthOmics lädt den Container, den Sie für die Aufgabe angegeben haben. Das Laden größerer Container dauert länger. Optimieren Sie Ihre Container so, dass sie so klein wie möglich sind, um die Effizienz beim Starten neuer Aufgaben zu verbessern. Wenn Sie Ihren Containern große Datensätze hinzufügen, sollten Sie erwägen, die Datensätze in S3 zu speichern und Ihren Workflow die Daten aus S3 importieren zu lassen. Für die maximalen Containergrößen gilt das HealthOmics unterstützt, siehe HealthOmics feste Größenkontingente für Workflows.
- Aufgabengröße
-
Sie können kleine, aufeinanderfolgende Aufgaben zu einer einzigen Aufgabe kombinieren, um Zeit für die Aufgabenbereitstellung zu sparen. Außerdem HealthOmics hat eine Gebühr für die Mindestdauer einer Aufgabe von einer Minute, sodass das Kombinieren von Aufgaben die Kosten senken kann. Innerhalb der kombinierten Aufgabe können Sie möglicherweise Unix-Pipes verwenden, um Folgendes zu vermeiden I/O Kosten für das Serialisieren und Deserialisieren von Dateien.
- Komprimierung von Dateien
-
Vermeiden Sie eine übermäßige Komprimierung von Workflow-Zwischendateien. Die meisten Genomikformate verwenden die Komprimierung „gzip“ oder „block gzip“. Das Dekomprimieren der Aufgabeneingabedatei und das erneute Komprimieren der Aufgabenausgabedatei können einen großen Prozentsatz der gesamten CPU-Auslastung der Aufgabe beanspruchen. Bei einigen Genomik-Anwendungen können Sie die Komprimierungsstufe beim Serialisieren von Ausgaben festlegen. Indem Sie den Komprimierungsgrad reduzieren, können Sie die CPU-Zeit reduzieren, obwohl größere Dateien den Zeitaufwand für das Schreiben auf die Festplatte erhöhen. Je nach Aufgabe und Anwendung können Sie die optimale Komprimierungsstufe für Zwischendateien ermitteln, die zu der kürzesten Laufzeit führen. Wir empfehlen, dass Sie sich zunächst auf die Aufgaben mit den größten Ausgabedateien konzentrieren. Eine Komprimierungsstufe von 2 eignet sich für mehrere Szenarien gut. Sie können für Ihren Anwendungsfall mit dieser Stufe beginnen und die Ergebnisse vergleichen, indem Sie andere Komprimierungsstufen ausprobieren.
- Anzahl der Threads
-
Wenn Sie in Ihrer Aufgabendefinition Threads angeben, setzen Sie die Anzahl der Threads auf den gleichen Wert wie die Anzahl der angeforderten vCPUs.
- Geben Sie Rechenleistung und Arbeitsspeicher an
-
Wenn Sie in Ihrer Aufgabe keine Speicher- oder Rechenressourcen angeben, HealthOmics weist den kleinsten Instanztyp zu (
omics.c.large) als Standard. Deklarieren Sie explizit Ihre Speicher- und Rechenanforderungen, wenn Sie möchten HealthOmics um einen größeren Instanztyp zuzuweisen.HealthOmics weist die Anzahl der vCPUs, des Speichers und der GPU-Ressourcen zu, die Sie anfordern. Wenn Sie beispielsweise nach 15 vCPUs und 33 GiB fragen, HealthOmics weist Ihrer Aufgabe eine omics.m.4xl-Instanz (16 vCPUs, 64 GB) zu, aber Ihre Aufgabe kann nur 15 vCPUs und 33 GB verwenden. Daher empfehlen wir, dass Sie vCPUs und Speicherressourcen anfordern, die einer Omics-Instanz entsprechen.
- Verbessern Sie die Verfügbarkeit der GPU-Instanz
-
Wenn die Ausführung Ihres GPU-Workflows fehlschlägt mit
INSTANCE_RESERVATION_FAILEDoderALL_PROFILES_INSTANCE_RESERVATION_FAILED, Sie können verschiedene bewährte Methoden anwenden, um den Erfolg der GPU-Akquisition zu verbessern. Weitere Informationen zu Accelerator-Paketen, regionaler Flexibilität und der Reihenfolge der Ressourcenausfälle finden Sie unter Behebung von INSTANCE_RESERVATION_FAILED-Fehlern. - Stapeln Sie mehrere Proben in einem Durchlauf zusammen
-
Da die Bereitstellung des Dateisystems zu Beginn des Laufs einige Zeit in Anspruch nimmt, können Sie Bereitstellungszeit sparen, indem Sie mehrere Proben in einem Lauf zusammenfassen. Berücksichtigen Sie die folgenden Faktoren, bevor Sie sich für diesen Ansatz entscheiden:
-
Eine einzelne fehlerhafte Probe kann dazu führen, dass ein Arbeitsablauf fehlschlägt, sodass das Stapeln von Proben die Anzahl der fehlgeschlagenen Workflows erhöhen könnte. Wenn Sie nicht sicher sind, ob Ihr Workflow die meiste Zeit erfolgreich sein wird, könnte ein Durchlauf pro Probe der bessere Ansatz sein.
-
HealthOmics weist ein Run-Speicherdateisystem für den gesamten Workflow zu. Stellen Sie bei einem Stapel von Proben sicher, dass Sie eine ausreichend große Menge an Durchlaufspeicher angeben, um alle Proben verarbeiten zu können.
-
Pro Arbeitsablauf gibt es eine maximale Menge an Durchlaufspeicher, sodass die Anzahl der Proben, die Sie dem Stapel hinzufügen können, möglicherweise begrenzt ist.
-
Die Mindestgröße des Laufspeichers beträgt 1,2 TiB. Durch die Stapelverarbeitung können die Kosten gesenkt werden, wenn der Workflow viel weniger Speicherplatz als das Minimum für jede Probe benötigt.
-
Run-Storage kann mehrere gleichzeitige Verbindungen verarbeiten. Wenn also mehrere Tasks denselben Run-Storage verwenden, sollte das nicht zu folgenden Problemen führen I/O Engpässe.
-
Jeder Lauf hat seinen eigenen Satz von Tags. Wenn Sie Workflows mit Informationen für die Budgetierung oder Nachverfolgung kennzeichnen, ist es möglicherweise besser, separate Läufe zu verwenden.
-
IAM-Rollen gelten für den gesamten Lauf. Jeder Benutzer hat Zugriff auf alle Daten für einen Stapel von Proben. Durch separate Workflows haben Sie die Möglichkeit, detailliertere Berechtigungen zu verwenden.
-
HealthOmics legt Kontingente auf Kontoebene für die maximale Anzahl gleichzeitiger Workflows und die maximale Anzahl gleichzeitiger Aufgaben in einem Workflow fest. Informationen darüber, wie Sie eine Erhöhung dieser Kontingente beantragen können, finden Sie unter HealthOmics Servicekontingente.
-
- Verwenden Sie Parameter für Container-Bilder
-
Parametrisieren Sie Ihre Container-Images, anstatt ihre URIs in den Workflow einzubetten. Wenn es sich um Ausführungsparameter handelt, HealthOmics überprüft, ob der Lauf Zugriff auf Ihre Container hat, bevor der Lauf beginnt. Andernfalls schlägt die Aufgabe während des Laufs fehl, wenn Ihnen Gebühren für alle abgeschlossenen Aufgaben entstanden sind. Außerdem, weil es sich um parametrisierte Eingaben handelt, HealthOmics generiert eine Prüfsumme im Run-Manifest, wodurch die Herkunft der Ausführung verbessert wird.
- Verwenden Sie einen Linter
-
Verwenden Sie einen Linter, um häufig auftretende Workflow-Fehler zu finden, bevor Sie einen neuen Workflow ausführen. Weitere Informationen finden Sie unter Der Arbeitsablauf zeigt an HealthOmics.
- Verwenden EventBridge um Probleme zu melden
-
Benutzen EventBridge benutzerdefinierte Benachrichtigungen, um Anomalien zu erkennen, die für Ihre Geschäftslogik spezifisch sind.
- Verwenden Sie Sequenzspeicher
-
Erwägen Sie die Verwendung eines Sequenzspeichers für Ihre Quelldaten, um Speicherkosten zu sparen. Weitere Informationen finden Sie in der Speichern Sie Omics-Daten in jeder Größenordnung kostengünstig mit HealthOmics
Blogbeitrag.
Auswirkung der Dateigrößenabweichung zwischen Durchläufen
Benutzer entwerfen und testen Läufe häufig anhand einer kleinen Menge von Testdaten und stoßen dann bei Produktionsläufen auf eine Vielzahl von Daten mit erheblichen Abweichungen in der Dateigröße. Stellen Sie sicher, dass Sie diese Abweichung berücksichtigen, wenn Sie den Testlauf optimieren.
In der folgenden Liste werden Optimierungsempfehlungen beschrieben, wenn die Dateigrößen erheblich voneinander abweichen:
- Variieren Sie die Dateigrößen in Ihren Testdaten
-
Versuchen Sie, während der Entwicklung Testdaten zu verwenden, die eine repräsentative Varianz aufweisen.
- Verwenden Sie Run Analyzer
-
Verwenden Sie das Tool Run Analyzer für eine Vielzahl von Stichproben, um Abweichungen bei den Datengrößen zu berücksichtigen.
Sie können den Run Analyzer verwenden, um die Varianz zwischen den Durchläufen in Ihren Produktionsdatenproben zu verstehen. Verwenden
--batchModus in Run Analyzer, um Statistiken für einen Stapel von Durchläufen zu generieren und die maximale Rechenleistung zu analysieren, die zur Behandlung von Ausreißern in Ihren Datensätzen erforderlich ist.Beispielsweise können Sie Run Analyzer im Batch-Modus eine vollständige Flusszelle mit Daten zuweisen, um die maximale vCPU- und Speicherauslastung für die gesamte Flusszelle zu ermitteln.
- Reduzieren Sie die Größenvarianz der Eingabedatensätze
-
Wenn Sie eine hohe Varianz bei den Stichprobenumfängen feststellen, können Sie die Stichproben vor HealthOmics und wählen Sie für jeden Stapel unterschiedliche Dateisystemgrößen aus, um Speicherkosten zu sparen.
Verwenden Sie in WDL die
sizeFunktion zur Aufteilung der Ressourcenzuweisung für einzelne Aufgaben zwischen großen und kleinen Stichproben. Wenden Sie diese Strategie auf Ihre teuersten Aufgaben an, um die größte Wirkung zu erzielen.Verwenden Sie in Nextflow bedingte Ressourcen für die Stufenzuweisung von Ressourcen auf der Grundlage der Dateigröße oder des Dateinamens. Weitere Informationen finden Sie unter Bedingte Prozessressourcen
auf dem Nextflow GitHub Seite. - Optimiere nicht zu früh
-
Finalisieren Sie Ihren Workflow-Code und Ihre Logik, bevor Sie in umfangreiche Maßnahmen zur Leistungsoptimierung investieren. Eine Änderung Ihres Codes kann erhebliche Auswirkungen auf die erforderlichen Ressourcen haben. Wenn Sie einen Lauf zu früh im Entwicklungsprozess optimieren, überoptimieren Sie möglicherweise zu stark oder Sie müssen möglicherweise erneut optimieren, wenn sich die Workflow-Definition später ändert.
- Re-run das Tool Run Analyzer regelmäßig ausführen
-
Wenn Sie im Laufe der Zeit Änderungen an Ihrer Workflow-Definition vornehmen oder wenn sich Ihre Stichprobenvarianz ändert, führen Sie das Tool Run Analyzer regelmäßig aus, damit Sie weitere Optimierungen vornehmen können.
Methoden zur Optimierung der Parallelität von Ressourcen
HealthOmics bietet die folgenden Funktionen, mit denen Sie die Kosten kontrollieren und verwalten können, wenn die Verarbeitung in großem Maßstab erfolgt:
-
Verwenden Sie Ausführungsgruppen, um Ihre Kosten und Ihren Ressourcenverbrauch zu kontrollieren. Sie können in der Ausführungsgruppe Höchstwerte für die Anzahl gleichzeitiger Läufe, vCPUs, GPUs und die Gesamtlaufzeit pro Aufgabe festlegen. Wenn separate Teams oder Gruppen dasselbe Konto verwenden, können Sie für jedes Team eine separate Ausführungsgruppe erstellen. Du kannst den Ressourcenverbrauch und die Kosten pro Team kontrollieren, indem du die Höchstwerte für die Laufgruppe konfigurierst. Weitere Informationen finden Sie unter HealthOmics Run-Gruppen verwenden.
-
Während der Entwicklung können Sie eine separate Ausführungsgruppe mit niedrigeren Höchstwerten konfigurieren, um außer Kontrolle geratene Aufgaben abzufangen.
-
Servicekontingente tragen auch dazu bei, Ihr Konto vor übermäßigen Ressourcenanforderungen zu schützen. Informationen zu Servicekontingenten und dazu, wie Sie eine Erhöhung des Kontingentwerts beantragen können, finden Sie unter HealthOmics Servicekontingente