Spark-Eigenschaften verwenden um eine benutzerdefinierte Konfiguration anzugeben - Amazon Athena
Verwenden der Athena-KonsoleVerwenden der AWS CLI oder Athena-API

Spark-Eigenschaften verwenden um eine benutzerdefinierte Konfiguration anzugeben

Wenn Sie eine Sitzung in Amazon Athena für Apache Spark erstellen oder bearbeiten, können Sie Spark-Eigenschaften verwenden, um .jar-Dateien, Pakete oder eine andere benutzerdefinierte Konfiguration für die Sitzung anzugeben. Um Ihre Spark-Eigenschaften anzugeben, können Sie die Athena-Konsole, die AWS CLI oder die Athena-API verwenden.

Verwenden der Athena-Konsole zur Angabe von Spark-Eigenschaften

In der Athena-Konsole können Sie Ihre Spark-Eigenschaften angeben, wenn Sie ein Notebook erstellen oder eine aktuelle Sitzung bearbeiten.

Um Eigenschaften im Dialogfeld Notebook erstellen oder Sitzungsdetails bearbeiten hinzuzufügen

  1. Erweitern Sie Spark-Eigenschaften.

  2. Um Ihre Eigenschaften hinzuzufügen, verwenden Sie die Option In Tabelle bearbeiten oder In JSON bearbeiten.

    • Wählen Sie für die Option In Tabelle bearbeiten die Option Eigenschaft hinzufügen aus, um eine Eigenschaft hinzuzufügen, oder wählen Sie Entfernen, um eine Eigenschaft zu entfernen. Verwenden Sie die Felder Schlüssel und Wert, um Eigenschaftsnamen und ihre Werte einzugeben.

      • Verwenden Sie die spark.jars-Eigenschaft, um eine benutzerdefinierte .jar-Datei hinzuzufügen.

      • Um eine Paketdatei anzugeben, verwenden Sie die spark.jars.packages-Eigenschaft.

    • Um Ihre Konfiguration direkt einzugeben und zu bearbeiten, wählen Sie die Option In JSON bearbeiten. Im JSON-Texteditor können Sie die folgenden Aufgaben durchführen:

      • Wählen Sie zum Kopieren der URL in die Zwischenablage Kopieren aus.

      • Wählen Sie Löschen, um den gesamten Text aus dem JSON-Editor zu entfernen.

      • Wählen Sie das Einstellungssymbol (Zahnrad), um den Zeilenumbruch zu konfigurieren, oder wählen Sie ein Farbdesign für den JSON-Editor.

Hinweise

  • Sie können Eigenschaften in Athena für Spark festlegen, was dem direkten Einstellen von Spark-Eigenschaften für ein SparkConf-Objekt entspricht.

  • Starten Sie alle Spark-Eigenschaften mit dem spark.-Präfix. Eigenschaften mit anderen Präfixen werden ignoriert.

  • Nicht alle Spark-Eigenschaften sind für die benutzerdefinierte Konfiguration auf Athena verfügbar. Wenn Sie eine StartSession-Anfrage mit einer eingeschränkten Konfiguration einreichen, kann die Sitzung nicht gestartet werden.

    • Sie können das spark.athena.-Präfix nicht verwenden, da es reserviert ist.

Verwenden der AWS CLI oder Athena-API zur Bereitstellung einer benutzerdefinierten Konfiguration

Um die Sitzungskonfiguration über die AWS CLI oder Athena-API bereitzustellen, verwenden Sie die API-Aktion StartSession oder den CLI-Befehl start-session. Verwenden Sie in Ihrer StartSession-Anfrage das SparkProperties-Feld des EngineConfiguration-Objekts, um Ihre Konfigurationsinformationen im JSON-Format zu übergeben. Dadurch wird eine Sitzung mit der von Ihnen angegebenen Konfiguration gestartet. Informationen zur Anforderungssyntax finden Sie unter StartSession in der Amazon-Athena-API-Referenz.