# AWS Glue の Amazon Q データ統合 AWS Glue の Amazon Q データ統合は、データエンジニアや ETL 開発者が自然言語を使用してデータ統合ジョブを構築できるようにする、AWS Glue の新しい生成 AI 機能です。エンジニアや開発者は Amazon Q にジョブの作成、問題のトラブルシューティング、AWS Glue やデータ統合に関する質問への回答を依頼できます。 ## Amazon Q とは **注記** Amazon Bedrock を搭載: AWS により[不正使用検知](https://docs.aws.amazon.com/bedrock/latest/userguide/abuse-detection.html)が自動化されています。Amazon Q データ統合は Amazon Bedrock に構築されているため、ユーザーは Amazon Bedrock に実装されているコントロールを最大限に活用し、安全性、セキュリティ、人工知能 (AI) の責任ある使用を実施できます。 Amazon Q は、生成人工知能 (AI) を活用した会話型アシスタントであり、AWS アプリケーションの理解、構築、拡張、運用を支援します。Amazon Q を支えるモデルは高品質の AWS コンテンツで強化されているため、より完全かつ実用的で参考になる回答が得られ、AWS での構築を加速できるようにします。詳細については、「[Amazon Q とは](https://docs.aws.amazon.com/amazonq/latest/aws-builder-use-ug/what-is.html)」を参照してください。 ## AWS Glue の Amazon Q データ統合とは AWS Glue の Amazon Q データ統合には以下の機能が含まれています。 + **チャット** — AWS Glue の Amazon Q データ統合では、AWS Glue についてや、AWS Glueの送信元と送信先のコネクター、AWS Glue ETL ジョブ、データカタログ、クローラーや AWS Lake Formation、その他の機能に関するドキュメント、ベストプラクティスなど、データ統合分野に関する自然言語の質問に英語で回答できます。AWS Glue の Amazon Q データ統合ではステップバイステップの手順が示され、情報の発信元への参照が含まれています。 + **データ統合コードの生成** — AWS Glue の Amazon Q データ統合は、AWS Glue ETL スクリプトに関する質問に回答し、英語で自然言語の質問を与えた新しいコードを生成できます。 + **トラブルシューティング** — AWS Glue の Amazon Q データ統合は、AWS Glue ジョブのエラーを理解しやすくすることを目的として構築され、問題の根本原因と解決のためのステップバイステップの手順を提供します。 **注記** AWS Glue の Amazon Q データ統合では、会話中に将来の応答を通知するために会話のコンテキストを使用することはありません。AWS Glue の Amazon Q データ統合に関する各会話は、以前または将来の会話とは無関係です。 ## AWS Glue の Amazon Q データ統合の操作について Amazon Q パネルでは、Amazon Q に対して AWS Glue ETL スクリプト用のコードの生成、AWS Glue 機能に関する質問への回答、エラーのトラブルシューティングを行うようにリクエストできます。応答は PySpark の ETL スクリプトであり、スクリプトをカスタマイズ、レビュー、実行するステップバイステップの手順が説明されています。質問に対して、データ統合ナレッジベースに基づいて、概要と参照用のソース URL を含む回答が生成されます。 たとえば、Amazon Q に「*Snowflake から読み取り、フィールドの名前を変更し、Redshift に書き込む Glue スクリプトを提供してください*」と依頼すると、それに応じて AWS Glue の Amazon Q データ統合から、要求されたアクションを実行できる AWS Glue ジョブスクリプトが返されます。生成されたコードをレビューして、要求した意図を満たしていることを確認できます。問題がなければ、本番に AWS Glue ジョブとしてデプロイできます。統合に、エラーや障害の説明や解決策の提案を依頼し、解決策を提案することで、ジョブのトラブルシューティングを行うことができます。Amazon Q は、AWS Glue やデータ統合のベストプラクティスに関する質問に回答することができます。 ![\[AWS Glue の Amazon Q データ統合の使用例。\]](http://docs.aws.amazon.com/ja_jp/glue/latest/dg/images/q-chat-experience-1.gif) 以下は、AWS Glue の Amazon Q データ統合が AWS Glue でのビルドにどのように役立つかを示す質問例です。 AWS Glue ETL コード生成: + S3 から JSON を読み取り、適用マッピングを使用してフィールドを変換し、Amazon Redshift に書き込む AWS Glue スクリプトを記述します + DynamoDB から読み込み、DropNullFields 変換を適用し、Parquet として S3 に書き込むための AWS Glue スクリプトを作成する方法を教えてください。 + MySQL から読み取り、ビジネスロジックに基づいていくつかのフィールドを削除し、Snowflake に書き込む AWS Glue スクリプトを教えてください + DynamoDB から読み取り、S3 に JSON として書き込む AWS Glue ジョブを記述してください + S3 向けの AWS Glue Data Catalog の AWS Glue スクリプトの開発を手伝ってください + S3 から JSON を読み取り、null を削除して Redshift に書き込む AWS Glue ジョブを記述してください AWS Glue 機能の説明: + AWS Glue Data Quality の使用方法を教えてください。 + AWS Glue ジョブブックマークの使い方を教えてください。 + AWS Glue 自動スケーリングを有効にするにはどうすればよいですか? + AWS Glue 動的フレームと Spark データフレームの違いは何ですか? + AWS Glue はどのようなタイプの接続をサポートしていますか？ AWS Glue のトラブルシューティング: + AWS Glue ジョブのメモリ不足 (OOM) エラーのトラブルシューティング方法を教えてください。 + AWS Glue Data Quality の設定時に表示されるエラーメッセージにはどのようなものがありますか。また、その修正方法を教えてください。 + Amazon S3 アクセスが拒否されましたというエラーが発生した AWS Glue ジョブを修正するにはどうすればよいですか? + AWS Glue ジョブのデータシャッフルの問題を解決する方法を教えてください。 ## Amazon Q データ統合を操作するためのベストプラクティス Amazon Q データ統合を操作するためのベストプラクティスを次に示します。 + Amazon Q データ統合を利用する際の質問は、具体的にします。複雑なリクエストの場合は反復し、返される内容が正確であることを確認します。 + データ統合プロンプトを自然言語で提供する場合は、生成アシスタントが必要な点を正確に把握できるように、可能な限り具体的に質問します。「S3 からデータを抽出する」と尋ねる代わりに、「S3 から JSON ファイルを抽出する AWS Glue スクリプトを記述する」など、より詳細な情報を提供します。 + 生成されたスクリプトは実行する前に調べて、正確であることを確認します。生成されたスクリプトにエラーがある場合、または意図した内容と違う場合は、アシスタントに修正方法を指示します。 + 生成 AI は新しいテクノロジーであり、応答にはハルシネーションと呼ばれる誤りがある場合があります。現在の環境やワークロードで使用する前に、すべてのコードをテストしてエラーや脆弱性がないかを確認する必要があります。 ## AWS Glue サービス改善における Amazon Q データ統合 AWS Glue で Amazon Q データ統合が AWS のサービスに関する最も関連性の高い情報を提供するのに役立つように、Amazon Q からの特定のコンテンツを使用する場合があります。これには、Amazon Q への質問とその回答などがあり、サービスの改善に役立ちます。 使用するコンテンツとオプトアウト方法については、「*Amazon Q Developer ユーザーガイド*」の「[Amazon Q Developer サービスの改善](https://docs.aws.amazon.com/amazonq/latest/qdeveloper-ug/service-improvement.html)」を参照してください。 ## 考慮事項 AWS Glue の Amazon Q データ統合を使用する前に、以下の項目について検討してください。 + 現在、コード生成は PySpark カーネルでのみ機能します。生成されたコードは Python Spark に基づく AWS Glue ジョブ用です。 + AWS Glue でサポートされている Amazon Q データ統合のコード生成機能の組み合わせについては、「[サポートされているコード生成機能](q-supported-actions.md)」を参照してください。 # AWS Glue の Amazon Q データ統合の設定 次のセクションでは、AWS Glue の Amazon Q データ統合の設定について説明します。 **Topics** + [IAM 許可の設定](q-setting-up-permissions.md) # IAM 許可の設定 このトピックでは、Amazon Q チャット体験向けに構成した IAM 許可および AWS Glue Studio ノートブック体験について説明します。 **Topics** + [Amazon Q チャットの IAM 許可の構成](#q-setting-up-permissions-amazon-q-chat) + [AWS Glue Studio ノートブックの IAM 許可の構成](#q-setting-up-permissions-notebooks) ## Amazon Q チャットの IAM 許可の構成 AWS Glue の Amazon Q データ統合が使用する API に許可を付与するには、適切な AWS Identity and Access Management (IAM) 許可が必要です。次のカスタム AWS ポリシーを IAM アイデンティティ (ユーザー、ロール、グループなど) にアタッチすることにより、許可を取得できます。 ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:StartCompletion", "glue:GetCompletion" ], "Resource": [ "arn:aws:glue:*:*:completion/*" ] } ] } ``` ------ ## AWS Glue Studio ノートブックの IAM 許可の構成 AWS Glue Studio ノートブックで Amazon Q データ統合を有効にするには、次の許可がノートブック IAM ロールにアタッチされていることを確認します。 **注記** `codewhisperer` プレフィックスは、Amazon Q Developer とマージされたサービスのレガシー名です。詳細については、[Amazon Q Developer の名前変更 - 変更の概要](https://docs.aws.amazon.com/amazonq/latest/qdeveloper-ug/service-rename.html) を参照してください。 ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:StartCompletion", "glue:GetCompletion" ], "Resource": [ "arn:aws:glue:*:*:completion/*" ] }, { "Sid": "AmazonQDeveloperPermissions", "Effect": "Allow", "Action": [ "codewhisperer:GenerateRecommendations" ], "Resource": "*" } ] } ``` ------ **注記** AWS Glue の Amazon Q データ統合には、プログラムで使用できる AWS SDK 経由で利用できる API がありません。Amazon Q チャットパネルまたは AWS Glue Studio ノートブックを介してこの体験を実現するため、IAM ポリシーで `StartCompletion` および `GetCompletion` の 2 つの API が使用されます。 ### アクセス許可の割り当て アクセスを提供するには、ユーザー、グループ、またはロールにアクセス許可を追加します。 + AWS IAM Identity Center のユーザーおよびグループ: 許可セットを作成します。*AWS IAM Identity Center のユーザーガイド* の [許可セットの作成](https://docs.aws.amazon.com/singlesignon/latest/userguide/howtocreatepermissionset.html) の手順に従ってください。 + アイデンティティプロバイダーを介して IAM で管理されているユーザー: ID フェデレーションのロールを作成します。詳細については、*IAM ユーザーガイド* の [サードパーティー ID プロバイダー (フェデレーション) 用のロールの作成](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-idp.html) を参照してください。 + IAM ユーザー: + ユーザーが担当できるロールを作成します。手順については、*IAM ユーザーガイド* の「[IAM ユーザー用ロールの作成](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user.html)」を参照してください。 + (お奨めできない方法) ポリシーをユーザーに直接アタッチするか、ユーザーをユーザーグループに追加する。詳細については *IAM ユーザーガイド* の [ユーザー (コンソール) へのアクセス権限の追加](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_users_change-permissions.html#users_change_permissions-add-console) を参照してください。 # サポートされているコード生成機能 Amazon Q データ統合のコード生成機能の組み合わせは次のとおりです。 | ソースとターゲット | [Transformation] (変換) | | --- | --- | | 以下のフォーマットタイプで使用する S3: json、csv、parquet、hudi、delta | 削除 | | AWS Glue Data Catalog | 集計 | | Redlake | DropDuplicates | | Amazon DynamoDB | 結合 | | MySQL | フィルター | | Oracle | RenameColumns | | PostgresSQL | FillNull | | Microsoft SQL Server | DropNull | | Amazon DocumentDB / MongoDB | WithColumns | | Snowflake | SQL クエリ | | Google BigQuery | Union | | Teradata | Select | | Amazon OpenSearch Service | | | Vertica | | | SAP HANA | | | Amazon Redshift | | # インタラクションの例 AWS Glue の Amazon Q データ統合は、Amazon Q パネルに質問を入力できるようにします。AWS Glue が提供するデータ統合機能に関する質問を入力できます。詳細な回答は、参照ドキュメントとともに返されます。 もう 1 つのユースケースは、AWS Glue ETL ジョブスクリプトの生成です。データの抽出、変換、読み込みジョブの実行方法について質問できます。生成された PySpark スクリプトが返されます。 **Topics** + [Amazon Q チャットインタラクション](#q-using-example-interactions) + [AWS Glue Studio ノートブックのインタラクション](#q-using-example-interactions-notebooks) ## Amazon Q チャットインタラクション AWS Glue コンソールで、新しいジョブの作成を開始し、Amazon Q に以下を依頼します。:*「私のデータベース glue\$1db で 2 つの Glue カタログテーブルの会場とイベントに接続する Glue ETL フローを作成し、会場の venueid とイベントの e\$1venueid の結果を結合します。次に、venuestate=='DC' という条件で会場のステータスをフィルターして、CSV 形式で s3://amzn-s3-demo-bucket/codegen/BDB-9999/output/ に書き込みます」* ![\[AWS Glue の Amazon Q データ統合に、生成された ETL スクリプトを要求する例。\]](http://docs.aws.amazon.com/ja_jp/glue/latest/dg/images/Q-SIDEPANEL-GS.gif) コードが生成されていることがわかります。このレスポンスを使用すると、目的に合わせて AWS Glue コードを作成する方法を理解できます。生成されたコードをスクリプトエディタにコピー/貼り付けて、プレースホルダーを設定できます。IAM ロールと AWS Glue 接続をジョブで設定したら、そのジョブを保存して実行します。ジョブが完了すると、サマリーデータが想定したとおりに Amazon S3 に保持され、ダウンストリームのワークロードで使用できることを確認できます。 ## AWS Glue Studio ノートブックのインタラクション **注記** AWS Glue Studio ノートブックの Amazon Q Data 統合エクスペリエンスは、引き続き DynamicFrame ベースのデータ統合フローに焦点を当てています。 新しいセルを追加してコメントを入力して、達成したい内容を説明します。**[Tab]** と **[Enter]** を押すと、推奨コードが表示されます。 最初の目的はデータを抽出することです。「*Glue Data Catalog テーブルを読み取るコードを提供してください*」、「*star\$1rating>3 でフィルター変換を適用するコードを提供してください*」、「*フレームを Parquet として S3 に書き込むコードを提供してください*」。 ![\[AWS Glue Studio ノートブックを使用して、生成された ETL スクリプトを AWS Glue の Amazon Q データ統合に要求する例。\]](http://docs.aws.amazon.com/ja_jp/glue/latest/dg/images/q-notebook-experience-1.gif) ![\[AWS Glue Studio ノートブックを使用して、生成された ETL スクリプトを AWS Glue の Amazon Q データ統合に要求する例。\]](http://docs.aws.amazon.com/ja_jp/glue/latest/dg/images/q-notebook-experience-2.gif) ![\[AWS Glue Studio ノートブックを使用して、生成された ETL スクリプトを AWS Glue の Amazon Q データ統合に要求する例。\]](http://docs.aws.amazon.com/ja_jp/glue/latest/dg/images/q-notebook-experience-3.gif) Amazon Q チャットエクスペリエンスと同様に、コードが推奨されます。**[Tab]** を押すと、推奨コードが選択されます。 生成されたコードのソースに適したオプションを入力して、各セルを実行できます。`show()` メソッドを使用して、実行の任意の時点でデータセットのサンプルをプレビューすることもできます。 プログラムで選択するか **[実行]** を選択することで、ノートブックをジョブとして実行できます。 ### 複雑なプロンプト 1 つの複雑なプロンプトで完全なスクリプトを生成できます。*S3 には JSON データがあり、Oracle には組み合わせが必要なデータがあります。両方のソースから読み取り、結合を行い、結果を Redshift に書き込む Glue スクリプトを指定してください。*」 ![\[AWS Glue Studio ノートブックを使用して、生成された ETL スクリプトを AWS Glue の Amazon Q データ統合に要求する例。\]](http://docs.aws.amazon.com/ja_jp/glue/latest/dg/images/q-notebook-experience-4.gif) ノートブックでは、AWS Glue の Amazon Q データ統合によって、Amazon Q チャットで生成されたのと同じコードスニペットが生成されていることに気付くかもしれません。 **[実行]** またはプログラムで選択することで、ノートブックをジョブとして実行できます。 # AWS Glue での Amazon Q データ統合によるコンテキスト認識の使用 Amazon Q データ統合で、クエリベースのコンテキスト認識と PySpark DataFrame コード生成を使用することで、データ処理ジョブをこれまでよりもさらに効率的に作成できるようになりました。例えば、次のプロンプトを使用することで PySpark コードを生成できます。「create a job to load sales data from Redshift table ‘analytics.salesorder’ using connection ‘erp\$1conn’, filter order\$1amount below 50 dollars, and save to Amazon S3 in parquet format.」 Amazon Q は、プロンプトに基づいてスクリプトを生成し、接続設定、スキーマの詳細、データベース/テーブル名、変換の列仕様など、質問の中で提示された情報を使用してデータ統合ワークフローを設定します。接続オプションのパスワードなどの機密情報は引き続き編集されます。 プロンプトから必要な情報が提供されていない場合、Amazon Q はプレースホルダーを配置します。プレースホルダーは、コードを実行する前に、生成されたコードを適切な値で更新する必要があります。 コンテキスト認識の使用方法の例を以下に紹介します。 ## インタラクションの例 ### Amazon S3 ファイルの読み取りと Amazon S3 バケットへの書き込み プロンプト: `Create an AWS Glue spark job that reads a file s3://amzn-s3-demo-bucket-input-bucket-name/input-filename.csv and saves it into the parquet file under directory s3://amzn-s3-demo-bucket-output-bucket-name/output-s3-prefix/` ``` import sys from awsglue.transforms import * from pyspark.context import SparkContext from pyspark.sql import SparkSession sc = SparkContext.getOrCreate() spark = SparkSession.builder.getOrCreate() # Script generated for node S3DataSource S3DataSource_dsource1 = spark.read.format("csv").load( "s3://amzn-s3-demo-bucket-input-bucket-name/input-filename.csv" ) # Script generated for node S3DataSink S3DataSource_dsource1.write.format("parquet").mode("append").save( "s3://amzn-s3-demo-bucket-output-bucket-name/output-s3-prefix/" ) ``` ![\[AWS Glue の Amazon Q データ統合に、生成された ETL スクリプトを要求する例。\]](http://docs.aws.amazon.com/ja_jp/glue/latest/dg/images/context-awareness-lakehouse-example.gif) ### Lakehouse からデータを取得しデータベースに書き込む プロンプト: `write an ETL script to read from a Lakehouse table my-table in database my-database and write it to a RDS MySQL table my-target-table` ユーザーが情報を提供しなかったフィールド (例えば connectionName が MySQL データシンクに必須であり、生成されたコードにデフォルトでプレースホルダー が付く場合) では、スクリプトを実行する前に必須の情報を入力するためのプレースホルダーが保持されます。 生成されたスクリプト: ``` import sys from awsglue.transforms import * from pyspark.context import SparkContext from pyspark.sql import SparkSession from connectivity.adapter import CatalogConnectionHelper sc = SparkContext.getOrCreate() spark = SparkSession.builder.getOrCreate() # Script generated for node S3DataSource S3DataSource_dsource1 = spark.read.format("parquet").load( "s3://amzn-lakehouse-demo-bucket/my-database/my-table" ) # Script generated for node ConnectionV2DataSink ConnectionV2DataSink_dsink1_additional_options = {"dbtable": "my-target-table"} CatalogConnectionHelper(spark).write( S3DataSource_dsource1, "mysql", "", ConnectionV2DataSink_dsink1_additional_options, ) ``` ![\[AWS Glue の Amazon Q データ統合に、生成された ETL スクリプトを要求する例。\]](http://docs.aws.amazon.com/ja_jp/glue/latest/dg/images/context-awareness-example-interactions.gif) ### 例: 完全な ETL ワークフロー 以下は、次のプロンプトを使って、AWS Glue スクリプトを作成して完全な ETL ワークフローを完了するよう AWS Glue に指示する方法の例を示したものです。`Create a AWS Glue ETL Script read from two AWS Glue Data Catalog tables venue and event in my database glue_db_4fthqih3vvk1if, join the results on the field venueid, filter on venue state with condition as venuestate=='DC' after joining the results and write output to an Amazon S3 S3 location s3://amz-s3-demo-bucket/output/ in CSV format` このワークフローには、異なるデータソース (AWS Glue データカタログの 2 つのテーブル) からの読み取りの他に、読み取り後のいくつかの変換が含まれ、2 つの読み取り結果を結合して何らかの条件に基づいてフィルター処理し、変換された出力を CSV 形式で Amazon S3 の宛先に書き込みます。 生成されたジョブは、データソース、変換、シンクオペレーションの詳細情報を、次のようにユーザーの質問から抽出された対応する情報で入力します。 ``` import sys from awsglue.transforms import * from pyspark.context import SparkContext from pyspark.sql import SparkSession sc = SparkContext.getOrCreate() spark = SparkSession.builder.getOrCreate() # Script generated for node CatalogDataSource CatalogDataSource_dsource1 = spark.sql("select * from `glue_db_4fthqih3vvk1if`.`venue`") # Script generated for node CatalogDataSource CatalogDataSource_dsource2 = spark.sql("select * from `glue_db_4fthqih3vvk1if`.`event`") # Script generated for node JoinTransform JoinTransform_transform1 = CatalogDataSource_dsource1.join( CatalogDataSource_dsource2, (CatalogDataSource_dsource1["venueid"] == CatalogDataSource_dsource2["venueid"]), "inner", ) # Script generated for node FilterTransform FilterTransform_transform2 = JoinTransform_transform1.filter("venuestate=='DC'") # Script generated for node S3DataSink FilterTransform_transform2.write.format("csv").mode("append").save( "s3://amz-s3-demo-bucket/output//output/" ) ``` ![\[AWS Glue の Amazon Q データ統合に、生成された ETL スクリプトを要求する例。\]](http://docs.aws.amazon.com/ja_jp/glue/latest/dg/images/context-awareness-complex-example.gif) ## 制限事項 + コンテキストの持ち越し: + コンテキスト認識機能は、同じ会話内の以前のユーザークエリのコンテキストのみを継承します。直前のクエリ以外のコンテキストは保持されません。 + ノード設定のサポート: + 現在、コンテキスト認識はさまざまなノードの必須設定のサブセットのみをサポートしています。 + オプションのフィールドのサポートは、今後のリリースで予定されています。 + 可用性: + コンテキスト認識と DataFrame サポートは、Q Chat および SageMaker Unified Studio ノートブックで利用できます。ただし、これらの機能は AWS Glue Studio ノートブックではまだ使用できません。