Amazon Redshift は、パッチ 198 以降、新しい Python UDF の作成をサポートしなくなります。既存の Python UDF は、2026 年 6 月 30 日まで引き続き機能します。詳細については、[ブログ記事](https://aws.amazon.com/blogs/big-data/amazon-redshift-python-user-defined-functions-will-reach-end-of-support-after-june-30-2026/)を参照してください。
# Amazon Redshift Spectrum でのクエリのトラブルシューティング
このトピックは、Amazon Redshift Spectrum クエリで発生する可能性がある一般的な問題のリファレンスです。
Redshift Spectrum クエリで生成されたエラーを表示するには、[SVL\$1S3LOG](r_SVL_S3LOG.md)システムテーブルのクエリを実行します。
**Topics**
+ [
## 再試行数の超過
](#spectrum-troubleshooting-retries-exceeded)
+ [
## スロットリングされたアクセス
](#spectrum-troubleshooting-access-throttled)
+ [
## リソースの制限を超えました
](#spectrum-troubleshooting-resource-limit-exceeded)
+ [
## パーティション化されたテーブルに行が返されない
](#spectrum-troubleshooting-no-rows-partitioned-table)
+ [
## 権限エラー
](#spectrum-troubleshooting-not-authorized-error)
+ [
## データ形式に互換性がない
](#spectrum-troubleshooting-incompatible-data-format)
+ [
## Amazon Redshift で Hive DDL を使用する際の構文エラー
](#spectrum-troubleshooting-syntax-error-using-hive-ddl)
+ [
## 一時テーブルを作成するアクセス許可
](#spectrum-troubleshooting-permission-to-create-temp-tables)
+ [
## 無効な範囲
](#spectrum-troubleshooting-invalid-range)
+ [
## 無効な Parquet バージョン番号
](#spectrum-troubleshooting-invalid-parquet-version)
+ [
## 外部パーティション情報に必須フィールドがありません
](#spectrum-troubleshooting-required-field-missing)
## 再試行数の超過
Amazon Redshift Spectrum リクエストがタイムアウトすると、リクエストはキャンセルされ再送信されます。再試行が 5 回失敗するとクエリは失敗し、次のエラーが表示されます。
```
error: Spectrum Scan Error: Retries exceeded
```
次の原因が考えられます。
+ ファイルサイズが大きい (1 GB 超) Amazon S3 のファイルサイズを確認し、サイズの大きなファイルおよびファイルサイズスキューを探します。サイズの大きなファイルは小さなファイル (100 MB～1 GB) に分割します。ほぼ同じファイルサイズになるようにしてください。
+ ネットワークスループットの遅延。後でクエリを試してください。
## スロットリングされたアクセス
Amazon Redshift Spectrum は、他の AWS のサービスにおけるクオータの対象となります。使用率が高い場合、Redshift Spectrum リクエストの処理速度を低下させる必要がある場合があり、その結果次のエラーが発生します。
```
error: Spectrum Scan Error: Access throttled
```
次の 2 種類のスロットリングが発生します。
+ Amazon S3 によって制限されたアクセス。
+ AWS KMS によってスロットリングされたアクセス。
エラーコンテキストは、スロットリングのタイプに関する詳細を提供します。次に、このスロットリングの原因と考えられる解決方法を示します。
### Amazon S3 によってスロットリングされたアクセス
[プレフィックス](https://docs.aws.amazon.com/glossary/latest/reference/glos-chap.html#keyprefix)の読み込みリクエストレートが高すぎる場合、Amazon S3 は Redshift Spectrum のリクエストを抑制する可能性があります。Amazon S3 で達成できる GET/HEAD リクエストレートについては、*Amazon Simple Storage Service ユーザーガイド*の [Amazon S3 のパフォーマンスの最適化](https://docs.aws.amazon.com/AmazonS3/latest/userguide/optimizing-performance.html)を参照してください。Amazon S3 GET/HEAD リクエストレートでは、プレフィックスに対するすべての GET/HEAD リクエストが考慮されるため、同じプレフィックスにアクセスする異なるアプリケーションが合計リクエストレートを共有します。
Redshift Spectrum リクエストが Amazon S3 によって頻繁にスロットリングされる場合は、Redshift Spectrum が Amazon S3 に提供する Amazon S3 GET/HEAD リクエストの数を減らします。これを行うには、小さなファイルを大きなファイルにマージしてみてください。64 MB 以上のファイルサイズの使用が推奨されます。
また、Redshift Spectrum テーブルのパーティション分割も考慮して、早期フィルタリングによる利点を得て、Amazon S3 でアクセスされるファイルの数を減らすことも検討してください。詳細については、「[Redshift Spectrum 外部テーブルのパーティション化](c-spectrum-external-tables.md#c-spectrum-external-tables-partitioning)」を参照してください。
### AWS KMS によってスロットリングされたアクセス
サーバー側の暗号化 (SSE-S3 または SSE-KMS) を使用して Amazon S3 にデータを保存する場合は、Redshift Spectrum がアクセスするファイルごとに、AWS KMSに対する API オペレーションを Amazon S3 が呼び出します。これらのリクエストは、暗号化操作のクォータにカウントされます。詳細については、「[AWS KMS クォータのリクエスト](https://docs.aws.amazon.com/kms/latest/developerguide/requests-per-second.html)」を参照してください。SSE-S3 および SSE-KMS の詳細については、*Amazon Simple Storage Service ユーザーガイド*の「[サーバー側の暗号化を使用したデータの保護](https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingServerSideEncryption.html)」および「[Protecting Data Using Server-Side Encryption with KMS keys Stored in AWS KMS](https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingKMSEncryption.html)」を参照してください。
Redshift Spectrum が AWS KMS に対して行うリクエストの数を減らすには、最初に、アクセスされるファイルの数を減らす必要があります。これを行うには、小さなファイルを大きなファイルにマージしてみてください。64 MB 以上のファイルサイズの使用が推奨されます。
Redshift Spectrum のリクエストが AWS KMS によって頻繁にスロットリングされる場合は、暗号化オペレーションの AWS KMS リクエストレートのクォータ引き上げを、申請することを検討してください。クォータ増加をリクエストするには、*Amazon Web Services 全般のリファレンス* の「[AWS のサービス制限](https://docs.aws.amazon.com/general/latest/gr/aws_service_limits.html)」を参照してください。
## リソースの制限を超えました
Redshift Spectrum は、リクエストが使用できるメモリ量に上限を強制します。より多くのメモリを必要とする Redshift Spectrum リクエストが失敗し、次のエラーが発生します。
```
error: Spectrum Scan Error: Resource limit exceeded
```
Redshift Spectrum リクエストがメモリ割り当てをオーバーランさせる原因としては、次の 2 つが考えられます。
+ Redshift Spectrum は、小さなチャンクに分割できない大量のデータを処理します。
+ 大規模な集約ステップは、Redshift Spectrum によって処理されます。
分割サイズが 128 MB 以下の並列読み取りをサポートするファイル形式を使用することをお勧めします。サポートされているファイル形式とデータファイルの作成に関する一般的なガイドラインについては、「[Amazon Redshift Spectrum でクエリ用のデータファイルを作成する](c-spectrum-data-files.md)」を参照してください。並列読み取りをサポートしないファイル形式または圧縮アルゴリズムを使用する場合は、ファイルサイズを 64 MB～128 MB にすることをお勧めします。
## パーティション化されたテーブルに行が返されない
クエリでパーティション化された外部テーブルから行が返されない場合は、パーティションがこの外部テーブルに追加されているかどうかを確認します。Redshift Spectrum は、`ALTER TABLE … ADD PARTITION` を使用して明示的に追加されている Amazon S3 に位置するファイルのみをスキャンします。[SVV\$1EXTERNAL\$1PARTITIONS](r_SVV_EXTERNAL_PARTITIONS.md) ビューにクエリを実行し既存のパーティションを検索します。欠落しているパーティションごとに `ALTER TABLE … ADD PARTITION` を実行します。
## 権限エラー
クラスターの IAM ロールで Amazon S3 ファイルオブジェクトへのアクセスが許可されていることを確認します。外部データベースが Amazon Athena にある場合は、IAM ロールが Athena リソースにアクセスできるかどうかを確認します。詳細については、「[Amazon Redshift Spectrum 用の IAM ポリシー](c-spectrum-iam-policies.md)」を参照してください。
## データ形式に互換性がない
Apache Parquet などの列ファイル形式では、列タイプはデータとともに埋め込まれます。CREATE EXTERNAL TABLE 定義内の列タイプは、データファイルの列タイプと一致する必要があります。一致しないと、次のようなエラーが発生します。
```
File 'https://s3bucket/location/file has an incompatible Parquet schema
for column ‘s3://s3bucket/location.col1'. Column type: VARCHAR, Par
```
エラーメッセージは、メッセージの長さ制限で切り捨てられている場合もあります。列名と列タイプを含む完全なエラーメッセージを取得するには、[SVL\$1S3LOG](r_SVL_S3LOG.md)システムビューのクエリを実行します。
以下の例は、最後に実行されたクエリについての SVL\$1S3LOG をクエリします。
```
select message
from svl_s3log
where query = pg_last_query_id()
order by query,segment,slice;
```
次に示すのは、完全なエラーメッセージを表示した結果です。
```
message
–––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––-
Spectrum Scan Error. File 'https://s3bucket/location/file has an incompatible
Parquet schema for column ' s3bucket/location.col1'.
Column type: VARCHAR, Parquet schema:\noptional int64 l_orderkey [i:0 d:1 r:0]\n
```
エラーを修正するには、外部テーブルを変更し、Parquet ファイルの列タイプと一致させます。
## Amazon Redshift で Hive DDL を使用する際の構文エラー
Amazon Redshift は、Hive DDL と類似した CREATE EXTERNAL TABLE 用のデータ定義言語 (DDL) をサポートしています。ただし、2 つの DDL タイプは常に代替可能であるとは限りません。Hive DDL をコピーして Amazon Redshift 外部テーブルを作成または変更した場合、構文エラーが発生する可能性があります。以下に Amazon Redshift と Hive DDL の違いの例を示します。
+ Hive DDL がダブルクォーテーションマーク (") をサポートしているのに対して、Amazon Redshift はシングルクォーテーションマーク (') を使用します。
+ Amazon Redshift は STRING データタイプをサポートしていません。代わりに VARCHAR を使用します。
## 一時テーブルを作成するアクセス許可
Redshift Spectrum クエリを実行するには、データベースユーザーがデータベースに一時テーブルを作成するアクセス権限を持っている必要があります。次の例では、データベース `spectrumdb` の一時アクセス権限を `spectrumusers` ユーザーグループに付与しています。
```
grant temp on database spectrumdb to group spectrumusers;
```
詳細については、「[GRANT](r_GRANT.md)」を参照してください。
## 無効な範囲
Redshift Spectrum では、クエリの実行中に、外部テーブルに属する Amazon S3 内のファイルが上書きされないことを想定しています。上書きが発生した場合、次のエラーが発生することがあります。
```
Error: HTTP response error code: 416 Message: InvalidRange The requested range is not satisfiable
```
このエラーを回避するには、Redshift Spectrum からクエリされている Amazon S3 ファイルに対しての上書きを防止します。
## 無効な Parquet バージョン番号
Redshift Spectrum は、アクセスする各 Apache Parquet ファイルのメタデータをチェックします。このチェックに失敗すると、次のようなエラーが発生することがあります。
```
File 'https://s3.region.amazonaws.com/s3bucket/location/file has an invalid version number
```
チェックが失敗する原因としては、以下の 2 つが考えられます。
+ クエリ中に、対象の Parquet ファイルが上書きされた ([無効な範囲](#spectrum-troubleshooting-invalid-range) を参照)。
+ Parquet ファイルが破損している。
## 外部パーティション情報に必須フィールドがありません
外部カタログの外部テーブルにパーティションを追加しようとすると、次のエラーが発生することがあります。
```
Error: The required field () is missing from the external partition information. Add missing field in partition and retry. Partition location:
```
このエラーは、クエリで使用された外部テーブル内のパーティションの 1 つにパーティションメタデータ情報がないことを意味します。これは、次の場合に発生します。
+ パーティションを、AWS Glue Data Catalog などの外部カタログの外部テーブルに追加し、部分的な情報を追加しました。
+ AWS Glue Data Catalog などの外部カタログ内の対応するテーブルのパーティションを追加または更新するときに、Amazon Redshift でパーティション分割されたテーブルをクエリしました。
以下は、AWS Glue Data Catalog からパーティションを取得するときに入力する必要があるフィールドです。
+ StorageDescriptor
+ InputFormat
+ OutputFormat
+ SerDeInfo
+ 値
クエリ [SVV\$1EXTERNAL\$1PARTITIONS](r_SVV_EXTERNAL_PARTITIONS.md) を実行して既存のパーティションを検索し、そのフィールドの詳細を表示できます。
AWS Glue Data Catalog パーティションフィールドの完全なリストについては、「*AWS Glue ウェブ API リファレンス*」の「[Partition](https://docs.aws.amazon.com/glue/latest/webapi/API_Partition.html)」を参照してください。