偵測和修正 DynamoDB 中的索引鍵違規情況

在建立全域次要索引的回填階段，Amazon DynamoDB 會檢查資料表中的每個項目，判斷是否符合納入索引中的資格。某些項目可能不符合資格，因為這些項目會導致索引鍵違規情況。在這些情況下，項目會保留在資料表中，但索引沒有該項目的對應項目。

出現以下狀況時會發生索引鍵違規情況：

如果發生索引鍵違規情況，回填階段會繼續，而不會中斷。但是，索引中不會包含任何違規項目。回填階段完成後，所有違反新索引鍵結構描述的項目寫入都會遭到拒絕。

若要識別並修正資料表中違反索引鍵的屬性值，請使用 Violation Detector 工具。若要執行 Violation Detector，請建立組態檔案，指定要掃描的資料表名稱、全域次要索引分割區索引鍵及排序索引鍵的名稱和資料類型，以及發現任何索引鍵違規情況時要採取的動作。Violation Detector 可以在以下兩種不同模式之一執行：

下載並執行 Violation Detector

Violation Detector 可以作為可執行的 Java 封存檔 (.jar 檔案)，並在 Windows、macOS 或 Linux 電腦上執行。Violation Detector 需要 Java 1.7 (或更新版本) 和 Apache Maven。

請遵循 README.md 檔案中的說明使用 Maven 下載並安裝 Violation Detector。

若要啟動 Violation Detector，請移至您已建立 ViolationDetector.java 的目錄，然後輸入下列命令。

java -jar ViolationDetector.jar [options]

Violation Detector 命令列接受下列選項：

Violation Detector 組態檔案

在執行時期，Violation Detector 工具需要組態檔案。此檔案中的參數決定 Violation Detector 可以存取哪些 DynamoDB 資源，以及其可以消耗多少佈建的輸送量。下表描述了這些參數。

accessKey = access_key_id_goes_here
secretKey = secret_key_goes_here 

偵測

若要偵測索引鍵違規情況，請將 Violation Detector 與 --detect 命令列選項搭配使用。若要顯示此選項的運作方式，請考慮 ProductCatalog 資料表。以下是資料表中的項目清單。僅顯示主索引鍵 (Id) 以及 Price 屬性。

所有 Price 的數值均為類型 Number。不過，因為 DynamoDB 不具結構描述，所以可以新增具有非數字 Price 的項目。例如，假設您將另一個項目新增至 ProductCatalog 資料表。

資料表現在共有九個項目。

現在，您將新的全域次要索引新增至資料表 PriceIndex。此索引的主索引鍵是分割區索引鍵 Price，其類型是 Number。建置索引後，將會包含八個項目，但 ProductCatalog 資料表含有九個項目。造成此差異的原因是數值 "Hello" 的類型為 String，但 PriceIndex 的主索引鍵為類型 Number。此 String 值違反全域次要索引鍵，因此不會出現在索引中。

若要在此情況中使用 Violation Detector，請先建立如下的組態檔案。

# Properties file for violation detection tool configuration.
# Parameters that are not specified will use default values.

awsCredentialsFile = /home/alice/credentials.txt
dynamoDBRegion = us-west-2
tableName = ProductCatalog
gsiHashKeyName = Price
gsiHashKeyType = N
recordDetails = true
recordGsiValueInViolationRecord = true
detectionOutputPath = ./gsi_violation_check.csv
correctionInputPath = ./gsi_violation_check.csv
numOfSegments = 1
readWriteIOPSPercent = 40

接著，您可以執行 Violation Detector，如下列範例所示。

$  java -jar ViolationDetector.jar --configFilePath config.txt --detect keep

Violation detection started: sequential scan, Table name: ProductCatalog, GSI name: PriceIndex
Progress: Items scanned in total: 9,    Items scanned by this thread: 9,    Violations found by this thread: 1, Violations deleted by this thread: 0
Violation detection finished: Records scanned: 9, Violations found: 1, Violations deleted: 0, see results at: ./gsi_violation_check.csv

如果 recordDetails 組態參數設為 true，Violation Detector 會將每個違規情況的詳細資訊寫入輸出檔案，如下列範例所示。

Table Hash Key,GSI Hash Key Value,GSI Hash Key Violation Type,GSI Hash Key Violation Description,GSI Hash Key Update Value(FOR USER),Delete Blank Attributes When Updating?(Y/N) 

999,"{""S"":""Hello""}",Type Violation,Expected: N Found: S,, 

輸出檔案採用 CSV 格式。檔案中的第一行是標頭，後接每個違反索引鍵的項目的一筆紀錄。這些違規情況紀錄的欄位如下所示：

更正

若要校正索引鍵違規情況，請將 Violation Detector 與 --correct 命令列選項搭配使用。在校正模式下，Violation Detector 會讀取 correctionInputPath 參數指定的輸入檔案。此檔案具有與 detectionOutputPath 檔案相同的格式，以便您可以使用來自偵測的輸出作為校正的輸入。

Violation Detector 提供兩種不同的方法來校正索引鍵違規情況：

在任何一種情況下，您都可以使用偵測模式的輸出檔案作為校正模式的輸入。

繼續進行 ProductCatalog 範例，假設您想要從資料表刪除違規情況。若要執行此操作，請使用以下命令列。

$  java -jar ViolationDetector.jar --configFilePath config.txt --correct delete

此時，系統會要求您確認是否要刪除違規項目。

Are you sure to delete all violations on the table?y/n
y
Confirmed, will delete violations on the table...
Violation correction from file started: Reading records from file: ./gsi_violation_check.csv, will delete these records from table.
Violation correction from file finished: Violations delete: 1, Violations Update: 0

現在 ProductCatalog 和 PriceIndex 都具有相同數量的項目。