翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# データセットのファイルタイプと入力データ形式
<a name="autopilot-llms-finetuning-data-format"></a>

指示ベースのファインチューニングでは、特定の自然言語処理 (NLP) タスクにおける事前トレーニング済み LLM のパフォーマンスを向上させるために、ラベル付きデータセットを使用します。ラベル付けされた例は、プロンプトとレスポンスのペアとしてフォーマットされ、指示としてフレーズ化されます。



サポートされているデータセットのファイルタイプについては、「[サポートされているデータセットのファイルタイプ](#autopilot-llms-finetuning-dataset-format)」を参照してください。

入力データ形式の詳細については、「[指示ベースのファインチューニングで使用できる入力データ形式](#autopilot-llms-finetuning-input-format)」を参照してください。

## サポートされているデータセットのファイルタイプ
<a name="autopilot-llms-finetuning-dataset-format"></a>

Autopilot は、CSV ファイル (デフォルト) または Parquet ファイルとしてフォーマットされた指示ベースのファインチューニングデータセットをサポートします。
+ **CSV** (カンマ区切り値) は、データを人間が読めるプレーンテキストで格納する行ベースのファイル形式で、幅広いアプリケーションでサポートされているため、データ交換に一般的に採用されています。
+ **Parquet** は、列ベースのファイル形式で、CSV のような人間が読めるファイル形式よりも効率的にデータを格納および処理します。このため、ビッグデータの問題にはより適したオプションです。

**注記**  
データセットは複数のファイルで構成されている場合があり、それぞれが特定のテンプレートに従う必要があります。入力データの形式を設定する方法については、「[指示ベースのファインチューニングで使用できる入力データ形式](#autopilot-llms-finetuning-input-format)」を参照してください。

## 指示ベースのファインチューニングで使用できる入力データ形式
<a name="autopilot-llms-finetuning-input-format"></a>

データセット内の各ファイルは、次の形式に従う必要があります。
+ データセットには、カンマで区切られ名前が付いた 2 つの列、`input` と `output` が含まれている必要があります。Autopilot では、追加の列は許可されません。
+ `input` 列にはプロンプトが含まれ、対応する `output` 列には想定される回答が含まれます。`input` と `output` はどちらも文字列形式です。

次の例は、Autopilot の指示ベースのファインチューニングで使用される入力データ形式を示しています。

```
input,output
"<prompt text>","<expected generated text>"
```

**注記**  
モデルの最適な学習とパフォーマンスを確保するために、1,000 行以上のデータセットを使用することをお勧めします。

さらに、Autopilot は、使用するモデルのタイプに基づいて、データセット内の行数とコンテキストの長さの上限を設定します。
+ データセット内の行数の制限は、複数のファイルを含むデータセット内のすべてのファイルにわたる行の累積数に適用されます。2 つの[チャネルタイプ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html)が定義されている場合 (1 つはトレーニング用、もう 1 つは検証用)、制限は両方のチャネル内のすべてのデータセットの行の合計数に適用されます。行数がしきい値を超えると、ジョブは検証エラーで失敗します。
+ データセット内の行の入力または出力の長さが言語モデルのコンテキストで設定された制限を超えると、自動的に切り捨てられます。データセット内の行の 60% 以上が切り捨てられた場合、入力または出力のいずれであっても、Autopilot のジョブは検証エラーで失敗します。

次の表は、各モデルのこれらの制限を示しています。


| JumpStart モデル ID | API リクエストの `BaseModelName` | 行の上限 | コンテキストの長さの上限 | 
| --- | --- | --- | --- | 
| huggingface-textgeneration-dolly-v2-3b-bf16 | Dolly3B | 10,000 行 | 1024 トークン | 
| huggingface-textgeneration-dolly-v2-7b-bf16 | Dolly7B | 10,000 行 | 1024 トークン | 
| huggingface-textgeneration-dolly-v2-12b-bf16 | Dolly12B | 10,000 行 | 1024 トークン | 
| huggingface-llm-falcon-7b-bf16 | Falcon7B | 1,000 行 | 1024 トークン | 
| huggingface-llm-falcon-7b-instruct-bf16 | Falcon7BInstruct | 1,000 行 | 1024 トークン | 
| huggingface-llm-falcon-40b-bf16 | Falcon40B | 10,000 行 | 1024 トークン | 
| huggingface-llm-falcon-40b-instruct-bf16 | Falcon40BInstruct | 10,000 行 | 1024 トークン | 
| huggingface-text2text-flan-t5-large | FlanT5L | 10,000 行 | 1024 トークン | 
| huggingface-text2text-flan-t5-xl | FlanT5XL | 10,000 行 | 1024 トークン | 
| huggingface-text2text-flan-t5-xxll | FlanT5XXL | 10,000 行 | 1024 トークン | 
| meta-textgeneration-llama-2-7b | Llama2-7B | 10,000 行 | 2048 トークン | 
| meta-textgeneration-llama-2-7b-f | Llama2-7BChat | 10,000 行 | 2048 トークン | 
| meta-textgeneration-llama-2-13b | Llama2-13B | 7,000 行 | 2048 トークン | 
| meta-textgeneration-llama-2-13b-f | Llama2-13BChat | 7,000 行 | 2048 トークン | 
| huggingface-llm-mistral-7b | Mistral7B | 10,000 行 | 2048 トークン | 
| huggingface-llm-mistral-7b-instruct | Mistral7BInstruct | 10,000 行 | 2048 トークン | 
| huggingface-textgeneration1-mpt-7b-bf16 | MPT7B | 10,000 行 | 1024 トークン | 
| huggingface-textgeneration1-mpt-7b-instruct-bf16 | MPT7BInstruct | 10,000 行 | 1024 トークン |