翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Cohere Embed v4
Cohere Embed v4 は、テキスト入力と画像入力の両方をサポートするマルチモーダル埋め込みモデルです。インターリーブテキストと画像コンテンツを処理できるため、ドキュメントの理解、視覚的検索、マルチモーダル検索アプリケーションに最適です。このモデルは、浮動小数点、int8、uint8、バイナリ、およびバイナリ形式を含むさまざまな埋め込みタイプをサポートし、256～1536 の出力ディメンションを設定できます。
のモデル ID Cohere Embed v4は ですcohere.embed-v4。
その他の使用上の注意
-
コンテキストの長さ: 最大 128,000 トークンがサポートされています。RAG の場合、チャンクが小さいほど取得とコストが向上することがよくあります。
-
イメージサイズ: イメージ > 2,458,624 ピクセルがそのサイズにダウンサンプリングされ、イメージ < 3,136 ピクセルがアップサンプリングされます。
-
インターリーブ入力: テキストコンテキスト (ファイル名、エンティティなど) がイメージとともに移動するように、ページのようなマルチモーダルコンテンツには input.content[] を優先します。
リクエストとレスポンス
- Request
-
コンテンツタイプ: application/json
{
"input_type": "search_document | search_query | classification | clustering",
"texts": ["..."], // optional; text-only
"images": ["data:<mime>;base64,..."], // optional; image-only
"inputs": [
{ "content": [
{ "type": "text", "text": "..." },
{ "type": "image_url", "image_url": "data:<mime>;base64,..." }
]
}
], // optional; mixed (interleaved) text+image
"embedding_types": ["float" | "int8" | "uint8" | "binary" | "ubinary"],
"output_dimension": 256 | 512 | 1024 | 1536,
"max_tokens": 128000,
"truncate": "NONE | LEFT | RIGHT"
}
パラメータ
-
input_type (必須) – ユースケースを区別するための特別なトークンを追加します。許可: search_document、search_query、classification、clustering。検索/RAG の場合は、コーパスを で埋め込みsearch_document、クエリを で埋め込みますsearch_query。
-
texts (オプション) – 埋め込む文字列の配列。呼び出しあたり最大 96。を使用する場合はtexts、同じ呼び出しimagesで を送信しないでください。
-
images (オプション) – 埋め込む data-URI base64 イメージの配列。呼び出しあたり最大 96。texts と をimages一緒に送信しないでください。(インターリーブinputsに使用します）。
-
入力 (オプション、混合/フュージョンモダリティ) – 各項目にパートのコンテンツリストがあるリスト。各パートは { "type": "text", "text": ... }または です{ "type": "image_url", "image_url": "data:<mime>;base64,..." }。ここでインターリーブされたページのようなコンテンツ (PDF ページイメージ + キャプション/メタデータなど) を送信します。最大 96 項目。
-
embedding_types (オプション) – float、、int8、binary、 の 1 uint8つ以上ubinary。省略すると、浮動小数点埋め込みを返します。
-
output_dimension (オプション) – ベクトルの長さを選択します。許可: 256、512、1024、 1536 (指定1536しない場合はデフォルト）。
-
max_tokens (オプション) – 入力オブジェクトあたりの切り捨て予算。このモデルは最大 128,000 トークンをサポートします。必要に応じて RAG のチャンクは小さくなります。
-
切り捨て (オプション) – 長すぎる入力を処理する方法: トークンを最初からLEFTドロップします。最後までRIGHTドロップします。入力が制限を超えた場合はエラーNONEを返します。
制限とサイズ設定
-
リクエストあたりの項目: 最大 96 個のイメージ。元のイメージファイルタイプは png、jpeg、webp、または gif 形式で、最大 5 MB のサイズにすることができます。
-
リクエストサイズの上限: 合計ペイロード最大 20 MB。
-
最大入力トークン: 最大 128,000 トークン。 イメージファイルはトークンに変換され、トークンの合計は 128,000 未満である必要があります。
-
イメージ: ダウンサンプリングの前に最大 2,458,624 ピクセル。3,136 ピクセル未満のイメージはアップサンプリングされます。としてイメージを提供する data:<mime>;base64,....
-
トークンアカウンティング (inputs項目あたり): イメージ入力からのトークン ≈ (イメージピクセル ÷ 784) x インターリーブテキストとイメージ入力からの 4 つのトークン = (イメージピクセル ÷ 784) x 4 + (テキストトークン)
ヒント: PDFs、各ページをイメージに変換し、ページメタデータ (file_name、エンティティなど) inputsを隣接するテキスト部分とともに 経由で送信します。
- Response
-
コンテンツタイプ: application/json
1 つの埋め込みタイプ (例: のみfloat) をリクエストした場合:
{
"id": "string",
"embeddings": [[ /* length = output_dimension */ ]],
"response_type": "embeddings_floats",
"texts": ["..."], // present if text was provided
"inputs": [ { "content": [ ... ] } ] // present if 'inputs' was used
}
複数の埋め込みタイプ (例: ["float","int8"]) をリクエストした場合:
{
"id": "string",
"embeddings": {
"float": [[ ... ]],
"int8": [[ ... ]]
},
"response_type": "embeddings_by_type",
"texts": ["..."], // when text used
"inputs": [ { "content": [ ... ] } ] // when 'inputs' used
}
さまざまな input_types のリクエストとレスポンス
A) インターリーブページ (イメージ + キャプション) とコンパクトな int8 ベクトル
リクエスト
{
"input_type": "search_document",
"inputs": [
{
"content": [
{ "type": "text", "text": "Quarterly ARR growth chart; outlier in Q3." },
{ "type": "image_url", "image_url": "data:image/png;base64,{{BASE64_PAGE_IMG}}" }
]
}
],
"embedding_types": ["int8"],
"output_dimension": 512,
"truncate": "RIGHT",
"max_tokens": 128000
}
レスポンス (切り捨て)
{
"id": "836a33cc-61ec-4e65-afaf-c4628171a315",
"embeddings": { "int8": [[ 7, -3, ... ]] },
"response_type": "embeddings_by_type",
"inputs": [
{ "content": [
{ "type": "text", "text": "Quarterly ARR growth chart; outlier in Q3." },
{ "type": "image_url", "image_url": "data:image/png;base64,{{...}}" }
] }
]
}
B) テキストのみのコーパスインデックス作成 (デフォルトの浮動小数点、1536-dim)
リクエスト
{
"input_type": "search_document",
"texts": [
"RAG system design patterns for insurance claims",
"Actuarial loss triangles and reserving primer"
]
}
レスポンス (サンプル)
{
"response_type": "embeddings_floats",
"embeddings": [
[0.0135, -0.0272, ...], // length 1536
[0.0047, 0.0189, ...]
]
}
コードの例
- Text input
-
# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
# SPDX-License-Identifier: Apache-2.0
"""
Shows how to generate embeddings using the Cohere Embed v4 model.
"""
import json
import logging
import boto3
from botocore.exceptions import ClientError
logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.INFO)
def generate_text_embeddings(model_id, body, region_name):
"""
Generate text embedding by using the Cohere Embed model.
Args:
model_id (str): The model ID to use.
body (str) : The reqest body to use.
region_name (str): The AWS region to invoke the model on
Returns:
dict: The response from the model.
"""
logger.info("Generating text embeddings with the Cohere Embed model %s", model_id)
accept = '*/*'
content_type = 'application/json'
bedrock = boto3.client(service_name='bedrock-runtime', region_name=region_name)
response = bedrock.invoke_model(
body=body,
modelId=model_id,
accept=accept,
contentType=content_type
)
logger.info("Successfully generated embeddings with Cohere model %s", model_id)
return response
def main():
"""
Entrypoint for Cohere Embed example.
"""
logging.basicConfig(level=logging.INFO, format="%(levelname)s: %(message)s")
region_name = 'us-east-1'
model_id = 'cohere.embed-v4:0'
text1 = "hello world"
text2 = "this is a test"
input_type = "search_document"
embedding_types = ["float"]
try:
body = json.dumps({
"texts": [
text1,
text2],
"input_type": input_type,
"embedding_types": embedding_types
})
response = generate_text_embeddings(model_id=model_id, body=body, region_name=region_name)
response_body = json.loads(response.get('body').read())
print(f"ID: {response_body.get('id')}")
print(f"Response type: {response_body.get('response_type')}")
print("Embeddings")
embeddings = response_body.get('embeddings')
for i, embedding_type in enumerate(embeddings):
print(f"\t{embedding_type} Embeddings:")
print(f"\t{embeddings[embedding_type]}")
print("Texts")
for i, text in enumerate(response_body.get('texts')):
print(f"\tText {i}: {text}")
except ClientError as err:
message = err.response["Error"]["Message"]
logger.error("A client error occurred: %s", message)
print("A client error occured: " +
format(message))
else:
print(
f"Finished generating text embeddings with Cohere model {model_id}.")
if __name__ == "__main__":
main()
- Mixed modalities
-
# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
# SPDX-License-Identifier: Apache-2.0
"""
Shows how to generate image embeddings using the Cohere Embed v4 model.
"""
import json
import logging
import boto3
import base64
from botocore.exceptions import ClientError
logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.INFO)
def get_base64_image_uri(image_file_path: str, image_mime_type: str):
with open(image_file_path, "rb") as image_file:
image_bytes = image_file.read()
base64_image = base64.b64encode(image_bytes).decode("utf-8")
return f"data:{image_mime_type};base64,{base64_image}"
def generate_embeddings(model_id, body, region_name):
"""
Generate image embedding by using the Cohere Embed model.
Args:
model_id (str): The model ID to use.
body (str) : The reqest body to use.
region_name (str): The AWS region to invoke the model on
Returns:
dict: The response from the model.
"""
logger.info("Generating image embeddings with the Cohere Embed model %s", model_id)
accept = '*/*'
content_type = 'application/json'
bedrock = boto3.client(service_name='bedrock-runtime', region_name=region_name)
response = bedrock.invoke_model(
body=body,
modelId=model_id,
accept=accept,
contentType=content_type
)
logger.info("Successfully generated embeddings with Cohere model %s", model_id)
return response
def main():
"""
Entrypoint for Cohere Embed example.
"""
logging.basicConfig(level=logging.INFO, format="%(levelname)s: %(message)s")
region_name = 'us-east-1'
image_file_path = "image.jpg"
image_mime_type = "image/jpg"
text = "hello world"
model_id = 'cohere.embed-v4:0'
input_type = "search_document"
image_base64_uri = get_base64_image_uri(image_file_path, image_mime_type)
embedding_types = ["int8","float"]
try:
body = json.dumps({
"inputs": [
{
"content": [
{ "type": "text", "text": text },
{ "type": "image_url", "image_url": "data:image/png;base64,{{image_base64_uri}}" }
]
}
],
"input_type": input_type,
"embedding_types": embedding_types
})
response = generate_embeddings(model_id=model_id, body=body, region_name=region_name)
response_body = json.loads(response.get('body').read())
print(f"ID: {response_body.get('id')}")
print(f"Response type: {response_body.get('response_type')}")
print("Embeddings")
embeddings = response_body.get('embeddings')
for i, embedding_type in enumerate(embeddings):
print(f"\t{embedding_type} Embeddings:")
print(f"\t{embeddings[embedding_type]}")
print("inputs")
for i, input in enumerate(response_body.get('inputs')):
print(f"\tinput {i}: {input}")
except ClientError as err:
message = err.response["Error"]["Message"]
logger.error("A client error occurred: %s", message)
print("A client error occured: " +
format(message))
else:
print(
f"Finished generating embeddings with Cohere model {model_id}.")
if __name__ == "__main__":
main()
