本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 用于查询自定义文档的生成式 AI 选项
<a name="options"></a>

组织通常有各种来源的结构化和非结构化数据。本指南重点介绍如何使用生成式 AI 来回答来自非结构化数据的问题。

组织中的非结构化数据可能来自各种来源。这些可能是文本文件 PDFs、内部 wiki、技术文档、面向公众的网站、知识库或其他内容。如果您想要一个可以回答有关非结构化数据问题的基础模型，则可以使用以下选项：
+ 使用您的自定义文档和其他训练数据训练新的基础模型
+ 使用自定义文档中的数据对现有基础模型进行微调
+ 当你提问时，使用情境学习将文档传递给基础模型
+ 使用检索增强生成 (RAG) 方法

从头开始训练包含您的自定义数据的新基础模型是一项雄心勃勃的任务。一些公司已经成功地做到了这一点Bloomberg，例如他们的[https://www.bloomberg.com/company/press/bloomberggpt-50-billion-parameter-llm-tuned-finance/](https://www.bloomberg.com/company/press/bloomberggpt-50-billion-parameter-llm-tuned-finance/)模型。另一个例子是多模式[https://www.lgresearch.ai/ourwork/research?tab=PF](https://www.lgresearch.ai/ourwork/research?tab=PF)模型LG AI Research，该模型通过使用6000亿件艺术品和2.5亿张高分辨率图像以及文字进行训练。根据[《人工智能的成本：你应该建造还是购买基础模型](https://www.linkedin.com/pulse/cost-ai-should-you-build-buy-your-foundation-model-ritesh-vajariya/)》（LinkedIn），类似的模型的训练MetaLlama 2成本约为480万美元。从头开始训练模型有两个主要先决条件：获得资源（财务、技术、时间）和明确的投资回报。如果这似乎不合适，那么下一个选择是微调现有的基础模型。

微调现有模型包括采用一个模型，例如 Amazon Titan、Mistral 或 Llama 模型，然后根据您的自定义数据调整模型。有多种微调技术，其中大多数只涉及修改几个参数，而不是修改模型中的所有参数。这称为*参数效率微调*。有两种主要的微调方法：
+ *监督式微调*使用带标签的数据，并帮助您训练模型以完成一种新的任务。例如，如果您想基于 PDF 表单生成报告，则可能需要通过提供足够的示例来教模型如何做到这一点。
+ *无监督微调*与任务无关，它会根据您自己的数据调整基础模型。它训练模型以了解文档的上下文。然后，经过微调的模型使用更适合组织自定义的样式来创建内容，例如报告。

但是，对于问答用例，微调可能并不理想。有关更多信息，请参阅本指南中的[比较 RAG 和微调](rag-vs-fine-tuning.md)。

当你提问时，你可以将基础模型传递给文档，然后使用模型的情境学习从文档中返回答案。此选项适用于对单个文档进行即席查询。但是，此解决方案不适用于查询多个文档或查询系统和应用程序，例如微软 SharePoint 或Atlassian Confluence。

最后一个选择是使用 RAG。使用 RAG，基础模型会在生成响应之前引用您的自定义文档。RAG 将模型的功能扩展到贵组织的内部知识库，无需重新训练模型。这是一种具有成本效益的方法，可以改善模型输出，使其在各种情况下保持相关性、准确性和实用性。

**Topics**
+ [了解检索增强生成](what-is-rag.md)
+ [比较检索增强生成和微调](rag-vs-fine-tuning.md)
+ [检索增强生成用例](rag-use-cases.md)