FAQ
企业 AI 落地常见问题
企业在规划、开发、接入和运营 AI 应用时常问的问题，一问一答。
全部问答
第 728 / 812 页
如何测试微调模型？
以下是关于测试微调模型的相关内容： 在完成微调之后，需要对结果进行测试。微调不会直接影响原有的大模型，而是生成一些文件，包括模型权重文件、配置文件、训练元数据、优化器状态等。这些文件可以和原有大模型合并并输出新的大模型。 在测试之前，先通过不合并的方式进行微调结果的验证。例如，若数据集中有问答“问：你是谁？答：家父是大理寺少卿甄远道”，当给微调后的模型指定角…
查看全文模型微调对模型有什么影响和价值？
模型微调对模型具有重要的影响和价值，主要体现在以下几个方面： 提高结果质量：能够获得比即时设计更高质量的结果。；增加训练示例：可以训练比提示中更多的例子，从而改进小样本学习，在大量任务中取得更好的效果。；节省 Token 和成本：由于更短的提示而节省了 Token，对模型进行微调后，不再需要在提示中提供示例，能够节省成本并实现更低延迟的请求。；提高模型效率：…
查看全文中外开源模型有哪些概览与分类？
以下是关于中外开源模型的概览与分类： 国内方面： 国内模型在 Agent 核心基础能力上已较为接近或部分超过 GPT3.5 水平。；如 ChatGLM3-Turbo 在任务分解、多文档问答和检索 API 能力上表现出色。；国内开源模型如 Baichuan213B-Chat 具备较强竞争力，在某些方面超过一些闭源模型。 国外方面： OpenAI 发布了开源模型…
查看全文如何理解 LoRA 训练以及参数？
LoRA 训练的参数主要包括以下方面： 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 - 15，写实人物图片的 repeat 一般在 30 - 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。；循环次数：AI 将所有图片按照学习步数学习一轮就是一次…
查看全文高效微调技术 LoRA 全量微调与少量参数微调是什么？
以下是关于高效微调技术 - LoRA 全量微调与少量参数微调的相关信息： LoRA 微调： 微调脚本：；脚本见：train/sft/finetune\_lora.sh；具体实现代码见：train/sft/finetune\_clm\_lora.py；单机多卡的微调可以通过修改脚本中的--include localhost:0来实现。；加载微调模型：；基于 L…
查看全文常见 GPU 卡有哪些介绍与比较？
以下是常见 GPU 卡的介绍与比较： 在选择 GPU 作为 AI 基础设施时，需要考虑多个因素： 训练与推理方面：训练大型 Transformer 模型通常需要在机器集群上完成，最好是每台服务器有多个 GPU、大量 VRAM 以及服务器之间的高带宽连接。许多模型在 NVIDIA H100 上最具成本效益，但获取较难且通常需要长期合作承诺。如今，NVIDIA …
查看全文微调所需算力的计算公式是什么？
微调所需算力的计算较为复杂，会受到多种因素的影响。以下是一些相关的要点： 在一些教程中，如“大圣：全网最适合小白的 Llama3 部署和微调教程”，提到微调可能需要购买算力，预充值 50 元。；对于大型语言模型（LLM）的微调，由于模型规模大，更新每个权重可能需要很长时间的训练工作，还需考虑计算成本和服务麻烦。；调整用于微调的超参数通常可以产生更高质量输出的…
查看全文GPU有哪些计算特性？
GPU（图形处理器）具有以下计算特性： 专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。；诞生源自对 CPU 的减负，使显卡减少了对 CPU 的依赖，并进行部分原本 CPU 的工作，尤其是在 3D 图形处理时。；所采用的核心技术有硬件 T&L（几何转换和光照处理）、立方环境材质贴图和顶点混合、纹理压…
查看全文能介绍中外开源模型的概览与分类吗？
以下是关于中外开源模型的概览与分类： 国内方面： 国内模型在 Agent 核心基础能力上已较为接近或部分超过 GPT3.5 水平。；如 ChatGLM3-Turbo 在任务分解、多文档问答和检索 API 能力上表现出色。；国内开源模型如 Baichuan213B-Chat 具备较强竞争力，在某些方面超过一些闭源模型。 国外方面： OpenAI 发布了开源模型…
查看全文如何使用 cursor？
Cursor 的使用包括以下方面： 模型切换：使用光标聊天、Ctrl/⌘K 和终端 Ctrl/⌘K 可以在不同模型之间轻松切换。在 AI 输入框下方有下拉列表，允许选择要使用的模型，默认准备好的模型有 GPT-4o、GPT-4、Claude 3.5 Sonnet、cursor-small 等，还可以在 Cursor Settings>Models>Model…
查看全文如何调试 RAG 工作流对话？
RAG（检索增强生成）工作流主要包括以下几个阶段： 问题解析阶段：接收并预处理问题，通过嵌入模型（如 Word2Vec、GloVe、BERT）将问题文本转化为向量，以用于后续检索。；知识库检索阶段：知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段并抽取传递给下一步骤。；信息整合阶段：接收检索到的信息，与上下文构建形成融合、全面的信息文…
查看全文能提供常见GPU卡的介绍与比较吗？
以下是常见 GPU 卡的介绍与比较： 在 AI 基础设施的考虑因素中，比较 GPU 时需要关注以下几个方面： 训练与推理： 训练 Transformer 模型除了模型权重外，还需要存储 8 字节的数据用于训练。内存 12GB 的典型高端消费级 GPU 几乎无法用于训练 40 亿参数的模型。；训练大型模型通常在机器集群上完成，最好是每台服务器有多个 GPU、大…
查看全文微调所需要的算力计算公式是什么？
微调所需算力的计算较为复杂，会受到多种因素的影响。以下为您提供一些相关信息： 在“大圣：全网最适合小白的 Llama3 部署和微调教程”中提到，微调可能需要预充值 50 元购买算力。；“9.生成式 AI Studio 简介”课程中指出，微调大型语言模型（LLM）时，由于模型规模大，更新每个权重可能需要很长时间的训练工作以及巨大的计算成本。；“微调（Fine-…
查看全文如何搭建 RAG 工作流？
RAG（检索增强生成）工作流搭建主要包括以下步骤： 文档加载：从多种不同来源加载文档，如非结构化的 PDF 数据、结构化的 SQL 数据、代码等，LangChain 提供了 100 多种不同的文档加载器。；文本分割：文本分割器把文档切分为指定大小的块，称为“文档块”或者“文档片”。；存储： 将切分好的文档块进行嵌入转换成向量的形式。；将 Embedding …
查看全文有哪些优化文章句子的app
以下是一些优化文章句子的 app： Wordvice AI：集校对、改写转述和翻译等功能于一体的 AI 写作助手，基于大型语言模型提供全面的英文论文润色服务。；ChatGPT：由 OpenAI 开发的大型语言模型，可用于学生和写作人员的多方面写作辅助。；Quillbot：人工智能文本摘要和改写工具，可用于快速筛选和改写文献资料。；HyperWrite：基于 …
查看全文知识库搭建流程是怎样的？
搭建知识库的流程通常包括以下几种情况： 本地部署大模型及搭建个人知识库： 了解 RAG 技术：RAG 是利用大模型能力搭建知识库的应用，在需要依靠不在大模型训练集中的数据时，通过检索增强生成。其过程包括文档加载（从多种来源加载文档，如 PDF 等非结构化数据、SQL 等结构化数据及代码）、文本分割（把文档切分为指定大小的块）、存储（将切分好的文档块嵌入转换为…
查看全文RAG与Agent如何结合应用
RAG 与 Agent 的结合应用可以通过以下步骤实现： 数据加载：根据数据源类型选择合适的数据加载器，如网页可使用 WebBaseLoader 加载和解析，返回文档对象。；文本分割：依据文本特点选择合适的文本分割器，将文档对象分割成较小的对象，如博客文章可用 RecursiveCharacterTextSplitter 分割。；嵌入与存储：使用文本嵌入器和…
查看全文RAG 有哪些经典应用场景？
RAG（检索增强生成）的经典应用场景主要包括以下方面： 构建智能问答客服：用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。；知识问答系统：用户提问后，RAG 从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到提示词中，提交给大模型，大模型的回答会充分考虑到“包含答案的内容”。
查看全文RAG技术有哪些基本内容可以了解？
RAG（Retrieval Augmented Generation，检索增强生成）是一种结合信息检索和文本生成能力的技术，主要用于处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。 其基本流程包括以下几个步骤： 文档加载：从多种不同来源加载文档，如 PDF 在内的非结构化数据、SQL 在内的结构化数据以及 Python、Java 之类的代码等。…
查看全文如何应用提示词
以下是关于如何应用提示词的全面指导： 一、理解提示词的作用 提示词向模型提供上下文和指示，其质量直接影响模型输出的质量。 二、学习提示词的构建技巧 明确任务目标，用简洁准确的语言描述。；给予足够的背景信息和示例，帮助模型理解语境。；使用清晰的指令，如“解释”“总结”“创作”等。；对特殊要求应给予明确指示，如输出格式、字数限制等。 三、参考优秀案例 研究和学习…
查看全文