前言 #
LLM，也就是 Large Language Model，中文名大语言模型。
常见产品如 ChatGPT、Claude、Mistral、LLaMA
原理 #
模型是怎么推理的 #
生成多层神经网络，用户的输入会经过神经网络逐层推理，给出一个结果。
https://aws.amazon.com/cn/what-is/large-language-model/
LLM 的结构 #
如何训练一个 LLM #
如何在基座模型的基础上微调 #
利用 LLM 的工程实践 #
Prompt Engine #
- 一些已有的 Prompt 实战例子
https://github.com/f/awesome-chatgpt-prompts
https://www.promptingguide.ai/
如何写好 Prompt
RAG #
> RAG is an AI framework for retrieving facts from an external knowledge base to ground large language models (LLMs) on the most accurate, up-to-date information and to give users insight into LLMs’ generative process.
由于 LLM 模型天生的缺陷，无法保证其对事实和最新的信息的结果，也就是所谓的大语言模型的“幻觉”。人们想到一种方法是给模型外挂一个知识库，向模型提问时，先从这个足够可靠的知识库中获取符合条件的知识，再将其跟用户的问题一起交给模型进行处理。
function calling #
函数调用。让模型生成特定格式的字符串，让工具读取并识别这些字符串中的参数并执行。这就拓展了 AI 模型的能力，使其能够做更多的事情。
Multiple Agent #
多专家模型结合多种模型、多种不同的数据源参与结果推理过程。