- AGI (General Artificial Intelligence)：通用人工智能
- NLP (Natural Language Processing)：自然语言处理
- LLM (Large Language Model)：大语言模型
- GPT (Generative Pre-trained Transformer)：生成式预训练变换器
- Generative 生成式模型：一种机器学习模型，旨在通过学习数据分布，生成与训练数据相似的新数据。
- 可以理解为 y=f(x)=∑(wn*xn)+b，其中 AI 将输入(x)结合参数(w)和偏置值(b)，输出贴近最终要求的结果。
- 例如 ChatGPT 学人类文本，以此生成人类认为有意义的文本内容。Diffusion 学习人类图像，以此生成人类认为合理的图像。
- Pre-trained 预训练：一种深度学习方法，内容是通过在大规模数据集上进行训练，从而使模型总结数据的一般规律。
- Transformer 变换器：一种神经网络结构，通过注意力机制（Self-Attention）使 AI 准确理解上下文。
- 自注意力机制：计算文本中不同位置之间关系的方法。为每个词分配权重，以确定词之间的关联程度。作用是处理一词多义、上下文推理。
- 跨注意力机制：计算不同文本序列中各个位置之间关系的方法。为一个序列中的每个词分配权重，以确定该词与另一序列中的词之间的关联程度。作用是从 AI 对话长期记忆中筛选关键信息，读取相关记忆。
- Token：生成的单词数，通常模型提供商使用单词数计费
- Prompt：输入模型以此引导模型生成特定输出的文字。