大模型概述
大概理解为
- 神经网络 CNN = 万能函数拟合器
- 卷积 = 滤波和特征提取
- 全连接层 = 加权求和
- 反向传播 = 自后向前调整权重参数
- 模型设计 = 搭积木
# 大模型概述
# Transformer
英伟达慈父
深度学习历程
- 2012:AlexNet 依据 CUDA GPU 算力 + CNN 卷积神经网络 + 大数据标注图片实现多层的神经网络训练
- 2013~2014:疯狂堆深度,GoogleNet 在几十层曲线非常美妙,但深度达到三位数,力大飞砖没效果了,回归曲线开始下滑
- 一开始认为是发生了梯度消失 / 爆炸,但 Batch Normalization(2015) 基本缓解了这个问题,仍会出现退化
- 根本原因是深层训练优化极其困难,难以建立起有效的恒等映射
- 2015:何凯明提出 ResNet,通过残差连接解决退化问题,通过 shortcut 跳跃连接使用恒等映射保底,使得模型层数进入 3、4 位数
- 2016~2017:一直在玩残差网络,将 CNN(Convolutional Neural Networks)逐步完善
- 2017:提出 Transformer,完全不用卷积 / 循环,只用自注意力机制训练神经网络,最开始用在 NLP(解决长距离依赖),后来才用在 CV 做图像处理,再后来用在语言模型
CNN 和 Transformer 都是在做提取图像特征、建模像素 / 区域之间的关联,其区别在于
- CNN:用卷积核 + 局部滑动做特征
- Transformer:用自注意力 Self-Attention 做特征
Transformer 架构
代码复现:Transformer 模型编码器
- 输入嵌入层
- 位置编码
- 多头自注意力层
- 层归一化
- 前馈神经网络
参考
- Coding a Transformer from scratch on PyTorch, with full explanation, training and inference-YouTube (opens new window)
- A PyTorch implementation of the Transformer model in "Attention is All You Need" (opens new window)
输入嵌入层:获取句子输入处理为 512 维的向量,即 d_model
'''输入器'''
class InputEmbeddings(nn.Module):
def __init__(self, d_model: int, vocab_size: int):
super().__init__()
self.d_model = d_model
self.vocab_size = vocab_size
self.embedding = nn.embedding(vocab_size, d_model)
def forward(self, x):
return self.embedding(x) * math.sqrt(self.d_model)
2
3
4
5
6
7
8
9
10
11
12
通过 torch.nn 直接构建从句子长度(vocab_size)到所需向量(d_model)的嵌入层,同时,论文中把 √d_model 作为该层的权重与之相乘
位置编码:对输入嵌入生成的向量进行位置编码
'''创建矩阵'''
pe = torch.zeros(seq_len, d_model)
'''如何构建向量'''
position = torch.arange(0, seq_len, dtype = torch.float).unsqueeze(1)
div_term = torch.exp(torch.arange(0, d_model, 2).float) * (-math.log(10000.0) / d_model)
'''sin 函数对偶数处理'''
pe[:, 0::2] = torch.sin(position * div_term)
'''cos 函数对奇数处理'''
pe[:, 1::2] = torch.cos(position * div_term)
pe = pe.unsqueeze(0)
2
3
4
5
6
7
8
9
10
11
12
transformer 模型通过位置编码来捕获输入序列中的位置信息,使模型能够理解词语在序列中的位置关系
层归一化处理
加一个 ε 是为了防止 σ 过于贴近 0
class LayerNormalization(nn.Module):
def __init__(self, eps: float = 10**-6) -> None:
super().__init__()
self.eps = eps
self.alpha = nn.Parameter(torch.ones(1))
self.bias == nn.Parameter(torch.zeros(1))
def forward(self, x):
mean = x.mean(dim = -1, keepdim = True)
std = x.std(dim = -1, keepdim = True)
return self.alpha * (x-mean) / (std + self.eps)
2
3
4
5
6
7
8
9
10
11
12
层归一化对每个神经层的输入数据进行归一化处理,使其分布更加稳定和一致,以提高神经网络的尺度不变性,避免梯度消失
前馈网络(Position-wise Feed-Forward Networks)
输入的d(model) = 512并且d(ff) = 2048,即向量长度要从 512 构建到 2048
class FeedFordwardBlock(nn.Module):
def __init__(self, d_model: int, d_ff: int, dropout: float) -> None
super().__init__()
self.linear_1 = nn.Linear(d_model, d_ff) # w1 和 b1
self.dropout = nn.Dropout(dropout)
self.linear_2 = nn.Linear(d_ff, d_model) # w2 和 b2
def forward(self, x):
# 张量的转换:d_model -> d_ff -> d_model
return self.linear_2(self.dropout(torch.relu(self.linear_1(x))))
2
3
4
5
6
7
8
9
10
同样利用 torch.nn 直接构建该神经网络的线性层
多头自注意力层:最重要的模块,得到编码器的输入并使用它三次,分别为查询、键和值,对应之前提到的注意力公式中的三个重要参数(相当于相同的输入,应用了三次)
注意力公式
代码实现
class MultiHeadAttentionBlock(nn.Module):
def __init__(self, d_model: int, h: int, dropout: float) -> None:
super().init()
self.d_model = d_model
self.h = h
assert d_model % h == 0, "d_model is not divisible by h"
self.d_k = d_model // h
self.w_q = nn.Linear(d_model, d_model) # Wq 查询
self.w_k = nn.Linear(d_model, d_model) # Wk 键
self.w_v = nn.Linear(d_model, d_model) # Wv 值
self.w_o = nn.Linear(d_model, d_model) # Wo 注意力输出
self.dropout = nn.Dropout(dropout)
# 计算我们想要的注意力分数
@staticmethod
def attention(query, key, value, mask, dropout: nn.Dropout):
d_k = query.shape[-1]
attention_scores = (query @ key.transpose(-2, -1)) / math.sqrt(d_k)
if mask is not None:
attention_scores.masked_fill_(mask == 0, -1e9)
attention_scores = attention_scores.softmax(dim = -1)
if dropout is not None:
attention_scores = dropout(attention_scores)
return (attention_scores @ value), attention_scores
def forward(self, q, k, v, mask): # 矩阵处理,令三个查询的矩阵和 d_k 相关
query = self.w_q(q)
key = self.w_k(k)
value = self.w_v(v)
query = query.view(query.shape[0], query.shape[1], self.h, self.d_k).transpose(1, 2)
key = key.view(key.shape[0], key.shape[1], self.h, self.d_k).transpose(1, 2)
value = value.view(value.shape[0], value.shape[1], self.h, self.d_k).transpose(1, 2)
x, self.attention_scores = MultiHeadAttentionBlock.attention(query, key, value, mask, self.dropout)
# (batch, h, Seq_Len, d_k) --> (batch, Seq_Len, h, d_k) --> (batch, Seq_Len, d_model)
x = x.transpose(1, 2).contiguous().view(x.shape[0], -1, self.h * self.d_k)
return self.w_o(x)
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
# 基本概念
本质是词语接龙的概率模型
无法通过直接问模型 “你是什么模型” 得到答案
- 训练数据:“是什么模型” 这一事实并不决定模型的输出,这取决于训练过程中语料比重,最终的输出也只是一个概率事件
- 提示词:在 RLHF 过程,很多厂商会加入“你叫什么”、“你是谁开发的”这类问答,导致最后模型的输出和原始的训练概率也不相同
通过模型指纹识别一个模型
Tokenizer 词表:BPE 分词器的词表由训练语料统计生成,同一型号的模型共享几乎相同的词表,给模型一段特定文本,看它能切出多少 Token 以及切分的方式,基本可以锁定
BPE(Byte Pair Encoding,字节对编码)是目前最主流的大语言模型分词算法之一
logprob(Logarithmic Probability 对数概率):给定同样的 prompt,不同模型输出的 token 概率分布差异很大。采集几百条 prompt 的 top-5 logprob 统计对比,可以缩小范围
特殊 Token:不同模型的控制 Token,例如思考过程中的
<think>, <|im_start|>, <|endoftext|>不相同知识截止:问模型最近发生的事件,结合公开的训练节点推断
风格:比较玄学了,例如 GPT 喜欢列任务,Deepseek 废话少
设计一个有效的 Tokenizer 探针,文本集覆盖容易产生差异的输入:多语言混合、生僻 Unicode、代码片段、长数字串、特定中文组合
- 最常见的方式:冷知识探针
构造文本集:构造探针文本
↓
采集指纹:调用 Tokenizer 切分文本
↓
建指纹库:将文本递给已知模型切分
↓
比对:将未知模型的切分和指纹库比对
2
3
4
5
6
7
在训练大模型时使用 activation checkpointing(激活检查点)主要是为了?激活检查点牺牲计算速度,只保存部分激活值,反向时重算其余激活,以此降低显存占用峰值
- A、减少模型参数数量
- B、自动提高数值精度
- C、降低显存峰值
- D、尽可能保存中间激活以加速反向传播
为什么在深度学习优化中常用 L2 正则化来提升稳定性?L2 正则惩罚大权重,抑制过拟合,让模型不会因输入微小变化产生剧烈输出波动
- A、它能限制权重大小,降低模型对输入微小扰动的敏感度
- B、它能保证全局最优解
- C、它可以消除所有零特征值
- D、它可以缩短训练时间
当使用交叉损失函数时,若真实标签为 one-hot 编码 [0,1,0],模型输出概率为 [0.1,0.8,0.1],其损失值为多少?交叉熵仅计算真实类别对应的预测概率损失,这里真实类别对应概率 0.8,损失为 -log(0.8)
- A、
log(0.8) - B、
-log(0.8) - C、
-(log(0.1)+log(0.8)+log(0.1)) - D、
0.8
在进行 PCA 之前,为什么通常建议先对特征做标准化处理?PCA 依靠方差筛选主成分,不同单位、量级的特征会干扰方差权重,标准化消除量纲影响
- A、因为标准化可以直接得到主成分
- B、因为PCA只能处理服从正态分布的数据
- C、因为标准化可以让不同量纲的特征在方差计算中更公平
- D、因为标准化后特征一定会线性无关
在复杂多模态预测任务(如 VQA)中,后融合(Late Fusion)是指?后融合先分开编码图像、文本等不同模态,到模型后端/输出决策阶段再融合信息
- A、仅使用图像特征
- B、使用独立的编码器后,仅在决策层融合特征
- C、在输入层将图文拼接
- D、使用单一 Transformer 处理所有模态
在深度神经网络的典型结构中,隐藏层的主要作用是?隐藏层依靠权重、激活函数做多层非线性转换,提取原始数据里复杂高阶特征
- A、负责显示模型的最终预测结果(如分类标签或回归数值)
- B、接收外部输入的原始数据,并将其直接传递给输出层
- C、通过多层次的非线性变换,从原始特征中自动提取和构造更高阶的特征表示
- D、存储训练过程中的损失函数值,以便计算梯度的方向
某电商的智能客服平台为了挖掘用户痛点,以便进行产品改进,通过分析大量未标注的用户问题,对用户常见问题进行自动分类,针对该任务下面说法正确的是?数据无人工标签,模型依靠样本相似度自动聚类分组,属于无监督学习
- A、为了提升产品质量进行问题分析,属于强化学习
- B、对用户问题生成了分类,属于生成式学习
- C、对未标注的用户问题进行分类,属于无监督学习
- D、对已有的用户问题进行分类,属于监督学习
当用户评分数据存在明显的评分尺度差异时(如用户 A 评分范围为 1~5,用户 B 评分范围为 3~5),更适合使用?皮尔逊只关注评分变化趋势,能抵消不同用户打分区间、尺度带来的偏差
- A、汉明距离
- B、欧几里得距离
- C、皮尔逊相关系数
- D、曼哈顿距离
在 VLLM 中,PagedAttention 使用固定大小的 Block 来管理 KV Cache,如果将 Block Size 设为 1,会产生什么主要问题?每个 token 单独占用一个块,映射表规模暴增,内存访问碎片化,推理性能大幅下降
- A、模型无法加载
- B、显存利用率达到 100%
- C、计算吞吐量大幅提升
- D、Mapping Table 元数据开销过大且访问不连续
在评估预训练数据质量时,困惑度(Perplexity)常被用作指标,对一份高质量、符合目标分布的文本,模型对其计算的困惑度通常表现为?困惑度越低,模型对文本样本的预测概率越高,代表文本分布贴合模型训练目标
- A、困惑度越高,表示数据越符合模型分布
- B、困惑度仅用于评估生成多样性
- C、困惑度越低,表示模型对数据的预测越准确
- D、困惑度与数据质量无关
某模型推理时,KV Cache 采用"滑动窗口"机制(窗口大小为 20),Prefill 阶段处理 30 个 token 的 prompt,Decode 阶段已生成 15 个 token,此时 KV Cache 中保留的 token 数量及自注意力计算的上下文长度分别为?滑动窗口机制仅留存最近 20 个 token,注意力计算仅使用窗口内 20 个 token
- A、20个,20个
- B、15个,20个
- C、30+15=45个,45个
- D、20个,15个
关于奇异值分解(SVD,Singular Value Decomposition),下列哪项说法正确?标准 SVD 分解式 A=UΣV 转置,U、V 均为正交矩阵,任意矩阵都可做 SVD,奇异值恒非负
- A、U 和 V 可以取为正交矩阵
- B、做 SVD 必须要求矩阵可逆
- C、只有方阵才能做 SVD
- D、奇异值可以为任意负数
关于余弦相似度(Cosine Similarity)与欧几里得距离(Euclidean Distance)的特性,以下说法最准确的是?余弦相似度只对比向量夹角,和向量模长无关;欧氏距离同时受向量方向、长度共同影响
- A、余弦相似度仅反映向量的方向相对关系;欧几里得距离同时反映方向差异和绝对长度差异
- B、将两个向量单位化(归一化到单位长度)后,余弦相似度与欧几里得距离可以相互转换,结果等价
- C、两者都只反映向量的方向差异,与向量长度无关
- D、余弦相似度考虑向量的绝对长度,欧几里得距离不考虑
# 模型训练过程
现在的大模型训练已经不是一个非常技术化的活,愈加偏向于工程化;微调、蒸馏及量化,都属于后训练,GLM5.3 和 DeepSeek 4 Flash 都是在前代基础上后训练的成果
- 预训练(在海量语料上自监督学习) → Base Model,该阶段的模型只会“续写”文本,但不会“回答问题”,不知道正确与否
- 持续预训练(喂垂直领域语料) → 领域基座
- 监督微调 / 指令微调(SFT) → SFT Model
- RLHF 对齐(训练 RM → PPO/DPO 优化) → 对齐模型
- 下游任务微调 / PEFT(接入具体业务数据/使用 LoRA) → 业务模型
- 蒸馏 + 量化(追求推理速度和体积) → 部署模型
模型微调:SFT( Supervised Fine-Tuning)监督微调,SFT 用海量的“问题-答案”对(Prompt-Response)喂给主模型,告知其怎么回答是对的,通常所说的微调(Fine-Tuning)指的就是这一阶段工作
RLHF(Reinforcement Learning from Human Feedback)通过人类反馈的强化学习,RLHF 的三个阶段即 SFT - RM - PPO
- RM(Reward Model)奖励模型,专门训练一个小模型,专门对主模型的回答进行量化评分
- PPO(Proximal Policy Optimization)近端策略优化,主模型每生成一句话,RM 就打个分,而 PPO 负责把主模型的参数往“高分方向”微调
当前工业界正在向 DPO / RFT 等简化方案迁移:大致思路是把 RM 和 PPO 合并,把“打分”的逻辑写进损失函数里,在后训练时一步对齐
# 后训练
# 微调
# 蒸馏
# 量化
# 联邦学习算法
联邦学习 = 归并式的机器学习,子模型在各自机器上训练开发,主模型通过提交的 PR 进行增量更新