迁移学习的核心思想，是把一个已经在大规模数据上学到的视觉表示，迁移到新的任务中继续使用。对于数据量有限的项目，如果从随机初始化开始训练，模型往往需要更多样本和更长时间才能学到边缘、纹理、形状等通用特征；而预训练模型已经完成了其中相当一部分工作。

但“加载预训练权重并训练几轮”并不等于完整的迁移学习方案。真正影响结果的，通常是权重与数据预处理是否匹配、冻结范围是否合理、分类头是否正确替换，以及验证过程能否识别过拟合。下面以一个多分类图像任务为例，构建一个可执行、可检查的训练流程。

一、问题背景

假设项目需要识别若干种物体，每个类别只有几百张甚至几十张图片。数据规模不足时，直接训练完整卷积网络会面临三个问题：

迁移学习将模型拆成两部分理解：前面的特征提取器负责把图像转换成高层表示，最后的分类头负责把表示映射为目标类别。预训练阶段学到的特征提取器可以复用，而分类头通常必须按照新任务的类别数重新构造。

这里的“预训练”只表示模型参数来自另一个训练任务，并不保证它一定适合当前数据。若源数据和目标数据差异很大，预训练特征的可迁移性会下降，此时需要解冻更多层进行微调，或者重新评估模型结构。

二、两种训练策略

1. 冻结特征提取器

冻结卷积骨干网络，只训练新建的分类头。它的优点是需要更新的参数少、训练速度较快，也更适合样本很少的场景。缺点是骨干网络不能适应目标领域，目标图像与预训练数据差异较大时，表达能力可能不足。

冻结参数的关键操作是将 requires_grad 设为 False。优化器只接收需要更新的参数，否则虽然不会更新冻结参数，但会增加不必要的计算和代码歧义。

2. 部分或全部微调

先训练分类头，使输出层进入合理状态，再解冻骨干网络的后几层，以较小学习率继续训练。后部网络通常包含更任务相关的语义特征，先解冻这些层可以在适应新任务与保留通用能力之间取得平衡。

微调时常用分层学习率：分类头使用较大的学习率，骨干网络使用较小的学习率。学习率没有脱离数据和模型的固定答案，下面的配置只是起点，实际值应通过验证集和训练曲线调整。

三、准备数据集

推荐采用按类别分目录的结构，便于使用 ImageFolder：

dataset/train/cat/dog/bird/val/cat/dog/bird/

训练集可以使用随机裁剪、水平翻转等增强；验证集应尽量只做确定性的缩放和裁剪。训练和验证必须使用相同的归一化参数，但不能把随机增强带入验证，否则评估结果会产生额外波动。

from torchvision import datasets, transformsfrom torch.utils.data import DataLoaderimage_size = 224mean = [0.485, 0.456, 0.406]std = [0.229, 0.224, 0.225]train_transform = transforms.Compose([transforms.RandomResizedCrop(image_size, scale=(0.7, 1.0)),transforms.RandomHorizontalFlip(),transforms.ToTensor(),transforms.Normalize(mean, std),])val_transform = transforms.Compose([transforms.Resize(256),transforms.CenterCrop(image_size),transforms.ToTensor(),transforms.Normalize(mean, std),])train_set = datasets.ImageFolder("dataset/train", transform=train_transform)val_set = datasets.ImageFolder("dataset/val", transform=val_transform)train_loader = DataLoader(train_set, batch_size=32, shuffle=True, num_workers=2)val_loader = DataLoader(val_set, batch_size=32, shuffle=False, num_workers=2)num_classes = len(train_set.classes)print(train_set.classes)

如果使用的预训练模型规定了不同的输入尺寸或归一化参数，应以该模型的公开配置为准。不能只因为图片能够进入网络，就认为预处理已经正确。

四、替换分类头并训练

下面使用 torchvision 提供的 ResNet 作为示例。模型名称和权重接口可能随安装版本不同而变化，因此实际运行时应以当前环境中的官方文档和接口为准。代码中的 weights 是模型权重配置对象，不是密钥。

import copyimport torchfrom torch import nnfrom torchvision.models import resnet18, ResNet18_Weightsdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")model = resnet18(weights=ResNet18_Weights.DEFAULT)# 第一阶段：冻结骨干网络for parameter in model.parameters():parameter.requires_grad = Falsein_features = model.fc.in_featuresmodel.fc = nn.Linear(in_features, num_classes)model = model.to(device)criterion = nn.CrossEntropyLoss()optimizer = torch.optim.AdamW(model.fc.parameters(), lr=1e-3, weight_decay=1e-4)

训练和验证函数应明确切换 train() 与 eval()。这一步对包含 BatchNorm 或 Dropout 的模型尤其重要：训练模式会更新部分统计量并启用随机失活，验证模式则用于稳定评估。

def run_epoch(model, loader, criterion, optimizer=None):is_train = optimizer is not Nonemodel.train(is_train)total_loss = 0.0total_correct = 0total_count = 0for images, labels in loader:images = images.to(device)labels = labels.to(device)if is_train:optimizer.zero_grad(set_to_none=True)with torch.set_grad_enabled(is_train):logits = model(images)loss = criterion(logits, labels)if is_train:loss.backward()optimizer.step()total_loss  = loss.item() * labels.size(0)total_correct  = (logits.argmax(dim=1) == labels).sum().item()total_count  = labels.size(0)return total_loss / total_count, total_correct / total_countbest_state = Nonebest_val_acc = -1.0for epoch in range(8):train_loss, train_acc = run_epoch(model, train_loader, criterion, optimizer)with torch.no_grad():val_loss, val_acc = run_epoch(model, val_loader, criterion)print(f"epoch={epoch   1} "f"train_loss={train_loss:.4f} train_acc={train_acc:.4f} "f"val_loss={val_loss:.4f} val_acc={val_acc:.4f}")if val_acc > best_val_acc:best_val_acc = val_accbest_state = copy.deepcopy(model.state_dict())if best_state is not None:model.load_state_dict(best_state)torch.save({ "model": model.state_dict(), "classes": train_set.classes},"classifier.pt",)

这里保存验证集表现最好的权重，而不是无条件保存最后一个 epoch。验证集本身并不是完全独立的最终测试集，因此项目正式评估时还应保留一份没有参与调参的测试数据。

五、从冻结到微调

如果训练分类头后，训练集和验证集都表现不佳，可能是模型容量、数据质量或预处理存在问题；如果训练集持续提升而验证集停滞甚至下降，则需要优先检查过拟合。确认数据和标签没有明显问题后，可以解冻骨干网络的后几层。

# 解冻 layer4，分类头继续保持可训练for parameter in model.layer4.parameters():parameter.requires_grad = Trueoptimizer = torch.optim.AdamW([{ "params": model.layer4.parameters(), "lr": 1e-5},{ "params": model.fc.parameters(), "lr": 1e-4},], weight_decay=1e-4)for epoch in range(5):train_loss, train_acc = run_epoch(model, train_loader, criterion, optimizer)with torch.no_grad():val_loss, val_acc = run_epoch(model, val_loader, criterion)print(epoch   1, train_loss, train_acc, val_loss, val_acc)

微调时需要注意三点。第一，解冻后应重新确认优化器参数确实包含新解冻的层。第二，学习率通常应小于只训练分类头时的学习率。第三，样本很少时，BatchNorm 的统计量可能不稳定，是否冻结其行为要结合模型结构、批大小和数据分布判断，不能一概而论。

六、推理与类别映射

推理阶段必须复用验证阶段的确定性预处理，并按照训练集生成的类别顺序解释输出。只保存权重而不保存类别映射，部署后可能出现数值正确但类别名称错位的问题。

from PIL import Imagecheckpoint = torch.load("classifier.pt", map_location=device)classes = checkpoint["classes"]model.load_state_dict(checkpoint["model"])model.eval()image = Image.open("sample.jpg").convert("RGB")input_tensor = val_transform(image).unsqueeze(0).to(device)with torch.no_grad():probability = model(input_tensor).softmax(dim=1)[0]index = probability.argmax().item()print({ "label": classes[index], "score": float(probability[index])})

输出的概率是模型在当前类别集合和训练分布下的相对置信度，不应直接当成真实正确率。对于安全、医疗或其他高风险场景，还需要额外的校准、拒识策略和人工复核机制。

七、常见问题

预训练模型为什么仍然识别错误？

迁移学习复用的是参数，不是目标领域的全部知识。拍摄角度、光照、分辨率、背景和类别定义发生较大变化时，通用特征可能不足。应先检查标签质量和类别边界，再考虑更合适的数据增强、解冻范围或模型结构。

训练准确率很高，验证准确率很低怎么办？

这通常符合过拟合特征，但也可能是训练集与验证集存在分布差异或数据泄漏。应检查同一对象的近似图片是否被拆到不同集合，减少不必要的增强强度，增加有效样本，并使用早停或正则化。不要只根据一次验证结果调整模型。

类别数量不平衡时只改 batch size 可以吗？

通常不够。可以根据训练集类别频率设置交叉熵权重，或使用合适的采样策略；同时报告每类召回率、精确率和混淆矩阵。具体采用哪种方法，需要结合少数类样本量和业务评价目标决定。

什么时候不适合冻结大部分层？

当目标数据与预训练数据差异显著，或者新任务依赖预训练模型未覆盖的细粒度特征时，完全冻结可能限制效果。此时可以逐步解冻后部网络，但应控制学习率，并使用独立测试集验证收益。

总结

迁移学习不是单一的模型调用，而是一套从数据、权重、训练策略到评估和部署的完整流程。可靠的实践至少应做到：确认预训练权重与输入预处理匹配；先训练新分类头，再根据验证表现决定是否微调；保存最佳权重和类别映射；用独立数据评估泛化能力；通过每类指标和混淆矩阵定位问题。

对于小样本视觉任务，冻结特征提取器往往是合理起点，但不是最终答案。只有把训练曲线、数据分布和错误样本结合起来，才能判断问题究竟来自模型、数据还是训练策略。