定制化数据增强需先明确目标,再基于数据分布、任务需求和真实退化过程设计,继承标准基类实现可复现、可调试、可关闭的增强逻辑。

直接用现成的数据增强库(比如 torchvision.transforms 或 albumentations)很方便,但想真正提升模型在特定任务上的鲁棒性和泛化能力,往往需要自己动手写定制化的增强逻辑——不是堆叠更多随机操作,而是贴合数据分布、任务目标和业务场景来设计。
明确增强目标再动手写代码
别一上来就写 class CustomBlur。先问清楚:当前数据缺什么?模型在哪类样本上容易错?比如医学图像中伪影常见,但标准高斯模糊不模拟真实设备噪声;又比如 OCR 文本行图像,简单旋转会破坏字符连通性,而沿文字基线做轻微仿射扰动更合理。目标清晰了,代码才有意义。
- 分析训练集的统计特征(亮度分布、噪声类型、常见遮挡模式)
- 观察验证集上模型的典型错误样本,找共性缺陷
- 把增强动作和下游任务对齐:检测任务关注几何不变性,分割任务需同时变换 mask,分类可侧重纹理扰动
继承并重载标准 Transform 基类
用 PyTorch 的 torchvision.transforms.Transform 或 Albumentations 的 ImageOnlyTransform/DualTransform 基类,不是从零造轮子。它们已处理好输入校验、PIL/Tensor 兼容、多线程安全等细节,你只需专注核心逻辑。
- 继承
torchvision.transforms.Transform时,重写__call__(self, img),支持 PIL Image 和 Tensor 输入 - 做空间变换(如弹性形变、局部擦除)且需同步处理 mask 时,优先选 Albumentations 的
DualTransform,它自动保证图像与 mask 的几何一致性 - 所有随机行为必须通过
np.random.RandomState(self.get_params_dependent_on_targets(……))或传入的random_state控制,避免多进程下增强结果重复
用真实退化过程建模替代纯数学噪声
比起加标准高斯噪声,模拟真实采集链路中的退化更有效。例如摄像头抖动 → 运动模糊核 + 暗光下的泊松噪声;老文档扫描 → 二值化失真 + 纸张褶皱纹理叠加;遥感图像 → 大气散射模型(如 Koschmieder 定律)+ 传感器量化误差。
立即学习“Python 免费学习笔记(深入)”;
- 用 OpenCV 的
cv2.filter2D实现各向异性运动模糊,比cv2.GaussianBlur更贴近手持拍摄 - 叠加纹理时,用真实纸张 / 屏幕 / 镜头瑕疵图做 alpha blend,而不是生成纯随机纹理
- 所有参数(如模糊长度、噪声强度)设为可学习范围(如 [0.5×, 2×] 原始估计值),并在训练中随机采样,避免过拟合固定退化模式
增强策略要可复现、可调试、可关闭
自定义增强模块不是“黑盒”。上线前必须能单步验证输出、控制开关、记录参数——否则出问题时没法归因是数据问题还是模型问题。
- 在
__call__开头加if self.debug: show_image(img, title=f"Before {self.__class__.__name__}") - 用
self.p = p控制启用概率,训练时设 0.8,验证 / 测试时强制设 0,避免评估污染 - 所有随机种子从 dataloader 的 worker_seed 派生,确保每个 epoch 增强序列不同,但同一 batch 内可复现
- 导出增强参数日志(如“sample_12345: ElasticDeform alpha=32.0, sigma=4.5”),便于事后分析 bad case
基本上就这些。关键不在代码多炫酷,而在每一步增强都回答得了“为什么 这步对我的任务有用”。写完别急着跑 full train,先可视化 100 张增强结果,肉眼确认没引入不合理畸变或标签泄露——这才是稳扎稳打的提升方式。