ML笔记 - 神经网络训练技巧

数据预处理

数据去均值
在这里插入图片描述

激活函数选择

优先使用ReLU,尝试Leaky ReLU / Maxout / ELU,少用Sigmoid
在这里插入图片描述

权重初始化

不同的初始方法下,随迭代轮次,损失的变化
在这里插入图片描述

学习率与批样本大小

不同批样本数量对于训练的影响
在这里插入图片描述

不同大小的学习率下,神经网络的训练损失变化
在这里插入图片描述

损失函数与优化器

在这里插入图片描述

不同优化方法下,loss的变化
在这里插入图片描述

超参数调优

在这里插入图片描述

批规范化处理 / Batch Normalization

Batch Normalization对于结果的影响
在这里插入图片描述

©️2020 CSDN 皮肤主题: 鲸 设计师:meimeiellie 返回首页