Batch Normalization, 训练加速技术

前端之家收集整理的这篇文章主要介绍了Batch Normalization, 训练加速技术前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

1.简介

Batch Normalization,对每一层的输出,在每一次 mini-batch 传播后做归一化处理,通过减少上一层的输出变化来加速收敛.
好处:
Batch Normalization 让我们可以使用更大的学习率,初值可以更随意。它起到了正则项的作用,在某些情况下,有它就不需要使用Dropout了。

2.原理

3.常用库的相应方法

3.1 keras

model.add(BatchNormalization()),直接添加进去就可以.

3.2 tf

参考

  1. 他人博客,论文笔记-Batch Normalization
原文链接:https://www.f2er.com/regex/357814.html

猜你在找的正则表达式相关文章