机器学习界有一群炼丹师,他们每天的日常是:
拿来药材(数据),架起八卦炉(模型),点着六味真火(优化算法),就摇着蒲扇等着丹药出炉了。
不过,当过厨子的都知道,同样的食材,同样的菜谱,但火候不一样了,这出来的口味可是千差万别。火小了夹生,火大了易糊,火不匀则半生半糊。
机器学习也是一样,模型优化算法的选择直接关系到最终模型的性能。有时候效果不好,未必是特征的问题或者模型设计的问题,很可能就是优化算法的问题。
深度学习优化算法大概经历了 SGD -> SGDM -> NAG ->Adagrad -> Adadelta(RMSprop) -> Adam -> Nadam 这样的发展历程。
详见《一个框架看懂优化算法之异同 SGD/AdaGrad/Adam》
https://zhuanlan.zhihu.com/p/32230623
对于一般新手炼丹师,优化器直接使用Adam,并使用其默认参数就OK了。
一些爱写论文的炼丹师由于追求评估指标效果,可能会偏爱前期使用Adam优化器快速下降,后期使用SGD并精调优化器参数得到更好的结果。
此外目前也有一些前沿的优化算法,据称效果比Adam更好,例如LazyAdam,Look-ahead,RAdam,Ranger等.
一,优化器的使用
优化器主要使用apply_gradients方法传入变量和对应梯度从而来对给定变量进行迭代,或者直接使用minimize方法对目标函数进行迭代优化。
当然,更常见的使用是在编译时将优化器传入keras的Model,通过调用model.fit实现对Loss的的迭代优化。
初始化优化器时会创建一个变量optimier.iterations用于记录迭代的次数。因此优化器和tf.Variable一样,一般需要在@tf.function外创建。
import tensorflow as tf numpy as np # 打印时间分割线 @tf.function def printbar(): ts = tf.timestamp() today_ts = ts%(24*60*60) hour = tf.cast(today_ts//3600+8,tf.int32)%tf.constant(24) minite = tf.cast((today_ts%3600)//60,tf.int32) second = tf.cast(tf.floor(today_ts%60),tf.int32) timeformat(m): if tf.strings.length(tf.strings.format("{}",m))==1: return(tf.strings.format(0{}"else tf.strings.join([timeformat(hour),timeformat(minite),timeformat(second)],separator = :) tf.print(=========="*8,end = ""print(timestring) 求f(x) = a*x**2 + b*x + c的最小值 使用optimizer.apply_gradients x = tf.Variable(0.0,name = x tf.float32) optimizer = tf.keras.optimizers.SGD(learning_rate=0.01) @tf.function minimizef(): a = tf.constant(1.0) b = tf.constant(-2.0) c = tf.constant(1.0) while tf.constant(True): with tf.GradientTape() as tape: y = a*tf.pow(x,2) + b*x + c dy_dx = tape.gradient(y,x) optimizer.apply_gradients(grads_and_vars=[(dy_dx,x)]) 迭代终止条件 if tf.abs(dy_dx)<tf.constant(0.00001): break if tf.math.mod(optimizer.iterations,100)==0: printbar() tf.step = x = ) y = a*tf.pow(x,1)"> c return y tf.y =x =================================================================================10:50:09 step = 100 x = 0.867380381 ================================================================================10:50:09 step = 200 x = 0.98241204 ================================================================================10:50:09 step = 300 x = 0.997667611 ================================================================================10:50:09 step = 400 x = 0.999690652 ================================================================================10:50:09 step = 500 x = 0.999959 ================================================================================10:50:09 step = 600 x = 0.999994457 y = 0 x = 0.999995172
使用optimizer.minimize ) f(): a = tf.constant(1.0) y = a*tf.pow(x,2)+b*x+c (y) @tf.function def train(epoch = 1000): for _ in tf.range(epoch): optimizer.minimize(f,[x]) tf.epoch = (f()) train(1000) tf.y =
epoch = 1000
y = 0
x = 0.99999851
求f(x) = a*x**2 + b*x + c的最小值 # 使用model.fit tf.keras.backend.clear_session() class FakeModel(tf.keras.models.Model): def __init__(self,a,b,c): super(FakeModel,self).() self.a = a self.b = b self.c = c build(self): self.x = tf.Variable(0.0,1)">) self.built = True call(self,features): loss = self.a*(self.x)**2+self.b*(self.x)+self.c return(tf.ones_like(features)*loss) myloss(y_true,y_pred): tf.reduce_mean(y_pred) model = FakeModel(tf.constant(1.0),tf.constant(-2.0),tf.constant(1.0)) model.build() model.summary() model.compile(optimizer = tf.keras.optimizers.SGD(learning_rate=0.01),loss = myloss) history = model.fit(tf.zeros((100,2)),tf.ones(100),batch_size = 1,epochs = 10) 迭代1000次 tf.x=loss=Model: fake_model" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= Total params: 1 Trainable params: 1 Non-trainable params: 0 Epoch 1/10 100/100 [==============================] - 0s 901us/step - loss: 0.2481 Epoch 2/10 100/100 [==============================] - 0s 940us/step - loss: 0.0044 Epoch 3/10 100/100 [==============================] - 0s 926us/step - loss: 7.6740e-05 Epoch 4/10 100/100 [==============================] - 0s 908us/step - loss: 1.3500e-06 Epoch 5/10 100/100 [==============================] - 0s 909us/step - loss: 1.8477e-08 Epoch 6/10 100/100 [==============================] - 0s 965us/step - loss: 0.0000e+00 Epoch 7/10 100/100 [==============================] - 0s 842us/step - loss: 0.0000e+00 Epoch 8/10 100/100 [==============================] - 0s 828us/step - loss: 0.0000e+00 Epoch 9/10 100/100 [==============================] - 0s 837us/step - loss: 0.0000e+00 Epoch 10/10 100/100 [==============================] - 0s 936us/step - loss: 0.0000e+00 x= 0.99999851 loss= 0
二,内置优化器
深度学习优化算法大概经历了 SGD -> SGDM -> NAG ->Adagrad -> Adadelta(RMSprop) -> Adam -> Nadam 这样的发展历程。
在keras.optimizers子模块中,它们基本上都有对应的类的实现。
-
SGD,默认参数为纯SGD,设置momentum参数不为0实际上变成SGDM,考虑了一阶动量,设置 nesterov为True后变成NAG,即 Nesterov Acceleration Gradient,在计算梯度时计算的是向前走一步所在位置的梯度。
-
Adagrad,考虑了二阶动量,对于不同的参数有不同的学习率,即自适应学习率。缺点是学习率单调下降,可能后期学习速率过慢乃至提前停止学习。
-
RMSprop,考虑了二阶动量,对于不同的参数有不同的学习率,即自适应学习率,对Adagrad进行了优化,通过指数平滑只考虑一定窗口内的二阶动量。
-
Adadelta,考虑了二阶动量,与RMSprop类似,但是更加复杂一些,自适应性更强。
-
Adam,同时考虑了一阶动量和二阶动量,可以看成RMSprop上进一步考虑了Momentum。
-
Nadam,在Adam基础上进一步考虑了 Nesterov Acceleration。
参考:
开源电子书地址:https://lyhue1991.github.io/eat_tensorflow2_in_30_days/
GitHub 项目地址:https://github.com/lyhue1991/eat_tensorflow2_in_30_days
原文链接:/tensorflow/991515.html