提问： 带参数的激活函数的参数 ，在模型保存时会被保存

技术问答
1

带参数的激活函数的参数 ，在模型保存时会被保存下来吗？
在推断过程中，这个参数算超参数吗？

李白衣，2018-5-26 18:42:40

2

举个例子呗。或者做个简单的实验。

舟 3332 发表于 2018-6-8 21:46:34

3

看到了 PReLU 激活函数的参数是可以随模型训练进行调节的，应该不在属于超参数的范畴，所以还是应该看参数性质。
还有就是 dropout 和非线性激活函数的用途还是存在较大的差距的

李白衣 发表于 2018-7-3 16:06:43

4

算超参数啊

zhanys_7 发表于 2018-7-3 16:46:50

5

写快了 是超参数

zhanys_7 发表于 2018-7-3 16:46:50

6

会保存的。
呃，当然如果你用的那种动态的平衡参数，效果会更好

ViolinSolo 发表于 2018-7-3 19:51:06