神经网络中的退火是什么概念?
的有关信息介绍如下:
不知道神经网络里的退火是什么,不知道和sa像不像,科普一下sa吧,不对勿喷qwq
sa(模拟退火)是一种启发性算法,用于寻找一个问题的最优解或较优解
引用经典的兔子。
有一些兔子想要找到世界上最高的地方
爬山算法(贪心):兔子们总往高处跑,一段时间后,兔子们到达了一个比较高的山峰
模拟退火:兔子们喝醉了,满世界乱跑,随着兔子们的酒劲渐渐过去,兔子们想起了原本的目标,开始往高处跑,最终有一些兔子达到了比较高的山峰
用程序化语言描述的话,设当前状态为x,估值函数为f(x)
爬山算法:
1、取下一个状态y
2、如果f(y)>f(x),将当前状态转变为状态y
3、goto 1
模拟退火:
1、设当前温度为t
2、取下一个状态y
3、如果f(y)>f(x),将当前状态转变为状态y,否则有exp((f(x)-f(y))/t)的概率接受(不接受就丢掉状态y)
4、t=t*c c是一个冷却常数
5、goto 2
简单来说,就是
·温度高时,比较大的概率接受一个较差的解
·温度低时,更倾向于接受局部最优解
就酱



