您的位置首页百科问答

神经网络中的退火是什么概念?

神经网络中的退火是什么概念?

的有关信息介绍如下:

神经网络中的退火是什么概念?

不知道神经网络里的退火是什么,不知道和sa像不像,科普一下sa吧,不对勿喷qwq

sa(模拟退火)是一种启发性算法,用于寻找一个问题的最优解或较优解

引用经典的兔子。

有一些兔子想要找到世界上最高的地方

爬山算法(贪心):兔子们总往高处跑,一段时间后,兔子们到达了一个比较高的山峰

模拟退火:兔子们喝醉了,满世界乱跑,随着兔子们的酒劲渐渐过去,兔子们想起了原本的目标,开始往高处跑,最终有一些兔子达到了比较高的山峰

用程序化语言描述的话,设当前状态为x,估值函数为f(x)

爬山算法:

1、取下一个状态y

2、如果f(y)>f(x),将当前状态转变为状态y

3、goto 1

模拟退火:

1、设当前温度为t

2、取下一个状态y

3、如果f(y)>f(x),将当前状态转变为状态y,否则有exp((f(x)-f(y))/t)的概率接受(不接受就丢掉状态y)

4、t=t*c c是一个冷却常数

5、goto 2

简单来说,就是

·温度高时,比较大的概率接受一个较差的解

·温度低时,更倾向于接受局部最优解

就酱