挑战“不可能”的代码

从层次结构上可以看出，高速缓存处于第二层次，起到承上启下的作用。而为了能够与 CPU 进行高速交互，同时与主存进行数据的交换，高速缓存的结构也十分具有个人特色。

高速缓存并不是一中概念上的缓存，而是由特定 SRAM 组成的物理芯片。在现代 CPU 中，大量的空间都已经被 SRAM 占据。下图是一张Intel CPU的放大图片，红色框标出的就是其中一部分高速缓存。

SRAM：SRAM是指静态随机存储器，它具有静止存取的功能，也就是可以不需要刷新电路就保存内部的数据。性能高，功耗小，速度快，价格高。

 

在需要在短时间内找到近似解的情况下，模拟退火效果特别好，胜过缓慢的梯度下降速度。像代理优化一样，它可以与梯度下降混合使用，从而具有以下优点：模拟退火的速度和梯度下降的准确性。

这是一些非梯度方法的样本;还有许多其他的算法，例如模式搜索和多目标优化，都需要探索。鉴于我们人类遗传成功的证据，因此基于遗传和种群的算法(例如粒子群优化)对于创建真正的"智能"代理非常有前途。

非梯度优化方法之所以令人着迷，是因为它们很多都利用了创造力，而不受梯度数学链的限制。没有人期望无梯度方法能够成为主流，因为即使考虑到许多问题，基于梯度的优化也能如此出色。但是，将无梯度和基于梯度的方法的强大功能与混合优化器一起使用证明了极高的潜力，特别是在我们达到计算极限的时代。

 

代理优化从技术上讲是一种非迭代方法，尽管代理功能的训练通常是迭代的。此外，从技术上讲，它是一种无梯度方法，尽管查找建模函数全局最小值的有效数学方法通常基于导数。但是，由于迭代和基于梯度的属性都是替代优化的"次要"属性，因此它可以处理大数据和不可微的优化问题。

使用代理函数的优化在以下几种方面的特性：

• 它实质上是在平滑真实的损失函数的表面，从而减少了锯齿状的局部最小值，该局部最小值导致了神经网络中大量额外的训练时间。
• 它将一个困难的问题投影到一个容易得多的问题上：无论是多项式，RBF、GP、MARS还是其他替代模型，寻找全局最小值的任务都会借助数学知识来完成。
• 过拟合替代模型并不是什么大问题，因为即使有相当多的过拟合，替代函数也比真实损失函数更平滑，参差不齐。除了建立简化的数学倾向模型外，还有许多其他标准考虑因素，因此训练替代模型要容易得多。
• 替代优化不受当前位置的限制，因为它看到了"整个函数"，而不是梯度下降，梯度下降必须不断做出危险的选择，以决定是否认为下一个山峰会有更深的最小值。

替代优化几乎总是比梯度下降方法快，但通常以准确性为代价。使用代理优化可能只能查明全局最小值的大致位置，但这仍然可以极大地受益。

另一种方法是混合模型。替代优化用于将神经网络参数带到粗略位置，从中可以使用梯度下降法找到确切的全局最小值。另一个方法是使用替代模型来指导优化程序的决策，因为替代函数可以a)"先见之明"和b)对损失函数的特定起伏不敏感。

模拟退火

模拟退火是基于冶金退火的概念，其中可以将材料加热到其重结晶温度以上，以降低其硬度并改变其他物理特性，有时还改变化学特性，然后使材料逐渐冷却并再次变硬。

使用缓慢冷却的概念，随着对溶液空间的探索，模拟退火缓慢地降低了接受较差溶液的可能性。由于接受较差的解决方案可以对全局最小值进行更广泛的搜索(认为-越过山丘进入更深的山谷)，因此模拟退火假定可以在第一次迭代中正确表示和探索各种可能性。随着时间的流逝，该算法从探索转向开发。

以下是模拟退火算法如何工作的粗略概述：

• 温度设置为某个初始正值，然后逐渐接近零。
• 在每个时间步长上，算法都会随机选择一个与当前解决方案接近的解决方案，测量其质量，然后根据当前温度(接受更好或更差的解决方案的可能性)移至该解决方案。
• 理想情况下，当温度达到零时，该算法已收敛于全局最小解。

可以使用动力学方程式或随机采样方法进行模拟。模拟退火用于解决旅行商问题，该问题试图找到数百个位置之间的最短距离，以数据点表示。显然，这些组合是无止境的，但是模拟退火(加上强化学习的效果)效果很好。

（编辑：桂林站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!