谷歌发布颠覆性研究：不训练不调参，AI自动构建超强网络
|
神经网络不仅有权重偏置这些参数，网络的拓扑结构、激活函数的选择都会影响最终结果。 
谷歌大脑的研究人员在论文开头就提出质疑：神经网络的权重参数与其架构相比有多重要？在没有学习任何权重参数的情况下，神经网络架构可以在多大程度上影响给定任务的解决方案。 为此，研究人员提出了一种神经网络架构的搜索方法，无需训练权重找到执行强化学习任务的最小神经网络架构。 谷歌研究人员还把这种方法用在监督学习领域，仅使用随机权重，就能在MNIST上实现就比随机猜测高得多的准确率。 论文从架构搜索、贝叶斯神经网络、算法信息论、网络剪枝、神经科学这些理论中获得启发。 为了生成WANN，必须将权重对网络的影响最小化，用权重随机采样可以保证最终的网络是架构优化的产物，但是在高维空间进行权重随机采样的难度太大。 研究人员采取了“简单粗暴”的方法，对所有权重强制进行权重共享（weight-sharing），让权重值的数量减少到一个。这种高效的近似可以推动对更好架构的搜索。 操作步骤 解决了权重初始化的问题，接下来的问题就是如何收搜索权重不可知神经网络。它分为四个步骤： 
1、创建初始的最小神经网络拓扑群。 2、通过多个rollout评估每个网络，并对每个rollout分配不同的共享权重值。 3、根据性能和复杂程度对网络进行排序。 4、根据排名最高的网络拓扑来创建新的群，通过竞争结果进行概率性的选择。 然后，算法从第2步开始重复，在连续迭代中，产生复杂度逐渐增加的权重不可知拓扑（weight agnostic topologies ）。 拓扑搜索 用于搜索神经网络拓扑的操作受到神经进化算法（NEAT）的启发。在NEAT中，拓扑和权重值同时优化，研究人员忽略权重，只进行拓扑搜索操作。 
上图展示了网络拓扑空间搜索的具体操作： 一开始网络上是最左侧的最小拓扑结构，仅有部分输入和输出是相连的。 然后，网络按以下三种方式进行更改： 1、插入节点：拆分现有连接插入新节点。 2、添加连接：连接两个之前未连接的节点，添加新连接。 3、更改激活函数：重新分配隐藏节点的激活函数。 图的最右侧展示了权重在[2,2]取值范围内可能的激活函数，如线性函数、阶跃函数、正弦余弦函数、ReLU等等。 权重依然重要 WANN与传统的固定拓扑网络相比，可以使用单个的随机共享权重也能获得更好的结果。
虽然WANN在多项任务中取得了最佳结果，但WANN并不完全独立于权重值，当随机分配单个权重值时，有时也会失败。 WANN通过编码输入和输出之间的关系起作用，虽然权重的大小的重要性并不高，但它们的一致性，尤其是符号的一致性才是关键。 随机共享权重的另一个好处是，调整单个参数的影响变得不重要，无需使用基于梯度的方法。 强化学习任务中的结果让作者考虑推广WANN方法的应用范围。他们又测试了WANN在图像分类基础任务MNIST上的表现，结果在权重接近0时效果不佳。 
有Reddit网友质疑WANN的结果，对于随机权重接近于0的情况，该网络的性能并不好，先强化学习实验中的具体表现就是，小车会跑出限定范围。 
对此，作者给出解释，在权重趋于0的情况下，网络的输出也会趋于0，所以后期的优化很难达到较好的性能。 传送门 原文链接： https://weightagnostic.github.io/ 源代码： https://github.com/weightagnostic/weightagnostic.github.io 【编辑推荐】
点赞 0 （编辑：南京站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
