当前位置: 恒峰-恒峰g22-恒峰手机娱乐 > AG真人游戏 > AG真人游戏 谷歌重磅开源新技术:5行代码打造无限宽神经网络模型,帮助“打开ML黑匣子”
随机内容

AG真人游戏 谷歌重磅开源新技术:5行代码打造无限宽神经网络模型,帮助“打开ML黑匣子”

时间:2020-03-15 12:17 来源:恒峰-恒峰g22-恒峰手机娱乐 点击:78

喜欢就点「在看」吧 !

展开全文

这说明了无限宽神经网络捕捉训练动态的能力。

init_fn, apply_fn, kernel_fn = stax.serial(

论文地址:

只要网络足够宽,深度学习动态就能大大简化,并且更易于理解。

这一研究成果已经中了ICLR 2020。戳进文末Colab链接,即可在线试玩。

内参新升级!拓展优质人脉,获取最新AI资讯&论文教程,欢迎加入AI内参社群一起学习~

GitHub地址:

戳二维码,备注“英伟达”即可报名、加交流群、获取前两期直播回放,主讲老师也会进群与大家交流互动哦~

https://arxiv.org/abs/1912.02803

对于深入理解机器学习机制来说,该研究也提供了一种新思路。谷歌表示,这将有助于“打开机器学习的黑匣子”。

作者系网易新闻·网易号“各有态度”签约作者

学习计划 | 关注AI发展新动态

վ'ᴗ' ի 追踪AI技术和产品新动态

最近的许多研究结果表明,无限宽度的DNN会收敛成一类更为简单的模型AG真人游戏,称为 高斯过程(Gaussian processes)。

但当神经网络变得无限宽时AG真人游戏,网络集合就可以用高斯过程来描述AG真人游戏,其均值和方差可以在整个训练过程中进行计算。

如此一来,就需要大量的计算预算。

但是,与常规训练不同,这些模型的学习动力在封闭形式下是易于控制的,也就是说,可以用前所未有的视角去观察其行为。

量子位 QbitAI · 头条号签约作者

上图中,左图为训练过程中输出(f)随输入数据(x)的变化;右图为训练过程中的不确定性训练、测试损失。

量子位 报道 | 公众号 QbitAI

不仅如此,常规神经网络可以解决的问题,Neural Tangents 构建的网络亦不在话下。

开箱即用,5行代码打造无限宽神经网络模型

https://github.com/google/neural-tangents

谷歌博客:

<NVIDIA图像处理公开课·第三期> 开始报名啦,3.26晚8点,英伟达专家将分享如何利用迁移式学习工具包 加速Jetbot智能小车推理引擎部署。

stax.Dense( 2048, W_std= 1.5, b_std= 0.05), stax.Erf,

https://ai.googleblog.com/2020/03/fast-and-easy-infinitely-wide-networks.html

而使用 Neural Tangents ,仅需5行代码,就能完成对无限宽网络集合的构造和训练。

Neural Tangents 是一个高级神经网络 API,可用于指定复杂、分层的神经网络,在 CPU/GPU/TPU 上开箱即用。

传送门

甚至只需要5行代码,就能够打造一个无限宽神经网络模型。

stax.Dense( 2048, W_std= 1.5, b_std= 0.05), stax.Erf,

但是,问题来了:推导有限网络的无限宽度限制需要大量的数学知识,并且必须针对不同研究的体系结构分别进行计算。对工程技术水平的要求也很高。

有什么用呢?举个例子,你需要训练一个完全连接神经网络。通常,神经网络是随机初始化的,然后采用梯度下降进行训练。

研究人员通过对一组神经网络中不同成员的预测取均值,来提升模型的性能。另外,每个成员预测中的方差可以用来估计不确定性。

谷歌最新开源的 Neural Tangents,旨在解决这个问题,让研究人员能够轻松建立、训练无限宽神经网络。

Colab地址:

免费报名 | 图像与视频处理系列直播课

可以看到,无限宽网络模拟有限神经网络,遵循相似的性能层次结构,其全连接网络的性能比卷积网络差,而卷积网络的性能又比宽残余网络差。

鱼羊 假装发自 凹非寺

该库用 JAX编写,既可以构建有限宽度神经网络,亦可轻松创建和训练无限宽度神经网络。

将有限神经网络的集合训练和相同体系结构的无限宽度神经网络集合进行比较,研究人员发现,使用无限宽模型的精确推理,与使用梯度下降训练整体模型的结果之间,具有良好的一致性。

— 完—

https://colab.research.google.com/github/google/neural-tangents/blob/master/notebooks/neural_tangents_cookbook.ipynb

所谓的无限宽度(infinite width),指的是完全连接层中的隐藏单元数,或卷积层中的通道数量有无穷多。

于是,复杂的现象可以被归结为简单的线性代数方程,以了解AI到底是怎样工作的。

原标题:谷歌重磅开源新技术:5行代码打造无限宽神经网络模型,帮助“打开ML黑匣子”

y_mean, y_var = predict.gp_inference(kernel_fn, x_train, y_train, x_test, ‘ntk’, diag_reg= 1e-4, compute_cov= True)

fromneural_tangents importpredict, stax

stax.Dense( 1, W_std= 1.5, b_std= 0.05))

原标题:[公司]荣科科技子公司近期收到政府补助214.25万元

原标题:Wǒmen 这个女力觉醒的时代!

------分隔线----------------------------

由上内容,由恒峰-恒峰g22-恒峰手机娱乐收集并整理。