建议使用以下浏览器,以获得最佳体验。 ie 9.0 以上版本 chrome 31 谷歌浏览器 firefox 30 火狐浏览器
温馨提示

抱歉,您需设置社区昵称后才能参与社区互动!

前往修改
我再想想
选择版块
modelarts 主题:6040帖子:26771

【其他】

深度神经网络中的特征学习与信号传播

前天 13:37 80


baratin等人最近的工作(2021)揭示了深度神经网络训练期间发生的一个有趣的模式:与其他层相比,一些层与数据的对齐更多(其中对齐被定义为切线特征矩阵和数据标签矩阵的欧氏乘积)。对齐曲线作为层指数的函数(通常)表现出一种上升-下降模式,在某些隐藏层达到最大值。在这项工作中,我们为这一现象提供了第一种解释。我们引入平衡假设,将这种对齐模式与深度神经网络中的信号传播联系起来。我们的实验证明与理论预测非常吻合。


https://www.zhuanzhi.ai/paper/eb536aebcbd07e082fa029bfa966c533


回复2

0 0
2022/6/21 15:05

很棒的知识分享

0 0
2022/6/21 17:22

学习学习

上划加载中
直达楼层
全部回复
正序浏览
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 星辰平台的解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

深度神经网络中的特征学习与信号传播-星辰平台

您已采纳当前回复为最佳回复

可爱又积极

发帖: 546粉丝: 24

发表于2022年06月20日 13:37:54 80 2
直达本楼层的链接
楼主
显示全部楼层
[其他] 深度神经网络中的特征学习与信号传播


baratin等人最近的工作(2021)揭示了深度神经网络训练期间发生的一个有趣的模式:与其他层相比,一些层与数据的对齐更多(其中对齐被定义为切线特征矩阵和数据标签矩阵的欧氏乘积)。对齐曲线作为层指数的函数(通常)表现出一种上升-下降模式,在某些隐藏层达到最大值。在这项工作中,我们为这一现象提供了第一种解释。我们引入平衡假设,将这种对齐模式与深度神经网络中的信号传播联系起来。我们的实验证明与理论预测非常吻合。


https://www.zhuanzhi.ai/paper/eb536aebcbd07e082fa029bfa966c533


分享文章到朋友圈

分享文章到微博
您已采纳当前回复为最佳回复

@wu

发帖: 443粉丝: 20

发表于2022年06月21日 15:05:44
直达本楼层的链接
沙发
显示全部楼层

很棒的知识分享

您已采纳当前回复为最佳回复

hw-qgs

发帖: 495粉丝: 46

发表于2022年06月21日 17:22:21
直达本楼层的链接
板凳
显示全部楼层

学习学习

您需要登录后才可以回帖 | 立即注册

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200