问:人工神经 的论文
- 答:你不翻译了
???
问:【论文阅读】高速神经 Highway Networks
- 答:论文: works
作者提出了一种叫做 works 的架构,用来解决基于梯度的学习模型在拥有较多层数时,难以训练的问题。
对于一个朴素的包含 层的前馈神经 ,第 层 对输入 进行非线性转化 (参数为 ),得到输入 。简化下标和偏移量之后,形式如下:
对于 works ,额外增加两个非线性转化 和 ,新形式如下:
其中 称作转换门, 称作携带门, 它们决定了输出由非线性变化和原始输入组成的比例 。
可以将假设 来得到更加简单的形式:
增加了门结构的形式在计算过唯漏橘程中会比原本的形式更加灵活:
可以发现 会学习当前状态下是否应该使用原始输入,或者使用转换后的结果作为输出指团。
对于梯度也有类似的结果:
根据works的公式,要求 的维度一致,如果需要修改形状,可以通过子采样或者填充零的方搜贺式,也可以增加一层神经 (不包含Highway),进行维度转换。