RNN - 标签 - 子非鱼的技术博客 http://localhost:1313/tags/rnn/ RNN - 标签 - 子非鱼的技术博客 Hugo -- gohugo.iozh-cnSun, 26 Jan 2025 14:15:43 +0800 机器学习基础（三）循环神经网络 http://localhost:1313/posts/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%9F%BA%E7%A1%80%E4%B8%89%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/ Sun, 26 Jan 2025 14:15:43 +0800 子非鱼 http://localhost:1313/posts/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%9F%BA%E7%A1%80%E4%B8%89%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/ 背景（标准神经网络的局限）

对于序列数据（文本，语音等），使用标准神经网络存在以下问题：

  • 对于不同的示例，输入和输出可能有不同的长度，因此输入层和输出层的神经元数量无法固定
  • 从输入文本的不同位置学到的同一特征无法共享
  • 模型中的参数太多，计算量太大（如果用基于词汇表的one-hot编码）

RNN（循环神经网络）

网络结构

a<n>表示第n时间步最后一层隐藏层的输出，同时也是n+1时间步输入的一部分

y-hat<n>表示第n时间步的输出（通过与a<n>全连接得到）

]]>