神经网络 - 标签 - 子非鱼的技术博客 http://localhost:1313/tags/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/ 神经网络 - 标签 - 子非鱼的技术博客 Hugo -- gohugo.iozh-cnWed, 26 Feb 2025 10:47:26 +0800 机器学习基础（四）自然语言处理 http://localhost:1313/posts/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%9F%BA%E7%A1%80%E5%9B%9B%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/ Wed, 26 Feb 2025 10:47:26 +0800 子非鱼 http://localhost:1313/posts/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%9F%BA%E7%A1%80%E5%9B%9B%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/ 词嵌入（word embedding）

通过 one-hot 编码来表示单词有两个缺陷：

  1. 词维度过高，使得模型更加复杂，训练成本高
  2. 词与词之间无法表示关联（其余弦相似度为0）

所以基于此提出了词嵌入技术。将一个维数为所有词的数量的高维空间（one-hot 形式表示的词）“嵌入”到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量

word2vec（词嵌入的训练方法）

word2vec 是训练词嵌入的训练方法，其输入为 one-hot 编码，通过一个隐藏层输出单词（CBOW）或者上下文（Skip-gram）的one-hot 编码。其模型结构为 y=softmax(wx+b)

]]> 机器学习基础（三）循环神经网络 http://localhost:1313/posts/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%9F%BA%E7%A1%80%E4%B8%89%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/ Sun, 26 Jan 2025 14:15:43 +0800 子非鱼 http://localhost:1313/posts/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%9F%BA%E7%A1%80%E4%B8%89%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/ 背景（标准神经网络的局限）

对于序列数据（文本，语音等），使用标准神经网络存在以下问题：

  • 对于不同的示例，输入和输出可能有不同的长度，因此输入层和输出层的神经元数量无法固定
  • 从输入文本的不同位置学到的同一特征无法共享
  • 模型中的参数太多，计算量太大（如果用基于词汇表的one-hot编码）

RNN（循环神经网络）

网络结构

a<n>表示第n时间步最后一层隐藏层的输出，同时也是n+1时间步输入的一部分

y-hat<n>表示第n时间步的输出（通过与a<n>全连接得到）

]]> 机器学习基础（二）神经网络 http://localhost:1313/posts/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%9F%BA%E7%A1%80%E4%BA%8C%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/ Mon, 20 Jan 2025 10:19:16 +0800 子非鱼 http://localhost:1313/posts/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%9F%BA%E7%A1%80%E4%BA%8C%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/ 基础

竖向堆叠起来的输入特征被称作神经网络的输入层（the input layer）。

神经网络的隐藏层（a hidden layer）。“隐藏”的含义是在训练集中，这些中间节点的真正数值是无法看到的。

输出层（the output layer）负责输出预测值。

]]>