个人笔记

自编码器，一种借助神经网络结构进行无监督学习的算法，常用于降维

自编码器主要有两个部分组成

1. 编码器，用于将输入数据编码为低维稠密向量
2. 解码器，根据低维稠密向量解码还原输入向量

最简单的自编码器形式是一个前馈无循环的神经网络，如下所示：

（图源：维基百科-自编码器）

自编码器VS主成分分析（PCA）

• 自编码器是非线性降维，PCA是线性降维，前者效果一般更好
• 前者通过梯度下降法训练，训练速度慢且不容易收敛
• 后者通过特征分解直接计算，计算成本低效率高

#自编码器

Read more

主成分分析（Principal components analysis，PCA），一种常用的线性降维方法

算法步骤：

1. 构建数据的协方差矩阵，并进行特征分解
2. 特征向量描述的数据的主成分，特征值描述这一成分对应的权重
3. 通过截断特征值较低的部分，保留数据集当中对方差贡献最大的特征
4. 最终得到的降维特征无共线性（正交），但解释性差

图像理解：

（图源：维基百科-主成分分析）

• 上图为二元高斯分布（正态分布），均值为$(1,3)$，方差为$(0.878,0.478)$
• 黑色向量的方向描述的是协方差矩阵对应的特征向量
• 黑色向量的长度描述的是特征向量对应的特征值

PCA 的优缺点分析：

• 计算简单

Read more

尺度不变特征变换匹配算法（Scale Invariant Feature Transform 简称 SIFT）

SIFT算法常用来提取用于描述影像中的局部性特征，算法主要从空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量

算法过程：

1. 对图像进行不同尺度的高斯模糊和降采样，构建高斯金字塔
2. 借助高斯差分函数（DOG 算子）代替微分检测离散空间的极值，作为兴趣点
3. 通过拟合三维二次函数与插值，排除不显著与边缘的兴趣点，保留关键点
4. 采集关键点在高斯金字塔邻域内像素的梯度与方向，分配主方向给关键点
5. 保留峰值大于主方向峰值80％的方向作为该关键点的辅方向，增强匹配的鲁棒性
6. 对关键点建立向量描述（

Read more

中文标题：Capsules与自编码器变体

英文标题：Transforming Auto-Encoders

发布平台：ICANN

Artificial Neural Networks and Machine Learning –

Read more

期望最大化（Expectation-Maximum，简称EM）算法是一种机器学习常见基础算法

EM算法常用于处理存在隐变量的最大似然估计模型，训练过程简单描述如下：

1. E步，固定模型参数，优化潜在变量分布
2. M步，固定潜在变量分布，优化模型参数
3. 重复EM步骤，直至收敛或达到最大迭代次数

以K-means聚类为例进行直观理解：

1. 聚类簇的质心就是潜在变量
2. E步，随机化/更新簇的质心
3. M步，根据质心重新分配样本
4. 重复EM步骤，直至簇的质心不再变化或达到最大迭代次数

EM算法作为一种基础算法，广泛应用于多种算法模型的学习过程，比如：隐马尔可夫模型 HMM

这类算法思想在其他模型中也经常遇见，比

Read more

中文标题：基于可信网络的图像解析

英文标题：Learning to Parse Images

发布平台：NIPS

NeurIPS

发布日期：1999-11

引用量（非实时）：72

DOI：缺失

作者：Geoffrey E Hinton, Zoubin

Read more

中文标题：Capsules网络与动态路由

英文标题：Dynamic Routing Between Capsules

发布平台：NIPS

Advances in neural informat

Read more

中文标题：基于动态辩论的知识图推理

英文标题：Reasoning on Knowledge Graphs with Debate Dynamics

发布平台：AAAI

Proceeding

Read more

1 重定向符

输入重定向： <：将指定文件的内容作为前面命令的参数

输出重定向： >：直接把输出覆盖保存到指定文件 >>：把输出尾部追加保存到指定文件

/dev/null

• 类Unix系统中的一个特殊的设备文件
• 作用是像垃圾桶一样接收一切写入其中的数据并丢弃
• 写入操作会提示成功，读取操作会返回一个EOF报错

2 nohup命令

用于不挂断地运行命令（关闭当前session不会中断程序，只能通过kill等命令删除） 默认情况下该程序的输出都会被重定向到nohup.out文件中，也可以通

Read more

1 从全连接层到卷积层

计算机视觉应具备的两个特性：

1. 平移不变性（translation invariance）：树上的一片叶子落到地上，它还是一片叶子
2. 局部性（locality）：一只眼睛和另一只眼睛在同一张脸上，才是一双眼

为了满足以上两点，神经网络引入了卷积层的概念

复习：卷积的公式定义如下：

1. 连续型对象：$(f*g)(x)=\int{f(z)g(x-z)dz}$
2. 离散型对象：$(f*g)(i)=\Sigma_a{f(a)g(i-a)}$
3. 二维张量：$(f*g)(i,

Read more