个人笔记

Read more

datasets数据集

sklearn的数据集库datasets提供很多不同的

Read more

一个典型的神经元

• Axon 轴突
• Dendritic tress 树突
• Axon hillock 轴突体

线性神经元

$$y = b+\sum_ix_iw_i$$

二进制阈值神经元

对线性加权运算的结果，进行阈值判定

$$z = b+\sum_ix_iw_i$$ $$\begin{equation} y = \left\{ \begin{array}{rl} 1 & \mbox{if } z \geq 0, \\ 0 &

Read more

1 word2vec概述

广义上指能将词语文本转化为向量的一类技术，也称词嵌入（word embedding）

狭义上指借助神经网络模型为基础构建词向量的过程，其中最经典的两类word2vec技术分别为skip-gram和CBOW

最终获取的词向量，可看作表示单词意义的向量，也可以看作是词的特征向量

2 word

Read more

1 集成学习概述

核心思想：三个臭皮匠顶个诸葛亮

集成学习三步走

1. 特征抽取
2. 反复建模（弱学习器）
3. 模型集成（强学习器）

1.1 模型集成的策略

1.1.1 平均法

最终的预测输出 = 若干个弱学习器的预测输出的平均

1.1.2 投票法

最终的预测输出 = 若干个弱学习器的预测输出的投票结果

• 常见的几种投票法
• 相对多数投票法：少数服从多数
• 绝

Read more

1 决策树

决策树通过树结构存储判断流程和规则，实现复杂规则的有效记录

一般来说，树的非叶节点存储了判断逻辑，并通过树分支表达多个判断结果 通过自上而下的多层逻辑判断，最终在叶节点输出预测的分类结果

决策树示例：

1.1 决策树ID3算法

ID3算法主要利用信息增益进行特征的选择，并通过递归方法构建特征

• 从根节点开始，计算所有特征的信息增益
• 选择信息增益最大的特征作为此节点的判断逻辑，并构建子节点
• 对子节点递归地调用以上方法，直到最大信息增益过低或没有特征停止递归

Read more

1 XML文件

XML 指的是可扩展标记语言(eXtensible Markup Language)，和json类似也是用于存储和传输数据，还可以用作配置文件。类似于HTML超文本标记语言，但是HTML所有的标签都是预定义的，而xml的标签可以随便定义。

<!--注释-->
<book category="python">
    <title> xml test <\title>	
<\bo

Read more

贝叶斯定理： $$P(B|A)=\frac{P(A,B)}{P(A)}=\frac{P(A|B)P(B)}{P(A)}$$

• 其中 $P(B|A)$ 表示后验概率 $posterior$
• $P(A,B)$ 表示联合概率，$P(A)$ 表示历史经验 $evidence$
• $P(A|B)$ 表示似然估计值 $likelihood$，$P(B)$ 表示先验概率 $prior$

朴素贝叶斯

朴素贝叶斯（Naive Bayes classifier）以贝叶斯定理为基础的简单分类器，主要通过统计历史数据中各种事件的发生频率，并从中寻找统计上的相关性，以实现对事件的预测

Read more

1 基本概念

粒子群优化（particle swarm optimization，PSO）算法是计算智能领域的一种群体智能的优化算法（其他群体算法举例：蚁群算法，鱼群算法等），该算法最早由Kennedy和Eberhart在1995年提出的，该算法源自对鸟类捕食问题的研究。

鸟类捕食的生物过程：

• 假设一群鸟在觅食，在觅食范围内，只在一个地方有食物
• 所有鸟儿都看不到食物（即不知道食物的具体位置。当然不知道了，知道了就不用觅食了），但是能闻到食物的味道（即能知道食物距离自己是远是近。鸟的嗅觉是很灵敏的）
• 假设鸟与鸟之间能共享信息（即互

Read more

1 算法概况

局部线性嵌入(Locally Linear Embedding，以下简称LLE)是一种重要的降维方法。

和传统的PCA，LDA等关注样本方差的降维方法相比，LLE关注于降维时保持样本局部的线性特征，由于LLE在降维时保持了样本的局部特征，LLE广泛的用于图像图像识别，高维数据可视化等领域。

2 算法步骤

下图对LLE的原理进行了一个整体描述：

2.1 选择近邻：

• 求K近邻的过程，这个过程借助KNN算法找到最近邻的K个样本
• 简单来说 ，就是通过计算样本间的欧

Read more