分类目录归档：algorithm
支持向量机（support vector machine，简称为SVM）
SVM 算法图解：
SVM 借助核技巧将输入隐式映射到高维特征空间中，从而有效地进行非线性分类
常见的核函数：
| 核函数 | 表达式 | 备注 |
|---|---|---|
| Linear Kerne |
核心思想：三个臭皮匠顶个诸葛亮
集成学习三步走
- 特征抽取
- 反复建模（弱学习器）
- 模型集成（强学习器）
最终的预测输出 = 若干个弱学习器的预测输出的平均
最终的预测输出 = 若干个弱学习器的预测输出的投票结果
- 常见的几种投票法
- 相对多数投票法：少数服从多数
- 绝
决策树通过树结构存储判断流程和规则，实现复杂规则的有效记录
一般来说，树的非叶节点存储了判断逻辑，并通过树分支表达多个判断结果 通过自上而下的多层逻辑判断，最终在叶节点输出预测的分类结果
决策树示例：
ID3算法主要利用信息增益进行特征的选择，并通过递归方法构建特征
贝叶斯定理： $$P(B|A)=\frac{P(A,B)}{P(A)}=\frac{P(A|B)P(B)}{P(A)}$$
朴素贝叶斯（Naive Bayes classifier）以贝叶斯定理为基础的简单分类器，主要通过统计历史数据中各种事件的发生频率，并从中寻找统计上的相关性，以实现对事件的预测
粒子群优化（particle swarm optimization，PSO）算法是计算智能领域的一种群体智能的优化算法（其他群体算法举例：蚁群算法，鱼群算法等），该算法最早由Kennedy和Eberhart在1995年提出的，该算法源自对鸟类捕食问题的研究。
鸟类捕食的生物过程：
局部线性嵌入(Locally Linear Embedding，以下简称LLE)是一种重要的降维方法。
和传统的PCA，LDA等关注样本方差的降维方法相比，LLE关注于降维时保持样本局部的线性特征，由于LLE在降维时保持了样本的局部特征，LLE广泛的用于图像图像识别，高维数据可视化等领域。
下图对LLE的原理进行了一个整体描述：
