分类目录归档:学习

贝叶斯算法

贝叶斯定理: $$P(B|A)=\frac{P(A,B)}{P(A)}=\frac{P(A|B)P(B)}{P(A)}$$

  • 其中 $P(B|A)$ 表示后验概率 $posterior$
  • $P(A,B)$ 表示联合概率,$P(A)$ 表示历史经验 $evidence$
  • $P(A|B)$ 表示似然估计值 $likelihood$,$P(B)$ 表示先验概率 $prior$

朴素贝叶斯

朴素贝叶斯(Naive Bayes classifier)以贝叶斯定理为基础的简单分类器,主要通过统计历史数据中各种事件的发生频率,并从中寻找统计上的相关性,以实现对事件的预测

Read more

粒子群算法

1 基本概念

粒子群优化(particle swarm optimization,PSO)算法是计算智能领域的一种群体智能的优化算法(其他群体算法举例:蚁群算法,鱼群算法等),该算法最早由Kennedy和Eberhart在1995年提出的,该算法源自对鸟类捕食问题的研究。

鸟类捕食的生物过程:

  • 假设一群鸟在觅食,在觅食范围内,只在一个地方有食物
  • 所有鸟儿都看不到食物(即不知道食物的具体位置。当然不知道了,知道了就不用觅食了),但是能闻到食物的味道(即能知道食物距离自己是远是近。鸟的嗅觉是很灵敏的)
  • 假设鸟与鸟之间能共享信息(即互

Read more

局部线性嵌入 LLE

1 算法概况

局部线性嵌入(Locally Linear Embedding,以下简称LLE)是一种重要的降维方法。

和传统的PCA,LDA等关注样本方差的降维方法相比,LLE关注于降维时保持样本局部的线性特征,由于LLE在降维时保持了样本的局部特征,LLE广泛的用于图像图像识别,高维数据可视化等领域。

2 算法步骤

下图对LLE的原理进行了一个整体描述:

附件/Pasted image 20210820013908.png

2.1 选择近邻:

  • 求K近邻的过程,这个过程借助KNN算法找到最近邻的K个样本
  • 简单来说 ,就是通过计算样本间的欧

Read more