分类目录归档：algorithm
均值回归：对历史一段时间的值取平均，作为未来每个时刻的预测
指数平滑：预测值是过去一段时间内观测值（或已预测值）的加权平均值
普通回归预测：借助时序相关特征（如节假日、周期性）实现建模预测
更多时序类衍生特征可参考 1_study/Python/Python 数据处理/tsfresh 时序特征聚合工具
自回归（AR）模型：
LDA 算法是一种监督学习的降维技术
LDA算法降维流程如下：
输入：数据集 $D = { (x_1,y_1),(x_2,y_2), ... ,(x_m,y_m) }$，其中样本 $x_i$ 是n维向量，$y_i \in {C_1, C_2, ..., C_k}$
DBSCAN（Density-Based Spatial Clustering of Applications with Noise，基于密度的、对噪声鲁棒的空间聚类方法）是一种基于密度的经典聚类算法
启发式算法（Heuristic Algorithms）通常是以问题为导向的（Problem Specific），没有一个通用的框架，每个不同的问题通常设计一个不同的启发式算法，通常被用来解组合优化问题
普通启发式算法一般是一种贪婪算法，需要根据特定问题进行特定设计
贪婪算法，也叫贪心算法
其基本思想是：每一步都采取当前状态下最好的选择，而不考虑全局最优解是否已经达到。在每一步中，贪心算法都会做出一个贪心决策，即选择当前状态下最优的解决方案，并且不考虑这个决策可能会导致的未来后果
以经典的装包问
蚁群算法（Ant Colony Algorithm，ACA）由Marco Dorigo于1992年在他的博士论文中首次提出，该算法模拟了自然界中蚂蚁的觅食行为。
蚂蚁寻径的生物过程：
本文中大部分算法都可通过R语言的latend包复现
轨迹分组算法（Group-based trajectory model，GBTM）
首先，理解梯度向量是指向函数值增长最快的方向的：MIT18.02笔记-梯度的定义与理解
定义函数$f(x)$，其在点$x$处沿着方向$d$的变化率可用方向导数表示，即梯度与方向的乘积： $$Df(x;d)=\nabla f(x)^Td$$ 当$d=-\frac{\nabla f(x) }{ ||\nabla f(x)|| }$时，函数$f$在点$x$处的下降速率最大，即负梯度方向为最速下降方向
最速下降算法：在迭代过程，每次都选择负梯度方向搜索（对于寻找最小值的最优化问题）
最速下降算法步骤：
对于回归方程$Y = a + bX + e$，当解释变量$X$和误差项$e$存在相关性时，说明回归模型存在内生性问题
内生性问题的产生原因：
内生性问题的后果：在小样本下，内生变量和外生变量估计系数都有偏。在大样本下，内生变量估计系数不一致。外
核密度估计（kernel density estimation，简称KDE）是核平滑对概率密度估计的应用，即一种以核为权重估计随机变量概率密度函数的非参数方法。由Rosenblatt (1955)和Emanuel Parzen(1962)提出，又名Parzen窗（Parzen window）
核密度估计的实现：