分类目录归档：学习
坐标下降法（英语：coordinate descent）是一种非梯度优化算法。算法在每次迭代中，在当前点处沿一个坐标方向进行一维搜索以求得一个函数的局部极小值。在整个过程中循环使用不同的坐标方向。对于不可拆分的函数而言，算法可能无法在较小的迭代步数中求得最优解。
为了加速收敛，可以采用一个适当的坐标系，例如通过主成分分析获得一个坐标间尽可能不相互关联的新坐标系，即自适应坐标下降法。
在统计学中，最小角回归(LARS)是一种将线性回归模型拟合到高维数据的算法
用 $T(\hat{\boldsymbol{\beta}})$ 表示 $\hat{\boldsymbol{\beta}}$ 的绝对值范数 $$T(\hat{\boldsymbol{\beta}})=\sum_{j=1}^m|\hat{\beta_j}|\tag{7}$$ 则Lasso即为下面的约束优化问题： $$\min S(\hat{\boldsymbol{\beta}}) \quad \text{s.t.} \quad T(\hat{\boldsymbol{\beta}}) \le t\tag{8}$$ Las
强类型语言是一种强制类型定义的语言，即一旦某一个变量被定义类型，如果不经强制转换，那么它永远就死该数据类型。而弱类型语言是一种弱类型定义的语言，某一个变量被定义类型，该变量可以根据环境变化自动进行转换，不需要经过现行强制转换。
强类型语言包括：Java、.net、Python、C++等语言。其中Python是动态语言，是强类型定义语言，是类型安全的语言，Java是静态语言，是强类型定义语言，也是；类型安全的语言；
弱类型语言包括：VB，PHP，JavaScript等语言。其中VBScript是动态语言，是一种类型不安全的原
sklearn的数据集库datasets提供很多不同的
广义上指能将词语文本转化为向量的一类技术，也称词嵌入（word embedding）
狭义上指借助神经网络模型为基础构建词向量的过程，其中最经典的两类word2vec技术分别为skip-gram和CBOW
最终获取的词向量，可看作表示单词意义的向量，也可以看作是词的特征向量
核心思想：三个臭皮匠顶个诸葛亮
集成学习三步走
- 特征抽取
- 反复建模（弱学习器）
- 模型集成（强学习器）
最终的预测输出 = 若干个弱学习器的预测输出的平均
最终的预测输出 = 若干个弱学习器的预测输出的投票结果
- 常见的几种投票法
- 相对多数投票法：少数服从多数
- 绝
决策树通过树结构存储判断流程和规则，实现复杂规则的有效记录
一般来说，树的非叶节点存储了判断逻辑，并通过树分支表达多个判断结果 通过自上而下的多层逻辑判断，最终在叶节点输出预测的分类结果
决策树示例：
ID3算法主要利用信息增益进行特征的选择，并通过递归方法构建特征
XML 指的是可扩展标记语言(eXtensible Markup Language)，和json类似也是用于存储和传输数据，还可以用作配置文件。类似于HTML超文本标记语言，但是HTML所有的标签都是预定义的，而xml的标签可以随便定义。
<!--注释-->
<book category="python">
<title> xml test <\title>
<\bo