个人笔记

1 信息

信息是不确定性的减少或消除——香农

对于随机变量$X$来说，其取值可能为${x_0,x_1,...,x_n}$

假设变量$X$对应的概率分布为$p$，则$X=x_0$的信息量为 $$I(x_0)=-log(p(x_0))$$

2 熵

熵(entropy)度量了事物的不确定性

不确定越高的事物，它的熵就越大。

随机变量X的熵可以表示如下：

$$H(X)=-\Sigma_{i=1}^np_ilog(p_i)$$

• 其中$n$表示$X$的所有

Read more

随机森林算法

什么是随机森林算法？

随机森林

随机森林算法的特点

随机森林总结

随机森林算法的相关基础知识

信息、熵以及信息增益

熵 信息增益 信息增益比 基尼系数

决策树

决策树ID3算法 决策树C4 5算法 CART算法 决策树算法总结

集成学习

集成学习概述

随机森林的生成

随机森林的思路

袋外错误率（oob error）

袋外误差

随机森林的Python实

Read more

1 求导公式

1. 特定函数求导，如$x^n$的导数为$nx^{n-1}$
2. 通用公式，如${(u+v)}'={u}'+{v}'$
3. 以上两种的混合使用

2 三角函数的导数

• 在正式推导前，需要先推导出两个特殊情况下的极限变化率

第一种特殊情况： $$\lim_{x \to 0}\frac{sin(x)}{x}=1$$ 几何法证明：

（图片引用说明：知乎@三少爷的贱男春）

• 上图为一个标准单位圆，角度$\theta$对应弧长为$2\pi r=\theta$
• 随着$\theta$的减少，极短曲线可看作直线，即$\theta=sin(\theta

Read more

1 变化率 rate of change

• 注意：本课前半部分内容为第一节内容未讲完部分。第一节仅描述了导数的几何解释，而变化率则是导数的物理解释。

$$\lim_{\Delta x \to 0}\frac{\Delta y}{\Delta x}=\frac{dy}{dx}$$

• $\frac{\Delta y}{\Delta x}$表示的是一种平均值
• $\frac{dy}{dx}$表示的是一种瞬时值

Read more

1 何为导数 derivative

• 几何解释 geometric interpretation
• 物理解释 physical interpretation
• 导数全方位的重要性 importance to all measurements

2 如何对已知的任意函数求导

• 思考：如何对$e^{xarctan(x)}$求导

导数的几何解释

• 选择函数曲线上的点$P$，其坐标值为$(x_0,y_0)$
• $x_0$沿着x轴（x-axis）移

Read more

中文标题：基于角色标注的中国人名自动识别研究

英文标题：Classification-based Financial Markets Predic

Read more

蒙特卡洛法 MC

蒙特卡洛方法（Monte Carlo method），也称统计模拟方法，是二十世纪四十年代中期由于科学技术的发展和电子计算机的发明，而被提出的一种以概率统计理论为指导的一类非常重要的数值计算方法。

蒙特卡洛方法的名字来源于摩纳哥的一个城市蒙特卡洛，该城市以赌博业闻名，而蒙特卡洛方法正是以概率为基础的方法。与它对应的是确定性算法。

蒙特卡洛方法的原理是通过大量随机样本，去了解一个系统，进而得到所要计算的值。‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬

Read more

1 基本概念

模拟退火算法（Simulated Annealing，SA）的思想最早是由Metropolis等提出的。物理中固体物质的退火过程与一般的组合优化问题之间的相似性，SA是一种由物理退火过程启发的通用优化算法

模拟退火法的物理过程：

• 加温过程：其目的是增强粒子的热运动，使其偏离平衡位置。当温度足够高时，固体将熔为液体，从而消除系统原先存在的非均匀状态
• 等温过程：对于与周围环境交换热量而温度不变的封闭系统，系统状态的自发变化总是朝自由能减少的方向进行的，当自由能达到最小时，系统达到平衡状态
• 冷却过程：使粒子热运动减弱，系

Read more

遗传算法（Genetic Algorithm, GA）是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。

遗传算法的关键要素：

• 种群（population）代表问题可能潜在的解集的一个开始的
• 一个种群由经过基因（gene）编码的定数目的个体（individua）组成

核心过程：

1. 编码：实现从表现型到基因型的映射，同时构建初代种群
2. 选择：在每一代，根据问题域中个体的适应度（fitness）选择个体
3. 变异：借助于遗传学算子(genetic operators)进行组合交叉和变异，产生代表新解集的种群
4. 演化：按照适者生存和优胜

Read more

Wechaty模块简介

wechaty 支持多语言+多协议+多平台，对于开发者来说，需要申请一个token才能用，试用期15天，如果希望长期试用需要进一步为生态做贡献。

一些常见Q&A

文档参考 （完善中）

Wechaty Token 申请及使用文档

基本架构：

Puppet含义说明：

The term Puppet in

Read more