ZhengYang's Blog

Machine Learning & Data Mining

instanceof & isInstance() & isAssignableFrom()

instanceof & isInstance() & isAssignableFrom()instanceof：判断一个对象，是否属于一个类。 isInstance：判断一个类，是否是一个实例的类或父类。 isAssignableFrom： 判断一个类，是否等同另一个类，或者另一个类的父类。 关键字or方法 返回为true的用法 instanceof (类实例......

Posted by ZhengYang on 2016-07-28

Entropy

Entropy熵在机器学习算法中非常常见，决策树ID3用熵来判断子节点的类别纯度；EM算法中，log似然函数可以分解为L部分可KL部分，其中KL部分就是KL散度，即相对熵，用于度量两个分布的相似度；在神经网络中，交叉熵可以作为成本函数，交叉熵=熵+相对熵。 其中，需要注意的是，EM中的前项是拟合分布的L函数，后项是拟合分布到实际分布的KL散度；交叉熵中的前项是实际分布的熵，后项是实际分布到拟......

Posted by ZhengYang on 2016-07-27

Comparable & Comparator

Comparable & ComparatorComparable和Comparator都是接口 java.lang.Comparable中只有一个未实现的方法，comparaTo。123public interface Comparable<T> { public int compareTo(T o);} java.util.Comparato......

Posted by ZhengYang on 2016-07-22

EM

EM如果只有观测变量，那么可以直接用极大似然估计，或极大后验概率估计来估计参数。 但如果样本中包含了隐变量，而隐变量的值不知道，所以没法计算概率，也就不能直接用极大似然估计或极大后验估计了。 这也是EM算法的由来。EM算法是一种迭代算法，用来解决含有隐变量的概率模型的学习。 EM算法分为求期望部分（E步）和求极大部分（M步），可以用在求混合高斯模型，隐马尔科夫模型等。不同的文章讲EM，会有不......

Posted by ZhengYang on 2016-07-20

Logistic&Softmax

Logistic & Softmaxlogistic regression是对数几率回归，属于广义线性回归，是二分类问题。 Softmax regression是logistic的多分类版本。 LR也可以看作是一个线性分类器，一个w向量构成的超平面，与w内积大于0的表示正类，小于0的表示负类。 对比总结 ...

Posted by ZhengYang on 2016-07-17

C++&Java 键盘输入

命令行中，可能要求有不同格式的输入，总结了多种情况，用c++，java，分别实现。 C++键盘输入单个输入 单个int的输入 结束：（回车）换行 特殊情况 [a1，空格，tab，a2]，a1被保存到a中，a2输入无效。Eg. [123 \t456] [空格，tab，a1]，a1被保存到a中。Eg. [ \t123] [空格，tab，a1，’a’]，a1被保存到a中......

Posted by ZhengYang on 2016-07-15

RF(RandomFroest)

RF(RandomForest)CART是分类回归树，是用Gini指数最小化准则进行特征选择的。RF是一个集成算法，是由多棵CART组成的，而且有重复抽样相同样本量的样本，无重复抽样一部分特征，构成每棵CART的样本。因为实验需要，用c++实现了一个RF的demo。对比与sklearn上的随机森林，模型效果基本一致。 1234567891011121314151617181920212223......

Posted by ZhengYang on 2016-07-12

指针数组&数组指针

指针数组：指针构成的数组，数组中的每个元素都是一个指针。int *p1[10]。 数组指针：是一个指针，该指针指向一个数组，数组中的元素为int。int (*p2)[10]。 []的优先级高于*，p1先与[]结合，构成一个数组，数组名为p1；int*修饰数组的内容，即每个数组的元素。 ()优先级高于[]，p2先与*结合，构成一个指针，指针名为p2；int []修饰的是指针p2所指的内容。 ......

Posted by ZhengYang on 2016-07-10

贝叶斯网络

概率图模型可以分为有向图和无向图。 有向图：贝叶斯网络，HMM。 无向图：MRF，CRF。 贝叶斯网络的表示贝叶斯网络的联合概率分布定义：有向图不用归一化。 例子如下图， 对应的概率分布： 条件独立，在贝叶斯网络中主要体现了三种情况： tail-to-tail 联合概率分布： 如果a，b，c变量未知，那么不能用贝叶斯公式，只能对c求边际概率分布。 不能得到a，b关于c条件独立......

Posted by ZhengYang on 2016-07-07

变分线性回归

变分线性回归似然函数为： 先验分布为： alpha的共轭先验是Gamma分布： Gamma分布： Gamma函数的定义为： 联合概率分布为： 我们构造的可分解的分布为： 首先，求近似分布的alpha部分， 具体推导公式如下， 可以看出它是一个Gamma分布的log形式， 通过拼凑，可以得到两个参数的具体形式， 接下来，就近似分布的w部分， 具体公式推导如下， ......

Posted by ZhengYang on 2016-07-02

ABOUT ME

zhengyang_cs@outlook.com