ZhengYang's Blog

Machine Learning & Data Mining

EM算法解高斯混合模型

EM算法的一个重要应用是GMM的参数估计。因为GMM中包含一个隐变量，即可观测变量是来自哪个高斯的，因此，EM算法非常适合解决GMM的参数估计。 ...

Posted by ZhengYang on 2016-08-16

线性规划之对偶问题

首先明确一下，很多凸优化问题都可以通过对偶问题来求解（SVM），线性规划只是一个特例。而且线性规划的对偶问题，可以用拉格朗日对偶理论导出。 为什么要进行对偶问题？线性规划中，如果原始问题约束条件多，决策变量少，转换为对偶问题约束变少了，更好求解。 一个对偶问题的例子 产品 产品A1 产品A2 资源量 资源价格（影子价格） 设备B1 5 10 40台 y1 材料B2 2 0 8......

Posted by ZhengYang on 2016-08-15

RBF网络

RBF网络径向基函数网络(Radial basis function network)是一种使用径向基函数作为激活函数的人工神经网络。 也可以看成是径向基函数做基函数，组合的线性模型。 径向基函数可以看成核函数，因此，也可以看做是一种核方法。 ...

Posted by ZhengYang on 2016-08-14

SVM

机器学习中，不同的模型，对待训练样本也不同 有的是训练完得到参数后，就抛弃了，比如神经网络。 有的还需要完整的训练样本，比如KNN 有的是需要一部分训练样本，比如SVM SVM是一种非常有效的二分类模型，是在特种空间上的间隔最大分类器。 将线性模型转换成对偶形式，就可以利用核函数来计算相似性，同时避免了直接做高维向量内积运算。 支持向量是很少的，因此也可以理解为sparse kernel......

Posted by ZhengYang on 2016-08-13

拉格朗日对偶

拉格朗日对偶在约束最优化时，常常利用拉格朗日对偶性，将原始问题转化为对偶问题。 最常见的就是在SVM中的使用，其实线性规划中的对偶问题也可以用拉格朗日对偶来解释。 ...

Posted by ZhengYang on 2016-08-12

HMM

12345678910111213141516171819202122232425262728293031323334353637383940414243444546# coding:utf-8## viterbi算法# 根据观测，求最优状态import numpy as npimport copyA = np.array([0.5,0.3,0.2,0.2,0.5,0.3,0.3,0.2,0......

Posted by ZhengYang on 2016-08-09

DDL & DML & DCL

之前学习sql，并没有注意DDL，DML的区别。上网查了，发现很多版本相互矛盾的。最疑惑的是wiki和oracle里的竟然有不一致的。最后发现，oracle将GRANT和REVOKE也算到DDL里。所以，最终也算统一了，按wiki为准。 DDLA data definition language or data description language (DDL) is a syntax s......

Posted by ZhengYang on 2016-08-07

共轭方向 共轭梯度

牛顿法只需要迭代一次便可得到正定二次的极小值，而梯度下降需要迭代很多次，因此可以认为牛顿法对于二次函数是有效，但牛顿法每步迭代的计算量大，所以有了共轭方向法。共轭方向法建立在二次模型的基础上，有效次迭代终止，介于梯度下降和牛顿法之间，既能克服梯度下降的收敛慢，又避免了牛顿法计算量大的缺点。共轭方向法是在共轭方向法和梯度下降法之间建立一种联系，得到一个既有效又有较好收敛性的算法 共轭方向法 共......

Posted by ZhengYang on 2016-08-05

常用优化方法

以下的优化方法，对于非凸问题，都不能保证求得的极小值为全局最小值。 梯度下降梯度下降是求解无约束最优化问题，最常用的方法。常用于回归，神经网络等中，优化极小目标函数。目标函数的梯度，表示函数值增长最快的方向，因此，取负梯度的方向作为下一次取值的方向。优点：算法简单，实现容易。缺点：极小值附近梯度减小慢。 牛顿法牛顿法也是求解无约束最优化问题，常用的方法。牛顿法是泰勒二阶展开，求偏导为0。相比......

Posted by ZhengYang on 2016-08-04

KKT

Lagrange Multipilers g(x)与f(x)的所有交点都是满足约束的可行解，但极大值点一定在切点处。而切点处，f(x)和g(x)的梯度是共线 这也是构造L函数的原因。 KKT( Karush–Kuhn–Tucker conditions )全部Lambda>=0，但构造函数L时，lambda前的符号需要注意。 g(x) f(x) L g(x)>=......

Posted by ZhengYang on 2016-08-02

ABOUT ME

zhengyang_cs@outlook.com