ZhengYang's Blog

Machine Learning & Data Mining

线性模型总结

线性模型线性模型的基本形式，$$f(\mathbf x)=\mathbf w^T\mathbf x+b$$$\mathbf x$，D维输入$\mathbf w$，D维参数$b$，1维偏置将$\mathbf{w, x}$变成D+1维，且$\mathbf x$的D+1维恒为1，线性模型变为，$$f(\mathbf x)=\mathbf w^T\mathbf x$$ 更一般的写法为，$$f(\ma......

Posted by ZhengYang on 2016-08-23

经验贝叶斯

贝叶斯$\theta$是变量$x$的参数$\eta$是变量$\theta$的参数$\eta$是变量$x$的超参数 贝叶斯 (Bayes or Standard Bayes or Fully Bayes)在给定数据之前，先验分布$p(\theta)$就已经确定下来了，即参数$\theta$的分布$p(\theta)$已知，$p(\theta)$表达式中的参数$\eta$已知。$$p(\thet......

Posted by ZhengYang on 2016-08-22

线性判别分析

区别于话题模型的LDA (Latent Dirichlet Allocation) 二类LDA(Linear Discriminant Analysis) 二类 原空间D维 投影空间1维 点 向量$\mathbf{x}$ 标量$y$ 类中心 向量$\mathbf{m_k}$ 标量$\mu_k$ 如果原始特征数太多，想将D维特征降到只有1维，即这1维就能决定每个样例的......

Posted by ZhengYang on 2016-08-22

偏差方差分解

这里说的都是对泛化而言 Bias-Variance Decomposition偏差 表示模型的期望预测 和 真实值的偏离程度。方差 表示模型的预测 和 模型的预测的偏离程度。 多个训练集，分别为$D_1,D_2,…$一个测试用例，($\mathbf x,y$)观测变量$y$会存在误差，$y=y_t+\epsilon$，$y_t$为$\mathbf x$真正的值，$\epsilon$为噪声......

Posted by ZhengYang on 2016-08-21

参数估计方法

几个参数估计的策略 期望损失(expected loss) 风险函数(risk function)是模型$f(X)$关于联合分布$P(X,Y)$的期望 经验风险最小化 ERM(Empirical Risk Minimization)是关于训练样本的平均损失 结构风险最小化 SRM(Structural Risk Minimization)是加了正则项的经验风险最小化 P(x)与p(x)区......

Posted by ZhengYang on 2016-08-20

朴素贝叶斯

朴素贝叶斯朴素贝叶斯是基于贝叶斯定理和属性条件独立的分类器。其中，”朴素”指的是一个很naive的假设，即属性条件独立。$$\begin{align}y&=argmax_kP(c_k|x)\\&=argmax_k\frac{P(c_k)P(x|c_k)}{P(x)}\\&=argmax_kP(c_k)P(x|c_k)\\&=argmax_kP(c_k)\pro......

Posted by ZhengYang on 2016-08-19

模型综述

模型评估方法网格搜索 调参在训练集上训练模型，根据验证集上的结果调参。调好参数后，在测试集上得到测试误差。 将数据集分为训练集，验证集，测试集 将参数网格化，每一个交叉点都是一组参数 遍历每个网格参数，在训练集上训练模型，在验证集上得到与网格参数对应的验证误差 挑选最小的验证误差所对应的那个网格参数，作为最优的参数 用最优参数设置模型，在训练集$\bigcup$验证集上训练，得到测试误差，......

Posted by ZhengYang on 2016-08-19

Boosting

Boosting是一类提升算法的总称，包括AdaBoost，提升树，梯度提升等。不同Boosting算法的提升方式不太相同，但主要学习步骤是先从初始训练集中训练出一个基学习器，然后下一个基学习器更多地关注分类错误的样本点，迭代多次，直到误差达到要求以内，最后将每次训练的基学习器组合起来。 AdaBoostAdaBoost是Freund和Schapire于1995年提出的。每次迭代更改的是样例......

Posted by ZhengYang on 2016-08-18

Apriori

关联规则关联规则是形如$X \rightarrow Y$ 的蕴含表达式，其中$X$和$Y$是不相交的项集，即$X\bigcap Y=\varnothing$。关联规则的强度可以用它的支持度(support)和置信度(confidence)度量。支持度（联合概率）：确定规则可以用与给定的数据集的频繁程度。置信度（条件概率）：确定$Y$在包含$X$的事物中出现的频繁程度。$$support(X\......

Posted by ZhengYang on 2016-08-18

mathjax总结

hexo写markdown中_与*一样，表示斜体或粗体，但mathjax中_表示下标，因此，mathjax中换行\\，在markdown中写成\\\\mathjax中下标_，在markdown改写成\_mathjax中下标\{，在markdown改写成\\{mathjax中下标\}，在markdown改写成\\} 在markdown的表格中插入|，可以输入 \| 代替 ......

Posted by ZhengYang on 2016-08-17

ABOUT ME

zhengyang_cs@outlook.com