Vago Mundo

尘世闲游，听凭风引

    Dual Coordinate-Descent Methods for Linear One-Class SVM and SVDD

    文献解读：坐标下降求解单类SVM和SVDD对偶问题

    原文地址: https://www.csie.ntu.edu.tw/~cjlin/papers/linear_oneclass_SVM/siam.pdf. 这篇2020年的论文讨论了单类线性SVM的训练，该算法也被添加到了LIBLINEAR中。论文发表时间令人在意，因为我们前面讨论的LIBLINEAR论文都是十多年前的成果。 引入 单类SVM主要用于边缘检测任务，也就是离群点判断，我们...

    Posted by Welt Xing on January 31, 2022

    A Comparison of Optimization Methods and Software for Large-scale L1-regularized Linear Classification(2)

    文献解读：求解L1正则化线性模型的算法综述

    原文地址: https://www.csie.ntu.edu.tw/~cjlin/papers/l1.pdf. 前篇: https://welts.xyz/2022/01/27/l1/. 我们继续对《A Comparison of Optimization Methods and Software for Large-scale L1-regularized Linear Classif...

    Posted by Welt Xing on January 30, 2022

    内点法与障碍法

    简述

    引入 考虑线性等式约束和不等式约束的凸优化问题: \[\begin{aligned} \min_{x}\quad&f_0(x)\\ \text{s.t.}\quad&f_i(x)\leq0,i=1,\cdots,m\\ &Ax=b \end{aligned}\tag{1}\] 其中$f_0,\cdots,f_m$是二次可微的凸函数。$A\in\mathbb{R}...

    Posted by Welt Xing on January 30, 2022

    实现LIBSVM的缓存机制

    解决大数据下的SVM分类

    前篇: https://welts.xyz/2021/07/10/wss/, https://welts.xyz/2021/07/12/cache/. 引言 SVM的对偶问题如下 \[\begin{aligned} \min_{\pmb\alpha}\quad&\frac12\pmb\alpha^TQ\pmb\alpha-\pmb e^T\pmb\alpha\\ \text{...

    Posted by Welt Xing on January 28, 2022

    A Comparison of Optimization Methods and Software for Large-scale L1-regularized Linear Classification(1)

    文献解读：求解L1正则化线性模型的算法综述

    原文地址: https://www.csie.ntu.edu.tw/~cjlin/papers/l1.pdf. 摘要与背景介绍 这篇文章主要讲L1正则化下的线性分类算法。由于L1正则化项不可微的性质，提出该问题的优化算法也比较困难。作者在这里列举了当前(2012年以及之前)的L1正则化的线性分类算法，最后作者提出坐标下降法的扩展算法，它在文本分类这种大且稀疏数据上十分有效。 显然问题还...

    Posted by Welt Xing on January 27, 2022

    Dual coordinate descent methods for logistic regression

    求解对率回归对偶问题的坐标下降法

    原文地址: https://link.springer.com/content/pdf/10.1007/s10994-010-5221-8.pdf. 引入 给定二分类数据集$\{\pmb x_i,y_i\}_{i=1}^l$，$\pmb x_i\in\mathbb{R}^n$，$\pmb y_i\in\{-1,+1\}$，$i=1,\cdots,l$，考虑对率回归问题(Logistic ...

    Posted by Welt Xing on January 26, 2022

    最大熵模型

    推导与求解

    本文主要介绍最大熵模型。笔者在阅读《Dual coordinate descent methods for logistic regression and maximum entropy models》一文时遇见该模型，之前在李航老师的《统计学习方法》中瞥见该模型的介绍，但并没有耐心读下去，因此重新学习一遍。 信息熵 这里的“熵”不是物理学中衡量混乱程度的熵，而是信息熵，虽然信息熵是由前...

    Posted by Welt Xing on January 25, 2022

    软阈值函数的推导

    由来、推导和在优化上的应用

    软阈值函数(Soft-thresholding function)是一种降噪函数，常用在数字信号处理领域。本文是受一篇Note的启发，介绍软阈值函数的由来与推导，同时介绍它在优化问题上的一个简单应用。 背景 考虑一个信号被加上噪声: \[y=x+n\] 其中$n$是零均值高斯分布噪声，独立于$x$。我们需要尽可能从带噪信号$y$还原出原始信号$x$。在一些领域，比如小波分析(wave...

    Posted by Welt Xing on January 22, 2022

    Large-scale Linear Support Vector Regression

    LIBLINEAR求解支持向量回归

    原文地址: https://www.jmlr.org/papers/volume13/ho12a/ho12a.pdf. 建议先阅读: 对偶坐标下降法: https://welts.xyz/2021/12/02/dcdm/; 置信域牛顿法: https://welts.xyz/2021/12/19/tron/; 支持向量回归的问题转化: https://welts.xyz/2...

    Posted by Welt Xing on January 21, 2022

    Coordinate Descent Method for Large-scale L2-loss Linear Support Vector Machine

    求解L2-SVM的坐标下降方法

    原文链接: https://www.csie.ntu.edu.tw/~cjlin/papers/cdl2.pdf. 引入 对于分类数据集$(\pmb x_j,y_j),j=1,\cdots,l,x_j\in\mathbb{R}^n,y_i\in\{-1,+1\}$，SVM求解的是下面的无约束优化问题: \[\min_{\pmb w}\quad\frac12\pmb w^T\pmb w+...

    Posted by Welt Xing on January 18, 2022

    FEATURED TAGS
    C/C++ Java Python 机器学习 SVM 集成学习 优化算法 神经网络 文献解读 数学 深度学习 卷积神经网络 自动微分 异常检测 数字信号处理 LIBLINEAR 在线学习 图神经网络
    ABOUT ME

    甄心动惧，敏以敬慎

    ✉️ xingcy@smail.nju.edu.cn