Vago Mundo

尘世闲游，听凭风引

    文献阅读：A Review of Online Algorithms in Open Feature Space

    开放特征空间的在线学习

    link: https://www.ijcai.org/proceedings/2023/0745.pdf.

    Posted by Welt Xing on September 19, 2023

    文献阅读：Online Learning from Capricious Data Streams：A Generative Approach

    任意数据流的在线学习

    link: https://par.nsf.gov/servlets/purl/10134369

    Posted by Welt Xing on September 19, 2023

    文献解读：Stochastic Gradient Trees

    增量构建决策树的方法

    原文：http://proceedings.mlr.press/v101/gouk19a/gouk19a.pdf 这篇文章介绍了一种增量式学习决策树的方法：随机梯度树 (Stochastic Gradient Tree, SGT)，也就是根据随机梯度去更新决策树。数据流场景往往要求模型对到来的数据立刻进行预测，而不是积攒了大量数据后再训练。 构造决策树 给定一个损失函数$\ell(y,...

    Posted by Welt Xing on August 8, 2023

    随笔：向量逼近的收敛性

    有限维到无穷维

    假设对于一个$d$维欧几里得空间，现在有$n$个向量组成的线性无关组$\pmb x_1,\cdots, \pmb x_n,n<d$，去逼近一个向量$\pmb y$，也就是 \[\min_{\pmb\alpha}\quad\bigg\Vert\sum_{i=1}^n\alpha_i\pmb x_i-\pmb y\bigg\Vert^2\] 将$\pmb X$设为$n\times d$...

    Posted by Welt Xing on April 22, 2023

    Online Learning with Kernels

    文献解读

    模型从线性拓展到非线性通常有两个方法，一个是加入非线性激活函数，构成神经网络；一个是核技巧，将数据投射到高维空间实现非线性。在这里，我们将介绍核方法如何应用在在线学习场景中。 首先我们看核函数相关的知识，在这里我们研究的是在再生核希尔伯特空间（RKHS）$\mathcal{H}$中的函数$f:\mathcal{X}\to\mathbb{R}$。这表示有一个核函数$k:\mathcal{X}...

    Posted by Welt Xing on January 30, 2023

    Online Deep Learning from Doubly-Streaming Data

    文献解读

    在之前的文献解读中，我们介绍了FESL这一学习范式，它通过一个很短的重叠区实现模型复用，从特征空间$S_1$到不相交特征空间$S_2$进行在线学习，然而这已经是2017年的成果了。 在这里，我们将介绍该范式的最新成果，发表在2022年的ACM Multimedia上的Online Deep Learning from Doubly-Streaming Data。作者（作者之一就是上一篇...

    Posted by Welt Xing on January 1, 2023

    Online Deep Learning:Learning Deep Neural Networks on the Fly

    文献阅读

    原文链接：https://arxiv.org/pdf/1711.03705.pdf. Introduction 在这篇文章中，作者希望将深度学习应用到在线学习的场景中，称其为“在线深度学习”。在线深度学习的挑战主要就是如何为特定任务指定网络深度： 网络太深：由于在线学习的特性，每次只得到一个样本，使得神经网络很难收敛，以及梯度消失问题； 网络太浅：模型的表达能力很弱，极限的场...

    Posted by Welt Xing on December 30, 2022

    基于重构误差的属性图异常检测模型综述

    Introduction 图异常检测即在图结构上进行异常检测任务。随着图神经网络在实际应用中受到欢迎，图异常检测也在诈骗预防等领域收到重视。如果只考虑图节点的异常检测，那么在静态图、静态属性图和动态属性图中，静态属性图节点的异常检测受到了更多的研究：它的复杂度介于静态图和动态属性图之间。 受自编码器的启发，我们常常会将重构误差作为异常得分进行异常检测。因此，即使数据结构变成了图数据，很多...

    Posted by Welt Xing on October 6, 2022

    文献解读：Learning with Feature Evolvable Streams

    特征演化学习的开篇论文

    在《Learning with Feature Evolvable Streams》一文中，作者提出了一种在线学习场景，即随着时间推移，流数据的特征会发生变化，如下图所示： 该场景在现实世界中同样存在，比如当多个传感器工作的时候，存在一些传感器故障和失灵，那么一些新的传感器会被启用。在这样的场景对数据进行学习的过程被称作特征演化流数据学习 (Feature Evolvable Stre...

    Posted by Welt Xing on October 3, 2022

    文献解读：Deep Anomaly Detection on Attributed Networks

    异常检测模型DOMINANT

    原文地址：https://epubs.siam.org/doi/epdf/10.1137/1.9781611975673.67. Introduction 属性网络无处不在，是现代信息基础设施的一个关键组成部分，其中额外的节点属性补充了知识发现中的原始网络结构。近年来，属性网络上的异常节点的检测受到了越来越多的研究关注，在网络安全、金融、医疗保健等各种高影响领域得到了广泛的应用。 过去...

    Posted by Welt Xing on August 22, 2022

    FEATURED TAGS
    C/C++ Java Python 机器学习 SVM 集成学习 优化算法 神经网络 文献解读 数学 深度学习 卷积神经网络 自动微分 异常检测 数字信号处理 LIBLINEAR 在线学习 图神经网络
    ABOUT ME

    甄心动惧，敏以敬慎

    ✉️ xingcy@smail.nju.edu.cn