从自编码器到生成对抗网络:一文纵览无监督学习研究现状

---

2016年，我第一次被无监督学习震撼了

你知道那种感觉吗？实验室老大扔给我一篇论文，说：“把这个自编码器复现一下，做图像去噪。”

那时候我用的是TensorFlow 0.8还是0.9，数据集是MNIST。训练完，看到那些布满噪点的模糊数字，一个个变成了干干净净的数字——

说真的，那一瞬间，我鸡皮疙瘩都起来了！

不需要任何标签，模型自己就学会了“干净的笔画长什么样”。这TM简直是魔法啊！

但你猜那时候深度学习圈子里的人在看什么？ImageNet竞赛！监督学习！谁在乎无监督学习这种“冷门”啊？

偏偏是这些“不重要”的方向，悄悄长出了后来引爆AI的根：VAE、GAN、对比学习……每一步都踩在数据依赖的痛点上。

说到这儿，我想老老实实按时间线捋一遍——从最原始的自编码器，到现在的无监督小样本学习。说说我踩过的坑、遇到的惊喜，以及我对这条路该怎么走的判断。

---

草创期：自编码器与能量模型

你信吗？最早的无监督学习根本不是为了“生成”图像，而是为了“降维”。

2006年，Hinton搞出了深度信念网络（DBN），本质上是把受限玻尔兹曼机（RBM）叠起来。RBM的思路是：把输入数据编码成二值隐变量，通过最大化似然来重建。

但这玩意儿训练起来，跟走钢丝一样！

配分函数计算起来有严重的数值问题，动不动就崩。我后来试着在CIFAR-10上用RBM做特征提取，跑了整整一宿——结果呢？

还不如K-means聚类加个非线性映射！

Adam Coates和Andrew Ng那篇论文说得明明白白：把K-means当成特征学习用，再堆个池化层，效果比RBM还稳。

当然，K-means也有自己的毛病——它只能找到线性可分的结构。而且每一层得单独训练，没有全局优化。你堆两层K-means，性能回报反而递减，挺蛋疼的。

但架不住它简单啊。现在很多新手入门无监督特征学习，还是会从它开始。

同一时期，自编码器（Autoencoder）逐渐走上台前。

一个典型的自编码器就是：编码器把图片压缩成低维向量，解码器从向量重建图片，损失函数就是重建误差。

这玩意儿比RBM干净多了——没有概率模型的复杂采样，直接优化MSE就行。

我做过实验，在MNIST上，一个三层自编码器的重建损失可以很低。但从隐变量采样插值的时候——坏事了！

生成的新图片往往是怪物：两个数字的中间态，变成了意义不明的涂鸦。

为什么呢？因为普通自编码器的潜在空间是离散的，没有连续性约束。

这就引出了VAE。

---

VAE：用概率给隐变量“套上缰绳”

2013年，Kingma和Welling提出了变分自编码器（VAE）。

核心改动就一句话：我不要确定性的隐向量，我要隐向量服从一个先验分布（通常是正态分布）。

编码器输出的是均值和方差，然后重参数化采样得到隐变量，再交给解码器。

加了KL散度正则项之后，隐变量空间变得连续、有结构。

你可以沿着某个方向平滑移动——生成的手写数字会自然地渐变！从3慢慢变成8，从8慢慢变成0……

我自己在2018年用Keras 2.0复现过VAE，隐变量维度设成2。直接在二维平面上，看到数字从一种形态连续变为另一种。

那个画面，真的太好看了！

但VAE的代价是：生成图像总有一种“塑料感”。

2018年那篇比较VAE和GAN的文章里，有具体的实验数据——在MNIST上，VAE最终MSE是34.66，生成图像比较模糊。但注意：它覆盖了十个类别的全部模式，没有遗漏。

VAE就像是班里听话但没创造力的学生。你让它重建，它保证了总体数值接近，却忽略了高频细节。

我后来用VAE做人脸生成，在CelebA上训练——每次生成的脸都像隔着一层毛玻璃看。轮廓能分辨，但皱纹、头发丝全糊在一起。

为了解决问题，我在重建损失上加了各种perceptual loss，甚至把解码器换成更深的ResNet……

但无论怎么调，VAE的模糊是结构性的。因为它本质上是在优化似然的下界，而不会去刻意欺骗你的眼睛。

---

GAN：对抗博弈带来的“锐度革命”

2014年，Ian Goodfellow带着生成对抗网络（GAN）出现了。

那真是炸裂的方法！

生成器负责从噪声伪造照片，判别器负责区分真伪。二者互相卷，最后生成器能骗过判别器。

我第一次跑GAN是在2017年底，用PyTorch 0.3跑了一个DCGAN在LSUN卧室数据集上。大概用了4个小时训练……

生成出来的卧室图像里，有的真实到像宜家画册，有的直接变形——床头柜长出三根腿。

这就是模式崩溃（Mode Collapse）——你辛苦训练了一整天，模型最后只会生成“床头柜”和“枕头”两种模式。

DCGAN的鉴别器设计很简单：输入一张图，输出真/假概率。生成器则把100维的噪声通过反卷积上采样成64x64的图片。

结构不复杂，但稳定性极差！

学习率、优化器、权重初始化——稍有偏差，loss就爆了。我试过把Adam的beta1从0.9改成0.5，训练曲线从振荡变成炸裂，不得不回到0.5。

DCGAN在那篇文章中给出的实验MSE是36.3，比VAE的34.66高。但肉眼看来，却清晰得多！

这个矛盾说明什么？MSE跟主观视觉质量，没有绝对关系！

GAN在无监督学习中的角色很微妙：它天生不需要标签，因为“真/假”就是一种天然的二元监督信号。

但很多人忽略了，原始的GAN生成的图像完全不受控——你没法控制生成数字几。只有当你给它类别标签变成条件GAN（cGAN），它才变成监督学习。

2016年Ian放了个总结视频，里面有一句话：“GAN is the coolest idea in machine learning in the last twenty years.”

我当时看了觉得有点狂，但后来的发展证明——这个判断基本站得住。

DCGAN之后，WGAN用Wasserstein距离解决了训练不稳定的问题；StyleGAN在隐空间做风格调制，生成的人脸几乎可以乱真。

但GAN有一个核心短板……

它只能生成，不会编码！

你给它一张图，它没法给你一个紧凑的特征向量。换句话说，它学到的表示不是用来做推理的，而是用来欺骗判别器的。

这跟VAE刚好相反。

---

融合与对决：VAE-GAN为什么重要？

你看，VAE编码能力强但生成模糊，GAN生成清晰但没编码器。

把它们合在一起，不是很自然的方向吗？

我试过VAE-GAN：用VAE的结构，但把重建损失换成判别器的特征匹配。在CelebA上训练，生成的图片清晰度明显好于纯VAE，而且隐空间依然平滑。

但训练不稳定性也翻倍了——既要调VAE的重建权重，又要调GAN的对抗权重。有时候GAN loss把VAE的重建完全压死，模型退化成了纯VAE。

那篇2018年的对比文章最后得出结论：VAE-GAN可以在清晰度和多样性之间取得平衡。

在MNIST上表现挺好，但换到复杂数据集（比如ImageNet）时，组合的复杂度基本就是灾难级别。

近两年，扩散模型（Diffusion Models）已经逐渐取代GAN成为生成质量的天花板——不过那是另一个话题了。

---

开拓新战场：无监督小样本学习

如果你觉得GAN和VAE已经很猛了，那再来看近年无监督学习真正要啃的硬骨头：小样本学习。

传统的FSL很依赖基类上的标注预训练——比如匹配网络、原型网络、MAML，甚至后来用CLIP做跨域迁移。

这些方法效果好，但前提是：你有大量标注数据做预训练，或者有现成的视觉语言模型。

可是实际业务中呢？很多场景的辅助数据一样没标注！医学图像、工业缺陷检测——标注成本甚至比模型训练本身还高。

所以无监督小样本学习在最近几年成了一个新热点。

我仔细看过Lv等人2023年的工作，他们利用多级适配器融合和类间去混淆，解决了CLIP在小样本下逻辑值混淆的问题。Wang等人2024年的VCGPrompt用视觉概念图替代纯文本提示，增强了开放式词汇泛化。

这些都是好思路。但根本逻辑还是离不开一个预训练好的视觉语言模型（VLM）。

真正让人兴奋的是——那些“完全不依赖标注也不依赖VLM”的工作！

最近有一项工作提出了一种框架：利用前景感知增强和属性级表征约束，来解决假阴性伪标注和一致性不足的问题。

这条路非常难！因为没有预训练特征帮你对齐，全靠自监督信号自己挖出前景物体的边界。

我看到他们的实验——在miniImageNet上，无监督准确率已经能跟一些半监督方法打了。

这让我觉得：无监督FSL终于开始长出真东西了！

我也在WSSS（弱监督语义分割）里遇到过假阴性的困扰：图像中有两个同类物体，对比学习会把它们当成正样本对。

但如果你按无监督方式简单随机采样，很容易把跨类样本也当成正对。这个困境在无监督FSL里更严重——你只看到了几个无标签样本，就得把类别区分开。

---

现在的局面：自监督学习正在“吃掉”生成模型的领地

你可能会问：自监督学习（SSL）算什么？

它是2019年之后异军突起的流派。

SimCLR、MoCo、BYOL这些对比学习方法，通过设计复杂的预文本任务（比如实例判别），让模型学到极其稳健的特征表示。这些表示在分类、检测的下游任务上，甚至可以超过纯监督学习！

SSL跟生成模型最大的区别：它不关心你能不能生成逼真图片，只关心特征向量够不够“好”。

本质上，它是一种无监督表示学习，但标签由数据本身生成（旋转角度预测、遮盖重建、对比正负样本）。很多人开玩笑说：自监督是“自己给自己出题考试”。

回到GAN和VAE的视角，你可能发现它们各自在干什么——

VAE不仅要特征还要生成，GAN只生成不关心特征。而SSL干脆跳过生成、直接学特征——又快又实用！

我自己的开发流程里，现在很少在无监督阶段用GAN学特征了。基本上都是用SSL初始化网络，然后下游微调。

但SSL也不是万能。它不会像生成模型那样产生幻觉，因为你压根不生成图片。有些场景需要数据增强，你还是得靠生成模型。

---

未来走向：生成与表征的终极融合

无监督学习现在有两个分支在汇合——

一条是生成模型（GAN/VAE/扩散模型）的继续进阶，另一条是基于对比、掩码的自监督学习。

我认为未来三到五年的突破点，会是这两种思路在完全无标注数据下的深度结合。

具体来说——

生成模型的隐空间如果能被SSL的对比损失规整，既能生成高质量样本，又有高度语义的特征表示。

无监督小样本学习的“前景感知”技术思路，很可能被整合进生成模型的训练里，解决假阳性标注和模式崩溃。

另外，CLIP这类预训练VLM已经被证明了极大的价值，但它在长尾、细粒度场景下很脆弱。下一波趋势可能是不依赖CLIP，而是完全用无监督方式学习一个有“视觉概念图”的知识库。

我在代码里实际测试过——用VAE的表示作为对比学习的起点，在CIFAR-100上做线性探测，ACC比纯对比学习下降了2%，但生成质量提升了不少。

这是一个典型的trade-off。真正好的框架应该是一个端到端的模型，能够根据任务需求动态调节生成和表征的侧重。

虽然现在扩散模型在生成质量上已经一骑绝尘了，但我始终不觉得GAN会是“过去式”。

原因很简单：GAN的对抗博弈思路，给机器提供了一种“创造力压力”——你必须变得更好，否则就会被识破。这个哲学，在所有无监督学习里是独一份的。

---

如果你问我，现在入门无监督学习该从哪下手——

先跑一个Autoencoder感受重建，再上VAE看KL散度怎么约束潜在空间，然后玩GAN体验什么叫不稳定，最后跑一个SimCLR理解对比学习的威力。

这一套下来，你对“无监督学习”可能就没那么怕了。

我还会继续关注无监督小样本学习——这个场景才是落地的真正修罗场。现在的成就还不错，但距离“无标注也能学出像样的分类器”还有距离。

但这正是做这事儿有意思的地方——你永远不知道，下一个被忽略的角落，会开出怎样的花。