在迁移学习中,边缘概率分布和条件概率分布有什么含义?
的有关信息介绍如下:
边缘概率就是P(x),指的是产生数据的分布。条件概率是P(y|x),就是数据和标签之间的后验概率分布,和学习任务有关。
P(x)不同是说数据产生的机制不同,这个例子很多。比如不同光照背景角度照相机的图像和视频,不同用户产生的行为数据,不同主题的文本特征,等等。只要不是来自于同一个分布,边缘概率P(x)就不一样。非常广泛。
P(y|x)不同是说即使数据来自于同一个分布(边缘概率相同),在涉及到具体的下游任务,如分类回归的时候,概率也有不同。比如说尽管都是一个人的生理数据,但是属于不同状态不同运动的概率也不同。
迁移学习的分布适配distribution adaptation,指的就是去适配边缘和条件分布。经典方法如TCA (transfer component analysis) [1],就在边缘概率适配方面做出了贡献。后来出现的JDA (joint distribution adaptation) [2]方法则将两种分布都进行了适配,赋予他们一样的权重进行学习。后续的STL (stratified transfer learning) [3]则具体针对条件概率进行了研究。
以上工作的不足之处是,统一适配两种分布固然没有错,但是这两种分布真的是同等重要吗?比如下图展示的情况,对于第二、三种情况我们知道边缘和条件概率分别比较重要,但真实的情况往往是第四种,此时你能准确地分析哪种分布更重要吗?
如下图,我们令这两种分布的相对重要性从0取到1,在不同的数据集上画出了如下的精度图。图中的结果清晰地展示了,不同的分布重要性带来了不同的结果。最好的结果并不一定在0.5处出现。这说明了,两种分布都很重要,但重要性并不同,需要更精细地来进行估计。
最新的成果来自于我们的一些研究。
在ICDM17的工作BDA (Balanced Distribution Adaptation)[4]中,我们首先提出了两种分布并不是同等重要的假设,并且在实验中验证了这一假设。后续在ACMMM18的工作MEDA (Manifold Embedded Distribution Alignment) [5]中,我们更进一步,通过A-distance对两种分布的相对重要性进行了精确估计,取得了到目前来说也是非常高的指标。后续又在深度网络(ACM TIST-19, DDA, Dynamic Distribution Adaptation) [6] 和对抗网络(ICDM-19, DAAN, Dynamic Adversarial Adaptation Network) [7] 中进行了论证,提出了相应算法。
太长不看版:TCA --> JDA --> STL --> BDA --> DDA (MEDA, DAAN),在一步一步向前发展。
这些工作在我的迁移学习手册中均有介绍。我个人的看法是,从TCA一路过来,我们确实见证了在一个小点上,研究工作是如何一步一步深入进行的。
一些可能的进一步工作:
参考文献:
[1] TCA: Pan S J, Tsang I W, Kwok J T, et al. Domain adaptation via transfer component analysis[J]. IEEE Transactions on Neural Networks, 2010, 22(2): 199-210.
[2] JDA: Long M, Wang J, Ding G, et al. Transfer feature learning with joint distribution adaptation[C]//Proceedings of the IEEE international conference on computer vision. 2013: 2200-2207.
[3] STL: Wang J, Chen Y, Hu L, et al. Stratified transfer learning for cross-domain activity recognition[C]//2018 IEEE International Conference on Pervasive Computing and Communications (PerCom). IEEE, 2018: 1-10.
[4] BDA: Wang J, Chen Y, Hao S, et al. Balanced distribution adaptation for transfer learning[C]//2017 IEEE International Conference on Data Mining (ICDM). IEEE, 2017: 1129-1134.
[5] MEDA: Wang J, Feng W, Chen Y, et al. Visual domain adaptation with manifold embedded distribution alignment[C]//2018 ACM Multimedia Conference on Multimedia Conference. ACM, 2018: 402-410.
[6] DDA: Wang J, Chen Y, Feng W, et al. Transfer Learning with Dynamic Distribution Adaptation[J]. arXiv preprint arXiv:1909.08531, 2019.
[7] DAAN: Yu C, Wang J, Chen Y, et al. Transfer Learning with Dynamic Adversarial Adaptation Network[J]. arXiv preprint arXiv:1909.08184, 2019.



