multi-task深度神经网络如何实现，优化？

multi-task深度神经网络如何实现，优化？

multi-task learning（MTL），是个很有意思的课题，在神经网络领域印象中最早的一篇相关文献是1997年RICH CARUANA的 "Multitask Learning"，其中提出了shared hidden layer的思想，大概如下图。

论文中做了几个图像相关的实验，结果比较复杂，但总体来说MTL可以比STL(single task)产生

20%-30%的提升。

后面文章试图对"why MTL works"进行解释，相当有意思，"MTL is one way of achieving inductive transfer between tasks"。我的理解是MTL可以对同一个数据产生在不同视角进行观察，而这些不同的视角可以互相促进，最终"reduce the number of training patterns needed to achieve some fiexed level of performance"，或者说" improve the generalization"。

我觉得MTL的一个问题是训练的效率，我自己做实验的过程中就真的觉得训练一个MTL的神经网络真的是nightmare，每个任务有自己的参数，而你无法直观的知道任务A的参数会对任务B产生怎样的影响。同时学习率（learning rate）也是一个大问题，理论上我们希望每个task都在同一个epoch内取得最好的结果，但这是很难做到的，需要大量实验（上面提到的那篇文章中提出了一个想法，即“automates this tuning of learning rates. Instead of using a learning rate for each task that is constant throughout training, it adaptively adjusts each task’s learning rate during training based on how much progress that task has made”

另外安利一下自己做的工作，"Implicit Discourse Relation Classification via Multi-task Neural Networks"，试图在NLP领域拓展MTL，会在AAAI-16上出现，还请大家多多指教。