基於師生方法學習多層次注意力的跨領域轉移學習

Abstract

本研究應用於跨領域轉移問題上。跨領域轉移問題希望能解決在一個領域資料利用機器學習訓練模型，並將此訓練後的模型應用於其他不同領域的資料。跨領域問題的困難處在於源領域以及目標領域之間的差異，如 "快" 這個形容詞在跑車產品是好的形容詞，但在電池產品卻是不好的形容詞。在機器學習的問題中，利用已標記資料訓練模型已能達到非常好的效能，但更多情況是沒有足夠的已標記資料訓練模型。基於上述原因，本研究希望可以建立一個既可以解決跨領域轉移問題，又可以解決已標記資料量少的模型。\n模型架構可以分為三個部分的多任務學習，分別為監督式學習、師生跨領域轉移注意力模型以及相關度偵測任務。監督式學習使用資料及標籤輸入模型進行學習。師生跨領域轉移模型由教師模型提供學生模型訓練的偽標記資料，學生模型藉由資料層級注意力和領域層級注意力的幫助，為學生模型篩選出適合訓練的偽標記資料。相關度偵測任務用來偵測句子與描述主體之間的關係。\n本研究應用於產品意見的情緒立場判斷以及藝人與核能的網路輿情立場判斷問題，實驗結果顯示使用本研究的方法能夠在上述的情緒及輿情立場的分類任務都能達到最好的效能。

The lack of training data forms a challenging issue for applying NLP models in a new domain. Previous work on cross-domain transfer learning aims to exploit the information from the source domains to do prediction for the target domain. To reduce the noises from the out-of-domain data and improve the model`s generalization ability, this work proposes a novel teacher-student approach with multi-task learning that transfers the information from source domains to the target domain with sophisicated weights determined by using the attention mechanism at both instance level and domain level. The generalization ability is further enhanced by unsupervised data augmentation. We also introduce a subject detection task for co-training the main model. Our approach is evaluated not only on the widely-adopted English dataset, Amazon product reviews, but also on Chinese datasets including product reviews, artist reviews, and public opinions of nuclear power. Experimental results show that our approach outperforms state-of-the-art models.