Authors : Jingfei Du, Edouard Grave, Beliz Gunel, Vishrav Chaudhary, Onur Celebi, Michael Auli, Ves Stoyanov, Alexis Conneau / Facebook AI, Stanford University

Arxiv Paper : https://arxiv.org/pdf/2010.02194.pdf Code : https://github.com/facebookresearch/SentAugment

Summary

• External unlabeld data를 사용하는 SentAugment 제안
• SentAugment, a data augmentation method which computes task-specific query embed- dings from labeled data to retrieve sentences from a bank of billions of unlabeled sentences crawled from the web.
• Retrieval task에서는 Transformer encoder를 triplet loss로 훈련 시킨 것을 사용한다.
• Unannotated data에서 먼저 사용할 데이터를 선별 한 후, 모델을 이용해서 레이블링을 해줌
• Augmentation data는 기존 training set의 비율(분포)를 따르도록 조절함
• Student 모델은 기존 학습 데이터를 사용하지는 않고 새로 생성된 데이터를 바탕으로 Teacher model로 부터 얻은 soft label로 학습함
• Sentence embedding 은 여기서 제안하는 SASE 사용
• Domain adaption에서는 continued pretraining 보다 self-training이 더 좋음
• 많은양의 aug data를 sent augment에서 택하면 성능이 오름
• Retrieval selection 마다 성능 증가가 다르지만 label-avg가 가장큼
• KLD로 학습할 때 label을 discrete보다는 logits (continuos) 하게 주는 것이 더 좋음

개인적 견해

• 외부 데이터를 이용한 방법은 좋은 방법이라고 생각됨
• 외부 데이터를 어떤 방식으로 정제할 것인지 또는 레이블링 할지가 중요할 것으로 보이며 이에 들어가는 시간 및 자원도 중요함