SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving Out-of-Domain Robustness | Notion

Authors : Nathan Ng (University of Toronto Vector Institute), Kyunghyun Cho (New York University), Marzyeh Ghassemi (University of Toronto Vector Institute)

EMNLP2020 Paper : https://www.aclweb.org/anthology/2020.emnlp-main.97.pdf Code : https://github.com/nng555/ssmba

Summary

Corruption Function과 Reconstruction Function을 정의해서 Denoising Auto-Encoder 방식으로 데이터를 생성
Corruption function으로는 MLM을 Reconstruction function으로는 RoBERTa 사용
Self-Supervision을 통해 생성된 데이터에 대해 레이블링
Out-Of-Domain (OOD) 데이터에 대해서도 성능이 향상됨
EDA / CBERT / UDA 와 비교

개인적 견해

CBERT 이후에 나온 GPT2 / BART를 이용한 모델과 비교하지 않은 점이 아쉬움
CBERT와 거의 비슷하지만 모델이 RoBRETa 로 바뀐 점, 그리고 레이블링을 하지 않는 점, 그리고 fine-tuning을 하지 않는 점이 다름
CBERT에서는 가정이나 가설같은게 존재하지 않았는데, 이 논문에서는 그럴싸한 가설을 가져오고 가정을 함
다양한 분석이 Accept 요인이지 않을까?
튜닝 할 것이 많은 것 같다.
어~~~디서 많이 본 것과 비슷한데....? (Ma....)

Abstract