Authors : Varun Kumar, Ashutosh Choudhary, Eunah Cho

• Alexa AI (amazon) Arxiv Paper : https://arxiv.org/pdf/2004.12239.pdf Code : https://github.com/varinf/TransformersDataAugmentation (TBD)

Summary

• PLM (BERT, GPT2, BART) 를 이용한 Conditional Data augmentation 실험 및 분석
• Classification task에서 1%의 데이터로 실험 진행, BART (seq2seq) 가 가장 높은 성능을 보임
• 다양한 방법으로 실험을 하였으며, EDA와도 비교를 함
• Extrinsic, intrinsic 평가를 통해 생성된 데이터가 label 정보를 어느정도 반영했는지, Diversity에 대한 분석도 존재함

개인적 견해

• 모델별 파라미터 사이즈가 통일되지 않아 unfair한 느낌
• GPT2의 경우 데이터가 하나인가?
• Generative model based data augmentation은 아직 갈길이 멀다
• Pratical guideline은 쓸모가 있어보인다
• 코드가 아직 공개되지 않음 ☹️

Abstract