Authors : Jason Wei, Kai Zou

• Protago Labs Research / Dartmouth College / Georgetown University EMNLP 2019 Paper : https://arxiv.org/pdf/1909.05858.pdf Code : https://github.com/jasonwei20/eda_nlp

Summary

Synonym Replacement, Random Insertion / Random Swap / Random Deletion 방식을 사용하여 Data Augmentation 을 한다. 기존 방법들과 달리 외부 데이터나 모델 훈련 없이 성능을 증가 시킬 수 있었다.

개인적 견해

• Parameter search 및 ablation study 까지 진행한 좋은 연구라고 생각한다.
• 하지만 이게 정말 reproduce이 될지, 다양한 데이터셋에서 robust 한지에 대한 의문이 남아 있다.
• 또한 다른 paper들과 비교할 수 없어서 아쉬운 점이 크다 → data augmentation에 대한 bench mark dataset / model이 필요 !!
• ELMo / BERT와 같은 pre-trained model에서는 효과가 미미한 점도 아쉽다.
• 트랜트를 빠르게 따라가면 간단한 아이디어도 좋은 결과를 얻을 수 있다.
• 아무리 생각해도 Computer Vision 쪽에서 Natural Language Processing으로 넘어오는 기술들이 많은 것 같다.

Abstract

We present EDA: easy data augmentation techniques for boosting performance on text classification tasks. EDA consists of four simple but powerful operations: synonym replacement, random insertion, random swap, and random deletion. On five text classification tasks, we show that EDA improves performance for both convolutional and recurrent neural networks. EDA demonstrates particularly strong results for smaller datasets; on average, across five datasets, training with EDA while using only 50% of the available training set achieved the same accuracy as normal training with all available data. We also performed extensive ablation studies and suggest parameters for practical use.