서울대학교 송현오 교수 연구진,
인공신경망의 활용 가능성을 크게 높이는 새로운 알고리즘으로 세계 선도

송현오 교수 연구진(김장현 석박통합과정, 추원호 학사과정)은 데이터의 돌출성(saliency) 정보를 활용하여 기존 데이터 증대 기법인 mixup의 성능을 크게 향상하는 알고리즘을 개발하였다고 밝혔다. 해당 기법은 인공신경망의 일반화 성능과 데이터 왜곡 또는 적대적 공격에 대한 강건성을 향상시켜 인공신경망의 실제 응용 분야에서의 활용 가능성을 크게 높여줄 것으로 기대된다.

기존의 mixup 기법은 이미지의 대상 물체, 음성 데이터의 의미있는 음절 등 주어진 과제에 대한 답을 도출하는데 필요한 핵심적인 정보를 반영하지 않아 잘못된 데이터와 레이블을 만들어내는 경우가 존재한다. 잘못된 데이터를 생성하여 인공신경망 학습에 활용할 경우 인공신경망의 일반화 성능이 감소하게 된다.

이러한 문제를 해결하기 위해 송현오 교수 연구진은 데이터 돌출성과 국소적 연속성(smoothness)을 고려하였고 돌출성 정보를 극대화하기 위해 수송(transport) 과정을 모델링한 새로운 mixup 목적함수를 제안하였다 [식 1]. 연구팀은 해당 목적함수를 최적화하기 위해 GPU 최적화된 2단계 교차 알고리즘을 개발하였다. 본 논문에서 제안한 Puzzle Mix는 이미지 분류 벤치마크 데이터셋인 CIFAR, Tiny-ImageNet, ImageNet에서 기존 mixup 방법들보다 뛰어난 일반화 성능을 보였으며, 적대적 공격과 데이터 왜곡에 대해서도 향상된 강건성을 보였다 [그림 1].

송현오 교수 연구진은 해당 기술을 다룬 논문을 머신러닝 최고 학회인 ICML 2020에 게재하였다고 밝혔다.

https://cse.snu.ac.kr/sites/default/files/node--notice/20200729_%EC%86%A1%ED%98%84%EC%98%A41.png

https://cse.snu.ac.kr/sites/default/files/node--notice/20200729_%EC%86%A1%ED%98%84%EC%98%A42.png

논문: Jang-Hyun Kim, Wonho Choo, Hyun Oh Song, Puzzle Mix: Exploiting Saliency and Local Statistics for Optimal Mixup, ICML 2020
링크: https://proceedings.icml.cc/static/paper_files/icml/2020/6618-Paper.pdf
코드: https://github.com/snu-mllab/PuzzleMix
발표 영상: https://icml.cc/virtual/2020/poster/6827

[문의]
송현오 교수 / 서울대학교 컴퓨터공학부 / hyunoh@snu.ac.kr
김장현 석박통합과정 / 서울대학교 컴퓨터공학부 / blue378@snu.ac.kr
추원호 학사과정 / 서울대학교 통계학부 / cwh104504@snu.ac.kr