• 삼성전자 SAIT에서 주최하는 "삼성 인공지능/컴퓨터공학 챌린지 2023"의 컴퓨터공학 분야에서 최우수상, 우수상 수상
• 시스템 및 알고리즘 최적화를 통해 대규모 언어 모델의 추론 성능 가속화

이재진 교수 연구실 소속 두 개의 팀이 삼성전자 SAIT에서 주최하여 8월 21일부터 10월 20일까지 진행된 "삼성 인공지능/컴퓨터공학 챌린지 2023"의 컴퓨터공학 분야에서 각각 최우수상(TeamH : 김희훈, 유준열) 및 우수상(ShongShong2 : 김진표, 박대영, 신준식)을 수상하였다.

대규모 언어 모델(Large Language Model)이 다양한 분야에서 높은 성과를 보여주면서 수요가 폭발적으로 증가하고 있어 대량의 GPU 자원을 활용하여 추론 시간을 줄이는 것이 중요해졌다. 이러한 추세에 맞추어, 올해로 3회를 맞는 "삼성 인공지능/컴퓨터공학 챌린지 2023"는 기존 인공지능 분야 외 컴퓨터공학 분야를 신설하였다. 컴퓨터공학 분야의 과제는 여러 개의 GPU를 활용하여 시스템 및 알고리즘 최적화를 통해 대규모 언어 모델의 정확도를 떨어뜨리지 않으면서 추론 성능을 높이는 것이었다.

두 팀은 기존 GPU 연구 경험을 바탕으로 다양한 최적화를 적용하여 LLaMA-30B 모델로 HellaSwag 데이터셋 전체를 추론하는 시간을 400초 수준까지 가속하였다. 그 결과 최종 라운드에 선발된 10팀 중 각각 1위와 2위를 기록하는 성과를 냈다. 챌린지에 참여한 ShongShong2 팀의 김진표 학생은 "대회를 진행하면서 개인 연구 주제에 대해서도 다른 관점에서 고민해 볼 수 있었고, 큰 동기 부여를 해주는 경험이었다"고 밝혔다. 두 팀에는 부상으로 각각 상금 1,000만 원과 500만 원이 수여된다.