송현오 교수 연구진이 실시간 언어모델 맥락 압축 기법, 인공 신경망 레이어 공동 최적화 알고리즘, 블랙박스 다중목적 조합 최적화 기법을 개발하였다.

실시간 언어모델 맥락 압축 [1]: ChatGPT와 같은 트랜스포머 기반 대규모 언어모델은 이전 대화 등의 맥락 정보를 처리한 다음, 연산 결과(key/value)를 캐시에 저장하여 이후 추론에 사용한다. 한편 입력값의 길이가 길어질 수록 캐시에 저장되는 값들의 용량이 커지며 언어모델 추론 연산 또한 많아진다. 본 연구에서는 언어모델의 입력값 정보를 지속적으로 압축하여 효율적인 대규모 언어모델 추론을 가능하게 하는 방법을 제안하였다. 제안하는 압축 방법은 언어모델 추론에 매우 작은 수준의 오버헤드를 더하며, 기존 방식 대비 5배 이상 작은 메모리로 동일 수준의 추론 성능을 달성한다.

인공신경망 레이어 공동 최적화 [2]: 본 연구는 기존의 인공신경망 깊이 압축 알고리즘인 (1) 합성곱 레이어를 제거하는 전략과 (2) 비선형 활성화 함수를 제거하여 연속적인 합성곱 층을 하나의 층으로 병합하는 전략을 상호 보완적으로 사용하여 기존 최고기술보다 네트워크의 성능을 유지하면서 효율성을 향상시킬 수 있음을 보여준다. 이를 위해, 원하는 추론 속도를 달성하면서 성능 손실을 최소화하기 위해 제거할 활성화 층과 합성곱 층을 공동으로 최적화하여 선택하는 문제와 새로운 깊이 압축 방법인 LayerMerge를 제안한다. 이 선택 문제는 지수적 탐색 공간을 가지므로, 우리는 새로운 대리 최적화 문제를 공식화하고 이를 동적 프로그래밍을 통해 효율적으로 해결한다. 실험 결과, 우리의 방법은 이미지 분류 및 생성 작업에서 다양한 네트워크 아키텍처에 대해 기존의 깊이 압축 및 층 가지치기 방법보다 일관되게 뛰어난 성능을 보였다.

블랙박스 다중목적 조합 최적화 [3]: 블랙박스 다중목적 조합 최적화는 문자열, 그래프 등 조합적 대상에서 정의된 여러 블랙박수 목적함수를 함께 최적화하는 기법으로, 신약 개발 등 큰 사회적 파급효과를 지닌 다양한 문제들에 적용될 수 있다. 쿼리-효율성을 위해 주로 연구되고 있는 능동학습 기반 방법들은 기존 평가된 데이터를 바탕으로 다음 쿼리에 넣을 최적 배치(batch)를 선정하는 부분집합선택 문제를 해결해야 한다. 본 연구는 목적 집합 함수의 하위모듈성(submodularity)에 착안하여, 탐욕 알고리즘을 모사하도록 학습한 탐욕 정책 모델을 통해 최적 배치를 선정하는 능동 학습 기법을 제안한다. 제안한 기법은 적색 형광 단백질 최적화 벤치마크에서 목표 성능을 달성하는데 필요한 쿼리 횟수를 기존 방법들보다 1.69배 이상 줄이는 결과를 얻었다.

해당 연구는 머신러닝 최우수 학회인 ICLR 2024과 ICML 2024에 발표될 예정이다.

[1]“Compressed Context Memory For Online Language Model Interaction”, Jang-Hyun Kim, Junyoung Yeom, Sangdoo Yun, Hyun Oh Song, ICLR 2024
[2]"LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging", Jinuk Kim, Marwa El Halabi, Mingi Ji, Hyun Oh Song, ICML 2024
[3]"Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization", Deokjae Lee, Hyun Oh Song, Kyunghyun Cho, ICML 2024