- 학습된 머신러닝 모델의 구조를 활용하여 추론을 최적화하여 수행하는 화이트박스 (“white box”) 방식의 시스템 개발

- 기존 블랙박스 (“black box”) 방식 대비 제99백분위수 응답시간 5.5배, 메모리 사용량 25배 감소, 처리량 4.7배 증가

- 시스템 분야 최고 학회 OSDI 논문 게재

전병곤 교수 연구진은 마이크로소프트 (Microsoft), 밀라노 공과대학 (Politecnico di Milano)과의 공동 연구를 통해 백엔드(back-end)에서 머신러닝 추론 (inference)을 최적화하여 수행하는 시스템 PRETZEL을 개발했다고 밝혔다. 머신러닝 분야는 연구 경쟁이 지속적으로 치열해지고 있고, 실생활 많은 분야에 빠르게 적용되어 가장 중요한 핵심 기술 중 하나로 자리잡았다.

머신러닝 추론은 학습 (training)이 완료된 모델을 가지고 새로운 사용자 입력이 주어졌을 때 그에 대한 답을 제공하는 것이다. 머신러닝에 기반한 서비스를 제공하고자 할 때 1차적으로 정교한 모델을 만들어 내는 것도 중요하지만, 시스템 측면에서 지연시간, 처리량, 자원 사용량을 최적화하는 것이 실제 사용자가 경험하게 되는 서비스의 수준을 높이는 데 필수적이라고 할 수 있다.

해당 분야에서 널리 사용되는 블랙박스 방식은 학습된 모델을 컨테이너 기술 등을 통해 별도의 수정없이 서버에 배포한다. 사용자는 모델을 쉽게 배포할 수 있지만, 모델의 내부 수행과정을 최적화 할 수 없고 여러 모델을 동시에 수행할 경우 중복된 부분으로 인한 자원의 낭비가 발생하게 된다.

PRETZEL은 기존과 달리 모델의 구조를 분석하고 이를 활용해서 추론 성능을 최적화하는 화이트박스 방식의 시스템을 제안했다. 마이크로소프트의 머신러닝 모델 500개에 대한 성능을 비교한 결과 기존 Black-box 방식 대비 평균적으로 제99백분위수 응답시간이 5.5배, 메모리 사용량이 25배 감소하였고, 처리량은 4.7배 증가하였다.

전 교수 연구팀의 이번 연구 PRETZEL은 2018년 10월 미국 캘리포니아 칼즈배드에서 개최된 시스템 분야 최고 학회 중 하나인 OSDI (USENIX Symposium on Operating Systems Design and Implementation)에서 발표되었다. OSDI에서 한국 대학교 논문이 실린 것은 2000년에 처음 게재된 이후 18년 만의 성과이다.

논문 페이지: https://www.usenix.org/conference/osdi18/presentation/lee