1. 소식
  2. arrow_forward_ios

새 소식

태그
검색
전체

전병곤 교수 연구진, AWS Machine Learning Research Award 선정

전병곤 교수 연구진이 2018년 AWS Machine Learning Research Award를 수상하여 총 $225,000의 연구 지원을 받게 되었다. Amazon은 AWS Machine Learning Research Award를 통해 머신 러닝 분야의 획기적인 새로운 연구를 하는 연구진에게 상을 수상한다. 이 상을 통해 쉽고 효율적으로 사용할 수 있는 머신러닝/딥러닝 시스템에 대한 연구를 활발하게 진행할 계획이다. 또한 AWS 클라우드에서 많은 GPU를 사용하여 만든 시스템을 평가할 계획이다. 전 교수진은 최근 머신러닝/딥러닝 시스템 관련 연구를 활발히 수행하고 있고 그 결과를 컴퓨터공학 시스템 최상위 학회인 OSDI, NSDI, EuroSys에 발표하였다....
과거 미분류
포스트 대표 이미지

전병곤 교수 연구진, 딥러닝 모델을 자동으로 빠르게 분산 학습하는 시스템 Parallax 개발

전병곤 교수 연구진은 딥러닝 모델을 자동으로 빠르게 분산 학습 하는 시스템인 Parallax를 개발했다고 밝혔다. 딥러닝 기술은 이미지 처리, 음성 인식, 자율주행 등 다양한 분야에서 활용되고 있으며 딥러닝 모델의 학습시간을 단축시키기 위해서 많은 GPU를 사용하는 분산 학습에 관한 연구도 활발하다. 기존 딥러닝 모델의 분산 학습에 관한 연구는 대부분 밀집 텐서를 사용하는 이미지 처리를 위한 모델에 대한 연구로 희소 텐서를 사용하는 모델에 대한 연구는 적었다. 예를 들어 자연어 처리를 위한 모델은 이미지 처리를 위한 모델과는 다르게 사용되는 파라미터의 희소성이 큰데, 이는 문장에 있는 단어들을 벡터 형태로 변환해 주기 위해 활용되는 파라미터들이 처리하는 문장에 속한 단어의 종류에 따라 전체 파라미터 중 일부만 활용되기 때문이다. 하지만 기존 분산 학습 시스템들은 이런 파라미터의 희소성을 잘 활용하지 않아 희소 파라미터가 포함된 모델의 분산 학습 성능이 밀집 파라미터만 사용하는 모델에 비해 상대적으로 낮은 편이었다. 전병곤 교수 연구팀에서 제안한 Parallax는 파라미터 희소성을 고려한 최적화 기술을 통하여 빠르게 분산학습이 가능한 시스템이다. 분산 학습 방법은 크게 서버와 워커로 구성된 파라미터 서버 방식과 AllReduce 방식으로 구분되는데, Parallax는 파라미터의 희소성에 따라 밀집 파라미터는 AllReduce 방식을 적용하고 희소 파라미터는 파라미터 서버 방식을 적용하여 두가지 방식이 혼용된 하이브리드 분산 학습 아키텍쳐를 사용한다. 또한, 머신 별로 미리 데이터를 처리하여 그 크기를 줄인 후에 다른 머신에 전송함으로써 머신간의 통신양을 줄이는 최적화와 크기가 큰 희소 파라미터를 몇 개의 서버에 나누어 처리하는 것이 효율적인지를 자동으로 찾아주는 기능을 제공한다. 그 결과 이미지 처리 모델의 성능은 기존 분산 시스템과 동일하게 유지하면서 자연어 처리 모델의 성능은 기존 시스템 대비 최대 6배로 향상시켰다. Parallax는 자동으로 하나의 GPU에서 개발한 모델을 많은 GPU에서 학습할 수 있도록 해주어 사용성도 크게 증가시켰다. 해당 연구 결과는 2019년 3월 독일 드레스덴에서 개최될 시스템 분야 최고 우수 학회 중 하나인 EuroSys(European Conference on Computer Systems)에서 발표될 예정이다. 출판 전 논문 페이지: https://arxiv.org/abs/1808.02621 (최종 출판본은 2019년 3월 공개 예정) https://cse.snu.ac.kr/sites/default/files/node--notice/20181226%20%20%EC%A0%84%EB%B3%91%EA%B3%A4%EA%B5%90%EC%88%98%EB%8B%98.png [그림1] Parallax의 하이브리드 분산 학습 아키텍쳐의 적용 예시. 하나의 모델을 분산 학습 할 때 밀집 파라미터(Dense Variable)는 AllReduce를 이용하는 분산 아키텍쳐를 활용하고, 희소 파라미터(Sparse Variable)는 파라미터 서버 아키텍쳐를 적용한다. [문의사항] 전병곤 서울대학교 컴퓨터공학부 교수 / bgchun@snu.ac.kr 김수정 서울대학교 컴퓨터공학부 박사과정 / soojeong_kim@snu.ac.kr 유경인 서울대학교 컴퓨터공학부 박사과정 / gyeongin@snu.ac.kr...
과거 미분류
포스트 대표 이미지

전병곤 교수 연구진, 딥러닝 모델을 쉽고 빠르게 개발할 수 있는 시스템 JANUS 개발

서울대 컴퓨터공학부 전병곤 교수 연구진, 딥러닝 모델을 쉽고 빠르게 개발할 수 있는 시스템 JANUS 개발 서울대 컴퓨터공학부 전병곤 교수 연구진은 딥러닝 모델을 쉽고 빠르게 개발할 수 있는 시스템인 JANUS를 개발했다고 밝혔다. 딥러닝 기술은 최근 이미지 처리, 음성 인식, 자율주행 등 다양한 분야에서 비약적인 발전을 가져오며 4차 산업 혁명의 가장 중요한 핵심 기술 중 하나로 인식되고 있으며, 연구 경쟁도 매우 치열한 분야이다. 딥러닝 시스템은 개발자들이 원하는 대로 모델을 표현하고 학습 및 추론할 수 있게 해 주는데, 기존 딥러닝 시스템들은 모델을 쉽게 표현하는 일과 모델을 빠르게 학습시키는 일, 둘 중 한 쪽에만 더 특화되어 있었다. TensorFlow로 대표되는 심볼릭 그래프 (“symbolic graph”) 기반 시스템에서는 고정된 구조의 모델을 빠르게 학습시킬 수는 있었지만 다양한 구조의 모델을 쉽게 표현하기는 어려웠고, 반대로 PyTorch로 대표되는 명령형 (“imperative”) 시스템에서는 다양한 모델을 쉽게 만들 수는 있지만 이를 학습시키는 데는 시간이 더 오래 걸렸다. 전병곤 교수 연구팀에서 제안한 JANUS는 기존 시스템들의 한계를 극복하여, 새로운 모델을 쉽게 표현하고 빠르게 학습시킬 수 있는 시스템이다. JANUS는 기존 명령형 시스템에서와 같이 쉬운 프로그래밍 모델을 그대로 사용하면서도, 내부에서 명령형 프로그램을 심볼릭 그래프로 자동 변환 및 최적화를 수행한다. 그 결과 다양한 모델을 학습하는데 걸리는 시간은 명령형 시스템 대비 최대 48배까지 빨라지고 심볼릭 그래프 기반 시스템의 성능에 근접한다. 이번 연구 결과는 글로벌 기업인 구글, 페이스북, 아마존 보다 앞선 결과이다. 해당 연구 결과는 2019년 2월 미국 보스턴에서 개최될 시스템 분야 최우수 학회 중 하나인 NSDI (USENIX Symposium on Networked Systems Design and Implementation)에서 발표될 예정이다. 출판 전 논문 페이지: https://arxiv.org/abs/1812.01329 (최종 출판본은 2019년 2월 공개 예정) https://cse.snu.ac.kr/sites/default/files/node--notice/20181211%EC%A0%84%EB%B3%91%EA%B3%A4%EA%B5%90%EC%88%98%EB%8B%98.png [그림1] JANUS 전체 시스템 구조. 프로파일러(Profiler)에서 프로그램의 특성에 대한 정보를 모아서, 효율적인 심볼릭 그래프를 만들고 수행한다. 수행 중 프로그램의 특성이 달라지는 경우, 정확성을 보장하기 위해 원본 명령형 프로그램이 다시 수행된다. [문의사항] 전병곤 서울대학교 컴퓨터공학부 교수 / bgchun@snu.ac.kr 정은지 서울대학교 컴퓨터공학부 박사과정 / ejjeong@snu.ac.kr 이동하 서울대학교 공과대학 대외협력실 팀장 / lee496@snu.ac.kr...
과거 미분류
포스트 대표 이미지

2018년 Naver Fellowship 수상자 선정

2018년 Naver Ph.D. Fellowship Award 수상자가 결정되어 소식을 전합니다. 매해 우수한 논문 및 연구실적을 가진 지원자들을 심사하여 1인당 500만원의 장학금을 수여하는 본 프로그램에 올해는 2명의 박사과정 학생이 선발되었습니다. 김건희 교수님 지도학생인 노준혁 연구원과 서진욱 교수님 지도학생인 채한주 학생이 그 주인공입니다. 장학생 선정을 진심으로 축하드리며, 앞으로도 훌륭한 연구성과를 이루기를 기대합니다....
과거 미분류
포스트 대표 이미지

최종덕 교수·이재진 교수, IEEE Fellow 선정

서울대 컴퓨터공학부 최종덕·이재진 교수, 국제전기전자공학회(IEEE) 석학회원(Fellow) 선정 서울대 컴퓨터공학부 최종덕 교수와 이재진 교수가 국제전기전자공학회(Institute of Electrical and Electronics Engineers, IEEE) 석학회원(Fellow)으로 선정됐다. 최종덕 교수는 컴퓨터시스템의 병렬처리(parallel computing)를 위한 디버깅과 컴파일러 기술 개발에 기여한 공로를 인정받았다. 병렬처리는 컴퓨터시스템의 성능을 높여주는 기술로, 디버깅과 컴파일러는 각각 응용소프트웨어의 개발 효율과 실행 속도를 높이는 기술이다. 최 교수는 서울대 전자공학과를 졸업하고, KAIST에서 전기전자공학 석사를, 미국 위스컨신대에서 컴퓨터공학 박사학위를 받았다. 미국 IBM T. J. Watson 연구소에서 연구원과 매니저를 했으며, 삼성전자에서 소프트웨어 부문 임원 (부사장) 역임 후, 서울대 컴퓨터공학부 교수로 재직하고 있다. 현대 컴파일러에서 사용하고있는 SSA, JAVA 시스템에서 사용하고있는 Escape Analysis 등이 최교수가 IBM에서 주도적으로 개발한 기술이며, 삼성전자 재직시에는 삼성전자 독자 OS인 타이젠의 개발 및 전략 책임자였다. 이재진 교수는 범용 CPU와 GPU와 같은 가속기를 혼용하는 이종(heterogeneous) 컴퓨터시스템을 위한 프로그래밍 시스템 개발에 기여한 공로를 인정받았다. 이종 컴퓨터시스템은 딥 러닝 응용 등을 실행시키기 위해 현재 널리 사용되고 있다. 이 교수는 서울대 물리학과를 졸업하고 미국 스탠포드대에서 컴퓨터공학 석사를, 미국 어바나-샴페인에 있는 일리노이대에서 컴퓨터공학 박사학위를 받았다. 미국 미시간 주립대 컴퓨터공학과 조교수를 거쳐 2002년 9월부터 서울대 컴퓨터공학부 교수로 재직하고 있다. 개발한 대표적 이종 컴퓨터 프로그래밍 시스템으로 SnuCL이 있는데, SnuCL의 테스트를 위해 세계 최초의 저비용, 고효율 수냉 이종 슈퍼컴퓨터인 ‘천둥’을 개발하여 2012년 11월에 성능으로 세계 277위, 전력효율로 세계 32위를 기록한 바 있다. https://cse.snu.ac.kr/sites/default/files/node--notice/2018ieee%20.png IEEE는 세계에서 가장 권위있는 전기∙전자∙컴퓨터∙통신 분야 학회로 160여 개국 40만여 명의 회원을 보유하고 있다. IEEE 회원 최고 등급인 Fellow는 탁월한 개인 업적, 기술 성취 실적, 전문 분야 총괄 경력 등 7개의 평가 기준을 거쳐 회원의 최상위 0.1% 내에서 선정한다....
과거 미분류
포스트 대표 이미지

강유 교수, IEEE ICDM 지난 10년간 최우수 논문상 수상

컴퓨터공학부 강유 교수가 데이터마이닝 분야 국제 최우수 학회중 하나인 IEEE ICDM (International Conference On Data Mining)에서 10-Year Highest-Impact Paper Award 상을 수상하였다. 10-Year Highest-Impact Paper Award 상은 지난 10년간 데이터 마이닝 분야에서 가장 큰 영향력을 준 논문에 수여된다. 수상 논문은 강유 교수가 2009년 ICDM에 제 1저자로 발표한 "PEGASUS: A Peta-Scale Graph Mining System" 으로, 730회 이상 인용되었다. 수상 논문은 분산 환경에서 대용량 그래프를 효과적으로 처리하는 그래프 마이닝 패키지에 대한 내용으로, 다양한 그래프 마이닝 연산을 일반화하는 간단한 핵심 연산을 제안하고, 빅데이터 시스템에서 효율적으로 동작하는 알고리즘을 제안하였다. 상은 2018년 11월 싱가포르에서 열린 ICDM 2018 학회에서 수여되었다....
과거 미분류
포스트 대표 이미지

학부특별세미나 개최-최은솔박사, Univ. of Washington

2018년 11월 19일(월) 오전 11시 30분, 302동 105호에서 학부 특별 세미나가 진행되었습니다. 이 날 강연은 University of Washington의 최은솔 박사님께서 'Scalable and Interactive Machine Reading'라는 주제로 진행하셨습니다. 많은 학생들과 교수님들이 참석한 가운데 성공적으로 개최되었습니다....
과거 미분류
포스트 대표 이미지

이상구 교수의 인텔리시스, 삼성전자 ‘C-Lab’에 선정

국내 기술로 개발한 인공지능(AI) 기반 개인 맞춤형 패션 스타일리스트 서비스가 글로벌 시장에 도전장을 내민다. 주인공은 서울대학교 지능형 데이터 연구실에서 스핀오프해 2017년 12월 설립된 인텔리시스(IntelliSys). 인텔리시스는 최근 삼성전자의 스타트업 인큐베이션 프로그램인 ‘C랩'에서 발굴해 육성하는 사외 스타트업으로도 선정되면서 혁신 기술로의 발전 잠재력과 시장에서의 성장 가능성을 인정받았다. 인텔리시스는 지금까지의 AI 스타일리스트 서비스와의 차별화를 위해 2년간 1000만건이 넘는 패션 빅데이터를 수집하고, 이를 딥러닝으로 학습해 패션 이미지로부터 스타일 요소를 추출해내는 독자적인 기술을 개발했다. 이 기술의 핵심은 컬러나 옷감, 룩 등 2000가지가 넘는 패션 이미지의 스타일 요소를 추출하고, 이를 벡터 공간에서 분석해 각 요소 간 거리를 바탕으로 최적의 연관성을 찾아내는 것이다. 이를 통해 패션 상품 간 유사성은 물론, 어울리는 정도까지 판별할 수 있다. 이상구 교수는 "AI 스타일리스트 서비스 외에도 향후 웹, SNS 등의 빅데이터 분석을 통해 실시간 패션 트렌드 감지 및 예측 서비스를 제공하고, 이를 발전시킨 AI 패션 디자인 서비스도 계획 중이다"라며 "서울대 연구실의 첨단 연구 역량을 기반으로 차세대 디지털 패션 테크를 선도하고, 혁신적인 글로벌 비즈니스를 개척해 나가겠다"고 말했다....
과거 미분류
포스트 대표 이미지

이상구 교수 연구진, AAAI 2019 논문 두 편 동시 게재

이상구 교수 연구진(지능형 데이터 시스템 연구실, http://ids.snu.ac.kr )이 AAAI (컴퓨터공학부 지정 최고 국제 학회)에 논문 두 편을 발표하게 되었습니다. 이상구 교수 연구진은 작년 동일 학회(AAAI 2018)에도 논문 한 편을 게재한 바 있어, 2년 연속 인공지능 분야 최고 권위 학회에 논문 게재하는 성과를 달성했습니다. 1. Kang Min Yoo, Youhyun Shin, and Sang-goo Lee. "Data Augmentation for Spoken Language Understanding via Joint Variational Generation." (arXiv:1809.02305). Abstract: Data scarcity is one of the main obstacles of domain adaptation in spoken language understanding (SLU) due to the high cost of creating manually tagged SLU datasets. Recent works in neural text generative models, particularly latent variable models such as variational autoencoder (VAE), have shown promising results in regards to generating plausible and natural sentences. In this paper, we propose a novel generative architecture which leverages the generative power of latent variable models to jointly synthesize fully annotated utterances. Our experiments show that existing SLU models trained on the additional synthetic examples achieve performance gains. Our approach not only helps alleviate the data scarcity issue in the SLU task for many datasets but also indiscriminately improves language understanding performances for various SLU models, supported by extensive experiments and rigorous statistical testing. 2. Taeuk Kim, Jihun Choi, Daniel Edmiston, Sanghwan Bae, Sang-goo Lee. "Dynamic Compositionality in Recursive Neural Networks with Structure-aware Tag Representations." (arXiv:1809.02286). Abstract: Most existing recursive neural network (RvNN) architectures utilize only the structure of parse trees, ignoring syntactic tags which are provided as by-products of parsing. We present a novel RvNN architecture that can provide dynamic compositionality by considering comprehensive syntactic information derived from both the structure and linguistic tags. Specifically, we introduce a structure-aware tag representation constructed by a separate tag-level tree-LSTM. With this, we can control the composition function of the existing word-level tree-LSTM by augmenting the representation as a supplementary input to the gate functions of the tree-LSTM. We show that models built upon the proposed architecture obtain superior performance on several sentence-level tasks such as sentiment analysis and natural language inference when compared against previous tree-structured models and other sophisticated neural models. In particular, our models achieve new state-of-the-art results on Stanford Sentiment Treebank, Movie Review, and Text Retrieval Conference datasets. https://cse.snu.ac.kr/sites/default/files/node--notice/figure1.PNG...
과거 미분류
포스트 대표 이미지

전병곤 교수 연구진, 화이트박스 ("white box") 방식의 고성능 머신러닝 추론 시스템 PRETZEL 개발

- 학습된 머신러닝 모델의 구조를 활용하여 추론을 최적화하여 수행하는 화이트박스 (“white box”) 방식의 시스템 개발 - 기존 블랙박스 (“black box”) 방식 대비 제99백분위수 응답시간 5.5배, 메모리 사용량 25배 감소, 처리량 4.7배 증가 - 시스템 분야 최고 학회 OSDI 논문 게재 전병곤 교수 연구진은 마이크로소프트 (Microsoft), 밀라노 공과대학 (Politecnico di Milano)과의 공동 연구를 통해 백엔드(back-end)에서 머신러닝 추론 (inference)을 최적화하여 수행하는 시스템 PRETZEL을 개발했다고 밝혔다. 머신러닝 분야는 연구 경쟁이 지속적으로 치열해지고 있고, 실생활 많은 분야에 빠르게 적용되어 가장 중요한 핵심 기술 중 하나로 자리잡았다. 머신러닝 추론은 학습 (training)이 완료된 모델을 가지고 새로운 사용자 입력이 주어졌을 때 그에 대한 답을 제공하는 것이다. 머신러닝에 기반한 서비스를 제공하고자 할 때 1차적으로 정교한 모델을 만들어 내는 것도 중요하지만, 시스템 측면에서 지연시간, 처리량, 자원 사용량을 최적화하는 것이 실제 사용자가 경험하게 되는 서비스의 수준을 높이는 데 필수적이라고 할 수 있다. 해당 분야에서 널리 사용되는 블랙박스 방식은 학습된 모델을 컨테이너 기술 등을 통해 별도의 수정없이 서버에 배포한다. 사용자는 모델을 쉽게 배포할 수 있지만, 모델의 내부 수행과정을 최적화 할 수 없고 여러 모델을 동시에 수행할 경우 중복된 부분으로 인한 자원의 낭비가 발생하게 된다. PRETZEL은 기존과 달리 모델의 구조를 분석하고 이를 활용해서 추론 성능을 최적화하는 화이트박스 방식의 시스템을 제안했다. 마이크로소프트의 머신러닝 모델 500개에 대한 성능을 비교한 결과 기존 Black-box 방식 대비 평균적으로 제99백분위수 응답시간이 5.5배, 메모리 사용량이 25배 감소하였고, 처리량은 4.7배 증가하였다. 전 교수 연구팀의 이번 연구 PRETZEL은 2018년 10월 미국 캘리포니아 칼즈배드에서 개최된 시스템 분야 최고 학회 중 하나인 OSDI (USENIX Symposium on Operating Systems Design and Implementation)에서 발표되었다. OSDI에서 한국 대학교 논문이 실린 것은 2000년에 처음 게재된 이후 18년 만의 성과이다. 논문 페이지: https://www.usenix.org/conference/osdi18/presentation/lee...
과거 미분류
포스트 대표 이미지