- 소식
- arrow_forward_ios
새 소식
연구
강유 교수팀, 전자신문 ICT 논문 공모 대제전 최우수상 수상
전자신문 ICT 논문 공모 대제전 최우수상 수상빠르고 정확한 전이 학습 기술 개발컴퓨터공학부 허혜문 박사과정 학생과 강유 교수가 작성한 논문이 제 15회 전자신문 ICT 논문 공모 대제전 최우수상을 수상하였다. 본 논문에서 다룬 전이 학습은 미리 학습된 모델을 활용하여 새로운 도메인에서의 인공지능 과업의 정확도를 높이는 기법을 의미한다. 전이 학습은 특히 새로운 도메인에서의 데이터가 부족할 때 미리 방대한 데이터로 학습한 모델을 활용하여 성능을 높일 수 있다는 점에서 요즘 많은 관심을 받고 있다.이번 논문에서는 새로운 도메인에 가장 적합한 모델을 빠르게 선택하여 전이학습을 하는 TMI라는 기법을 제안하였다. TMI는 미리 학습된 모델 중 최적의 모델 구조를 선택하거나, 가장 좋은 원본 데이터로 학습된 모델을 선택하는 등 다양한 전이 학습 환경에서 활용 가능하다. 한편, 본 연구는 과학기술정보통신부의 SW 스타랩 과제의 지원을 받았으며, 초 거대 모델을 빠르고 가볍지만 정확도를 유지하는 모델로 압축하는 모델 경량화를 위한 최적의 모델을 선택하는데 활용될 예정이다. “Fast and Accurate Transferability Measurement by Evaluating Intra-class Feature Variance”, Huiwen Xu, U Kang, ICCV 2023...박근수 교수, VLDB 2023에서 Distinguished Reviewer Award 수상
VLDB 2023 학술대회에서 Distinguished Reviewer Award를 수상Proceedings of the VLDB Endowment의 Review Board member박근수 교수는 Proceedings of the VLDB Endowment의 Review Board member로서 2022년 4월부터 2023년 3월까지 봉사하였는데, 시간복잡도에 대한 깊이있는 이해에 기반한 코멘트와 건설적인 리뷰를 한 공로를 인정받아 VLDB 2023 학술대회에서 Distinguished Reviewer Award를 수상하였다. 이는 컴퓨터공학부 컴퓨터이론 및 응용 연구실의 대학원생들과의 협력으로 이룬 성과이다....이재진 교수 연구진, "삼성 인공지능/컴퓨터공학 챌린지 2023" 컴퓨터공학 분야 수상
삼성전자 SAIT에서 주최하는 "삼성 인공지능/컴퓨터공학 챌린지 2023"의 컴퓨터공학 분야에서 최우수상, 우수상 수상시스템 및 알고리즘 최적화를 통해 대규모 언어 모델의 추론 성능 가속화이재진 교수 연구실 소속 두 개의 팀이 삼성전자 SAIT에서 주최하여 8월 21일부터 10월 20일까지 진행된 "삼성 인공지능/컴퓨터공학 챌린지 2023"의 컴퓨터공학 분야에서 각각 최우수상(TeamH : 김희훈, 유준열) 및 우수상(ShongShong2 : 김진표, 박대영, 신준식)을 수상하였다.대규모 언어 모델(Large Language Model)이 다양한 분야에서 높은 성과를 보여주면서 수요가 폭발적으로 증가하고 있어 대량의 GPU 자원을 활용하여 추론 시간을 줄이는 것이 중요해졌다. 이러한 추세에 맞추어, 올해로 3회를 맞는 "삼성 인공지능/컴퓨터공학 챌린지 2023"는 기존 인공지능 분야 외 컴퓨터공학 분야를 신설하였다. 컴퓨터공학 분야의 과제는 여러 개의 GPU를 활용하여 시스템 및 알고리즘 최적화를 통해 대규모 언어 모델의 정확도를 떨어뜨리지 않으면서 추론 성능을 높이는 것이었다.두 팀은 기존 GPU 연구 경험을 바탕으로 다양한 최적화를 적용하여 LLaMA-30B 모델로 HellaSwag 데이터셋 전체를 추론하는 시간을 400초 수준까지 가속하였다. 그 결과 최종 라운드에 선발된 10팀 중 각각 1위와 2위를 기록하는 성과를 냈다. 챌린지에 참여한 ShongShong2 팀의 김진표 학생은 "대회를 진행하면서 개인 연구 주제에 대해서도 다른 관점에서 고민해 볼 수 있었고, 큰 동기 부여를 해주는 경험이었다"고 밝혔다. 두 팀에는 부상으로 각각 상금 1,000만 원과 500만 원이 수여된다....강유 교수 연구진, 빠르고 정확한 전이 학습 기술 개발
빠르고 정확한 전이 학습 기술 개발 미리 학습된 모델 중 대상 과업의 성능 향상에 가장 도움을 많이 주는 모델을 빠르게 찾는 기술강유 교수 연구진이 빠르고 정확한 전이 학습 기술을 개발하였다. 전이 학습은 미리 학습된 모델을 활용하여 새로운 도메인에서의 인공지능 과업에 적용하는 기법을 의미한다. 최근 방대한 데이터로 미리 학습한 모델을 새로운 과업에 적용하여 정확도를 높이는 사례가 늘어나면서 전이 학습의 중요성이 커지고 있다.본 연구에서는 여러 미리 학습된 모델 중에서, 새로운 도메인의 과업에 가장 적합한 모델을 빠르게 선택하여 전이학습을 하는 TMI 라는 기법을 제안하였다. TMI는 새로운 과업에 재학습을 하지 않고도 클래스 간 분산 정보를 활용하여 빠르게 최적의 전이학습용 모델을 찾아낸다.본 연구는 과학기술정보통신부의 SW 스타랩 과제의 지원을 받았으며, 거대 모델을 빠르고 가벼운 모델로 압축하는 모델 경량화를 위한 최적의 모델을 선택하는데 활용될 예정이다. 연구 결과는 2023년 10월에 열린 최우수 인공지능 학회인 ICCV 2023에서 발표되었다.▲ 미리 학습된 모델 중 대 상과업의 성능 향상에 가장 도움을 많이 주는 모델을 빠르게 찾는 기술 개발“Fast and Accurate Transferability Measurement by Evaluating Intra-class Feature Variance”, Huiwen Xu, U Kang, ICCV 2023...송현오 교수 연구진, 강화학습 에이전트의 일반화 성능을 향상시키는 기술 개발로 세계 선도
■ 다중 학습환경에 최적화된 정책 기반 강화학습 알고리즘 개발■ 강화학습 기술의 실세계 적용 가능성을 크게 높임송현오 교수 연구진(연구원: 문승용, 이준영)이 강화학습 에이전트의 일반화 성능을 크게 향상시키는 정책 기반 강화학습 알고리즘을 개발하였다.강화학습 기술은 로봇, 게임 등의 분야에서 뛰어난 성능을 보이고 있지만, 특정 환경에 과적합하여 환경이 약간이라도 변화하게 되면 성능이 급격히 하락하는 치명적인 단점이 있다. 송현오 교수 연구진은 다양한 변화가 존재하는 다중 학습환경이 주어진 상황에서, 특정 환경에 과적합하지 않도록 에이전트를 학습하여 학습 시 경험하지 못한 새로운 환경에서도 강건하게 작동할 수 있도록 하는 가치 함수(value network) 학습 기법 및 정책 기울기(policy gradient) 알고리즘을 개발하였다. 이번 연구는 강화학습 기술을 실시간으로 변화하는 실세계 환경에 적용할 수 있는 가능성을 크게 향상시켰다는 데 의의가 있다.해당 연구 결과는 오는 12월 머신러닝 최고 학회인 NeurIPS 2022에 발표될 예정이다. “Rethinking Value Function Learning for Generalization in Reinforcement Learning”, Seungyong Moon, JunYeong Lee, Hyun Oh Song....이재진 교수 연구진, 거대 딥러닝 모델 학습 기술 개발로 세계 선도
■ 근접 메모리 컴퓨팅(Near-memory computing) 플랫폼인 삼성전자의 AXDIMM과 고속의 저장장치를 활용, GPU 메모리의 한계 극복 ■ 거대 딥러닝 모델의 학습을 소규모 시스템에서 가능케 하는 기술 개발 이재진 교수 연구진(연구원: 김희훈, 박대영, 김진표, 신준식)이 메모리와 저장장치를 활용하여 거대 딥러닝 모델을 학습하는 기술로 삼성전자에서 주최한 Open Innovation Contest for AXDIMM Technology에서 1위를 달성하였다.트랜스포머 구조를 필두로 한 거대 딥러닝 모델이 자연어 처리, 이미지 분석 등 다양한 분야에서 뛰어난 성능을 보이고 있다. 그러나 기존 기술로 거대 딥러닝 모델을 학습하기 위해서는 수백 내지는 수천 개의 GPU로 구성된 시스템이 필요하며, 그런 시스템에 접근 가능한 소수의 기업과 연구자만이 모델을 활용할 수 있었다.이재진 교수 연구진은 학습 과정에서 사용하는 데이터의 일부를 GPU 메모리 대신 AXDIMM 내의 메모리 또는 고속의 저장장치인 NVMe SSD에 저장하여 적은 수의 GPU로도 기존보다 큰 모델을 학습할 수 있는 기술을 개발하였다. 또한 딥러닝 연산 중 파라미터 갱신을 AXDIMM에 하드웨어로 구현하고, 메모리와 근접한 곳에서 실행함으로써 같은 연산을 GPU 또는 CPU에서 실행하는 것에 비해 높은 성능을 달성하였다.연구진이 소규모 프로토타입 시스템을 구축하여 거대 딥러닝 모델 중 하나인 GPT-3로 테스트한 결과, AXDIMM 기반 시스템은 개발한 기술을 사용하지 않은 시스템 대비 최대 1.68배의 성능 향상을 보였다. 고성능을 요하는 애플리케이션에서 발생하는 메모리 병목이 주목받고 있는 가운데, 개발한 기술은 near-memory computing을 통해 문제를 해결한 중요한 사례로서 남을 것이다....강유 교수 연구진, 데이터 마이닝 Best Paper Award 그랜드 슬램 달성
■ 비정형 고차원 텐서를 빠르고 확장성있게 분해하는 기법 DPar2 개발■ 행동, 교통, 기후, 주식 등 다양한 고차원 데이터 분석에 적용 가능강유 교수 연구진이 데이터 마이닝 분야 국제 최우수 학회인 KDD, ICDM, ICDE에서 모두 Best Paper Award를 수상하는 “Best Paper Award 그랜드 슬램”을 달성하는 쾌거를 올렸다. 강유 교수 연구진이 올해 열린 ICDE 2022에서 Best Research Paper Award (Honorable Mention)를 수상하였다. 연구진은 이를 통해 KDD 2021 Best Research Paper Award와 ICDM 2018 10-Year Best Paper Award와 함께 데이터 마이닝 분야 국제 최우수 학회인 KDD, ICDM, ICDE에서 모두 Best Paper Award를 수상하는 “Best Paper Award 그랜드 슬램”을 달성하는 쾌거를 올렸다.이번 ICDE 2022 논문에서는 비정형 고차원 텐서 데이터에서 빠르고 정확하게 패턴을 분석하는 DPar2 기법을 제시하였고, DPar2는 기존 기법과 비슷한 정확도 수준에서 6배 빠르게 데이터를 분석할 수 있는 기법으로 앞으로 행동, 교통, 기후, 주식 등 다양한 고차원 데이터의 패턴을 빠르고 정확하게 찾는데 활용될 것으로 기대된다. “DPar2: Fast and Scalable PARAFAC2 Decomposition for Irregular Dense Tensors”, Jun-Gi Jang and U Kang....- keyboard_double_arrow_leftnavigate_beforenavigate_nextkeyboard_double_arrow_right