1. 소식
  2. arrow_forward_ios

새 소식

태그
검색
연구

김선 교수 연구진, "삼성 인공지능/컴퓨터공학 챌린지 2023" 인공지능 분야 수상

삼성전자 SAIT에서 주최하는 "삼성 인공지능/컴퓨터공학 챌린지 2023"의 인공지능 분야에서 우수상 수상반도체 소재 시스템의 3차원 구조로부터 에너지 및 force field 예측하는 알고리즘 개발김선 교수 연구실 소속 팀 (Team 털실뭉치의 이단영) 이 삼성전자 SAIT에서 주최한 "삼성 인공지능/컴퓨터공학 챌린지 2023"의 인공지능 분야의 “반도체 소재 시뮬레이션용 머신 러닝 알고리즘” 부문에서 2위(우수상)로 수상하였다. 해당 부문의 주제는 반도체 소재 시스템의 3차원 구조로부터 시스템의 에너지 및 force field를 예측하는 알고리즘 개발이었으며, 이는 분자 동역학 (Molecular dynamics) 을 통한 에너지 최적화 및 시뮬레이션의 정확성을 향상시키는 데 중요한 역할을 한다.김선 교수 팀은 3차원 구조의 모델링에 적합한 equivariant 신경망 기반 모델의 개발을 통해 반도체 소재의 복잡한 구조와 상호 작용을 더 정확하고 효율적으로 모델링하고자 하였다. 연구팀은 다양한 기계학습 기법과 결합된 새로운 접근 방식을 사용하여, 전통적인 방법보다 빠르고 정확한 예측이 가능하게 하였다. 이를 통해, 반도체 소재의 효율적인 설계 및 개발 과정에서의 시간 및 비용 절감에 크게 기여할 것으로 기대된다....
포스트 대표 이미지

강유 교수팀, 전자신문 ICT 논문 공모 대제전 최우수상 수상

전자신문 ICT 논문 공모 대제전 최우수상 수상빠르고 정확한 전이 학습 기술 개발컴퓨터공학부 허혜문 박사과정 학생과 강유 교수가 작성한 논문이 제 15회 전자신문 ICT 논문 공모 대제전 최우수상을 수상하였다. 본 논문에서 다룬 전이 학습은 미리 학습된 모델을 활용하여 새로운 도메인에서의 인공지능 과업의 정확도를 높이는 기법을 의미한다. 전이 학습은 특히 새로운 도메인에서의 데이터가 부족할 때 미리 방대한 데이터로 학습한 모델을 활용하여 성능을 높일 수 있다는 점에서 요즘 많은 관심을 받고 있다.이번 논문에서는 새로운 도메인에 가장 적합한 모델을 빠르게 선택하여 전이학습을 하는 TMI라는 기법을 제안하였다. TMI는 미리 학습된 모델 중 최적의 모델 구조를 선택하거나, 가장 좋은 원본 데이터로 학습된 모델을 선택하는 등 다양한 전이 학습 환경에서 활용 가능하다. 한편, 본 연구는 과학기술정보통신부의 SW 스타랩 과제의 지원을 받았으며, 초 거대 모델을 빠르고 가볍지만 정확도를 유지하는 모델로 압축하는 모델 경량화를 위한 최적의 모델을 선택하는데 활용될 예정이다. “Fast and Accurate Transferability Measurement by Evaluating Intra-class Feature Variance”, Huiwen Xu, U Kang, ICCV 2023...
포스트 대표 이미지
포스트 대표 이미지

이재진 교수 연구진, "삼성 인공지능/컴퓨터공학 챌린지 2023" 컴퓨터공학 분야 수상

삼성전자 SAIT에서 주최하는 "삼성 인공지능/컴퓨터공학 챌린지 2023"의 컴퓨터공학 분야에서 최우수상, 우수상 수상시스템 및 알고리즘 최적화를 통해 대규모 언어 모델의 추론 성능 가속화이재진 교수 연구실 소속 두 개의 팀이 삼성전자 SAIT에서 주최하여 8월 21일부터 10월 20일까지 진행된 "삼성 인공지능/컴퓨터공학 챌린지 2023"의 컴퓨터공학 분야에서 각각 최우수상(TeamH : 김희훈, 유준열) 및 우수상(ShongShong2 : 김진표, 박대영, 신준식)을 수상하였다.대규모 언어 모델(Large Language Model)이 다양한 분야에서 높은 성과를 보여주면서 수요가 폭발적으로 증가하고 있어 대량의 GPU 자원을 활용하여 추론 시간을 줄이는 것이 중요해졌다. 이러한 추세에 맞추어, 올해로 3회를 맞는 "삼성 인공지능/컴퓨터공학 챌린지 2023"는 기존 인공지능 분야 외 컴퓨터공학 분야를 신설하였다. 컴퓨터공학 분야의 과제는 여러 개의 GPU를 활용하여 시스템 및 알고리즘 최적화를 통해 대규모 언어 모델의 정확도를 떨어뜨리지 않으면서 추론 성능을 높이는 것이었다.두 팀은 기존 GPU 연구 경험을 바탕으로 다양한 최적화를 적용하여 LLaMA-30B 모델로 HellaSwag 데이터셋 전체를 추론하는 시간을 400초 수준까지 가속하였다. 그 결과 최종 라운드에 선발된 10팀 중 각각 1위와 2위를 기록하는 성과를 냈다. 챌린지에 참여한 ShongShong2 팀의 김진표 학생은 "대회를 진행하면서 개인 연구 주제에 대해서도 다른 관점에서 고민해 볼 수 있었고, 큰 동기 부여를 해주는 경험이었다"고 밝혔다. 두 팀에는 부상으로 각각 상금 1,000만 원과 500만 원이 수여된다....
포스트 대표 이미지

강유 교수 연구진, 빠르고 정확한 전이 학습 기술 개발

 빠르고 정확한 전이 학습 기술 개발 미리 학습된 모델 중 대상 과업의 성능 향상에 가장 도움을 많이 주는 모델을 빠르게 찾는 기술강유 교수 연구진이 빠르고 정확한 전이 학습 기술을 개발하였다. 전이 학습은 미리 학습된 모델을 활용하여 새로운 도메인에서의 인공지능 과업에 적용하는 기법을 의미한다. 최근 방대한 데이터로 미리 학습한 모델을 새로운 과업에 적용하여 정확도를 높이는 사례가 늘어나면서 전이 학습의 중요성이 커지고 있다.본 연구에서는 여러 미리 학습된 모델 중에서, 새로운 도메인의 과업에 가장 적합한 모델을 빠르게 선택하여 전이학습을 하는 TMI 라는 기법을 제안하였다. TMI는 새로운 과업에 재학습을 하지 않고도 클래스 간 분산 정보를 활용하여 빠르게 최적의 전이학습용 모델을 찾아낸다.본 연구는 과학기술정보통신부의 SW 스타랩 과제의 지원을 받았으며, 거대 모델을 빠르고 가벼운 모델로 압축하는 모델 경량화를 위한 최적의 모델을 선택하는데 활용될 예정이다. 연구 결과는 2023년 10월에 열린 최우수 인공지능 학회인 ICCV 2023에서 발표되었다.▲ 미리 학습된 모델 중 대 상과업의 성능 향상에 가장 도움을 많이 주는 모델을 빠르게 찾는 기술 개발“Fast and Accurate Transferability Measurement by Evaluating Intra-class Feature Variance”, Huiwen Xu, U Kang, ICCV 2023...
포스트 대표 이미지

송현오 교수 연구진, 강화학습 에이전트의 일반화 성능을 향상시키는 기술 개발로 세계 선도

■ 다중 학습환경에 최적화된 정책 기반 강화학습 알고리즘 개발■ 강화학습 기술의 실세계 적용 가능성을 크게 높임송현오 교수 연구진(연구원: 문승용, 이준영)이 강화학습 에이전트의 일반화 성능을 크게 향상시키는 정책 기반 강화학습 알고리즘을 개발하였다.강화학습 기술은 로봇, 게임 등의 분야에서 뛰어난 성능을 보이고 있지만, 특정 환경에 과적합하여 환경이 약간이라도 변화하게 되면 성능이 급격히 하락하는 치명적인 단점이 있다. 송현오 교수 연구진은 다양한 변화가 존재하는 다중 학습환경이 주어진 상황에서, 특정 환경에 과적합하지 않도록 에이전트를 학습하여 학습 시 경험하지 못한 새로운 환경에서도 강건하게 작동할 수 있도록 하는 가치 함수(value network) 학습 기법 및 정책 기울기(policy gradient) 알고리즘을 개발하였다. 이번 연구는 강화학습 기술을 실시간으로 변화하는 실세계 환경에 적용할 수 있는 가능성을 크게 향상시켰다는 데 의의가 있다.해당 연구 결과는 오는 12월 머신러닝 최고 학회인 NeurIPS 2022에 발표될 예정이다. “Rethinking Value Function Learning for Generalization in Reinforcement Learning”, Seungyong Moon, JunYeong Lee, Hyun Oh Song....
포스트 대표 이미지

이재진 교수 연구진, 거대 딥러닝 모델 학습 기술 개발로 세계 선도

■ 근접 메모리 컴퓨팅(Near-memory computing) 플랫폼인 삼성전자의 AXDIMM과 고속의 저장장치를 활용, GPU 메모리의 한계 극복 ■ 거대 딥러닝 모델의 학습을 소규모 시스템에서 가능케 하는 기술 개발 이재진 교수 연구진(연구원: 김희훈, 박대영, 김진표, 신준식)이 메모리와 저장장치를 활용하여 거대 딥러닝 모델을 학습하는 기술로 삼성전자에서 주최한 Open Innovation Contest for AXDIMM Technology에서 1위를 달성하였다.트랜스포머 구조를 필두로 한 거대 딥러닝 모델이 자연어 처리, 이미지 분석 등 다양한 분야에서 뛰어난 성능을 보이고 있다. 그러나 기존 기술로 거대 딥러닝 모델을 학습하기 위해서는 수백 내지는 수천 개의 GPU로 구성된 시스템이 필요하며, 그런 시스템에 접근 가능한 소수의 기업과 연구자만이 모델을 활용할 수 있었다.이재진 교수 연구진은 학습 과정에서 사용하는 데이터의 일부를 GPU 메모리 대신 AXDIMM 내의 메모리 또는 고속의 저장장치인 NVMe SSD에 저장하여 적은 수의 GPU로도 기존보다 큰 모델을 학습할 수 있는 기술을 개발하였다. 또한 딥러닝 연산 중 파라미터 갱신을 AXDIMM에 하드웨어로 구현하고, 메모리와 근접한 곳에서 실행함으로써 같은 연산을 GPU 또는 CPU에서 실행하는 것에 비해 높은 성능을 달성하였다.연구진이 소규모 프로토타입 시스템을 구축하여 거대 딥러닝 모델 중 하나인 GPT-3로 테스트한 결과, AXDIMM 기반 시스템은 개발한 기술을 사용하지 않은 시스템 대비 최대 1.68배의 성능 향상을 보였다. 고성능을 요하는 애플리케이션에서 발생하는 메모리 병목이 주목받고 있는 가운데, 개발한 기술은 near-memory computing을 통해 문제를 해결한 중요한 사례로서 남을 것이다....
포스트 대표 이미지
포스트 대표 이미지