서울대학교 전병곤 교수 연구진의 빅데이터 분석 소프트웨어 네모(Nemo), 아파치 재단 오픈소스 인큐베이션 프로젝트로 선정

전병곤 서울대 공대 컴퓨터공학부 교수가 개발한 빅데이터 분석 시스템 ‘네모(Nemo)’가 2018년 2월 아파치소프트웨어재단(ASF)으로부터 오픈소스 프로젝트 인큐베이션을 승인 받았다. 네모 프로젝트는 마이크로소프트, 구글, 데이터브릭스, 쿠팡의 개발자가 멘토로 참여하고 있다. 해당 프로젝트는 과학기술정보통신부의 ‘소프트웨어 스타랩’ 과제의 전폭적인 지원으로 이와 같은 결과를 얻게 되었다.

아파치소프트웨어재단은 오픈소스 소프트웨어를 지원하는 세계 최대 비영리단체로 전세계에서 230여개 오픈소스 프로젝트를 지원하고 있다. 국내 프로젝트 중 까다로운 검증과정을 거쳐 세계적 오픈소스 프로젝트로 인큐베이팅된 사례는 드물다. 네모 프로젝트를 통해 우리 나라 빅데이터 분석 시스템 기술의 세계적인 경쟁력을 확보할 수 있을 것으로 기대된다.

전 교수 연구진이 개발한 네모는 차세대 빅데이터 분석 기술을 지원한다. 기존 데이터 분석 기술은 실행방식이 고정되어 있기에 다양한 데이터센터 자원환경 및 워크로드 특징들에 유연하게 대응하지 못한 단점이 있었다. 네모는 애플리케이션 부문과 분산 데이터 처리 부문 사이에서 다양한 수행 방식을 설정하는 기능을 제공한다. 이를 통해 다양한 데이터센터 자원환경 및 워크로드 특징에 최적화된 수행 방식이 설정되어 실행하는 것이 장점이다. 네모는 현재 많이 사용되고 있는 스파크(Spark)보다 높은 성능을 보인다.

네모는 구글 클라우드와 호환되는 빔(Beam), 또는 현업에서 빅데이터 분석에 많이 쓰이는 스파크 언어로 개발된 데이터 분석 애플리케이션을 Nemo가 이해할 수 있는 중간 표현 형태로 변환한 후 효율적으로 분산 실행한다. 또한, 기존에 이미 개발된 애플리케이션도, 네모를 통해서 수행할 수 있도록 확장성을 제공한다.

전 교수는 “네모 프로젝트는 국내 최초로 빅데이터 분석 분야에서 핵심 플랫폼 기술을 공개한 것으로 공개하자마자 우수한 기술력으로 구글 등 글로벌 산업계의 관심을 받고 있다”라며 “산업계와 학계에 큰 영향력을 주는 시스템으로 발전 시키겠다”고 말했다.