우리나라가 개발한 빅데이터닫기 기술을 세계 개발자들이 함께 연구하는 길이 열렸다. 전병곤 서울대 공대 컴퓨터공학부 교수가 개발한 빅데이터 분석 스택 ‘REEF(Retainable Evaluator Execution Framework)’가 지난달 아파치소프트웨어재단(ASF)으로부터 오픈소스 프로젝트 인큐베이션을 승인 받았다.

ASF는 오픈소스 소프트웨어를 지원하는 세계 최대 비영리단체로 세계적으로 230여개 오픈소스 프로젝트를 지원하고 있다. 국내 연구진이 까다로운 검증과정을 거쳐 세계적 오픈소스 프로젝트에 인큐베이팅된 사례는 드물다. 향후 세계 개발자들과 함께 기술을 개발하고 빅데이터 기술 발전을 앞당길 수 있을 것으로 기대된다.

전 교수가 개발한 REEF는 차세대 빅데이터 분석 기술을 지원한다. 하둡의 자원 관리기능인 ‘얀(YARN)’에서 빅데이터 애플리케이션을 쉽게 개발할 수 있게 통합된 레이어로 구성됐다. 기존 데이터 분석 기술은 자원관리 부문과 빅데이터 애플리케이션 부문의 인터페이스나 기술 수준이 달라 관리가 어렵고 안정적이지 못한 단점이 있었다.

전 교수가 개발한 REEF는 자원관리 부문과 애플리케이션 부문 사이에서 서로 다른 데이터를 처리하는 일종의 운용체계(OS) 같은 역할을 한다. 종류가 다른 데이터와 분석 처리 요구를 동시에 효율적으로 처리해주는 것이 장점이다. 또 새로운 애플리케이션 개발이나 최적화된 데이터처리 기술을 제공해 시간과 비용을 절감할 수 있다. 향후 기계 학습, 그래프 처리, 실시간 처리 등 빅데이터 부문에서 널리 이용이 기대된다.

이 기술은 서울대 공대 연구진과 함께 마이크로소프트, SK텔레콤 성장기술원, 퓨어스토리지, 워싱턴대가 공동 연구자로 참여해 성공적 산학 협력 프로젝트로도 평가받는다. 우리나라 학계•산업계가 공통적으로 부족하다고 지적받았던 공유, 협력 사례가 잘 이뤄진 것이다. 전 교수가 마이크로소프트 등 현업에서 근무하다 학교로 옮겨 연구를 계속 진행하면서 협력이 성공적으로 진행됐다.

전 교수는 “대기업과 함께 개발하던 기술을 오픈소스 프로젝트로 공유할 수 있는 것은 해당 기업도 기술을 독점하기보다 세계 개발자가 참여해 빠르게 기술을 개선하고 발전시켜 서비스에 반영하는 것이 더 낫다고 판단했기 때문”이라며 “향후 이 기술을 바탕으로 실리콘밸리를 비롯해 다양한 산업군에서 빅데이터 기반의 스타트업 기업이 나오길 기대한다”고 말했다.