[대학저널 오혜민 기자] KAIST(한국과학기술원) 전산학부 김민수 교수 연구팀이 기계학습시스템의 성능을 대폭 높일 수 있는 행렬 연산자 융합기술(FuseME)을 개발했다.
20일 KAIST에 따르면 딥러닝 모델은 행렬 곱셈과 행렬 합, 행렬 집계 등 많은 행렬 연산자들로 구성된 방향성 비순환 그래프(DAG) 형태의 질의 계획으로 표현돼 기계학습시스템에 의해 처리된다.
모델과 데이터의 규모가 클 때는 일반적으로 DAG 질의 계획은 수많은 컴퓨터로 구성된 클러스터에서 처리된다. 그러나 클러스터의 사양에 비해 모델과 데이터의 규모가 커지면 처리에 실패하거나 시간이 오래 걸리는 문제가 있었다.
지금까지는 더 큰 규모의 모델이나 데이터를 처리하기 위해 단순히 컴퓨터 클러스터의 규모를 증가시키는 방식을 주로 사용했으나, 연구팀은 DAG 질의 계획을 구성하는 각 행렬 연산자로부터 생성되는 일종의 중간 데이터를 메모리에 저장하거나 네트워크 통신을 통해 다른 컴퓨터로 전송하는 것이 문제의 원인임에 착안했다.
이에 따라 중간 데이터를 저장하지 않거나 다른 컴퓨터로 전송하지 않도록 여러 행렬 연산자들을 하나의 연산자로 융합하는 융합기술인 FuseME(Fused Matrix Engine)를 개발해 문제를 해결했다.
이 기술은 수십개 이상의 행렬 연산자들로 구성되는 DAG 질의 계획에서 어떤 연산자들끼리 융합하는 것이 더 우수한 성능을 내는지 비용기반으로 판별해 그룹으로 묶고 각 융합 연산자 그룹을 메모리 부족으로 처리에 실패하지 않으면서 이론적으로 최적 성능을 낼 수 있는 CFO(Cuboid-based Fused Operator)라 불리는 연산자로 융합함으로써 한계를 극복했다. 이때 행렬 곱 연산자까지 포함해 연산자들을 융합하는 것이 핵심이다.
이번 연구에는 김 교수의 제자이자 현재 GraphAI(그래파이) 스타트업의 공동 창업자인 한동형 박사가 제1저자, 김 교수가 교신저자로 참여했다. 연구 결과는 지난 16일 미국 필라델피아에서 열린 데이터베이스분야 국제학술대회 ACM SIGMOD에서 발표됐다.
[저작권자ⓒ 대학저널. 무단전재-재배포 금지]
