[대학저널 온종림 기자] 한양대학교 컴퓨터소프트웨어학부 서지원(사진) 교수 연구팀이 BERT, GPT-3 등의 대규모 딥러닝 모델 학습을 가속하는 최적화 기술을 개발했다.
딥러닝 모델을 학습하는 그래픽카드(GPU) 등의 하드웨어 가속기 사용률을 높여 학습을 가속시키는 이 모델은 대규모 신경망 모델 학습을 가속화할 뿐 아니라 향후 다양한 방식으로 활용될 수 있다는 점에서 관심을 모으고 있다.
기존 딥러닝 모델 학습방식은 역전파(BackProp) 알고리즘 수행 시 딥러닝 모델 레이어의 역순으로만 계산을 스케줄링하기 때문에 하드웨어 가속기를 효율적으로 사용할 수 있는 스케줄링이 불가능했다.
서 교수 연구팀은 이런 문제점의 개선을 위해 역전파 알고리즘 과정의 계산 의존성을 분석, 하드웨어의 가용성을 최적화하는 순서로 역전파 알고리즘 계산을 하는 ‘스케줄링 알고리즘’을 고안했다.
서 교수 연구팀이 제안한 스케줄링 알고리즘은 DenseNet, MobileNet 등을 포함한 컴퓨터 비전 모델의 학습속도를 최대 1.5배 이상 향상시고, BERT·GPT-3 등의 거대 자연어처리 모델의 학습 속도를 최대 2배 향상시켰다.
이번 연구 결과는 EuroSys 학술대회 발표 후 우수성을 인정받아 영국 임페리얼 칼리지 런던, 미국 스탠포드 대학에서 초청발표가 진행됐다. 또 산업계의 주목도 받아 미국 구글 본사, 네이버 클로바, LG AI연구원, KT, SKT, 몰로코, 마키나락스 등의 초청을 받고 세미나가 열렸다.
[저작권자ⓒ 대학저널. 무단전재-재배포 금지]
