 |
최근 인공지능, 데이터마이닝, 추천시스템, 과학계산 등 다양한 분야에서 고차원·대규모 데이터 분석의 중요성이 커지고 있다. 특히 텐서 분해는 다차원 데이터의 잠재 구조를 분석하는 핵심 기술로 활용되고 있으나, 데이터 규모가 커질수록 메모리 사용량이 급격히 증가하고, 데이터 쏠림 현상으로 인해 병렬 처리 효율이 저하되는 문제가 있었다.
연구팀은 이러한 한계를 해결하기 위해 데이터 분포의 쏠림 특성을 고려한 다단계 분할 기법과 GPU–스토리지 협업 실행 구조를 결합한 새로운 Tucker 분해 프레임워크인 ‘GSP-Tucker’를 제안했다. 제안 기술은 대규모 희소 텐서를 여러 단계로 분할하고, GPU 연산과 스토리지 기반 데이터 처리를 유기적으로 결합함으로써 제한된 메모리 환경에서도 대규모 텐서 분해를 안정적으로 수행할 수 있도록 설계됐다.
기존 Tucker 분해 기법들은 대규모 중간 결과를 한꺼번에 메모리에 적재하거나, 데이터 쏠림이 심한 경우 특정 연산 구간에 부하가 집중되는 문제가 있었다. 이에 비해 GSP-Tucker는 데이터의 비균형 분포를 고려해 연산 단위를 구성하고, 필요한 데이터만 순차적으로 불러와 처리하는 out-of-core 실행 방식을 적용했다. 이를 통해 메인 메모리와 GPU memory 사용량을 효과적으로 줄이면서도 GPU의 병렬 연산 성능을 활용할 수 있다.
실험 결과, 제안한 GSP-Tucker는 기존 최신 Tucker 분해 기법들이 메모리 부족 또는 실행 실패를 보이는 대규모 데이터셋에서도 안정적으로 동작했으며, 메모리 사용량과 실행 성능 측면에서 우수한 결과를 보였다. 이는 단일 머신 환경에서도 초대규모 텐서 데이터를 처리할 수 있는 가능성을 제시한 성과다.
연구 결과는 한기대, ETRI, 전북대 연구팀의 협업을 통해 도출되었다. 이번 연구의 공동 주저자는 한국기술교육대학교 컴퓨터공학부 석박사통합과정 송승현 학생과 ETRI 이지혜 박사이며, 한국기술교육대학교 전강욱 교수와 전북대학교 김찬기 교수가 공동 교신저자로 참여했다.
전강욱 교수는 “이번 연구는 초대규모 비정형 텐서 데이터 분석에서 가장 큰 병목 중 하나인 메모리 한계와 데이터 쏠림 문제를 동시에 완화할 수 있는 실행 기술을 제시했다는 점에서 의미가 있다”라며 “향후 추천시스템, 지식그래프 분석, 과학계산, 대규모 인공지능 데이터 처리 등 다양한 분야로 확장될 수 있을 것으로 기대한다”고 말했다.
이번 연구 논문은 데이터베이스 분야 세계 3대 학술대회 중 하나인 IEEE ICDE(International Conference on Data Engineering) 2026에 채택됐다. 연구팀은 지난 4일부터 8일까지 캐나다 몬트리올에서 개최된 ICDE 2026에서 ‘Toward Scalable Tucker Decomposition: Skew-Aware Multi-Level Partitioning with GPU–Storage Co-Processing’라는 제목으로 연구 결과를 발표했다.
[저작권자ⓒ 대학저널. 무단전재-재배포 금지]
