DGIST (대구경북과학기술원, 총장 국양) 전기전자컴퓨터공학과 진경환 교수와 정보통신융합연구소 이재원 연구원은 해상도 증대를 위한 Bicubic interpolation 기술보다 해상력은 높고, 기존 딥러닝 기술 대비 메모리와 속도가 절반 이상 절감된 기술을 개발했다.
▲ DGIST 전기전자컴퓨터공학과 진경환 교수(왼쪽)와 정보통신융합연구소 이재원 연구원
Bicubic interpolation 은 디스플레이 기기마다 다른 해상도를 보상하기 위한 개발된 신호처리 기반의 기술을 의미한다. Bicubic interpolation 은 메모리가 적게 들고, 속도가 빠르지만 이미지의 해상도가 저하되는 화질열화 현상이 심하게 나타난다.
이를 극복하기 위해 딥러닝 기반의 초고해상도 기술들이 등장했다. 이미지 초고해상도 기술은 디스플레이, 카메라, cctv 등과 같이 일상생활과 밀접한 관련이 있다. 예를 들어 스마트폰에서는 화면을 확대해야 하는 경우가 많은데 이런 상황에서 기존 bicubic 보간보다 뚜렷한 영상을 고해상도화 해야만 한다. 디스플레이 역시 제품마다 해상도가 다른데 이를 보상하기 위한 DDI scaler 의 소프트웨어 알고리즘으로 사용될 수 있다.
하지만 딥러닝 기반의 초고해상도 기술은 임의 스케일에 대해 동작하지 못하고, 특정 스케일에 대해서만 동작이 원활하다는 단점을 지니고 있는데, 최근 이에 대한 해결책으로 함축 표현 신경망 기술이 주목을 받고 있다.
하지만 함축 표현 신경망 기술에도 고주파 성분을 잡아내지 못하고, 메모리의 크기와 신호의 속도 측면에서 크게 불리하다는 문제점이 있는데, 진경환 교수 연구팀에서 이러한 문제를 해결하기 위해 퓨리에 해석 기반 함축 표현 신경망 기술을 개발하였다.
해당 기술은 이미지의 주파수를 직접적으로 추출하기 때문에, 화질 복원에 있어서 고주파수를 복원하는 데 용이하다. 이미지의 화질을 높이기 위해서는 고주파수 복원이 반드시 필요하므로 CCTV, 디스플레이, 카메라 등과 같은 영상 또는 사진 관련 제품들에 필수적인 기술이라고 할 수 있다.
진경환 교수는 “해당 기술의 개발을 통해 짧은 시간 내에 적은 양의 메모리만으로도 임의 스케일에 대한 화질 개선이 이루어 질 수 있다. 이로 인해 영상 또는 사진 관련 제품의 알고리즘을 통한 화질 개선, 소프트웨어의 경량화가 이루어질 것으로 기대된다.”고 밝혔다.
한편, 이번 연구성과는 한국연구재단과 정보통신기획평가원의 지원을 통해 이뤄졌으며, 비전 기술 분야 세계적 권위의 국제 컨퍼런스 ‘IEEE/CVF 2022 Conference on Computer Vision and Pattern Recognition’에 6월 게재되었다.
