반고흐 필터로 영상을 - 딥 러닝 기반의 영상 필터 프로그램

스마트폰이 보급되면서 사진 촬영은 일상이 되었습니다. 누구나 사진을 찍고 SNS에 공유하는 가운데, 촬영과 더불어 일상화 된 것은 바로 '보정'입니다.보정 관련 앱은 그 종류가 굉장히 많으며 또한 인기가 많습니다. 대표적으로 VSCO Cam, Snapseed, Analogfilm, Camera360 등 다운로드 랭킹 상위권에서 쉽게 찾아볼 수 있었고, 여전히 존재하기도 합니다. 대표적인 SNS인 Instagram 역시 자체적으로 상당한 사진 보정 필터를 탑재하고 있기 때문에 지금의 위치에 오를 수 있었습니다. 이러한 앱 등장 이전에는 포토샵을 가지고 꽤 오랜 시간을 공들여야 얻을 수 있었던 결과물이 단지 몇 초 간의 터치 만으로 가능해진겁니다.

이러한 보정을 통해서 색이나 콘트라스트, 밝기와 색온도를 바꾸는 것을 넘어 특정 작가의 스타일대로 이미지를 바꾸는 기술도 등장했습니다. 독일의 프라이부르크 대학(University of Freiburg) 산하 컴퓨터비젼(Computer Vision) 연구실의 마누엘 루더(Manuel Ruder)외 2인의 연구자들(Alexey Dosovitskiy, Tohmas Brox)은 <컴퓨터 시각과 패턴 인지(Computer Vision and Pattern Recognition)> 논문을 통해서 컴퓨터가 특정 이미지를 분석하여 다른 이미지를 변환시키는 연구를 진행했습니다. 예컨데 반 고흐의 작품이미지를 분석해 다른 이미지를 고흐 그림처럼 바꾸는 컴퓨터 프로그램입니다. 이들은 여기에서 한발 더 나아가 최근 <비디오 스타일 변환 프로그램(Artistic Style Transfer for Video)> 논문을 발표했습니다. 이 연구를 통해 특정 그림의 스타일을 영상 전체에 반영할 수 있게 되었습니다. 아래의 예시 영상에서 볼 수 있듯 결과가 상당히 놀랍습니다.

반 고흐 작품 이미지를 분석한 데이터를 토대로 각 영상을 동일 스타일로 렌더링하는 장면입니다. 보통 영상은 30프레임, 초당 30장의 이미지로 구성되기에 각 30장의 이미지들을 각각 변환하여 연결하면 될 것 같지만 그렇게 진행할 경우 각 이미지들간의 연속성이 훼손되어 영상으로 볼 때 상당한 위화감이 발생한다고 합니다. 이들 연구진은 딥러닝을 통해 그 편차를 보정하는 방법(Temporal Constraint)을 사용했다고 합니다.

프로그램을 통한 배치 프로세스는 이전부터 사용했지만 딥러닝의 본격적인 현실화 이후 그 과정은 단순 반복이 아닌, 각 상황에 맞는 가변적인 변환을 통해 더욱 진보되고 있습니다. 특정한 화풍 또는 스타일은 이전보다 더욱 쉽고 빠르게 복제되고 확장될 수 있는 상황이 되었습니다. 인간의 손맛의 영역을 점점 따라오고 있는 자동화 기술, 또는 로봇 기술의 발달은 디자이너, 작가들에게 어떤 또 다른 영역을 추구하게 할까요. 그리고 예술과 창작에 대한 의미는 어떻게 변할까요. 사진의 등장으로 새롭게 자신의 영역을 개척했던 회화를 떠올리며 상상해 봅니다.

본 연구 알고리즘에 대한 논문과 공개된 소스코드는 이곳에서 확인 가능합니다.

허대찬 (aliceon editor.)