Johnny Chung Lee의 도전. Wii를 통한 디지털 세상으로의 다이브.

 

다 빈치의 <최후의 만찬>
예수 머리위의 소실점으로부터 대각선으로 뻗어나가는 원근법의 법칙을 잘 보여줍니다.

미술은(시각 예술에서의) 르네상스 시기에 현실을 모방하는 일루젼을 만드는 방식의 한 극점인 원근법Perspective를 완성했습니다. 이것은 기하학 및 과학적 사고방식과 밀접한 관계를 가지고 있습니다. 이렇게 과학은 사람들의 상상력과 맞물려 많은 모습들을 창조해 왔습니다. 그리고 19세기를 넘어서면서 미술은 카메라의 발명, 과학 및 기술의 급격한 발달로 인한 사회변화와 맞물린 기존 미술권력인 아카데미의 붕괴와, 과학과 철학의 발달로 인한 가치관 및 세계관의 변화 등등의 복합적 변화의 산물로 현실을 있는 그대로 정교하게 묘사하려는 시각에서 벗어나게 됩니다. 그 시작이 인상파였으며 점차적으로 현실의 공간이 아닌 새로운 공간과 객체의 표현으로 변화와 발전의 모습을 보여주게 됩니다. 이 또 하나의 극이 바로 추상과 개념미술이지요. 시각적 체계에 있어서 이 양 극단은 때로는 대립하며, 때로는 서로 공유하며 계속 그 모습을 발전시켜 왔습니다. 극단적으로 현실 모습을 모방해서 현실과 동일하게 인식되는 결과물을 만드려는 노력과 비현실적 이미지를 통해 새로운 세상을 인지하려는 행위의 중심에는 바로 시각적 지각체계 원근법이 있었습니다.
과학을 기초로 현실을 인식하는 시각적 세계관의 전통적인 거대한 틀이 원근법이었다면 현 시점에서 추가된 것이라면 물리세계에 대한 인식의 틀일 것입니다. 뉴턴의 고전역학을 비롯해 아인슈타인의 상대성이론을 필두로 등장한 양자역학의 새로운 역학 세계관까지 알게 모르게 사람들의 인식체계에 깊이 스며들었습니다. 가장 간단하게 물체는 아래로 떨어진다부터 시작해 가벼운 물체는 쉽게 밀리고 무거운 물체는 움직이게 하기가 쉽지 않다는 마찰력과 관성의 법칙은 누구나 이견을 제시하지 않는 '사실'입니다.
이젠 절대 고정된 것은 없다라는 양자역학의 확률적 세계관은 영화나 애니메이션을 통해 저항없이 우리들에게 전달됩니다. 간단히, 10년전만 해도 백투더퓨쳐나 터미네이터 등의 영화를 통해 미래를 바꾸기 위해 과거로 가 임무를 수행한다는, 시간축은 과거-현재-미래의 하나의 인과관계에 속한 고정축이라는 생각은 요즈음 만들어진 많은 영상물이나 게임에 의해 부정됩니다. 대신 베이징에서 나비가 날개짓을 한 것이 뉴욕에 거대한 폭풍을 불러 일으킨다는 예측 불가능적 확률의 카오스 이론이라던지 한 선택에 의해 세계는 무한히 분할되어 창조된다는, 즉 만약 과거로 돌아간다 해도 그 과거는 자신이 온 현재와는 이미 다른 세계라는 평행세계 이론이 이미 많은 영화나 애니메이션, 게임에서 선보여 집니다. 이러한 경험과 교육에 의해 무의식적으로 현실세계의 물리 세계관은 우리의 현실 인식에 대한 틀frame, tool이 되었습니다. 그리고 이 것은 디지털 기술에 의해 창조된 또 다른 세계인 가상세계를 우리에게 소개하고 전달하며 쉽고 깊게 인식하게 하는 중요한 도구가 되었습니다. 즉 현실감있는 가상현실 구성에 있어 중요한 축이 된 것입니다.
우리는 교육과 체험을 통해 무의식적이나 의식적으로 원근법과 관성 등을 통해 사물이나 현상의 움직임을 예측합니다. 즉, 물질세계라는 현실에서 일어나는 물리적 현상들을 보고 예측할 수 있습니다. 디지털에서 구현하는 세계도 마찬가지입니다. 그것이 현실을 모방했던지, 혹은 그렇지 않던지 쉬운 접촉과 몰입, 사용을 위해 이러한 물리세계의 법칙을 구현합니다. 게임에서 사용하는 물리엔진이 그 대표적인 예입니다. 요즘 흔히 보이는 1인칭 FPS게임에서 총을 쏘면 일어나는 반동이나 탄도가 날아가는 궤적, 그리고 그 탄도에 적이 맞았을 때 뒤로 튕겨나가는 움직임에서 이 물리엔진을 통한 물리법칙이 구현됩니다. 그리고 주인공 캐릭터가 그 시체라던지, 주위 사물들을 헤치고 나갈 때 그 물체의 무게에 따라 밀려나는 정도가 다르게 구현되기도 합니다. 이런 물리세계에 대한 시뮬레이션은 쉽게 가상세계를 우리에게 동등한 세계로 인식하게 만듭니다. 이런 현상들은 3차원 일루전을 보여주는 형태로 곳곳에서 그 모습을 드러내고 있습니다. 오늘 소개할 Johnny Chung Lee의 작업은 그들 중 하나입니다.

Johnny Chung Lee는 현재 카네기멜론대Carnegie Mellon University에서 Human-Computer Interaction 분야의 박사 과정에 있는 사람입니다. 이름과 외모상 중국계로 보이는군요. 재치있게 설명 참 잘 하십니다.^^

지금 소개할 것은 Head Tracking for Desktop Virtual Reality Displays using the Wii Remote 라는 제목의 동영상으로 youtube와 http://gizmodo.com라는 사이트에 소개되었습니다. 놀랍게도 그는 Nintendo의 게임기Wii의 콘트롤러를 이용해 3차원 공간 구현과 움직임을 캐치해서 입력, 출력하는 Motion Tracking Device 장치와 소프트웨어를 선보입니다.


일단 동영상 감상.

그가 주목한 것은 모니터 혹은 디스플레이 기기라는 창문, 즉 틀frame이었습니다. 화면을 창문으로 보는 시점은 이미 회화에서 오래전부터 이용해 왔습니다. 그는 바로 이 고정된 이미지의 창문에 물리세계의 법칙을 구현했습니다. 창문 앞에 서 있는 위치에 따라 창문 밖 풍경이 그 각도를 달리 해 보이듯 그는 디스플레이상의 이미지를 사용자의 위치에 따라 움직이도록 그 층과 움직임을 변화시킵니다. 그는 그것을 구현하기 위해 머리의 움직임을 잡아내는Head-tracking 기술을 이용합니다. 그 입력장치로 Wii의 콘트롤러를 이용합니다.
지난 글에도 소개했듯, 닌텐도Nintendo의 차세대 게임콘솔 Wii는 혁신적인 발상의 전환이었습니다. 사람의 움직임을 잡아내는 Wii의 콘트롤러는 거추장스러운 장비 없이도 '손쉽게, 가볍게' 몸으로 체험할 수 있는 게임의 모습을 보여주었죠. Johnny Chung Lee는 고정된 틀 안의 이미지를 현실처럼 보이게 하기 위한 방법으로 Wii의 콘트롤러의 전면부에 위치한 IR센서에 주목했습니다.  그것을 카메라같이 무엇을 입력하는 장치로, 즉 추적장치로 사용했습니다. 이 콘트롤러의 전면부에 있는 센서는 가까운 위치의 특정 파장-즉 적외선이죠-의 빛에 반응합니다. TV 본체에 있는 리모콘의 신호를 잡는 바로 그 센서와 유사합니다. 사용자는 머리에 두 개의 IR램프를 달고(리모콘의 그것입니다.) 움직이면 이 두개의 위치를 추적하고 계산해 출력장치에 결과를 대입합니다. 이때 장착하는 IR램프는 흔히 가상현실기기에 사용하는 HUD처럼 크고 거추장스러운 것이 아닌 그냥 단순한 LED전구와 같은 조그마한 장치입니다. 편의상 그는 일반 안경에 그것을 장착했고요. 두 개를 사용한 것은 상하좌우 그리고 기울기까지의 3차원적 위치 계산을 위해서입니다.
그리고 움직임에 대한 물리엔진, 즉 가속도와 관성을 컴퓨터 소프트웨어에서 처리해서 그 결과물을 화면에서 보여줍니다. 그 결과물이 위에서 보이는 동영상입니다. 이 과정을 통해 모니터에서 보이는 영상은 단지 고정된 하나의 원근법적 시점으로 보이는 것이 아니라 사용자가 움직이는대로 그 시점이 변화해 마치 모니터라는 창문 너머 3차원의 풍경이 실제로 보이는 것처럼 만들었습니다. 실제 구현하는 3D홀로그램이 아닌 2차원 평면을 속여 3차원처럼 보이도록 하는 기술이며 지금까지 많이 보여진 최첨단의 거창한 기술이 아닌 단순한 기술이지만 굉장히 효과적입니다.
물론 이것은 새로운 기술은 아닙니다. 이미 TrackIR이라는 기술로 등장했었습니다.실제로 게임에 응용되는 모습의 동영상도 많이 올라왔었지요.

Battle Field Earth2라는 1인칭 FPS 게임 시연 동영상입니다.

그리고 그의 말대로 Wii에 장치되어 있는 트레이스 센서는 현재 상용화되어 판매되고 있는 다른 센서보다 해상도나 추적성능에 있어서 많이 떨어지지요.
하지만 그가 시도한 것의 대단한 점은, 그것을 다양한 방법으로 그것을 응용했다는 점, 그리고 이용한 장치가 간단하고 쉽게 구할 수 있으며, 값이 저렴하다는 점입니다. 그게 가장 큰 장점이겠지요. 물론 일반적인 환경에서 이정도만 되어도 충분히 써먹을 수 있을 정도이기도 하고요. 더더군다나 그가 만든 소프트웨어와 방법들은 그의 사이트에 공개되어 있다는 점이 놀랍습니다. 다른 사람들이 얼마든지 그것을 보고 시연해볼 수 있고, 또한 그 구조나 장치를 개량해 낼 수 있는 것입니다. 이는 open source조류의 흐름이기도 하고요.
여기서 다시 미술로 시선을 돌려봅니다. 이런 상황에서 작가들의 위치 정립이 다시한번 중요해 집니다. 이렇듯 새로운 툴을 창조하거나 혹은 기존의 툴을 이용해 새로운 것을 보여주는 테크니션의 역할부터 시작할 것인지, 혹은 이렇게 만들어진 기술을 이용하고 소화하여 어떤 내용과 현상을 소화해 표현할 것인지 말이지요. 한편으로는 계속 제기되고 있는 기술자-작가간의 협업의 문제 역시 불거집니다. 이런 일련의 결과물들은 동시에 현재 뉴미디어 아트, 디지털 아트 작품이라고 부르는 많은 결과물들의 존재의의 자체를 위협합니다. 새로운 체험과 경험에 관한 것이 매체 미학이고 매체 미술이라고 볼 때 이미 이러한 기술실험도 충분히 충격적이고 충분히 경이롭기 때문입니다. 단지 모습을 보인지 얼마 되지 않았다, 무르익지 않아 실험단계일 뿐이다라는 핑계는 더 이상 통하지 않는다는 거지요. 충분히 깊이를 가지고 있다라고 주장해도 관람자에게 표면밖에 보이지 않는다면 그것은 그 작품의 한계인 것입니다. 이미 매체미술은 그 전재조건에 접근을 위한 '인터페이스'라는 것을 두고 있기 때문입니다. 이제 디지털 매체를 다루는 작가들은 분명한 입장을 가지고 작업을 해야 할 듯 합니다. 정말 새로운 기술을 통한 새로운 체험을 가져오거나 혹은 디지털 기술들을 사용하되 그 기술에 매몰되지 않을 내용이나 개념을 들고 나오는 방법 등등이요. 그래서 다른 기존 예술장르에 비해 매체예술이 어렵고 그 덩치와 입지를 키우기 힘들지도 모르겠습니다. 디지털 기술은 가장 강력한 우군인 동시에 가장 강한 적일지도요.
회화나 조각, 사진 등등의 기존 매체 예술들은 결코 없어지지 않을 것입니다. 하지만 동시에 디지털 기술들과 그 개념들이 섞이는 예술작품은 계속 많아질 것입니다. 이제 디지털 기술은 우리 삶의 일부분이니까요. 기술의 발달로 인해 사람들이 경험할 수 있는 현상이나 사건은 계속 새로이 생겨나고 늘어나고 있습니다. 동시에 사람이 다룰 수 있고 표현할 수 있는 영역의 한계는 끊임없이 넓어지고 있지요. 여튼, 감동입니다. 생활 속에 쉽게 볼 수 있고 쉽게 살 수 있는 기기를 가지고 개량해 이런 것을 할 수 있다니 감동감동입니다. 번외로 그가 Wii를 가지고 작업한 다른 결과물들입니다.


그는 앞서 언급한 콘트롤러의 IR센서를 이용해 아이팟 터치를 통해 유명해진 멀티 터치 인터페이스multi-tuched interface를 구현합니다. 센서의 반대편으로 적외선을 발산하는 상태에서 그 앞 공간에서 손을 움직이면 반사된 적외선을 콘트롤러의 센서가 반응해 입력신호로 잡아냅니다. 그것을 통해서 허공에서 마치 마이너리티 리포트에서의 장면처럼 각종 입력을 행할 수 있는 것입니다. 전체적으로 이 Wii의 콘트롤러를 몸에 장착하고 그 움직임을 알아채 전달하는 기기가 아닌 비디오 카메라처럼 다른 움직임을 받아들여 기록하는 기기로 사용했다는 발상의 전환이 재밌습니다.


비슷한 것으로 화이트 보드도 있습니다.
프로젝션 공간 혹은 일반 액정 스크린마저 타블렛화하는 엄청난 아이디어;; 와우


Foldable Displays (tracked with the Wiimote)
이런 것도 있네요.
세상은 조금만 한눈팔아도 휙휙 바뀝니다;; 하지만 이런 전문가들도 다른 측면에선 우리와 같은 대중이라는게 참 재미있습니다. 마지막으로 그의 홈페이지 주소입니다. 그가 작업한 알고리즘이나 설계방식, 그리고 그의 다른 작업들이 수록되어 있습니다.