툴은 과학과 예술을 연결한다. 툴의 발달과 더불어 폭을 넓혀가고 있는 과학과 예술의 융합을 살펴본다.
한국의 창작 스튜디오 ‘자이언트스텝’이 게임 엔진 소프트웨어 언리얼 엔진으로 구현한 디지털 인간 ‘빈센트’.
새로운 기술로 예술과 과학을 융합하다
최근 30년 동안 과학기술은 이전에 없는 발전상을 보여줬다. 그리고 현재 그 속도는 더욱 빨라져 우리의 예상을 계속 넘어서고 있다. 철학과 예술이 세상을 이끈다는 말은 스스로 창발하며 나아가는 과학기술을 보면 더는 설득력이 없어 보인다. 과거에는 인간의 생각이 새로운 표현 방식이나 장르를 만들어냈다면 이제는 과학기술, 엄밀히 말해 기술이 새로운 생각을 만들어낸다고 해도 과언이 아니다. 인터넷·스마트폰·가상현실·인공지능 등 기술 발전은 인류에게 큰 영향을 미치고 있다.
과학이 예술을 필요로 하는 경우, 예술은 대부분 표현의 중심이 된다. 데이터 시각화Data Visualization를 통해 데이터를 명확하게 보여주거나, 달 기지의 상상도를 보여주는 것이 대표적인 예다. 하지만 예술은 과거와 달리 무척 새로운 방식으로 과학기술을 독창적이고 효과적인 표현 도구로 이용한다. 다양한 과학기술이 인터넷으로 공유되면서 예술가들은 ‘과학’이 만든 새로운 툴을 받아들이고 사용하기 시작했다. 직접 기술자를 고용하거나 과학기술 기관의 후원을 받아 작업을 진행하는 소수의 엘리트 작가들은 이전부터 있었지만, 이와 달리 누구나 사용할 수 있는 이른바 ‘과학과 예술의 융합을 위한 툴’이 만들어지기 시작한다.
비주얼 프로그래밍 언어 소프트웨어 ‘맥스 8’. 그래픽으로 보면서 노드와 노드를 연결하는 방식으로 돼 있어 비교적 쉽게 사용할 수 있다.
기술을 기반으로 한 예술 작업이 모두에게 편리해지기까지
개인적으로 2000년대 초반을 기점으로 뉴미디어 아트 도구에 접근하기가 쉬워졌다고 생각한다. 매크로미디어(현 어도비Adobe)에서 만든 플래시Flash라는 툴을 이용한 작업은 이전부터 존재했으나, 디자인 작업에 소비되는 경향이 강했다. 비슷한 시기 새로운 음악 작업을 하기 위해 이르캄IRCAM에서 만든 맥스Max는 2000년대 초 대부분 미디어 아트 작가들이 써야만 하는 것으로 인식될 정도로 널리 퍼져나간 도구였다. 소리와 비주얼을 다루는 분야는 컴퓨터 공학에서도 상당히 독특한 분야여서 보통 컴퓨터 기술자도 쉽게 접근하기 힘든 분야인데, 맥스를 쓰면서 예술가들은 기존의 악기가 만들어내지 못하는 소리와 영상을 보여줄 수 있게 된 것이다. 그것도 정확하게 원하는 시간에 맞춰서 말이다. 더욱이 맥스는 비주얼 프로그래밍 언어 소프트웨어, 다시 말해 텍스트를 입력해서 프로그래밍하는 기존의 프로그래밍 방식과 달리 그래픽으로 보면서 노드Node(네트워크의 연결 지점·테이터 전송의 종점 혹은 재분배점)와 노드를 연결하는 방식으로 돼 있어 많은 예술가가 쉽게 사용할 수 있었다. 그러다 보니 무대에서는 여러 악기를 사용하는 대신 노트북 한 대를 사용해서 공연을 펼치고, 전시장에는 컴퓨터와 TV·모니터·프로젝터와 같은 다양한 형태의 스크린이 캔버스를 대체해 전시되기 시작한다. 다시 말하지만 이전에도 이러한 형태의 전시는 있었다. 하지만 맥스Max·퓨어 데이터Pure Data·브이포VVVV·이사도라Isadora 와 같은 툴이 나오면서 그에 걸맞게 컴퓨터 기술이 발전했고, 누구나 기술을 기반으로 한 예술 작업을 할 수 있게 된 것이다.
컴퓨터 프로그래밍을 하게 된 예술가들은 마이크로 컨트롤러 보드 ‘아두이노’를 쓰면서 임베디드 소프트웨어 프로그래밍도 시도하게 됐다.
크리에이티브 코딩, 예술가와 과학기술자의 경계를 허물다
비주얼 프로그래밍 언어 방식의 툴은 배우고 사용하기 쉽다는 장점이 있다. 하지만 만들어진 노드만 사용해야 해서 몇몇 예술가는 한계를 느끼기도 했다. 좀 더 새로운 것, 독특한 것을 하기 위해서 컴퓨터와 기계에 더 가까이 다가가야 했는데 이때 필요한 것이 전통적인 프로그래밍 언어였다. 예술가들이 직접 텍스트를 입력해서 프로그래밍하기 시작한 것이다. 프로세싱Processing·오픈프레임웍스Openframeworks가 대표적인 툴이다. 예술가들이 즐겨 쓰는 오디오·비주얼·센서 입력 프로그래밍을 쉽게 할 수 있도록 만들어졌고, 누구나 쓸 수 있게 무료로 배포됐다. 이러한 툴이 처음 나왔을 때만 해도 예술가들이 프로그래밍을 흉내 내는 수준이었다. 지금은 컴퓨터 프로그래머들과 동등하거나 그 이상으로 프로그래밍을 하는 수준에 다다랐다. 카일 맥도널드·아르투로 카스트로의 ‘Face Substitution’(2011) 작업은 실시간으로 사진에 있는 얼굴을 자신의 얼굴과 바꾸는 작업이다. 이들은 예술가인데도 과학기술자 못지않은 대단한 프로그램 개발 실력을 보여주고 있다. 이러한 코딩 기반의 예술 작업 툴을 사용하는 예술가를 보면 더는 예술가와 과학기술자의 경계를 구분하는 것이 불필요하다. 이제 예술가들은 자율주행에 쓰이는 컴퓨터 비전 기술을 자신들의 작업에 사용하기도 하고, 공장 자동화에 쓰이는 로봇을 직접 프로그래밍해 원하는 대로 조작하며 작업한다.
카일 맥도널드와 아르투로 카스트로의 ‘Face Substitution’(2011)은 실시간으로 사진에 있는 얼굴을 자신의 얼굴과 바꾸는 응용 프로그램을 선도한 작업이다.
메이커 운동으로 다양해진 디지털 미디어 아트의 표현
컴퓨터와 스크린 위주로 활동하던 디지털 미디어 작가가 이전보다 쉽게 물리적인 장치를 연결해 작업하게 된 계기로 ‘메이커 운동’을 손꼽을 수 있다. 다양한 센서 카메라·버튼·적외선 거리 센서·초음파 센서·마이크·압력 센서 등에서 입력값을 받아 자신이 사용하는 툴과 연결하기 위해서는 마이크로 컨트롤러가 필요하다. 자신이 사용하는 툴에서 모터를 움직이거나 조명을 제어하려 해도 마이크로 컨트롤러가 필요하다. 이 마이크로 컨트롤러는 1990년 후반까지만 하더라도 특수한 장비를 갖추고 특수한 교육을 받아야만 프로그래밍할 수 있는 전자 IC였다. 당연히 예술가들이 직접 사용하기에는 무리가 있었다. 메이커 운동과 함께 와이어링 보드Wiring board·메이크 컨트롤러 등이 등장했고 지금은 초등학교 교육에서도 쓰이는 아두이노Arduino가 소개됐다. 게다가 아두이노는 강력한 커뮤니티가 있었고 이곳에서 예술가·메이커·공학자들은 의도치 않게 서로 협업하기 시작한다. 예술가들이 컴퓨터 프로그래밍도 하고, 아두이노 덕분에 임베디드 소프트웨어 프로그래밍도 하기 시작했다. 더불어 메이커 커뮤니티에서 공유되는 다양한 제조 공학 기술·3D 프린팅·레이저 커팅·모터 제어·기계설계·전자회로 등으로 인해 예술가들은 그 어느 때보다 다양한 표현 방식을 갖게 됐다.
인공지능 기반 기술과 대화형 멀티미디어 콘텐츠를 위한 노드 기반 비주얼 프로그래밍 언어 ‘터치디자이너’를 사용해 죽은 살바도르 달리를 완벽하게 재현해 부활시킨 ‘딥페이크 살바도르 달리’.
가상현실을 실제로 구현하는 컴퓨터그래픽스
불쾌한 골짜기라는 개념이 있다. 인간이 인간이 아닌 존재를 볼때, 그것이 인간과 닮을수록 호감도가 높아지지만, 일정 수준에 다다르면 오히려 불쾌함을 느낀다는 이론이다. 하지만 그 수준을 넘어 거의 완벽히 인간과 닮았다면 다시 호감도는 높아진다. 우리가 사람을 컴퓨터그래픽으로 구현한 영화나 게임에서 무언가 거부감을 느낄 때마다 써온 말이다. 하지만 컴퓨터그래픽스의 발전으로 실시간으로 움직이는 디지털 인간을 실제 인간과 구별하기 힘들게 됐다. 예술가들은 유니티Unity3D나 언리얼 엔진Unreal Engine 같은 게임 엔진 소프트웨어를 이용해 이러한 디지털 인간을 구현하기 시작했다. 영화에서나 있을 법한 현실과 가상현실이 구별되지 않는 세상이 수년 안에 벌어질 것이라 믿는다.
아티스트 제임스 패터슨의 애니메이션 툴 ‘Norman’. WebVR을 사용하는 웹 브라우저에서 실행되며 VR 컨트롤러를 이용해 3D 애니메이션을 구현한다. 이제 정보를 검색하던 웹 브라우저들이 강력한 3D 그래픽 뷰어로 진화했다.
예술과 과학의 경계를 무너뜨린 인공지능
현재 과학기술계에서 가장 화제가 되는 분야가 인공지능인데 이건 디지털 예술계에서도 마찬가지다. 세상에 존재하지 않는 사람의 얼굴을 만들어내기도 하고, 죽은 살바도르 달리를 완벽하게 재현해서 부활시키기도 한다. 또한, 사진 속 사람과 배경을 구별해 내기도 한다. 그동안 논리적인 생각으로 해결하려고 했던, 그러나 불가능하다고 여겨진 많은 문제가 인공지능의 기계학습Machine Learning으로 해결되고 있고, 구글의 텐서플로Tensorflow와 같은 인공지능 툴키트Toolkit가 나오면서부터 예술가들이 인공지능 학습을 적극적으로 받아들여 사용하고 있다. 무엇보다 재미있는 현상은 언론 매체를 통해 보이는 대부분의 인공지능 학습의 예가 예술가들이 주도한 프로젝트라는 점이다. 융합이라고 말할 것 없이 이제는 다 같이 경계를 두지 않고 인공지능에 관해 고민하게 됐다.
실제 인간과 구별하기 어려운 ‘디지털 인간 빈센트’. 유니티3D나 언리얼 엔진 같은 게임 엔진 소프트웨어를 이용해 구현한 디지털 인간은 컴퓨터그래픽스의 발전상을 보여준다.
예술을 펼쳐내는 또 하나의 언어, 웹
과거 단지 정보를 검색하던 웹 브라우저는 어느새 강력한 3D 그래픽 뷰어가 됐다. 웹과 함께 발전한 언어인 자바스크립트Javascript는 프로그래밍 언어라고 하기에도 민망해 스크립트 언어라 한 적이 있다. 하지만 이젠 엄밀히 주류 언어가 됐고 인공지능·3D 그래픽스·데이터 처리 등 모든 일이 웹에서 처리 가능한 언어로 쓰이고 있다. 과거에 작업을 보여주기 위해서 작업마다 컴퓨터가 필요했다면 웹에서 작업을 선보이면 전 세계 사람들이 볼 수 있게 된다. 웹의 개발 방향이 현재 컴퓨터에서 하는 모든 일을 가능케 하는 방향으로 가고 있어, 결국 예술가들의 작업은 웹 브라우저를 통해 수많은 스크린에서 보여주게 될 것이다. 특정 장소를 벗어나 웹에서 작업을 보여주자는 선언은 이전부터 있었으나 이제는 그 모든 것이 가능하도록 기술이 뒷받침하고 있다.
사진 출처:
디지털 인간 빈센트, Giantstep, https://www.unrealengine.com/en-US/spotlights/meet-vincent-a-real-time-digital-human-created-in-house-by-a-team-of-just-five
아두이노, Uno, https://store.arduino.cc/usa/arduino-uno-rev3
Max 8, maxmsp, https://cycling74.com
Face Substitution, 2011 Kyle Mcdonald&Arturo Castro, https://vimeo.com/29348533
딥페이크 살바도르 달리, The Dali Museum, https://derivative.ca/community-post/deepfake-salvador-dal%C3%AD-interacts-museum-visitors-takes-selfies
Norman, James Paterson, https://normanvr.com
글 송호준 아티스트. 개인 인공위성 프로젝트와 우라늄 목걸이를 만들어 대중에게 알려지기 시작했고, 최근에는 불확실성과 우연이 존재하는 자연과 소리를 통해 에너지를 찾고 있다.