지금 보시는 장면은 1985년 영화 '빽 투 더 퓨쳐'의 한 장면입니다.

그런데 여기서 이상한 점 없으셨나요?

그럼 조금만 더 보시죠. '빽 투 더 퓨쳐'의 주인공 마티는 마이클 J. 폭스가 연기했습니다.

하지만 지금 보신 장면에서 마티는 마이클 J. 폭스가 아니라

'스파이더맨'의 주인공 톰 홀랜드입니다.

그리고 크리스토퍼 로이드가 연기했던 브라운 박사는

로버트 다우니 주니어로 바뀌었습니다. 이 영상은 컴퓨터 프로그램으로 사람의 얼굴을 다른 사람으로 바꾸는

딥페이크로 만들어진 영상입니다. 딥페이크는 인공지능이 스스로 학습하는 것을 의미하는 '딥 러닝'과

가짜라는 의미의 '페이크'를 합성한 단어인데요,

안면인식 기술을 바탕으로 대상이 되는 사람의 얼굴을 컴퓨터가 학습하고,

이를 기존 영상에 적용시켜 사람의 얼굴을 바꾸는 기술입니다.

유튜브를 검색해보시면 정말 수많은 딥페이크 영상들이 있습니다.

매트릭스의 주인공을 이소룡의 얼굴로 바꾸고,

울버린의 얼굴을 슈퍼맨으로 바꿀 수도 있죠.

딥페이크가 만들어지는 과정을 간단히 살펴보면 이렇습니다.

먼저 바꾸려고 하는 새로운 얼굴의 샘플 영상을 촬영합니다.

AI가 최대한 다양한 상황과 표정을 학습할 수 있도록

이 영상 역시 최대한 다양한 표정과 각도로 고화질의 데이터로 촬영합니다.

이 샘플 영상을 컴퓨터에 입력하면 화면에 보시는 것처럼

제일 왼쪽은 실제 샘플 영상이고, 두 번째 줄이 이 샘플을 분석해서

컴퓨터가 똑같이 재현해낸 3D 이미지입니다.

처음엔 이렇게 잘못된 합성 사진처럼 흐릿하지만

AI가 학습해 갈수록 점차 이미지가 정교해져서

왼쪽의 실제 촬영 샘플과 거의 비슷한 수준의 이미지가 만들어집니다.

이번에는 바꾸려고 하는 대상 영상을 넣고,

동일한 과정으로 AI가 얼굴을 학습해 가면서

네 번째 줄에 3D 이미지로 동일한 영상을 재현해 나가기 시작합니다.

이렇게 데이터 분석과 재현 과정을 마치고 나면

마지막에는 이 두 데이터를 매칭시켜서 다른 얼굴로 바뀌게 되는 거죠.

딥페이크는 사람의 머리 전체를 합성하는 것이 아니라

안면 윤곽 안쪽 부분만 합성하기 때문에

원본과 확연히 다른 안면 윤곽을 가지고 있을 경우에는

상당히 어색한 결과물이 나올 수밖에 없습니다.

그래서 합성의 대상이 되는 사람과 비슷한 얼굴형을 가진 사람이

비슷한 표정과 버릇까지 재현한 샘플 영상을 대입했을 때

가장 자연스러운 결과물이 나올 수 있습니다. 영화에는 오래전부터 사람의 얼굴을 바꾸는 기술이 사용되어 왔습니다.

가장 대표적으로는 배우의 나이를 바꾸는 디에이징 기술을 예로 들 수 있는데요,

‘캡틴 마블’에서 젊은 모습의 닉 퓨리뿐만 아니라,

‘시빌 워’에서는 어린 시절의 토니 스타크가 등장했었죠.

2009년 ‘벤자민 버튼의 시간은 거꾸로 간다’에서는

후광이 비치는 꽃미남의 모습부터

주름으로 가득한 노년의 모습까지 컴퓨터 그래픽의 힘으로 만들어졌습니다.

하지만 영화에 사용된 이런 얼굴을 바꾸는 기술들은

딥페이크의 방식과는 약간의 차이가 있습니다.

딥페이크는 AI가 데이터를 습득하고 나면 사람의 손을 빌리지 않고 자동으로 얼굴을 바꾸는데 비해서

영화에서 사용된 방식은 프레임 하나하나 애니메이터들의 손을 거쳐 수공예 수준으로 만들어지는 점이 가장 다릅니다.

영화에서 사용된 가장 일반적인 방식은 배우가 별도의 공간에서

얼굴을 바꿔야 하는 장면의 대사와 표정을 따로 연기하는 방식이었습니다.

이런 방식은 디테일한 얼굴 표정 데이터를 얻을 수 있었지만,

배우와 배우가 직접 대면하고 연기할 수 없었기 때문에

연기적인 측면에서 여러 제약이 있었습니다.

이를 조금 더 개선한 방식이 웨타디지털에서 개발한

이모셔널 캡처라는 방식입니다. 기존의 모션 캡처에서 배우들의 감정까지 캡처할 수 있는

기술이라고 해서 붙여진 이름인데요. 제임스 카메론 감독이 아바타 촬영을 위해 도입한 이 방식은

배우들의 얼굴에 수많은 마커를 표시하고,

얼굴 앞쪽에 별도의 카메라를 착용해서

배우들의 표정과 얼굴 근육의 움직임을 촬영합니다.

이렇게 표현된 데이터를 3D로 모델링해서

새로운 얼굴을 만들어내게 되죠. 이 방식은 배우들이 개별적으로 연기해야 하는 제약을 없애긴 했지만,

여전히 다소 우스꽝스러운 모양의 특수 장비를 착용하고 연기를 해야 하기 때문에

감정을 100% 살려내는 데는 분명 한계가 있었습니다.

얼마 전 공개된 한 영화에서 이런 모션 캡처 방식의 제약과 한계를

획기적으로 개선한 새로운 방식이 사용되었습니다.

바로 넷플릭스 오리지널 영화 ‘아이리시맨’인데요.

이 영화는 로버트 드 니로, 알 파치노, 조 페시

이렇게 세 명의 기라성 같은 배우들이 출연해서

젊은 시절부터 백발이 가득한 나이 든 모습까지

평생의 세월을 조명하는 갱스터 영화입니다.

이 영화를 연출한 마틴 스코세이지 감독은 처음 각본을 받았을 때

이 영화는 현실적으로 불가능하다고 생각했었다고 합니다.

연도에 따라 달라지는 주인공들의 얼굴을 이질감 없이 표현해내는 것뿐만 아니라

그렇게 할 수 있다 하더라도 모션 캡처 장비를 착용하고 배우들이 연기했을 때

충분한 몰입을 할 수 없다고 생각했기 때문인데요.

여기에 조지 루카스가 설립한 특수효과 전문 회사 ILM이 색다른 제안을 했습니다.

분장이나 특수장비를 전혀 사용하지 않고, 일반 영화와 똑같은 환경에서 촬영을 해도

배우들의 나이를 바꿀 수 있다고 제안한 거죠

이 영화에 사용된 촬영 방식이 바로 AI를 활용한 딥페이크와 동일한 방식입니다

배우들은 전혀 별도의 장비를 착용하지 않지만

영화 촬영에는 특별한 카메라가 사용되었습니다

3대의 카메라가 같은 동선으로 움직이는 특수 리그에

영화를 촬영하는 일반적인 메인 카메라가 중앙에 설치됩니다

그리고 양옆에는 위트니스 카메라로 불리는 적외선 카메라가 설치되는데요

이 적외선 카메라는 가시광선에 의한 그림자의 영향이 없기 때문에

이 카메라로 촬영한 영상들이 배우의 얼굴을 데이터로 만드는 데 사용됩니다

이렇게 촬영된 장면에서 배우들의 얼굴에 나이를 더하고 빼는 과정에는

세 가지 핵심 기술이 사용되었습니다. 일단 딥페이크와 마찬가지로 세 배우들이 별도의 라이트 박스에서

샘플로 사용할 다양한 표정을 촬영합니다

단지 표정뿐만 아니라 특정 대사와

배우 특유의 버릇들을 여러 각도에서 촬영해서

각 배우의 특징을 최대한 세밀하게 데이터화합니다

그리고 세 배우의 지난 수십 년간 작품들, 

인터뷰를 비롯한 모든 영상 자료들을 모아서

AI가 각 배우의 나이대별 얼굴을 분석합니다.

이 과정에서 제작진이 중점을 둔 부분은 젊은 버전의 배우를 재현하는 것이 아니라,

이 영화에 등장하는 캐릭터의 젊은 버전을 만드는 거였는데요,

예를 들면, 같은 나이대의 로버트 드 니로라 하더라도,

『택시 드라이버』에 나오는 표정과 『디어 헌터』에 나오는 표정은,

연기한 캐릭터에 따라 달라지죠.

그래서 AI는 단순히 나이대별 표정을 습득하는 것이 아니라,

캐릭터의 상황과 감정에 따른 변화까지 학습하도록

백투더퓨쳐 브라운 박사가 로다쥬라니!

[영화로 채워가는 영상매거진]
영화를 소재로 세상을 이야기하는 채널, 빨강도깨비 유튜브입니다.

채널 관련 문의 red12734@gmail.com

AICOMPANY@ZK700C


빨강도깨비

'빽 투 더 퓨쳐'의 장면을 사용하여 딥페이크 기술을 설명

마티 역할이 마이클 J. 폭스가 아닌 톰 홀랜드로, 브라운 박사 역할이 크리스토퍼 로이드가 아닌 로버트 다우니 주니어로 바뀐 점을 지적

딥페이크가 '딥 러닝'과 '페이크'의 합성어임을 설명

안면인식 기술을 기반으로 얼굴을 바꾸는 기술적 원리를 설명

유튜브에서 다양한 딥페이크 영상들을 찾아볼 수 있다는 것을 언급

새로운 얼굴의 샘플 영상 촬영 및 AI 학습 과정 설명

샘플 영상을 컴퓨터에 입력하여 3D 이미지를 생성하는 과정 설명

대상 영상에 AI를 적용하여 얼굴을 바꾸는 과정 설명

딥페이크는 안면 윤곽 안쪽 부분만 합성하며, 얼굴형이 비슷하고 표정 및 버릇까지 재현된 샘플이 자연스러운 결과를 낸다는 점을 설명

영화에서의 얼굴 변환 기술과 딥페이크의 차이점

영화에서의 디에이징 기술 예시 ('캡틴 마블', '시빌 워', '벤자민 버튼의 시간은 거꾸로 간다')

영화의 얼굴 변환 기술은 딥페이크와 달리 프레임 단위 수작업으로 이루어진다는 점을 강조

배우가 별도로 연기하는 기존 방식과 그 한계점을 설명

웨타디지털의 이모셔널 캡처 기술과 그 한계점 설명

영화 '아이리시맨'의 혁신적인 디에이징 기술

넷플릭스 영화 '아이리시맨'과 그 제작 과정 소개

마틴 스코세이지 감독의 초기 회의적인 반응과 ILM의 제안 설명

'아이리시맨'에서 사용된 AI 기반 딥페이크 기술 설명

세 배우의 다양한 표정 및 특징 데이터 촬영 및 AI 분석 과정 설명

AI 로직 기반 자동 합성 기술과 '아이리시맨'의 높은 제작비 언급

'쥬라기 공원', '아바타', '아이리시맨'의 공통점과 의의

세 영화 모두 기획 단계에서 불가능하다고 여겨졌으나 새로운 기술 개발로 성공했다는 점을 강조

각 영화가 영화 기술 발전에 기여한 점을 요약

'아이리시맨'의 디에이징 기술이 앞으로 영화 제작에 미칠 영향을 전망

딥페이크 기술의 긍정적, 부정적 측면 및 미래 전망

딥페이크 기술의 부정적 활용 사례(포르노, 페이크 뉴스 등) 언급

기술 자체가 아닌 기술의 사용 목적이 중요함을 강조

딥페이크 기술의 긍정적 발전을 기대하며 마무리