엔비디아의 합성 얼굴 생성기 thispersondoesnotexist.com

엔비디아에서 thispersondoesnotexist.com을 선보였다.

말그대로 '이 사람은 존재하지 않는다'는 것인데, 페이지에 접속하면 한 사람의 얼굴이 뜬다. 

F5를 누르면 다른 얼굴로 교체된다. 그래서 어떤 원리인가 찾아봤다.

유투브의 초기 화면인데, 아마도 좌측의 실제하는 세명의 얼굴을 합성하는 작업을 AI가 수행해서 우측의 모습을 생성하는가 싶어 보인다.

하단의 사진을 보면 좀 더 이해가 쉬울 것 같다.

상단의 A에 해당하는 실제 인물 사진들이 있다. 성별/연령별/머리길이/안경착용여부/자세 등등

좌측에 B에 해당하는 실제 인물 사진들이 있다.

그리고 A와 B를 AI가 합성한 결과가 하단의 샘플이다.

실제하는 A 그룹의 인물별로 B 그룹의 추가 정보와 합성되었을 때의 변화를 아래로 쭉 따라가다 보면

같은 듯 다른 듯 하는 느낌이 든다.

좀 더 살펴보자.

아래는 좌측 세명을 조합하여 우측의 합성 사진을 생성하는 모습이다.

좌측 세명중 하나씩 바꿔가며 다른 모습을 생성해내고 있다.

구분을 하기 위해 알파벳을 붙여보고, 변경되는 사진은 알파벳색을 바꿔 표시했다.

이 인공지능은 두명이 아닌 세명을 합성하고 있다. 왜 세명일까?

화면에 Coarse, Middle, Fine이라고 나온다.

Coarse는 '피부나 천이 거친'이란 뜻이라 나오고, 자세, 일반적인 헤어스타일, 얼굴모양에 관여한다.

위의 사진들에서 Coarse에 해당되는 실제 인물의 사진이 바뀌면 합성얼굴의 형상이 크게 바뀜을 알 수 있다.

Middle에서는 미세한 얼굴 특징, 헤어스타일, 눈의 형태 등을 다룬다.

위의 사진들에서 Middle에 해당되는 실제 인물의 사진이 바뀌면 윤곽은 유지가 되면서 얼굴들이 바뀌게 된다.

Fine에서는 눈/머리/피부의 색조, 그리고 미세한 특징들을 다룬다.

위의 사진들에서 Fine에 해당되는 실제 인물의 사진이 바뀌면 윤곽, 헤어스타일, 눈, 코, 입의 모양은 유지가 되면서 분위기가 바뀐다.

Coarse가 달라지면 완전히 다른 모습

Middle이 달라지면 윤곽은 같은데 좀 다른 얼굴

Fine이 달라지면 윤곽과 형태는 같고 색과 분위기가 다른 얼굴이 되는 셈이다.

합성 여부를 확인할 때 사진을 최대한 확대하면, 합성 사진들간의 화소수 차이가 드러난다.

엔비디아의 AI는 이런 Noise를 나름 처리하고 있다.

내가 아는 노이즈 처리는 주변 화소들(픽셀 기준)을 3x3 또는 5x5 블럭으로 묶어 평균값 처리하여 튀는 것 (맞고 틀린 것이 아닌)을 솎아내는 것인데 아마 비슷한 개념이지 싶다.

GAN(Generative Adversarial Networks)라는 신개념의 기계학습(Machine Learning)인데 2014년 처음 소개되었다고 하고,

앞서 살펴보았듯이, 실제 이미지와 구별할 수 없는 합성 사진을 만들어 낸다.

낮은 해상도에서부터 높은 해상도까지 인공적인 이미지를 점진적으로 생성해내는 방식이다.

아래 사진은 4x4 픽셀에서부터 시작해서 1024x1024 픽셀까지 진화해 나간다.

앞서의 Coarse는 4x4에서 8x8 구간을 (자세, 일반적인 헤어스타일, 얼굴모양)

Middle은 16x16에서 32x32 구간을 (미세한 얼굴 특징, 헤어스타일, 눈의 형태 등)

Fine은 64x64에서 1024x1024 구간을 담당한다. (눈/머리/피부의 색조, 그리고 미세한 특징들)

GAN이라 불리는 이 기술은 그래서 단순 합성(합성 부위의 화소차가 구분되는)이 아닌 완벽한 형태를 구현한다.

인공지능은 낮은 해상도인 4x4에서부터 학습을 시작해서 1024x1024 단계까지 도달한 것이다.

물론 속도도 빠르게 향상되었고.

주근깨, 모발의 정확한 위치, 주름, 좀 더 사실적이게 하는 특성들까지 AI는 소화를 한다고 하니, 어느 것이 진짜고 어느 것이 합성인지 구별할 수 없는 단계에 와 있는 셈이다.

요즘 쌍둥이 아이들을 만나는데 만날 때마다 누가 누구인지 구별하느라 유심히 특징을 살펴보곤 한다.

그런데 이런 인공지능이 이런 구현까지 해내고 있다니, 인간의 구별 능력으로 어느 정도까지 판단할 수 있을까 우려가 든다.

정교한 합성사진으로 가짜뉴스를 퍼트린다고 하면...

암튼 기술은 뛰고 날고 있다.