NDC Replay

딥러닝으로 게임 콘텐츠 제작하기
김환희
넥슨코리아
2012, 일본 Yahoo! Mobage에 [MapleStory Knights] 제작 기획 & 라이브 기획 <br style='line-height:240%'/>2013, [러시앤캐슬 for Kakao] 제작 기획 & 라이브 기획 <br style='line-height:240%'/>2014~현재, 신규개발본부 Blast팀에서 신규개발 중 <br style='line-height:240%'/>NDC 2014 <기획자가 유니티를 만났을 때 : 자체 툴 제작을 해보자> 발표<br style='line-height:240%'/>NDC 2016 <신경망은 콘텐츠 자동 생성의 꿈을 꾸는가 : PCG 사례 연구> 발표
콘텐츠 제작은 게임 개발에서 많은 노력과 시간 투자를 필요로하는 작업입니다. 최근 폭발적인 관심을 받고 있는 딥러닝을 통해 여기에 드는 시간을 크게 줄일 수 있습니다. 이 발표에서는 VAE(Variational AutoEncoder)를 이용한 모방을 통한 콘텐츠 생성 기법에 대해서 다룹니다.
[새 창에서 슬라이드 보기]
오늘 “딥러닝으로 게임 콘테츠 제작하기”라는 발표를 하게 된 넥슨코리아 신규개발본부 Blast팀의 김환희라고 합니다. 

올해 3년째 NDC 발표를 하고 있습니다. 

참고로 말씀드릴 것은 이 발표는 개인 연구 프로젝트이기 때문에 현재 제가 소속된 조직의 프로젝트와는 무관하다는 점을 참고로 말씀을 드립니다.

오늘 발표 순서는 먼저 이 발표를 하게 된 계기를 말씀드리고 그다음에 2번 Autoencoder와 3번 Variational Autoencoder에서는 이번 발표에서 쓰인 방법론을 간략하게 말씀드린 다음에 4번에서 실제 데이터와 결과를 중심으로 말씀드리겠습니다.

먼저 이 주제를 왜 택하게 되었는지에 대해서 말씀을 드리겠습니다.

작년에 했던 발표에서는 맵을 보고 승률을 예측하는 회귀분석 문제를 풀었는데요. 컨텐츠를 생성하는 방법에 대해서도 다루고 싶은 생각이 있었습니다.

요즘 딥러닝이 무서운 속도로 발전하고 있는데요. 이 스크린샷은 일본의 동경대학에서 만든 웹 데모입니다. 사진을 올린 뒤에 파라미터를 조절해서 사진의 성질을 바꿀 수 있는데 지금 접속이 잘 되지 않았습니다.

하지만 앱으로 벌써 FaceApp이라는 것이 나와 있어서 같은 기능을 하고 있기 때문에 쉽게 테스트를 해보실 수 있습니다. 사진을 보시면 이제 웃지 않는 얼굴을 웃는 얼굴로 바꿔준다든가 아니면 아니나 성별 같은 이미지의 특징을 바꿔주는 연산을 하는 것을 보실 수 있습니다.

이 연구는 Deep Neural Net에 침실의 사진을 보여준 다음에 스스로 침실이라고 생각하는 이미지를 생성하게 하는 연구입니다.

이 연구는 Google Brain에서 올해 3월 31일에 발표된 컨텐츠 생성 연구 논문인데요. 처음에 나왔을 때 결과가 너무 좋아가지고 약간 Cherry Picking이 아니냐? 잘 된 결과만 뽑아준 게 아니냐? 라는 말이 있었는데 연구팀에서 바로 TensorFlow 코드를 올려서 그런 게 아니다라고 하고 다른 분들도 재연에 성공해서 지금은 이제 이 정도가 업계 표준이 되지 않을까? 생각을 합니다. 이게 좋은 이유는

그전까지 제일 좋았던 게 지금 왼쪽에 있는 정도의 결과였거든요. 그런데 이제 오른쪽을 보시면 지금 이게 말씀드린 BEGAN이라는 알고리즘의 결과입니다. 차이가 명확하게 드러나는 걸 아실 수 있죠.

개인적으로 컨텐츠 그리고 아트를 제작하는 데 관심이 있었는데 아트라는 분야도 다른 것과 마찬가지로 오랜 시간 동안 노력을 해야 결실을 볼 수 있기 때문에 제가 짧은 시간 내에 성과를 내긴 어려웠습니다. 그래서 이쪽으로 방향을 돌리게 되었습니다.

딥러닝을 이용한 생성 모델은 크게 요즘 가장 유명한 것은 세 가지가 있습니다. Variational Auto-Encoder와 Generative Adversarial Networks 그리고 PixelRNN인데요.

이 중에 Generative Adversarial Networks는 적대적 생성 모델이라고 합니다. 간단하게 설명을 드리자면 이미지를 생성하는 생성자가 있고 그리고 그 생성자가 생성한 이미지를 실제 데이터와 비교해서 이게 맞는지 아닌지 그러니까 실제인지, 원본인지 아니면 가짜인지 판단하는 Discriminator가 있습니다. 이 둘이 상호 경쟁적으로 발전을 하면서 생성자가 좋은 모델을 뽑아낼 때까지 연구를 하는 방법입니다. 아까 보신 BEGAN도

이것도 뒤에 보시면 GAN이 붙어있죠? 이것도 GAN의 일종입니다.

그리고 pixelRNN은 픽셀 단위로 반복학습을 하게 됩니다. 이건 약간 전통적인 텍스처 생성 기법에 딥러닝을 접목했다고 말할 수 있는데요. 제한된 정보를 이용해서 다음 상태를 예측하기 때문에 다양한 결과물이 나올 수 있다는 장점이 있습니다.

오늘은 두 가지는 아니고요. 가장 위에 있는 Variational Auto-Encoder에 대해서 설명을 드리려고 합니다. 그중에 Variational을 빼고 Auto-Encoder부터 설명을 드리도록 하겠습니다.

Auto-Encoder 부분이고요. 

일반적으로 우리한테 익숙한 딥러닝 모델은 분류 문제를 푸는 데에 많이 활용이 되었습니다. 고양이 사진을 넣은 다음에 이 사진이 고양이인지 개인지 말인지 이런 거를 판단하는 것을 분류 문제라고 할 수 있는데요. 몇 년 전에 구글에서 어떤 사진을 보고 이게 고양이인지 개인지 판단을 해서 판단에 성공했다는 게 뉴스가 됐다는 거를 아실, 기억나시는 분들이 있을 겁니다. 지금은 뉴스거리가 아니죠. 지금은 다 이런 문제를 쉽게 풀 수 있습니다. 

이런 문제는 딥러닝이라는 함수 f에 고양이 사진 X를 넣어서 각 사진을 분류하는 Y를 구하는 문제라고 할 수 있습니다.

그런데 Auto-Encoder는 이거와 약간 다르게 간단히 말해서 입력값과 출력값을 동일하게 해주는 네트워크입니다.

아까처럼 생각한다면 이 네트워크는 함수 f에 X를 넣어서 다시 X를 받는 네트워크인데요. 우린 수학에서 이런 거를 배웠습니다.

항등 함수죠.

항등 함수를 근데 쓰지 않고 Deep Neural Net을 사용하는 이유가 있습니다. 이것은 바로 입력값과 출력값을 동일하게 만드는 과정에서 가운데 있는 노드 숫자를 극단적으로 줄여서 압축을 하기 위해서입니다. 이렇게 시스템이 압축을 강제하는 과정에서 동일한 정보를 적은 양으로 표현하는 효율적인 방법을 찾게 되는 것이 Auto-Encoder의 기본적인 알고리즘이라고 할 수 있습니다. 예를 들어서 입력이랑 출력이 이제 64 64 이미지라면 보통 픽셀 하나가 노드 하나니까 4,096개겠죠? 그리고 가운데는 적게는 2개 많게는 800~1000개 정도면 되게 많이 압축이 되기 때문에 이렇게 압축을 시키는데

그러면 압축을 하는 과정에서 똑같은 값이 나오질 않습니다. 에러가 있는데요.

이걸 비복원 압축이라고 합니다. 사진상으로 보이시죠? 맨 윗줄이 오리지널 이미지고 가운데 줄이 재생성된 이미지인데 마지막 줄은 방금 말씀드린 압축된 정보를 말씀드립니다. 

이런 식으로 어떤 데이터를 넣었을 때 그것을 작은 정보로 압축하고 다시 재생산하는 과정이 Auto-Encoder의 계산 순서입니다. 

그래서 Auto-Encoder는 입력값과 입력값으로 재구성된 출력값을 줄이는 쪽으로 학습을 합니다. 학습은 보통 MSE라는 것을 사용하는데요. Mean Squared Error라고 해서 간단히 말씀을 드리면 어떤 사진과 사진에 같은 위치에 있는 픽셀 값을 비교합니다. 그래서 절댓값을 한 다음에, 절댓값을 굳이 할 필요가 없군요. 제곱을 취한 다음에 더하고 평균을 낸 게 Mean Squared Error입니다. 딥러닝의 특성 중에 하나가 입력값과 출력값이 차이가 어떤 것이지만 알면 데이터를 많이 넣고 그 차이를 줄이는 방향으로 학습시키면 일반적으로 그 학습이 잘 됩니다. 그래서 우리는 에러 함수를 알았기 때문에 이걸 줄이는 쪽으로 학습을 시킬 수가 있습니다.

그래서 학습을 반복하면 이렇게 육안으로 구별하기 힘들 정도로 학습이 됩니다. 왼쪽이 원본이고 오른쪽이 학습된 이미지입니다.

그러면은 Variational Auto-Encoder는 무엇인가?

아까 보신 Auto-Encoder의 사진이고요.

Variational Auto-Encoder는 이제 압축된 정보를 만드는 과정이 약간 달라집니다.

가운데 부분이 약간 달라진 것을 보실 수가 있죠.

입력값과 출력값 사이에 압축되는 정보를 VAE에서는 Latent Variable이라고 합니다. 잠재변수라고도 하는데요.

Variational Auto-Encoder에서는 이 압축된 정보를 분포의 형태로 만드는 데에 의의가 있습니다.

우리가 현실에서 접하는 대부분의 일들은 정규분포를 띱니다. 시험을 보면 중간쯤 되는 성적이 제일 많고 게임을 하면 페이커도 있고 아주 못하는 분들도 있지만 대부분은 실론즈이고 그런 식이죠? 개그가 통했네요.

그다음에 아까 보셨던 MSE를 Auto-Encoder에서 사용하는데 Variational Auto-Encoder에서는 한 가지를 더 사용합니다. 바로 요것인데요. 이걸 Kullback Divergence라고 합니다. 

이것이 무엇이냐 하면은 일단 Kullback-Leibler가 KL인데 이건 사람 이름입니다. 그리고 Divergence는 차이인데 이 두 분이 발견한 차이, 어떤 것의 차이냐면 바로

아까 말씀드렸던 분포의 차이가 되겠습니다. MSE는 픽셀 값의 차이를 계산했는데 이 Variational Auto-Encoder에서는 잠재변수를 분포로 만든 다음에 그 분포의 차이를 계산합니다. 아까 말씀드렸지만 차이를 알게 되면 그 차이를 줄이는 쪽으로 학습시켜서 딥러닝에 학습을 시킬 수 있다고 말씀을 드렸죠. 그러면 목적 함수가 어디냐면 바로 우리가 예전에 배웠던 표준 정규분포입니다.

아까 이 사진도 표준 정규분포가 되죠. 시그마를 1로 만들면. 뮤 값을 0으로 만들고.

그러면 이런 식으로 학습이 됩니다. 지금 손글씨 데이터셋을 딥러닝에서 많이 쓰는 예제 중에 하난데요. 손글씨 데이터셋을 쭉 학습을 시켜서 처음에 만들어낸 이미지가 많이 반복이 됩니다. 65,536번 정도 반복이 되면 혼란스럽게 섞여있던 값들이 점점 퍼지면서 학습이 잘 되어 있는 것을 눈으로 확인하실 수가 있는데요. 그리고 부수적인 효과로 같은 성질을 지닌 값끼리 모여있는 효과가 나타납니다.

그래서 여기 일부분을 확대해보면 같은 숫자끼리 모여있고 경계에서 이렇게 부드럽게 변하는 것을 확인하실 수가 있습니다. 그래서 VAE로, Variational Auto-Encoder로 학습을 시키는 이유는 이렇게 특정 값을 지니는 잠재변수의 공간을 얻기 위해서입니다.

이렇게 얻어낸 잠재변수 공간에서 값을 서서히 변화시키면 재생성되는 값도 서서히 변하게 됩니다. 이것을 이제 잠재변수 공간이 서서히 움직인다 라고 해서 Latent Space Walking이라고 하고 이게 재생성되는 값이 부드럽게 변한다고 해서 Morphing이라고도 합니다.

이제 생성 사례에 대해서 말씀드리겠습니다.

개발 환경은 TensorFlow 1.0.1을 사용했습니다. 예전에는 Theano를 썼는데 아무래도 TensorFlow가 구글이 개발을 주도적으로 하고 있고 그리고 업데이트도 잘 되고 있어서 사용하게 되었고요. 작년까지만 해도 Windows에서 TensorFlow를 쓰시려면은 Docker를 까는 등 번거로운 게 좀 있었는데 이제는 그냥 사용하실 수 있습니다. 그런 대신에 Windows에서 쓰시려면 Python 3.5를 쓰셔야 됩니다. 약간 조금 어려운 일이죠. 2.7로 된 것들이 많은데. 하지만 이걸 이겨내고도 쓸 가치가 있다고 생각을 합니다. 그리고 오늘 이따 소개드릴 온라인 데모도 준비를 했거든요. 그래서 Javascript도 좀 사용을 했습니다.

딥러닝 네트워크는 곧 설명드릴 일반적인 Variational Auto-Encoder 네트워크를 사용했고요. 대신에 Recurrent Generation이라는 것을 썼습니다. 이건 약간 일반적이진 않은 방법인데 이걸 써서 효율을 높인 측면이 있습니다. 그리고 예전 딥러닝에서는 Pooling Layer라는 걸 썼는데요. 요즘은 잘 안 쓰는 추세라서 Pooling Layer 대신에 두 칸씩 건너뜁니다. 이렇게. 두 칸씩 건너뛰면은 Pooling Layer의 역할이 예전의 크기를 절반 혹은 1/3로 줄이는 역할을 하거든요. 그래서 Convolution Layer를 똑같이 쓰고 stride를 2로 하면 똑같은 결과가 나옵니다. 코드는 이제 Kevin Frans라는 분이 Github에 코드를 올려놔서 참고를 했는데 일단 2.7이라 바꾸고 여러 가지 제가 원하는 것을 작업하는데 시간이 조금 걸렸습니다.

Network-Encoder를 먼저 설명드리겠습니다. 아까 말씀드린 대로 Auto-Encoder와 마찬가지로 Variational Auto-Encoder도 인코더와 디코더로 구성이 됩니다. 인코더는 먼저 이미지를 잠재변수로 압축하는데요. 아까 말씀드린 대로 3개의 Convolutional Network를 사용했습니다. 그래서 원래 64 by 64 픽셀인데 이게 8 by 8로 1/2씩 줄어들고요. 그다음에 Reshape을 해서 일 열로 쭉 늘어트린 다음에 Dropout을 하고, Dropout이라는 거는 이제 과적합을 막기 위해서 여기서 여기로 연결이 다 됐는데 50% 확률로 연결을 시켜줍니다. 훈련할 때는 그렇게 50%로 연결시켜 주고 대신에 나증에 결과를 보낼 때는 한 번에 다 받을 수 있게 Dropout을 없애는 역할을 하고요. 그리고 이제 이것을 우리가 흔히 하는 전통적인 Deep Learning Layer인 Fully Connected Layer로 만들어서 아까 말씀드린 분포의 평균과 분산으로 만듭니다. 그래서 4,096개가 아니죠. 64 * 64의 노드가 800개의 노드로 압축이 된 것을 보실 수 있습니다. 1,600개지만 이제 저 두 숫자가 하나의 분포를 나타내고 있기 때문에 800개라고 볼 수도 있겠죠.

아주 간단히 말하면 입력 이미지는 인코더를 통해서 잠재변수로 압축이 됩니다.

그다음 Decoder에 대해서 설명을 드리겠는데요. 먼저 아까 만들었던 잠재변수에서 샘플을 만들어야 됩니다.

샘플을 만들 때는 랜덤이라는 것을 썼는데요. 랜덤 말 그대로 표준정규분포 난수입니다. 평균이 0이고 분산이 1인 것이죠. 그래서 이것을 정규분포 난수로 바꿀 수가 있는데요. 이렇게 하려면 아까 구했던 평균값이랑 분산을 랜덤으로 구한 숫자에 곱하고 더해주면 이렇게 정규분포 난수가 됩니다. 

그다음에는 이제 아까의 여기서 거의 정확하게 역산을 하면 됩니다. 다시 Fully Connected Layer, Dense Layer를 올려주고 일 열로 늘어트린 다음에 다시 이제 *2, *2, *2를 해주면 원래 64*64 이미지가 나옵니다. 그런데 이건 약간 흐릿한 이미지가 나오는데요. 이런 것을 막기 위해 여기서 Recurrent Generation이라는 거를 사용하게 되었습니다.

Recurrent Generation은 간단한 그래프로 이걸 왜 하는지 설명을 드릴 수가 있겠는데요. 원본 데이터가 이렇게 보여있다고 하면 여기 곱하기 6을 하면 그러니까 x를 6번 더한 게 되겠죠? 그럼 이 데이터가 펴지게 됩니다. 평평하게. 지금 보이는 function은 어떤 값을 0~1 사이의 곡선으로 바꿔주는 것이 되겠는데요, 이 값을 sigmoid function을 취하면 끝에가 살아있지 않는 중간에 몰려있는 값이 되는데 이렇게 평평하게 늘어트린 다음에 simoid function을 취하면 0이랑 1에도 있고 중간에도 값이 있는 분포가 좋은 함수가 됩니다. 파이썬 코드를 주피터 노트북에서 실행을 시키시면 확인하실 수가 있을 겁니다.

그래서 이미지로 확인해 보면 이제 흐릿하던 이미지가 점점 현명해지고 고유의 색깔을 갖게 됩니다. 못 보신 분들 위해 다시 한 번, Step 6까지 하면 처음에는 흐릿했다가 점점 자기 고유의 색을 찾는 것을 보실 수 있습니다.

그래서 정리하면 디코더는 잠재변수에서 샘플링 된 데이터에서 이미지 데이터를 만들어내는 과정이라고 할 수 있습니다.

그러면 이제 드디어 실제 데이터를 확인해 보실 때가 됐습니다. 이제 드디어 이론 설명이 다 끝났고요. 이제 정말 실제 데이터만 남았습니다.

첫 번째 데이터는 던전의 형태입니다. 이 사진은 던전 크롤의 레이아웃 모음인데요. 던전의 레이아웃 구성 요소는 여러 가지가 있겠지만 간략화 시키면 Floor와 Wall로 나눌 수 있습니다. 즉 갈 수 있는 공간이랑 갈 수 없는 공간으로 나눌 수가 있고요.

그래서 많은 shape이 있겠지만 대표적으로 쓰이고 구현도 비교적 간단하면서 서로 형태적 차이가 있는 6개의 shape을 지정해서 생성했습니다. 

생성은 Procedural Generation을 사용했고요. 이런 식으로 생성이 됩니다. 그래서 총 여섯 종류 합쳐서 50,000개를 만들었습니다.

이렇게 만든 던전을 Variational Auto-Encoder로 학습을 시킵니다. 그러면 처음에는 몰려있던 값이 점점 퍼지면서 아까 손글씨 데이터에서 보셨던 것처럼 자기들끼리 몰려있는 것을 확인하실 수가 있는데요. 여기서 이거를 아까는 데이터가 2차원이라 표현할 수 있었는데 여기서는 800차원이기 때문에 2차원으로 투영해주는 t-SNE라는 알고리즘을 씁니다. 이건 Geoffrey Hinton 교수라는 분과 다른 분이 2008년에 낸 논문이 있는데요. 링크를 걸어놨으니까 관심 있으신 분은 읽어보시고요. 굳이 읽어보시지 않아도 그냥 고차원을 저차원으로 투영해서 분포가 잘 됐는지 확인하는 역할이다. 라고 생각을 하시면 되겠습니다.

그래서 일부분을 확대해보면 

이렇게 같은 형태의 던전끼리 클러스터를 이루고 있는 것을 확인하실 수 있습니다. 앞에서 보여드렸던 손글씨 숫자 예제처럼 어느 정도 학습이 되었다는 증가가 되겠죠?

그럼 이번에는 Shape Morphing에 대해 설명을 드리겠습니다. 아까 보여드린 Morphing과 같은 것인데요. 앞서 설명드린 대로 어떤 던전 구조, 여기서는 이제 roomsAndCorridor라는 것인데 이것을 Z₁으로 잠재변수로 만든 다음에 다시 복원을 할 수 있습니다.

마찬가지로 이번엔 diamondMine이라는 던전을 Z₂로 만든 다음에 다시 복원을 할 수 있는데 

그러면 이 사이에서 있는 값들이 있지 않을까? 이 사이에서는 Morphing이 어떻게 될까? 에 대해서 생각을 해보면 간단하게 선형 보간으로도 할 수 있지 않을까? 라는 생각을 하게 됩니다. 그래서 이 두 개의 값을 알고 있을 때 그 사이의 값을 탐색하는 게 아까 숫자가 변하는 것도 그렇고 던전도 부드럽게 변할 수 있다는 것입니다. 보통 연구에서는 이걸 하는 이유가 Deep Neural Net이 주어진 값을 단순히 기억하는 게 아니라 유의미한 학습을 하고 있다는 걸 보여주기 위해서 사용을 하고요. 또 생성 모델에서 이 방법은 미학적으로 아름답고 새로운 가능성을 탐색할 수 있게 해줍니다.

근데 사실은 아까 보신 거에서 이게 추가되죠? 평균이랑 분산 아, 표준편차. 이 두 개가 추가돼서 이거를 거치고 가야 되는 것이기 때문에

실제 모양은 조금 복잡한 이런 형태가 되겠습니다. 어쨌든 우리가 보기에는 좀 더 여기는 간단해졌죠? Z₁에서 Z_n까지 갔다가 다시 Z₂로 가는 일련의 변화가 되겠고요.

간단한 예제로 어떤 RPG 캐릭터의 선형 보간을 적용해보면 이런 식으로 약간 걸어가는 듯이 변할 수가 있고요. 

그러면 실제로 던전에서 적용을 해보면 

이런 식으로 변하는데 단순히 이미지 오버레이로는 얻어낼 수 없는 효과입니다. 왜냐하면 이제 이미지들이 구조적인 변화와 재생성을 거치면서 변하기 때문이죠.

이거는 다른 예제고요. 

하나를 확대해보면 이런 식으로 점점 서서히 변하게 됩니다. 그런데 방금 말씀드린, (박수) 하하하하 아, 감사합니다. 모르는 분이에요. 진짭니다. 하하하하하. 의심하실까 봐.

앞서 말씀드린 선형 보간법 외에도 곡면 보간법이라는 게 있습니다. 3D 게임에서 카메라의 이동 경로 등의 곡면 보간이 많이 쓰이는데 3차원뿐 아니라 800차원에서도 곡면 보간을 쓸 수 있습니다. 움직임은 이렇게 나와 있는데 이 밑에 링크에서 코드로 간단하게 구현하는 법이 있으니까 들어가 보시면 될 것 같습니다. 근데 아마 3D 프로그래밍을 하시면 다 간단하게 쓰실 수 있을 것 같네요.

그래서 곡면 보간을 쓰면 좀 더 선형 보간보다 값이 부드럽게 변하는 걸 확인하실 수 있습니다. 미세한 차이가 느껴지시나요? 조금 더 부드럽죠. 

그다음에 아예 랜덤하게, 랜덤한 값을 넣어도 학습이 잘 되었으면은 이제 던전의 형태를 유지하는 출력값이 나옵니다. 노이즈 같은 게 아니고요. 

확대해보면 이런 식으로 여러 던전 레이아웃의 특성이 자연스럽게 녹아있는 것을 자연스럽게 확인하실 수 있죠? 이것은 약간 미로 같은 느낌이고 이거는 약간 아까 보신 디비전, 구역 나눔 같은 느낌의 그런 것들이 있는데 실제 던전 데이터로 쓰려면 우리는 Floor와 Wall밖에 필요 없다라고 하면 threshold를 줘서 0.5보다 작은 값은 0으로 하고 큰 값은 1로 해서 만들면 이런 식으로 보완을 하는 데이터를 추출해서 바로 사용할 수 있습니다. 여기까지가 1번이었고

온라인 데모를 만들었습니다. 이 밑에 있는 두 분의 코드가 큰 힘이 됐는데요. 온라인 데모는 발표 말미에 링크를 제공해 드리도록 하겠습니다.

네, 다음은 Character Portrait 생성에 대한 작업입니다. Game Character Hub라는 곳의 Face Set을 사용했는데요. 우리가 잘 알고 있는 RPG 캐릭터 만들기 XP? XP였는지 버전은 잘 기억이 안 나는데 거기서 쓰는 Face Set입니다. 50,000개를 역시 사용했고요. 128픽셀인데 108픽셀로 중심 주변으로 crop을 한 다음에 거기서 resize를 해서 중심에 집중된 값을 얻으려고 했습니다.

바로 Morphing으로 들어가면 

이런 식으로 Morphing이 되는 것을 확인하실 수 있습니다. 머리 색깔 같은 것도 좀 변하고 눈의 모양 같은 것도 변하는 것을 확인하실 수 있죠.

다음은 이런 식으로도 다른 데이터로 바꾸었을 때 흡수율이고요. 아까처럼, 사진 찍으셔야 되죠? 조금만... 

네, 다음에는 평균값을 넣어봐도 그런 것들이죠, 인터넷이 많이 나오잖아요. 한국인의 평균 얼굴, 이런... 그런 느낌으로 데이터셋에서는 어떤 얼굴들이 있었는지 그 평균값의 경향 같은 것을 확인해 볼 수가 있겠습니다. 

그다음에 랜덤 값을 넣어보면 아까 던전만큼 잘 나오지는 않습니다. 그래서 이것들을 좀 더 잘 나오게 하는 방법이 아까 처음에 소개 드렸던 Generative Adversarial Networks, 맞나요? 기억이 안 나네. GAN을 사용하면 이 값들 중에 잘못된 값들도 약간 이런 쪽으로 가까워지게 만들 수가 있습니다.

그러면 아까처럼도 t-SNE를 해보면 800차원을 2차원으로 만들면 중앙을 중심으로 분포가 잘 된 것을 확인할 수가 있는데요. 여기에 넣을 때는 아까 던전을 어떤 던전은 미로고 어떤 던전은 디비전이라는 Y 값이 있었는데 여기서는 그냥 Y 값이 없이 손으로 작업해야 되는데 그러지 않고 그냥 넣어서 단색으로 나오고 있습니다. 그래프가. 

그래도 일부분을 한 번 확대해보면

이런 식으로 얼굴 확인할 수 있는데요. 비슷한 값들끼리 모여있는 것 같지만 던전만큼 구분은 잘 되지 않습니다.

그래서 좀 더 같은 영역에서 좀 더 많은 값을 확인하고

그다음에 흑백화를 한 다음에

좀 더 필터를 강하게 하면 어느 정도 밝은 색과 어두운 색의 두 가지 정도를 데이터가 분류되는 걸 확인하실 수 있습니다. 이렇게 나오는 이유는 이제 아까도 말씀드렸지만 특정 유형을 데이터로 분류하지 않아서 그렇기는 한데 이걸 확보하고 반지도 학습을 하는 방법이 있습니다. 그걸 하면 원하는 데이터가 잘 보이도록 할 수가 있습니다.

그럼 여기의 메인은 이겁니다. Analogy인데요. 유추 기법이라고 합니다. A와 B의 관계를 알 때 C에 대응되는 것은 무엇일까? 라는 것을 유추해볼 수 있는데요. 벡터 연산으로는 이제 B랑 C를 더하고 A를 뺐을 때 이 물음표에 해당하는 것이 나올 수 있다. 라고 이 Sampling Generative Networks라는 논문에서 설명을 하고 있고 J-Diagram이라는 것도 설명을 하고 있습니다. 참고로 말씀드리면 고민하실까 봐 말씀드리면 이 문제의 답은 전 처음엔 1번이라고 생각했는데 5번이라고 합니다. 넘어가겠습니다.

그럼 이제 A, B, C를 각 모서리에 지정하고 각 요소를 아까 보신 선형 보간 보다는 곡면 보간으로 유추하는 방법으로 J-Diagram이란 걸 그릴 수가 있는데요. A와 B는 이때 공통점과 차이점이 모두 있어야 원하는 결과를 잘 얻을 수 있습니다. A와 B는 초록머리라는 공통적이 있고 그리고 A는 남자고 입을 좀 다물고 있고 B는 여자애고 입을 벌리고 웃고 있는 사진이죠? 그러면 이때 C에 대응하는 물음표는 어떤 이미지인지 구해보면 

이런 식으로 나오게 됩니다. 경험적으로는 아까도 말씀드린 것처럼 A랑 B의 공통점과 차이점이 다 있도록 설정하면 좋고요.

다른 데이터로도 이렇게 작업을 해볼 수 있습니다. 

그리고 Analogy 기법으로 이렇게 데이터를 변화시켜 보면 아까 Morphing처럼 또 의외로 얻을 수 있는 것이 한 쪽으로 내린 머리가 있고 이렇게 양쪽으로 양갈래 한 머리가 있는데 그 사이에 숏컷이 있다는 걸 확인할 수 있습니다. 이렇게 잠재변수 공간을 우리가 간접적으로나마 어떻게 분류가 되어 있는지 확인할 수 있는 탐색 효과가 있습니다.

이것도 온라인 데모가 있는데 이거는 이따가 설명을 드리겠습니다.

오늘의 마지막 데이터, Character Sprite 데이터가 되겠습니다. 이거는 최근에 나온 Game Character Hub의 Portfolio Edition을 사용했고요. 이게 RPG 만들기 MV, 최신 모델이랑 대응이 되는 걸로 알고 있습니다. 데이터는 아까처럼 50,000개 사용했지만 이번에는 9프레임을 해서 총 450,000개를 사용했고요. 이미지의 크기는 64픽셀입니다.

이거는 베이스 이미지입니다. 이런 식의 이미지들을 사용하는 거고요. 원래의 데이터는 프레임이 한 52개 정도 되는데 한 캐릭터당, 여기서는 제가 원하는 것만 보기 위해서 9개씩만 사용했습니다.

여기서 적용해 볼 것은 잠재변수의 평균을 계산해보는 방법입니다. 이미지가 첨부된 이 논문에서는 잠재변수를 탐색하기 위해서 원하는 특성을 가진 이미지의 평균을 구한 다음에 그것을 새로운 특성의 이미지를 계산했습니다. 그러니까 선글라스를 낀 남자, 선글라스를 안 낀 남자 그리고 그 선글라스를 안 낀 여자를 빼고 더하면 이제 선글라스를 낀 여자의 이미지가 만들어진다는 것인데요.

저도 마찬가지로 이런 식으로 여기서는 어떤 프레임에서 다른 프레임으로 변하는 이미지를 계산할 수 있는지 실험을 해보았습니다. 그래서 이런 식으로 이미지가 계산이 되고요. 실제 데이터와 비교를 하면 약간 좀 평균에 가까운 이미지가 만들어진 것을 확인하실 수 있습니다.

다른 식으로도 작업을 해보면 이 화면에 빈칸이 이 이미지를 기본으로 해서 적용한 예, 그리고 이 이미지를 기본으로 응용한 예인데요. 비슷한 프레임을 기준으로 했을 때는 결과값이 좋은 반면에 형태가 약간 다른 프레임이 기준이 되면 결과값이 눈에 띄게 나빠지거나 평균과 가까운 값이 표시되는 그런 결과가 있는데 이거는 좀더 데이터를 늘리고 하면 해결이 되지 않을까 생각을 합니다.

추가로 이거는 그냥 실험적으로 해봤는데요. 세 번째 프레임의 평균값을 계속 더해주면 평균에 점점 가까워지는 건 예상했지만 점점 오히려 평균일 뺐을 때는 형태를 잃어버리면서 무에 가까워지는 것을 확인할 수 있었습니다. 재미로 해봤는데요. 이런 거를 좀 더 해보실 수 있게

온라인 데모를 만들었고요. 방금 소개드린 거를 다 이 사이트에서 해보실 수 있습니다. Github에서 페이지를 하나 주더라고요. 그래서 아까 말씀드린 meanCalculation 살짝 잘 안 보이는데 여기서 +3 +3 +3, +3은 mean 3이란 뜻입니다. 이걸 했을 때 첫 번째 프레임에 세 번 더했을 때 이런 식으로 이미지가 나온다. 라는 것을 보실 수가 있습니다.

그러면 결론입니다. 딥러닝을 사용하는 게임 컨텐츠 생성은 레벨 데이터 같은 약간 간단한 데이터는 즉시 사용이 가능하다고 볼 수 있습니다. 하지만 이미지 같은 것은 아직 실사용은 무리이지만 BEGAN 같은 좋은 알고리즘이 벌써 나오고 있기 때문에 조만간 가능하지 않을까? 생각이 됩니다. 그리고 발표를 위해서 제가 20가지 정도 데이터셋을 갖고 실험을 해봤는데요. 아무래도 오리지널 데이터는 많을수록 좋다는 게 결론이고요. 제가 한 방법으로는 최소 2,000개 정도 되어야, 다른 이미지가, 아니면 다른 데이터, 폰트도 해봤는데 폰트가 국내에 무료 폰트가 백사십몇 개밖에 안 돼서 학습이 잘 안 되더라고요. 그래서 아직은 조끔 오리지널 데이터가 많아야 한다라는 것이 결론이 되겠습니다. 그리고 잠재변수 탐색 방법은 소개 드린 것 외에도 발전의 여지가 많아서 다양한 방법을 시도해보실 수 있을 것 같습니다.

더 알아보시고 싶으신 분들은 VAE랑 GAN이랑 pixelRNN을 섞어 쓰는 게 요즘 많이 쓰는 방법들인데요. VAE와 GAN을 섞어 쓰기도 하고 아까 말씀드린 그 결과 좋은 BEGAN도 있고, 딥러닝의 특징은 방법론을 레고 블록처럼 결합했을 때 더 좋은 결과가 나오기도 한다는 것이 되겠습니다. 그러면 이상으로 발표를 마치도록 하겠습니다.

감사합니다.
TITLE	TITLE	TITLE	TITLE
TITLE	TITLE	TITLE	TITLE
전체보기
