튜토리얼
미드저니로 캐릭터 생성하고 비디오스튜로 동화책 동영상 편집하기

요즘 생성 AI가 잘 활용되는 사례들이 하나 둘씩 보여지고 있는데요.

그림을 그려주는 생성AI인 미드저니와 비디오스튜를 활용해서 애니메이션이 가미된 동영상 동화책을 만드는 방법에 대해 알아보도록 하겠습니다.

먼저 여러가지 솔루션들이 활용되기 때문에 전반적인 작업 흐름을 말씀드릴께요.

chatGPT를 통해 동화 스크립트 만들기
미드저니를 통해 내용에 필요한 캐릭터 및 배경이미지 생성하기
비디오스튜에 모든 재료들을 넣고 동영상 편집하기

중간 중간 배경 누끼를 따는 서비스나 이미지를 크롭하는 웹서비스들도 등장합니다만 크게 비중은 없으니 저 세 가지 솔루션의 흐름만 기억해주시면 되겠습니다.

그럼 시작해보도록 할께요.

chatGPT를 통해 동화 스크립트 만들기

먼저 chatGPT에서 동화책을 만들어볼께요. 이건 프롬프트 노하우도 필요없고 간단한 부분이라 자유롭게 테스트해보시면서 동화책 스크립트를 생성해볼 수 있습니다.

사용 프롬프트: 어린 남자 아이가 주인공인, 어린이에게 꿈과 희망을 줄 수 있는 짧은 동화를 만들어줘

<chatGPT에서 동화 스크립트 생성하기>

이렇게 간단히 동화책 스크립트를 만들어보았어요. 프롬프트에서 특이할 점은 없지만 “어린 남자 아이가 주인공”이라고 명시한 이유는 분명한 캐릭터가 있는 것이 미드저니와 같은 생성AI를 활용하기에 좋기 때문입니다.

미드저니를 통해 캐릭터 및 배경이미지 생성하기

이제 스크립트를 살펴보면서 어떤 캐릭터들이 필요한지, 어떤 배경 요소가 필요한지 살펴볼 차례입니다.

일단 주인공인 “민우”, 그리고 원숭이 친구 “루비” 캐릭터가 필요하겠네요. 배경으로는 “학교 교실”이나 “동물원” 등 다양한 장소가 필요할 것으로 보이고요.

하나씩 생성 프롬프트를 날려볼까요?

미드저니에서 주인공 캐릭터 초안 만들기

가장 먼저 주인공 캐릭터의 다양한 포즈를 생성해내야 합니다.

기본 프롬프트: [캐릭터 설명], [스타일], multiple expressions and poses, character sheet, [의상] --ar 16:9

활용 예시: short boy, brown hair, korean, black eyes, pixar styled, multiple expressions and poses, front view, side view, back view, character sheet, blue jean pants, pink t-shirt --ar 16:9

여기서 중요한 것은 front view, side view, back view를 모두 담은 캐릭터 시트를 만들어야 한다는 점이에요. 배경과 잘 어우러지게 캐릭터를 쓰기 위해서는 캐릭터가 항상 앞만 보고 있을 순 없기 때문이죠.

<생성된 미드저니 캐릭터 시트>

주인공 캐릭터의 다양한 감정 베리에이션 만들기

울고 있는 표정이나 웃고 있는 표정 혹은 만세하는 포즈 등의 베리에이션 캐릭터를 만들기 위해서 중요한 건 캐릭터의 일관성을 유지하는거에요.

같은 프롬프트에 표정이나 포즈만 추가하면 될 것 같지만 전혀 엉뚱한 결과물이 나오기 때문이죠. 갑자기 주인공이 바뀌는 동화책이 되고 싶지 않다면 꼭 유념해야 할 것이 레퍼런스 링크입니다.

<갑자기 명성황후 얼굴이 달라졌다?>

먼저 앞서 만든 캐릭터 시트의 10가지 캐릭터를 하나하나 분리를 해줘야해요. 이때는 iloveimg와 같은 무료 온라인 크롭 툴을 쓰면 좋습니다. 총 10개의 별도 주인공 캐릭터 이미지 파일을 준비해줍시다.

<캐릭터 시트에서 각각의 캐릭터를 크롭해서 별도 이미지 파일로 저장>

캐릭터 베리에이션을 만들기 위해 사용하는 프롬프트는 아래와 같습니다.

[레퍼런스 링크], [캐릭터 설명], [스타일], expressions and poses, character sheet, [의상] --ar 16:9

레퍼런스 링크를 따기 위해 10개의 이미지를 모두 미드저니에 업로드를 해줍니다. 업로드된 이미지별로 마우스 우클릭을 하면 이미지 고유주소를 복사할 수 있는데요. 일일이 10개의 주소를 복사해서 넣어주는 겁니다. 귀찮은 작업이지만 캐릭터의 일관성을 보장하면서도 자유롭게 베리에이션을 만들기 위해서 굉장히 중요한 일입니다.

<일일이 이미지의 고유링크를 복사하자>

이제 다시 /imagine 명령어를 통해 베리에이션을 생성을 해볼껀데요. 기본 프롬프트에서 multiple expressions and poses 대신에 실제 동작이나 표정들을 넣어볼꺼에요. 이번에는 jumping with smiling face 라고 넣은 뒤 캐릭터를 생성해보도록 하겠습니다.

<기본 캐릭터의 생김새를 유지하면서 표정 및 포즈를 바꾸는데 성공했다!>

이렇게 동화책 스크립트에 맞춰 필요한 베리에이션들을 준비해두면 됩니다. 그런데 미드저니에서 생성해주는 이미지들은 모두 배경색이 있죠. 그래서 이번에는 캐릭터 이미지만 png로 만들어 줄 누끼 툴을 써야 합니다. remove.bg와 같은 솔루션으로 간단히 배경을 투명하게 날려버릴 수 있죠.

<웹에서 간단히 배경 누끼를 따자>

배경 이미지 만들기

이런 식으로 캐릭터들이 모두 준비된다면 이제 남은 것은 배경을 생성하는 것입니다. 사실 배경은 스타일만 맞춰주면 프롬프트를 쓸 때 크게 어려운 부분은 없습니다. 단, 항상 first person view 로 생성되도록 하는 것이 캐릭터가 서있기에 위화감이 없습니다.

배경 프롬프트 예시: pixar styled, horizontal path, zoo, first person view, tiger in the cage, bright and sunny day, icecream truck --ar 16:9