스튜대학

미드저니 캐릭터 일관성 유지를 위한 cref 파라메터 완전 정복하기 (feat. 공포 유튜브 쇼츠 만들어보기)

드디어 미드저니에 캐릭터의 얼굴을 그대로 유지하면서 다양한 포즈 및 표정을 구현할 수 있는 일관성 파라메터가 추가되었습니다.

미드저니와 같은 생성형 AI 서비스들이 워낙 랜덤성이 강해서 일관성을 유지하기 위한 복잡한 방법은 비디오스튜 블로그에서도 한 번 소개를 했었는데요.

이번 업데이트를 통해서 이 캐릭터 일관성의 갈증(?)을 해결할 수 있을런지 직접 도전해보았습니다.

대표 캐릭터 (레퍼런스 이미지) 만들기

먼저 첫 작업으로는 주인공이 될 캐릭터를 만들어줍니다. 아참, 최근 드디어 미드저니에서 디스코드를 통하지 않아도 이미지를 생성할 수 있는 웹 인터페이스를 공개했습니다. (아직까지는 알파 버전 단계로 헤비 유저 대상으로만 제한적으로 오픈되어 있습니다.)

< 미드저니 웹 인터페이스 >

일단 아래의 프롬프트를 넣어 레퍼런스 이미지를 생성해보았습니다.

A Korean rapper passionately performing rap on stage, face tatoo, ear rings

이런 이미지들이 생성이 되었는데요. 일단 두 번째 이미지를 upscale해서 해상도를 높히도록 하겠습니다.

고화질로 재생성된 이미지를 클릭하고 마우스 우클릭해서 [이미지 주소 복사]를 해줍니다. 그러면 레퍼런스 이미지에 대한 준비는 모두 끝났습니다.

베리에이션 이미지 만들기

이제 앞서 생성된 래퍼가 다른 장소에서 다른 행동을 취할 수 있는지 실험을 해보도록 할께요.

실험을 위해 아래의 프롬프트를 사용했습니다. --cref [레퍼런스 이미지 주소] 를 프롬프트 가장 뒤에 추가해주면 됩니다.

A korean rapper is reading a newspaper at home --cref [레퍼런스 이미지 주소]

그리고 나온 결과는 꽤 만족스러운 편입니다.

< 집에서 신문을 읽는 우리의 래퍼 형님 >

--cref 외에도 --cw 라는 파라메터도 아시면 좋습니다. character weight라는 뜻이라 짐작되는데요. 얼마나 레퍼런스 이미지의 속성들을 유지할 것이냐는 것으로 이해하시면 됩니다. 아무것도 입력을 안한다면 --cw 100 이 기본값이고요. 모든 속성들을 최대한 유지하겠다는 것인데요. 이번엔 같은 프롬프트에 --cw 0 으로 다시 한번 시도해보도록 하겠습니다.

--cw 값을 0으로 했기 때문에 정말 얼굴만 제외하고 타투 모양도 많이 바뀌고 모자, 옷 등 얼굴 외적인 요소들이 많이 바뀐 것을 확인 할 수 있었습니다.

< 옷이나 모자, 타투 등이 사라진 래퍼 형님 >

캐릭터 일관성, 웹툰 제작에도 쓸 수 있을까?

일단 기본적으로 캐릭터 일관성 파라메터가 작동한다는 것을 확인했기 때문에 곧장 웹툰 제작에 활용할 수 있을런지 의문이 들었고 곧장 다음의 프롬프트로 레퍼런스 캐릭터를 제작해보았습니다.

a Korean female university student, korean comics style

그리고 나온 네 장의 결과물은 다음과 같습니다. 저는 여기서 또 두 번째 이미지를 upscale하고 다양한 포즈 및 장소를 설정해보려 합니다.

< 웹툰 그림체 스타일로 생성한 레퍼런스 이미지 >

이번에는 프롬프트를 좀 바꿔보았습니다. 웹툰 스타일이니 뭐니하는 내용은 모두 빼고 단지 “a lady”라고 하면서 --cref를 적용해보았죠.

그랬더니 웹툰 캐릭터랑 같은 스타일에 같은 옷에 분명 같은 사람은 맞지만 실사 이미지가 등장하는 일이 벌어졌습니다. 이것이 바로 웹툰의 실사화인가요?

< 만찢녀의 등장 >

핵심 프롬프트는 그대로 유지하면서 재도전

따라서 다시 프롬프트를 유지하면서도 --cref를 사용해서 버스에 타고 있는 모습이 잘 만들어지는지 도전해보았습니다. 결과는 대성공! 레퍼런스 이미지와 상당히 유사한 주인공이 버스에 앉아있는 모습입니다.

< 만화를 찢고 나왔다가 다시 만화 속으로 들어간 주인공 >

캐릭터 두 명이 등장한다면?

점점 더 웹툰이나 스토리텔링 콘텐츠를 제작할 때 활용해볼 수 있겠다는 기대감이 커지고 있습니다. 그렇다면 카페에서 남자친구와 대화하는 이미지도 생성이 가능할까요?

오우, 네 장 중에 하나는 성공을 했습니다만, 클론 두명이 카페에서 대화를 하는 해괴한 이미지들이 생성이 되어 버렸습니다.

마지막 프롬프트를 재실행하는 Rerun 기능으로 총 8장의 이미지를 재생성해보았는데요. 결과는 처참했습니다…

스타일 일관성 프롬프트와 함께 사용해보기

cref 가 캐릭터의 일관성을 유지하기 위한 파라메터라면 sref 는 스타일의 일관성을 유지하기 위한 파라메터입니다.

그래서 이번엔 이 주인공 캐릭터가 호러물에 등장할 수 있도록 공포스러운 분위기를 입혀보려합니다. 먼저 다음의 프롬프트를 통해 공포스러운 분위기를 자아내는 장면을 하나 생성해보았습니다.

An indoor setting with a terrifying atmosphere, korean comics style

그리고 역시 레퍼런스 이미지로 쓸 수 있도록 [이미지 주소 복사]를 해두시고요.

그리고 준비된 두 개의 레퍼런스 이미지를 한번에 적용해주었습니다.

A Korean female college student running away in fear at subway station, korean comics style  --sref [레퍼런스 이미지 주소] --cref [레퍼런스 이미지 주소]

그리고 나온 결과는 성공! 우리의 주인공이 지정한 스타일대로 지하철 플랫폼에서 도망치고 있는 모습이 만들어졌습니다.

하지만 프롬프트의 내용 자체가 겁에 질리고 도망치는 내용이라 우연히 잘 나온 것일 수도 있죠. 그렇다면 이 한국 여대생이 웃으면서 공원 벤치에서 커피를 마시는 모습도 공포스러운 그림체를 유지해볼 수 있을까요?

네, 가능합니다! 분명 스타일 레퍼런스로 삼은 원본의 색감이나 느낌이 그대로 드러나네요. 표정은 웃고 있지만…

무서운 이야기 쇼츠 만들어보기

그렇다면 지금까지 해본 실험을 토대로 공포 쇼츠를 한번 만들어볼 수 있을 것 같다는 생각입니다. 무서운 이야기는 GPT에게 간단하게 만들어달라고 한뒤 각각 문장에 어울리는 이미지들은 스타일 및 캐릭터 일관성 파라메터를 사용했습니다.

그리고 비디오스튜에 모두 밀어넣은 결과는?

공포스러운 배경음악과 적절한 AI보이스를 결합하니 괜찮은 퀄리티의 영상이 쉽게 만들어졌습니다. 미리 한번에 문장 별로 필요한 이미지들을 준비해두고 하나씩 복사&붙여넣기를 하니 작업도 굉장히 빠르네요.

그래서 결론은?

cref 와 sref 를 함께 이용하면 등장인물이 한 명인 경우에는 쉽게 그림체와 얼굴 일관성을 유지하면서 콘텐츠 작업이 가능하다는 것은 확인했습니다.

하지만 여전히 이야기 진행을 위해서는 다수의 캐릭터들이 필요할텐데요. 이는 여전히 한 번에 생성하는 것은 불가능해보이네요. 물론 과거의 캐릭터 일관성을 유지하기 위해 사용했던 방법(과거 미드저니 캐릭터 일관성 포스팅 참조)을 결합하면 어느정도 수준은 가능할 것으로 생각됩니다만, 크게 기대는 안되네요…

생성형 AI 서비스들이 하루가 다르게 새로운 업데이트 소식을 내놓고 있으니, 다음 번에는 멀티 캐릭터의 일관성에 관한 업데이트가 있기를 기대해봅니다!