스튜대학

요즘 저는 클로드 코드로 비디오스튜를 굴립니다

요즘 저희가 VX 대행서비스로 좀 큰 일을 받았습니다. 이번에 개관하는 만해박물관 기념으로 지난 100년간의 만해 한용운 시집 전체를 디지털 영상 아카이브 형태로 만들어드리는 프로젝트인데요. 각 시집의 커버에 관련된 커스리를 만드는 작업이라 꽤 공수가 들어가는 작업이죠.

분량이 분량이다 보니 내부적으로는 생산성을 더 높힐 수 있는 방법을 연구(?)해보았죠. n8n으로 워크플로우 묶어보기도 하고, OpenAI 코덱스로 스크립트 돌려보기도 하다가, 결론적으로는 클로드 코드 위에서 에이전트처럼 비디오스튜 API를 굴리는 걸로 일을 진행하고 있는데요. 오늘은 그 비하인드를 한번 풀어보려고 합니다.

위자드 모드 화면에서 클릭하는 것도 시간이 아까워서…

비디오스튜에는 위자드 모드라는 게 있습니다. 텍스트 한 덩어리를 던지면 스텝 바이 스텝으로 안내를 따라가면서 슬라이드를 만들 수 있는데, 결과가 살짝 마음에 안 들면 그대로 편집 모드로 넘어가서 손볼 수도 있어요.

사실 이 방식만으로도 영상 한 편 만드는 데는 충분합니다. 어렵지도 않고요.

문제는 자동화죠. 하루에 영상 작업 한 두개씩이라면 클릭 몇 번해서 영상 작업을 완료하면 되겠지만, 100편을 만들어야 하면 그 클릭 한 번이 갑자기 무겁게 느껴지거든요.

마침 비디오스튜에는 Data 방식이라고 부르는 API 모드가 따로 있습니다. 페이로드만 잘 짜서 한 번에 던지면, 슬라이드 하나하나에 원하는 요소를 정확히 박아 넣은 영상이 자동으로 나옵니다.

딱 규격화한 템플릿을 만들고 내용을 대치하면서 대량 생산하기게 좋은 옵션이죠. 이 Data 방식 API가 이러한 작업에 딱 어울리는 방식입니다.

그리고 애니메이션이 많이 들어간 영상을 제작할 때도 유용했는데요. 책 커버 이미지 89장을 모핑으로 하나씩 등장하고 사라지도록 구성해야 해서 직접 UI에서 한다면 귀찮은 점들이 많았죠. 그래서 API로 갔습니다.

89장의 책 표지 모핑 애니메이션을 API로 제작

앞서 말씀드린 만해박물관 아카이브 프로젝트 안에는 여러 가닥의 작업이 들어 있는데, 그중 하나가 「님의 침묵」 발간 100주년 기념 아카이브 영상이었습니다. 이번 영상 작업에서는 딱 이 프로젝트 중심으로 클로드 코드를 통해 비디오스튜 API를 어떻게 사용했는지 경험담을 공유해보려 해요.

VX 사업에서 평소 자동화가 매끄럽게 굴러가는 작업은 따로 있는데, 바로 블로그 글 한 편이나 기사 한 꼭지처럼 원본 텍스트가 확실한 경우입니다.

텍스트를 던지면 나머지는 알아서 퀄리티있게 해주기 때문에 담당자가 최종 확인하고 살짝 터치하는 정도로 작업이 완료되죠. (이것마저 완벽하게 셋팅해서 아예 손을 안댈 수도 있고요.)

그런데 이 표지 이미지 애니메이션의 경우 이런 텍스트 기반 영상화라는 관점에서는 좀 벗어나는 일이었습니다.

1926년 초판부터 2025년 신간까지, 89개 출판사가 낸 책 표지를 모핑 애니메이션으로 흘려보내는 영상이었는데요. 사실 비디오스튜에서는 오토 애니메이션 기능이 있어서 만들긴 단순한데, 이게 89장의 슬라이드다보니 손이 많이 갈 것 같았어요.

설계는 이랬습니다. 슬라이드 1의 가운데에 있던 책 표지가, 슬라이드 2에서는 왼쪽으로 이동하고, 슬라이드 3에서는 화면 밖으로 사라져요. 새 책은 오른쪽에서 등장해서 가운데로, 다시 왼쪽으로 흘러가는 구조이죠.

비디오스튜의 오토 애니메이션 기능을 써서 같은 이미지를 인접 슬라이드의 다른 위치에 두기만 하면 알아서 모핑이 되니까 각 슬라이드별로 책 커버 이미지만 제대로 배치하면 되는 작업이긴 하죠. (장수가 많아서 문제…)

AI는 이런 반복작업에 능합니다

그래서 클로드 코드한테 그냥 던졌습니다. "89장 책 표지를 이런 모핑으로 흘러가게 페이로드 짜줘." 그랬더니 알아서 다 해주는 모습에 놀랐습니다.

신기했던 순간이 두 번 있었는데요.

하나는 AI가 먼저 질문을 해온 순간입니다. 저는 이 영상이 반복되는 건 생각도 못했는데 먼저 제시를 하더라고요. 클로드가 먼저 "마지막 슬라이드의 오른쪽 이미지를 첫 책으로 wrap-around 해서 순환구조로 갈까요, 아니면 빈 자리로 둘까요?"라고 먼저 물어봐오니 감동을 할 수 밖에 없죠…

또 하나는 자동 매칭이에요. 책 표지 89장의 파일명은 "086. 님의 침묵 비타민북.jpg" 같은 형식이었고, 별도로 엑셀에 100권의 메타데이터가 있었거든요. 번호, 제목, 저자, 출판사, 발행년월일이 정리된 시트인데요. 클로드가 알아서 파일명의 앞 번호로 엑셀 행을 매칭해서 페이로드의 텍스트 요소까지 자동으로 채워주니 이리 편할 수가 없더라고요.

그리고 마지막 단계에서는 "한 번에 다 돌리지 마시고 테스트로 몇 개만 먼저 해보세요"라고 말해주니 또 리소스 아끼면서 잘 되는걸 다섯 슬라이드로 먼저 확인한뒤 전체를 돌리게 되었습니다.

그런데 왜 굳이 비디오스튜였을까요?

비디오스튜를 운영하고 있긴 하지만, 제 시간이 더 중요하기에 다른 도구들도 검토를 해보았어요. 요즘 유행하는 리모션도 검토를 해보고요.

그런데 다 써본 결과, 비디오스튜만의 가치가 확실히 있더라고요. 바로 내가 직접 설정한 템플릿을 기반으로 굴러간다는 점입니다. 내가 눈으로 템플릿을 설정하고 이에 대한 반복 설계만 AI한테 맡기니까 어떤 결과가 나올런지 명확히 예측이 되고 통제된다는 점이 좋았습니다.

생성형 AI 영상 도구는 매번 결과가 로또 잖아요. 같은 프롬프트를 넣어도 영상의 톤, 컷의 호흡, 화면 구성이 매번 달라지고, 이건 LLM 특성이라 아무리 하네스로 조이고 조여도 삑사리(?)는 나기 마련이죠.

비디오스튜는 템플릿을 한 번 잘 세팅해두면, 같은 페이로드를 던질 때 반드시 같은 모양의 영상이 나오거든요. "이렇게 짜면 이런 영상이 나오겠구나" 하는 그림이 머릿속에 미리 그려져서 저는 별의별 케이스를 이제 다 자동화할 수 있게 되었습니다.

자동화를 돌리는 입장에서 이 예측가능성이 정말 중요한 것 같다는 생각이 듭니다.

솔직히 우리도 발버둥치고 있습니다

제가 직접 개밥먹기로 저희 솔루션의 API를 직접 쓰면서 느낀 게 하나 있어요. 사람용 에디터를 잘 만드는 시대는 이제 절반쯤 끝났다는 겁니다.

지금부터는 AI가 굴리기 좋은 API, 예측 가능한 템플릿 시스템, 데이터로 슬라이드를 주입하는 방식 같은 게 점점 중요해질 거라는 생각입니다. 리모션도 비슷한 맥락에서 인기를 끌고 있는게 아닐까 싶긴한데, 직접 써보니 기업에서 사용하기엔 좀 무리가 있어 보였습니다.

종국에는 에이전트가 알아서 퀄리티가 검증된 영상을 정말 딸깍으로 만들어내는 시대가 오고 있고, 그때 살아남는 도구는 AI 입장에서 깔끔하게 굴러가는 도구일 거라고 생각합니다.

비디오스튜도 이 흐름 안에서 발버둥치는 중이에요. 사람용 에디터도 더 다듬고, 동시에 API와 자동화 인프라도 계속 정비하고 있고요. 막막한 부분도 있지만, 솔직히 좀 재밌습니다. 그리고 제가 직접 우리 API를 쓰면서 불편한 곳을 찾는 게 가장 빠른 개선 방법이라는 것도 깨달았어요. VX 서비스가 사실 이런 관점에서 출발했죠.

오늘 만든 영상은 89장의 책 표지가 한 줄로 흘러가는 어찌보면 별거아닌 영상이지만, 이 경험을 통해서 또 비디오스튜가 어떤 방향으로 진화하고 있는지가 담겨 있다는 생각이 듭니다.