kaiber를 사용하다가 불편한 점을 발견하고, 이러한 불편한 점을 개선할 수 있는 서비스를 만들어보고자 제작을 시작했다.
stable diffusion webui
https://github.com/AUTOMATIC1111/stable-diffusion-webui
deforum
https://github.com/deforum-art/sd-webui-deforum
을 활용했고, 운이 좋게도 fastapi로 구현된 api가 만들어져 있어서 사용방법을 알고, 약간만 내용을 추가하는 방식으로 백엔드를 구성하면 됐다. 따라서 프론트엔드만 작업을 진행하면 됐기에, 약 한달이 안되는 시간동안에 데모페이지를 완성시킬 수 있었다.
kaiber에 보면, 음악에 맞춰 영상의 움직임에 리듬감이 보이는 장면을 볼 수 있다. 이렇게 삽입된 음악에 반응을 하는 것을 audio readctivity 라고 하는데, 이러한 기능과 관련되어 deforum에 명시되어 있는 것이 있었다.
여기 나와 있는 url을 들어가보면 audio 파일을 넣는 부분이 있는데, 여기에 오디오 파일을 넣으면 아래에 프레임별로 특정 숫자가 계산되어 추출되는 것을 확인할 수 있다. 이것을 audio keyframe이라고 하는 건데, 이러한 숫자 뭉치들을 deforum의 ‘keyframe’ 탭에 알맞게 넣으면, 음악에 맞춰서 장면이 변하거나 화면이 움직이는 듯한 연출을 할 수 있다.
오디오 키프레임 추출을 위한 사이트가 마침 오픈소스로 구현이 되어 있어서, 해당 코드를 분석하고 프론트엔드에 적용시킬 수 있었다.