말하는 아바타는 오디오 트랙에 맞춰 입술 움직임을 동기화하여 비디오를 생성하는 기술입니다. 초상 사진과 오디오 녹음(연설, 노래, 보이스오버)을 업로드하면 SadTalker 알고리즘이 사진 속 인물이 현실적인 입술 움직임, 얼굴 표정, 미세한 머리 움직임으로 오디오 파일을 '말하는' 비디오를 생성합니다.
이 기술의 특징은 실제 인물뿐만 아니라 그려진 캐릭터, 애니메이션 영웅, 역사적 초상화 등 모든 초상화와 함께 작동한다는 것입니다. 최상의 결과를 위해서는 정면에서 찍은 얼굴 사진이 필요하며, 중립적인 표정과 최소한의 머리 기울기가 필요합니다. 오디오 트랙의 품질은 결과에 직접적인 영향을 미칩니다: 배경 소음이 없는 깨끗한 녹음이 더 명확한 동기화를 제공합니다.
완성된 비디오는 MP4 형식으로 저장되며, 프레젠테이션, 웹사이트, 교육 자료, 소셜 미디어 게시물에 삽입하기에 적합합니다.