메타, 입 모양도 바꾸는 AI 음성 번역 출시

메타가 페이스북과 인스타그램 크리에이터를 위한 AI 번역 기능을 대폭 확대했습니다.

8월 19일 메타는 릴(Reels) 콘텐츠를 자동으로 더빙하고 입 모양까지 동기화해주는 ‘Meta AI Translations’를 전 세계 일부 지역에 출시한다고 밝혔습니다. 이 기능은 사용자의 음성을 그대로 복제해 다른 언어로 번역된 오디오를 생성하며, 입술 움직임까지 맞춰 마치 원래 그 언어를 구사하는 듯한 자연스러운 영상으로 변환합니다.

현재 지원 언어는 영어와 스페인어 간 상호 번역으로 한정되지만 향후 더 많은 언어가 추가될 예정입니다. 접근 권한은 인스타그램의 모든 공개 계정과 팔로워 1천 명 이상을 보유한 페이스북 크리에이터에게 주어집니다.

사용 방법은 릴을 게시하기 전 “Meta AI로 음성 번역” 옵션을 활성화하면 됩니다. 번역 여부와 립싱크 적용 여부도 선택할 수 있으며, 게시 전 번역본을 검토하고 승인할 수 있는 기능도 마련돼 있습니다. 게시 후에는 번역된 릴이 시청자의 언어 환경에 맞춰 자동 표시되며, “Meta AI 번역” 표시가 함께 붙습니다. 또한 크리에이터는 번역 성과를 확인할 수 있도록 조회수를 언어별로 분류해 볼 수 있습니다.

흥미로운 점은 페이스북 페이지 관리자가 직접 제작한 더빙 오디오를 최대 20개까지 하나의 릴에 업로드할 수 있다는 점입니다. 이를 통해 크리에이터는 AI 자동 번역뿐 아니라 자신이 준비한 다국어 오디오를 활용해 더 다양한 언어권 시청자와 소통할 수 있습니다.

메타에 따르면 초기 테스트에서 번역된 영상의 참여도가 약 20% 증가한 것으로 나타났습니다. 스페인어는 전 세계에서 두 번째로 많은 모국어 사용자를 가진 언어로, 영어권 크리에이터가 접근하기 어려웠던 시청자층을 새롭게 확보할 수 있는 기회가 될 전망입니다.

다만 기술의 부작용도 제기됩니다. 실제로 하지 않은 말을 한 것처럼 보이게 만드는 점은 오용 가능성과 허위 정보 확산 우려를 낳습니다. 이에 메타는 번역된 릴에 명확한 라벨을 부착하고 시청자가 언제든 원본 오디오로 전환할 수 있도록 했습니다. 또한 문화적 맥락이나 관용적 표현의 번역 정확성 문제도 남아 있습니다.

이번 기능은 메타가 2023년부터 개발해 온 ‘SeamlessM4T’ 음성 번역 모델을 기반으로 합니다. 과거에는 전문 성우와 번역가가 수 주 이상 걸리던 작업을 몇 분 안에 자동으로 처리할 수 있게 된 것입니다. 메타는 언어 장벽을 없애 더 많은 글로벌 시청자를 연결한다는 전략을 내세우고 있으며, 크리에이터들에게는 새로운 성장 기회로 작용할 수 있을 것으로 보입니다.

(C)Meta
(C)Meta
(C)Meta

더 보기 및 출처

광고 없는 오픈카톡방

디자인 나침반 뉴스레터

11,156명이 구독하는 디자인 영감을 받아보세요.

Plus
26. 02. 20
Plus
26. 02. 19
Plus
26. 02. 13
Plus
26. 02. 11

디자인 나침반 뉴스레터

11,156명이 구독하는 디자인 영감을 받아보세요.

Design for Business