OpenAI 가 글로 영상을 만드는 AI 모델 Sora의 연구 과정을 공유했습니다. Sora는 텍스트 프롬프트를 바탕으로 최대 1분 길이의 영상을 만들 수 있는 모델입니다. 실사 영화, 드론 촬영, 3D 애니메이션 등 다양한 스타일로 제작한 예시 영상을 웹페이지에 공개했습니다.
지금까지 공개된 어떤 AI 영상 제작 도구보다 매끄러운 영상입니다. 부들부들 떠는 듯한 불필요한 프레임이 없고 움직이는 요소와 움직이지 않는 요소가 명확하게 구분됩니다. 초점에 따라 달라지는 피사체와 배경 분리가 자연스럽고 정지 이미지 수준으로 디테일 묘사가 자세합니다. 과거 실사 영화에 처음 등장한 3D 특수 효과를 보는 것 같은 느낌입니다.
아직은 물체의 물리적인 관계와 시간에 따른 인과 관계가 명확하게 묘사 되지는 않습니다. 이는 영상 내부에 요소의 개수가 많아지고 복잡해 질수록 어색한 부분이 많아집니다.
Sora는 비디오와 이미지를 패치라는 작은 데이터로 변환합니다. 마치 컴퓨터에서 사용하는 바이트처럼 시각 데이터를 표현하는 방식을 통합해 더 넓은 범위를 학습하고 확장할 수 있습니다. DALL·E와 GPT 모델의 과거 연구에서 쌓은 시각 훈련 정보를 바탕으로 텍스트 프롬프트를 이해하고 표현합니다. 텍스트 뿐만 아니라 정지된 이미지를 이용해 영상을 만들거나 비디오를 확장할 수도 있습니다.
최근 AI로 인해 생긴 딥페이크와 같은 폐해를 막기 위한 조치도 공유했습니다. 극단적인 표현을 막기 위해 텍스트 입력 프롬프트를 제한하고 프레임을 검토해 사용 정책을 준수하는지 확인하는 이미지 분류자를 개발했다고 합니다. 무엇이 검열되고 무엇이 통과될까요? 마치 SNS가 확산되면서 누구나 미디어가 되던 때와 비슷하다고 느껴집니다.
