메타가 차세대 이미지 세분화 모델 샘3와 단일 이미지 기반 3D 복원 기술 샘 3D를 공개하며 비전 AI 경쟁력을 강화했습니다. 이번 공개는 이미지와 영상을 이해하고 편집하는 방식을 근본적으로 바꾸는 기술적 진전으로 평가받습니다. 메타는 두 모델을 누구나 사용해볼 수 있도록 새로운 실험 플랫폼 세그먼트 애니싱 플레이그라운드도 함께 선보였습니다.
샘3는 텍스트 명령만으로 이미지 안의 객체를 감지하고 분리하는 기능을 제공합니다. 기존 모델은 차량이나 동물처럼 범주화된 라벨 중심으로 동작했으나 샘3는 빨간 모자처럼 구체적 표현도 인식합니다. 사진이나 영상 편집 과정에서 작업자가 원하는 대상만 골라내어 수정할 수 있어 크리에이터와 편집자에게 새로운 활용 방식을 제시합니다. 메타는 샘3가 자사 앱 에딧츠와 메타 AI 기반 서비스 바이브스 등에 적용될 예정이라고 밝혔습니다.
샘 3D는 하나의 사진만으로 사물과 인물을 3차원으로 복원하는 모델입니다. 샘 3D 오브젝트는 일상 장면 속 가구와 생활용품 등 다양한 객체의 형태와 질감을 재현합니다. 샘 3D 바디는 사람의 전신 포즈와 체형을 정교하게 추정합니다. 메타는 이를 위해 이미지와 영상 기반 대규모 데이터셋을 구축했으며 복잡한 자세와 가려진 신체도 처리할 수 있도록 설계했다고 설명했습니다.
메타는 샘 3D가 가상현실 콘텐츠 제작 게임 제작 스포츠 의학 로보틱스 등 시각 정보와 공간 이해가 중요한 분야에서 활용될 것으로 기대하고 있습니다. 페이스북 마켓플레이스에는 이미 새 기능 뷰 인 룸이 도입됐습니다. 사용자는 구매 전 가구를 자신의 공간에 배치한 모습으로 미리 확인해볼 수 있으며 이는 샘 3D와 샘3가 함께 작동해 생성되는 기능입니다.
모델은 한계도 존재합니다. 샘 3D는 한 번에 하나의 객체만 예측하도록 훈련돼 복수의 물체나 사람 간 상호작용을 반영하는 데 제약이 있습니다. 전신 복원 과정에서 세밀한 질감 표현이 떨어지는 경우도 관찰됩니다. 메타는 출력 해상도 향상과 다중 객체 학습을 차기 연구 과제로 제시했습니다.
메타는 연구 생태계와의 협업을 확대하기 위해 샘3 모델 가중치와 평가 데이터셋을 공개했습니다. 샘 3D 역시 체크포인트와 추론 코드를 함께 제공해 개발자가 기능을 검증하고 응용할 수 있도록 했습니다. 플레이그라운드를 통해 일반 사용자는 자신의 사진이나 영상을 업로드해 텍스트 프롬프트 기반 세분화와 3D 재구성을 체험할 수 있습니다.
