Nightshade: AI에 대항하는 아티스트의 무기

시카고 대학에 아티스트를 위한 AI 방어 도구 프로젝트 Nightshade를 공개했습니다. 이전에 공개한 도구 Glaze에서 한 단계 더 나아가 더 나은 품질로 더 넓은 범위를 보호할 수 있습니다. Glaze가 AI 모델이 이미지를 정상적으로 인식하지 못하게 개별 이미지에 효과를 가한 것이라면 Nightshade는 AI 모델이 이미지를 사람과 다르게 인식하게 학습시켜 새로운 이미지를 해석할 때도 착각하게 만드는 도구입니다. 아티스트가 자신의 작품을 학습에 쓰이지 않게 하려면 전적으로 AI 모델을 제작한 회사에 기대야 했는데 적극적으로 자신을 보호하는 수단이 등장했습니다.

프로젝트를 이끈 컴퓨터 과학 교수 Ben Zhao는 Nightshade를 “직장 냉장고에서 훔쳐가는 것을 방지하기 위해 점심에 매운 소스를 넣은 것”라고 말했습니다. 또한 AI 모델을 파괴하기 위한 도구가 아니라 아티스트에게 정당한 비용을 지불하게 만드는 장치라 밝혔습니다.

©SAND LAB, UNIVERSITY OF CHICAGO

인간의 눈은 원본과 크게 변하지 않은 음영 처리된 이미지를 보는 반면 AI 모델은 완전히 다른 구성으로 인식합니다. 주로 텍스트를 이용해 이미지를 만드는 것에 착안해 AI 모델이 텍스트를 잘못 학습하게 만듭니다. 예를 들어 사람이 보기에는 고양이 이미지이지만 사람의 눈으로는 식별할 수 없는 ‘개’를 숨겨 AI 모델이 ‘고양이’를 ‘개’로 해석하게 만듭니다. 물체 뿐만 아니라 특정 그래픽 스타일을 같은 방식으로 잘못 학습하게 만들어 의도하지 않은 결과를 만들게 합니다. 이러한 학습은 특정 이미지 뿐만 아니라 AI 모델 자체가 ‘고양이’를 아예 잘못 이해하게 만듭니다.

©SAND LAB, UNIVERSITY OF CHICAGO
©SAND LAB, UNIVERSITY OF CHICAGO

Nightshde가 적용된 이미지를 자르거나 압축하고 노이즈를 추가해도 본래 기능이 유지됩니다. 스크린샷을 찍거나 모니터에 표시된 이미지를 찍어도 음영 효과가 그대로 유지됩니다. 워터마크나 숨겨진 메시지가 아니라 깨지기 쉽지 않습니다.

©SAND LAB, UNIVERSITY OF CHICAGO

연구팀이 이전에 공개한 AI 모델 학습 방어 도구인 Glaze는 아티스트 개인이 스타일 모방을 방지하기 위해 사용하는 도구라면 Nightshade는 AI 모델이 동의 없이 정상적인 산출물을 만들 수 없게 집단으로 공격하는 도구입니다. 이를 통해 다른 아티스트의 작품도 보호할 수 있는 것입니다. 연구 팀은 자신의 작품에 Glaze와 Nightshade를 모두 사용해 무단 도용 AI 모델들을 방지할 수 있다 밝혔습니다. 현재는 두 개의 도구가 독립적으로 동작하지만 곧 동시에 사용할 수 있는 도구를 공개할 예정이라 밝혔습니다.

©SAND LAB, UNIVERSITY OF CHICAGO
©SAND LAB, UNIVERSITY OF CHICAGO
©SAND LAB, UNIVERSITY OF CHICAGO
©SAND LAB, UNIVERSITY OF CHICAGO

최근 AI는 다양한 영역에서 인간만이 수행하던 작업들을 대신하기 시작했습니다. 시간과 자원을 덜 소모하고 같은 결과를 낼 수 있어 인간의 가능성을 더 크게 펼칠 수 있는 도구가 되었습니다. 다만 그 이면에 ‘고유함’의 영역에 문제가 생겼습니다.

인간이 만들어낸 결과물이 오로지 만들기 어렵기 때문에 고유함을 가질 수 있던 것은 아닙니다. 로고를 만들 수 없기 때문에, 고유한 인테리어를 따라할 수 없기 때문에 침해하지 않았던 것이 아니죠. 극단적으로는 마치 한 국가의 화폐를 타국에서 위조해 대량으로 생산해낸 것과 같다고 생각합니다.

최근 타사의 브랜드나 디자인 자산을 그대로 훔치고 만든 성과를 자랑하는 현상도 늘고 있습니다. 규모와 수익의 성장만을 존재 이유로 삼아 나아가는 것이 안타깝습니다. 앞으로는 남의 것을 훔치기 위해 눈치 보는 것이 아니라 더 많은 사람들이 자신의 창조력을 제약 없이 표현해 이전보다 풍성한 표현과 이야기가 늘어나길 바랍니다.

더 보기 및 출처

디자인 나침반 뉴스레터

매주 화요일 아침, 16년 차 디자이너가 큐레이션한
영감을 주는 뉴스, 트렌드, 아티클을 모아보세요.

인기

lotteria-rebranding-01
롯데리아 리브랜딩: 불고기 버거에서 리아 불고기로
toss-stock-pc-01
토스 증권 PC 출시: 증권 서비스도 디자인 혁신
musinsa-desktop-quit-01
무신사 PC 버전 종료: 넘쳐 버린 개발 부채

최근

window11-design
마이크로소프트 윈도우 11 비주얼 디자인
cmf-phone
CMF Phone 1
slack-ios-widget
슬랙 iOS 위젯

디자인 나침반 아카데미

thumbnail-course-list-ux
UX 디자인 클래스: 선택 받는 서비스를 위한 UX 디자인
ui-design-main-mobile
UI 디자인 클래스: 변치 않을 인터페이스의 본질 배우기

최근 소식

dyson-ontrac-01
q10-accident-01
harrisforpresident-01
ms-cloud-error-01
lotteria-rebranding-01
toss-stock-pc-01
cfcldn-01
kakao-id-card-01
Channela-rebranding-01
baemin-increase-price-01
galaxy-ring-01
olympic-uniform-01