기사

기사
최신 기사 추천 기사 연재 기사 마빡 리스트

딥페이크 성범죄 : 어떻게 운영되고 어떻게 막을 것인가

2024-10-02 11:08

작은글씨이미지
큰글씨이미지
장광호 추천6 비추천0

 

dfdfd.JPG

출처 - (링크)

 

"선생ㄴ(여자의 멸칭), 지인ㄴ 중 누굴 합성하면 좋을지 투표 해줘. 투표한 사람 합성값 할인~"

 

"우리 ㅇ미(엄마의 별칭)ㄴ을 니들이 능욕해주니 내 가슴이 웅장해진다"

 

텔레그램에서 찾은 성범죄합성물 대화 글이다. 이들은 SNS 프로필 사진을 성관계 영상에 등장하는 다른 여성의 얼굴에 합성했다. 결과물은 전혀 위화감이 느껴지지 않았다.

 

딥페이크는 딥러닝 기술로 사람의 얼굴을 바꾸는 기술이다. 문화·예술 창작, 보안 분야 등에 활용되지만, 성범죄와 가짜뉴스 등에 악용된다. 일단, 제작이 쉬워졌다. 가해자‧피해자 관계도 다양하고, 대부분의 국가 언어로 딥페이크 성범죄 서비스가 횡행한다. 관련 판례 자연어를 분석해보자.

 

1.jpg

 

1. 제작이 쉬워졌다.

2. 가해자, 피해자는 면식‧비면식‧가상인물 등으로 관계가 다양해졌다.
3. 학대, 성애화, 모욕
4. 초국가적이다.
 
특징은 영상이 아닌 사진, 타인에게 보여주는 열람, 청소년과 아동이 피해자-피고인으로서 주요 등장인물이라는 점이다.
 
경찰, 여성가족부, 방송통신심위위원회의 올해 상반기 통계를 보면, 연말 1만여건, 3년 후인 2027년에는 2만 5천 건을 넘을 것으로 예측된다.
 

22.jpg

기관별 딥페이크 디지털 성범죄 신고 통계(2024년 6~8월) 및 예측(~2027년)

3.jpg

딥페이크 디지털성범죄 피해자 지원 비용(간접비용 추산)
 
지난 5월, 지능정보사회진흥원(NIA)이 추진한 ‘딥페이크 기반 디지털 성범죄 피해대응 방안’ 연구를 시작할 때다. 당시는 '다른 사람의 성적 영상물에 타인의 얼굴을 붙이는' 맞춤형 포르노(?)를 상상했다. 하지만 그것은 본질이 아니었다. 본질은 '모욕', '학대'였다. 또한 앞서 언급한 특징들처럼, 주로 영상이 아닌 사진을 쓰고, 타인에게 보여주는데, 그 행위의 가해자와 피해자는 주로 청소년과 아동이었다.
 
타인의 성행위 사진이나 영상에 능욕할 여성의 얼굴을 붙이는 전형적 방식 뿐 아니라, 성기 등 물건, 정액 등 체액을 얼굴이나 손에 붙이거나, 얼굴 표정을 성행위처럼 바꾸는 사진, 지인의 일상 사진 옆에 타인의 성관계 사진이나 영상, 개인 정보를 편집해 그 사람과 성관계를 한 것처럼 콘텐츠를 만들고 이름, 전화번호, 아이디를 표시한다.
 

xvxcv.JPG

텔레그램 대화방에서 공지한 합성 종류
 
텔레그램은 높은 보안성과 데이터 보존 기능으로 디지털성범죄 산업을 시스템으로 만들었다. '대피소'로 사용자를 이중 입장시켜 회원을 확보하고, 콘텐츠를 복사 저장한다. '대피소'를 많이 둔 대화방일수록, 콘텐츠 관리를 잘하는 채널로 인기가 있다. 다양한 채널 기능을 대화방에 연결해 연예인별 능욕방(거의 모든 연예인들 능욕방이 있다)을 운영한다. 도박채널 등 불법 콘텐츠로 유입시키기도 한다.
 
SNS처럼 스티커, 이모티콘 기능도 운영하는데, 누구나 제작할 수 있다. 합성 영상, 사진, 음향을 스티커와 GIF 파일의 움짤로 만들어 사용하거나, 돈을 받고 팔기도 한다. 한 번 만든 불법 합성 이모티콘을 콘텐츠화하여 소비한다.
 

6.jpg

7.jpg

불법합성 이미지를 스티커로 만든 이미지
 
합성 조직은 장당 몇 천 원 정도의 돈이나, 대상자의 사진, 영상, 글, 신상을 댓가로 받는다. 소규모 합성 조직을 아래에 둔 채널 운영자가 도매상으로서 수익을 얻으며 불법합성의 생태계(?)를 키우고자 희망자를 직접 가르치는 '불법 합성 학교'를 운영하기도 한다. 운영자-도매-소매상 구조를 만들고 해외 사이트에 거점을 두고 국내에서 거래하며 텔레그램 등과 콘텐츠를 교류하는 행태이다. 그렇게 몇 년째 커지다가 텔레그램 안에서 다른 SNS, 불법 영상 사이트로 퍼지면서 수많은 피해자들이 알게된 것이다.
 

8.jpg

텔레그램을 매개로 한 사이트‧SNS재유포
 
어쩌다 이렇게 되었을까? 놀이이자 산업으로서 악성 하위 문화가 생겼다. N번방 사건 이후, 오히려 '텔레그램 사용자는 처벌받지 않는다'는 학습 효과도 생겼다. 스마트폰 사용이 일상화 되고, 스마트폰은 조롱‧폭력의 수단으로써 불법합성을 공유하고 있다.
 
심지어 주 행위자인 10~20대 남성들은 '실제 네 몸도 아닌데 무슨 유난이냐'고 말한다. 피해 여성들은 '끔찍했다. 합성이라도 누가 봤으면 어떡하지, 제 정신을 차릴 수 없다'고 말했다. 연구 중 열람한 피해 영상은 너무나 적나라하고, 합성인지 실제인지 구분이 되지 않을 정도였기에 이 영상을 확인한 피해자는 어떤 심정이었을지 감히 상상이 되지 않았다.
 
이를 규제할 성폭력범죄의처벌등에관한특례법 제14조의2는 2020년 N번방 사태 후에 신설 되었다. '반포할 목적으로 성적 수치심을 유발할 수 있는 사람의 얼굴ㆍ신체 등으로 영상물 등을 만든 자는 5년 이하의 징역 또는 5천만원 이하의 벌금'에 처한다. 위 사례들을 볼 때 남에게 합성을 요청하거나(교사범), 혼자 보기 위해 만들었다고 주장(반포 목적을 부정)한 행위를 처벌 할 수 없다.
 
정부 조직은 기관별로 역할이 다르다. 방송통신위원회는 통신 정책을 집행하고, 방송통신심의위원회는 민간기관으로서 위탁 받아 콘텐츠를 차단한다. 여성가족부는 여성정책을 담당하고, 중앙‧지방의 디지털성범죄피해자지원 센터들이 피해자를 지원한다. 경찰은 수사를 한다. 문제 해결의 중심과 책임이 분산되어 있다.
 
지난 7월, 문제가 불거진 후 입법 논의가 활발하다. 그간 처벌하지 않았던 소지, 구입, 저장, 시청, 운반, 광고, 소개, 이용 협박‧강요 행위를 처벌하고, 처벌을 제한했던 '반포 목적' 항목을 삭제하는 것이 대표적이다.
 
기술 대응 움직임도 있다. 다만, 딥페이크 생성 기술(창)은 여러 방식으로 빠르게 발전하지만, 이를 탐지할 기술(방패)은 모든 방식에 대응해야 하기때문에 어렵다. 딥페이크는 생성형 AI의 일환으로 대규모 인프라를 사용하는데, 수익을 거두려는 생성 서비스에 대응할 공익적 예방‧탐지서비스는 지속가능성을 고민해야 한다.
 

9.jpg

NIA 주관 치안안심플랫폼 ISP(2022)
 
법률을 통한 기술 규제는 나체와 같은 불법 콘텐츠 생성을 억제하거나, 본인 인증을 거치는 규제를 상정해 볼 수 있다. 정보통신사업자들에게 본인 동의없는 생성물을 검색, 삭제하는 의무도 구상해 볼 만 하다. 이미 구글은 그런 서비스를 제공한다.
 
하지만, 대부분 디지털성범죄 대응은 국내 기관의 규제를 벗어난 해외에서 운영한다. 대표적인 경로인 텔레그램은 정부에게 협조하지 않는 것으로 악명을 쌓아왔다. 피해 상담사들은 '텔레그램을 차단해야 한다'고 주장한다. 연구 시작 때에는 공감하지 못했는데, 실제 사례를 접하며 한 명의 학부모로서 심각하게 염려되었다. 이에 대해서는, 전기통신사업법에서 국내 사업자들에게 적용하는 규제를 텔레그램에도 적용해 과징금과 시정조치 등 행정 처분하고, 불응할 때 사용정지하는 수순을 검토하는 것도 방법이 되겠다.
 
우리 사회는 무섭게 발전하는 AI의 역기능을 따라가지 못하고 있다. 지금 우리가 앓고 있는 딥페이크 디지털성범죄는 그저 시작일 뿐이다. 앞으로 범죄 조직은 AI 맞춤형 플랫폼을 활용해 개인을 타켓팅하는 마케팅과 딥페이크‧딥보이스를 활용한 사기, 협박, 정보 침해 등 영역을 더욱 확장할 것이다.
 
 

 

장광호, 한신대학교 연구교수 / CNAI 대표 

오랫동안 경찰에서 수사, 정책기획, R&D를 했다.

현재는 학교와 기업에서 AI 안전 연구개발을 하고 있다. 

좋은 일은, 좋은 사람들과 함께 만들어가야 함을 잊지 않으려 한다.

카카오스토리 밴드
장광호 편집 : 금성무스케잌
태그타이틀 , , , , , , , ,
목록
이전 페이지 다음 페이지
목록