30일 행정안전부에 따르면 'AI 딥페이크 분석모델'은 경찰청 등 일선 수사기관의 감정 의뢰로 지난 5~6월 증거물 60종, 총 15건의 딥페이크 감정에 이용됐다. 제21대 대선 기간 중 대통령 후보 관련 딥페이크 13건, 디지털 성범죄 등 2건이 포함됐다.
특히 지난 대선 기간 중앙선거관리위원회에 분석모델을 공유해 유튜브 등 온라인 공간의 불법 딥페이크 선거물 1만여 건을 탐지 및 삭제했다.
이번 모델 개발은 기술적 한계로 수행하지 못했던 딥페이크 감정을 국내 최초로 공식화하고, 과학적 증거에 기반한 수사체계를 마련했다는 점에서 의미가 크다.
행정안전부와 국립과학수사연구원은 분석모델을 딥페이크 증거물 감정 업무에 본격 투입함으로써 딥페이크 범죄 수사에 전환점이 마련될 것으로 기대한다.
'AI 딥페이크 분석모델'은 인공지능 기술을 악용해 특정인의 얼굴 등을 합성한 딥페이크 범죄가 증가해 심각한 사회 문제가 돼도 딥페이크 판별 기술이 부족해 수사기관이 관련 증거물 분석에 어려움을 겪는 상황을 극복하기 위해 개발됐다.
공개 데이터셋(KoDF, asvspoof 등), 자체 제작 콘텐츠 등 약 231만 건(영상 69만 건, 음성 162만 건)에 달하는 딥페이크 데이터가 모델 개발 과정에서 활용됐다.
최신 딥러닝 알고리즘에 방대한 데이터를 학습시키고, 지속적인 피드백과 성능 개선 작업을 거쳐 딥페이크 탐지 성능을 획기적으로 향상시켰다.
해당 분석모델은 딥페이크 흔적을 자동으로 탐지하며, 변조 의심 파일(이미지·영상·음성)에 대해 합성 확률 및 시간별 변조율을 예측, 딥페이크 여부를 신속하게 판단할 수 있도록 돕는다.
얼굴의 눈, 코, 입과 같은 특정 부위별 변조 탐지 능력과 더불어 반복 업로드·다운로드로 인해 일부 데이터가 손실되거나 음질이 저하된 증거물에 대해서도 뛰어난 분석 능력을 갖췄다. 실질적인 수사 환경에서 그 효과를 발휘할 수 있도록 설계됐다.
행정안전부와 국립과학수사연구원은 이 분석모델의 성과를 2023년 행정안전부가 개발한 '보이스피싱 음성 분석모델'과 연계해 강력한 시너지를 낼 수 있도록 한다.
두 모델을 함께 활용하면 딥페이크 여부를 판별하고, 해당 딥페이크가 특정 정치인 등의 음성을 모방·합성해 제작됐는지도 입증할 수 있을 것으로 보고 있다.
이봉우 국립과학수사연구원장은 "AI 기술 기반의 과학수사 역량 강화를 통해 감정의 신속성, 정확성을 높이는 데 최선을 다하겠다"며 "빠르게 변화하는 첨단 기술 환경에 선제적으로 대응해 국민이 신뢰할 수 있는 과학수사체계를 구축하겠다"고 강조했다.
<저작권자 © 아주로앤피 (www.lawandp.com) 무단전재 및 재배포금지>
