针对人脸深度伪造的双向人脸数据保护框架

2023-08-21 12:18:00 互联网

(相关资料图)

基于现有的DeepFake换脸技术，人脸保护可以看作是一个双向过程：人脸替换检测Face-out-detection (FOD) 和人脸被替换取证Face-in-forensics (FIF)。对于FOD，我们的目的是在使用受保护的人脸替换其他人脸时，我们可以检测出替换后的人脸是伪造的。对于 FIF，当被保护的人脸被其他人替换时，我们应保证通过伪造的人脸追溯到原始人脸。

为此，本方案以脆弱水印和鲁棒水印技术为基础，我们提出了双向人脸数据保护框架（BiFPro）来综合地保护DeepFake中的人脸数据（如图1所示）。该框架由三个主要部分组成：水印嵌入、人脸替换检测（FOD）和人脸被替换取证（FIF）。对于FOD的场景下，我们通过嵌入脆弱水印来确保原始人脸的脆弱性。一旦受保护的人脸图像被用来替换其他人脸，伪造人脸图像中的水印信息将被破坏，因此通过提取可以人脸数据中的水印信息可以验证受保护人脸的完整性，同时能够区分出可疑人脸的真伪。对于 FIF 这一场景，我们通过嵌入鲁棒水印来保证受保护人脸图像的可追溯性，目的是使得嵌入的水印能够抵抗DeepFake的生成过程，即使被保护的人脸在DeepFake生成过程中被替换，也可以使用被保留的水印信息来追踪假人脸。以此来证明伪造人脸使用了源人脸数据来伪造，保护源人脸的版权和隐私。

图 1 针对人脸深度伪造的双向人脸数据保护框架

论文信息

相关论文已被 Proceedings of the 31st ACM International Conference on Multimedia (MM "23) 录用，作者是中国科学技术大学网络空间学院的刘泓谷、周文柏*、张卫明、俞能海，阿里巴巴集团的李小丹，陈岳峰，何源，薛晖，新加坡国立大学的方涵和米兰理工大学的 Paolo Bestagini, Stefano Tubaro.

Honggu Liu, Xiaodan Li, Wenbo Zhou*, Han Fang, Paolo Bestagini, Weiming Zhang, Yuefeng Chen, Stefano Tubaro, Nenghai Yu, Yuan He and Hui Xue. BiFPro: A Bidirectional Facial-data Protection Framework against DeepFake. In Proceedings of the 31st ACM International Conference on Multimedia，2023.

供稿：刘泓谷、周文柏，中国科学技术大学网络空间学院

标签：