人工智能安全（一）Leakage In Embedding: GEIA

系列文章目录

向量安全性

人工智能安全（一）Leakage In Embedding: GEIA

论文介绍

“GEIA”: Sentence Embedding Leaks More Information than You Expect: Generative Embedding Inversion Attack to Recover the Whole Sentence，发表在ACL2022。
代码：GEIA

背景介绍

通过模型生成的语句embedding存在泄漏敏感信息的可能性。GEIA可以通过embedding复原有序语句，且和真实的输入语句有高相似性。

问题建模

符号含义 x x x明文数据 w w w明文数据中每个单词 D a u x D_{aux} Daux​攻击者拥有的相似分布数据 f ( ) f() f()预训练语言模型 Φ ( ) \Phi() Φ()向量复原攻击模型白盒攻击攻击者知道生成模型的参数和结构黑盒攻击攻击者利用生成模型生成embedding
对应复原攻击表达式为：
Φ ( f ( x ) ) ≈ f − 1 ( f ( x ) ) = x \Phi(f(x))\approx f^{-1}(f(x)) = x Φ(