![](http://images.overfit.cn/upload/20240619/00fe4bf7e4844168b1ec510e6ee84315.jpeg)
goldfish loss:减少训练数据泄漏,提高大语言模型输出的多样性
论文作者引入了一种名为"goldfish loss"的微妙修改,在训练过程中,随机抽样的一部分标记被排除在损失计算之外。这些被舍弃的标记不会被模型记忆,从而防止模型完整复制训练集中的一整个标记序列。
从 Uber 数据泄露事件我们可以学到什么?
这已经不是Uber第一次被黑客攻击。早在2016年,两名黑客入侵了 Uber 的系统,获取了 5700 万 Uber 应用用户的姓名、电子邮件地址和电话号码。
论文作者引入了一种名为"goldfish loss"的微妙修改,在训练过程中,随机抽样的一部分标记被排除在损失计算之外。这些被舍弃的标记不会被模型记忆,从而防止模型完整复制训练集中的一整个标记序列。
这已经不是Uber第一次被黑客攻击。早在2016年,两名黑客入侵了 Uber 的系统,获取了 5700 万 Uber 应用用户的姓名、电子邮件地址和电话号码。