10种数据预处理中的数据泄露模式解析:识别与避免策略
当测试数据在数据准备阶段无意中泄露(渗透)到训练数据时,就会发生数据泄露。这种情况经常出现在常规数据处理任务中,而你可能并未察觉。当泄露发生时,模型会从本不应看到的测试数据中学习,导致测试结果失真。
goldfish loss：减少训练数据泄漏，提高大语言模型输出的多样性
论文作者引入了一种名为"goldfish loss"的微妙修改，在训练过程中，随机抽样的一部分标记被排除在损失计算之外。这些被舍弃的标记不会被模型记忆，从而防止模型完整复制训练集中的一整个标记序列。
从 Uber 数据泄露事件我们可以学到什么？
这已经不是Uber第一次被黑客攻击。早在2016年，两名黑客入侵了 Uber 的系统，获取了 5700 万 Uber 应用用户的姓名、电子邮件地址和电话号码。
