数据顾问：大型语言模型的动态数据策划与安全对齐

在大型语言模型（LLM）的训练中，数据的质量和覆盖范围是实现模型安全与效用的关键因素。随着LLM在各领域的广泛应用，对其生成数据的质量要求也越来越高。本文提出了一种新颖的方法——数据顾问（DATA ADVISOR），旨在通过动态监控与指导，提升LLM生成数据的质量与安全对齐能力。

📈 数据的关键性

数据在LLM的对齐过程中扮演着至关重要的角色。研究表明，数据质量的不足会导致模型的效用降低和安全隐患增加（Wang et al., 2023a; Ouyang et al., 2022）。尽管LLM可以高效生成数据，生成的数据却常常存在质量问题，包括某些方面的缺失和低质量数据点（Chen et al., 2023）。这些问题不仅影响了模型的安全性，也制约了其在实际应用中的表现。

🔍 数据顾问的创新设计

1. 动态监控与反馈

数据顾问通过一系列预定义原则，动态监控生成数据的状态，以识别当前数据集的弱点，并针对性地指导下一轮数据生成。其工作流程可视化如下：