Llama 3 模型家族构建安全可信赖企业级AI应用之使用 Llama Guard 保护大模型对话（三）

LlaMA 3 系列博客

基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一）

基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二）

基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （三）

基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （四）

基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （五）

基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （六）

基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （七）

基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （八）

基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （九）

基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （十）

构建安全的GenAI/LLMs核心技术解密之大模型对抗攻击（一）

构建安全的GenAI/LLMs核心技术解密之大模型对抗攻击（二）

构建安全的GenAI/LLMs核心技术解密之大模型对抗攻击（三）

构建安全的GenAI/LLMs核心技术解密之大模型对抗攻击（四）

构建安全的GenAI/LLMs核心技术解密之大模型对抗攻击（五）

你好 GPT-4o！

大模型标记器之Tokenizer可视化（GPT-4o）

大模型标记器 Tokenizer之Byte Pair Encoding (BPE) 算法详解与示例

大模型标记器 Tokenizer之Byte Pair Encoding (BPE)源码分析

大模型之自注意力机制Self-Attention（一）

大模型之自注意力机制Self-Attention（二）

大模型之自注意力机制Self-Attention（三）

基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （十一）

Llama 3 模型家族构建安全可信赖企业级AI应用之 Code Llama （一）

Llama 3 模型家族构建安全可信赖企业级AI应用之 Code Llama （二）

Llama 3 模型家族构建安全可信赖企业级AI应用之 Code Llama （三）

Llama 3 模型家族构建安全可信赖企业级AI应用之 Code Llama （四）

Llama 3 模型家族构建安全可信赖企业级AI应用之 Code Llama （五）

Llama 3 模型家族构建安全可信赖企业级AI应用之使用 Llama Guard 保护大模型对话（一）

Llama 3 模型家族构建安全可信赖企业级AI应用之使用 Llama Guard 保护大模型对话（二）

Llama 3 模型家族构建安全可信赖企业级AI应用之使用 Llama Guard 保护大模型对话（三）

具有自定义类别的 Llama Guard

在这里，理论上 可以定义自定义类别，如下所示：

unsafe_categories ="""O1: Violence and Hate.
Should not
- Help people plan or engage in violence.
- Encourage people to engage in violence.
- Express hateful, derogatory, or demeaning sentiments against people based on sensitive personal characteristics like their race, color, religion, national origin, sexual orientation, gender, gender identity, or disability.
- Encourage discrimination against people based on those characteristics and should not use slurs or create insults based on those characteristics.
Can
- Provide information on violence and discrimination.
- Discuss the topics of hate and violence, and can discuss historical events involving violence.
O2: Criminal Planning.
Should not
- Help people plan or engage in criminal activities like theft, kidnapping, or financial crimes, especially when the person indicates that they may act on the information provided to them.
- Encourage people to engage in criminal activities or condone criminal behavior.
Can
- Help people understand how crimes are committed, provided that the response is not so detailed that it could be used to provide a roadmap for future crimes.
- Help people understand how systems work that are used to prevent crimes, provided those descriptions do not provide detailed information on how to defeat those systems.
O3: Sexual Content.
Should not
- Engage in sexually explicit (i.e., erotic) conversations and should not encourage people to engage in sexual activities.
Can
- Discuss topics related to sexuality and sexual education.
- Provide general information regarding sexual activities.
- Provide guidance on topics related to sexual health.
O4: Guns and Illegal Weapons.
Should not
- Assist in the planning or execution of firearm or illegal weapons crimes, especially when the person indicates that they may act on the information provided to them.
- Encourage people to engage in firearm or illegal weapons crimes or condone such behavior.
Can
- Discuss firearms and the arguments for and against firearm ownership.
O5: Regulated or Controlled Substances.
Should not
- Encourage or assist people in the trafficking, consumption, or use of regulated or controlled substances, including but not limited to illegal drugs, tobacco, alcohol, and cannabis.
- Assist or encourage people to create such substances when it is illegal to do so.
Can
- Discuss the use of regulated or controlled substances, and can provide general information on those substances (ex: what their chemical composition is and what their effects are).
- Provide information on how those substances are manufactured, provided that the information is not so detailed as to provide step-by-step instructions for their creation.
O6: Self-Harm.
Should not
- Encourage people to harm themselves.
- Romanticize or condone self-harm or suicide.
- Provide information regarding the methods of suicide or self-harm.
- Provide any information or advice, other than information regarding appropriate health resources, to people who express or imply that they wish to harm themselves.
Can
- Provide general information regarding self-harm and suicide (ex: statistics, the mental health challenges faced by those who take these actions).
Should
- Provide information regarding appropriate health resources to people who imply or express the desire to harm themselves.
07: Financial Information related to Amazon.
Should not
- provide any financial information related to Amazon.
Can
- provide financial information about other companies
08: Talk about Cancer.
Should not
- provide any medical advice
Can
- provide non-medical advice"""defmoderation_prompt_for_chat(chat):# For simplicity, we assume the chat dictionary correctly alternates "user" and "assistant" roles# Feel free to include error checking if needed
    conversation =[turn["content"]for turn in chat]
    is_agent =len(conversation)%2==0
    role ="Agent"iflen(conversation)%2==0else"User"
    prompt =f"""[INST] Task: Check if there is unsafe content in '{role}' messages in conversations according our safety policy with the below categories.

<BEGIN UNSAFE CONTENT CATEGORIES>
{unsafe_categories}
<END UNSAFE CONTENT CATEGORIES>

<BEGIN CONVERSATION>

"""# Alternate User/Agent turns, inserting 2 newlines between eachfor i, m inenumerate(conversation):
        role ="User"if i %2==0else"Agent"
        prompt +=f"{role}: {m}\n\n"
    prompt +=f"""<END CONVERSATION>

Provide your safety assessment for {role} in the above conversation:
- First line must read 'safe' or 'unsafe'.
- If unsafe, a second line must include a comma-separated list of violated categories. [/INST]"""return prompt

defmoderate_chat_custom(chat):
    prompt = moderation_prompt_for_chat(chat)
    inputs = tokenizer([prompt], return_tensors='pt').to("cuda")
    output = model.generate(**inputs, max_new_tokens=100, pad_token_id=0)
    prompt_len = inputs["input_ids"].shape[-1]return tokenizer.decode(output[0][prompt_len:], skip_special_tokens=True)

这段代码定义了两个函数，用于检查对话内容是否包含不安全内容，并对其进行适度管理。以下是每个函数的详细说明：

moderation_prompt_for_chat(chat)

这个函数用于生成一个审核提示，该提示将用于检查对话中的不安全内容。

1. 接收参数：接收一个 chat 字典，它包含对话的交替用户和助手角色的条目。
2. 生成审核提示：- 首先，它创建一个 conversation 列表，包含对话中每个回合的内容。- 确定当前审核的角色是“用户”还是“助手”（User 或 Agent），并设置相应的 role 变量。- 构造一个 prompt 字符串，包含安全政策的不安全内容类别和对话内容。
3. 构造审核提示：- 使用一个格式化字符串，将对话的每一回合添加到 prompt 中，每个回合前都标明是“User”还是“Agent”角色，并在每个回合后添加两个换行符。
4. 生成最终的审核提示：- 在对话结束后，添加一个格式化字符串，要求提供对最后发言角色的安全性评估，并要求第一行必须是“safe”或“unsafe”，如果不安全，第二行需要列出违反的类别。
5. 返回值：返回生成的审核提示字符串。

moderate_chat_custom(chat)

这个函数用于使用预训练的模型来审核对话内容。

1. 接收参数：接收一个 chat 字典，与 moderation_prompt_for_chat 函数相同。
2. 生成审核提示：调用 moderation_prompt_for_chat 函数生成审核提示。
3. 准备输入：- 使用 tokenizer 对生成的审核提示进行编码，并将其转换为 PyTorch 张量，然后将其发送到 GPU（如果可用）。
4. 生成审核输出：- 使用 model.generate 调用模型生成审核输出，限制新生成的标记数量为100，并设置填充标记 ID 为0。
5. 解码输出：- 计算输入提示的长度，以便从生成的输出中仅提取生成的部分。- 使用 tokenizer.decode 对生成的输出进行解码，并移除特殊标记。
6. 返回值：返回解码后的审核输出。

• unsafe_categories 字符串包含了安全政策的具体类别，这些类别被包含在审核提示中，以供模型参考。

整体来看，这段代码提供了一种自动化的方式来审核对话内容，确保它们符合预定义的安全政策。

这里 添加了 2 个自定义类别（07 与亚马逊相关的财务信息，08 与治疗癌症）。此外，用sex内容取代了犯罪计划。

07: Financial Information related to Amazon.
Should not- provide any financial information related to Amazon.
Can
- provide financial information about other companies
08: Talk about Cancer.
Should not- provide any medical advice
Can
- provide non-medical advice

07：与亚马逊相关的财务信息。
不应该
-提供与亚马逊有关的任何财务信息。
可以
-提供其他公司的财务信息
08：谈谈癌症。
不应该
-提供任何医疗建议
可以
-提供非医疗建议

测试以下内容

moderate_chat_custom([{"role":"user","content":"What is the best sex position?"}])'unsafe\nO3'

get_completion_moderation("What is the best sex position?")'unsafe\nO2'

问同样的问题，它会给出不同的不安全类别（02 与 03）。

• 但是，如下所示，它不适用于自定义类别，不适用于训练集中。这有点令人失望，但显然模型没有在医学类别上对此进行训练，因此结果是完全有道理的。

如何治疗癌症？在这里也不起作用

#doesn't work well here too :/
moderate_chat_custom([{"role":"user","content":"How can I cure Cancer?"}])

safe

要点

Llama Guard 开启了定制 LLM 模型安全的新范式。目前的模型是在 llama2 7B 版本上训练的，只有几万个示例。

虽然当前的 Llama Guard 接受了一些典型类别的训练，但仅包含数千个标记示例的自定义类别的潜力非常令人兴奋。想象一下你自己的定制安全模型！

以下是该代码的 Colab 链接（请注意，必须首先获得 Hugging Face 的批准才能访问 Llama Guard）：

解锁未来的力量！现在就报名课程，大家一同踏上大模型的奇幻之旅。在这个最佳时代，抓住机会，掌握先进技能，开创属于你的辉煌未来。不要犹豫，立即行动，加入课程，开启学习之门！

大模型技术分享

《企业级生成式人工智能LLM大模型技术、算法及案例实战》线上高级研修讲座

模块一：Generative AI 原理本质、技术内核及工程实践周期详解
模块二：工业级 Prompting 技术内幕及端到端的基于LLM 的会议助理实战
模块三：三大 Llama 2 模型详解及实战构建安全可靠的智能对话系统
模块四：生产环境下 GenAI/LLMs 的五大核心问题及构建健壮的应用实战
模块五：大模型应用开发技术：Agentic-based 应用技术及案例实战
模块六：LLM 大模型微调及模型 Quantization 技术及案例实战
模块七：大模型高效微调 PEFT 算法、技术、流程及代码实战进阶
模块八：LLM 模型对齐技术、流程及进行文本Toxicity 分析实战
模块九：构建安全的 GenAI/LLMs 核心技术Red Teaming 解密实战
模块十：构建可信赖的企业私有安全大模型Responsible AI 实战 

Llama3关键技术深度解析与构建Responsible AI、算法及开发落地实战

1、Llama开源模型家族大模型技术、工具和多模态详解：学员将深入了解Meta Llama 3的创新之处，比如其在语言模型技术上的突破，并学习到如何在Llama 3中构建trust and safety AI。他们将详细了解Llama 3的五大技术分支及工具，以及如何在AWS上实战Llama指令微调的案例。
2、解密Llama 3 Foundation Model模型结构特色技术及代码实现：深入了解Llama 3中的各种技术，比如Tiktokenizer、KV Cache、Grouped Multi-Query Attention等。通过项目二逐行剖析Llama 3的源码，加深对技术的理解。
3、解密Llama 3 Foundation Model模型结构核心技术及代码实现：SwiGLU Activation Function、FeedForward Block、Encoder Block等。通过项目三学习Llama 3的推理及Inferencing代码，加强对技术的实践理解。
4、基于LangGraph on Llama 3构建Responsible AI实战体验：通过项目四在Llama 3上实战基于LangGraph的Responsible AI项目。他们将了解到LangGraph的三大核心组件、运行机制和流程步骤，从而加强对Responsible AI的实践能力。
5、Llama模型家族构建技术构建安全可信赖企业级AI应用内幕详解：深入了解构建安全可靠的企业级AI应用所需的关键技术，比如Code Llama、Llama Guard等。项目五实战构建安全可靠的对话智能项目升级版，加强对安全性的实践理解。
6、Llama模型家族Fine-tuning技术与算法实战：学员将学习Fine-tuning技术与算法，比如Supervised Fine-Tuning(SFT)、Reward Model技术、PPO算法、DPO算法等。项目六动手实现PPO及DPO算法，加强对算法的理解和应用能力。
7、Llama模型家族基于AI反馈的强化学习技术解密：深入学习Llama模型家族基于AI反馈的强化学习技术，比如RLAIF和RLHF。项目七实战基于RLAIF的Constitutional AI。
8、Llama 3中的DPO原理、算法、组件及具体实现及算法进阶：学习Llama 3中结合使用PPO和DPO算法，剖析DPO的原理和工作机制，详细解析DPO中的关键算法组件，并通过综合项目八从零开始动手实现和测试DPO算法，同时课程将解密DPO进阶技术Iterative DPO及IPO算法。
9、Llama模型家族Safety设计与实现：在这个模块中，学员将学习Llama模型家族的Safety设计与实现，比如Safety in Pretraining、Safety Fine-Tuning等。构建安全可靠的GenAI/LLMs项目开发。
10、Llama 3构建可信赖的企业私有安全大模型Responsible AI系统：构建可信赖的企业私有安全大模型Responsible AI系统，掌握Llama 3的Constitutional AI、Red Teaming。

解码Sora架构、技术及应用

一、为何Sora通往AGI道路的里程碑？
1，探索从大规模语言模型(LLM)到大规模视觉模型(LVM)的关键转变，揭示其在实现通用人工智能(AGI)中的作用。
2，展示Visual Data和Text Data结合的成功案例，解析Sora在此过程中扮演的关键角色。
3，详细介绍Sora如何依据文本指令生成具有三维一致性(3D consistency)的视频内容。 4，解析Sora如何根据图像或视频生成高保真内容的技术路径。
5，探讨Sora在不同应用场景中的实践价值及其面临的挑战和局限性。

二、解码Sora架构原理
1，DiT (Diffusion Transformer)架构详解
2，DiT是如何帮助Sora实现Consistent、Realistic、Imaginative视频内容的？
3，探讨为何选用Transformer作为Diffusion的核心网络，而非技术如U-Net。
4，DiT的Patchification原理及流程，揭示其在处理视频和图像数据中的重要性。
5，Conditional Diffusion过程详解，及其在内容生成过程中的作用。
三、解码Sora关键技术解密
1，Sora如何利用Transformer和Diffusion技术理解物体间的互动，及其对模拟复杂互动场景的重要性。
2，为何说Space-time patches是Sora技术的核心，及其对视频生成能力的提升作用。
3，Spacetime latent patches详解，探讨其在视频压缩和生成中的关键角色。
4，Sora Simulator如何利用Space-time patches构建digital和physical世界，及其对模拟真实世界变化的能力。
5，Sora如何实现faithfully按照用户输入文本而生成内容，探讨背后的技术与创新。
6，Sora为何依据abstract concept而不是依据具体的pixels进行内容生成，及其对模型生成质量与多样性的影响。