文本内容安全审核

文本内容安全审核

目录

一、描述

短文本过滤实例，可用于智能识别各种违法违规内容，如涉黄、涉政、暴恐、辱骂、广告、灌水…
当前监管越发严重，如何避免用户发布的内容给平台造成风险，内容安全审核是避规内容风险的主要方式。
内容安全审核一般分为机审和人审两种方式并行的策略，各云厂商一般已经集成成接口服务，包括文本、图像、语音、视频等，同时也支持私有化部署。
本文只调研关于文本的内容安全审核，文本和图像还是可以自己做的。

二、公有云厂商方案

2.1 阿里

• 功能：提供图片、视频、文本、语音、网页等形式内容违规检测API，覆盖暴恐、涉政、涉黄、广告、辱骂、不良场景等风险检测能力。
• 技术：鉴黄模型、暴恐分类、文本分类模型、关键词过滤，OCR等。
• 费用：区间计费：套餐大于0条/日(1.80元/千条)； 套餐5000条/日(1.62元/千条)； 套餐50000条/日(1.53元/千条)； 套餐130000条/日(1.44元/千条)； 套餐260000条/日(1.35元/千条)； 套餐850000条/日(1.26元/千条)
• 文本内容安全-阿里云方案，没有试用。看起来比较成熟稳定(或者说老旧？)、似乎更加注重大客户。不过文档似乎不大友好，更偏向于小白的OSS文件检测。！内容安全-阿里方案

2.2 百度

• 功能：支持图像、文本、语音、短视频等类型，包括智能鉴黄、违禁违规、恶意推广、低俗辱骂、低质灌水等。
• 技术：基于自然语言理解、深度学习等技术，有效识别违规文本内容，具备拼音、谐音、拆字、形近字、影射等变体识别能力；支持自定义黑白名单；15w+的公众人物库，其中包含政治人物、明星等。
• 费用：基础15元/万次。 50万次(750元)； 300万次(4200元/93折)； 500万次(6500元/87折)； 1000万次(12000元/8折)； 5000万次(55000元/73折)； 1亿次(100000元/67折)； 5亿次(450000元/6折)
• 文本内容安全-百度云方案，没有展示技术框架，API试用比较友好，速度相对其他家比较慢(或许是规则识别后还会走模型？)。！内容安全-百度方案

2.3 腾讯

• 功能：支持文本、语音、图像、视频、号码等类型的安全审核，包括涉黄检测、涉毒检测、广告检测、自定义检测等。
• 技术：社区里两篇技术分享博客，文本匹配+浅层神经网络(TextCNN->FastText)的技术方案。
• 费用：套餐180万条(22元/万条)； 套餐720万条(19元/万条)； 套餐3600万条(18元/万条)； 套餐18000万条(13元/万条)； 套餐36000万条(10元/万条)。
• 文本内容安全-腾讯云方案，文档真是一个梗了，害，python样例真的跑不通，晕。此外详细违规类型代码的中文说明也没有。！内容安全-腾讯方案

2.4 网易

• 功能：支持文本、语音、图像、视频等类型的安全审核，包括色情、广告、涉政、暴恐等违规内容及各种文字变种，支持20余种语言。
• 技术：未知。基于海量数据，定制智能策略，高效过滤，包括聚类、词向量等。
• 费用：需要注册才能查看，害。
• 敏感词检测一般作为第一道关卡，同时结合反垃圾智能模型对文本二次识别来打到拦截垃圾内容的目的！内容安全-网易易盾

三、开源项目

3.1 observerss/textfilter

• 语言: Python，Star为1.7k。
• 详情: 短文本匹配 + 某1w词敏感词库。
• 技术: Native(for遍历), BS(二分搜索), DFA(就是字典树)。

3.2 minitrill/TextAudit

• 语言: Python，star为0.056k。
• 详情: 短视频app文本审核模块：1.二分类，恶意与否; 2.详细分类; 3.后处理(对于不同频率/不同程度/不同影响力的言论)。
• 技术: DFA + 分类模型(TIDF + BayesianNetwork)！内容安全-TextAudit

3.3 houbb/sensitive-word

• 语言: Java，star为0.339k。
• 详情: 高性能敏感词工具。
• 技术: DFA + 某6W敏感词库。支持用户自定义敏感词和白名单、支持数据的数据动态更新，实时生效。

3.4 elulis/sensitive-words

• 语言: Java，star为0.411k。
• 详情: Java快速中文敏感词过滤，在15k敏感词库上的过滤速度超过50M字符每秒。
• 方法: DFA + 2字符hash优化。

3.5 youzan/YZSpamFilter

• 语言: Python，star为0.266k。
• 详情: 有赞垃圾内容过滤工具，可为帖子、邮件、博客等提供中文垃圾信息过滤服务。
• 方法: 二分类模型，数据为垃圾邮件过滤。

3.6 toolgood/ToolGood.Words

• 语言: C#，star为2.9k。
• 详情: C#语言，使用StringSearchEx2.Replace过滤，在48k敏感词库上的过滤速度超过3亿字符每秒。（cpu i7 8750h）
• 方法: 正则转DFA，C#改进版AC自动机, 可设置跳字长度，默认全角转半角，忽略大小写，跳词，重复词，黑名单。

四、总结-建议

• 十分必要，但又吃力不讨好的任务，建议直接用云厂商服务就好，或者是直接用(短文本匹配 + 浅层神经网络)。
• 短文本匹配建议上TrieTree(有增删改查需求的话); 或者是默认词典用AC自动机, 用户词典才用前缀树。
• 浅层神经网络用FastText、TextCNN就好, BERT感觉并没有太大的必要, 不过上Tiny模型其实也无妨。
• 拼音、谐音、拆字、形近字、影射等变体可以采用拓展词典的方式解决，当然模型也可以。
• 重要的是敏感词典，不过普通的话，几万的量标注其实也并不是太麻烦。

五、引用

• 腾讯业务安全(1)-天御内容安全
• java 敏感词工具实现思路
• 网络常用敏感词过滤方法
• 敏感词过滤方案那些事

希望对你有所帮助!