ChatGPT检测器(Detector)

ChatGPT检测器(Detector)

现阶段可使用的Detector如以下所示，在网页端有5个（3个支持中文），api有3个途径，代码运行成功的有一个。

网页端

名称地址特性GPTZerohttps://gptzero.me/支持中英文，判定较为严格，有开源代码OpenAI GPT2 Output Detectorhttps://openai-openai-detector.hf.space/支持中英文，判定宽松Hello-SimpleAI ChatGPT Detectorhttps://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-ling支持中英文，判定宽松，有开源代码Contentatscale AI Content Detectorhttps://contentatscale.ai/ai-content-detector/仅支持英文，判定较为宽松，最多1500个字符Writers AI Content Detectorhttps://writer.com/ai-content-detector/仅支持英文，判定非常严格

判别总结

相同文本在不同检测器上的判断完全不同，难以将所有标准做一个统一，随机抽取一定文本进行测试，其表现如下图所示：

中文示例

名称GPTZeroOpenAI GPT2 Output DetectorHello-SimpleAI ChatGPT Detector1entirely by AIReal 88.39% Fake 11.61%GLTR 人类 0.99999 PLL 人类 0.517872entirely by humanReal 99.43% Fake 0.57%GLTR 人类 0.99818 PLL 人类 0.516303entirely by AIReal 99.65% Fake 0.35%GLTR 人类 0.99986 PLL 人类 0.515394entirely by AIReal 99.81% Fake 0.19%GLTR 人类 0.99337 PLL 人类 0.517515entirely by AIReal 98.55% Fake 1.45%GLTR 人类 0.95220 PLL 人类 0.51201
GLTR=生成文本检测模型，PLL=语言模型困惑度模型

GPTZero的判定相较于OpenAI和Hello-SimpleAI的GLTR的来说更加的偏激，GPTZero开源代码中将

Perplexity per line

<80的值均认为由ai参与。由于GPTZero v1同样使用PLL，所以可以认为与Hello-SimpleAI的PLL的方法是相同模型
名称GPTZeroOpenAI GPT2 Output DetectorHello-SimpleAI ChatGPT DetectorContentatscale AI Content DetectorWriters AI Content Detector1likely humanReal 99.85% Fake 0.15%GLTR Human 0.99999 PLL Human 0.9997159% Human Content Score18% HUMAN-GENERATED2entirely by humanReal 44.88% Fake 55.12%GLTR Human 0.99999 PLL Human 0.99541100% Human Content Score24% HUMAN-GENERATED3entirely by humanReal 22.08% Fake 77.92%GLTR Human 0.99999 PLL Human 0.9183589% Human Content Score2% HUMAN-GENERATED4entirely by AIReal 55.36% Fake 44.64%GLTR Human 0.99999 PLL Human 1.095% Human Content Score35% HUMAN-GENERATED5parts by AIReal 95.09% Fake 4.91%GLTR Human 0.97186 PLL Human 0.5042068% Human Content Score7% HUMAN-GENERATED

API

GPTZero

https://gptzero.me/docs

在注册普通用户情况下，一个小时的最大使用量为150

OpenAI GPT2 Output Detector

https://huggingface.co/roberta-base-openai-detector

对输入的文本有一定的限制，文本过长（len(str)>220~240）将出现503错误，因此需要进行分批处理。

Hello-SimpleAI ChatGPT Detector

https://huggingface.co/Hello-SimpleAI/chatgpt-detector-roberta-chinese

代码运行

GPTZero

github：https://github.com/BurhanUlTayyab/DetectGPT

• 使用Colab运行

https://colab.research.google.com/

• 输入

from model import GPT2PPLV2 as GPT2PPL

model = GPT2PPL()# 输入语句
sentence ="your text here"# 使用模型得出结果
res = model(sentence,100,"v1.1")

• 输出

# 调整Perplexity per line和Burstiness权重来判断文本是否由人工还是AI生成

Perplexity 19# 文本语句复杂度
Perplexity per line 168.0
Burstiness 304# 语句最大复杂度

• 优点 - 检测文本无限制：没有api限制可以无限制判别文本- 判别条件可控：可以自行 调整Perplexity per line和Burstiness的权重来判断文本是否由人工还是AI生成