大语言模型-基础及拓展应用

一、基础模型

• 1、Transformer

• 2、BERT

• 3、GPT

• 4、GPT2

二、大语言模型

• 1、主流大语言模型架构

• 2、大语言模型中的位置编码

• 3、大语言模型中的激活函数

• 4、大语言模型中的长文本输入

三、句子向量

• 1、出色的句子向量

• 2、RetroMAE

• 3、Contrastive Learning

• 4、simCSE

• 5、AugSBERT

• 6、SBERT

• 7、Sentence-BERT

• 8、BERT-whitening

四、文档解析

• 1、通用解析

• 2、docx解析

• 3、 pdf解析

• 4、pptx解析

五、向量数据库

• 1、Faiss

• 2、es

六、任务测评

• 1、 检索测评指标

• 2、MTEB 文本向量模型评估基准

• 3、C-MTEB 中文文本向量模型评估基准

• 4、 BEIR 文本检索任务基准