0


2024年中国医疗领域AI Models Overview

1. 神农(ShenNong-TCM) (2023-06-25)

  • Code: ShenNong-TCM-LM
  • 基座模型: Chinese-Alpaca-Plus-7B
  • 数据: - 以开源的中医药知识图谱为基础- 调用 ChatGPT 得到 1Iw+的围绕中医药的指令数据
  • Model: - Chinese-Alpaca-Plus-7B- Dataset: ShenNong_TCM Dataset, 中医药指令数据集 ShenNong_TCM_Dataset
  • Performance: 专有预测大学
  • 院校: 华东师范大学

2. 孙思邈(Sunsimiao) (2023-06-21)

  • Code: Sunsimiao
  • License: Apache 2.0
  • 基座模型: - Sunsimiao: baichuan-7B- Sunsimiao-6B: ChatGLM2-6B
  • 数据: - 十万级高质量的中文医疗数据
  • Performance: - 千万级百科的中文医疗知识- 专有医学大语料的自然语言理解
  • 院校: 华东理工大学信息科学与工程学院
  • Paper: https://arxiv.org/abs/2306.09968

3. ClinicalGPT (2023-06-16)

  • 基座模型: BLOOM-7B
  • 数据: - cMedQA2 (120K: 10K RM + 4K RL)- cMedQA-KG (100K)- MD-EHR (100K)- MEDQA-MCMLE (34K)- MedDialog (100K)
  • Model: - BLOOM-7B
  • Performance: 医疗信息检索
  • 院校: 北京邮电大学

4. MedicalGPT (2023-06-05)

  • Code: MedicalGPT
  • License: Apache 2.0
  • 基座模型: Ziya-LLaMA-13B-v1 等
  • 数据: 1. 医疗数据集: 240 万条中文医疗数据集(包括预训练、指令微调和奖励数据集):shibing624/medical2. 22 万条中文医疗对话数据集(华佗项目):FreedomIntelligence/HuatuoGPT-sft-data-v13. 50 万条中文 ChatGPT 指令 Belle 数据集:BelleGroup/train_0.5M_CN4. 100 万条中文 ChatGPT 指令 Belle 数据集:BelleGroup/train_1M_CN5. 5 万条英文 ChatGPT 指令 Alpaca 数据集:50k English Stanford Alpaca dataset6. 2 万条中文 ChatGPT 指令 Alpaca 数据集:shibing624/alpaca-zh7. 69 万条中文指令 Guanaco 数据集(Belle50 万条+Guanaco19 万条):Chinese-Vicuna/guanaco_belle_merge_v1.0
  • 通用数据: 8. 5 万条英文 ChatGPT 多轮对话数据集:RyokoAI/ShareGPT52K 9. 80 万条中文 ChatGPT 多轮对话数据集:BelleGroup/multiturn_chat_0.8M 10. 116 万条中文 ChatGPT 多轮对话数据集:fnlp/moss-002-sft-data
  • 通用数据: 8. 5 万条英文 ChatGPT 多轮对话数据集:RyokoAI/ShareGPT52K 9. 80 万条中文 ChatGPT 多轮对话数据集:BelleGroup/multiturn_chat_0.8M 10. 116 万条中文 ChatGPT 多轮对话数据集:fnlp/moss-002-sft-data
  • Reward Model datasets: 11. 原版的 oasst1 数据集:OpenAssistant/oasst1 12. 2 万条多语言 oasst1 的 reward 数据集:tasksource/oasst1_pairwise_rlhf_reward 13. 11 万条英文 hh-rlhf 的 reward 数据集:Dahoas/full-hh-rlhf 14. 9 万条英文 reward 数据集(来自 Anthropic’s Helpful Harmless dataset): Dahoas/static-hh 15. 7 万条英文 reward 数据集(来源同上):Dahoas/rm-static 16. 7 万条繁体中文的 reward 数据集(翻译自 rm-static): liswei/rm-static-m2m100-zh 17. 7 万条英文 Reward 数据集:yitingxie/rlhf-reward-datasets 18. 3 千条中文知乎问答偏好数据集:liyucheng/zhihu_rlhf_3k
  • 作者: 徐明

5. 华佗 GPT (HuaTuoGPT) (2023-05-24)

  • Papser: arXiv:2305.15075
  • Code: HuatuoGPT
  • License: Apache 2.0
  • 基座模型: BLOOMZ-7bl
  • 数据: 1. 用 ChatGPT 构成的指令数据集 (61K)2. 真实的医生指令集 (70K)3. ChatGPT 角色扮演医患对话数据集 (68K)4. 真实的医患对话数据集 (26K)
  • 算力: 8×NVIDIA A100 GPUs, 3 epochs, 16000 steps
  • 院校: 香港中文大学(深圳)

6. XrayGLM (2023-05-23)

  • Code: XrayGLM
  • License: CC BY-NC-SA 4.0
  • 基座模型: VisualGLM-6B
  • 数据: 1. MIMIC-CXR (377K Image + 227K Report)2. OpenI (6459 Image + 3955 Report)
  • 算力: 4×NVIDIA A100 GPUs 80GB
  • 院校: 澳门理工大学应用科学学院

7. 启真医学大模型 (QiZhenGPT) (2023-05-23)

  • Code: QiZhenGPT
  • License: GPL-3.0
  • 基座模型: - ChatGLM-6B- CaMA-13B- Chinese-LLaMA-Plus-7B
  • 数据: - 真实医患知识问答数据集- 药品适应症评测数据集
  • 算力: 7×NVIDIA A800 GPU 80GB - ChatGLM-6B, 16h20m (2500)- CaMA-13B, 54h30m (6000) / 114h46m (12400)- Chinese-LLaMA-Plus-7B, 40h56m (6000)
  • 院校: 浙江大学
  • Paper: arXiv:2305.00450

8. MeChat (2023-04-30)

  • Code: Smile
  • License: CC0-1.0
  • Model: MeChat
  • 基座模型: ChatGLM-6B
  • 微调方式: LoRA
  • 数据: - PsyQA
  • 院校: 西湖大学 & 浙江大学
  • Paper: arXiv:2304.14454

9. PMC-LLaMA (2023-04-27)

  • Code: PMC-LLaMA
  • 基座模型: LLaMA-13B
  • 数据: - PubmedCentral papers (4.8M)
  • 院校: 上海交通大学未来媒体网络协同创新中心

10. ChatDoctor (2023-03-24)

  • Paper: arXiv:2303.14070
  • Code: ChatDoctor
  • License: Apache 2.0
  • 基座模型: LLaMA-7B
  • 数据: - HealthCareMagic-100k- icliniq-10k- GenMedGPT-5k- disease database
  • 算力: 6×NVIDIA A100 GPUs, 18h, batch size 192, 3 epochs
  • 院校: - Department of Radiation Oncology, University of Texas Southwestern Medical Center, Dallas, USA- Department of Computer Science, University of Illinois at Urbana-Champaign, Illinois, USA- Department of Computer Science and Engineering, The Ohio State University, Columbus, USA- 杭州电子科技大学计算机学院

11. DoctorGLM (2023-04-03)

  • Paper: arXiv:2304.01097
  • Code: DoctorGLM
  • 基座模型: THUDM/chatglm-6b
  • 数据: - Surgical (116K)- Obstetrics and Gynecology (229K)- CMD- Pediatrics (117K)- Internal Medicine (307K)- Andriatria (113K)- MedDialog (3.4M)- ChatDoctor (5.4K)- HealthCareMagic (200K)
  • 算力: 1×NVIDIA A100 GPU 80GB, 13h
  • 院校: - 上海科技大学- 上海交通大学- 复旦大学华山医院

12. MedicalGPT-zh (2023-04-08)

  • Code: MedicalGPT-zh
  • License: Apache 2.0
  • 基座模型: ChatGLM-6B
  • 数据: - 情景对话 (52K)- 28 科室的中文医疗共识与临床指南文本- 知识问答 (130K)
  • 算力: 4× NVIDIA 3090 GPUs
  • 院校: 上海交通大学未来媒体网络协同创新中心

13. Chinese-Vicuna-Medical (2023-04-11)

  • Code: Chinese-Vicuna-Medical
  • License: Apache 2.0
  • 基座模型: Chinese-Vicuna-7B
  • 数据: - cMedQA2
  • 算力: 70w of data, 3 epochs, a 2080Ti about 200h
  • 原名: 华佗(HuaTuo)
  • Paper: arXiv:2304.06975
  • Code: Huatuo-Llama-Med-Chinese

14. 本草(BenTsao) (2023-04-14)

  • Paper: arXiv:2304.06975
  • Code: BenTsao
  • License: Apache 2.0
  • 基座模型: - LLaMA-7B- Chinese-LLaMA-Alpaca- ChatGLM-6B
  • 数据: - 公开和自建的中文医学知识库,主要参考了 cMeKG- 2023 年关于肝癌疾病的中文医学文献- 利用 GPT3.5 接口围绕医学文献多轮问答数据
  • 算力: A100-SXM-80GB, 10 epochs, 2h17m, batch_size=128
  • 院校: 哈尔滨工业大学社会计算与信息检索研究中心健康智能组

15. OpenBioMed (2023-04-17)

  • Paper: arXiv:2305.01523
  • Code: OpenBioMed
  • License: MIT
  • 模型: BioMedGPT-1.6B
  • 数据: DeepDTA
  • 院校: 清华大学计算机系

16. ChatMed (2023-04-19)

  • Code: ChatMed
  • License: Apache 2.0
  • 基座模型: LLaMA-7B + Chinese-LLaMA-Alpaca
  • 数据: - 中文医疗在线问诊数据集- 中医药指令数据集 ChatMed_TCM_Dataset- 中医药知识图谱- ChatGPT 得到 1Iw+的围绕中医药的指令数据
  • 算力: 4 × NVIDIA 3090 GPUs
  • 院校: 华东师范大学

17. 扁鹊(BianQue) (2023-04-22)

  • Code: BianQue
  • 基座模型: - V1:元语智能- V2: ChatGLM-6B
  • 数据: - 中文医疗问答指令与多轮问询对话混合数据集包含了超过 900 万条样本- 扩充了药品说明书指令- 医学百科知识指令- ChatGPT 蒸馏指令等数据- MedDialog-CN- 健康大数据 BianQueCorpus- IMCS-V2- CHIP-MDCFNPC- MedDG- cMedQA2- Chinese-medical-dialogue-data
  • 算力: 8 张 NVIDIA RTX 4090 显卡上微调了 1 个 epoch, 大约 16 天
  • 院校: 华南理工大学未来技术学院

本文转载自: https://blog.csdn.net/qq_31042199/article/details/137146714
版权归原作者 干了这杯酒 所有, 如有侵权,请联系我们删除。

“2024年中国医疗领域AI Models Overview”的评论:

还没有评论