开源模型应用落地-Qwen2.5-7B-Instruct与TGI实现推理加速

集成 Hugging Face的TGI框架实现模型推理加速

拥抱AI未来:Hugging Face平台使用指南与实战技巧

Huggingface总部位于纽约,是一家专注于自然语言处理、人工智能和分布式系统的创业公司。他们所提供的聊天机器人技术一直颇受欢迎,但更出名的是他们在NLP开源社区上的贡献。Huggingface一直致力于自然语言处理NLP技术的平民化(democratize),希望每个人都能用上最先进(SOTA

Ollama:实现本地AI大语言模型命令行启动的专业部署方案

Ollama是一个强大的开源框架,专为在本地机器上便捷地部署和运行大型语言模型(LLM)而设计。

开源模型应用落地-qwen模型小试-Qwen2.5-7B-Instruct-玩转ollama(一)

Ollama通过极大简化机器学习模型的下载和管理过程,降低了AI技术的入门门槛,为开发者和爱好者提供了便捷的本地运行环境,有助于保护数据隐私并促进创新与社区合作。

开源模型应用落地-qwen模型小试-Qwen2.5-7B-Instruct-玩转ollama-历史消息记录管理(三)

使用`Message`参数明确用户意图,提高模型生成文本的相关性和准确性,确保输出符合特定对话风格或主题

论文分享|ACMMM2024‘北航|利用大模型扩充正负例提升组合图像检索的对比学习性能

博主的第一篇一作论文:如何利用LLM的助力在组合图像检索任务达到sota

探索 Meta AI 的多模态语言模型 Spirit LM:融合语音与文本的创新应用

Spirit LM 是 Meta AI 开发的多模态语言模型,无缝集成语音和文本数据,具备跨模态生成、语义表达和少量样本学习能力,应用于语音助手、ASR、TTS 等场景。

【NLP】2024 年十大 RAG 框架 Github

检索增强生成 (RAG) 已成为增强大型语言模型功能的强大技术。RAG 框架将基于检索的系统与生成模型的优势相结合,从而实现更准确、更情境化和更及时的响应。随着对复杂 AI 解决方案的需求不断增长,GitHub 上出现了许多开源 RAG 框架,每个框架都提供独特的功能和能力。RAG 框架有什么作用?

如何在linux远程服务器上直接下载huggingface官网的模型

在AI领域如nlp/cv等,做实验的时候经常会用到huggingface上各种开源的模型,同时也需要远程服务器(如实验室的服务器)的支持,才能有合适的算力并开展实验。本人目前也是nlp方向的新入门的小白,方法也都是网上查来的,浅浅记录一下在远程服务器上下载huggingface的模型和数据集的全过程

南科大:中文安全数据基准ChineseSafe

如何评估大语言模型(LLM)在处理中文内容时的安全性?论文构建了一个名为ChineseSafe的中文基准数据集,用于全面评估LLM在中文场景中的安全性,并引入了三个新的安全问题类别。

【AI大模型】ELMo模型介绍:深度理解语言模型的嵌入艺术

ELMo是2018年3月由华盛顿大学提出的一种预训练模型.ELMo的全称是Embeddings from Language Models.ELMo模型的提出源于论文。

【面试】解释一下什么是人工智能中的黑箱问题

1.1 什么是黑箱?在人工智能中,黑箱指的是那些内部机制对用户或开发者而言不可见或难以理解的系统或模型。对于黑箱模型,我们可以观察其输入和输出,但模型内部如何处理这些输入并得出输出的过程是复杂且不透明的。例如,一个深度神经网络在图像分类任务中,可以高效地将一张图像分类为“猫”或“狗”,但是人们很难解

大模型中文问答场景下的模型选择

C-MTP综合了标注数据和未标注数据,来自于多种来源,如Wudao语料库、科学文献、XLSUM-Zh、Wiki-Atomic-Edit、AmazonReviews-Zh等,确保了数据的大规模、多样性和质量。架构:BGE-Large-zh模型是基于BERT-like(类BERT)架构,特别是在特殊的[

21 种 AI 小模型

小型语言模型通过为广泛的应用程序提供高效、可扩展和高性能的解决方案,正在改变 AI 的格局。它们紧凑的尺寸和减少的资源需求使其成为在计算能力和内存有限的环境中部署的理想选择。许多 slm 是通过知识蒸馏创建的,在这个过程中,较小的模型学习模仿较大模型的行为,保留了原始模型的大部分性能。许多小的语言模

【AI知识点】词嵌入(Word Embedding)

词嵌入(Word Embedding)是自然语言处理(NLP)中的一种技术,用于将词语或短语映射为具有固定维度的实数向量。这些向量(嵌入向量)能够捕捉词语之间的语义相似性,即将语义相近的词映射到向量空间中距离较近的位置,而语义相异的词会被映射到较远的位置。词嵌入是文本表示学习的核心,广泛应用于文本分

开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-使用Lora权重(三)

使用vLLM框架集成Lora权重,以实现高效的推理过程。

开源模型应用落地-baichuan2模型小试-入门篇(三)

在linux环境下,使用transformer设置模型参数/System Prompt/历史对话

开源模型应用落地-glm模型小试-glm-4-9b-chat-压力测试(六)

通过压力测试,评估模型在高负载或极端条件下的表现。

开源模型应用落地-qwen模型小试-入门篇(四)

使用gradio,构建Qwen-1_8B-Chat测试界面

【AI大模型】大型语言模型LLM基础概览:技术原理、发展历程与未来展望

大语言模型 (英文:Large Language Model,缩写LLM) 是一种人工智能模型, 旨在理解和生成人类语言. 大语言模型可以处理多种自然语言任务,如文本分类、问答、翻译、对话等等.

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈