5种搭建LLM服务的方法和代码示例

在这篇文章中,我们将总结5种搭建开源大语言模型服务的方法,每种都附带详细的操作步骤,以及各自的优缺点。

使用ORPO微调Llama 3

ORPO是一种新的微调技术,它将传统的监督微调和偏好对齐阶段结合到一个过程中。我们将使用ORPO和TRL库对新的Llama 3 8b模型进行微调。

RAG 2.0架构详解:构建端到端检索增强生成系统

当前RAG的问题在于各个子模块之间并没有完全协调,就像一个缝合怪一样,虽然能够工作但各部分并不和谐,所以我们这里介绍RAG 2.0的概念来解决这个问题。

PyTorch小技巧:使用Hook可视化网络层激活(各层输出)

这篇文章将演示如何可视化PyTorch激活层。可视化激活,即模型内各层的输出,对于理解深度神经网络如何处理视觉信息至关重要,这有助于诊断模型行为并激发改进。

ORPO偏好优化:性能和DPO一样好并且更简单的对齐方法

ORPO是另一种新的LLM对齐方法,这种方法甚至不需要SFT模型。通过ORPO,LLM可以同时学习回答指令和满足人类偏好。

时空图神经网络ST-GNN的概念以及Pytorch实现

对于时空图神经网络Spatail-Temporal Graph来说,最简单的描述就是在原来的Graph基础上增加了时间这一个维度,也就是说我们的Graph的节点特征是会随着时间而变化的。

Moirai:Salesforce的时间序列预测基础模型

在本文中,我们将探索用于时间序列预测的 Salesforce 新发布的基础模型 Moirai。最后我们还对比Moirai 与其他两个基础模型之间的差异

PiSSA :将模型原始权重进行奇异值分解的一种新的微调方法

我们开始看4月的新论文了,这是来自北京大学人工智能研究所、北京大学智能科学与技术学院的研究人员发布的Principal Singular Values and Singular Vectors Adaptation(PiSSA)方法。

10个大型语言模型(LLM)常见面试问题和答案解析

今天我们来总结以下大型语言模型面试中常问的问题

人工智能|深度学习——基于Xception算法模型实现一个图像分类识别系统

在计算机视觉领域,图像识别是一个非常重要的任务,其应用涵盖了人脸识别、物体检测、场景理解等众多领域。随着深度学习技术的发展,深度卷积神经网络(Convolutional Neural Networks,简称CNN)在图像识别任务上取得了巨大成功,其中Xception算法作为一种改进型CNN,被广泛应

AI辅写疑似度多少正常?从七个方面解读疑似度的合理范围!

为了降低疑似度,可以采取多种措施,如选择高水平的AI辅写工具、适当调整参数、加入个人思考和观点等。随着AI技术的发展,AI辅写工具在学术、写作等领域的应用越来越广泛。影响AI辅写疑似度的因素有很多,包括AI技术的水平、使用者的写作习惯、写作主题的难度等。AI辅写疑似度是指使用AI辅写工具生成的文本与

推测解码:在不降低准确性的情况下将LLM推理速度提高2 - 3倍

在本篇文章我们将详细讨论推测解码,这是一种可以将LLM推理速度提高约2 - 3倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实现,并看看它与原始transformer 实现相比到底能快多少。

论文AI率多少算正常?七个维度解读

我们应该根据具体的研究领域、论文类型、写作目的以及审稿人和读者的期望来灵活看待论文AI率。在使用AI工具辅助写作时,我们应保持警惕,确保AI的使用不会损害论文的原创性和质量。不同类型的论文,如综述、实证研究、案例分析等,对AI工具的需求和使用方式也不同。因此,正常的论文AI率也需要考虑到审稿人和读者

论文AI率多少正常:深入解析与合理界定

通过明确写作目标、优化AI工具的使用、人工审查和修改以及关注AI技术的最新发展等方式,我们可以更好地平衡论文AI率与学术诚信的关系,提高论文的质量和原创性。然而,一般来说,如果AI生成或修改的内容占论文总字数的10%至20%,这通常被认为是正常的范围。过高的论文AI率可能引发学术不端行为的风险,因此

​5种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现

本文将介绍大语言模型中使用的不同令牌遮蔽技术,并比较它们的优点,以及使用Pytorch实现以了解它们的底层工作原理。

存内计算为AI大模型提供的支持以及挑战

存内计算技术作为一种新型的计算范式,将存储器与处理器紧密地集成在一起,实现了数据的高效处理和低延迟访问。这种技术有效地缓解了传统计算模式下存储器与处理器之间的带宽瓶颈问题,为大规模数据处理和人工智能应用提供了更高效的计算支持。存内计算技术的核心思想是在存储器中实现简单的计算操作,以降低数据传输的功耗

怎么用AI写文献综述?智能AI写文献综述免费

内含多种参考文献格式可以自由选择,同时支持引入除了文献之外的多种资源,包括网页、书籍等,使用时除了可以直接搜索文献,也可以导入下载好的文献PDF,Mybib会从PDF中自动提取内容。Citation machine列举了57种引用类型,选择类型进行搜索后即可自动生成引文,若没有搜索到需要的结果,也可

为什么大型语言模型都在使用 SwiGLU 作为激活函数?

SwiGLU可以说是在大语言模型中最常用到的激活函数,我们本篇文章就来对他进行详细的介绍。

Real-ESRGAN超分辨网络

超分辨率论文阅读—Real-ESRGAN(2021ICCV) - 知乎Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data-----阅读阶段_MengYa_DreamZ的博客-CSDN博客虽然

归一化技术比较研究:Batch Norm, Layer Norm, Group Norm

本文将使用合成数据集对三种归一化技术进行比较,并在每种配置下分别训练模型。记录训练损失,并比较模型的性能。