Deephub
更多文章请关注公众号：Deephub-IMBA
LoRA及其变体概述：LoRA, DoRA, AdaLoRA, Delta-LoRA
在本文中，我们将解释LoRA本身的基本概念，然后介绍一些以不同的方式改进LoRA的功能的变体，包括LoRA+、VeRA、LoRA- fa、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA。
MADQN：多代理合作强化学习
在本文中我们将只关注合作多代理学习的问题，不仅因为它在我们日常生活中更常见，而对于我们学习来说也相对的简单一些。
2024年3月最新的深度学习论文推荐
现在已经是3月中旬了，我们这次推荐一些2月和3月发布的论文。
傅里叶变换算法和Python代码实现
本篇文章我们将使用Python来实现一个连续函数的傅立叶变换。
从16-bit 到 1.58-bit ：大模型内存效率和准确性之间的最佳权衡
在本文中，我们将通过使用GPTQ对Mistral 7B、Llama 27b和Llama 13B进行8位、4位、3位和2位量化实验,还要介绍一个大模型的最新研究1.58 Bits，它只用 -1，0，1来保存权重
Nomic Embed：能够复现的SOTA开源嵌入模型
Nomic-embed-text是2月份刚发布的，并且是一个完全开源的英文文本嵌入模型，上下文长度为8192.该模型有137M个参数在现在可以算是非常小的模型了。
使用Tokeniser估算GPT和LLM服务的查询成本
Tokeniser包可以有效地计算文本输入中的令牌来估算这些成本。本文将介绍如何使用Tokeniser有效地预测和管理费用。
StarCoder 2：GitHub Copilot本地开源LLM替代方案
在本文中，我们将介绍StarCoder2的一些基本信息，然后建立一个本地环境，搭建StarCoder2-15B模型并用Python, JavaScript, SQL, c++和Java测试其编码能力。
LLM 加速技巧：Muti Query Attention
MQA 是 19 年提出的一种新的 Attention 机制，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。在大语言模型时代被广泛使用，很多LLM都采用了MQA，如Falcon、PaLM、StarCoder等。
RNN又行了！DeepMind新发布的Griffin可以与同级别的LLM性能相当
Hawk和Griffin是DeepMind推出的新型循环神经网络（RNNs），2月刚刚发布在arxiv上。
使用纹理对比度检测检测AI生成的图像
在本篇文章中我们将介绍如何开发一个深度学习模型来检测人工智能生成的图像
Vision Transformers的注意力层概念解释和代码实现
本文将深入探讨注意力层在计算机视觉环境中的工作原理。我们将讨论单头注意力和多头注意力。它包括注意力层的代码，以及基础数学的概念解释。
使用TensorRT-LLM进行生产环境的部署指南
TensorRT-LLM是一个由Nvidia设计的开源框架，用于在生产环境中提高大型语言模型的性能。
Pytorch中张量的高级选择操作
在某些情况下，我们需要用Pytorch做一些高级的索引/选择，所以在这篇文章中，我们将介绍这类任务的三种最常见的方法：torch.index_select, torch.gather and torch.take
可视化FAISS矢量空间并调整RAG参数提高结果精度
在本文中，我们将使用可视化库renumics-spotlight在2-D中可视化FAISS向量空间的多维嵌入，并通过改变某些关键的矢量化参数来寻找提高RAG响应精度的可能性。
谷歌Gemma介绍、微调、量化和推理
这篇文章我们将介绍Gemma模型，然后展示如何使用Gemma模型，包括使用QLoRA、推理和量化微调。
2024年2月深度学习的论文推荐
我们这篇文章将推荐2月份发布的10篇深度学习的论文
PyTimeTK: 一个简单有效的时间序列分析库
我最近在Github上发现了一个刚刚发布不久的Python时间工具包PyTimeTK ，它可以帮我们简化时间序列分析的很多步骤。
选择最适合数据的嵌入模型：OpenAI 和开源多语言嵌入的对比测试
本文将OpenAI新模型与开源模型的性能进行实证比较。
PHATGOOSE：使用LoRA Experts创建低成本混合专家模型实现零样本泛化
这篇2月的新论文介绍了Post-Hoc Adaptive Tokenwise Gating Over an Ocean of Specialized Experts (PHATGOOSE)，这是一种通过利用一组专门的PEFT模块(如LoRA)实现零样本泛化的新方法