Deephub
更多文章请关注公众号：Deephub-IMBA
简化版Transformer ：Simplifying Transformer Block论文详解
在这篇文章中我将深入探讨来自苏黎世联邦理工学院计算机科学系的Bobby He和Thomas Hofmann在他们的论文“Simplifying Transformer Blocks”中介绍的Transformer技术的进化步骤。这是自Transformer 开始以来，我看到的最好的改进。
Pandas中选择和过滤数据的终极指南
本文将介绍使用pandas进行数据选择和过滤的基本技术和函数。无论是需要提取特定的行或列，还是需要应用条件过滤，pandas都可以满足需求。
使用Accelerate库在多GPU上进行LLM推理
本文将使用多个3090将llama2-7b的推理扩展在多个GPU上
三种常用的风险价值(VaR)计算方法总结
风险价值(VaR)是金融领域广泛使用的风险度量，它量化了在特定时间范围内和给定置信度水平下投资或投资组合的潜在损失。
PubMedBERT:生物医学自然语言处理领域的特定预训练模型
语言模型并不一定就是最优的解决方案，“小”模型也有一定的用武之地
使用skforecast进行时间序列预测
在本文中，将介绍skforecast并演示了如何使用它在时间序列数据上生成预测。skforecast库的一个有价值的特性是它能够使用没有日期时间索引的数据进行训练和预测。
LLMLingua:集成LlamaIndex，对提示进行压缩，提供大语言模型的高效推理
大型语言模型(llm)的出现刺激了多个领域的创新。但是在思维链(CoT)提示和情境学习(ICL)等策略的驱动下，提示的复杂性不断增加，这给计算带来了挑战。
6个常用的聚类评价指标
评估聚类结果的有效性，即聚类评估或验证，对于聚类应用程序的成功至关重要。
斯坦福大学引入FlashFFTConv来优化机器学习中长序列的FFT卷积
斯坦福大学的FlashFFTConv优化了扩展序列的快速傅里叶变换(FFT)卷积。该方法引入Monarch分解，在FLOP和I/O成本之间取得平衡，提高模型质量和效率。
使用ExLlamaV2量化并运行EXL2模型
量化大型语言模型(llm)是减少这些模型大小和加快推理速度的最流行的方法。在这些技术中，GPTQ在gpu上提供了惊人的性能。与非量化模型相比，该方法使用的VRAM几乎减少了3倍，同时提供了相似的精度水平和更快的生成速度。
对OpenAI CEO奥特曼突然被解雇事件的一些分析
今天也来凑个热闹，说说OpenAI的事。
Chain-Of-Note：解决噪声数据、不相关文档和域外场景来改进RAG的表现
这是腾讯实验室在11月最新发布的一篇论文，CoN的核心思想是生成连续的阅读笔记对于检索到的文档，能够对其与给出问题并综合这些信息来形成最终的答案，提高了RAG的表现。
Python中的实例属性和类属性
在这篇文章中，我们将探讨Python中的类是如何工作的，主要介绍实例和类的属性。这些属性是什么，它们之间的区别，以及创建和利用它们的python方法。
使用FP8加速PyTorch训练
在这篇文章中，我们将介绍如何修改PyTorch训练脚本，利用Nvidia H100 GPU的FP8数据类型的内置支持。
大语言模型量化方法对比：GPTQ、GGUF、AWQ
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。
sMLP:稀疏全mlp进行高效语言建模
论文提出了sMLP，通过设计确定性路由和部分预测来解决下游任务方面的问题。
神经网络中的量化与蒸馏
本文将深入研究深度学习中精简模型的技术：量化和蒸馏
无监督学习的集成方法：相似性矩阵的聚类
在机器学习中，术语Ensemble指的是并行组合多个模型，这个想法是利用群体的智慧，在给出的最终答案上形成更好的共识。
XoT：一种新的大语言模型的提示技术
这是微软在11月最新发布的一篇论文，它增强了像GPT-3和GPT-4这样的大型语言模型(llm)解决复杂问题的潜力。
LoRAShear:微软在LLM修剪和知识恢复方面的最新研究
LoRAShear是微软为优化语言模型模型(llm)和保存知识而开发的一种新方法。它可以进行结构性修剪，减少计算需求并提高效率。