Deephub
更多文章请关注公众号：Deephub-IMBA
DeepSpeed-MoE:训练更大及更复杂的混合专家网络
这是微软发布在**2022 ICML**的论文，MoE可以降低训练成本，但是快速的MoE模型推理仍然是一个未解决的问题。所以论文提出了一个端到端的MoE训练和推理解决方案DeepSpeed-MoE：它包括新颖的MoE架构设计和模型压缩技术，可将MoE模型大小减少3.7倍；
2023年发布的25个开源大型语言模型总结
本文总结了当前可用的开源llm的全部（几乎全部）列表，以及有关其许可选项和源代码存储库的信息，希望对你有所帮助
Python 3.11的10个使代码更加高效的新特性
在本文中我们将介绍Python 3.11新特性，通过代码示例演示这些技巧如何提高生产力并优化代码。
LLM-Blender：大语言模型也可以进行集成学习
LLM-Blender是一个集成框架，可以通过利用多个开源大型语言模型(llm)的不同优势来获得始终如一的卓越性能。
Stable Diffusion在各种显卡上的加速方式测试，最高可以提速211.2%
在本文中，我们将介绍这些加速方法的原理和性能测试结果，并提供对不同显卡的成本效益总结，我们的目标时在并在2秒内生成高质量的图像。
使用QLoRa微调Llama 2
上篇文章我们介绍了Llama 2的量化和部署，本篇文章将介绍使用PEFT库和QLoRa方法对Llama 27b预训练模型进行微调。我们将使用自定义数据集来构建情感分析模型。
使用Cleanlab、PCA和Procrustes可视化ViT微调
在本文中，我们将介绍如何创建这样一个动画，主要包括:微调、创建嵌入、异常值检测、PCA、Procrustes、创建动画。
使用GGML和LangChain在CPU上运行量化的llama2
在本文，我们将紧跟趋势介绍如何在本地CPU推理上运行量化版本的开源Llama 2。
基于Gym Anytrading 的强化学习简单实例
Gym Anytrading是一个建立在OpenAI Gym之上的开源库，它提供了一系列金融交易环境。它允许我们模拟各种交易场景，并使用RL算法测试不同的交易策略。
时间序列的季节性：3种模式及8种建模方法
分析和处理季节性是时间序列分析中的一个关键工作，在本文中我们将描述三种类型的季节性以及常见的8种建模方法。
在自定义数据集上微调Alpaca和LLaMA
本文将介绍使用LoRa在本地机器上微调Alpaca和LLaMA
使用CatBoost和SHAP进行多分类完整代码示例
CatBoost是顶尖的机器学习模型之一，SHAP旨在解释机器学习模型的输出，本文将展示如何一起使用它们来解释具有多分类数据集的结果。
使用Dreambooth LoRA微调SDXL 0.9
本文将介绍如何通过LoRA对Stable Diffusion XL 0.9进行Dreambooth微调。DreamBooth是一种仅使用几张图像(大约3-5张)来个性化文本到图像模型的方法。
7个有用的Prompt参数
本文将介绍七个关键的Prompt参数，通过这些参数可以引导模型，探索模型的能力和限制，生成不同风格或角度的内容。
注意力机制中的掩码详解
本文将详细介绍掩码的原理和机制。
15个Stack Overflow上回答的最多的Python技巧
Python是一种高级编程语言。由于其可读性和效率，它已成为全球开发人员的热门选择。但是与任何语言一样，有一些方法可以利用Python的特性来生成更干净、更高效和更Python化的代码。
每个开发人员都应该知道的VS Code入门技巧
这里有一些每个开发人员都应该知道的关于Visual Studio Code (VS Code)的技巧
使用Llama.cpp在CPU上快速的运行LLM
大型语言模型(llm)正变得越来越流行，但是它需要很多的资源，尤其时GPU。在这篇文章中，我们将介绍如何使用Python中的llama.cpp库在高性能的cpu上运行llm。
pandas中的.update()方法
在Pandas中，`update()`方法用于将一个DataFrame或Series对象中的值更新为另一个DataFrame或Series对象中的对应值。这个方法可以用来在原地更新数据，而不需要创建一个新的对象。
并行计算框架Polars、Dask的数据处理性能对比
在Pandas 2.0发布以后，我们发布过一些评测的文章，这次我们看看，除了Pandas以外，常用的两个都是为了大数据处理的并行数据框架的对比测试。