Deephub
更多文章请关注公众号：Deephub-IMBA
PyTorch内存优化的10种策略总结：在有限资源环境下高效训练模型
本文将系统性地介绍多种内存优化策略，这些技术组合应用可使模型训练的内存消耗降低近20倍，同时不会损害模型性能和预测准确率。以下大部分技术可以相互结合，以获得更显著的内存效率提升。
LLM模型添加自定义Token代码示例：为Llama 3.2模型添加思考与回答标记
本文将介绍如何为大型语言模型(LLM)添加自定义token并进行训练，使模型能够有效地利用这些新增token。
Featurewiz-Polars：基于XGBoost的高性能特征选择框架，一行代码搞定特征选择
，Featurewiz已成为许多数据科学家的首选工具，在学术领域获得**140多篇Google Scholar论文引用**。
Logic-RL: 小模型也能强推理，通过基于规则的强化学习提升大语言模型结构化推理能力
这篇论文探讨了基于规则的强化学习（RL）如何解锁LLM中的高级推理能力。通过在受控的逻辑谜题上进行训练并强制执行结构化的思考过程，即使是相对较小的模型也能开发出可转移的问题解决策略。
SelfCite: 通过自监督奖励提升LLM对上下文内容的引用质量
SelfCite 提出了一种新颖的自监督方法，通过上下文消融技术和自监督奖励机制，提升大型语言模型 (LLM) 对上下文内容的引用质量，生成更准确、更可靠的句子级别引用，从而提高基于上下文的生成任务的整体性能。
用PyTorch从零构建 DeepSeek R1：模型架构和分步训练详解
DeepSeek R1 的完整训练流程核心在于，在其基础模型 DeepSeek V3 之上，运用了多种强化学习策略。 本文将从一个可本地运行的**基础模型**起步，并参照其技术报告，**完全从零开始构建** DeepSeek R1
SmolLM2：多阶段训练策略优化和高质量数据集，小型语言模型同样可以实现卓越的性能表现
，SmolLM2 通过创新的多阶段训练策略、高质量数据集的构建与优化，以及精细的模型后训练调优，在 1.7B 参数规模下实现了卓越的性能表现，并在多个基准测试中超越了同等规模甚至更大规模的语言模型。
Diffusion-DPO：一种基于直接偏好优化的扩散模型对齐新方法
Diffusion-DPO 方法通过直接偏好优化（DPO）简化了扩散模型与人类偏好的对齐过程，避免了显式奖励模型的训练，展示了在处理开放词汇表场景时的更强能力和有效性，为提升 AI 生成图像的质量和可控性提供了新的思路。
LLM高效推理：KV缓存与分页注意力机制深度解析
随着大型语言模型（LLM）规模和复杂性的持续增长，高效推理的重要性日益凸显。KV（键值）缓存与分页注意力是两种优化LLM推理的关键技术。本文将深入剖析这些概念，阐述其重要性，并探讨它们在仅解码器（decoder-only）模型中的工作原理。
Vision Transformer中的图像块嵌入详解：线性投影和二维卷积的数学原理与代码实现
在 Vision Transformer 中，图像首先被分解为正方形图像块，然后将这些图像块展平为单个向量嵌入。这些嵌入可以被视为与文本嵌入（或任何其他嵌入）完全相同，甚至可以与其他数据类型进行连接。
STAR: 利用时空注意力机制和动态频率损失的视频超分辨率增强框架
STAR (Spatial-Temporal Augmentation with Text-to-Video Models) 提出了一种创新的视频超分辨率解决方案，针对现有模型中存在的过度平滑和时间一致性不足等问题进行了系统性改进。
DeepMind发布Matryoshka（套娃）量化：利用嵌套表示实现多精度LLM的低比特深度学习
本文将介绍 Google DeepMind 提出的 Matryoshka 量化技术，该技术通过从单个大型语言模型 (LLM) 实现多精度模型部署，从而革新深度学习。我们将深入研究这项创新技术如何提高 LLM 的效率和准确性。
MOIRAI-MOE: 基于混合专家系统的大规模时间序列预测模型
MOIRAI-MOE 采用纯解码器架构,通过混合专家模型实现了频率无关的通用预测能力,同时显著降低了模型参数规模。
知识蒸馏方法探究：Google Distilling Step-by-Step 论文深度分析
Google Research 团队发表的论文《Distilling Step-by-Step!》提出了一种创新的知识蒸馏方法，不仅能有效减小模型规模，还能使学生模型在某些任务上超越其教师模型。
大语言模型的解码策略与关键优化总结
本文系统性地阐述了大型语言模型(Large Language Models, LLMs)中的解码策略技术原理及其实践应用。
DeepSeek 背后的技术：GRPO，基于群组采样的高效大语言模型强化学习训练方法详解
本文将深入分析 GRPO 的工作机制及其在语言模型训练领域的重要技术突破，并探讨其在实际应用中的优势与局限性。
基于结构化状态空间对偶性的贝叶斯注意力机制设计与实现
本文介绍了一种贝叶斯风格的注意力机制，用于序列预测。我们将详细阐述如何使用马尔可夫链蒙特卡罗法（MCMC）训练该模型。
近端策略优化(PPO)算法的理论基础与PyTorch代码详解
近端策略优化(Proximal Policy Optimization, PPO)算法作为一种高效的策略优化方法，在深度强化学习领域获得了广泛应用。特别是在大语言模型(LLM)的人类反馈强化学习(RLHF)过程中，PPO扮演着核心角色。本文将深入探讨PPO的基本原理和实现细节。
CoAT: 基于蒙特卡洛树搜索和关联记忆的大模型推理能力优化框架
研究者提出了一种新的关联思维链(Chain-of-Associated-Thoughts, CoAT)方法，该方法通过整合蒙特卡洛树搜索(Monte Carlo Tree Search, MCTS)和关联记忆机制来提升大语言模型(LLMs)的推理能力。
用傅里叶变换解码时间序列：从频域视角解析季节性模式
传统上，识别季节性模式往往依赖于数据的**可视化分析**。但是我们可以使用**傅里叶变换**以及**周期图**（Periodogram）这一强大工具，用一种更系统的方法来解决这个问题。