S3FT选择性自监督微调：通过智能选择训练样本提升大模型整体表现
选择性自我监督微调（Selective Self-to-Supervised Fine-Tuning，S3FT）是一种创新的大语言模型微调方法，该方法通过部署专门的语义等价性判断器来识别训练集中模型自身生成的正确响应。
大语言模型中的归一化技术：LayerNorm与RMSNorm的深入研究
本文将系统分析归一化技术的必要性，并详细阐述为何原始Transformer架构中的LayerNorm在LLama模型中被RMSNorm所替代的技术原理。
NeoBERT：4096 tokens上下文窗口，参数更少但性能翻倍
NeoBERT代表了双向编码器模型的新一代技术发展，通过整合前沿架构改进、现代大规模数据集和优化的预训练策略，有效缩小了传统编码器与高性能自回归语言模型之间的性能差距。
Chain of Draft: 借鉴人类草稿思维让大型语言模型更快地思考
这个研究探讨了大型语言模型（LLMs）在执行复杂推理任务时面临的计算资源消耗与响应延迟问题。研究特别聚焦于思维链（Chain-of-Thought, CoT）提示范式的效率局限性。
Visual-RFT：基于强化学习的视觉语言模型微调技术研究
Visual-RFT 的核心理念在于促进模型通过渐进式推理进行学习，而非简单地记忆标准答案。该方法鼓励模型生成多样化的响应并进行自主推理，随后基于答案正确性的验证信号调整学习方向。
深入解析图神经网络注意力机制：数学原理与可视化实现
本文旨在通过可视化方法和数学推导，揭示图神经网络自注意力层的内部运作机制。我们将采用"位置-转移图"的概念框架，结合NumPy编程实现，一步步拆解自注意力层的计算过程，使读者能够直观理解注意力权重是如何生成并应用于图结构数据的。
深入解析Tiktokenizer：大语言模型中核心分词技术的原理与架构
Tiktokenizer通过整合这些方法，构建了一个通用且适应性强的工具，能够应对各种文本处理场景的需求。
机器学习特征筛选：向后淘汰法原理与Python实现
向后淘汰法（Backward Elimination）是机器学习领域中一种重要的特征选择技术，其核心思想是通过系统性地移除对模型贡献较小的特征，以提高模型性能和可解释性。
趋势还是噪声？ADF与KPSS检验结果矛盾时的高级时间序列处理方法
当我们遇到ADF检验失败而KPSS检验通过的情况时，这表明我们面对的是一个平稳但具有确定性趋势的时间序列。
PyTorch内存优化的10种策略总结：在有限资源环境下高效训练模型
本文将系统性地介绍多种内存优化策略，这些技术组合应用可使模型训练的内存消耗降低近20倍，同时不会损害模型性能和预测准确率。以下大部分技术可以相互结合，以获得更显著的内存效率提升。
LLM模型添加自定义Token代码示例：为Llama 3.2模型添加思考与回答标记
本文将介绍如何为大型语言模型(LLM)添加自定义token并进行训练，使模型能够有效地利用这些新增token。
Featurewiz-Polars：基于XGBoost的高性能特征选择框架，一行代码搞定特征选择
，Featurewiz已成为许多数据科学家的首选工具，在学术领域获得**140多篇Google Scholar论文引用**。
Logic-RL: 小模型也能强推理，通过基于规则的强化学习提升大语言模型结构化推理能力
这篇论文探讨了基于规则的强化学习（RL）如何解锁LLM中的高级推理能力。通过在受控的逻辑谜题上进行训练并强制执行结构化的思考过程，即使是相对较小的模型也能开发出可转移的问题解决策略。
SelfCite: 通过自监督奖励提升LLM对上下文内容的引用质量
SelfCite 提出了一种新颖的自监督方法，通过上下文消融技术和自监督奖励机制，提升大型语言模型 (LLM) 对上下文内容的引用质量，生成更准确、更可靠的句子级别引用，从而提高基于上下文的生成任务的整体性能。
用PyTorch从零构建 DeepSeek R1：模型架构和分步训练详解
DeepSeek R1 的完整训练流程核心在于，在其基础模型 DeepSeek V3 之上，运用了多种强化学习策略。 本文将从一个可本地运行的**基础模型**起步，并参照其技术报告，**完全从零开始构建** DeepSeek R1
SmolLM2：多阶段训练策略优化和高质量数据集，小型语言模型同样可以实现卓越的性能表现
，SmolLM2 通过创新的多阶段训练策略、高质量数据集的构建与优化，以及精细的模型后训练调优，在 1.7B 参数规模下实现了卓越的性能表现，并在多个基准测试中超越了同等规模甚至更大规模的语言模型。
Diffusion-DPO：一种基于直接偏好优化的扩散模型对齐新方法
Diffusion-DPO 方法通过直接偏好优化（DPO）简化了扩散模型与人类偏好的对齐过程，避免了显式奖励模型的训练，展示了在处理开放词汇表场景时的更强能力和有效性，为提升 AI 生成图像的质量和可控性提供了新的思路。
LLM高效推理：KV缓存与分页注意力机制深度解析
随着大型语言模型（LLM）规模和复杂性的持续增长，高效推理的重要性日益凸显。KV（键值）缓存与分页注意力是两种优化LLM推理的关键技术。本文将深入剖析这些概念，阐述其重要性，并探讨它们在仅解码器（decoder-only）模型中的工作原理。
Vision Transformer中的图像块嵌入详解：线性投影和二维卷积的数学原理与代码实现
在 Vision Transformer 中，图像首先被分解为正方形图像块，然后将这些图像块展平为单个向量嵌入。这些嵌入可以被视为与文本嵌入（或任何其他嵌入）完全相同，甚至可以与其他数据类型进行连接。
STAR: 利用时空注意力机制和动态频率损失的视频超分辨率增强框架
STAR (Spatial-Temporal Augmentation with Text-to-Video Models) 提出了一种创新的视频超分辨率解决方案，针对现有模型中存在的过度平滑和时间一致性不足等问题进行了系统性改进。
