PyTorch量化感知训练技术:模型压缩与高精度边缘部署实践
本文将深入探讨模型量化的原理、主要量化技术类型以及如何使用PyTorch实现这些技术。
ChronosX: 可使用外生变量的时间序列预测基础模型
本文将系统剖析ChronosX的工作机制,并深入探讨其在多种基准测试中的表现。
提升AI训练性能:GPU资源优化的12个实战技巧
本文系统阐述的优化策略为提升 AI/ML 工作负载中的 GPU 资源利用率提供了全面技术指导。通过实施数据处理并行化、内存管理优化以及模型设计改进等技术手段
使用Torch Compile提高大语言模型的推理速度
在本文中,我们将探讨torch.compile的工作原理,并测量其对LLMs推理性能的影响。
神经辐射场(NeRF)实战指南:基于PyTorch的端到端实现
本文将系统性地引导读者使用PyTorch构建完整的神经辐射场(NeRF)处理流程。从图像加载到高质量三维场景渲染,文章将详细讨论实现过程中的关键技术点和优化策略。
Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南
Perforated Backpropagation技术代表了深度学习基础构建模块的重要革新,通过仿生学习机制重塑了人工神经元的计算范式。
NoProp:无需反向传播,基于去噪原理的非全局梯度传播神经网络训练,可大幅降低内存消耗
NoProp的核心技术基于扩散模型的概念,通过训练网络的每一层**对注入噪声的目标标签实施去噪操作**,从而彻底重新构想了深度学习的基础训练范式。
10招立竿见影的PyTorch性能优化技巧,让模型训练速度翻倍
本文基于对多种模型架构、不同PyTorch版本和容器环境的实证测试,系统总结了PyTorch性能调优的关键技术,旨在帮助开发者构建高效、可扩展的深度学习应用。
SigLIP 2:多语言语义理解、定位和密集特征的视觉语言编码器
SigLIP 2 是一个新型多语言视觉-语言编码器系列,通过整合基于字幕的预训练、自监督学习机制(包括自蒸馏和掩码预测)以及在线数据管理策略,对原始 SigLIP 模型进行了显著改进。
NeoBERT:4096 tokens上下文窗口,参数更少但性能翻倍
NeoBERT代表了双向编码器模型的新一代技术发展,通过整合前沿架构改进、现代大规模数据集和优化的预训练策略,有效缩小了传统编码器与高性能自回归语言模型之间的性能差距。
大语言模型的解码策略与关键优化总结
本文系统性地阐述了大型语言模型(Large Language Models, LLMs)中的解码策略技术原理及其实践应用。
PyTorch Profiler 性能优化示例:定位 TorchMetrics 收集瓶颈,提高 GPU 利用率
本文是将聚焦于指标收集,演示指标收集的一种简单实现如何对运行时性能产生负面影响,并探讨用于分析和优化它的工具与技术。
SRMT:一种融合共享记忆与稀疏注意力的多智能体强化学习框架
本研究将系统阐述**SRMT的技术架构、核心功能、应用场景及实验数据**,深入分析其在**多智能体强化学习(MARL)**领域的技术优势。
LossVal:一种集成于损失函数的高效数据价值评估方法
*LossVal*提出了一种创新方法,通过将数据价值评估过程直接集成到神经网络的损失函数中,实现了高效的数据价值评估。
Coconut:基于连续潜在空间推理,提升大语言模型推理能力的新方法
Coconut的核心机制是在"语言模式"和"潜在模式"之间进行动态切换。语言模式下,模型采用标准语言模型的自回归方式生成token序列。
BERT的继任者ModernBERT:融合长序列处理、代码理解与高效计算的新一代双向编码器
。ModernBERT 是一个全新的模型系列,在**速度**和**准确性**两个维度上全面超越了 BERT 及其后继模型。
华为昇腾310P AI 智能计算模组规格书
PCIe Gen4.0 ,兼容 3.0/2.0/1.0 XGE、SATA、USB 等接口。基于昇腾310P 模组设计的 AI 智能产品,可根据实际应用需求,可应用于机器人、无人机、无人。领域,有着极高的性价比,具有超强算力、 超高能效、高性能特征检索、安全启动等优势。支持 I2C、 UART、 CA
算法——BP神经网络
BP神经网络(Backpropagation Neural Network),也称为反向传播神经网络,是一种最常见和广泛应用的前馈型人工神经网络模型。BP神经网络由多个层次组成,包括输入层、隐藏层和输出层。每个层级都由多个神经元构成,它们通过带有权重的连接相互连接。信息在网络中从输入层向前传递,通过
可解释人工智能(XAI)领域的全面概述
本文提供一份关于 XAI 的全面综述,涵盖常见的术语和定义、XAI 的需求、XAI 的受益者、XAI 方法分类以及 XAI 方法在不同应用领域的应用。