AI:224-机器学习在天气预测与气象模拟中的应用(保姆级教学)
本文深入探讨了机器学习在天气预测和气象模拟中的应用及其技术要点。通过机器学习技术,我们可以利用大量的气象数据进行分析和预测,从而提高天气预报的准确性和时效性,支持多个领域的实时决策和应用。
Linux系统安装多个CUDA版本与切换,正常AI模型训练
如果已经安装了NVIDIA驱动版本,先卸载旧驱动,再安装新CUDA对应的驱动,如果没有安装过NVIDIA驱动版本,可以直接安装新CUDA版本,它会自动安装对应的NVIDIA驱动。(2)执行nvidia-smi命令,显示是cuda的版本号(每个cuda版本对应了不同驱动版本),提供有关系统中NVIDI
AI芯片:高性能卷积计算中的数据复用
随着深度学习的飞速发展,对处理器的性能要求也变得越来越高,随之涌现出了很多针对神经网络加速设计的AI芯片。卷积计算是神经网络中最重要的一类计算,本文分析了高性能卷积计算中的数据复用,这是AI芯片设计中需要优化的重点之一,具体思路如下:1.数据复用的动机2.存储-计算分离框架下,针对卷积计算的优化思路
Dify 与 Xinference 最佳组合 GPU 环境部署全流程
在前一篇文章RAG 项目对比之后,确定 Dify 目前最合适的 RAG 框架。本次就尝试在本地 GPU 设备上部署 Dify 服务。Dify 是将模型的加载独立出去的,因此需要选择合适的模型加载框架。调研一番之后选择了Xinference支持多种类型的模型,包括 LLM,Embedding, Rer
Mem0:LLM个性化、陪伴式开源框架
Mem0 的 LLM 记忆实现方法与检索增强生成 (RAG) 等传统方法相比具有明显优势。与从静态文档中检索信息的 RAG 不同,Mem0 的记忆层可以理解和关联不同交互中的实体,保持上下文连续性并优先考虑相关的最新信息。这种动态更新功能可确保记忆保持最新状态,从而提供针对单个用户交互量身定制的准确
本地部署graphGAG--pip和初始化存在的问题
GraphRAG(Graph-based Retrieval-Augmented Generation)是一种结合了知识图谱和图机器学习技术的新型检索增强生成模型。它由微软于2024年7月2日开源,旨在显著提升大型语言模型(LLM)在处理私有数据时的理解和推理能力。对大模型完全陌生的实习小白上手记录
AWQ量化及AutoAWQ代码详解
awq论文解读及autoawq源码分析
Github项目:AI消除马赛克实战,墙都不扶就服你
1、原理====该算法利用线性盒滤波器分别处理每个块的事实。对于每个块,它将搜索图像中的所有块像素化以检查直接匹配。对于大多数像素化图像,Depix能够找到单个匹配结果。它假设这些是正确的。然后将周围多个匹配块的匹配在几何上与像素化图像中相同的距离进行比较。匹配也被视为正确。这个过程重复几次。当正确
嵌入式人工智能(OpenCV-基于树莓派的人脸识别与入侵检测)
Mediapipe 由 Google Research 于 2020 年推出,旨在为计算机视觉研究人员和开发者提供一个易于使用、高性能的框架。Mediapipe 提供了多种预训练模型和算法,涵盖了人脸检测、手势识别、姿态估计等领域。
Pytorch基础:Tensor的连续性
在Pytorch中,一个连续的张量指的是张量中各数据元素在底层的存储顺序与其在张量中的位置一致。这意味着每一个元素的地址可以通过下面的线性映射公式来确定:
AI:12-基于深度学习的人脸识别研究
人脸识别技术作为一种先进的生物特征识别技术,在各个领域展示了广泛的应用前景。本文基于深度学习的人脸识别签到系统进行了深入研究,通过使用卷积神经网络(CNN)和面部特征提取技术,实现了准确的人脸识别和自动签到功能。同时,为了提高系统性能和效率,优化了模型架构、数据预处理和模型调优等方面。通过代码实现和
登顶GitHub Trending,开源工具MinerU助力复杂PDF高效解析提取
在7月4日举行的WAIC 2024科学前沿主论坛上,书生·浦语2.5正式发布,面向大模型研发与应用的全链条工具体系同时迎来升级。在数据处理环节,上海人工智能实验室(上海AI实验室)大模型数据基座OpenDataLab团队开源了全新的智能数据提取工具——MinerU。
从零实现强化学习RLHF代码(PPO、RLOO)
从零开始实现强化学习代码
Python酷库之旅-第三方库Pandas(075)
第三方库Pandas(075)
AI多模态教程:Qwen-VL多模态大模型实践指南
使用官方项目里提供的微调脚本进行LoRA微调测试,模型采用HuggingFace下载的那个全精度模型,数据采用上面的示例数据,建议模型路径使用绝对路径,如果你想节省显存占用,可以考虑使用chat模型进行LoRA微调,显存占用将大幅度降低。提供finetune.py脚本和shell脚本的目的是为了简化
NsightCompute教程入门
使用pycuda 获取显卡的性能手动绘制rootline model.nsight system 安装教程nsight system 使用教程–nsight system 分析pytorch 神经网络nsight compute 安装教程nsight compute 使用教程nsight syste
医学图像分割的基准:TransUnet(用于医学图像分割的Transformer编码器)器官分割
TransUnet是一种用于医学图像分割的深度学习模型。它是基于Transformer模型的图像分割方法,由AI研究公司Hugging Face在2021年提出。医学图像分割是一项重要的任务,旨在将医学图像中的不同结构和区域分离出来,以便医生可以更好地诊断和治疗疾病。传统的医学图像分割方法通常使用基
Datawhale-AI 夏令营 自然语言处理实战营 总结(Task01-Task02)
③构建词汇表,根据英文和中文数据的词汇内容,增加索引的内容,对于一些陌生的词汇,我们给予其“未知”的标签。缺点:通过代码实操发现,在翻译领域的BLEU评价指标基本得分很低,直接原因是翻译出来的语句较生硬,基本都是通过映射方式,语句块之间没有任何的逻辑联系。由于模型仅仅只是确定翻译的某个数学关系,而翻
AI:228-保姆级基于SCConv的YOLOv8改进 | 轻量化空间与通道重构卷积助力精细化目标检测
在本文中,我们深入探讨了SCConv(空间和通道重构卷积)对YOLOv8的改进与优化。通过分析SCConv的工作原理及其在不同卷积层级中的应用,展示了该模块如何在保持轻量化的同时,显著提升模型的检测精度和特征提取能力。具体而言,SCConv通过增强空间和通道重构,改善了YOLOv8在复杂场景下的检测
torch、torchvision、torchaudio安装对应cuda版本(cuda 12.1情况下)
如果安装cuda 11.8版本的,把最后的cu121改成cu118即可。目前支持最高cuda 12.2。因为网上 pip install torch 等全部默认安装cpu版本,推理速度慢。所有安装cuda版本的包会更快。