激活函数ReLU和SiLU的区别
在这里，我就简单写一下两个激活函数的概念以及区别，详细的过程可以看看其他优秀的博主，他们写的已经非常好了，我就不必再啰嗦了
Softmax简介
Softmax是一种数学函数，通常用于将一组任意实数转换为表示概率分布的实数。
gpt模型训练-gpt3模型详解
目前，GPT-3已经成为最流行、最常用的GPT模型，它集成了1750亿个参数，能够执行一系列的自然语言处理任务，包括翻译、问答、文本摘要、对话生成等。具体而言，GPT模型将Transformer中的编码器部分作为自己的网络架构，实现了一个多层的、自回归的语言模型。总之，GPT模型是一种强大的、通用的
Prompt Engineering 入门（一）
大语言模型 (LLM) 是一种基于Transformer的深度学习模型，可以处理大量的自然语言文本，并从中学习知识和语言规律，从而提高对自然语言的理解和生成能力。LLM可以用于各种自然语言处理 (NLP)任务，如文本生成、阅读理解、常识推理等，这些任务在传统的方法下很难实现。LLM还可以帮助开发人员
人工智能实践: 基于T-S 模型的模糊推理
模糊推理是一种基于行为的仿生推理方法, 主要用来解决带有模糊现象的复杂推理问题。由于模糊现象的普遍存在, 模糊推理系统被广泛的应用。模糊推理系统主要由模糊化、模糊规则库、模糊推理方法以及去模糊化组成, 其基本流程如图1所示。■ 图1 模糊推理流程图传统的模糊推理是一种基于规则的控制, 它通过语言表
狂追ChatGPT：开源社区的“平替”热潮
目前，不少优质的类ChatGPT模型都只能通过API接入，而一些开源LLM的效果与ChatGPT相比差距不小。不过，近期开源社区开始密集发力了。其中，Meta的LLaMA模型泄漏是开源“ChatGPT”运动的代表性事件。基于LLaMA模型，开源社区近期接连发布了ChatLLaMa、Alpaca、Vi
玩转ChatGPT：文献总结工具
玩转ChatGPT：文献总结工具
Python实现逻辑回归(Logistic Regression)
逻辑回归是一种经典机器学习分类算法，它被广泛应用于二元分类问题中，该算法的目的是预测二元输出变量（比如0和1），逻辑回归算法有很多应用，比如预测股票市场、客户购买行为、疾病诊断等等。它被广泛应用于医学、金融、社交网络、搜索引擎等各个领域。
手把手教你搭建自己本地的ChatGLM
如果能够本地自己搭建一个ChatGPT的话，训练一个属于自己知识库体系的人工智能AI对话系统，那么能够高效的处理应对所属领域的专业知识，甚至加入职业思维的意识，训练出能够结合行业领域知识高效产出的AI。这必定是十分高效的生产力工具，且本地部署能够保护个人数据隐私，能够内网搭建办公使用也十分的方便。而
贝叶斯优化算法（Bayesian optimiazation）
例如我们想调logistic回归的正则化超参数，就把黑箱函数设置成logistic回归，自变量为超参数，因变量为logistic回归在训练集准确度，设置一个可以接受的黑箱函数因变量取值，例如0.95，得到的超参数结果就是可以让logistic回归分类准确度超过0.95的一个超参数。但是和网格搜索的快
李宏毅_机器学习_作业4（详解）_HW4 Classify the speakers
李宏毅_机器学习_作业4（详解）_HW4 Classify the speakers
预测任务评价指标acc,auc
1、分别表示什么TP（true positive）：表示样本的真实类别为正，最后预测得到的结果也为正；FP（false positive）：表示样本的真实类别为负，最后预测得到的结果却为正；FN（false negative）：表示样本的真实类别为正，最后预测得到的结果却为负；TN（true neg
SGD，Adam，AdamW，LAMB优化器
BERT 预训练包括两个阶段：1）前 9/10 的训练 epoch 使用 128 的序列长度，2）最后 1/10 的训练 epoch 使用 512 的序列长度。优化器是用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化(或最大化)损失函数。优点： 简单性，在优化算法中没
详解信道估计的发展与最新研究进展（MIMO）
奈奎斯特采样定理要求采样频率必须大于信号中最高频率的两倍。直到有一天，这个定律有了新的世界：陶哲轩等人指出 独立同分布的高斯随机测量矩阵可以成为普适的压缩感知测量矩阵。先看看信号重建领域怎么解释：如果一个信号在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低
KNN中不同距离度量对比和介绍
本文演示了KNN与三种不同距离度量(Euclidean、Minkowski和Manhattan)的使用。
推荐系统模型发展简史
嘿，记得给“机器学习与推荐算法”添加星标互联网出现不久，推荐系统就诞生了，相关技术在学术界和工业界得到了广泛的研究和应用。目前，推荐系统已经成为最成功的网络应用之一，通过推荐不同种类的内容来为数十亿人服务，包括新闻资讯、视频、电子商务产品、音乐、电影、书籍、游戏、朋友、工作等。这些成功的案例证明，推
SI，SIS，SIR，SEIRD模型
因为个人工作需要系统地整理SI，SIR以及SEIR模型，故对三个模型进行原理介绍以及对比。文中关于SI，SIS，SIR的所有的截图都来自西工大肖华勇老师在慕课上的分享，原视频戳SEIRD模型则来自发表在SCI上的paper，想看原文戳。...
LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS
给定一个自回归语言模型 PΦ(y|x)，比如可以是基于通用多任务训练的 GPT 模型，需要将这个模型在下游任务上进行 finetune，比如机器阅读理解 (MRC) 和自然语言转换为 SQL (NL2SQL) 这两个任务上，这些任务的数据通常是上下文与目标对：Z = {(xi, yi)}i=1,…,
Nvidia核心技术和用于AI训练的高端工业级显卡
这是 Nvidia 的最新数据中心 GPU，具有高达 80 GB 的显存、6912 个 CUDA 核心和 432 个 Tensor 核心，适用于最大规模的 AI 模型训练和推断。: 这是一款最强大的消费级 GPU，具有高达 72 GB 的显存、4608 个 CUDA 核心和 576 个 Tensor
交互式数据分析和处理新方法：pandas-ai =Pandas + ChatGPT
ChatGPT、Pandas是强大的工具，当它们结合在一起时，可以彻底改变我们与数据交互和分析的方式。
