0


概率统计中最重要的概念:概率统计与马尔可夫链的理解

每个数据科学家一旦开始研究统计模型,就会遇到马尔可夫链和马尔可夫过程这两个术语。本文将以一种易于理解的方式解释马尔可夫过程的基本概念。

马尔可夫链广泛应用于金融、汽车、食品、博彩业,在日常生活中几乎无处不在。因此,这是所有统计学家必须知道的话题。

天气、赌博、股价、人类行为等都是马尔可夫过程。

文章主旨

本文旨在解释以下关键主题:

  1. 什么是马尔可夫过程?
  2. 什么是马尔可夫链?
  3. 马尔可夫链实例
  4. 什么是平稳马尔可夫链分布?

什么是马尔可夫过程?

让我们考虑一个物体以随机的方式移动。这个对象可以是足球、考虑下一步的棋手、汇率、股票价格、汽车运动、客户在队列中的位置、在路上移动的人、足球场上的运动员等等。

这些物体以随机的方式移动。因此,我们可以得出结论,物体在本质上是随机的。这些对象基本上代表了整个系统。有趣的是,所有这些系统都可以有马尔可夫性质。

什么是马尔可夫性质?

如果一个物体以一种随机的方式运动,并且它的运动是无记忆的,那么这个物体就具有马尔可夫性质。

作为一个例子,我们假设我们的目标对象是一个被一群足球运动员踢来踢去的足球。接下来足球可以在任何状态下进行。作为一个例子,它可以左右移动。如果我们的目标对象是一个公司的股票价格,那么它接下来可以得到任何数值,比如0.999,1,2,3等等。现在,我们在上面说马尔可夫性质是无记忆的。它意味着物体的未来运动只取决于它的当前状态。这是最重要的概念。

马尔可夫性质是无记忆的,这就引出了马尔可夫链的概念。

什么是马尔可夫链?

让我们考虑一个物体以随机的方式移动,对象(或系统)的状态可以更改。这种变化称为跃迁,每个跃迁都有与其他跃迁相关联的概率。

因此,这个数学系统可以从一种状态过渡到另一种状态,这种过渡是基于概率的。

系统是一个随机过程的例子。假设它可以处于状态A或状态B。我们还可以考虑,当对象处于状态A时,它保持在状态A的可能性为40%,转换为状态B的可能性为60%,如下所示:

示例状态机

需要注意的关键是进程具有马尔可夫性质,这意味着它是无记忆的。因此,未来转变的可能性并不依赖于过去的状态。它们只取决于当前的状态。这就是我们认为它没有记忆的原因。

马尔可夫链是一个具有马尔可夫性质的随机过程。

马尔可夫链表示物体的随机运动。它是随机变量的序列Xn,其中每个随机变量都有一个与其相关联的转移概率。每个序列也有一个初始概率分布π。

考虑一个可以处于三种状态之一的对象{A,B,C}。随后,这个对象从状态A开始,可以转到另一个状态B或状态C,依此类推。所有状态A、B、C等都在状态空间中(状态空间是所有可能状态的集合)。

马尔可夫链的组成

这就引出了马尔可夫链的两个主要组成部分:

  1. 状态空间

状态空间是随机系统可能处于的所有状态(位置)的集合。

它被表示为S。作为一个实例,S可以是{up,down}或{top,bottom}或{1.1,2.2,...}或{positive,negative,neutral}或{AA A,AA,A,B,D,E..}等。

需要注意的是,S是状态空间,它是对象可能处于的所有状态的集合。

  1. 转移概率

第二部分是转移概率。转移概率是一个概率表。表中的每个条目i,j都告诉我们对象从状态i转换到状态j的概率。

因此,所有需要等于或大于0的状态都有一个相关的概率。另外,概率值之和需要为1。

转移概率告诉我们物体可能处于的下一个状态及其相关概率。因此,对象的下一步移动仅依赖于其当前值。

假设我们有一个转移概率矩阵:

上表显示,如果目标对象处于"向上"状态,则它有60%的机会过渡到"向下"状态,40%的机会保持在"向上"状态。此外,如果目标对象处于"向下"状态,则有60%的可能性它将过渡到"向上"状态,40%的可能性它将保持在"向下"状态。

需要注意的关键是,只需要知道当前状态就可以确定未来状态的概率分布。任何其他历史信息都是毫无意义的。

马尔可夫链实例

本节将用一个易于理解的例子来解释马尔可夫链的概念。

让我们考虑一下,我们试图预测交易对手名单的评级。每个交易对手都有当前评级。例如,交易对手Alpha可以有等级A、B或C。因此,{A、B、C}是状态空间中的状态。

我们得到了一个转移概率矩阵。这个矩阵也称为随机矩阵。转移概率矩阵告诉我们交易对手转移到另一个评级的概率。

交易对手评级状态空间={A,B,C}

转换矩阵:

需要注意的是,概率行或列的总和是1。

因此,如果交易对手的评级为a,则有30%的机会将其转换为C级,50%的机会将其自身转换为B级,而它有20%的机会保持在a级。随机过程也有一个概率分布,我将很快解释。

这就引出了重要的定理:

如果一个马尔可夫链是{Xn},并且有一个状态空间S,具有转移概率{pij},其初始概率分布为{μi},那么对于作为S元素的任何i,我们得到:

P(X1=i)=∑μₖPₖi(S的所有k元素之和)

因此,我们还应考虑交易对手的当前概率分布如下:

对于评级为a的交易对手,其评级为0.5

对于评级为B的交易对手,其评级为0.1

对于评级为C的交易对手,其评级为0.4。

马尔可夫链的概率分布可用行向量π表示,如下所示:

概率分布加起来是1。

有了这些信息,我们可以开始更好地理解这个过程。随着时间的推移,我们可以开始估计物体处于特定状态的概率。例如,对于下一个评级为C的交易对手,我们可以将所有状态的当前概率分布和转移概率的乘积相加:

P(X1=C) = (0.50.3) + (0.10.4) + (0.40.3) = 0.31*

它告诉我们,大约31%的时候,这个交易对手在一个步骤后将获得C级评级。一旦我们有了这些信息,我们就可以开始以更高的置信度预测一个以随机移动的物体。

什么是平稳马尔可2夫链分布

这就带来了随机变量的稳定性。这是本文的最后一个重要部分。本节将介绍马尔可夫链的平稳分布问题。

假设我们的目标随机过程需要被估计,我们想了解随机过程的稳定性。

我们知道马尔可夫链具有概率分布。平稳这个词意味着主体是恒定的,我们知道我们的随机对象可以移动到任何可能的状态。这个例子中的主体是随机过程的概率分布,而不是随机对象本身。

因此,如果一个马尔可夫链的统计分布是平稳的,那么它意味着分布不会随着时间的推移而改变。

因此,如果转移矩阵是P,概率分布是π,那么马尔可夫链的平稳分布是π=π*P

这是一个非常重要的概念。它告诉我们,无论具有平稳概率分布的系统在开始时在哪里,随着时间的推移,系统在一个状态下花费的时间量将与其概率分布近似。

而且,链的概率总是和它开始的概率一样。

如果{Xₙ}是一个马尔可夫链,并且它具有平稳分布{πᵢ},那么如果对于所有i都有P(Xₙ=i)=πᵢ,那么只要m>n,就有P(Xₘ=i)=πᵢ(对于所有i)。

这些信息可以帮助我们预测随机过程。

总结

本文解释了以下关键问题:

  1. 什么是马尔可夫过程?
  2. 什么是马尔可夫链?
  3. 马尔可夫链实例
  4. 什么是平稳尔可夫链分布?

作者:Farhad Malik

翻译人:tensor-zhang

DeepHub

微信号 : deephub-imba

每日大数据和人工智能的重磅干货

大厂职位内推信息

长按识别二维码关注 ->

好看就点在看!********** **********

标签:

“概率统计中最重要的概念:概率统计与马尔可夫链的理解”的评论:

还没有评论