【統計・機械学習】確率変数と確率分布について徹底解説

統計が機械学習を勉強する上で、まず最初に登場する難解な概念として、確率変数と確率分布があります。

確率変数と確率分布は、確率の概念として基本のキであり絶対に理解する必要性がある概念ですが、一歩でこの確率変数と確率分布について理解が甘いと、確実に機械学習の勉強をする上で、挫折することになると思います。

ここで、確率変数と確率分布について、確実に自分の中の理解を深めておきましょう。

確率変数の定義

まず確率変数について、ここでしっかりとおさえていきましょう。

確率変数とは、何らかの確率に従って値をとる変数のことを確率変数と呼びます。

例えば通常の出目が1~6種類あるサイコロを考えます。この時、このサイコロを降るという思考における確率変数$X$は、サイコロの目とこの出目が出るそれぞれの確率を全て集めたものを、1つの確率変数として表します。

上の表がサイコロがとる出目とその確率を表したものが、確率変数$X$となります。初学者が混乱するのは、確率変数というように、変数という名前がついているのにも関わらず、実体としてはこのような値とその取りうる確率のペアを示していることが、確率変数が理解できない要因だと思っています。

なので、この記事を読んでいる人は、確率変数とは、ある試行をするときに取りうる値とその値がとる確率のペア全てのことを指している、という風に理解してください。

ちなみに、確率変数がとる値の範囲のことを標本空間(sample space)と呼びます。サイコロの例では、$\{1,2,3,4,5,6\}$が標本空間です。

別の例だと、ある学校のクラスメイトにおける生徒の体重$x$や身長$y$も確率変数として表現することができます。この場合、サイコロの例だと、その標本空間は$\{1,2,3,4,5,6\}$のような特定の区間の整数になりましたが、身長や体重の場合は整数ではなく、生物的にあり得る範囲で、連続的な実数の範囲が全て標本空間稲荷ます。このような、特定の区間における任意の実数値をとるような確率変数を、連続確率変数と呼びます。一方で、サイコロのような離散的な整数値をとるような確率変数を、離散確率変数と呼びます。

機械学習の世界では、離散確率変数と連続確率変数の扱い方は結構異なってくるので、今考えている確率変数が、離散確率変数なのか、連続確率変数なのか、については、常に意識するようにしましょう。

確率分布の定義

確率変数と確率分布の正確な違いは、先ほどのサイコロの例だと、確率変数がサイコロを投げる試行であり、確率分布が、標本空間とその標本空間の値のとる組みのことです。

再掲ですが、離散確率分布においては、これが確率分布に相当します。ちなみに、確率分布は小文字の$p$で表されます。$p(x)$などと表現されます。一方、確率分布における、標本空間における特定の値を示すような場合には、

P(X=1) = p(1) = \frac{1}{6}

のように表現されます。よく統計の機械学習の本を読んでいても、大文字$P$や小文字$p(x)$などの表記が出てくると思います。大文字のPが確率分布における、1つの値における確率を示しているのに対し、小文字の$p(x)$は確率分布全体を示している、ということは、きちんと理解をしておくとよいでしょう。

また確率変数と土曜に、離散的な標本空間を持つ確率分布を離散確率分布とし、実数全体など連続的な標本空間を持つような確率分布を、連続確率分布を呼びます。

確率分布は満たすべき性質があり、その1つに、すべての

代表的な確率分布

確率・統計学の分野では、代表的な確率分布が数多く登場します。

最も耳にすることが多い確率分布は正規分布だと思います。正規分布は世の中の多くの事象について当てはまることが知られており、非常に多く登場しますが、正規分布以外にも数多くの確率分布が登場します。これらの基本的な確率分布について、その特徴を押さえておくことは非常に重要です。

また、高度な統計モデルや実用的に利用されている機械学習モデルでは、これらの基本的な確率分布を複数組み合わせているものの数多くあるため、基本的な確率分布について理解することは非常に重要です。

ここで、機械学習や統計の分野で頻繁に登場する確率分布を掲示します。

離散確率分布と連続確率分布で分けています。

これらの詳しい統計的な性質や、どんな用途で利用されるかについては、各確率分布におけるリンク先を参照してみてください。