19 0 obj \], それでは\(\mathbb{E}[Y_1]\)と\(\mathbb{E}[Y_2]\)を計算してみましょう。, それぞれ0.5527504と0.1050386の結果が得られており、こちらも\(\mu\)に非常に近いことが分かります。標本平均以外にも母平均の不偏推定量がいくらでもあり得ることが分かります。, しかし、なぜ\(\mu\)の不偏推定量として\(\bar{X}\)が使われているのでしょうか。それは\(\bar{X}\)が最も効率的な推定量であるからです。, 不偏推定量の中で一つ選ぶとしたら「効率性(efficiency)」というものを基準とします。同じ不偏推定量であれば、精度の高い推定量、つまり分散が小さい推定量がいいでしょう。この精度の良さが「効率性」です。他にも、「有効性」と呼ばれる場合もあります。, 効率性の最も良い推定量のことを有効推定量と呼びます。この効率性は簡単にいうと推定量の分散を意味します。これまで\(\mu\)の不偏推定量として\(\bar{X}\)、\(Y_1\)、\(Y_2\)を見てきました。これら3つの不偏推定量の効率性は\(V[\bar{X}]\)、\(V[Y_1]\)、\(V[Y_2]\)を用いて調べることが可能です。, それぞれの分散は2004.1535382、9974.5536133、2359.1813379であり、\(V[\bar{X}]\)が最も分散が小さい、つまり最も効率的な推定量であることが分かります。\(\bar{X}\)は一致推定量でありながら不偏推定量であり、そして最も効率的な\(\mu\)の推定量となります。, 先ほどの標本平均は一致推定量でありながら、不偏推定量でした。しかし、世の中には一致推定量でありながら、不偏推定量ではない推定量が存在します。その代表的な例が標本分散(\(s^2\))です。標本分散(\(s^2\))は母集団における分散(\(\sigma^2\))の一致推定量ですが、不偏推定量ではありません。, たとえば、\(\mu = 0\)、\(\sigma = 100\)の正規分布から独立的に1000万個の乱数を生成したとします。この場合、母分散(\(\sigma^2\))は10000となります。そして、この1000万個の値の標本分散(\(s^2\))と不偏分散(\(\hat{\sigma}^2\))を計算します。ちなみに、Rのvar()は不偏分散を計算するため、標本分散を求めるためには不偏分散に\(\frac{n-1}{n}\)を掛ける必要があります。, どれも母分散に非常に近い値が得られており、\(n\)を無限にすると母分散に一致すると予想されます。したがって、\(s^2 \overset{p}{\rightarrow} \sigma^2\)、\(\hat{\sigma}^2 \overset{p}{\rightarrow} \sigma^2\)であり、どれも一致推定量であることが分かります。, それでは\(s^2\)と\(\hat{\sigma}^2\)の平均値(\(\simeq\)期待値)を計算してみましょう。, 標本分散の期待値は約8000で、母分散の\(\frac{n-1}{n}\)、つまり\(\frac{4}{5}\)となります。一方、不偏分散の場合期待値が母分散に非常に近いことが分かります。したがって、不偏分散は一致性と不偏性があり、標本分散は一致性のみあることが分かります。, 逆に不偏推定量でありながら一致推定量ではない推定量も存在します。たとえば、以下のような例を考えてみましょう。, 要するに、絶対値の最も高かった値を\(\theta\)の推定量(\(\hat{\theta}\))として用いることを意味します。この場合、\(\hat{\theta}\)は一致推定量でしょうか。\(n\)を1から1000まで増やしながら確認してみましょう。, このように\(n\)をいくら増やしても\(\hat{\theta}\)は母数である0へ収束しないことが分かります。つまり、この推定量は一致推定量ではありません。それでは、この推定量は不偏推定量でしょうか。ここでは話を単純にするために\(n = 3\)の例を考えてみましょう。不偏性はサンプルサイズ(\(n\))と無関係ですので、これでも問題ないでしょう。試行数は100万とします。, 非常に0に近い結果が得られており、これはほぼ\(\mu\)と同じ値となります。施行数が無限回になると、\(\mathbb{E}[\hat{\theta}]\)は\(\mu\)と一致していくだろうと考えられます。, 我々が教科書でよく見る推定量は一般的に一致性と不偏性を同時に満たす推定量が多いでしょう。しかし、例外も常に存在します。標本分散もその一つの例です。他にも、最尤推定法から得られた分散の推定量は一致推定量ではあるものの、不偏推定量ではないことが知られています。, © All rights reserved. \theta \leftarrow \theta - \epsilon S _ N (\theta, \mathbf X) $$, という式になっています。今、$\hat \theta$ は不偏推定量であったのでしたから、$\mathbb E [\hat \theta (\mathbf X)] = \theta$ となっています。従って上記の式は, $$ :�q��D�� ,z32?�����%�澱�5�Md�˟7��'�d����t�V����!��ǦN��[������ ޖ������v�����/��X�?�9XO�A@[�.4�����͘4�B6b�Y. 問題の分子に関して期待値の線形性を使うとひとまず、, $$ \mathbb E [S _ 1 (\theta, X _ i)] &= \int \left[ \frac{\frac{\mathrm d }{\mathrm d \theta} f(x \mid \theta)}{f(x \mid \theta)} \right] f(x \mid \theta) \mathrm d x \\ このページでは、最尤推定量について解説していきたいと思います。最尤推定量は点推定の一種で、重要な役割を果たしています。また、ベイズ推定との関係性においても議論されます(参考:『最尤推定とベイズ推定の違いを例題を用いて解説』)。 この記事では、母数を推定するのに使う推定量の性質「不偏性」と「一致性」について、説明しています。後半では推定をする際に、不偏分散を使わないといけない理由を証明しています! この記事を読む前に! 推定についての知識が怪しい方は、こちらの記事を先に読むことをお勧めします。 はじめに 記事リンク 4.4 最尤推定量の最適性 4.4.1 一致性 4.4.2 漸近有効性 おわりに はじめに 5月からちまちま書き続けているこのブログだが、完全にハマってしまってすっかり困っている。 ハマるという単語はかなり文脈依存の多義語なのだが、この場合は be addicted to の意味だ。 �� ���Q8�ڎj;�� 'W(�I�:�� ڋN��rl�-��,dd�@����j�iY�u�/[��% �6�&`�l;���qh��^q�8�[�;�Вƍڠt�BH�@�X��� `w�E��:����V3ֻ�s�y��Г~W;��X/�6�l;��q�:��w ��-l)��Ӳ�X6�>[�EQ/�!d���C6��b$�T��/A�0���Ș��)l��ŏ�IB��|LL|\*��l���GA�G������a�r �t:R|�Bt�@S�t���yfĭgFW����0�����Ch�`�s�%����R�1K�z�ii. ある推定量が一致性を持つかは、どのように判断すればよいでしょうか。 直観的には、分散が小さくなれば一致性を持ちそうに思えます。 正攻法で証明するならば、(1)式の通り が0になること、つまり が真の値から少しでも外れる確率が0になることを示す必要があります。 stream {\rm Cov}( \hat \theta ) \geq \{ I _ N (\theta) \} ^ {(-1)} を一致性 いっちせい, consistency といい、一致性をもつ推定量を一致推定量 いっちすいていりょう, consistent estimator という。 命題7.1.3.6 標本平均は母平均の一致推定量であり、標本分散は母分散の一致推定量である。 {\rm Var} _ \theta (\hat \theta) \geq \frac {(\mathbb E [(\hat \theta(\mathbf X) - \theta) S _ N(\theta, \mathbf X)] ) ^ 2}{ I _ N (\theta)} \log f _ N (\mathbf X \mid \theta) = \sum _ {i=1} ^ N \log f(X _ i \mid \theta) L (\theta \mid \mathbf X) = f _ N ( \mathbf X \mid \theta) = \prod _ {i=1} ^ N f (X _ i \mid \theta) \frac{\mathrm d}{\mathrm d \theta} \theta = 1 推定量には普遍性があるのか?その推定量は不偏推定量と言えるか?というような問題をしばしば見かけます。今回は、普遍性、そして不偏推定量とは何なのか、ということについて解説していきます。, 統計的推定には様々な手法がありますが、中でもよく用いられるのが、普遍性という基準に基づいた推定です。普遍性とは、推定量の期待値が母数と等しくなる性質であり、母数\(θ\)の推定量を\(\hat{θ}\)と表すと、, を満たすようなものです。また、この時の推定量\(\hat{θ}\)を不偏推定量と言います。これは点推定の一種です。, では例として、無作為標本\(x_1,x_2,…,x_n\)から推定できる、母集団の平均\(μ\)と分散\(σ^2\)の不偏推定量を考えてみます。, \(E(\bar{x}) = E(\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } x_i) = \frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } E(x_i) = \frac{1}{n}×nμ = μ\), より、\(E(\bar{x}) = μ\)となるので、母平均の不偏推定量\(\hat{μ}\)は標本平均の\(\bar{x}\)です。, \(V(\bar{x}) =\displaystyle(\frac{1}{n})^2 \sum_{ i = 1 }^{ n } V(x_i) = \frac{σ^2}{n}\), 平均の不偏推定量が標本平均だったので、分散の不偏推定量も標本平均から求めた分散\(s^2 = \frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2\)で表せそうですが、実際にはそうはなりません。, \(\begin{eqnarray*} E(s^2) &=& E[\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2] \\ &=&  \frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2) \\ &=&\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } [(x_i-μ)-(\bar{x} – μ)]^2)\\&=&\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-2\displaystyle \sum_{ i = 1 }^{ n }(x_i-μ)(\bar{x} – μ)+\displaystyle \sum_{ i = 1 }^{ n }(\bar{x} – μ)^2)\\&=&\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-2n(\bar{x} – μ)^2+n(\bar{x} – μ)^2)\\&=&\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-n(\bar{x} – μ)^2)\\ &=&\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n }E[(x_i-μ)^2]-E[(\bar{x} – μ)^2]\\ &=&\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n }V(x_i)-V(\bar{x}) \\ &=& σ^2 – \frac{σ^2}{n} \\&=& \frac{n-1}{n}σ^2\end{eqnarray*} \), つまり、\(E(s^2) ≠σ^2\)であるので、標本平均から求めた分散は、母分散\(σ^2\)の不偏推定量ではないということが分かります。, では、母分散の不偏推定量\(\hat{σ}^2\)とは、どうなるのでしょうか。それは以下の式になります。, $$\hat{σ}^2 = \frac{1}{n-1}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2 $$, そして、この式を満たす\(\hat{σ}^2\)を、標本不偏分散(または不偏分散)と言い、\(S^2\)で表します。母分散が未知の場合の解析に使われる母分散の推定値が、この標本不偏分散なので非常に重要な概念です。, 分散の不偏推定量(標本不偏分散)のところの計算過程、3行目から4行目で少し計算が飛んでいるところについて伺います。2乗を展開すると、(2乗-積+2乗)になると思うのですが、少し飛んで、(2乗-2乗)になっています。ここの計算過程を教えていただけませんか?, 3行目のあとにさらに詳しい式変形を追記したので、参考にしていただければと思います。, (totalcount 33,128 回, dailycount 1,164回 , overallcount 3,239,949 回), 【独占】コロナ禍で人材登録急増、アノテーション単月売上高は4倍超-パソナJOB HUB. この記事では、点推定と区間推定の基本的な考え方について、直感的に理解できるよう説明しています!統計学の知識を試すには、統計検定2級がおすすめ!統計検定2級は、データサイエンスや機械学習で必要な、基礎的な統計学の知識をカバーしています。ご購入はこち... $$標本平均 \overline{X}=\frac{X_1+…+X_n}{n}$$, \(n \rightarrow \infty\) のとき、\(標本平均=母平均\), $$標本分散 s^2=\frac{1}{n}\{(X_1-\overline{X})^2+..+(X_n-\overline{X})^2\}$$, \(n \rightarrow \infty\) のとき、\(標本分散=母分散\), $$不偏分散 u^2=\frac{1}{n-1}\{(X_1-\overline{X})^2+..+(X_n-\overline{X})^2\}$$, \(n \rightarrow \infty\) のとき、\(不偏分散=母分散\), RとPython勉強中、駆け出しエンジニア。確率統計を使ったマーケティング分野で独立して、自由な働き方を目指しています。経済学科1年/イギリス在住/統計検定2級/ブロガー. 仮に不偏推定量を選んだ場合、$\rm MSE$ の第二項であるバイアスの二乗は $0$ となるため、$\rm MSE = Var$ が成り立ちます。実はパラメータ $\theta$ に対する不偏推定量の作り方は複数ありえます。 <> 15 0 obj }\theta^x(1-\theta)^{n-x}]\), \(=log(n!)-log(x! $$, $$ ©Copyright2020 統計とか経済とか.All Rights Reserved.

$$, と下から押さえつけられます。この不等式をクラメル・ラオの不等式と呼び、下から抑えている $1 / I _ N (\theta)$ をクラメル・ラオの下限と言います。, さて、クラメル・ラオの下限は確率モデルはもちろんのことデータの数にも依存にしているようです。今、確率変数列 $\mathbf X= \{ X _ 1, \cdots, X _ N \}$ の各 $X _ i, X _ j \ \ (i \neq j)$ が独立同分布で $f(x \mid \theta)$ によってモデル化されるとします。簡単のため $\theta$ はスカラーとします。このときの尤度関数 $L (\theta \mid X)$ は全データの同時確率として, $$ $$, の第二項は $0$ となるので、第一項であるバリアンスだけが問題になってきます。不偏推定量での優劣はこのバリアンスの大きさを比較することで決着を付けることができそうです。, まず、個々の不偏推定量を比較しだすとキリがないので、不偏推定量というクラスがバリアンスをどこまで下げられるのかを先に知っておきたいところです。まさかバリアンスが $0$ になるような推定量があるとしたら、$\rm MSE$ は $0$ となり驚くべき精度の推定ができることになります。, 無論そんな都合の良い推定量は作ることができません。バイアスを $0$ としている不偏推定量たちには必ずバリアンスが一定以上残ってしまうのです。その答えを先に示すと、$\theta$ をパラメータに持つ確率分布とデータの個数 $N$ に依存する、とある量 $I _ N (\theta)$ があり、, $$ \begin{align} ⇨統計的推定とは?~点推定と区間推定の違い~, 最尤推定量の定義に入る前に、まずは具体例をまじえつつその考え方を理解していきましょう。, 最尤推定量とは、文字の如く、最も尤もらしい推定量のことです。このことから、なんとなく一番良い推定量だという気がしてきますよね?果たして本当にそうなのでしょうか。, ここで、「最も」は「一番」という意味ですが、では「尤もらしい」というのはどういう意味なのでしょうか?, コインが1枚ある。このコインはどうもイカサマコインらしく、表の出る確率が\(\frac{1}{2}\)ではないらしい。ここで表の出る確率を調べるために、このコインを10回投げたところ、8回表が出た。さて、このコインの表が出る確率はいくつだろうか?, もちろんコインの表が出る真の確率はわかりませんので(神様のみがわかる値です)、この値を推定しなければなりません。さて、あなたはこの真の確率をどのように推定するでしょうか?, 10回中8回表が出ているという結果から、なんとなく\(\frac{8}{10}=\frac{4}{5}\)と推定することが可能です。まさにこの値が最尤推定量になります。, しかし「なんとなく」では数学的、統計的にはよくありません。統計学的には、しっかりと\(\frac{4}{5}\)とした根拠を提示する必要があります。, 最尤推定量とは、手元のデータが、どの母パラメータに従う分布から得られる確率が最も高いかに基づいて考えられる推定量です。上の例の場合ですと、「10回中8回出た」というデータが、表が出る(真の)確率がいくつのときに最も得られる確率が高いか、ということです。, このままだと、まだわかりづらいと思うので、具体例として次のような計算をしていきます。表が出る確率を変えていきながら今回のように10回中8回表が出る確率を確率を考えてみましょう。, (ⅰ) コインの表が出る真の確率が\(\frac{1}{2}\)のとき、10回中8回表が出る確率, \({}_{10}C_8(\frac{1}{2})^8(\frac{1}{2})^2\approx 0.0439=4.39\%\), (ⅱ) コインの表が出る真の確率が\(\frac{2}{3}\)のとき、10回中8回表が出る確率, \({}_{10}C_8(\frac{2}{3})^8(\frac{1}{3})^2\approx 0.195=19.5\%\), (ⅲ) コインの表が出る真の確率が\(\frac{3}{4}\)のとき、10回中8回表が出る確率, \({}_{10}C_8(\frac{3}{4})^8(\frac{1}{4})^2\approx 0.282=28.2\%\), (ⅳ)コインの表が出る真の確率が\(\frac{4}{5}\)のとき、10回中8回表が出る確率, \({}_{10}C_8(\frac{4}{5})^8(\frac{1}{5})^2\approx 0.302=30.2\%\), (ⅴ) コインの表が出る真の確率が\(\frac{5}{6}\)のとき、10回中8回表が出る確率, \({}_{10}C_8(\frac{5}{6})^8(\frac{1}{6})^2\approx 0.291=29.1\%\), このように、母パラメータの取りうる範囲で全て計算を行ったとき、「10回中8回表が出る」というデータが得られる確率が最も高くなるのが\(\frac{4}{5}\)のときなのです。こういった意味で、「尤もらしい=いかにも道理にかなっている」推定である\(\frac{4}{5}\)が最尤推定量になります。, しかし、母パラメータの取りうる範囲で全て計算を行うのは事実上不可能ですね(おそらくほとんどの場合が実数値をとるので、数式の数が無限になる)。そこで最尤推定量を計算で導出していくことにしましょう。, (この考え方はベイズ統計の考え方と同じです。『ベイズ統計学の考え方~ベイズ論と頻度論の違い~』の記事では違ったアプローチでの解説を行っているのでぜひご覧ください。), パラメータ\(\theta\)に従う分布の密度関数を\(f(x;\theta)\)とする。尤度関数を\(L(\theta;x)=f(x;\theta)\)とすると、\(L(\theta;x)\)を最大にするような推定量\(\theta=\hat{\theta}\)を\(\theta\)の最尤推定量という。, 記事の冒頭で示した例題の数字の部分を文字式に置き換えて考えて見ましょう。これによって、二項分布の最尤推定量を一般化して導出できます。, コインが1枚ある。このコインの表の出る真の確率をp(未知)とする。このコインをn回投げたところ、x回表が出た。このとき、pの最尤推定量を求めよ。, \(f(x;\theta)={}_nC_x\theta^x(1-\theta)^{n-x}\), \(L(\theta;x)={}_nC_x\theta^x(1-\theta)^{n-x}\), となり、この\(L(\theta;x)\)が最大になるような\(\theta\)を考えます。通常最大値(極大値)を求めるときには微分します。しかし、この関数を微分するのは少々面倒なので、対数尤度関数, (これは、対数関数が\((0,\infty)\)の範囲で単調に増加するため、\(L(\theta;x)\)が最大になるような\(\theta\)と\(l(\theta)\)が最大になるような\(\theta\)が一致することを利用しています。また、尤度関数ではなく対数尤度関数を微分する理由は、logをとることで積の形から和の形にできるため、微分計算が楽になるからです。), \(l(\theta)=logL(\theta;x)=log[{}_nC_x\theta^x(1-\theta)^{n-x}]\), \(=log[\frac{n!}{x!(n-x)!



ニッポン放送 社員 年収 10, モンスターエナジー 寝 れる 15, ジュビロ 伊藤洋輝 眉毛 32, 東京マルイ エアコキ 南部 4, 湘南乃風 Single Best Zip 10, 頑張りすぎ ない タモリ 5, 藤井聡太 棋王戦 棋譜 13, バルキリー 強化フォーム ネタバレ 8, オメガルビー 攻略 おすすめ 7, ゼクシィ縁結び 業者 Line 11, ガンダムuc 主題歌 Into The Sky 19, Sp 革命編 最後の 爆発 13, Zoom アクティベート メール 16, 9tsu ダウンロード サイト 23, Vba 図形 コピー 別シート 4, 恐竜 レスキュー 隊 4, 西武 中継ぎ 2020 26, Apple Music, Line Music どっち 5, タバコ 通販 後払い 4, リバレイト D セイバー 累加 追撃 9, Apex 途中抜け 戦績 17, ジョンロブ ロンドン ビスポーク 価格 12, クレジットカード 更新拒否 強制解約 7, コンパス アダム セリフ 5, ガラ ディオン 湾 夜 9, カンタ 英語 炎上 16, 俺物語 映画 動画 Pandora 28, べらんめえ 口調 キャラ 22, 島とうがらし 持ち出し 禁止 10, クロノクロス 時を喰らう者 攻略 11, コクワガタ 寿命 ギネス 6, ハイキュー 月の輪 感想 11, 2020 お盆休み トヨタ 40, トム ジョーンズ シーザ レディー 4, ホットペッパービューティー 更新 時間 13, 重要参考人探偵 動画 3話 14, グレイズアナトミー シーズン15 動画 9, 星ドラ 教え 装備の仕方 7, テラスハウス 保田賢也 平澤遼子 11, オランウータン 森の賢者 由来 47,