📚 学習ノート中学・高校・大学の学習内容に沿った自学習サイト

ベータ二項モデル——事前・事後・予測分布を区別する

架空のコインの表確率を、ベータ分布と二項尤度で更新する。未知確率についての分布と将来の回数についての分布を分け、ベイズ信用区間と頻度論の信頼区間が答える問いの違いを学ぶ。

この単元の目標
  • ベータ事前分布と二項尤度から事後分布を導出できる
  • 事後平均を事前平均と標本比率の重み付き平均として説明できる
  • 事後予測分布を積分で求め、未知パラメータの不確実性を反映できる
  • 信用区間の事後確率と信頼区間の反復標本抽出による被覆率を区別できる
📑 目次
  1. 1．コインの確率と観測回数は別の量
  2. 2．ベータ分布を事前分布に選ぶ
  3. 3．掛け算と正規化で事後分布を得る
  4. 4．将来の結果を予測するときはθを積分する
  5. 5．信用区間と信頼区間——同じ95%でも主語が違う
  6. 6．手計算で確かめる
  7. 7．根拠と読み取れる範囲

1．コインの確率と観測回数は別の量

架空のコインAを10回投げ、表が7回、裏が3回だったとします。これは本記事のために作った数値であり、実測統計ではありません。表の確率θは未知ですが、全試行で同じ値と仮定します。θを与えた条件下で各試行は独立です。推測したいθは0から1の無次元量で、観測した表回数Xとは区別します。試行回数nは事前に固定し、記録漏れや表裏の誤分類はないモデルです。

X∣θ∼Bin⁡(n,θ),P(X=k∣θ)=(nk)θk(1−θ)n−k,k=0,…,nX\mid\theta\sim\operatorname{Bin}(n,\theta),\qquad P(X=k\mid\theta)=\binom nk\theta^k(1-\theta)^{n-k},\quad k=0,\ldots,n

同じ式でも、θを固定してkを動かせば確率質量関数、観測kを固定してθを動かせば尤度です。尤度はθについて積分して1になる必要はありません。データだけでθの確率密度が決まるわけではなく、ベイズ推測では観測前の不確実性を表す事前分布も指定します。

2．ベータ分布を事前分布に選ぶ

θ∼Beta⁡(α,β),π(θ)=θα−1(1−θ)β−1B(α,β),0<θ<1,α,β>0\theta\sim\operatorname{Beta}(\alpha,\beta),\qquad \pi(\theta)=\frac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha,\beta)},\quad 0<\theta<1,\quad\alpha,\beta>0
B(α,β)=∫01tα−1(1−t)β−1 dt,E[θ]=αα+β,Var⁡(θ)=αβ(α+β)2(α+β+1)B(\alpha,\beta)=\int_0^1t^{\alpha-1}(1-t)^{\beta-1}\,dt,\qquad E[\theta]=\frac{\alpha}{\alpha+\beta},\qquad \operatorname{Var}(\theta)=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}

ベータ分布は区間(0,1)上の連続分布です。Beta(1,1)はθ上で一様、Beta(2,2)は中央寄りで左右対称です。以後、主例では観測を見る前にBeta(2,2)を選んだとします。その平均は1/2、分散は1/20です。これは「公平だと確定している」という主張ではなく、極端な表確率より中央付近を重く見る仮定です。連続事前分布なので、θがちょうど1/2である一点の確率は0です。公平という点仮説に正の確率を与えたいなら別のモデルが必要です。

一様事前分布も唯一の「無情報」ではありません。例えばθを対数オッズへ変換すると密度は一様でなくなります。またα=β=0はここで定義した正規化可能なベータ分布ではありません。本記事の更新・予測式はα, βがともに正という条件で扱います。

3．掛け算と正規化で事後分布を得る

🔍 ベータ分布の形が更新後も保たれる理由（共役性）

  1. ベイズの公式を密度で書く
    π(θ∣k)=P(X=k∣θ)π(θ)∫01P(X=k∣t)π(t) dt\pi(\theta\mid k)=\frac{P(X=k\mid\theta)\pi(\theta)}{\int_0^1 P(X=k\mid t)\pi(t)\,dt}

    nは既知として記号から省略。分母はθによらない正規化定数です。

  2. θに依存する因子の指数を足す
    π(θ∣k)∝θα+k−1(1−θ)β+n−k−1\pi(\theta\mid k)\propto\theta^{\alpha+k-1}(1-\theta)^{\beta+n-k-1}

    二項係数は観測後のθについて定数なので、比例式では省略できます。

  3. ベータ密度として正規化する
    θ∣k∼Beta⁡(α+k,β+n−k)\theta\mid k\sim\operatorname{Beta}(\alpha+k,\beta+n-k)

    表回数を第1パラメータへ、裏回数を第2パラメータへ加えます。

例題1：10回中7回の表で更新する

コインAについてBeta(2,2)を事前分布とし、表7回・裏3回を観測した。事後分布・事後平均・事後分散を求め、標本比率と比べよう。

解答・解説

事後分布はBeta(9,5)。事後平均は 9/14≈0.64299/14\approx0.6429、事後分散は 9⋅5/(142⋅15)=3/196≈0.015319\cdot5/(14^2\cdot15)=3/196\approx0.01531。標本比率7/10より事前平均1/2寄りになる。分散の平方根は約0.1237であり、平均だけで未知確率の不確実性を表し切ることはできない。

E[θ∣k]=α+kα+β+n=α+βα+β+nαα+β+nα+β+nkn(n>0)E[\theta\mid k]=\frac{\alpha+k}{\alpha+\beta+n}=\frac{\alpha+\beta}{\alpha+\beta+n}\frac{\alpha}{\alpha+\beta}+\frac{n}{\alpha+\beta+n}\frac{k}{n}\quad(n>0)

α+βはこの重み付き平均で「事前の強さ」に相当します。主例なら事前平均の重みは4/14、標本比率の重みは10/14です。ただし、αとβを現実に観測した回数だと断定してはいけません。密度の指数はα−1とβ−1であり、どの量を擬似回数と呼ぶかには慣習もあります。事前分布を固定してnを増やすと、平均に対する事前の重みは小さくなります。

例題2：事前分布への感度を調べる

同じ表7回・裏3回を、事前Beta(1,1)と事前Beta(20,20)でも解析する。事後平均を比較せよ。

解答・解説

Beta(1,1)からはBeta(8,4)となり平均8/12＝約0.6667。Beta(20,20)からはBeta(27,23)となり平均27/50＝0.54。主例の約0.6429を間に挟む。同じ平均1/2の事前でも集中の強さが違うと、小標本の結論は変わる。結果を見て都合のよい事前だけを採用せず、選択理由と感度を報告する。

4．将来の結果を予測するときはθを積分する

将来m回の表回数をYとします。同じθの下で将来試行も条件付き独立で、過去から表確率が変わらないと仮定します。事後分布は未知のθについての連続分布ですが、事後予測分布はY＝0,1,…,mについての離散分布です。a＝α+k、b＝β+n−kと置くと、次の積分はベータ二項分布になります。

P(Y=j∣k)=∫01(mj)θj(1−θ)m−jθa−1(1−θ)b−1B(a,b) dθ=(mj)B(a+j,b+m−j)B(a,b),j=0,…,mP(Y=j\mid k)=\int_0^1\binom mj\theta^j(1-\theta)^{m-j}\frac{\theta^{a-1}(1-\theta)^{b-1}}{B(a,b)}\,d\theta=\binom mj\frac{B(a+j,b+m-j)}{B(a,b)},\quad j=0,\ldots,m
E[Y∣k]=maa+b,Var⁡(Y∣k)=mab(a+b+m)(a+b)2(a+b+1)E[Y\mid k]=\frac{ma}{a+b},\qquad \operatorname{Var}(Y\mid k)=\frac{mab(a+b+m)}{(a+b)^2(a+b+1)}

Yは回数なので、期待値の単位は回、分散の単位は回²です。θを事後平均a/(a+b)に固定した二項分布と比べると、予測分散は(a+b+m)/(a+b+1)倍です。m>1では1より大きくなり、θ自体が未知という不確実性が加わります。m=1ではこの比は1で、次の1回の表確率は事後平均そのものになります。観測前に事前分布を積分して作る「事前予測分布」も同じ式でa=α、b=βとしたものです。

例題3：次の2回が両方表になる確率

主例の事後Beta(9,5)から、次の2回が両方表になる確率と、2回の表回数の分散を求めよ。事後平均を代入した二項分布と比較しよう。

解答・解説

両方表の確率は E[θ2∣k]=9⋅10/(14⋅15)=3/7≈0.4286E[\theta^2\mid k]=9\cdot10/(14\cdot15)=3/7\approx0.4286。平均代入では (9/14)2=81/196≈0.4133(9/14)^2=81/196\approx0.4133 なので一致しない。差は事後分散 3/1963/196 である。表回数の予測分散は 2⋅9⋅5⋅16/(142⋅15)=24/49≈0.48982\cdot9\cdot5\cdot16/(14^2\cdot15)=24/49\approx0.4898、平均代入の分散は 2(9/14)(5/14)=45/98≈0.45922(9/14)(5/14)=45/98\approx0.4592。将来の2試行はθが既知なら独立だが、未知の共通θを積分した後には独立でない。

5．信用区間と信頼区間——同じ95%でも主語が違う

ベイズの95%信用区間（credible interval）は、観測後のθの確率が95%入る区間です。両側に2.5%ずつを残す等裾区間なら、事後累積分布の0.025分位点と0.975分位点を端点にします。主例のBeta(9,5)では約[0.3857, 0.8614]です。これはベータ分布の分位点を数値計算した値で、正規近似の平均±1.96標準偏差を用いた値ではありません。端点を丸めているため、表示区間の確率は厳密には95%からわずかにずれます。

∫LUπ(θ∣k) dθ=0.95（信用区間）,Pθ{θ∈C(X)}≥0.95（被覆率を保証する信頼区間手続き）\int_L^U\pi(\theta\mid k)\,d\theta=0.95\quad\text{（信用区間）},\qquad P_\theta\{\theta\in C(X)\}\ge0.95\quad\text{（被覆率を保証する信頼区間手続き）}

頻度論ではθを固定した未知定数とし、標本Xと、そこから作る区間C(X)が反復ごとに変わると考えます。上の被覆率条件は、各θについて、同じ標本抽出と区間作成を反復すると95%以上の区間がθを含むという意味です。観測して固定された区間に対して「θが95%の確率で入る」とは、頻度論の被覆率だけからは言えません。二項分布は離散的なので、厳密な手続きでは被覆率が95%より大きくなることもあります。近似信頼区間はこの不等式を厳密に保証しません。

区別ベイズ信用区間頻度論の信頼区間
95%の対象観測後のθの事後確率固定θの下で区間手続きがθを覆う割合
入力尤度と事前分布標本抽出モデルと区間作成手続き
留意点事前・モデルに条件付けた結論近似手続きでは名目被覆率と実際がずれうる
例題4：安易な正規近似と区間の解釈

表7回／10回に、Wald型の近似95%信頼区間 p^±1.96p^(1−p^)/n\hat p\pm1.96\sqrt{\hat p(1-\hat p)/n} を適用するとどうなるか。主例の信用区間との違いを説明せよ。

解答・解説

p^=0.7\hat p=0.7、標準誤差は 0.021≈0.1449\sqrt{0.021}\approx0.1449 なので、区間は約[0.4160, 0.9840]。これは正規近似による計算結果であり、n=10、特に裏3回という小標本では被覆率が悪くなりうるので推奨値として示したものではない。主例の信用区間との差は、事前分布の有無だけでなく作成方法の違いも含む。幅の大小だけで一方が正しいとは判定できない。頻度論でもWilson区間やClopper–Pearson区間など別の手続きがある。

事後分布が集中しても、試行間の依存・時間によるθの変化・記録の偏りを自動的に解決するわけではありません。また95%信用区間がすべての固定θで95%の頻度論的被覆率を持つとは限りません。何に条件付けた確率かを明示して使い分けます。

6．手計算で確かめる

練習問題

  1. 架空コインBの事前をBeta(3,3)とする。20回中12回が表のとき、事後分布と次の1回の表確率を求めよ。

    解答・解説

    裏は8回なのでBeta(15,11)。次の1回の表確率は事後平均15/26＝約0.5769。標本比率0.6をそのまま使うのではなく、θを事後分布で平均する。

  2. コインAの主例で得たBeta(9,5)の後、さらに5回中2回の表を観測した。逐次更新と全データの一括更新が一致することを確かめよ。

    解答・解説

    逐次更新はBeta(9+2,5+3)＝Beta(11,8)。一括なら計15回中表9回・裏6回なのでBeta(2+9,2+6)＝Beta(11,8)。同一θで条件付き独立というモデルでは尤度が掛け合わされ、順序によらず一致する。

  3. 事前Beta(1,1)で5回すべて裏だった。次の表確率は0か。最尤推定値と比べよ。

    解答・解説

    事後はBeta(1,6)なので次の表確率は1/7＝約0.1429であり、0ではない。二項モデルの最尤推定値は0/5＝0だが、ベイズ予測は0以外のθの可能性も積分する。表を見なかったことと、表が絶対に出ないことは同じではない。

  4. 「95%信頼区間を1つ得たので、その中に固定されたθが入る確率は95%だ」という説明を、頻度論の立場で修正せよ。

    解答・解説

    同じ抽出と区間作成を繰り返すと、得られる区間の95%程度が固定θを含む、という手続きの性質を述べる。観測済みの特定区間についてθの事後確率を述べるには、事前分布を含む別の枠組みが必要。厳密か近似かによって被覆率の保証も区別する。

確認クイズ

問1. Beta(2,5)を事前分布とし、8回中3回の表を観測した。事後分布は？

問2. 事後がBeta(a,b)のとき、次の1回が表になる確率は？（a,b>0）

問3. 事後Beta(9,5)から次の2回を予測する。正しい説明は？

問4. 等裾95%信用区間の意味として正しいものは？

7．根拠と読み取れる範囲

理論の参考文献：Gelman, Carlin, Stern, Dunson, Vehtari, Rubin『Bayesian Data Analysis』第3版（2013年）の単一パラメータモデル、事後予測、区間推定の説明。頻度論の区間推定の参考：Casella, Berger『Statistical Inference』第2版（2002年）。本記事はこれらの標準的枠組みを使い、ベータ関数の積分から更新・予測式を導出しています。文献の対象時点は各刊行年であり、最新の実測統計や制度を報告する記事ではありません。全コイン記録と事前設定は教材用の架空例です。小数は表示桁に丸めた値で、実在コインの公平性や任意のデータへの適合を保証しません。

📝 メモこの端末のみに保存
メモ欄はページ読み込み後に使えるようになります。