ㄍ๏ สารบัญ ๏ㄟ
๛ การแจกแจงแกมมา
๛ การแจกแจงความน่าจะเป็นของพารามิเตอร์ความเที่ยงตรงในการแจกแจงแบบปกติ
๛ การแจกแจงความน่าจะเป็นของพารามิเตอร์ของการแจกแจงแบบเลขชี้กำลัง
๛ การแจกแจงความน่าจะเป็นของพารามิเตอร์ของการแจกแจงปัวซง
ต่อจาก
บทที่ ๑๕
ในบทนี้จะเป็นเรื่องของการแจกแจงแกมมา ซึ่งใช้เป็นการแจกแจงความน่าจะเป็นของค่าพารามิเตอร์ของการแจกแจงอื่นๆหลายชนิด
การแจกแจงแกมมา介
การแจกแจงแกมมา (γ分布, gamma distribution) เป็นการแจกแจงที่อาจใช้เป็นความน่าจะเป็นก่อนหน้าสังยุคของการแจกแจงแบบปกติ, การแจกแจงปัวซง และ การแจกแจงแบบเลขชี้กำลัง
ก่อนอื่นขอเริ่มจากแนะนำรูปทั่วไปของการแจกแจงแกมมา
ฟังก์ชันการแจกแจงความหนาแน่นความน่าจะเป็นของการแจกแจงแกมมาเป็นดังนี้
f(x)=βνΓ(ν)xν−1exp(−βx)
พารามิเตอร์มีอยู่ 2 ตัวคือ ν กับ β ซึ่งค่าอาจเป็นจำนวนจริงบวกใดๆ
ในบางครั้งอาจเขียนในรูปแบบนี้แทน
f(x)=1Γ(ν)θνxν−1exp(−x/θ)
โดย θ=1/β เป็นส่วนกลับของ β
จะเขียนแบบไหนแล้วแต่ว่าจะใช้ในสมการไหน สำหรับกรณีที่กำลังจะใช้ต่อไปนี้จะเขียนในรูป β เนื่องจากสะดวกในการคำนวณมากกว่า
นอกจากนี้อักษรที่ใช้เป็นตัวแปรก็ต่างกันไปมากขึ้นอยู่กับว่าตำราไหน ที่จริงตัวแปรที่เขียนเป็น ν ในที่นี้มักถูกเขียนด้วย α หรือ λ มากกว่า แต่ทั้งสองตัวนี้ถูกใช้เป็นตัวแปรอย่างอื่นไปแล้วจึงขอใช้ ν (นิว)
ส่วน Γ คือฟังก์ชันแกมมา ซึ่งในกรณีทั่วไปคำนวณได้จาก
Γ(ν)=∫∞0tν−1exp(t)
ถ้า ν มีค่าเป็นจำนวนเต็ม ก็จะเท่ากับแฟกทอเรียลลบหนึ่ง ซึ่งสามารถคำนวณได้ง่ายเป็น
Γ(ν)=(ν−1)!
หรือกรณีที่เป็นจำนวนเต็มบวกด้วย 1/2 จะคำนวณได้เป็น
Γ(12+ν)=(2ν−1)!!2n√π
กรณีที่ใช้กับพารามิเตอร์ของการแจกแจงแบบเลขชี้กำลังหรือการแจกแจงปัวซง ปกติแล้ว ν มักจะเป็นจำนวนเต็ม และเมื่อใช้กับการแจกแจงแบบปกติมักเป็นจำนวนเต็มหรือมีเศษ 1/2
กราฟแสดงตัวอย่างค่าความหนาแน่นของความน่าจะเป็นของการแจกแจงแกมมาในกรณีต่างๆ
ค่าคาดหมายของการแจกแจงแกมมาจะอยู่ที่
E(x)=νβ
ค่าสูงสุดของการแจกแจงแกมมาจะอยู่ที่
x=ν−1β
เพียงแต่ถ้า ν<1 จะไม่มีจุดสูงสุด
ความแปรปรวนเท่ากับ
σ2(x)=νβ2
ในที่นี้จะใช้
Gã แทนการแจกแจงแกมมาโดยเขียนแบบนี้
Gã(x|ν,β)=βνΓ(ν)xν−1exp(−βx)
การแจกแจงความน่าจะเป็นของพารามิเตอร์ความเที่ยงตรงในการแจกแจงแบบปกติ介
ต่อไปเริ่มยกตัวอย่างการใช้การแจกแจงแกมมา โดยเริ่มจากใช้เป็นความน่าจะเป็นก่อนหน้าสังยุคของการแจกแจงแบบปกติ
รูปทั่วไปของการแจกแจงแบบปกติคือ
P(x|σ)=N(x|μ,σ2)=1√2πσ2exp(−(x−μ)22σ2)
ใน
บทที่ ๑๕ ได้เขียนถึงการแจกแจงพารามิเตอร์ μ โดยถือว่า σ เป็นค่าที่รู้อยู่แน่นอนแล้ว ส่วนในบทนี้จะทำในกรณีตรงกันข้ามกัน คือมีค่า μ อยู่ตายตัวแล้วต้องการหา σ
เพียงแต่เพื่อความสะดวก แทนที่จะพิจารณาการแจกแจงของส่วนเบี่ยงเบนมาตรฐาน σ หรือความแปรปรวน σ
2 โดยทั่วไปมักจะคำนวณในรูปของส่วนกลับของความแปรปรวน เรียกว่า
พารามิเตอร์ความเที่ยงตรง (精度参数, precision parameter)
α=1σ2
ที่จริงถ้าจะหาการแจกแจงในรูปของความแปรปรวน σ
2 ก็ทำได้ แต่จะกลายเป็น
การแจกแจงแกมมาผกผัน (逆γ分布, inverse gamma distribution) ซึ่งก็คล้ายการแจกแจงแกมมาแต่ไม่นิยมใช้มากเท่า ในที่นี้ก็จะใช้ α เพื่อจะได้เป็นการแจกแจงแกมมาธรรมดา
เมื่อแทนด้วย α การแจกแจงแบบปกติจะเขียนใหม่ได้เป็นดังนี้
P(x|α)=N(x|μ,α−1)=α√2πexp(−α(x−μ)22)
ปกติเมื่อเขียนแทนด้วย
N ค่าตัวขวาสุดจะเขียนเป็นความแปรปรวน σ
2 ในที่นี้แม้จะเขียนในรูปของ α ก็ให้เขียนเป็นส่วนกลับ α
-1 ซึ่งเท่ากับ σ
2
ในที่นี้จะพิจารณาค่าพารามิเตอร์ α โดยใช้ทฤษฎีบทของเบส์ เช่นเดียวกับที่ทำกับ μ ในบทที่แล้ว แต่ครั้งนี้ตัวแปรที่พิจารณาคือ α
เมื่อมีข้อมูล x
1 ที่เกิดจากการสุ่มโดยมีการแจกแจงความน่าจะเป็นแบบปกติ สามารถหา α ตามทฤษฎีบทของเบส์ได้โดย
P(α|x1)=P(x1|α)P(α)P(x)1=CP(x1|α)P(α)
ความน่าจะเป็นก่อนหน้าเมื่อไม่มีข้อมูลอะไรอาจให้เป็นค่าคงตัวไป ซึ่งการแจกแจงแบบค่าคงตัวก็ถือเป็นฟังก์ชันแกมมารูปแบบหนึ่ง คือในกรณีที่ ν=1 และ β เป็นค่าเล็กๆเข้าใกล้ 0
P(α)=Gã(α|ν=1,β→0)=C
ส่วนฟังก์ชันควรจะเป็นคือ
P(x1|μ)=N(x1|μ,σ2)=1√2πσ2exp(−(x1−μ)22σ2)
เมื่อแทนลงไปแล้วก็จะคำนวณการแจกแจงความน่าจะเป็นภายหลังได้เป็น
P(α|x1)=CP(x1|α)P(α)=Cα1/2√2πexp(−α(x1−μ)22)
เมื่อพิจารณาค่า α จะพบว่า α สามารถเขียนในรูปการแจกแจงแกมมาเป็น
Gã(α|ν,β)=βνΓ(ν)αν−1exp(−βα)=Cαν−1exp(−βα)
ก็จะได้ว่า
P(α|x1)=Cα1/2exp(−α(x1−μ)22)=Gã(α|32,12(x1−μ)2)
และถ้าหากมีข้อมูล x
2 ที่เป็นผลจากการแจกเดิมเพิ่มเข้ามาอีกก็จะได้ว่า
P(α|x1,x2)=CP(x2|α)P(α|x1)=Cα1/2exp(−α(x1−μ)22)α1/2exp(−α(x2−μ)22)=Cαexp(−α(x1−μ)2+(x2−μ)22)=Gã(α|2,12((x1−μ)2+(x2−μ)2))
และเมื่อมีข้อมูลเข้ามาทั้งหมด n ตัวก็จะได้ว่า
P(α|x1,x2,⋯,xn)=Cαn/2exp(−α2n∑i=1(xi−μ)2)=Gã(α|n2+1,12n∑i=1(xi−μ)2)
จะเห็นว่าเมื่อมีข้อมูลใส่เข้ามา ค่า α จะบวกเพิ่มไปตัวละ 1/2 ส่วน β จะเป็นครึ่งหนึ่งของผลรวมของระยะห่างกำลังสองจาก μ
ในกรณีที่ความน่าจะเป็นตั้งต้นมีค่าอยู่แล้วเป็นฟังก์ชันแกมมาที่มีพารามิเตอร์เริ่มต้นเป็น ν=ν
0, β=β
0
P(α)=Gã(α|ν0,β0)=βν00Γ(ν0)αν0−1exp(−β0α)
การแจกแจงความน่าจะเป็นภายหลังก็จะได้เป็น
P(α|x1,x2,⋯,xn)=Gã(α|n2+ν0,12n∑i=1(xi−μ)2+β0)
ต่อไปเป็นโค้ดตัวอย่าง โดยจะสร้างข้อมูลที่สุ่มโดยแจกแจงแบบปกติ โดยที่รู้ค่า μ จริงอยู่แล้วแต่ไม่รู้ σ แล้วพยายามหาค่า σ จากการแจกแจงนี้ ดูลักษณะการแจกแจงและจุดสูงสุดที่ได้เมื่อเพิ่มข้อมูลเข้ามาเรื่อยๆ
ผลที่ได้
n=0, ν=1.00, β=0.01, α_max=0.00
n=1, ν=1.50, β=0.55, α_max=0.91
n=2, ν=2.00, β=0.55, α_max=1.80
n=3, ν=2.50, β=0.56, α_max=2.70
n=4, ν=3.00, β=1.32, α_max=1.51
n=5, ν=3.50, β=1.36, α_max=1.84
n=6, ν=4.00, β=1.45, α_max=2.06
n=7, ν=4.50, β=9.46, α_max=0.37
n=8, ν=5.00, β=11.80, α_max=0.34
n=9, ν=5.50, β=12.79, α_max=0.35
n=10, ν=6.00, β=13.37, α_max=0.37
n=11, ν=6.50, β=17.01, α_max=0.32
n=12, ν=7.00, β=17.28, α_max=0.35
n=13, ν=7.50, β=17.91, α_max=0.36
n=14, ν=8.00, β=17.93, α_max=0.39
n=15, ν=8.50, β=18.33, α_max=0.41
n=16, ν=9.00, β=24.77, α_max=0.32
n=17, ν=9.50, β=25.38, α_max=0.33
n=18, ν=10.00, β=25.44, α_max=0.35
n=19, ν=10.50, β=35.43, α_max=0.27
n=20, ν=11.00, β=39.57, α_max=0.25
เมื่อนำมาแสดงเป็นภาพเคลื่อนไหวจะได้แบบนี้
ภาพด้านบนแสดงการแจกแจงของ α จะเห็นว่ายิ่งเพิ่มข้อมูล ตำแหน่ง α ที่ค่าสูงสุดก็ยิ่งลู่เข้าตำแหน่งเส้นประสีชมพู คือ α=0.25 ซึ่งเป็นค่าจริง และกราฟการแจกแจงก็ค่อยๆบีบแคบลงมา
ส่วนภาพด้านล่างแสดงจุดตำแหน่งของข้อมูลที่สุ่มได้ และเส้นกราฟแสดงการแจกแจงของค่า x โดยเส้นประสีฟ้าคือค่าจริง ส่วนเส้นเขียนคือค่าที่ใช้ α สูงสุดจากการแจกแจงในแต่ละรอบซึ่งเปลี่ยนไปเรื่อยๆเมื่อได้ข้อมูลเข้ามา ยิ่งผ่านไปกราฟทั้งสองก็ยิ่งใกล้เคียงกัน นั่นคือเราสามารถหาค่า α ได้ใกล้เคียงค่าจริง
สำหรับการแจกแจงแบบปกติหลายตัวแปรจะทำคล้ายกันแต่จะใช้การแจกแจงวิชาร์ตเป็นความน่าจะเป็นก่อนหน้าสังยคแทน ซึ่งเขียนถึงใน
บทที่ ๑๗
การแจกแจงความน่าจะเป็นของพารามิเตอร์ของการแจกแจงแบบเลขชี้กำลัง介
ต่อไปมาดูกรณีของการแจกแจงแบบเลขชี้กำลัง ซึ่งใช้การแจกแจงแกมมาเป็นความน่าจะเป็นก่อนหน้าสังยุคเช่นกัน
ในที่นี้ขอเขียนแทนการแจกแจงแบบเลขชี้กำลังด้วย
Ex̉ แบบนี้
Ex̉(x|λ)=λexp(−λx)
ค่าพารามิเตอร์ที่พิจารณาคราวนี้คือ λ
เนื่องจากขั้นตอนต่างๆก็จะคล้ายกับที่ทำไปในกรณีการแจกแจงแบบปกติ ต่อไปนี้จะอธิบายแค่คร่าวๆอย่างรวบรัด
รายละเอียดเกี่ยวกับการแจกแจงแบบเลขชี้กำลังอ่านได้ใน
บทที่ ๑๐
เมื่อมีค่า x
1 ซึ่งได้จากการสุ่มด้วยการแจกแจงแบบเลขชี้กำลัง ฟังก์ชันควรจะเป็นคือ
P(x1|λ)=Ex̉(x1|λ)=λexp(−λx1)
ให้การแจกแจงความน่าจะเป็นก่อนหน้าเป็นค่าคงตัว
P(λ)=C
แล้วก็จะคำนวณความน่าจะเป็นภายหลังได้ในรูปของการแจกแจงแกมมาตามนี้
P(λ|x1)=P(x1|λ)P(λ)P(x1)=CP(x1|λ)P(λ)=Cλexp(−λx1)=Gã(λ|2,x1)
และถ้ามีข้อมูลจากการสุ่มอยู่ n ตัว ก็จะได้ผลตามนี้
P(λ|x1,x2,⋯,xn)=Gã(λ|1+n,n∑i=1xi)
โดย ν จะเพิ่มขึ้นทีละ 1 ตามจำนวนข้อมูล และ β จะเป็นผลรวมของค่า
หากเตรียมความน่าจะเป็นก่อนหน้าเป็นฟังก์ชันแกมมาซึ่งมีค่าเริ่มต้น νเป็นν
0 และ β เป็น
0
P(λ)=Gã(λ|ν0,β0)=βν00Γ(ν0)λν0−1exp(−β0α)
ก็จะได้การแจกแจงความน่าจะเป็นภายหลังของ λ เป็น
P(λ|x1,x2,⋯,xn)=Gã(λ|ν0+n,β0+n∑i=1xi)
ตัวอย่าง ลองทำการสุ่มจริงแล้วหาการแจกแจงความน่าจะเป็นของพารามิเตอร์ λ จากข้อมูลที่ได้ซึ่งเพิ่มขึ้นเรื่อยๆในแต่ละขั้น
ผลที่ได้
ทำเป็นภาพเคลื่อนไหวได้แบบนี้
เส้นสีฟ้าคือจุดสูงสุดที่หาได้ขณะนั้น ส่วนเส้นประสีเขียวคือที่ λ=20 ซึ่งเป็นค่าจริง
ยิ่งใช้ผลการสุ่มหลายค่ามาก การแจกแจงก็ยิ่งบีบแคลลงโดยไปกองรวมที่ λ=20
การแจกแจงความน่าจะเป็นของพารามิเตอร์ของการแจกแจงปัวซง介
สุดท้ายมาดูกรณีของการแจกแจงปัวซง ซึ่งใช้การแจกแจงแกมมาเป็นความน่าจะเป็นก่อนหน้าสังยุคเช่นกัน
รายละเอียดเกี่ยวกับการแจกแจงปัวซงอ่านได้ใน
บทที่ ๗
ในที่นี้จะเขียนแทนการแจกแจงปัวซงด้วย
Pő ดังนี้
Pő(k|λ)=λkexp(−λ)λ!
พารามิเตอร์ของการแจกแจงปัวซงก็คือค่า λ
ให้ข้อมูล k
1 ซึ่งมีการแจกแจงแบบปัวซง ฟังก์ชันควรจะเป็นคือ
P(k1|λ)=Pő(k1|λ)=λκ1exp(−λ)k1!
เมื่อให้การแจกแจงความน่าจะเป็นก่อนหน้าเป็นค่าคงตัว
P(λ)=C
ก็จะได้การแจกแจงภายหลังดังนี้
P(λ|k1)=P(k1|λ)P(λ)P(k1)=CP(k1|λ)P(λ)=Cλkexp(−λ)k1!=Gã(λ|1+k1,1)
เมื่อมีข้อมูล n ตัวก็จะได้เป็น
P(λ|k1,k2,⋯,kn)=Gã(λ|1+n∑i=1ki,n)
จะเห็นว่าตรงกันข้ามกับกรณีของการแจกแจงแบบเลขชี้กำลัง โดย ν จะเพิ่มขึ้นตามผลรวมของค่าของข้อมูล ส่วน β จะเพิ่มตามจำนวนข้อมูล
กรณีที่ให้ความน่าจะเป็นก่อนหน้าเป็นฟังก์ชันแกมมาที่มีพารามิเตอร์เริ่มต้นเป็น ν
0 และ β
0
P(λ)=Gã(λ|ν0,β0)=βν00Γ(ν0)λν0−1exp(−β0λ)
ก็จะได้การแจกแจงความน่าจะเป็นภายหลังดังนี้
P(λ|k1,k2,⋯,kn)=Gã(λ|ν0+n∑i=1ki,β0+n)
ตัวอย่าง ทำการสุ่มข้อมูลให้มีการแจกแจงแบบปัวซง ค่อยๆเพิ่มข้อมูลเข้ามาทีละนิดแล้วดูความเปลี่ยนแปลงของการแจกแจงความน่าจะเป็นของค่า λ ที่ทำนายได้
ผลที่ได้
นำมาวาดเป็นภาพเคลื่อนไหวแสดงแต่ละขั้นตอนได้ดังนี้
ในที่นี้ภาพด้านบนคือการแจกแจงของค่า λ ส่วนภาพด้านล่างคือจำนวนรวมของค่า k แต่ละค่า ซึ่งรวมกันทั้งหมดเท่ากับ n แต่ละขั้นให้เพิ่ม n ทีละ 30
เมื่อข้อมูลเพิ่มมากขึ้นก็จะหาจุดสูงสุดได้ใกล้เคียงค่าจริงคือที่ λ=4 และการแจกแจงก็จะบีบแคบลง
บทถัดไป >>
บทที่ ๑๗