İstatistik – Sosyal Bilimlerde İstatistik (46) – Biçimsel Karşılaştırma ve Birleştirme Modelleri – İstatistik Nedir? – İstatistik Fiyatları – Ücretli İstatistik Yaptırma

On yılı aşkın süredir ödev yapma desteği veren Ödevcim Akademik, size İstatistiğin her alanında yardımcı olacaktır. Sosyal Bilimlerde İstatistik, İstatistik Nedir, İstatistik Fiyatları, Ücretli İstatistik Yaptırma, Analiz Yaptırma, Veri Analizi Yaptırma aramalarında sizde Ödevcim Akademik destek olsun istiyorsanız yapmanız gerekenler çok basit. Öncelikle İstatistik ile ilgili belgelerinizi akademikodevcim@gmail.com sayfamızdan gönderebilir ödevleriniz, tezleriniz, makaleleriniz ve projeleriniz ile ilgili destek alabilirsiniz.

Model Parametreleri İçin Arka Dağılımdan Örnekleme

MH Algoritmasıyla Örnekleme

OLS regresyon modeli için bir MH algoritması oluşturmak için çeşitli seçenekler mevcuttur. Burada, her parametrenin sırayla güncellendiği rastgele bir metropol algoritması geliştiriyorum. Bir MH algoritmasının inşası, yalnızca normalize edilmemiş arka yoğunluk fonksiyonunu hesaplayabilmemizi gerektirir; herhangi bir koşullu dağılım elde etmemize gerek yoktur. Bu durumda normalize edilmemiş arka yoğunluğun hesaplanması basittir ve bu nedenle doğrudan R algoritmasına geçiyorum:

Doğrusal regresyonda parametrelerin MH örneklemesi için #R programı # yineleme sayısı
m = 200000
# verilerde okuyun, x ve y matrislerini oluşturun x = as.matrix (read.table (“c: \\ ols_examp.dat”) [1: 2313,2: 10]) y = as.matrix (read.table ( “c: \\ ols_examp.dat”) [1: 2313,11])
# parametre vektörlerini, teklif ölçeklerini ve kabul oranlarını oluşturun s2 = matris (1, m); b = matris (0, m, 9) bscale = sqrt (diag (vcov (lm (y ~ x-1)))) *. 5 s2scale = sqrt (var (artıklar (lm (y ~ x-1)) * (2313-1) / (2313-9))) *. 5 accrate = matris (0, m, 9); s2accrate = matris (0, m)
# normalize edilmemiş arka dağılım fonksiyonu sonrası <-fonksiyon (x, y, b, s2)
{dönüş ((- 1157,5 * log (s2) + (-. 5 / s2) * (t (y- x% *% b)% *% (y- x% *% b)))}
#Begin MH Örneklemesi
for (i in 2: m) {
# geçici olarak b b [i,] = b [i-1,] ‘yeni’ değerlerini ayarlayın
#update regresyon parametreleri
için (1: 9’da j) {
# aday oluşturun ve kabul edileceğini varsayın … b [i, j] = b [i-1, j] + rnorm (1, ortalama = 0, sd = bscale [j]); acc = 1 # … red için değerlendirilene kadar if ((post (x, y, b [i,], s2 [i-1]) – post (x, y, b [i-1,], s2 [i-1]))
<log (runif (1, min = 0, maks = 1))) {b [i, j] = b [i-1, j]; acc = 0}
accrate [i, j] = (accrate [i-1, j] * (i-1) + acc) / i}
#update s2. aday oluştur ve kabul edildiğini varsay
s2 [i] = s2 [i-1] + rnorm (1, ortalama = 0, sd = s2 ölçeği); acc = 1 # … red için değerlendirilene kadar if (s2 [i] <0 ||
(post (x, y, b [i,], s2 [i]) – post (x, y, b [i,], s2 [i-1])) <log (runif (1, min = 0, max = 1)))
{s2 [i] = s2 [i-1]; acc = 0} s2accrate [i] = (s2accrate [i-1] * (i-1) + acc) / i
# dosyaya çıktı yaz ve ekrana yaz (c (b [i,], s2 [i], accrate [i,], s2accrate [i]),
file = “c: \\ ols_examp.out”, append = T, ncol = 20) if (i %% 10 == 0) {print (c (i, b [i, 1], s2 [i], accrate [i, 1], s2accrate [i]))}}

Program oldukça basittir ve içindeki yorumlar her bölümün ne yaptığını açıklığa kavuşturduğundan sadece birkaç yorum sıralanmıştır. İlk olarak, tüm parametreler için teklif yoğunlukları, ortalama 0 ve bazı standart sapmalarla normaldir.

Bu standart sapma, ikinci bölümde, makul bir kabul oranı (burada, her parametre için yaklaşık% 35) elde etmek için parametrelerin bir kesir (.5) ile çarpılan ML tahmini standart hataları kullanılarak belirlenir. Bu model standart bir model olmasaydı, teklif yoğunluklarının ölçeğini elde etmek için, muhtemelen benzer modellerin makine öğrenimi tahmini yoluyla standart hataların denenmesi ve / veya yaklaştırılması yoluyla başka bir yöntem oluşturmam gerekirdi.

İkinci olarak, önceki programlarda yaptığım gibi, log posterior yoğunluğunu değerlendirmek için bir fonksiyon yarattım. Yine, büyük negatif sayıları üsleme girişiminden kaynaklanan olası alt akış sorunlarını önlemek için arka günlük kullanılır. Posterior logunun kullanılması, artık bir çıkarma olan R oranını bir U (0,1) rasgele çekmenin günlüğü ile karşılaştırmayı gerektirir.

Üçüncüsü, programdaki eğim parametreleri sırayla güncellenir, ancak her yinelemenin başlangıcında, önce her parametrenin mevcut değerlerini önceki değerlere ayarlıyorum. Bunu yapıyorum, çünkü parametrenin hangi örneklenmiş değerinin gönderileceğini belirlememe gerek kalmadan son yoğunluk fonksiyonuna parametreler için geçerli vektörü göndermeme izin veriyor (yani, o anda hangi parametrenin mevcut olduğuna güncellenmiş, henüz güncellenmemiş ve önceden güncellenmiş olan).

Dördüncü olarak, program tüm parametreleri ve kabul oranlarını her yinelemede bir dosyaya yazar. Bu nedenle, tüm parametreleri 200.000 uzunluğunda bir vektörde saklamak gerçekten gereksizdir. Bunun yerine, her parametre için iki farklı değişken kullanabiliriz (örneğin, currentb ve previousb). Bu yaklaşımı sonraki bölümlerde programlarda gösteriyorum.

Gibbs örneklemesini kullanarak model parametrelerini örnekleme

Önceki bölümde sunulan MH algoritması oldukça uzun ve kısadır. Neyse ki, hem regresyon parametreleri hem de hata varyans parametresi için koşullu posterior dağılımlar iyi bilinmektedir ve bu nedenle Gibbs örneklemesi daha verimli bir alternatif sağlar.

Tam koşullu yöntem

Doğrusal regresyon modeli için bir Gibbs örnekleyici geliştirmenin en az iki genel yolu vardır. İlk yöntem, (1) regresyon parametresi vektörü ve (2) hata varyans parametresi için tam koşulların belirlenmesini içerir. Hata varyans parametresinin tam koşullu posterior dağılımının Denklem 7.9’dan türetilmesi kolaydır. Β bilinen / sabit ile, σ2 için koşullu posterior:

p (σ2 | β, X, Y) ∝ (σ2) – (n / 2 + 1)

eT e, β için verilen değerin altındaki kare hata terimlerinin toplamıdır. Bu koşullu posterior, α = n / 2 ve β = eT e / 2 parametreleriyle ters bir gama dağılımı olarak kolayca görülebilir.

Β için koşullu dağılımın türetilmesi biraz daha zordur, çünkü türetilmesi matris cebirini içerir. Bununla birlikte, süreç, Kavram olarak Bölüm 3’teki tek değişkenli normal dağılım örneğinde kullandığımız yaklaşımla özdeştir. Σ2 sabit ile, sadece üstel üzerine odaklanabiliriz.

İlk olarak, paydaki ilk terimdeki devriği dağıtabiliriz: ve sonra çarpımı genişletebiliriz:

YTY −YTXβ − βTXTY + βTXTXβ

İlk terim β’ye göre sabittir ve bu nedenle, daha önce yaptığımız gibi (örneğin, Bölüm 4’te) çoklu orantılılık sabiti olarak çıkarılabilir. Ortadaki iki terim birbirinin aynısıdır – biri diğerinin sadece transpoze versiyonudur, ancak ikisi de 1 × 1’dir; böylece, biri yer değiştirebilir ve ikisi gruplanabilir. Koşulları yeniden düzenledikten sonra şunları elde ederiz:

βTXTXβ − 2βTXTY]

Şimdi pay ve paydayı (XTX) −1 ile uygun şekilde çarparsak, şunu elde ederiz:

Tβ − 2βT (XTX) −1 (XTY)]

Bu noktada, kareyi β cinsinden tamamlayabiliriz veya bunu yapmanın β için ortalama (XT X) −1 (XT Y) ‘ye eşit ve varyansı σe2 ( XT X) −1.

Türetilen koşullarla, Gibbs örneklemesini tam koşullardan şu şekilde uygulayabiliriz:

(1) parametreler için başlangıç değerlerinin oluşturulması,
(2) sabit σe2 ile çok değişkenli normal dağılımından β örnekleme ve
(3) σ (ve dolayısıyla e) sabitlenmiş olarak ters gama dağılımından σe2 örneklemesi.

Aşağıda, bu süreci uygulayan bir R programı verilmiştir:

OLS örneğindeki tam koşullardan Gibbs örneklemesi için #R programı
# yineleme sayısı
m = 5000
# yalnızca eksiksiz bilgi içeren gözlemleri okuyun, n = 2313 x = as.matrix (read.table (“c: \\ ols_examp.dat”) [1: 2313,2: 10]) y = as.matrix (read.table (“c: \\ ols_examp.dat”) [1: 2313,11])
# parametre vektörleri ve sabit büyüklükler oluşturun s2 = matris (1, m); b = matris (0, m, 9)
xtxi = çöz (t (x)% *% x)
pars = katsayılar (lm (y ~ x-1))
#Gibbs örneklemesi başlıyor
for (i in 2: m) {
# çok değişkenli normal koşulundan betayı taklit et b [i,] = pars + t (rnorm (9, ortalama = 0, sd = 1))% *% chol (s2 [i-1] * xtxi)
# sigma’yı ters gama dağılımından simüle et s2 [i] = 1 / rgamma (1,2313 / 2, .5 * t (yx% *% (b [i,]))% *% (yx% *% (b [ben,])))
# çıktıyı dosyaya yaz ve ekrana yaz (c (b [i,], s2 [i]), file = “c: \\ ols_examp.out”, append = T, ncol = 10) if (i %% 50 = = 0) {baskı (c (i, b [i, 1], s2 [i])).

Doğrusal regresyon modeli Gibbs örneklemesini kullanarak model parametrelerini örnekleme İstatistik – Sosyal Bilimlerde İstatistik (46) – Biçimsel Karşılaştırma ve Birleştirme Modelleri – İstatistik Nedir – İstatistik Fiyatları – Ücretli İstatistik Yaptırma MH Algoritmasıyla Örnekleme Model Parametreleri İçin Arka Dağılımdan Örnekleme süreci uygulayan bir R programı Tam koşullu yöntem Β için koşullu dağılımın türetilmesi

İstatistik – Sosyal Bilimlerde İstatistik (46) – Biçimsel Karşılaştırma ve Birleştirme Modelleri – İstatistik Nedir? – İstatistik Fiyatları – Ücretli İstatistik Yaptırma