Rangkaian Bayesian: definisi, contoh dan cara ia berfungsi

Isi kandungan:

Rangkaian Bayesian: definisi, contoh dan cara ia berfungsi
Rangkaian Bayesian: definisi, contoh dan cara ia berfungsi
Anonim

Kepercayaan, rangkaian keputusan, model Bayesian (ian) atau model graf asiklik terdorong kemungkinan ialah skema varian (sejenis model statistik) yang mewakili satu set pembolehubah dan kebergantungan bersyaratnya melalui graf akiklik terarah (DAG).).

Sebagai contoh, rangkaian Bayesian boleh mewakili hubungan kebarangkalian antara penyakit dan gejala. Memandangkan yang terakhir, rangkaian boleh digunakan untuk mengira kemungkinan mempunyai pelbagai penyakit. Dalam video di bawah, anda boleh melihat contoh rangkaian kepercayaan Bayesian dengan pengiraan.

Image
Image

Kecekapan

Algoritma yang cekap boleh melakukan inferens dan pembelajaran pada rangkaian Bayesian. Rangkaian yang memodelkan pembolehubah (seperti isyarat pertuturan atau urutan protein) dipanggil rangkaian dinamik. Generalisasi rangkaian Bayesian yang boleh mewakili dan menyelesaikan masalah di bawah ketidakpastian dipanggil rajah pengaruh.

Esen

Secara rasmiRangkaian Bayesian ialah DAG yang nodnya mewakili pembolehubah dalam pengertian Bayesian: ia boleh diperhatikan nilai, pembolehubah tersembunyi, parameter tidak diketahui atau hipotesis. Kerana ia sangat menarik.

Contoh rangkaian Bayesian

Dua kejadian boleh menyebabkan rumput basah: penyiram aktif atau hujan. Hujan mempunyai kesan langsung terhadap penggunaan pemercik (iaitu, apabila hujan, pemercik biasanya tidak aktif). Keadaan ini boleh dimodelkan menggunakan rangkaian Bayesian.

Formula biasa
Formula biasa

Simulasi

Oleh kerana rangkaian Bayesian ialah model lengkap untuk pembolehubahnya dan hubungannya, ia boleh digunakan untuk menjawab pertanyaan kebarangkalian tentangnya. Contohnya, ia boleh digunakan untuk mengemas kini pengetahuan tentang keadaan subset pembolehubah apabila data lain (pembolehubah bukti) diperhatikan. Proses yang menarik ini dipanggil inferens kebarangkalian.

A posteriori memberikan statistik yang mencukupi secara universal untuk aplikasi penemuan apabila memilih nilai untuk subset pembolehubah. Oleh itu, algoritma ini boleh dianggap sebagai mekanisme untuk menggunakan teorem Bayes secara automatik kepada masalah yang kompleks. Dalam gambar dalam artikel, anda boleh melihat contoh rangkaian kepercayaan Bayesian.

Rangkaian Bayesian yang praktikal
Rangkaian Bayesian yang praktikal

Kaedah Output

Kaedah inferens tepat yang paling biasa ialah: penghapusan berubah-ubah, yang menghapuskan (dengan penyepaduan atau penjumlahan) yang tidak boleh diperhatikanparameter bukan pertanyaan satu demi satu dengan memperuntukkan amaun kepada produk.

Klik perambatan "pokok" yang menyimpan cache pengiraan supaya banyak pembolehubah boleh disoal serentak dan bukti baharu boleh disebarkan dengan cepat; dan pemadanan rekursif dan/atau carian, yang membenarkan pertukaran antara ruang dan masa serta memadankan kecekapan penyingkiran berubah-ubah apabila ruang yang mencukupi digunakan.

Semua kaedah ini mempunyai kerumitan khas yang bergantung secara eksponen pada panjang rangkaian. Algoritma inferens anggaran yang paling biasa ialah penghapusan segmen mini, penyebaran kepercayaan kitaran, penyebaran kepercayaan umum dan kaedah variasi.

Jenis rangkaian
Jenis rangkaian

Rangkaian

Untuk menentukan sepenuhnya rangkaian Bayesian dan dengan itu mewakili sepenuhnya taburan kebarangkalian bersama, adalah perlu untuk menentukan bagi setiap nod X taburan kebarangkalian untuk X disebabkan oleh ibu bapa X.

Taburan X secara bersyarat oleh ibu bapanya boleh mempunyai sebarang bentuk. Ia adalah perkara biasa untuk bekerja dengan taburan diskret atau Gaussian kerana ia memudahkan pengiraan. Kadangkala hanya kekangan pengedaran yang diketahui. Anda kemudiannya boleh menggunakan entropi untuk menentukan taburan tunggal yang mempunyai entropi tertinggi berdasarkan kekangan.

Begitu juga, dalam konteks khusus rangkaian Bayesian dinamik, taburan bersyarat untuk evolusi temporal terpendamkeadaan biasanya ditetapkan untuk memaksimumkan kadar entropi proses rawak tersirat.

Web amanah Bayesian
Web amanah Bayesian

Memaksimumkan kebarangkalian secara langsung (atau kebarangkalian posterior) selalunya sukar memandangkan kehadiran pembolehubah yang tidak diperhatikan. Ini benar terutamanya untuk rangkaian keputusan Bayesian.

Pendekatan klasik

Pendekatan klasik untuk masalah ini ialah algoritma pemaksimum jangkaan, yang menggantikan pengiraan nilai jangkaan pembolehubah yang tidak diperhatikan bergantung pada data yang diperhatikan dengan memaksimumkan jumlah kebarangkalian (atau nilai posterior), dengan mengandaikan bahawa jangkaan yang dikira sebelumnya nilai adalah betul. Di bawah keadaan keteraturan sederhana, proses ini menumpu dalam nilai maksimum (atau maksimum posterior) parameter.

Pendekatan Bayesian yang lebih lengkap terhadap parameter ialah menganggapnya sebagai pembolehubah tidak diperhatikan tambahan dan mengira taburan posterior penuh ke atas semua nod berdasarkan data yang diperhatikan, dan kemudian menyepadukan parameter. Pendekatan ini boleh mahal dan menghasilkan model besar, menjadikan pendekatan penalaan parameter klasik lebih mudah diakses.

Dalam kes paling mudah, rangkaian Bayesian ditakrifkan oleh pakar dan kemudian digunakan untuk melakukan inferens. Dalam aplikasi lain, tugas menentukan terlalu sukar untuk manusia. Dalam kes ini, struktur rangkaian saraf Bayesian dan parameter taburan tempatan mesti dipelajari antara data.

rangkaian Bayesian
rangkaian Bayesian

Kaedah alternatif

Kaedah alternatif pembelajaran berstruktur menggunakan carian pengoptimuman. Ini memerlukan penggunaan fungsi penilaian dan strategi carian. Algoritma pemarkahan biasa ialah kebarangkalian posterior bagi struktur yang diberikan data latihan seperti BIC atau BDeu.

Masa yang diperlukan untuk carian menyeluruh mengembalikan struktur yang memaksimumkan skor adalah superexponential dalam bilangan pembolehubah. Strategi carian tempatan membuat perubahan tambahan untuk meningkatkan anggaran struktur. Friedman dan rakan-rakannya mempertimbangkan untuk menggunakan maklumat bersama antara pembolehubah untuk mencari struktur yang dikehendaki. Mereka mengehadkan set calon induk kepada k nod dan mencarinya dengan teliti.

Kaedah yang sangat pantas untuk mengkaji BN dengan tepat ialah membayangkan masalah itu sebagai masalah pengoptimuman dan menyelesaikannya menggunakan pengaturcaraan integer. Kekangan acyclicity ditambah pada program integer (IP) semasa penyelesaian dalam bentuk satah pemotongan. Kaedah sedemikian boleh menangani masalah sehingga 100 pembolehubah.

Graf dan rangkaian
Graf dan rangkaian

Menyelesaikan Masalah

Untuk menyelesaikan masalah dengan beribu-ribu pembolehubah, pendekatan berbeza diperlukan. Salah satunya ialah memilih satu perintah dahulu dan kemudian mencari struktur BN yang optimum berkenaan dengan perintah itu. Ini membayangkan bekerja dalam ruang carian kemungkinan pesanan, yang mudah kerana ia lebih kecil daripada ruang struktur rangkaian. Beberapa pesanan kemudiannya dipilih dan dinilai. Kaedah ini ternyataterbaik tersedia dalam literatur apabila bilangan pembolehubah adalah besar.

Kaedah lain ialah memfokuskan pada subkelas model boleh reput yang MLE ditutup. Kemudian anda boleh mencari struktur yang konsisten untuk beratus-ratus pembolehubah.

Mempelajari rangkaian Bayesian dengan lebar terhad tiga baris adalah perlu untuk memberikan inferens yang tepat dan boleh ditafsir, kerana kerumitan kes terburuk yang terakhir adalah eksponen dalam panjang pokok k (mengikut hipotesis masa eksponen). Walau bagaimanapun, sebagai sifat global graf, ia sangat meningkatkan kerumitan proses pembelajaran. Dalam konteks ini, K-tree boleh digunakan untuk pembelajaran yang berkesan.

Rangkaian pendek
Rangkaian pendek

Pembangunan

Pembangunan Web Amanah Bayesian selalunya bermula dengan penciptaan DAG G supaya X memenuhi harta Markov tempatan berkenaan dengan G. Kadangkala ini adalah DAG yang bersebab. Taburan kebarangkalian bersyarat bagi setiap pembolehubah ke atas ibu bapanya dalam G dianggarkan. Dalam banyak kes, khususnya apabila pembolehubah adalah diskret, jika taburan bersama X ialah hasil darab taburan bersyarat ini, maka X menjadi rangkaian Bayesian berkenaan dengan G.

"selimut simpul" Markov ialah satu set simpulan. Kuilt Markov menjadikan nod bebas daripada baki kosong nod dengan nama yang sama dan pengetahuan yang mencukupi untuk mengira pengedarannya. X ialah rangkaian Bayesian berkenaan dengan G jika setiap nod bebas bersyarat daripada semua nod lain, memandangkan Markoviannyaselimut.

Disyorkan: