Dalam pembelajaran mesin, perceptron ialah algoritma pembelajaran diselia untuk pengelas binari. Ia juga sering dipanggil perceptron. Pengelas binari ialah fungsi yang boleh menentukan sama ada input, yang diwakili oleh vektor nombor, tergolong dalam kelas tertentu. Ini ialah jenis pengelas linear, iaitu algoritma pengelasan yang membuat ramalannya berdasarkan fungsi peramal linear yang menggabungkan set pemberat dengan vektor ciri.
Dalam beberapa tahun kebelakangan ini, rangkaian saraf tiruan telah mendapat perhatian kerana kemajuan dalam pembelajaran mendalam. Tetapi apakah itu rangkaian saraf tiruan dan apakah kandungannya?
Temui Perceptron
Dalam artikel ini, kita akan melihat sekilas rangkaian saraf tiruan secara umum, kemudian melihat satu neuron, dan akhirnya (ini ialah bahagian pengekodan) kita akan mengambil versi paling asas bagi tiruan. neuron, perceptron, dan mengelaskan titiknya kepadakapal terbang.
Pernahkah anda terfikir mengapa terdapat tugasan yang begitu mudah untuk mana-mana orang, tetapi amat sukar untuk komputer? Rangkaian Neural Buatan (pendek kata ANN) telah diilhamkan oleh sistem saraf pusat manusia. Seperti rakan biologi mereka, ANN dibina pada elemen pemprosesan isyarat ringkas yang digabungkan menjadi grid besar.
Rangkaian saraf mesti belajar
Tidak seperti algoritma tradisional, rangkaian saraf tidak boleh "diprogramkan" atau "ditala" untuk berfungsi seperti yang diharapkan. Sama seperti otak manusia, mereka mesti belajar untuk menyelesaikan tugas. Secara kasarnya, terdapat tiga strategi pembelajaran.
Cara paling mudah boleh digunakan jika terdapat kes ujian (cukup besar) dengan keputusan yang diketahui. Kemudian latihan berjalan seperti ini: proses satu set data. Bandingkan hasil dengan keputusan yang diketahui. Sediakan rangkaian dan cuba lagi. Ini adalah strategi pembelajaran yang akan kami gunakan di sini.
Pembelajaran tanpa pengawasan
Berguna jika tiada data ujian tersedia dan jika mungkin untuk memperoleh beberapa fungsi kos daripada tingkah laku yang diingini. Fungsi kos memberitahu rangkaian saraf sejauh mana ia dari sasaran. Rangkaian kemudiannya boleh melaraskan parameternya dengan cepat, bekerja dengan data sebenar.
Pembelajaran Bertetulang
Kaedah "carrot and stick". Boleh digunakan jika rangkaian saraf menjana tindakan berterusan. Dari masa ke masa, rangkaian belajar untuk memilih tindakan yang betul dan mengelakkan tindakan yang salah.
Baiklah, sekarang kita tahu serba sedikitsifat rangkaian saraf tiruan, tetapi ia diperbuat daripada apa sebenarnya? Apakah yang akan kita lihat jika kita membuka penutup dan melihat ke dalam?
Neuron ialah blok binaan rangkaian saraf. Komponen utama mana-mana rangkaian saraf tiruan ialah neuron tiruan. Ia bukan sahaja dinamakan sempena rakan biologi mereka, tetapi ia juga dimodelkan mengikut tingkah laku neuron dalam otak kita.
Biologi lwn teknologi
Sama seperti neuron biologi mempunyai dendrit untuk menerima isyarat, badan sel untuk memprosesnya, dan akson untuk menghantar isyarat kepada neuron lain, neuron buatan mempunyai berbilang saluran input, peringkat pemprosesan dan satu output yang boleh bercabang kepada banyak lagi. neuron buatan.
Bolehkah kita melakukan sesuatu yang berguna dengan satu perceptron? Terdapat kelas masalah yang boleh diselesaikan oleh satu perceptron. Pertimbangkan vektor input sebagai koordinat titik. Untuk vektor dengan unsur-n, titik ini akan hidup dalam ruang dimensi-n. Untuk memudahkan kehidupan (dan kod di bawah), mari kita anggap ia adalah 2D. Seperti sekeping kertas.
Seterusnya, bayangkan kita melukis beberapa titik rawak pada satah ini dan membahagikannya kepada dua set dengan melukis garis lurus melintasi kertas. Garis ini membahagikan titik kepada dua set, satu di atas dan satu di bawah garisan. Kedua-dua set itu kemudiannya dipanggil boleh dipisahkan secara linear.
Satu perceptron, tidak kira betapa mudahnya ia kelihatan, dapat mengetahui di mana baris ini dan apabila ia telah selesai latihan, ia boleh menentukan sama ada titik tertentu berada di atas atau di bawah garis ini.
Sejarahciptaan
Algoritma untuk kaedah ini telah dicipta pada tahun 1957 di Makmal Penerbangan Cornell oleh Frank Rosenblatt (sering dinamakan sempena namanya), yang dibiayai oleh Pejabat Penyelidikan Tentera Laut AS. Perceptron bertujuan untuk menjadi mesin, bukan program, dan walaupun pelaksanaan pertama adalah dalam perisian untuk IBM 704, ia kemudiannya dilaksanakan pada perkakasan tersuai sebagai "Mark 1 Perceptron". Mesin ini direka bentuk untuk pengecaman imej: ia mempunyai susunan 400 fotosel yang disambungkan secara rawak kepada neuron. Berat telah dikodkan dalam potensiometer dan kemas kini berat semasa latihan dilakukan oleh motor elektrik.
Pada sidang akhbar yang dihoskan oleh Tentera Laut AS pada tahun 1958, Rosenblatt membuat kenyataan tentang perceptron yang menyebabkan perdebatan hangat di kalangan komuniti AI muda; berdasarkan dakwaan Rosenblatt, New York Times melaporkan bahawa perceptron ialah "komputer elektronik embrionik yang Tentera Laut jangkakan boleh berjalan, bercakap, melihat, menulis, membiak sendiri dan menyedari kewujudannya."
Perkembangan selanjutnya
Walaupun perceptron pada mulanya kelihatan menjanjikan, ia dengan cepat terbukti bahawa perceptron tidak dapat dilatih untuk mengenali banyak kelas corak. Ini membawa kepada genangan dalam bidang penyelidikan dengan rangkaian neural perceptron selama bertahun-tahun sebelum ia diiktiraf bahawa rangkaian neural suapan ke hadapan dengan dua atau lebih lapisan (juga dipanggilmultilayer perceptron) mempunyai lebih banyak kuasa pemprosesan daripada single layer perceptrons (juga dipanggil single layer perceptrons). Perceptron satu lapisan hanya mampu mengkaji struktur boleh dipisahkan secara linear. Pada tahun 1969, buku terkenal "Perceptrons" oleh Marvin Minsky dan Seymour Papert menunjukkan bahawa kelas rangkaian ini tidak dapat mempelajari fungsi XOR. Walau bagaimanapun, ini tidak terpakai pada fungsi pengelasan bukan linear yang boleh digunakan dalam perceptron satu lapisan.
Penggunaan fungsi tersebut memanjangkan keupayaan perceptron, termasuk pelaksanaan fungsi XOR. Selalunya diandaikan (tidak betul) bahawa mereka juga menganggap bahawa hasil yang serupa akan berlaku untuk rangkaian perceptron berbilang lapisan. Walau bagaimanapun, ini tidak berlaku, kerana kedua-dua Minsky dan Papert sudah mengetahui bahawa perceptron berbilang lapisan mampu menghasilkan fungsi XOR. Tiga tahun kemudian, Steven Grossberg menerbitkan satu siri kertas kerja yang membentangkan rangkaian yang mampu memodelkan fungsi pembezaan, fungsi peningkatan kontras dan fungsi XOR.
Works diterbitkan pada tahun 1972 dan 1973. Walau bagaimanapun, teks Minsky/Papert yang sering diabaikan menyebabkan penurunan ketara dalam minat dan pembiayaan penyelidikan dengan perceptron rangkaian saraf. Sepuluh tahun lagi berlalu sebelum penyelidikan rangkaian saraf dihidupkan semula pada tahun 1980-an.
Ciri
Algoritma Kernel Perceptron telah diperkenalkan pada tahun 1964 oleh Yzerman et al. Mori dan Rostamizadeh (2013), yang melanjutkan keputusan sebelumnya dan memberikan had baharu L1.
Perceptron ialah model ringkas bagi neuron biologi. Walaupun kerumitan model saraf biologi selalunya diperlukan untuk memahami tingkah laku saraf sepenuhnya, penyelidikan menunjukkan bahawa model linear seperti perceptron boleh mendorong beberapa tingkah laku yang dilihat dalam neuron sebenar.
Perceptron ialah pengelas linear, jadi ia tidak akan sampai ke keadaan dengan semua vektor input dikelaskan dengan betul jika set latihan D tidak boleh dipisahkan secara linear, i.e. jika contoh positif tidak boleh dipisahkan daripada contoh negatif oleh hyperplane. Dalam kes ini, tiada penyelesaian "anggaran" akan langkah demi langkah melalui algoritma pembelajaran standard, sebaliknya pembelajaran akan gagal sepenuhnya. Oleh itu, jika kebolehpisahan linear set latihan tidak diketahui secara priori, salah satu pilihan latihan di bawah harus digunakan.
Algoritma Poket
Algoritma poket ratchet menyelesaikan masalah keteguhan pembelajaran perceptron dengan mengekalkan penyelesaian terbaik setakat ini terdapat "di dalam poket". Algoritma poket kemudian mengembalikan penyelesaian dalam poket dan bukannya penyelesaian terakhir. Ia juga boleh digunakan untuk set data tidak boleh dipisahkan di mana matlamatnya adalah untuk mencari perceptron dengan sedikit salah klasifikasi. Walau bagaimanapun, penyelesaian ini kelihatan stokastik dan oleh itu algoritma poket tidak sesuai dengannya.secara beransur-ansur sepanjang latihan, dan ia tidak dijamin akan dikesan dalam beberapa langkah latihan.
Algoritma Maxover
Algoritma Maxover adalah "teguh" dalam erti kata ia akan menumpu tanpa mengira pengetahuan tentang kebolehpisahan linear set data. Dalam kes perpecahan linear, ini akan menyelesaikan masalah pembelajaran, secara pilihan walaupun dengan kestabilan optimum (margin maksimum antara kelas). Untuk set data yang tidak boleh dipisahkan, penyelesaian dengan sejumlah kecil salah klasifikasi akan dikembalikan. Dalam semua kes, algoritma secara beransur-ansur mendekati penyelesaian semasa proses pembelajaran, tanpa mengingati keadaan sebelumnya dan tanpa lompatan rawak. Konvergensi terletak pada optimum global untuk set data yang dikongsi dan optimum tempatan untuk set data yang tidak boleh dipisahkan.
Perceptron Mengundi
Algoritma Voted Perceptron ialah varian menggunakan berbilang perceptron berwajaran. Algoritma memulakan perceptron baharu setiap kali contoh disalahkelaskan, memulakan vektor berat dengan pemberat akhir perceptron terakhir. Setiap perceptron juga akan diberi pemberat berbeza yang sepadan dengan bilangan contoh yang mereka klasifikasikan dengan betul sebelum salah klasifikasikan satu, dan pada akhirnya output akan menjadi undian berwajaran merentas keseluruhan perceptron.
Permohonan
Dalam masalah yang boleh dipisahkan, latihan perceptron juga boleh bertujuan untuk mencari sempadan pemisahan terbesar antara kelas. kononnyaPerceptron kestabilan optimum boleh ditentukan menggunakan latihan berulang dan skim pengoptimuman seperti algoritma Min-Over atau AdaTron. AdaTron mengeksploitasi fakta bahawa masalah pengoptimuman kuadratik yang sepadan adalah cembung. Perceptron kestabilan optimum, bersama-sama dengan helah kernel, ialah asas konsep mesin vektor sokongan.
Alternatif
Cara lain untuk menyelesaikan masalah bukan linear tanpa menggunakan berbilang lapisan ialah menggunakan rangkaian tertib lebih tinggi (blok sigma-pi). Dalam rangkaian jenis ini, setiap elemen vektor input dikembangkan dengan setiap gabungan berpasangan input berganda (tertib kedua). Ini boleh dilanjutkan kepada rangkaian n-order. Perceptron ialah perkara yang sangat fleksibel.
Walau bagaimanapun, ingat bahawa pengelas terbaik tidak semestinya yang mengelaskan semua data latihan dengan tepat. Sesungguhnya, jika kita mempunyai kekangan terdahulu bahawa data datang daripada taburan Gaussian varian yang sama, pemisahan linear dalam ruang input adalah optimum dan penyelesaian bukan linear ditindih.
Algoritma klasifikasi linear lain termasuk Winnow, vektor sokongan dan regresi logistik. Perceptron ialah set algoritma universal.
Skop utama untuk pembelajaran diselia
Pembelajaran diselia ialah tugas pembelajaran mesin yang mempelajari fungsi yang memetakan input kepada outputberdasarkan contoh pasangan I/O. Mereka membuat kesimpulan ciri daripada data latihan berlabel yang terdiri daripada satu set contoh. Dalam pembelajaran diselia, setiap contoh ialah pasangan yang terdiri daripada objek input (biasanya vektor) dan nilai output yang diingini (juga dipanggil isyarat kawalan).
Algoritma pembelajaran yang diselia menganalisis data latihan dan menghasilkan fungsi anggaran yang boleh digunakan untuk memaparkan contoh baharu. Senario optimum akan membolehkan algoritma menentukan label kelas dengan betul untuk kejadian yang tidak kelihatan. Ini memerlukan algoritma pembelajaran untuk menyamaratakan data pembelajaran kepada situasi yang tidak kelihatan dengan cara yang "munasabah".
Tugas selari dalam psikologi manusia dan haiwan sering dipanggil pembelajaran konseptual.
