6.2. Derivation of the BP Algorithm



Algoritma BP dimulai dari kebutuhan akan komputasi layers output, yang menjadi satu-satunya tempat output yang diinginkan tersedia, tetapi output dari layer tengan  tidak tersedia (lihat Gambar 6.1) sebagai berikut:
Misalkan " Ɛ " menunjukkan error-energi pada layer output, di mana:

k = 1 ... N; N adalah jumlah neuron pada layer output. Akibatnya, gradien "Ɛ“ diperhitungkan, di mana:

Sekarang, berdasarkan rumus tersebut didapatlah turunannya sebagai berikut:


j menunjukkan input jth ke neuron kth dari layer output, di mana:


Tanda minus (-) pada Persamaan (6.4) menunjukkan arah down-hill menuju minimum.
Nilai zk didapat dari:

XJ menjadi input jth ke neuron, dan menandakan bahwa yk adalah:

F menjadi fungsi nonlinear. Kemudian substitusikan

dan

p menunjukkan layer output, sehingga Persamaan (6.7) menjadi:

Definisikan:

kemudian Persamaan (6.9) menjadi:

dan, berdasarkan pers. (6.4) dan (6.11):

j menunjukkan input jth ke neuron kth dari layer output (p).
Selanjutnya, berdasarkan persamaan (6.10):

Tapi, berdasarkan Persamaan (6.1):

sedangkan, untuk non-linear sigmoid:

menunjukkan

Karena itu, berdasrkan pers. (6.13), (6.14) dan (6.16):

sehingga, pada layer output, berdasarkan pers. (6.4), (6.7):

di mana, sesuai dengan pers. (6.8) dan (6.13)

Φk dalam Persamaan (6.17), untuk menyelesaikan derivasi dari pengaturan bobot layer output.

Back-propagating untuk  rth hidden layer:
 Namun, "Ɛ” hanya dapat dipengaruhi oleh upstream neurons ketika salah satu propagates back-wards dari output. Tidak ada informasi lain yang tersedia pada tahap itu. Karena itu:
karena hanya wkj (r + 1) terhubung ke YJ (r).
Sehingga, berdasarkan pers. (6.13), (6.16) dan (6.25):

dan, sesuai dengan Persamaan (6.19):


Perlu diperhatikan bahwa kita tidak bisa mengambil derivatif parsial dari " Ɛ ” yang berhubungan dengan layer tersembunyi. Dengan demikian kita harus mengambil derivatif parsial dari "Ɛ” yang berhubungan dengan variabel upstream ke arah output, yang merupakan satu-satunya yang mempengaruhi Ɛ.  Pengamatan ini merupakan dasar untuk prosedur Back-Propagation, untuk mengatasi kurangnya akses data error di layer tersembunyi.

Komentar

Posting Komentar

Postingan populer dari blog ini

MUTS

Gambar
A. Latar Belakang Indonesia merupakan salah satu negara dengan keanekaragaman tanaman yang cukup tinggi. Keanekaragaman tanaman tersebut merupakan satu tantangan dalam melakukan identifikasi. Identifikasi tanaman dapat dilakukan berdasarkan buah, bunga, maupun daun. Identifikasi berdasarkan daun merupakan identifikasi yang lebih mudah dilakukan karena daun akan ada sepanjang masa, sedangkan buah dan bunga hanya ada pada waktu tertentu. B. Rumusan Masalah Permasalahan yang diangkat pada penelitian ini dititik beratkan pada pengklasifikasian daun menggunakan algoritma Jaringan Syaraf Tiruan.   C. Tujuan Penelitian Tujuan dari penelitian ini adalah untuk melakukan klasifikasi citra daun menggunakan algoritma Jaringan Syaraf Tiruan.   D. Tinjauan Pustaka A. Segmentasi Citra Dalam pengolahan citra, terkadang kita menginginkan pengolahan hanya pada obyek tertentu. Oleh sebab itu, perlu dilakukan proses segmentasi citra yang bertujuan untuk memisahkan antara...
Baca selengkapnya

5.1. Madaline Training

Gambar
Madaline (Many Adaline) adalah ekstensi multilayer dari single-neuron bipolar Adaline ke suatu jaringan. Struktur dasar dari Madaline ini dapat dilihat pada gambar 5.1, dan gambar 5.2 memperlihatkan Madaline yang terdiri dari dua layers Adaline, ditambah sebuah layers input yang hanya berfungsi sebagai distributor input jaringan. Gambar 5.1 A simple Madaline structure Gambar 5.2 The Madaline network of 2 layers 5.1       Madaline Training             Dalam Madaline terdapat sebuah layer tersembunyi. Gambar 5.3 menunjukkan arsitektur Madaline untuk 2 buah masukan x1 dan x2, sebuah layer tersembunyi yang terdiri dari 2 unit neuron tersembunyi z1 dan z2, dan sebuah keluaran Y. Gambar 5.3 Keluaran dari unit tersembunyi z1 dan z2 adalah nilai fungsi aktivasi yang diterima dari x1 dan x2. Demikian pula unit keluaran Y merupakan nilai fungsi aktivasi dari z1 dan z2. Meskipun keluara...
Baca selengkapnya

11.1. Fundamental Philosophy

Gambar
Ide dasar di balik pelatihan statistik (stochastic) dari jaringan saraf adalah: Perubahan bobot dan menjaga perubahan-perubahan yang meningkatkan kinerja. Kelemahan dari pendekatan ini adalahsangat lambat! Juga, itu bisa terjebak di minimum lokal jika perubahan acak kecil karena perubahan tidak mungkin memiliki daya yang cukup untuk mendaki "puncak" (lihat Gambar.)   untuk mencari nilai lain lembah. Untuk mengatasi terjebak dalam minimum lokal, perubahan berat badan yang besar dapat digunakan. Namun, kemudian jaringan dapat menjadi berosilasi dan kehilangan ketetapan minimal . Untuk menghindari ketidakstabilan ini mungkin, perubahan berat badan bisa turun secara bertahap dalam ukuran. Strategi ini menyerupai proses anil dalam metalurgi. Hal ini pada dasarnya berlaku untuk semua jaringan yang dijelaskan sebelumnya, tetapi khususnya hanya untuk propagasi dan dimodifikasi jaringan. [Kembali]
Baca selengkapnya