BAB 13

13.0. Motivation

Jaringan saraf yang dibahas dalam bagian ini adalah arti resmi jaringan saraf untuk penyimpanan memori skala besar dan pengambilan informasi [Graupe dan Kordylewski, 1996a, b]. Jaringan ini mencoba untuk meniru proses dari sistem saraf pusat manusia (CNS), tentang penyimpanan dan pengambilan pola, kesan dan termasuk proses melupakan dan mengingat. Ia mencoba untuk mencapai hal ini tanpa bertentangan dengan temuan dari fisiologis dan pengamatan psikologis, setidaknya dalam input / output.

            LAMSTAR (besar Memory penyimpanan dan pengambilan) Model ini dianggap sebagai upaya untuk melakukannya dengan cara komputasi, menggunakan alat dari jaringan saraf dari bagian sebelumnya, terutama SOM (Self Organizing Map) modul jaringan berbasis, dikombinasikan dengan alat keputusan statistik. Oleh karena itu jaringan LAMSTAR bukan saja jaringan tertentu tetapi sistem jaringan untuk penyimpanan, pengakuan, perbandingan dan keputusan.

13.1. Basic Principles of the LAMSTAR Neural Network

Jaringan saraf LAMSTAR dirancang khusus untuk aplikasi pemulihan, diagnosis,  klasifikasi, dan prediksi. jaringan saraf LAMSTAR dirancang untuk menyimpan dan mengambil pola dalam komputasi secara efisien, menggunakan alat jaringan saraf.

Jaringan LAMSTAR cocok untuk menangani masalah analitis dan non-analitis di mana data dari banyak kategori yang berbeda dan beberapa kategori mungkin hilang.

LAMSTAR dapat dilihat seperti dalam sistem cerdas, informasi secara terus menerus mengembangkan setiap kasus melalui pembelajaran dan korelasi. Yang unik tentang jaringan LAMSTAR adalah kemampuan untuk menangani data non-analitis, yang mungkin tepat atau tidak jelas dan beberapa kategori mungkin hilang. LAMSTAR secara khusus dikembangkan dalam aplikasi untuk masalah yang melibatkan memori yang sangat besar yang berhubungan dengan banyak kategori berbeda-beda (atribut

Prinsip-prinsip utama dari jaringan saraf (NN) yang umum untuk hampir semua pendekatan jaringan saraf.  Unit dasar saraf atau sel (neuron) adalah salah satu yang digunakan dalam semua jaringan saraf, seperti yang dijelaskan dalam Bab 2 dan 4.

Untuk keluaran neuron dirumuskan sebagai berikut:

Dimana, f = fungsi aktivasi.

            Dengan menggunakan struktur link bobot untuk keputusannya, jaringan LAMSTAR yang menggunakan bukan hanya nilai-nilai memori yang tersimpan w(ij) seperti dalam jaringan saraf lainnya.

13.2. Detailed Outline of the LAMSTAR Network

13.2.1. Basic structural elements

Modul penyimpanan dasar dari jaringan LAMSTAR adalah pengubahan oleh Kohonen terhadap modul SOM [Kohonen, 1988]. Sesuai dengan tingkat kedekatan bobot penyimpanan di BAM untuk setiap masukan subword yang sedang dipertimbangkan persetiap kata masukan yang diberikan kepada jaringan saraf. Di jaringan LAMSTAR informasi disimpan dan diproses melalui link korelasi antara neuron individu dalam modul SOM terpisah. Kemampuannya untuk menangani besar jumlah kategori ini karena penggunaannya perhitungan sederhana link bobot dan oleh penggunaan fitur dari memori yang hilang. Link bobot adalah mesin utama jaringan, menghubungkan banyak lapisan SOM modul seperti yang penekanannya pada (co) hubungan link bobot antara atom memori, bukan pada atom memori (BAM bobot dari modul SOM) sendiri. Dengan cara ini, desain menjadi lebih dekat dengan pengolahan pengetahuan dalam biologi sistem saraf pusat daripada praktek di sebagian besar arti konvensional resmi saraf jaringan. Fitur yang hilang adalah fitur dasar jaringan biologis yang efisiensi tergantung pada hal itu, seperti kemampuan untuk menangani set data yang tidak lengkap.

            Nilai input dari kode matriks X dinyatakan sebagai berikut:

 Dimana T merupakan nilai transpos.

  Gambar 13.1 Blog Diagram LAMSTAR

 

            Banyak masukan subwords (dan sama, banyak masukan untuk hampir semua saraf lainnya Pendekatan jaringan) dapat diturunkan setelah pre-processing. Hal ini terjadi di masalah sinyal / image-processing, dimana hanya autoregressive atau diskrit spektral / parameter wavelet dapat berfungsi sebagai subword daripada sinyal itu sendiri.

Gambar 13.2 Dasar arsitektur LAMSTAR: penyederhanaan versi untuk sebagian besar aplikasi

 

            Gambar 13.1 memberikan blok-diagram yang lengkap dan umum dari jaringan LAMSTAR. Sebuah diagram yang lebih mendasar, untuk digunakan di sebagian besar aplikasi di mana jumlah neuron per lapisan SOM tidak besar, sedangkan pada Gambar. 13.2. ini adalah penyederhanaan sedikit arsitektur umum. 

13.2.2. Setting of storage weights and determination of winning neurons

Ketika sebuah kata masukan baru disajikan ke sistem selama fase pelatihan, jaringan LAMSTAR memeriksa semua vektor penyimpanan (wi) dalam modul SOM i yang sesuai dengan input subword xi yang akan disimpan. Jika pola yang tersimpan cocok dengan masukan subword xi dalam toleransi yang ditentukan, ia dinyatakan sebagai neuron terpilih untuk itu terutama diamati masukan subword. Neuron terpilih demikian ditentukan untuk setiap masukan berdasarkan kesamaan antara input (Vektor x dalam 13.1 Gambar. Dan 13,2) dan vektor penyimpanan w (informasi yang tersimpan). Untuk input subword xi, neuron terpilih demikian ditentukan dengan meminimalkan suatu jarak normal, sebagai berikut:

 

13.2.3. Adjustment of resolution in SOM modules

Persamaan (13.3), yang berfungsi untuk menentukan neuron terpilih, tidak berurusan secara efektif dengan resolusi dekat cluster / pola. Hal ini dapat menyebabkan degradasi akurasi dalam proses pengambilan keputusan saat keputusan tergantung pada daerah dan erat pola terkait / cluster yang menyebabkan berbeda-beda diagnosis / keputusan. Sensitivitas local neuron dalam modul SOM dapat disesuaikan dengan memasukkan sebuah pengaturan maksimal fungsi jarak Hamming dmax seperti dalam Persamaan:

Akibatnya, jika jumlah subwords yang disimpan dalam neuron tertentu (dari yang tepat modul) melebihi nilai ambang batas, maka penyimpanan dibagi menjadi dua penyimpanan yang berdekatan neuron dan dmax berkurang sesuai.

13.2.4. Links between SOM modules and from SOM modules to output modules

Informasi dalam sistem LAMSTAR dikodekan melalui korelasi hubungan Li; j (Gambar. 13.1, 13.2) antara neuron individu dalam modul SOM berbeda-beda. Sistem LAMSTAR yang tidak menciptakan neuron untuk seluruh masukan kata. Sebaliknya, hanya sebagian subwords dipilih disimpan dalam asosiatif-Memory-seperti cara di modul SOM (W bobot), dan korelasi antara subwords disimpan dalam hal menciptakan / menyesuaikan L-link (Li;j pada Gambar 13.1) yang menghubungkan neuron di berbeda-beda SOM modul. Hal ini memungkinkan jaringan LAMSTAR untuk dilatih dengan sebagian lengkap set data. L-link yang mendasar untuk memungkinkan interpolasi dan ekstrapolasi pola (ketika neuron dalam model SOM tidak sesuai dengan input subword tetapi sangat terkait dengan modul lain berfungsi sebagai perkiraan interpolasi).

(Fig.13.2) [Graupe 1997, Graupe dan Kordylewski Graupe, 1997]. Nilai-nilai L-link bobot yang dimodifikasi sesuai dengan:

 dimana:

: Link antara neuron i dalam modul k'th dan neuron j di modul m'th (yang mungkin juga menjadi  output modul m'th).

∆L, ∆M: nilai selisih (yang telah ditentukan nilainya).

untuk mengatur ∆M (baik untuk semua keputusan LAMSTAR atau hanya ketika keputusan sudah benar) sebagai:

L_max : Nilai link maksimal (umumnya tidak diperlukan, terutama ketika update melalui forgetting is performed).

Bobot Link demikian berfungsi sebagai korelasi alamat [Graupe dan Lynn, 1970] untuk mengevaluasi tariff trafik antara neuron [Graupe 1997, Minsky, 1980]. Lihat Gambar. 13.1. Bobot L link di atas  sehingga berfungsi untuk memandu proses penyimpanan dan berfungsi untuk mengecualikan pola yang benar-benar tumpang tindih, sehingga satu (atau lebih) dari mereka yang berlebihan dan perlu dihilangkan. Dalam banyak aplikasi, link bobot dianggap (dan diperbarui) adalah mereka antara penyimpanan SOM lapisan keluaran (seperti pada Gambar. 13.2) lapisan (modul) dan, sementara link-bobot antara berbagai SOM input-storage lapisan (yaitu, internal yang link-bobot) tidak dianggap atau diperbarui.

13.2.5. Determination of winning decision via link weights

Diagnosis / keputusan di modul keluaran SOM ditemukan dengan menganalisis hubungan L antara neuron diagnosis / keputusan dalam modul keluaran SOM dan winning neuron di semua modul masukan SOM dipilih dan diterima oleh proses yang diuraikan di sec.13.2.4. Selain itu, semua nilai L-berat ditetapkan (Diperbaharui) seperti yang dibahas di Sec. 13.2.4 di atas (Pers. (13.6), (13.7a) dan (13.7b)). winning neuron (diagnosis / keputusan) dari modul keluaran SOM adalah neuron dengan nilai kumulatif tertinggi link L menghubungkan ke yang dipilih (Menang) neuron masukan di modul input. Rumus diagnosis / deteksi untuk Output SOM modul (i) diberikan oleh:

dimana:

 i : i'th modul output.

 n : winning neuron dalam modul keluaran i'th

 kw: winning neuron dalam modul masukan k'th.

 M : jumlah modul input.

: Link berat antara winning neuron dalam modul masukan k dan neuron j di modul keluaran i'th.

Link bobot mungkin baik positif atau negatif. Mereka sebaiknya dimulai pada nilai acak kecil mendekati nol, meskipun inisialisasi semua bobot nol (Atau beberapa nilai yang tetap lainnya) Jika dua atau lebih berat adalah sama maka keputusan tertentu harus pra-diprogram untuk diberikan prioritas.

13.2.6. N_j weights (not implemented in most applications)

N_j bobot Gambar. 13.1 [Graupe dan Kordyleski, 1998] diperbarui oleh jumlah trafik ke neuron yang diberikan pada modul input SOM, yaitu dengan jumlah akumulatif dari subwords disimpan pada neuron tertentu (sesuai dengan penyesuaian karena melupakan seperti di Sec. 13.3 bawah), sebagaimana ditentukan oleh persamaan. (13.8):

dimana

m: adalah unit menang dalam modul SOM i'th (WTA),

(N_ij): Yang menunjukkan bobot untuk menentukan lingkungan dari prioritas utama neuron dalam modul SOM i, untuk tujuan pencarian penyimpanan. Pada kebanyakan aplikasi, k mencakup semua neuron dalam modul dan kedua N_ij dan l diabaikan, seperti pada Gambar. 13.2.

 l: yang menunjukkan neuron pertama yang akan dipindai (ditentukan oleh bobot N_ij) yang menunjukkan proporsionalitas.

Kemudian bobot N_j Gambar. 13.1 di atas hanya digunakan dalam besar pengambilan / penjelajahan masalah. Mereka diinisialisasi pada beberapa nilai non-nol kecil acak (dipilih dari seragam distribusi) dan meningkat secara linear setiap kali neuron yang tepat terpilih sebagai pemenang.

13.2.7. Initialization and local minima

Berbeda dengan kebanyakan jaringan lain, jaringan saraf LAMSTAR tidak sensitive untuk inisialisasi dan tidak akan berkumpul untuk minimum lokal. Semua bobot Link harus diinisialisasi dengan nilai konstan yang sama, sebaiknya nol. Namun inisialisasi dari bobot penyimpanan w_ij dari Sec. 13.2.2 dan N_j  dari Sec. 13.2.6 harus secara acak untuk nilai-nilai rendah.

Sekali lagi, berbeda dengan sebagian besar jaringan saraf lainnya, LAMSTAR akan tidak bertemu untuk minimum local.

13.3. Forgetting Feature

Forgetting feature diperkenalkan oleh faktor F (k) seperti :

Untuk setiap L Link berat , di mana k menunjukkan kata masukan k'th dan di mana F (k) adalah selisih kecil yang bervariasi dari waktu ke waktu (lebih k).

Dalam realisasi tertentu LAMSTAR itu, penyesuaian sebagai :

F (k) = 0 lebih berturut-turut kata p - 1 dianggap input;                     (13.10-a)

tapi

F (k) = bL per setiap kata masukan p'th                                              (13.10-b)

di mana L adalah link berat dan

b <1                                                                                                     (13.10-c)

katakanlah, b = 0.5:

Selanjutnya, dalam disukai realisasi L_max tak terbatas, kecuali untuk pengurangan.

perhatikan rumus pers. (13.9) dan (13.10), Link bobot L_i,j hamper nol, jika tidak berhasil dipilih. Oleh karena itu, korelasi L yang tidak berpartisipasi dalam diagnosis / keputusan menyebabkan kesalahan diagnosis / keputusan secara bertahap terlupakan. Fitur melupakan memungkinkan jaringan untuk cepat mengambil informasi terbaru. Karena nilai link ini menurun secara bertahap dan tidak drop langsung ke nol, jaringan dapat kembali mengambil informasi terkait dengan link tersebut. Fitur melupakan jaringan LAMSTAR membantu untuk menghindari kebutuhan untuk mempertimbangkan jumlah link yang sangat besar.

13.4. Training vs Operational Runs

Tidak ada alasan untuk menghentikan pelatihan, pertama n set (kata input) data yang hanya untuk menetapkan bobot awal untuk pengujian kata-kata input (yang memang menjalankan situasi normal) di LAMSTAR, kita masih bisa melanjutkan pelatihanyang ditetapkan oleh set (input-kata oleh input-kata). Dengan demikian, NETWORK terus menyesuaikan diri selama pengujian dan operasional berjalan rutin.

13.4.1. INPUT WORD for training and for information retrieval

Dalam aplikasi seperti diagnosa medis, sistem LAMSTAR terlatih dengan memasukkan gejala / pasangan diagnosis (atau pasangan diagnosis / pengobatan). masukan kata X seperti bentuk berikut:

di mana x_i adalah subwords masukan dan d_i adalah subwords mewakili output sebelumnya dari jaringan (diagnosis / keputusan).

13.5. Advanced Data Analysis Capabilities

Karena semua informasi dalam jaringan LAMSTAR dikodekan dalam korelasi link, LAMSTAR dapat dimanfaatkan sebagai alat analisis data. Dalam hal ini sistem menyediakan analisis data input seperti mengevaluasi pentingnya subwords input, kekuatan korelasi antara kategori, atau kekuatan korelasi antara neuron individu.

analisis sistem input data melibatkan dua tahap:

(1) pelatihan dari sistem (seperti yang dijelaskan dalam Sec. 13.4)

(2) analisis nilai-nilai link korelasi seperti yang dibahas di bawah ini.

Setelah fase pelatihan selesai, sistem LAMSTAR Link korelasi (link bobot) tertinggi dan pesan laporan yang terkait dengan kelompok di modul SOM dihubungkan dengan link ini. Link dapat dipilih dengan dua metode:
(1)       sponsor dengan nilai melebihi pra-defined threshold,

(2)       sejumlah nomor link di menghubungkan dengan nilai tertinggi.

13.5.1. Feature extraction and reduction in the LAMSTAR NN

Definisi I: Sebuah fitur dapat diekstraksi oleh matriks A (i; j) dimana i menunjukkan sebuah neuron dalam penyimpanan SOM modul j. Semua entri adalah 1 sedangkan sisanya adalah 0. Selanjutnya, A (i, j) dapat dikurangi melalui sifat (b) ke (e).

a.      sebagian besar (setidaknya) lebih tidak bisa subword (memori neuron) {i} semua modul SOM (yaitu, seluruh NN) sehubungan dengan output yang diberikan {dk} keputusan dan atas semua kata-kata input, dilambangkan sebagai [i*, s*/dk], diberikan oleh:

di mana p tidak sama dengan s, L (j, p / dk) yang menunjukkan berat hubungan antara j'th neuron di lapisan p dan memenangkan keluaran-layer neuron dk.

b.  setidaknya SOM signifikan modul {s **} per keputusan output yang diberikan {dk} atas semua kata-kata masukan diberikan oleh:

       Perhatikan bahwa untuk menentukan modul paling signifikan, ketidaksamaan di atas dibalik.

c.   neuron {i ** (dk)} yang paling signifikan dalam modul SOM tertentu per keputusan yang diberikan keluaran (dk), diberikan oleh i * (s; dk) sehingga:

       Perhatikan bahwa untuk menentukan neuron yang paling signifikan dalam modul (s), ketidaksamaan di 

       atas dibalik. 

d.        Redundancy via Internal Links: Jika link bobot L (p; a / q; b) dari setiap neuron {p} di lapisan {a} untuk beberapa neuron {q} di lapisan {b} sangat tinggi, WHILE itu (dekat) nol untuk setiap neuron lainnya di lapisan {b}, kita misalkan neuron {q} di lapisan {b} sebagai q (p). Sekarang, jika ini berlaku untuk semua neuron {p} di lapisan {a} yang pernah terpilih, maka lapisan {b} adalah REDUNDANT, selama jumlah neuron {p} lebih besar atau sama dengan jumlah {q (p) }, dan lapisan {b} harus dihapus.

Definisi II: Jika jumlah {q (p)} neuron kurang dari jumlah {p} neuron, maka lapisan {b} disebut INFERIOR LAYER bagi {a}.

e.        Zero-Information Redundancy: Jika hanya satu neuron yang selalu menang dalam lapisan (k), terlepas dari keputusan output, maka lapisan tidak mengandung informasi dan itu berlebihan.

13.6. Correlation, Interpolation, Extrapolation and Innovation-Detection

13.6.1. Correlation feature

a.  Correlation-Layer Set-Up Rule: Membangun lapisan SOM tambahan dilambangkan sebagai CORRELATION-LAYERS λ (p / q, dk), sehingga nilai dari penjumlahan CORRELATION-LAYERS ini adalah:

b.     Interpolation/Extrapolation via Internal Link: Untuk kata masukan yang diberikan yang berhubungan dengan keputusan output dk, jika tidak ada masukan subword yang berhubungan dengan lapisan (p), maka neuron N (i, p) yang memilikisummed-correlation link tinggi (beban internal link) dengan memenangkan neuron (untuk kata input yang sama) di lapisan lain v, akan dianggap sebagai interpolasi / ekstrapolasi neuron di lapisan p untuk masukan kata itu. Namun, tidak ada imbalan / hukuman yang akan diterapkan untuk neuron selama itu adalah neuron interpolasi / ekstrapolasi.

c.      Interpolation/Extrapolation via Correlation Layers: neuron N (i, p) dianggap sebagai neuron interpolasi / ekstrapolasi untuk lapisan p jika memenuhi:

d.    Redundansi melalui Korelasi-Layers: Misalkan p menjadi lapisan 'paling signifikan'  dan I menjadi neuron di lapisan 'paling signifikan' itu. Lapisan p berlebih apabila pada semua kata masukan ada lapisan q 'paling signifikan' lainnya sehingga, untuk setiap keputusan output dan untuk setiap neuron N (i, p), hanya satu neuron korelasi i, p / j, q (yaitu, hanya satu j per masing-masing seperti i, p) yang memiliki keluaran link bobot nol untuk setiap keputusan output dk, sehingga setiap neuron N (j, p) selalu dikaitkan dengan hanya satu neuron N (j, p) di beberapa lapisan p.

13.6.2. Innovation detection in the LAMSTAR NN

e.   Jika link-bobot dari input yang diberikan lapisan SOM ke keluaran lapisan output berubah berulang kali (di luar ambang batas) dalam interval waktu tertentu (jumlah tertentu kata-kata tertentu masukan berturut yang sedang diterapkan), dengan relatif ke Link bobot dari lapisan masukan SOM lain, maka inovasi terdeteksi sehubungan dengan lapisan input (kategori).

f.      Inovasi juga terdeteksi jika bobot antara neuron dari satu input lapisan SOM ke lapisan input SOM lain sama berubah.

13.7. Concluding Comments and Discussion of Applicability

Jaringan saraf LAMSTAR menggunakan fitur dasar dari banyak jaringan saraf lainnya.

Jaringan LAMSTAR memfasilitasi analisis multi dimensi variabel masukan untuk menetapkan, misalnya, bobot yang berbeda (penting) untuk item data, menemukan korelasi antara variabel masukan, atau melakukan identifikasi, pengakuan dan pengelompokan pola. Jaringan LAMSTAR dapat dilatih dengan data yang tidak lengkap atau kategori set. 

Sistem LAMSTAR dapat dimanfaatkan sebagai:

·          Sistem diagnosis medis berbasis komputer [Kordylewski dan Graupe 2001, Nigam dan Graupe 2004, Muralidharan dan Rousche 2005].

·           Tool Untuk evaluasi keuangan.

·         Alat untuk pemeliharaan industri dan diagnosis kesalahan (pada baris yang sama seperti aplikasi untuk diagnosis medis).

·           Alat untuk data mining [Carino et al, 2005].

·           Alat untuk browsing dan pengambilan informasi.

·           Alat untuk analisis data, klasifikasi, browsing, dan prediksi [Sivaramakrishnan dan Graupe, 2004].

·           Alat untuk mendeteksi gambar dan pengakuan [Girado et al, 2004].

·           Bantuan Pengajaran.

·           Alat untuk menganalisis survei dan kuesioner tentang beragam item.

13.A. LAMSTAR Network Case Study∗: Character Recognition

13.A.1. Introduction

Kasus ini fokus pada pengenalan karakter ‘6’, ‘7’, ‘X’, dan ‘rest of the world’. Karakter pada training dan testing set diwakilkan oleh input ‘1’ dan ‘0’ dalam grid 6x6.

13.A.2. Design of the network

LAMSTAR network memiliki komponen:

(a)     INPUT WORD AND ITS SUBWORDS:

Kata input (dalam hal ini, karakter) dibagi menjadi beberapa subwords. Setiap subword merupakan pelengkap dari kata input. Pembagian subword dalam masalah pengenalan karakter dilakukan dengan mempertimbangkan setiap baris dan setiap kolom sebagai subword maka mengakibatkan total 12 subwords untuk karakter tertentu.

(b)     SOM MODULES FOR STORING INPUT SUBWORDS:

Untuk setiap subword ada modul Self Organizing Map (SOM) yang berfungsi sebagai Kohonen neuron ‘Winner take All’ dimana neuron pemenang memiliki output 1 sedangkan neuron lainnya dalam modul SOM memiliki output 0.

(c)      OUTPUT (DECISION) LAYER:

Lapisan output ini dirancang untuk memiliki dua lapisan, yang memiliki pola penembakan neuron sebagai berikut:

13.A.3. Fundamental principles

Prinsip dasar yang digunakan dalam mendesain dynamic SOM layer

Seperti yang telah dijelaskan sebelumnya, jumlah neuron dalam setiap modul SOM tidak tetap. Jaringan ini dirancang untuk tumbuh secara dinamis. Pada awalnya tidak ada neuron di salah satu modul. Jadi ketika karakter pelatihan dikirim ke jaringan, neuron pertama di tiap-tiap subword dibangun. outputnya dibuat 1 dengan menyesuaikan bobot berdasarkan prinsip ‘Winner Take All’. Ketika pola pelatihan kedua diinputkan ke sistem, ini diberikan sebagai masukan untuk neuron pertama dan jika output dekat dengan 1 (dengan nilai toleransi 0,05), maka neuron yang sama fired dan neuron lain tidak dibangun.

Prinsip Winner Take All

Modul SOM dirancang untuk menjadi Kohonen lapisan neuron, yang bertindak sesuai dengan Prinsip ‘Winner Take All’. Neuron Kohonen ini paling bagus mewakili input sehingga outputnya dibuat sama dengan 1 sedangkan semua output neuron lainnya menjadi 0. Prinsip ini disebut prinsip ‘Winner Take All’.

13.A.4. Training algorithm

(i) Subword Formation:

Pola input dibagi menjadi subwords sebelum pelatihan / pengujian jaringan LAMSTAR. Untuk melakukan ini, setiap baris dari input karakter 6x6 dibaca untuk membuat 6 subwords yang diikuti oleh setiap kolom untuk membuat 6 subwords lainnya dan menghasilkan total 12 subwords.

(ii) Input Normalization:

Tiap-tiap subwords dari setiap pola input dinormalisasi sebagai berikut:

Dimana, x = subword dari sebuah pola input. Selama proses tersebut, subwords ini, yang semuanya 0, diidentifikasi dan nilai normal mereka diatur secara manual ke 0.

(iii) Rest of the world Patterns:

Jaringan ini juga dilatih dengan pola rest of the world ‘C’, ‘I’ dan ‘||’.

(iv) Dynamic Neuron formation in the SOM modules:

Neuron pertama di semua modul SOM dibangun sebagai neuron Kohonen sebagai berikut:

·           Sebagai pola pertama input ke sistem, satu neuron dibangun dengan 6 input dan bobot acak untuk memulai pada awalnya dan mereka juga dinormalisasi seperti subwords masukan. Kemudian bobot disesuaikan sehingga output dari neuron ini dibuat sama dengan 1 (dengan toleransi 10^-5 menurut rumus:

·           Ketika subwords dari pola berikutnya adalah masukan untuk masing-masing modul, output di salah satu neuron sebelumnya diperiksa untuk melihat apakah dekat dengan 1 (dengan toleransi 0,05). Jika salah satu dari neuron memenuhi kondisi, maka ini dinyatakan sebagai neuron pemenang, yaitu, neuron yang bobotnya sangat mirip dengan pola input. Neuron lain dibangun dengan bobot yang telah diset baru yang dinormalisasi dan disesuaikan menyerupai input subword.

·           Selama proses ini, jika ada subword yang semuanya 0 maka ini tidak akan memberikan kontribusi untuk perubahan output dan karenanya output dibuat ke nol dan proses menemukan neuron pemenang dilewati untuk kasus seperti itu.

(v) Desired neuron firing pattern:

Lihat tabel 1.

(vi) Link weights:

Link bobot didefinisikan sebagai bobot yang berasal dari neuron pemenang pada setiap modul ke neuron output 2. Jika dalam desired firing, sebuah neuron fired, maka bobot link yang sesuai ditambahkan 0,05 setiap iterasi untuk 20 iterasi. Di sisi lain, jika neuron tidak fired maka bobot linknya dikurangi 0,05 sebanyak 20 kali.

(vii) Bobot di modul neuron SOM dan di link bobot tersimpan.

13.A.4.1. Training set

Jaringan LAMSTAR dilatih untuk mendeteksi karakter ‘6’, ‘7’, ‘X’ dan ‘rest of the world’. Training set terdiri dari 16 pola pelatihan, dimana 5 untuk masing-masing ‘6’, ‘7’ dan ‘X’ dan satu untuk karakter ‘rest of the world’.

13.A.4.2. ‘Rest of the world’ patterns

Pola rest of the world yang digunakan untuk melatih jaringan adalah sebagai berikut:

13.A.5. Testing procedure

Jaringan LAMSTAR diuji dengan 8 pola sebagai berikut:

·     Pola diproses untuk mendapatkan 12 subwords seperti sebelumnya. Normalisasi dilakukan untuk subwords seperti yang dijelaskan dalam pelatihan.

·           Bobot yang tersimpan dimuat

·       Subwords disebarkan melalui jaringan dan neuron dengan output maksimum pada lapisan Kohonen ditemukan dan bobot link mereka dikirim ke neuron output.

·           Output adalah jumlah dari semua bobot link.

·       Semua pola berhasil diklasifikasikan. Ada subwords yang benar-benar nol sehingga pola akan salah. Meskipun diklasifikasikan dengan benar.

13.A.5.1. Test pattern set

Jaringan ini diuji dengan 8 karakter yang terdiri dari 2 pola untuk masing-masing ‘6’, ‘7’, ‘X’ dan ‘rest of the world’. Semua pola yang memilki noise, baik itu terdistorsi atau baris/kolom yang kosong dihapus untuk menguji efisiensi pelatihan. Berikut ini adalah pola uji yang telah ditetapkan.

13.A.6. Results and their analysis

13.A.6.1. Training results

Hasil yang diperoleh setelah pelatihan jaringan disajikan pada Tabel 13.A.2:

·           Jumlah pola pelatihan = 16

·           Efisiensi Pelatihan = 100%

·           Jumlah modul SOM = 12

·           Jumlah neuron dalam 12 modul SOM setelah pembentukan neuron dinamis adalah:

13.A.6.2. Test results

Hasil pengujian jaringan ditunjukkan pada Tabel 13.A.3:

·           Jumlah pola pengujian = 8

·           Neuron fired pada modul untuk pola pengujian 8:

Pola firing dari neuron output untuk uji set diberikan dalam Tabel 13.A.4:

·           Efisiensi: 100%.

13.A.7. Summary and concluding observations

Summary:

·           Jumlah pola pelatihan = 16 (5 untuk masing-masing ‘6’, ‘7’, ‘X’ dan 1 untuk ‘rest of the world’

·           Jumlah pola test = 8 (2 untuk masing-masing untuk ‘6’, ‘7’, ‘X’ dan ‘seluruh dunia’ dengan bit error)

·           Jumlah modul SOM = 12

·           Jumlah neuron pada lapisan output = 2

·           Jumlah neuron pada modul SOM berubah secara dinamis. Merujuk pada tabel 2 untuk jumlah neuron di setiap modul.

·           Efisiensi = 100%

Observations:

·     Network ini jauh lebih cepat jika dibandingkan dengan backpropagation network untuk masalah pengenalan karakter yang sama.

·      Dengan secara dinamis membangun neuron dalam modul SOM, jumlah perhitungan sebagian besar berkurang karena waktu pencarian untuk menemukan neuron pemenang dikurangi.

·        Bahkan dalam kasus ketika neuron hilang (disimulasikan sebagai kasus di mana output dari neuron adalah nol yaitu, semua input yang nol), efisiensi recognition adalah 100%. Hal ini dikaitkan dengan bobot link, yang menyelesaikan situasi di atas.

·           The NN mengajarkan bahwa akan tersus berjalan meskipun tidak dilatih.

Pola tes di mana semuanya ber noise memiliki efisiensi 100%.