13.A. LAMSTAR Network Case Study∗: Character Recognition

13.A.1. Introduction

Kasus ini fokus pada pengenalan karakter ‘6’, ‘7’, ‘X’, dan ‘rest of the world’. Karakter pada training dan testing set diwakilkan oleh input ‘1’ dan ‘0’ dalam grid 6x6.

13.A.2. Design of the network

LAMSTAR network memiliki komponen:

(a)     INPUT WORD AND ITS SUBWORDS:

Kata input (dalam hal ini, karakter) dibagi menjadi beberapa subwords. Setiap subword merupakan pelengkap dari kata input. Pembagian subword dalam masalah pengenalan karakter dilakukan dengan mempertimbangkan setiap baris dan setiap kolom sebagai subword maka mengakibatkan total 12 subwords untuk karakter tertentu.

(b)     SOM MODULES FOR STORING INPUT SUBWORDS:

Untuk setiap subword ada modul Self Organizing Map (SOM) yang berfungsi sebagai Kohonen neuron ‘Winner take All’ dimana neuron pemenang memiliki output 1 sedangkan neuron lainnya dalam modul SOM memiliki output 0.

(c)      OUTPUT (DECISION) LAYER:

Lapisan output ini dirancang untuk memiliki dua lapisan, yang memiliki pola penembakan neuron sebagai berikut:

13.A.3. Fundamental principles

Prinsip dasar yang digunakan dalam mendesain dynamic SOM layer

Seperti yang telah dijelaskan sebelumnya, jumlah neuron dalam setiap modul SOM tidak tetap. Jaringan ini dirancang untuk tumbuh secara dinamis. Pada awalnya tidak ada neuron di salah satu modul. Jadi ketika karakter pelatihan dikirim ke jaringan, neuron pertama di tiap-tiap subword dibangun. outputnya dibuat 1 dengan menyesuaikan bobot berdasarkan prinsip ‘Winner Take All’. Ketika pola pelatihan kedua diinputkan ke sistem, ini diberikan sebagai masukan untuk neuron pertama dan jika output dekat dengan 1 (dengan nilai toleransi 0,05), maka neuron yang sama fired dan neuron lain tidak dibangun.

Prinsip Winner Take All

Modul SOM dirancang untuk menjadi Kohonen lapisan neuron, yang bertindak sesuai dengan Prinsip ‘Winner Take All’. Neuron Kohonen ini paling bagus mewakili input sehingga outputnya dibuat sama dengan 1 sedangkan semua output neuron lainnya menjadi 0. Prinsip ini disebut prinsip ‘Winner Take All’.

13.A.4. Training algorithm

(i) Subword Formation:

Pola input dibagi menjadi subwords sebelum pelatihan / pengujian jaringan LAMSTAR. Untuk melakukan ini, setiap baris dari input karakter 6x6 dibaca untuk membuat 6 subwords yang diikuti oleh setiap kolom untuk membuat 6 subwords lainnya dan menghasilkan total 12 subwords.

(ii) Input Normalization:

Tiap-tiap subwords dari setiap pola input dinormalisasi sebagai berikut:

Dimana, x = subword dari sebuah pola input. Selama proses tersebut, subwords ini, yang semuanya 0, diidentifikasi dan nilai normal mereka diatur secara manual ke 0.

(iii) Rest of the world Patterns:

Jaringan ini juga dilatih dengan pola rest of the world ‘C’, ‘I’ dan ‘||’.

(iv) Dynamic Neuron formation in the SOM modules:

Neuron pertama di semua modul SOM dibangun sebagai neuron Kohonen sebagai berikut:

·           Sebagai pola pertama input ke sistem, satu neuron dibangun dengan 6 input dan bobot acak untuk memulai pada awalnya dan mereka juga dinormalisasi seperti subwords masukan. Kemudian bobot disesuaikan sehingga output dari neuron ini dibuat sama dengan 1 (dengan toleransi 10^-5 menurut rumus:

·           Ketika subwords dari pola berikutnya adalah masukan untuk masing-masing modul, output di salah satu neuron sebelumnya diperiksa untuk melihat apakah dekat dengan 1 (dengan toleransi 0,05). Jika salah satu dari neuron memenuhi kondisi, maka ini dinyatakan sebagai neuron pemenang, yaitu, neuron yang bobotnya sangat mirip dengan pola input. Neuron lain dibangun dengan bobot yang telah diset baru yang dinormalisasi dan disesuaikan menyerupai input subword.

·           Selama proses ini, jika ada subword yang semuanya 0 maka ini tidak akan memberikan kontribusi untuk perubahan output dan karenanya output dibuat ke nol dan proses menemukan neuron pemenang dilewati untuk kasus seperti itu.

(v) Desired neuron firing pattern:

Lihat tabel 1.

(vi) Link weights:

Link bobot didefinisikan sebagai bobot yang berasal dari neuron pemenang pada setiap modul ke neuron output 2. Jika dalam desired firing, sebuah neuron fired, maka bobot link yang sesuai ditambahkan 0,05 setiap iterasi untuk 20 iterasi. Di sisi lain, jika neuron tidak fired maka bobot linknya dikurangi 0,05 sebanyak 20 kali.

(vii) Bobot di modul neuron SOM dan di link bobot tersimpan.

13.A.4.1. Training set

Jaringan LAMSTAR dilatih untuk mendeteksi karakter ‘6’, ‘7’, ‘X’ dan ‘rest of the world’. Training set terdiri dari 16 pola pelatihan, dimana 5 untuk masing-masing ‘6’, ‘7’ dan ‘X’ dan satu untuk karakter ‘rest of the world’.

13.A.4.2. ‘Rest of the world’ patterns

Pola rest of the world yang digunakan untuk melatih jaringan adalah sebagai berikut:

13.A.5. Testing procedure

Jaringan LAMSTAR diuji dengan 8 pola sebagai berikut:

·     Pola diproses untuk mendapatkan 12 subwords seperti sebelumnya. Normalisasi dilakukan untuk subwords seperti yang dijelaskan dalam pelatihan.

·           Bobot yang tersimpan dimuat

·       Subwords disebarkan melalui jaringan dan neuron dengan output maksimum pada lapisan Kohonen ditemukan dan bobot link mereka dikirim ke neuron output.

·           Output adalah jumlah dari semua bobot link.

·       Semua pola berhasil diklasifikasikan. Ada subwords yang benar-benar nol sehingga pola akan salah. Meskipun diklasifikasikan dengan benar.

13.A.5.1. Test pattern set

Jaringan ini diuji dengan 8 karakter yang terdiri dari 2 pola untuk masing-masing ‘6’, ‘7’, ‘X’ dan ‘rest of the world’. Semua pola yang memilki noise, baik itu terdistorsi atau baris/kolom yang kosong dihapus untuk menguji efisiensi pelatihan. Berikut ini adalah pola uji yang telah ditetapkan.

13.A.6. Results and their analysis

13.A.6.1. Training results

Hasil yang diperoleh setelah pelatihan jaringan disajikan pada Tabel 13.A.2:

·           Jumlah pola pelatihan = 16

·           Efisiensi Pelatihan = 100%

·           Jumlah modul SOM = 12

·           Jumlah neuron dalam 12 modul SOM setelah pembentukan neuron dinamis adalah:

13.A.6.2. Test results

Hasil pengujian jaringan ditunjukkan pada Tabel 13.A.3:

·           Jumlah pola pengujian = 8

·           Neuron fired pada modul untuk pola pengujian 8:

Pola firing dari neuron output untuk uji set diberikan dalam Tabel 13.A.4:

·           Efisiensi: 100%.

13.A.7. Summary and concluding observations

Summary:

·           Jumlah pola pelatihan = 16 (5 untuk masing-masing ‘6’, ‘7’, ‘X’ dan 1 untuk ‘rest of the world’

·           Jumlah pola test = 8 (2 untuk masing-masing untuk ‘6’, ‘7’, ‘X’ dan ‘seluruh dunia’ dengan bit error)

·           Jumlah modul SOM = 12

·           Jumlah neuron pada lapisan output = 2

·           Jumlah neuron pada modul SOM berubah secara dinamis. Merujuk pada tabel 2 untuk jumlah neuron di setiap modul.

·           Efisiensi = 100%

Observations:

·     Network ini jauh lebih cepat jika dibandingkan dengan backpropagation network untuk masalah pengenalan karakter yang sama.

·      Dengan secara dinamis membangun neuron dalam modul SOM, jumlah perhitungan sebagian besar berkurang karena waktu pencarian untuk menemukan neuron pemenang dikurangi.

·        Bahkan dalam kasus ketika neuron hilang (disimulasikan sebagai kasus di mana output dari neuron adalah nol yaitu, semua input yang nol), efisiensi recognition adalah 100%. Hal ini dikaitkan dengan bobot link, yang menyelesaikan situasi di atas.

·           The NN mengajarkan bahwa akan tersus berjalan meskipun tidak dilatih.

Pola tes di mana semuanya ber noise memiliki efisiensi 100%.

[Kembali]