Kérkel segíts, hogy ne maradjon hibás információ az oldalon!
Ha szerinted valami nem fedi a valóságot, kérlek írd meg, hogy javítani tudjam. Ha kérdésed van, fordulj hozzám bizalommal!

A következő címkéjű bejegyzések mutatása: neural networks. Összes bejegyzés megjelenítése
A következő címkéjű bejegyzések mutatása: neural networks. Összes bejegyzés megjelenítése

2008. július 6., vasárnap

Neurális hálózatok II.

Küszöbszintes hálózatok: Perceptron és Adaline

A Preceptront a kései 1950-es években publikálta Rosenblat. Ez egy egyrétegű hálózat, amely egy vagy több, a bemenetekhez wio súlyfaktorokon kersztül kötött, kimeneti o neuronból áll. Az összes kimeneti neuron az összes bemeneti neuronnal kapcsolatban áll. A legegyszerűbb esetben a hálózat csak két bemeneti és egy kimeneti neuronból áll. A kimeneti neuron bemenete a bemeneti neuronok súlyozott összege plussz a bias.
(A képre kattintva megtekintheted jobb minőségben.)
A kimeneti aktivációt az előző cikkben ismertetettek szerint a következő fv.-vel számíthatjuk:A hálózat küszöbszintes (Heaviside, sgn), mivel a kimenet állapota adott küszöb értéktől függ, ami jelen esetben a 0:A hálózat kimenete ezáltal a bemenetek állapotától függően +1 vagy -1 lehet, így besorolásra lehet használni. Ha az összegezett bemenet pozitív, akkor az egyik csoportba tartozik a bemeneit minta, ha negatív, akkor a másikba. Ez a felosztás egy egyenes menti felosztást eredményez, amelynek a függvénye:Ebből látszik, hogy a bias a besoroló egyenes ofszet értékét adja meg:
(A képre kattintva megtekintheted jobb minőségben.)

Megjegyzendő, hogy a súlyvektort is ábárzolni lehet a geometrikus megjelenítésben és az mindig merőleges az osztályozó függvényre.

A Perceptron tanulási folyamta:
Bemenő minták: X vector.
Kimenet: d(X), ami osztályozó feladat esetén általában +1 és -1.
Ilyen esetekben a perceptron tanulási szabálya egyszerű:
  1. Véletlenszerűen kiválasztott súlyokkal kezdjük.
  2. Az oktató csoportból kiveszünk egy X vektort.
  3. Ha y != d(X) akkor a súlyokat d wi= d(X) * xi értékkel megváltoztatjuk.
  4. Vissza a 2. pontba.
A kapcsolatok súlya mellett a küszöbszint súlyát is állítani kell, mégpedig úgy, hogy a változás legyen nulla, ha megfelelő a kimenet (d(X)) és legyen d(X) egyébként.



2008. július 5., szombat

Neurális hálózatok I.

Az elkövetkezőkben több, a neurális hálózatokkal foglalkozó bejegyzés is várható, mert a fejembe vettem, hogy megismerkedem velük egy picit közelebbről. Elsődlegesen a neurális hálózatok alapjaival és software-s implementálásával akarok foglalkozni. Előrevezetném, hogy a témának vannak mélységei és (főleg matematikai) bonyolultságai. A legjobb kalauz, amit találtam hozzá Ben Kenrose An Introduction to Neural Networks (1996) című könyve. Kiemelném, hogy a cikkek, amiket írni akarok nem saját gondolatok gyűjteménye, hanem egy kivonat, jegyzet a könyvből.

Kiemelném még a Neural Networks at your Fingertips
oldalt, ahol ANSI C-ben megvalósított neurális hálozatokat szimuláló programokat tett közzé Karsten Kutza. Sajnos a kommentezés szegényes (nincs), de rendezett a forráskód így könnyen követhető.

Jelölések: a jegyzetekben konzekvensen a könyv által megkötött jelöléseket fogom használni.

Bevezetés, alapfogalmak:
A neurális hálózatok alapelemei a neuronok. Ezek az emberi agyban megtalálható neuronok rendkívül leegyszerűsített modelljei. Ezek végzik az adat feldolgozását. Alapvetően három típusukat különböztetjük meg: bemeneti, rejtett (közbenső) és kimeneti neuront. A bemeneti neuronok feladata az információ fogadása a külvilág felől, itt nem történik feldolgozás. A közbenső és a kimeneti neuronok általában (az alap modell szerint) a bemeneti jeleiket adott súlyok alapján összegzik. Ez a súlyozás dönti el, hogy két neuron kapcsolatban áll-e és ha igen, akkor az mennyire szoros.
Bias: egy plusz bemenete a feldolgozó neuornoknak, amely mindig +1.
A kapcsolatot a következő képlet jellemzi:
, ahol teta a bias, wjk a j-ik neurontól a k-nak adott jele és yj a j-ik neuron kimenete.

Aktiváció és kimenet: a bemenetek súlyozott összegzése megadja a neuron aktuális aktivációs szintjét, amelyből egy függvénnyel kiszámítjuk a kimeneti jelet. A függvény lehet egy erősen hátoroló (kétértékű) például az sgn() függvény, lehet lineáris vagy fél-lineáris, vagy lehet finoman határoló. Finoman határoló függvények a sigmoid függvények. Ezek S alakúak. A legalapvetőbb sigmoid függvény a
Megjegyzendő, hogy léteznek olyan neuoronok is, amelyek kimenetét nem determinisztikus módon határozza meg a bemenetek állapota, hanem egy stochastikus függvény alapján a magas kimeneti érték valószínűségét határozzuk meg.

Hálózat típusok:
Előrecsatolt hálózatok: a hálózat több rétegből is állhat, de nem nem tartalmazhatnak visszacsatolást. A visszacsatolás az, amikor a neuronok kimenete a vele azonos rétegen belül van egy neuron bemenetére kötve, vagy egy (az adatfolyam iránya szempontjából) előrébb levő rétegben levő neuron bemenetére van kötve.
Visszacsatolt neurális hálózatok: tartalmaznak visszacsatolást.

A hálózatok tanítása:
A tanítás lehet direkt és relaxációs. Több módszer is létezik. Egyik mód az, hogy a súlyokat explicit módon a kívánt kimenetnek megfelelően állítjuk be, a priori (abból, ami volt) tudás felhasználásával. Másik mód az, hogy a renszert mintákkal tápláljuk és az maga állítja be a súlyokat adott szabályok alapján.
Így létezik:

  • Felügyelt tanulás vagy Asszociatív tanulás. Be és kimeneti párokkal tanítjuk.
  • Felügyelet nélküli tanulás vagy Önrendszerező tanulás. A rendszernek mintákat mutatunk amiből magának kell, hogy kialakítsa a döntést. Nincs a priori ismerethalmaz.
Legalapvetőbb súly változtatást számító képleg a Hebb szabály:ahol Gamma a tanulási ráta.
A delta-szabály, másnéven a Widrow-Hoff szabály figyelembe veszi a felügyelő által kívánt kimenet érétket is:ahol dk a kívánt kimeneti érték. A delta-szabályról a későbbiekben bővebben is lesz szó.

Bias, ofszet, küszöb értékek: jelentésük megegyezik és mindegyik egy konstans bemenetet jelent. Bár az utolsó kettőt néha az aktivációs függvényhez sorolják. Gyakorlatilag egy állandóan +1 bemenet az összes (nem bemeneti) neuronon.

Rétegek száma: előrecsatolt rendszerekben a bemeneti réteg nem végez feldolgozást, így azt nem számítjuk bele a rétegek számába. Így egy renszer bemeneti, rejtett és kimeneti réteggel két rétebű rendszernek számít.

Reprezentáció és a tanulás: a magas reprezentációs készsége egy rendszernek csak azt mutatja meg, hogy milyen pontossággal képes megközelíteni egy adott függvényt, ismerve, hogy az optimális súlyozás mellett is lesz kimeneti hiba. A második kérdés, ismerve, hogy minden rendszerben létezik optimális súlyozás, az, hogylétezik-e olyan módszer, amellyel ( iteratív módon) el lehet érni az optimális állapotot?