Γενικά περι των Τεχνητών Νευρωνικών Δικτύων.
 
Τα πρώτα βήματα

    Στα πρώτα χρόνια της ανάπτυξης των νευρωνικών δικτύων οι ερευνητές προσπάθησαν να αντιγράψουν τον τρόπο οργάνωσης του εγκεφάλου όταν σκέπτονταν τον τρόπο της ρύθμισης και τους αλγόριθμους που έπρεπε να τους διέπουν . Όμως οι γνώσεις πάνω στην λειτουργία του εγκεφάλου ήταν περιορισμένες , όπως και σήμερα , έτσι οι ερευνητές έπρεπε να ξεπεράσουν τις γνώσεις αυτές και να βρουν δομές που να εκτελούν χρήσιμες λειτουργίες . Οι υποθέσεις , τελικά που κάνανε δεν επέτρεψαν την δημιουργία τέτοιων τεχνητών νευρωνικών δικτύων . Όμως ο συνεχιζόμενος παραλληλισμός με τον ανθρώπινο εγκέφαλο έκανε τους ερευνητές να προσπαθήσουν να οδηγήσουν τις λειτουργίες των ΤΝΔ στην ανθρώπινη συνείδηση . Αυτό θα οδηγούσε , όμως στον σταματιμό της έρευνας στον τομέα των ΤΝΔ το 1960 αν δεν αναχαιτίζονταν αυτός ο τρόπος σκέψεις για την ανάπτυξη των ΤΝΔ .
 

Το Τεχνητό Νευρώνιο

    Το Τεχνητό νευρώνιο σχεδιάστηκε ώστε να μιμείται τα χαρακτηριστικά των βιολογικών νευρώνων .Έτσι , ένα σύνολο από δεδομένα εισόδου (inputs) εφαρμόζεται , το καθένα αντιπροσωπεύει τα δεδομένα εξόδου (outputs) από άλλο νευρώνιο . Κάθε είσοδος πολλαπλασιάζεται από το αντίστοιχο βάρος (weight) , ανάλογα με την συναπτική δύναμη , και μετά όλα τα inputs πολλαπλασιαζόμενα με το βάρος αθροίζονται για να καθορίσουν το βαθμό ενεργοποιήσεις του νευρωνίου .Όλη αυτή η διαδικασία φαίνετε στο παρακάτω Σχήμα 1 . Παρά την ποικιλία που υπάρχει στα παραδείγματα των δικτύων , σχεδόν όλα στηρίζονται σε αυτό τον τρόπο δομής . Ένα σύνολο από inputs , που τα έχουμε ονομάσει χ1,χ2,....,χn , εφαρμόζεται στο τεχνητό νευρώνιο . Τα inputs αυτά , που συλλογικά μπορούμε να τα αντιστοιχήσουμε στις συντεταγμένες ενός διανύσματος Χ , παρομοιάζονται σαν τα σήματα που περνάνε διαμέσου των συνάψεων των βιολογικών νευρώνων . Κάθε σήμα πολλαπλασιάζετε από το συσχετιζόμενο weight w1,w2,...,wn πριν εφαρμοστεί στο αθροίστηκα τμήμα , που συμβολίζετε με το ελληνικό γράμμα Σ . Το κάθε βάρος αντιστοιχεί στην «δύναμη» (strength) μιας συναπτικής σύνδεσης των βιολογικών νευρώνων . Το σύνολο των βαρών το αντιστοιχούμε στις συντεταγμένες ενός διανύσματος W . Το αθροιστικό τμήμα , που στην περίπτωση του βιολογικού νευρωνίου είναι το σήμα του κυττάρου , προσθέτει όλα τα inputs που έχουν πολλαπλασιαστεί με τα βάρη αλγεβρικά και παράγει μια τιμή εξόδου που καλούμε NET . Αυτό η διαδικασία με την μορφή ενός μαθηματικού τύπου μπορεί να γραφεί ως εξής :   NET=X*Y
NET=x1*w1+x2*w2+ ... +xn*wn

Συνάρτηση ενεργοποιήσεις

Το σήμα ΝΕΤ , συνήθως , από εκεί και πέρα επεξεργάζεται από μια συνάρτηση ενεργοποιήσεις  F για να παράγει το σήμα εξόδου του νευρωνίου , που ονομάζετε OUT . Αυτή μπορεί να είναι ( η συνάρτηση ενεργοποιήσεις ) είτε μια απλή γραμμική σχέση : OUT=K(NET) , όπου Κ μια σταθερά ή από μια συνάρτηση κατωφλίου :
   OUT=1  αν ΝΕΤ>Τ
   OUT=0  για κάθε άλλη τιμή
,όπου T είναι η σταθερή τιμή του κατωφλίου είτε μια συνάρτηση που προσομοιώνει καλύτερα την μη-γραμμική ικανότητα μεταφοράς των βιολογικών νευρώνων και επιτρέπει την εκτέλεση , από το δίκτυο , γενικότερων λειτουργιών .

Στο ποιο πάνω Σχήμα 2 το τετράγωνο F δέχεται το σήμα ΝΕΤ και παράγει το σήμα OUT .Αν το F τετράγωνο επεξεργασίας συμπιέζει την έκταση του ΝΕΤ έτσι ώστε το OUT να μην υπερβαίνει ποτέ κάποιο κατώτερο όριο , αναφορικά με την τιμή του ΝΕΤ , ονομάζετε squashing function . Η squashing function συχνά επιλέγετε να είναι logistic συνάρτηση ή  ‘σηγμοιηδής’ (η γραφική της παράσταση να έχει σχήμα S όπως φαίνετε στο ποιο κάτω Σχήμα 3) . Η συνάρτηση μαθηματικά γράφετε σαν F(x)=1/(1+EXP(-x)) , {όπου EXP(-x) είναι μια δύναμη με βάση e και εκθέτη το -x} έτσι :
   OUT=1/(1+EXP(-NET))

Σε αντιστοιχία με τα αναλογικά ηλεκτρονικά συστήματα , μπορούμε να πούμε για την συνάρτηση ενεργοποιήσεις ότι είναι αυτή που ορίζει το μη-γραμμικό κέρδος για το ΤΝ. Το κέρδος αυτό υπολογίζεται αν βρούμε την αλλαγή που επιφέρει μια μικρή αλλαγή του σήματος NET πάνω στο σήμα OUT . ‘Έτσι , το κέρδος είναι η κλίση της καμπύλης στο καθορισμένο επίπεδο διέγερσης .Αναλυτικά , αρχικά έχει χαμηλή τιμή για μεγάλη αρνητική διέγερση (η καμπύλη είναι σχεδόν οριζόντια) μέχρι υψηλή τιμή για μηδενική διέγερση και πέφτει στην συνέχεια όταν η διέγερση γίνετε πολύ μεγάλη και θετική .Ο Grossberg (1973) βρήκε ότι η ικανότητα του μη-γραμμικού κέρδους έλυσε το noise-saturation (διαβρεχόμενα από θόρυβο) προβλήματα που αυτός έθεσε ,δηλ. πως το ίδιο το δίκτυο μπορεί να χειρίζεται μικρά και μεγάλα σήματα . Μικρά σήματα εισόδου απαιτούν υψηλό κέρδος διαμέσου του δικτύου αν θέλουμε να παράγουν χρήσιμη έξοδο , όμως μεγάλος αριθμός από υψηλά στάδια κέρδους  μπορούν να διαποτίσουν την έξοδο με μεγεθυμένο θόρυβο (τυχαία μεταβαλλόμενο) , αυτό μπορεί να παρουσιαστεί σε οποιοδήποτε δίκτυο μου είναι πραγματοποιήσιμο . Επίσης , μεγάλα σήματα εισόδου θα διαποτίσουν τα υψηλού κέρδους στάδια , εξουδετερώνοντας τα σήματα εξόδου που θα μπορούσαν να αξιοποιηθούν . Η κεντρική περιοχή του υψηλού κέρδους από την logistic συνάρτηση λύνει το πρόβλημα της επεξεργασίας μικρών σημάτων καθώς η περιοχή του , όπου στο θετικό και αρνητικό άκρο έχουμε κέρδος που ελαττώνετε , είναι κατάλληλη για μεγάλες διεγέρσεις . Με αυτό τον τρόπο το νευρώνιο λειτουργεί , με το κατάλληλο κέρδος , πάνω σε μια μεγάλη περιοχή των επιπέδων εισόδου .
 Μια άλλη συχνά χρησιμοποιούμενη συνάρτηση ενεργοποιήσεις είναι η υπερβολική εφαπτομένη . Έχει παρόμοιο σχήμα με την logistic συνάρτηση και χρησιμοποιείτε συχνά από τους βιολόγους σαν το μαθηματικό μοδέλο της nerve-cell ενεργοποίησης . Για να χρησιμοποιηθεί σαν συνάρτηση ενεργοποιήσεις του ΤΝΔ παίρνει την μορφή : OUT=tanh(x) . Σαν την logistic συνάρτηση η υπερβολική εφαπτομένη είναι σιγμοειδής αλλά είναι και συμμετρική ως προς την αρχή των αξόνων , έτσι το OUT παίρνει την τιμή 0 όταν το ΝΕΤ είναι 0 (όπως φαίνετε στο ποιο κάτω Σχήμα 3). Σε αντίθεση με την logistic συνάρτηση , η υπερβολική εφαπτομένη έχει διπλή τιμή για το OUT χαρακτηριστικό που φαίνετε να είναι ευεργετικό για ορισμένα δίκτυα .

Τα απλά μοδέλα των ΤΝ αγνοούν πολλά από τα χαρακτηριστικά των βιολογικών τους προτύπων . Για παράδειγμα , δεν παίρνουν υπόψη τους τον χρόνο καθυστέρησης πράγμα που έχει επίδραση πάνω στην δυναμική του συστήματος (η είσοδος παράγει αμέσως έξοδο) . Ακόμα δεν περιλαμβάνουν την αποτελεσματικότητα του συγχρονισμού η της συχνά μοδελοποιήσεις των λειτουργιών των βιολογικών νευρώνων , χαρακτηριστικά των οποίων μερική ερευνητές βρίσκουν πολύ κρίσιμα .
 Παρά τους περιορισμούς , δίκτυα που είχαν σχηματιστεί από τέτοιου είδους νευρώνια , παρουσιάζουν ιδιότητες που μας θυμίζουν πολύ έντονα τα βιολογικά συστήματα . Ίσως αρκετή από την βασική φύση των βιολογικών νευρώνων έχει χρησιμοποιηθεί ώστε να έχουμε ανταπόκριση παρόμοια με αυτή των βιολογικών συστημάτων , ίσως η ομοιότητα αυτή να είναι σύμπτωση , μόνο ο χρόνος και η έρευνα θα δείξει .
 

 Single-Layer (ενός στρώματος) Τεχνητά Νευρωνικά Δίκτυα

    Μολονότι ένα μόνο του νευρώνιο μπορεί να εκτελέσει μερικές απλές λειτουργίες που αφορούν την ανίχνευση απλών προτύπων , η δύναμη της υπολογιστικότητας των νευρωνίων ανοίγετε μπροστά μας μόνο όταν αυτά συνδεθούν σε δίκτυο . Το πιο απλό δίκτυο αποτελείτε από μια ομάδα από νευρώνια διατεταγμένους σε στρώμα , όπως φαίνετε στην δεξιά πλευρά του παρακάτω Σχήματος 4. Σημειώνουμε ότι , οι κύκλοι που φαίνονται στα αριστερά εργάζονται μόνο για το μίραζμα των τιμών εισόδου , δεν εκτελούν υπολογισμούς , και έτσι δεν θεωρούνται ότι αποτελούν στρώμα αντίθετα τα νευρώνια που εκτελούν υπολογισμούς έχουν την μορφή τετραγώνων . Το σετ των τιμών εισόδου Χ έχει το κάθε του στοιχείο συνδεδεμένο σε κάθε ΤΝ διαμέσου διαφορετικών βαρών . Τα πρώτα ΤΝΔ δεν ήταν περισσότερο πολύπλοκα από ότι αυτό εδώ . Το κάθε νευρώνιο απλά παράγει ένα άθροισμα από τις τιμές εισόδου του δικτύου που έχουν πολλαπλασιαστεί με τα αντίστοιχα βάρη .Στην πραγματικότητα στα τεχνητά και βιολογικά δίκτυα πολλές από τις συνδέσεις τους μπορεί να μην υπάρχουν , όμως φαίνονται όλες οι για λόγους γενικότητας .

Είναι πιο συμφέρον να θεωρούμε τα βάρη σαν τα στοιχεία ενός πίνακα W . Οι διστάσεις του πίνακα είναι m γραμμές και n στήλες , όπου m ο αριθμός των εισόδων και n  ο αριθμός των νευρώνων . Για παράδειγμα , το βάρος που συνδέει την 3η είσοδο με το 2ο νευρώνιο είναι το w3,2 .Με αυτό τον τρόπο φαίνετε ότι ο υπολογισμός του σετ των νευρώνων ΝΕΤ τιμών εξόδου Ν για ένα στρώμα πετυχαίνετε με πολλαπλασιασμό πινάκων . Έτσι Ν=Χ*W , όπου Ν και Χ είναι row vectors .

MULTILAYER (ΠΟΛΥΣΤΡΩΜΑ) ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ

    Μεγαλύτερα , περισσότερο πολύπλοκα δίκτυα , γενικά , προσφέρουν μεγαλύτερη ικανότητα υπολογισμών . Μολονότι τα δίκτυα έχουν κατασκευαστή με κάθε δυνατό τρόπο διάταξής τους , διατάσσοντας τα νευρώνια σε στρώμα μιμούνται την στρωματική δομή των διάφορων τμημάτων του εγκεφάλου .Τα πολύστρωμα δίκτυα , έχει αποδειχθεί , ότι έχουν ικανότητες πέρα από αυτές των μονόστρωμων δικτύων και στα πρόσφατα χρόνια αναπτύχθηκαν αλγόριθμοι για να τα εκπαιδεύσουν .
     Τα πολύστρωμα δίκτυα μπορούν να σχηματιστούν από ομάδες μονόστρωμων δικτύων , η έξοδος ενός στρώματος αποτελεί την είσοδο του απομένουν στρώματος . Στο παρακάτω Σχήμα 5 φαίνετε ένα τέτοιο δίκτυο , όπου έχουν σχεδιαστεί όλες οι ενώσεις .

 

Η ΜΗ-ΓΡΑΜΜΙΚΗ ΣΥΝΑΡΤΗΣΗ ΕΝΕΡΓΟΠΟΙΉΣΗΣ

    Τα πολύστρωμα δίκτυα δεν παρέχουν αύξηση της υπολογιστικής δύναμης από ότι ένα μονόστρωμο δίκτυο εκτός και αν υπάρχει μια μη-γραμμική συνάρτηση ενεργοποίησης ανάμεσα στα στρώματα .Υπολογίζοντας την έξοδο από ένα στρώμα πρέπει να πολλαπλασιάσουμε το vector εισόδου με τον πρώτο πίνακα βάρους και στην συνέχεια ( αν δεν υπάρχει κάποια μη-γραμμική συνάρτηση ενεργοποιήσεις ) το αποτέλεσμα πολλαπλασιάζεται με τον δεύτερο πίνακα βάρους . Αυτό μπορεί να εκφραστή ως εξής :
     (Χ*W1)*W2
Η αντιμεταθετική ιδιότητα ισχύει στους πίνακες , έτσι :
     Χ*(W1*W2)
Αυτό δείχνει ότι ένα δίκτυο με δυο στρώματα μπορεί να θεωρηθεί σαν ένα μονόστρωμο δίκτυο που έχει τον πίνακα βάρους του ίσο με τον γινόμενο τον δυο πινάκων των βαρών . Έτσι το κάθε πολύστρωμο δίκτυο μπορεί να αντικατασταθεί με το ισοδύναμο μονόστρωμο δίκτυο . Το μονόστρωμο δίκτυο έχει σοβαρούς περιορισμούς πάνω στην υπολογιστική του ικανότητα , έτσι οι μη-γραμμικές συναρτήσεις ενεργοποιήσεις είναι ζωτικές για την επέκταση της ικανότητας των δικτύων πέρα από αυτήν των μονόστρωμων δικτύων .
 

ΕΠΑΝΑΛΑΜΒΑΝΌΜΕΝΑ ΔΙΚΤΥΑ

    Τα δίκτυα που είδαμε μέχρι τώρα έχουν αναφερθεί δεν έχουν συνδέσεις επανατροφοδοσίας feedback δηλαδή συνδέσεις μέσο βαρών που ξεκινούν από την έξοδο ενός στρώματος και καταλήγουν στην είσοδο του ίδιου ή ενός άλλου προηγούμενου στρώματος . Αυτή είναι ιδική τάξη δικτύων που ονομάζονται non recurrent ή feedforward δίκτυα .Γενικά , δίκτυα που περιλαμβάνουν feedback συνδέσεις λέγεται ότι επαναλαμβάνονται . Τα nonrecurrent δίκτυα δεν έχουν μνήμη ,έτσι η έξοδος τους καθορίζετε πάντα από την παρούσα είσοδος και από τις τιμές των βαρών .Σε μερικές διατάξεις δικτύων τα recurrent δίκτυα επανατροφοδοτούν με προηγούμενες έξοδος την είσοδο ,έτσι η έξοδος τους καθορίζετε και από τις αντίστοιχες εισόδους και από τις προηγούμενες εξόδους . Για αυτό τον λόγο τα recurrent δίκτυα μπορούν να παρουσιάσουν ιδιότητες παρόμοιες με αυτές της μικρόχρονής ανθρώπινης μνήμης ,έτσι η κατάσταση των εξόδων του δικτύου εξαρτάτε κατά ένα μέρος από τα προηγούμενες τους εισόδους .
 

ΕΠΚΑΙΔΕΥΟΝΤΑΣ ΕΝΑ ΤΕΧΝΗΤΟ ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ

    Το πιο σημαντικό χαρακτηριστικό , από όλα , που αφορά τα ΤΝΔ είναι η ικανότητα τους να μαθαίνουν. Η εκπαίδευση τους δείχνει τόσους πολλούς παραλληλισμούς με την διανοητική ανάπτυξη των ανθρώπων , πράγμα που μας κάνει να πιστεύουμε ότι έχουμε πετύχει την βασική κατανόηση αυτής της διαδικασίας . Η ευφορία μας πρέπει να τερματιστεί εδώ γιατί η μάθηση στα ΤΝΔ είναι περιορισμένη και πολλές είναι οι δυσκολίες που πρέπει να  λυθούν πριν πούμε ότι βρισκόμαστε στο σωστό δρόμο .Όμως πολλές εντυπωσιακές παρουσιάσεις έχουν γίνει , όπως το NetTalk του Sejnowski , και πολλές πρακτικές εφαρμογές άρχισαν να ξεπροβάλουν .

ΤΟ ΑΝΤΙΚΕΙΜΕΝΟ ΤΗΣ ΕΚΠΑΙΔΕΥΣΗΣ

    Ένα δίκτυο εκπαιδεύετε έτσι ώστε η εφαρμογή ενός σετ από εισόδους δίνει το επιθυμητό σετ από εξόδους . Κάθε τέτοιο σετ από εισόδους ή εξόδους αναφέρεται σε μας σαν vector ( διάνυσμα ) . Η εκπαίδευση πετυχαίνετε με συνεχή εφαρμογή από διανύσματα εισόδου καθώς τα βάρη του δικτύου προσαρμόζονται με βάση μια προκαθορισμένη διαδικασία . Κατά την διάρκεια της εκπαίδευσης τα βάρη του δικτύου σταδιακά συγκλίνουν σε τιμές έτσι ώστε το κάθε διάνυσμα εισόδου να δίνει το επιθυμητό διάνυσμα εξόδου .

ΕΚΠΑΙΔΕΥΣΗ ΜΕ ΕΠΙΒΛΕΨΗ

    Οι αλγόριθμοι εκπαίδευσης είναι χωρισμένοι σε αυτούς που εποπτεύονται και σε αυτούς που δεν εποπτεύονται . Η εποπτευόμενη εκπαίδευση απαιτεί το ζευγάρωμα το κάθε διανύσματος εισόδου με το διάνυσμα στόχο που αντιπροσωπεύει την επιθυμητή έξοδο , μαζί ονομάζονται training pair ( ζευγάρι εκπαίδευσης ) . Για να εκπαιδευτή ένα δίκτυο χρειάζεται κάποιος αριθμός τέτοιων ζευγαριών . Ένα διάνυσμα εισόδου εφαρμόζεται , η έξοδος του δικτύου υπολογίζεται και συγκρίνεται με το αντίστοιχο διάνυσμα στόχο και η διαφορά ( λάθος ) τροφοδοτείτε πίσω διαμέσου του δικτύου και τα βάρη αλλάζουν σύμφωνα με ένα αλγόριθμο που τείνει να ελαττώσει το λάθος . Τα διανύσματα εισόδου εφαρμόζονται συνεχώς , και τα λάθη υπολογίζονται και τα βάρη προσαρμόζονται για το κάθε διάνυσμα μέχρι το λάθος ολόκληρου του σετ εκπαίδευσης να είναι σε ένα αποδεκτό χαμηλό επίπεδο .
 

ΜΗ ΕΠΟΠΤΕΥΟΜΕΝΗ ΕΚΠΑΙΔΕΥΣΗ

    Παρά την επιτυχία μερικών εφαρμογών η εποπτευόμενη εκπαίδευση έχει κατηγορηθεί ότι είναι βιολογικά αδύνατη , είναι δύσκολο να συλλάβει κανείς ένα μηχανισμό εκπαίδευσης στο εγκέφαλο που συγκρίνει της επιθυμητές  και  της ενεργές εξόδους , που να εκτελεί διαδικασίες διόρθωσης τροφοδοτώντας πίσω διαμέσου του δικτύου . Αν ίσχυε αυτό τότε από πού αυτός ο μηχανισμός του εγκεφάλου θα είχε το πρότυπο της επιθυμητής εξόδου . Η μη εποπτευόμενη εκπαίδευση είναι πολύ περισσότερο εύλογη σαν μοδέλο της μάθησης στα βιολογικά συστήματα . Αναπτύχθηκέ από τον Kohonen (1984) και πολλούς άλλους , δεν απαιτεί διανύσματα στόχους για την έξοδο και για αυτό δεν γίνεται σύγκριση με την κάποια προκαθορισμένη ιδανική απόκριση . Το σετ εκπαίδευσης αποτελείτε μόνο από διανύσματα εισόδου . Ο αλγόριθμος εκπαίδευσης αλλάζει τα βάρη του δικτύου για να παράγονται διανύσματα εξόδου που να είναι συνεπής , δηλαδή είτε η εφαρμογή ενός από τα διανύσματα εκπαίδευσης είτε η εφαρμογή ενός διανύσματος που είναι αρκετά όμοιος με αυτόν θα παράγει το ίδιο πρότυπο από εξόδους . Η διαδικασία εκπαίδευσης βγάζει της στατιστικές ιδιότητας του σετ εκπαίδευσης και ομαδοποιεί τα παρόμοια διανύσματα σε τάξης . Εφαρμόζοντας ένα διάνυσμα από δοσμένη τάξη στη είσοδο θα παράγει συγκεκριμένο διάνυσμα εξόδου , αλλά δεν υπάρχει κανένας τρόπος ώστε να καθοριστεί πριν από την εκπαίδευση ποιο συγκεκριμένο πρότυπο εξόδου θα παραχθεί από δοσμένη τάξη διανύσματος εισόδου . Για αυτό οι έξοδοι ενός τέτοιου δικτύου πρέπει , γενικά , να μετατραπούν σε μια κατανοητή μορφή που είναι επακόλουθο της διαδικασίας εκπαίδευσης . Αυτό δεν είναι κάποιο σοβαρό πρόβλημα . Είναι συνήθως απλό το θέμα της αναγνώρισης της σχέσης εισόδου-εξόδου , που έχει εγκαθιδρυθεί από το δίκτυο

 ΑΛΓΟΡΙΘΜΟΣ ΕΚΠΑΙΔΕΥΣΗΣ

    Οι περισσότερη σημερινοί αλγόριθμοι έχουν εξελιχθεί από τις ιδέες του D.O. Hebb (1962). Αυτός πρότείνε ένα μοδέλο της μη-εποπτευόμενης εκμάθησης στο οποίο τα βάρη αυξάνονται όταν και οι δυο νευρώνες πηγή - αποδέκτης ενεργοποιούνται . Με αυτό τον τρόπο τα συχνά χρησιμοποιούμενοι διάδρομοι στο δίκτυο είναι ενισχυμένοι , και το φαινόμενο της συνήθειας και μάθησης διαμέσου της επανάληψης εξηγείτε έτσι .
    Ένα ΤΝΔ που χρησιμοποιεί τον τρόπο μάθησης του Hebbian θα αυξήσει τα βάρη του δικτύου αυτού σύμφωνα με τα παράγωγα των ανώτερων επίπεδων των νευρώνων πηγής και αποδέκτη . Δηλαδή :
                    wij(n+1)=wij(n)+α*OUTi*OUTj
, όπου
wij(n) : η τιμή του βάρους από τον νευρώνα i στον νευρώνα j πρίν από την προσαρμογή
wij(n+1) : η τιμή του βάρους από τον νευρώνα i στον νευρώνα j μετά την προσαρμογή
α : ο συντελεστής των ορίων μάθησης
OUTi : η έξοδος από τον νευρώνα i και η είσοδος στον νευρώνα j
OUTj : η έξοδος από των νευρώνα j .