Εικόνες που οι άνθρωποι αντιλαμβάνονται ως εντελώς ανεξάρτητες μπορούν να ταξινομούνται ως ίδιες από υπολογιστικά μοντέλα. Τα αισθητήρια συστήματα των ανθρώπων είναι πολύ καλά στο να αναγνωρίζουν αντικείμενα που βλέπουμε ή λέξεις που ακούμε, ακόμη κι αν το αντικείμενο είναι ανάποδα ή η λέξη εκφωνείται από φωνή που δεν έχουμε ακούσει ποτέ.
Οι υπολογιστικά μοντέλα που ονομάζονται “deep neural networks” μπορούν να εκπαιδευτούν να κάνουν το ίδιο πράγμα, αναγνωρίζοντας σωστά μια εικόνα ενός σκύλου ανεξάρτητα από το χρώμα της τρίχας του ή μια λέξη ανεξάρτητα από την τονικότητα της φωνής του ομιλητή. Ωστόσο, μια νέα μελέτη από νευροεπιστήμονες του MIT ανακάλυψε ότι αυτά τα μοντέλα συχνά αντιδρούν με τον ίδιο τρόπο και σε εικόνες ή λέξεις που δεν έχουν καμία ομοιότητα με τον στόχο.
Όταν αυτά τα νευρικά δίκτυα χρησιμοποιήθηκαν για να δημιουργήσουν μια εικόνα ή μια λέξη που ανταποκρίθηκε με τον ίδιο τρόπο σε ένα συγκεκριμένο φυσικό ερέθισμα, όπως μια εικόνα ενός αρκούδου, τα περισσότερα από αυτά δημιούργησαν εικόνες ή ήχους που δεν ήταν αναγνωρίσιμοι από ανθρώπους. Αυτό υποδηλώνει ότι αυτά τα μοντέλα αναπτύσσουν τις δικές τους “αμετάβλητες” – πράγμα που σημαίνει ότι αντιδρούν με τον ίδιο τρόπο σε ερεθίσματα με πολύ διαφορετικά χαρακτηριστικά.
Οι ευρήματα αυτά προσφέρουν έναν νέο τρόπο για τους ερευνητές να αξιολογούν πόσο καλά αυτά τα μοντέλα αντιγράφουν την οργάνωση της ανθρώπινης αισθητηριακής αντίληψης, σύμφωνα με τον Josh McDermott, καθηγητή συνεργάτη του τμήματος Εγκεφάλου και Γνωστικών Επιστημών του MIT και μέλος του McGovern Institute for Brain Research και του Center for Brains, Minds, and Machines του MIT.
“Αυτή η μελέτη δείχνει ότι μπορείτε να χρησιμοποιήσετε αυτά τα μοντέλα για να προκύψουν φυσιολογικά σήματα που καταλήγουν να είναι πολύ διαγνωστικά για τις αναπαραστάσεις στο μοντέλο”, λέει ο McDermott, ο οποίος είναι ο πρώτος συγγραφέας της μελέτης. “Αυτή η δοκιμή θα πρέπει να γίνει μέρος ενός συνόλου δοκιμών που χρησιμοποιούμε ως πεδίο για την αξιολόγηση των μοντέλων.”
H Jenelle Feather, PhD ’22, η οποία τώρα είναι ερευνητική συνεργάτιδα στο Flatiron Institute Center for Computational Neuroscience, είναι η πρώτη συγγραφέας της ανοικτής πρόσβασης μελέτης, η οποία δημοσιεύεται στο Nature Neuroscience. Ο Guillaume Leclerc, διδακτορικός φοιτητής του MIT, και ο Aleksander Mądry, καθηγητής της Cadence Design Systems στο MIT, είναι επίσης συγγραφείς της μελέτης.
Διαφορετικές αντιλήψεις Τα τελευταία χρόνια, οι ερευνητές έχουν εκπαιδεύσει βαθιά νευρικά δίκτυα που μπορούν να αναλύουν εκατομμύρια εισόδους (ήχους ή εικόνες) και να μάθουν κοινά χαρακτηριστικά που τους επιτρέπουν να ταξινομήσουν μια στόχο λέξη ή αντικείμενο περίπου με την ίδια ακρίβεια που το κάνουν οι άνθρωποι. Αυτά τα μοντέλα θεωρούνται αυτή τη στιγμή ως τα κορυφαία μοντέλα βιολογικών αισθητηριακών συστημάτων.
Πιστεύεται ότι όταν το ανθρώπινο αισθητήριο σύστημα πραγματοποιεί αυτού του είδους την ταξινόμηση, μαθαίνει να αγνοεί χαρακτηριστικά που δεν είναι σχετικά με την κύρια ταυτότητα ενός αντικειμένου, όπως πόσο φως φωτίζει το αντικείμενο ή από ποια γωνία το βλέπουμε. Αυτό είναι γνωστό ως “αμεταβλητότητα”, πράγμα που σημαίνει ότι τα αντικείμενα αντιλαμβάνονται ως τα ίδια ακόμη και αν δείχνουν διαφορές σε αυτά τα λιγότερο σημαντικά χαρακτηριστικά.
“Κλασικά, ο τρόπος με τον οποίο σκεφτόμαστε τα αισθητηριακά συστήματα είναι ότι αναπτύσσουν αμεταβλητότητες σε όλες αυτές τις πηγές ποικίλιας που μπορεί να έχουν διάφορα παραδείγματα του ίδιου πράγματος”, δηλώνει η Feather. “Ένα οργανισμός πρέπει να αναγνωρίζει ότι είναι το ίδιο πράγμα ακόμη κι αν εμφανίζεται ως πολύ διαφορετικά αισθητηριακά σήματα.”
Οι ερευνητές αναρωτήθηκαν αν βαθιά νευρωνικά δίκτυα που εκπαιδεύονται για την εκτέλεση καθηκοντικών εργασιών ταξινόμησης θα μπορούσαν να αναπτύξουν παρόμοιες αμεταβλητότητες. Για να προσπαθήσουν να απαντήσουν σε αυτήν την ερώτηση, χρησιμοποίησαν αυτά τα μοντέλα για να δημιουργήσουν διεγερτικά που παράγουν τον ίδιο τύπο αντίδρασης μέσα στο μοντέλο όπως ένα δείγμα διεγερτικό που δόθηκε στο μοντέλο από τους ερευνητές.
Σύγκριση Εικόνων Νευρωνικού Δικτύου Όταν αυτά τα νευρωνικά δίκτυα ρωτήθηκαν να δημιουργήσουν μια εικόνα ή ένα λόγο που θα τον τοποθέτανε στην ίδια κατηγορία με ένα συγκεκριμένο είσοδο, όπως μια εικόνα ενός αρκούδου, το περισσότερο από αυτό που παράγανε δεν ήταν αναγνωρίσιμο από ανθρώπινους παρατηρητές. Δεξιά βρίσκεται ένα παράδειγμα του τι κατάταξε το μοντέλο ως “αρκούδος”. Πίστωση: Ερευνητές του MIT
Ονομάζουν αυτά τα διεγερτικά “μεταμερικά μοντέλου,” αναβιώντας ένα ιδεώδες από την κλασική έρευνα της αντίληψης, όπου τα διεγερτικά που είναι αδύνατο να διακριθούν από ένα σύστημα μπορούν να χρησιμοποιηθούν για να διαγνωστεί η αμεταβλητότητά του. Η έννοια των μεταμερών αναπτύχθηκε αρχικά στη μελέτη της ανθρώπινης αντίληψης για να περιγράψει χρώματα που φαίνονται ίδια ακόμα κι αν αποτελούνται από διαφορετικά μήκη κύματος του φωτός.
Προς έκπληξή τους, οι ερευνητές διαπίστωσαν ότι το περισσότερο από τις εικόνες και τους ήχους που παράχθηκαν με αυτόν τον τρόπο δεν έμοιαζαν καθόλου με τα παραδείγματα που αρχικά δόθηκαν στα μοντέλα. Το περισσότερο από τις εικόνες ήταν ένα μπέρδεμα από τυχαία εμφανίζοντα pixels, και οι ήχοι ήταν αδιάκριτος θόρυβος. Όταν οι ερευνητές έδειξαν τις εικόνες σε ανθρώπους παρατηρητές, στις περισσότερες περιπτώσεις οι άνθρωποι δεν κατέταξαν τις εικόνες που συντάχθηκαν από τα μοντέλα στην ίδια κατηγορία με το αρχικό πρότυπο στόχο.
“Δεν είναι πραγματικά αναγνωρίσιμες από ανθρώπους. Δεν φαίνονται ή ακούγονται φυσικά και δεν έχουν ερμηνεύσιμα χαρακτηριστικά που μια πρόσωπο θα μπορούσε να χρησιμοποιήσει για να ταξινομήσει ένα αντικείμενο ή μια λέξη,” λέει ο Feather.
Τα ευρήματα υποδηλώνουν ότι τα μοντέλα έχουν κάπως αναπτύξει τις δικές τους αμεταβλητότητες που είναι διαφορετικές από αυτές που βρίσκονται στα ανθρώπινά συστήματα αντίληψης. Αυτό προκαλεί τα μοντέλα να αντιλαμβάνονται ζευγάρια διεγερτικών ως τα ίδια παρά το γεγονός ότι είναι πολύ διαφορετικά για έναν άνθρωπο.
Ιδιοσυγκριτικές αμεταβλητότητες Οι ερευνητές βρήκαν το ίδιο αποτέλεσμα σε πολλά διάφορα μοντέλα όρασης και ακουστικά. Ωστόσο, κάθε ένα από αυτά τα μοντέλα φάνηκε να αναπτύσσει τις δικές του μοναδικές αμεταβλητότητες. Όταν τα μεταμέρια από ένα μοντέλο παρουσιάστηκαν σε ένα άλλο μοντέλο, τα μεταμέρια ήταν εξίσου αναγνωρίσιμα στο δεύτερο μοντέλο με όσον αφορά τους ανθρώπους παρατηρητές.
“Η βασική συμπερασματική ιδέα είναι ότι αυτά τα μοντέλα φαίνεται να έχουν αυτό που αποκαλούμε ιδιοσυγκριτικές αμεταβλητότητες,” λέει ο McDermott. “Έχουν μάθει να είναι αμεταβλητα σε αυτές τις συγκεκριμένες διαστάσεις στον χώρο του διεγερτικού και είναι συγκεκριμένα για το μοντέλο, έτσι ώστε άλλα μοντέλα δεν έχουν τις ίδιες αμεταβλητότητες.”
Οι ερευνητές ανακάλυψαν επίσης ότι μπορούσαν να προκαλέσουν τα μεταμερή ενός μοντέλου να γίνουν πιο αναγνωρίσιμα για τους ανθρώπους χρησιμοποιώντας μια προσέγγιση που ονομάζεται αντιπαραβολική εκπαίδευση. Αυτή η προσέγγιση αναπτύχθηκε αρχικά για να αντιμετωπίσει μια άλλη περιοριστική πτυχή των μοντέλων αναγνώρισης αντικειμένων, που είναι ότι η εισαγωγή μικρών, σχεδόν αντιληπτών αλλαγών σε μια εικόνα μπορεί να οδηγήσει το μοντέλο σε λανθασμένη αναγνώριση της.
Οι ερευνητές διαπίστωσαν ότι η αντιπαραβολική εκπαίδευση, που περιλαμβάνει τη χρήση ορισμένων από αυτές τις ελαφρά τροποποιημένες εικόνες στα δεδομένα εκπαίδευσης, οδήγησε σε μοντέλα των οποίων τα μεταμερή ήταν πιο αναγνωρίσιμα για τους ανθρώπους, αν και δεν ήταν ακόμα τόσο αναγνωρίσιμα όσο τα αρχικά ερεθίσματα. Αυτή η βελτίωση φαίνεται ότι είναι ανεξάρτητη από τον τρόπο με τον οποίο η εκπαίδευση επηρεάζει την ικανότητα των μοντέλων να αντιστέκονται σε αντιπαραβολικές επιθέσεις, λένε οι ερευνητές.
“Αυτή η συγκεκριμένη μορφή εκπαίδευσης έχει μεγάλη επίδραση, αλλά δεν ξέρουμε πραγματικά γιατί έχει αυτήν την επίδραση”, λέει ο Feather. “Αυτό είναι ένα πεδίο για μελλοντική έρευνα.”
Η ανάλυση των μεταμερών που παράγονται από υπολογιστικά μοντέλα μπορεί να είναι ένα χρήσιμο εργαλείο για να αξιολογηθεί πόσο κοντά ένα υπολογιστικό μοντέλο μιμείται την υποκείμενη οργάνωση των ανθρώπινών αισθητήρων συστημάτων αντίληψης, λένε οι ερευνητές.
“Αυτό είναι ένα δοκιμαστικό στοιχείο που μπορείτε να εφαρμόσετε σε ένα δεδομένο μοντέλο για να δείτε εάν οι αμεταβλητότητες κοινοποιούνται μεταξύ του μοντέλου και των ανθρώπινων παρατηρητών”, λέει ο Feather. “Μπορεί επίσης να χρησιμοποιηθεί για να αξιολογηθεί πόσο ιδιοσυγκρασιακές είναι οι αμεταβλητότητες εντός ενός συγκεκριμένου μοντέλου, πράγμα που μπορεί να βοηθήσει στον εντοπισμό πιθανών τρόπων βελτίωσης των μοντέλων μας στο μέλλον.”
