Νέες μηχανές αυτομάθησης βασισμένες στη φυσική θα μπορούσαν να αντικαταστήσουν τα τρέχοντα τεχνητά νευρωνικά δίκτυα και να εξοικονομήσουν ενέργεια. Η τεχνητή νοημοσύνη (ΤΝ) όχι μόνο προσφέρει εντυπωσιακή απόδοση, αλλά απαιτεί και σημαντική ενέργεια. Όσο πιο πολύπλοκες είναι οι εργασίες που αναλαμβάνει, τόσο μεγαλύτερη είναι η κατανάλωση ενέργειας. Οι επιστήμονες Βίκτορ Λόπεζ-Πάστορ και Φλόριαν Μαρκαρντ από το Ινστιτούτο Max Planck για τη Επιστήμη του Φωτός στο Erlangen της Γερμανίας, έχουν αναπτύξει μια μέθοδο για πιο αποδοτική εκπαίδευση της τεχνητής νοημοσύνης. Η μέθοδός τους χρησιμοποιεί φυσικές διεργασίες, αποκλίνοντας από τα παραδοσιακά ψηφιακά τεχνητά νευρωνικά δίκτυα.
Η Open AI, η εταιρεία υπεύθυνη για την ανάπτυξη του GPT-3, της τεχνολογίας που τροφοδοτεί το ChatGPT, δεν έχει αποκαλύψει την ποσότητα ενέργειας που χρειάστηκε για την εκπαίδευση αυτού του προηγμένου και γνωστικού τεχνητού ευφυούς συνομιλητή.
Σύμφωνα με τη γερμανική εταιρεία στατιστικών Statista, αυτό θα απαιτούσε 1000 μεγαβάτ-ώρες – περίπου τόση ενέργεια όση καταναλώνουν ετησίως 200 γερμανικά νοικοκυριά με τρεις ή περισσότερα άτομα. Παρόλο που αυτή η κατανάλωση ενέργειας επέτρεψε στο GPT-3 να μάθει αν η λέξη ‘deep’ είναι πιο πιθανό να ακολουθείται από τη λέξη ‘sea’ ή ‘learning’ στα σύνολα δεδομένων του, κατά πάσα πιθανότητα δεν έχει κατανοήσει τη βαθύτερη σημασία τέτοιων φράσεων.
Οι νευρωνικοί δίκτυα σε νευρομορφικούς υπολογιστές
Για να μειώσουν την κατανάλωση ενέργειας των υπολογιστών, και ιδιαίτερα των εφαρμογών της τεχνητής νοημοσύνης, τα τελευταία χρόνια αρκετά ερευνητικά ιδρύματα εξετάζουν ένα εντελώς νέο συναρμολογικό σχέδιο για το πώς οι υπολογιστές θα μπορούσαν να επεξεργαστούν δεδομένα στο μέλλον. Το συγκεκριμένο περιβάλλον ονομάζεται νευρομορφικός υπολογισμός. Παρόλο που αυτό ακούγεται παρόμοιο με τα τεχνητά νευρωνικά δίκτυα, στην πραγματικότητα έχει ελάχιστη σχέση με αυτά, καθώς τα τεχνητά νευρωνικά δίκτυα λειτουργούν σε συμβατικούς ψηφιακούς υπολογιστές.
Αυτό σημαίνει ότι το λογισμικό, ή ακριβέστερα ο αλγόριθμος, μοντελοποιείται με βάση τον τρόπο λειτουργίας του εγκεφάλου, αλλά τα ψηφιακά υπολογιστικά συστήματα λειτουργούν ως το υλικό. Εκτελούν τα βήματα υπολογισμού του νευρωνικού δικτύου σε ακολουθία, ένα πίσω από το άλλο, διακρίνοντας μεταξύ επεξεργαστή και μνήμης.
“Η μεταφορά δεδομένων μεταξύ αυτών των δύο στοιχείων καταναλώνει μόνο τεράστιες ποσότητες ενέργειας, όταν ένα νευρωνικό δίκτυο εκπαιδεύει εκατοντάδες δισεκατομμύρια παραμέτρους, δηλαδή συνάψεις, με έως ένα τεραμπάιτ δεδομένων,” λέει ο Florian Marquardt, διευθυντής του Ινστιτούτου Max Planck για την Επιστήμη του Φωτός και καθηγητής στο Πανεπιστήμιο του Erlangen.
“Ο ανθρώπινος εγκέφαλος είναι εντελώς διαφορετικός και πιθανότατα ποτέ δεν θα ήταν εξελικτικά ανταγωνιστικός, αν εργαζόταν με μια ενεργειακή αποδοτικότητα παρόμοια με αυτή των υπολογιστών με πυρίτιο των πυρίτων. Πιθανότατα θα απέτυχε λόγω υπερθέρμανσης.”
“Ο εγκέφαλος χαρακτηρίζεται από την εκτέλεση των πολλών βημάτων ενός συλλογιστικού διαδικασίας παράλληλα και όχι σειριακά. Οι νευρώνες, ή ακριβέστερα οι συνάψεις, είναι ταυτόχρονα επεξεργαστής και μνήμη συνδυασμένα. Διάφορα συστήματα σε όλο τον κόσμο εξετάζονται ως πιθανοί υποψήφιοι για τους νευρομορφικούς αντίστοιχους των νευρώνων μας, συμπεριλαμβανομένων φωτονικών κυκλωμάτων που χρησιμοποιούν το φως αντί για ηλεκτρόνια για να εκτελέσουν υπολογισμούς. Τα στοιχεία τους λειτουργούν ταυτόχρονα ως διακόπτες και κύτταρα μνήμης.”
“Μια φυσική μηχανή αυτο-μάθησης βελτιστοποιεί τις συνάψεις της ανεξάρτητα. Μαζί με τον Víctor López-Pastor, διδακτορικό φοιτητή στο Ινστιτούτο Max Planck για την Επιστήμη του Φωτός, ο Florian Marquardt έχει δημιουργήσει τη μέθοδο αποδοτικής εκπαίδευσης για νευρομορφικούς υπολογιστές.”
“Έχουμε αναπτύξει το έννοια της φυσικής μηχανής αυτο-μάθησης,” εξηγεί ο Florian Marquardt. “Η βασική ιδέα είναι να εκτελείται η εκπαίδευση ως φυσική διαδικασία, στην οποία τα παράμετρα της μηχανής βελτιστοποιούνται από την διαδικασία ίδια.”
“Ο μη απαιτούμενος αυτός ο εξωτερικός ανατροφοδοτικός μηχανισμός κάνει την εκπαίδευση πολύ πιο αποδοτική,” λέει ο Florian Marquardt. “Η εφαρμογή και η εκπαίδευση μιας τεχνητής νοημοσύνης σε μια φυσική μηχανή αυτο-μάθησης θα εξοικονομούσε όχι μόνο ενέργεια, αλλά και χρόνο υπολογιστών. “Η μέθοδός μας λειτουργεί ανεξαρτήτως του ποια φυσική διαδικασία λαμβάνει χώρα στη μηχανή αυτο-μάθησης, και δεν χρειάζεται να γνωρίζουμε ακριβώς τη διαδικασία,” εξηγεί ο Florian Marquardt. “Ωστόσο, η διαδικασία πρέπει να πληροί μερικές προϋποθέσεις.”
“Το πιο σημαντικό είναι να είναι αντιστρέψιμη, δηλαδή να μπορεί να εκτελείται εμπρός ή πίσω με ελάχιστη απώλεια ενέργειας.”
“Επιπλέον, η φυσική διαδικασία πρέπει να είναι μη γραμμική, δηλαδή αρκούντως πολύπλοκη,” λέει ο Florian Marquardt. Μόνο μη γραμμικές διαδικασίες μπορούν να επιτύχουν τις περίπλοκες μετασχηματισμούς μεταξύ δεδομένων εισόδου και αποτελεσμάτων. Ένα πινγκ-πονγκ που κυλάει πάνω σε μια πλάκα χωρίς να συγκρούεται με άλλο είναι μια γραμμική ενέργεια. Ωστόσο, αν διαταραχθεί από κάτι άλλο, η κατάσταση γίνεται μη γραμμική.
Πρακτική δοκιμή σε ένα οπτικό νευρομορφικό υπολογιστή Παραδείγματα αντιστρέψιμων, μη γραμμικών διαδικασιών μπορούν να βρεθούν στην οπτική. Πράγματι, ο Víctor López-Pastor και ο Florian Marquardt συνεργάζονται ήδη με μια πειραματική ομάδα που αναπτύσσει έναν οπτικό νευρομορφικό υπολογιστή. Αυτή η μηχανή επεξεργάζεται πληροφορίες σε μορφή επικαθισμένων φωτεινών κυμάτων, όπου κατάλληλα εξαρτήματα ρυθμίζουν τον τύπο και τη δύναμη της αλληλεπίδρασης. Ο στόχος των ερευνητών είναι να εφαρμόσουν το έννοια της φυσικής μηχανής αυτο-μάθησης στην πράξη.
“Ελπίζουμε να μπορέσουμε να παρουσιάσουμε την πρώτη φυσική μηχανή αυτο-μάθησης σε τρία χρόνια,” λέει ο Florian Marquardt. Έως τότε, θα υπάρχουν νευρωνικά δίκτυα που σκέπτονται με πολύ περισσότερες συνάψεις και εκπαιδεύονται με σημαντικά μεγαλύτερες ποσότητες δεδομένων από ό,τι σήμερα.
Ως αποτέλεσμα, πιθανώς θα υπάρξει μεγαλύτερη επιθυμία να εφαρμόσουμε νευρωνικά δίκτυα έξω από τους συμβατικούς ψηφιακούς υπολογιστές και να τα αντικαταστήσουμε με νευρομορφικούς υπολογιστές που έχουν εκπαιδευτεί αποδοτικά. “Είμαστε λοιπόν βέβαιοι ότι οι φυσικές μηχανές αυτο-μάθησης έχουν μεγάλες πιθανότητες να χρησιμοποιηθούν στην περαιτέρω ανάπτυξη της τεχνητής νοημοσύνης,” λέει ο φυσικός.
