Πριν από μερικές ημέρες, η Anthropic, η startup εταιρία τεχνητής νοημοσύνης που ιδρύθηκε από πρώην μέλη της OpenAI, κυκλοφόρησε το νέο της προηγμένο μεγάλο γλωσσικό μοντέλο, το Claude 3, το οποίο σύμφωνα με τις πρώτες δοκιμές ξεπερνά το GPT-4 που βρίσκεται πίσω από το ChatGPT. Αμέσως, λοιπόν, ειδικοί αλλά και απλοί χρήστες ξεκίνησαν να δοκιμάζουν τις ικανότητες του Claude 3, το οποίο έχει αφήσει πολλούς έκπληκτους.
Με αφορμή την σημαντική αυτή κυκλοφορία, ένα μέσο αποφάσισε να αξιολογήσει τα περισσότερα διαθέσιμα AI μοντέλα με matrix IQ τεστ. Μάλιστα, για να βελτιώσει τη μεθοδολογία, μετέτρεψε τα τεστ αυτά σε πλήρως λεκτικά, καθώς πολλές φορές τα LLM έδιναν σωστές απαντήσεις στην θεωρία, αλλά τα αποτελέσματα είχαν λάθη εξαιτίας της ‘όρασής’ τους. Αν δηλαδή τους δινόντουσαν ξακάθαρα τα τεστ, χωρίς να χρειάζεται να εξάγουν τις ερωτήσεις και τις διαθέσιμες απαντήσεις από εικόνες, τα τελικά αποτελέσματα ήταν πολύ καλύτερα.
Δημιουργώντας, λοιπόν, μια λεκτική έκδοση του τύπου-matrix Norway Mensa ΙQ τεστ των 35 ερωτήσεων, το μέσο διαπίστωσε πόσο έξυπνα είναι τελικά τα διάφορα μοντέλα. Κάθε AI έτρεξε το τεστ από δύο φορές, με το τελικό σκορ της να είναι προφανώς ο μέσος όρος. Τι έδειξαν, λοιπόν, οι δοκιμές:
Το GPT-4 ήταν πράγματι το καλύτερο διαθέσιμο μοντέλο μέχρι τώρα, με IQ 85 πόντων. Τα υπόλοιπα μοντέλα, όπως το Bing Copilot της Microsoft, τα Gemini της Google, το Grok της xAI του Elon Musk και το Llama-2 της Meta είχαν σημαντικά μικρότερα σκόρ από 79 μέχρι 67 πόντους στην χειρότερη περίπτωση. Μάλιστα, το GPT-3.5 της OpenAI, το οποίο εξυπηρετεί τα αιτήματα στο δωρεάν ChatGPT έχει IQ 64 μονάδων. Αν κάποιος απλά απαντά τυχαία στις ερωτήσεις θα προκύψει σκορ 63.5 μονάδες, οπότε το GPT-3.5 οριακά ξεπερνά την χειρότερη αυτή περίπτωση.
Τα πράγματα όμως αλλάζουν δραματικά με το νέο Claude 3 μοντέλο. Η Anthropic έχει κάνει τεράστια αλμάτα μέσα σε ένα περίπου χρόνο. Το Claude-1 που κυκλοφόρησε τον Μάρτιο του 2023 έχει σκορ 64, δηλαδή οριακά καλύτερο από τυχαία απάντηση στις ερωτήσεις. Σε διάστημα 4 μηνών, το Claude-2 έκανε άλμα 18 IQ πόντων. Τώρα, το Claude 3 έκανε ξανά αντίστοιχο άλμα και μέσα σε 8 μήνες έφτασε στις 101 μονάδες IQ!
Ναι, και επίσημα, το ολοκαίνουργιο AI μοντέλο της Anthropic θα μπορούσε να πει κανείς ότι είναι πιο έξυπνο από τον μέσο άνθρωπο, που σύμφωνα με έρευνες έχει IQ που κυμαίνεται από 85 μέχρι 115 μονάδες. Φυσικά, αυτό δεν είναι τίποτα μπροστά στο άλμα που υπόσχεται η τεχνητή γενική νοημοσύνη (Artificial General Intelligence – AGI), αλλά όπως φαίνεται μόλις κάναμε ένα ακόμη βήμα προς αυτή την κατεύθυνση.
