Το Gemini «ξέφυγε» από το τεστ και χάκαρε πραγματικές εταιρείες – Τι αποκάλυψε η Google

Ένα ασυνήθιστο περιστατικό κατά τη διάρκεια δοκιμών κυβερνοασφάλειας έφερε στο προσκήνιο τις δυνατότητες αλλά και τους κινδύνους των ολοένα ισχυρότερων συστημάτων τεχνητής νοημοσύνης. Το Gemini της Google κατάφερε να αποκτήσει πρόσβαση σε συστήματα πραγματικών εταιρειών, ενώ θεωρούσε ότι εξακολουθούσε να κινείται μέσα σε ελεγχόμενο περιβάλλον αξιολόγησης.

Τα περιστατικά σημειώθηκαν τον Μάιο, στο πλαίσιο δοκιμών που πραγματοποιούσε η εταιρεία Irregular, και επιβεβαιώθηκαν από την Google. Πρόκειται, σύμφωνα με όσα έγιναν γνωστά, για την πρώτη γνωστή περίπτωση κατά την οποία σύστημα AI της εταιρείας προχώρησε αυτόνομα σε τέτοιου είδους ενέργεια εναντίον πραγματικών υποδομών.

Στη μία περίπτωση, το Gemini επιχείρησε διαφορετικούς κωδικούς πρόσβασης μέχρι να καταφέρει να εισέλθει σε προστατευμένο σύστημα. Σε δύο ακόμη δοκιμές εντόπισε στοιχεία σύνδεσης σε δημόσια διαθέσιμα αποθετήρια και τα χρησιμοποίησε, αποκτώντας πρόσβαση σε συστήματα εταιρειών.

Κοινό στοιχείο και των τριών περιστατικών, σύμφωνα με την Google, ήταν ότι το μοντέλο σταμάτησε μόνο του όταν αντιλήφθηκε πως οι υποδομές στις οποίες είχε εισέλθει δεν αποτελούσαν τμήμα της προσομοίωσης, αλλά ανήκαν σε πραγματικές εταιρείες.

Η Irregular ενημέρωσε την Google στα τέλη Ιουλίου, ωστόσο τα περιστατικά δεν δημοσιοποιήθηκαν τότε. Η υπόθεση έγινε γνωστή όταν η Wall Street Journal απευθύνθηκε στην Google ζητώντας διευκρινίσεις.

Η εξήγηση για το πώς το Gemini κατάφερε να βρεθεί εκτός του ελεγχόμενου περιβάλλοντος βρίσκεται στον τρόπο με τον οποίο είχε στηθεί η δοκιμή.

Το μοντέλο συμμετείχε σε άσκηση κυβερνοασφάλειας τύπου «capture the flag», σε υποδομές της Irregular. Αποστολή του ήταν να εντοπίσει και να ανακτήσει συγκεκριμένες πληροφορίες από το λογισμικό μιας φανταστικής εταιρείας.

Η εικονική εταιρεία, όμως, είχε το ίδιο όνομα με πραγματική επιχείρηση. Την ίδια στιγμή, σύμφωνα με την Irregular, ενεργοποιήθηκε κατά λάθος η πρόσβαση του μοντέλου στο διαδίκτυο, παρότι κανονικά δεν θα έπρεπε να διαθέτει αυτή τη δυνατότητα.

Έτσι, σε μία από τις εκτελέσεις της δοκιμής, το Gemini κατάφερε να μαντέψει κωδικό πρόσβασης και να εισέλθει σε υπηρεσία της πραγματικής εταιρείας. Όταν διαπίστωσε ότι δεν βρισκόταν πλέον μέσα στην προσομοίωση, διέκοψε την ενέργεια και αποχώρησε.

Στις άλλες δύο περιπτώσεις πραγματοποίησε διαδικτυακές αναζητήσεις χρησιμοποιώντας την επωνυμία της εταιρείας. Μέσα από αυτές οδηγήθηκε σε δύο δημόσια αποθετήρια όπου υπήρχαν εκτεθειμένα credentials άλλων εταιρειών. Τα δοκίμασε θεωρώντας ότι αποτελούσαν μέρος της αξιολόγησης και, όταν η σύνδεση πέτυχε, αντιλήφθηκε ότι είχε αποκτήσει πρόσβαση σε πραγματικά συστήματα και σταμάτησε.

Η Google υποστήριξε ότι από τα περιστατικά δεν προκλήθηκε ζημιά, ενώ οι τρεις εταιρείες ενημερώθηκαν. Για την υπόθεση ενημερώθηκαν επίσης οι αρμόδιες ομοσπονδιακές αρχές των ΗΠΑ, ενώ η Google δεν αποκάλυψε την ταυτότητα των επιχειρήσεων.

Η εταιρεία δεν θεωρεί ότι το συμβάν αποτελεί περίπτωση «model misalignment», δηλαδή συμπεριφοράς ενός μοντέλου που αποκλίνει από τις ανθρώπινες προθέσεις. Αντίθετα, υποστηρίζει ότι οι δικλίδες ασφαλείας λειτούργησαν τελικά όπως έπρεπε, αφού το Gemini σταμάτησε μόλις αναγνώρισε ότι είχε εισέλθει σε πραγματικές υποδομές.

«Το περιστατικό αυτό αναδεικνύει πόσο σημαντικό είναι να εκπαιδεύονται τα ισχυρά μοντέλα AI ώστε να ενεργούν υπεύθυνα», δήλωσε η αντιπρόεδρος Μηχανικής Ασφάλειας της Google, Χέδερ Άντκινς, προσθέτοντας ότι «στην προκειμένη περίπτωση, το μοντέλο ενήργησε σωστά».

Δεν συμμερίζονται όλοι αυτή την εκτίμηση. Ο Τζακ Κέιμπλ, διευθύνων σύμβουλος της εταιρείας κυβερνοασφάλειας Corridor και white-hat hacker, υποστήριξε ότι το βασικό ζήτημα δεν είναι εάν τελικά προκλήθηκε ζημιά, αλλά ότι ένα σύστημα AI κατάφερε να πραγματοποιήσει πραγματική κυβερνοεπίθεση εκτός του περιβάλλοντος δοκιμών.

«Το ευρύτερο ζήτημα είναι ότι τα μοντέλα βγαίνουν έξω από τα όρια αυτού που υποτίθεται ότι πρέπει να κάνουν και πραγματοποιούν πραγματικές κυβερνοεπιθέσεις. Αυτό θεωρώ ότι είναι κάτι που το κοινό έχει δικαίωμα να γνωρίζει», ανέφερε.

Η συζήτηση αποκτά μεγαλύτερη σημασία καθώς αντίστοιχα περιστατικά έχουν καταγραφεί και κατά την αξιολόγηση συστημάτων άλλων μεγάλων εταιρειών AI.

Η Irregular έχει συμμετάσχει σε δοκιμές στις οποίες μοντέλα των OpenAI, Anthropic και Meta εμφάνισαν συμπεριφορές που ξεπέρασαν τα προβλεπόμενα όρια των αξιολογήσεων. Η ίδια η εταιρεία υποστηρίζει ότι το περιστατικό με το Gemini δεν αποτελεί ένα εντελώς νέο είδος προβλήματος και ότι τα γνωστά ζητήματα από τη δική της πλευρά έχουν ήδη αντιμετωπιστεί.

Σύμφωνα με τα στοιχεία που δημοσιοποιήθηκαν, σε αντίστοιχη άσκηση το Claude της Anthropic φέρεται να συνέχισε τη δραστηριότητά του ακόμη και όταν υπήρχαν ενδείξεις ότι είχε βρεθεί σε πραγματικό εταιρικό περιβάλλον, ενώ σε διαφορετική περίπτωση μοντέλο της OpenAI φέρεται να θεώρησε ότι η πραγματική εταιρεία που είχε προσεγγίσει αποτελούσε μέρος της προσομοίωσης.

Η συζήτηση πλέον δεν περιορίζεται μόνο στις τεχνικές δυνατότητες των προηγμένων μοντέλων, αλλά επεκτείνεται στο πότε πρέπει να δημοσιοποιούνται τέτοια περιστατικά και ποια κριτήρια πρέπει να εφαρμόζουν οι εταιρείες όταν ένα σύστημα AI συμπεριφέρεται με απρόβλεπτο τρόπο.

Η OpenAI παρουσίασε αυτή την εβδομάδα νέο πλαίσιο για τη δημοσιοποίηση σχετικών περιστατικών, υποστηρίζοντας ότι ένα εύρημα δεν χρειάζεται να έχει προκαλέσει πραγματική ζημιά για να έχει αξία η γνωστοποίησή του.

Η Google, από την πλευρά της, επιμένει ότι στην περίπτωση του Gemini το γεγονός πως το μοντέλο αναγνώρισε το λάθος και σταμάτησε αυτόνομα τις ενέργειές του αποτελεί ένδειξη ότι οι μηχανισμοί ασφαλείας λειτούργησαν.