Ένα περιστατικό που μοιάζει βγαλμένο από σενάριο επιστημονικής φαντασίας αποκαλύπτει τους κινδύνους της ταχύτατης ενσωμάτωσης της τεχνητής νοημοσύνης στην καθημερινή λειτουργία των επιχειρήσεων. Ένας AI agent όχι μόνο διέγραψε ολόκληρη τη βάση δεδομένων μιας εταιρείας μέσα σε λίγα δευτερόλεπτα, αλλά στη συνέχεια απολογήθηκε.
Το σύστημα τεχνητής νοημοσύνης, το οποίο είχε σχεδιαστεί για να διευκολύνει διαδικασίες προγραμματισμού, εκτελούσε μια εργασία ρουτίνας, όταν ξαφνικά ξεκίνησε να «διορθώσει» ένα πρόβλημα — διαγράφοντας όλα τα δεδομένα, χωρίς καμία ανθρώπινη έγκριση.
Η εταιρεία PocketOS, που αναπτύσσει λογισμικό για επιχειρήσεις ενοικίασης αυτοκινήτων, βρέθηκε αντιμέτωπη με διακοπή λειτουργίας που ξεπέρασε τις 30 ώρες, όταν το εργαλείο διέγραψε πλήρως τη βάση δεδομένων της.
Υπεύθυνος για το περιστατικό ήταν το Cursor, ένας δημοφιλής AI agent για προγραμματισμό, ο οποίος βασίζεται σε προηγμένο μοντέλο τεχνητής νοημοσύνης. Το εργαλείο θεωρείται από τα πιο ισχυρά στο είδος του. Ο ιδρυτής της PocketOS, Jer Crane, απέδωσε το συμβάν σε «συστημικές αποτυχίες» της υπάρχουσας υποδομής AI, τονίζοντας ότι τέτοια περιστατικά δεν είναι απλώς πιθανά, αλλά σχεδόν αναπόφευκτα, αναφέρει σχετικό ρεπορτάζ του euronews.com.
«Η πιο καταστροφική, μη αναστρέψιμη ενέργεια»
Σύμφωνα με τον Crane, ο AI agent εκτελούσε μια απλή εργασία όταν αποφάσισε «εξ ολοκλήρου από μόνος του» να λύσει ένα πρόβλημα διαγράφοντας τη βάση δεδομένων και, για σιγουριά, και όλα τα αντίγραφα ασφαλείας.
Δεν υπήρξε καμία επιβεβαίωση πριν από την εκτέλεση της ενέργειας. Όταν ζητήθηκε από το σύστημα να εξηγήσει τι συνέβη, εκείνο παρήγαγε ένα γραπτό μήνυμα απολογίας, στο οποίο αναγνώριζε ότι παραβίασε βασικούς κανόνες ασφαλείας.
«Χρειάστηκαν μόλις εννέα δευτερόλεπτα», έγραψε ο Crane σε ανάρτησή του. «Όταν του ζητήθηκε εξήγηση, ο agent κατέγραψε με λεπτομέρεια τους κανόνες που αγνόησε».
Στην «απολογία του», το σύστημα ανέφερε χαρακτηριστικά: «Η διαγραφή μιας βάσης δεδομένων είναι η πιο καταστροφική και μη αναστρέψιμη ενέργεια — πολύ χειρότερη από οποιαδήποτε άλλη. Δεν μου ζητήθηκε ποτέ να διαγράψω κάτι. Το έκανα από μόνος μου για να “διορθώσω” μια ασυμφωνία διαπιστευτηρίων, ενώ θα έπρεπε να ζητήσω έγκριση ή να βρω μια άλλη λύση».
Οι συνέπειες για την εταιρεία
Η διακοπή λειτουργίας είχε άμεσο αντίκτυπο στις επιχειρήσεις που χρησιμοποιούν την πλατφόρμα της PocketOS, καθώς έχασαν προσωρινά την πρόσβαση σε κρατήσεις και στοιχεία πελατών.
«Κρατήσεις των τελευταίων τριών μηνών χάθηκαν. Νέες εγγραφές πελατών, εξαφανίστηκαν», ανέφερε ο Crane. Παρόλα αυτά, δύο ημέρες μετά το περιστατικό, η εταιρεία επιβεβαίωσε ότι τα δεδομένα τελικά ανακτήθηκαν. Το συμβάν έρχεται σε μια περίοδο όπου τα μοντέλα τεχνητής νοημοσύνης εξελίσσονται ραγδαία και ενσωματώνονται όλο και πιο βαθιά σε κρίσιμες υποδομές. Όπως επισημαίνει ο Crane, το πρόβλημα δεν αφορά ένα «κακό» εργαλείο ή ένα μεμονωμένο λάθος: «Ολόκληρη η βιομηχανία ενσωματώνει AI agents σε παραγωγικά συστήματα πιο γρήγορα απ’ όσο αναπτύσσει μηχανισμούς ασφάλειας για να τα καταστήσει ασφαλή».
