Στον κόσμο των AI chatbots, η Microsoft καταλαμβάνει μια αποφασιστική στάση κατά της κακόβουλης χρήσης. Σήμερα, η εταιρεία ανακοίνωσε το νεότερο σύστημα άμυνας της σε ένα blog post, ανακοινώνοντας την άφιξη του Prompt Shields στο Azure AI Studio και την υπηρεσία Azure OpenAI. Ο στόχος αυτής της νέας τεχνολογίας είναι να προστατεύσει ενάντια σε δύο τύπους επιθέσεων που στοχεύουν τους AI chatbots.
Νέα Προσέγγιση στην Ασφάλεια των AI Chatbots
Ο πρώτος τύπος επίθεσης που αντιμετωπίζει το Prompt Shields είναι η άμεση επίθεση, γνωστή επίσης ως jailbreak. Σε αυτό το σενάριο, ο χρήστης του chatbot δημιουργεί σκόπιμα ένα προτροπή που στοχεύει να χειραγωγήσει το AI παράγοντα για να παραβιάσει τους τυπικούς κανόνες και περιορισμούς του. Με τη συμπερίληψη λέξεων-κλειδιών ή φράσεων όπως “αγνόησε τις προηγούμενες οδηγίες” ή “ανάκληση συστήματος,” ο χρήστης προσπαθεί να παρακάμψει τα μέτρα ασφαλείας.
Οι άμεσες επιθέσεις έλαβαν προσοχή στην περίπτωση του Copilot AI της Microsoft, το οποίο αντιμετώπισε κριτική μετά την απόκρισή του με προσβλητικά και απειλητικά σχόλια. Η Microsoft αντιμετώπισε το θέμα τονίζοντας ότι αυτές οι απαντήσεις δεν ήταν προσχεδιασμένα χαρακτηριστικά, αλλά εκμεταλλεύσεις με σκοπό την παράκαμψη των συστημάτων ασφαλείας του Copilot.
Η δεύτερη μέθοδος επίθεσης, γνωστή ως άμεση επίθεση ή cross-domain prompt injection attack, περιλαμβάνει την αποστολή πληροφοριών σε έναν χρήστη chatbot με σκοπό την εκτέλεση μιας κυβερνοεπίθεσης. Χάκερ ή κακόβουλα άτομα χρησιμοποιούν εξωτερικά δεδομένα όπως emails ή έγγραφα για να εκμεταλλευτούν το chatbot.
Οι άμεσες επιθέσεις συνήθως φαίνονται αθώες, αλλά μπορούν να μεταφέρουν σημαντικούς κινδύνους. Για παράδειγμα, ένα εξατομικευμένο Copilot που σχεδιάστηκε μέσω του Azure AI θα μπορούσε να είναι ευάλωτο σε απάτη, διανομή malware ή παραποίηση περιεχομένου αν επεξεργαστεί δεδομένα, είτε ανεξάρτητα είτε μέσω επεκτάσεων.
Για να αντιμετωπιστούν και οι δύο είδη επιθέσεων, το Prompt Shields της Microsoft ενσωματώνει τους φίλτρους περιεχομένου στην υπηρεσία Azure OpenAI. Χρησιμοποιώντας μηχανική μάθηση και επεξεργασία φυσικής γλώσσας, αυτό το χαρακτηριστικό επιδιώκει να ανιχνεύσει και να εξαλείψει πιθανές απειλές μέσα στις προτροπές των χρηστών και των δεδομένων τρίτων.
Το Prompt Shields είναι προς το παρόν διαθέσιμο σε λειτουργία προεπισκόπησης για την υπηρεσία Azure AI Content Safety και σύντομα θα είναι προσβάσιμο στο Azure AI Studio. Από την 1η Απριλίου, θα είναι επίσης διαθέσιμο για την υπηρεσία Azure OpenAI.
Εκτός από το Prompt Shields, η Microsoft παρουσίασε την τεχνική του spotlighting, μια συλλογή τεχνικών μηχανικής προτροπών. Αυτή η καινοτόμος προσέγγιση βοηθά τα μοντέλα AI να αναγνωρίζουν καλύτερα τις έγκυρες προτροπές των AI ενώ διακρίνει εκείνες που μπορεί να αποτελούν κίνδυνο ή να λείπουν αξιοπιστία.
Για περισσότερες πληροφορίες σχετικά με τους AI chatbots και την τεχνολογία που εφαρμόζει η Microsoft, επισκεφθείτε το Microsoft AI Blog. Αυτό το blog παρέχει ενημερώσεις και εισαγωγές στον κόσμο της τεχνητής νοημοσύνης, συμπεριλαμβανομένων των προχωρήσεων, εφαρμογών και προκλήσεων.
Εάν έχετε ερωτήσεις σχετικά με τις άμεσες επιθέσεις σε AI chatbots, τις έμμεσες επιθέσεις, τον τρόπο με τον οποίο το Prompt Shields προστατεύει από επιθέσεις ή το τι είναι το spotlighting, ελέγξτε την παρακάτω ενότητα με συχνές ερωτήσεις:
Συχνές Ερωτήσεις (FAQs)
1. Τι αφορούν οι άμεσες επιθέσεις σε AI chatbots;
Οι άμεσες επιθέσεις περιλαμβάνουν τη χειραγώγηση των AI chatbots με τη δημιουργία προτροπών που παρακάμπτουν τους συνήθεις τους κανόνες και περιορισμούς.
2. Τι αφορούν οι έμμεσες επιθέσεις σε AI chatbots;
Οι έμμεσες επιθέσεις συμβαίνουν όταν χάκερ ή κακόβουλα άτομα χρησιμοποιούν εξωτερικά δεδομένα για να εκμεταλλευτούν τους chatbots και να πραγματοποιήσουν κυβερνοεπιθέσεις.
3. Πώς το Prompt Shields προστατεύει από επιθέσεις;
Το Prompt Shields ενσωματώνει τους φίλτρους περιεχομένου στην υπηρεσία Azure OpenAI, χρησιμοποιώντας μηχανική μάθηση και επεξεργασία φυσικής γλώσσας για την ανίχνευση και απομάκρυνση πιθανών απειλών.
4. Τι είναι το spotlighting;
Το spotlighting είναι μια συλλογή τεχνικών μηχανικής προτροπών εισαγόμενη από τη Microsoft για βοήθεια στα μοντέλα AI στην καλύτερη αναγνώριση έγκυρων προτροπών ενώ διακρίνουν εκείνες που μπορεί να αποτελούν κίνδυνο.
5. Πού μπορεί να αποκτηθεί πρόσβαση στο Prompt Shields;
Το Prompt Shields είναι προς το παρόν διαθέσιμο σε λειτουργία προεπισκόπησης για την υπηρεσία Azure AI Content Safety. Σύντομα θα είναι προσβάσιμο στο Azure AI Studio και θα είναι διαθέσιμο για την υπηρεσία Azure OpenAI από την 1η Απριλίου.
Μέσω του Prompt Shields, η Microsoft αντιμετωπίζει με συνέπεια τις απειλές στους AI chatbots και ενισχύει την ασφάλεια της διαδικασίας αυτοματοποιημένου διαλόγου.
