טכנולוגיית שכפול קול באמצעות AI התקדמה באופן משמעותי, עם הקרבת הקולות המיוצרים על ידי AI לקולות האנושיים הולכת והולכת ומתקרבת למידת הדמיון לקולות האנושיים. לאחרונה הופעלה טכנולוגיה זו במהלך בחירות המקדימים של מפלגת הדמוקרטים בניו המפשיר, עם שיחות טלפון מזויפות המשוייכות לדיפייקים, שקוראות למצביעים לפספס את ועדת הקלפים.
דיווחים מעידים כי טכנולוגיית AI עשויה בתכליתה לשטף רשתות בתוכנות דיפייק שמיועדות לרמות ולשכזב, ומהוות סכנה מיוחדת כאשר קולות שנוצרים על ידי AI מתחזים למועמדים פוליטיים במהלך הבחירות.
בתגובה לפיתוחים אלו, יש חשש גובר מציוץ ראשת ה-Jessica Rosenworcel של הוועד לתקשורת הפדרלית (FCC), המבקשת מחברות הטלקום הגדולות כמו AT&T ו-Comcast לפעול נגד השימוש בדימויי קולות AI בשיחות פוליטיות באופזיה.
Rosenworcel הדגישה את הצורך להיאבק בשימוש לרעה בכלים של AI על ידי פועלים זדונים, ואמרה: "כאשר טכנולוגיית AI עושהכלולה לזמינות של סנטים רעים ורמאים, אנו חייבים לעשות את כל שביכולתנו לשמור על למערכות שלנו נקיות".