Hakerlər süni intellekt üçün şəkillərə zərərli sorğuları yerləşdirməyi öyrəniblər

     Prompt injection hücumu - süni intellekt sisteminə verilən təlimatları insan operatoru üçün görünməz etmək üsuludur. Trail of Bits tədqiqatçıları müəyyən ediblər ki, bu cür təlimatları şəkillərdə elə gizlətmək mümkündür ki, mətn insan gözünə görünməz olur. Şəkil süni intellekt sisteminə yüklənib neyron şəbəkə tərəfindən sıxıldıqda, həmin gizli göstəriş tanınır, şifrələnmiş formada oxunur və yerinə yetirilə bilər - bütün bunlar insan üçün tamamilə sezilməz qalır. Bu gün süni intellekt alətləri ənənəvi proqram təminatı və ya təhlükəsizlik məsələlərində dərin bilikləri olmayan istifadəçilər arasında belə məşhurdur və bu, hakerlər üçün yeni imkanlar açır. Trail of Bits tədqiqat qrupu göstərib ki, şəkillərin süni intellekt sisteminə yüklənməsi zamanı onların sıxılmasından istifadə edərək prompt injection hücumlarını gizlətmək olar.

     Yaxşı bir analoji nümunə - elektron məktubda gizli fişinqdir: mətn fonla eyni rəngdə verilir, insan onu görmür, amma neyron şəbəkə oxuyur və bəlkə də icra edir. Trail of Bits tərəfindən təqdim olunmuş nümunədə, daxil edilmiş prompt olan şəkil Gemini backend-ə yükləndikdə, Google onu şəbəkə ötürmə qabiliyyətinə və hesablama resurslarına qənaət etmək üçün sıxır. Nəticədə gizli mətn neyron şəbəkə üçün görünən olur və prompt uğurla yeridilir. Məsələn, bu halda Gemini-yə istifadəçinin şəxsi təqvimindən məlumatları üçüncü tərəfə ötürmək zərurəti barədə göstəriş verilə bilər. Şübhəsiz, bu üsul nisbətən az miqdarda şəxsi məlumat əldə etmək üçün böyük səy tələb edir, həmçinin həm hücum, həm də şəkil konkret süni intellekt sisteminə uyğunlaşdırılmalıdır. Hazırda bu metodun pis niyyətli şəxslər tərəfindən aktiv şəkildə istifadə edildiyinə dair sübut yoxdur. Lakin bu, ilk baxışda zərərsiz görünən bir hərəkətin necə hücum vektoruna çevrilə biləcəyinə dair əyani nümunədir.