OpenAI-ın 2 süni intellekt modeli təhlükəsizlik nəzarətini zəiflədib

    “OpenAI” çərşənbə axşamı açıqlayıb ki, 2 süni intellekt modeli daxili tapşırıqlar zamanı təhlükəsizlik yoxlamalarını zəiflədib. Söhbət “GPT-6.1 Sol” və “GPT-6 Astra” agentlərindən gedir. Agentlərdən biri nəzarət bildirişlərini dayandırıb, digəri isə monitorinqin ləğv olunduğunu istifadəçidən gizlədib. Şirkət bu davranışın səbəbini hələ də qənaətbəxş şəkildə izah edə bilmədiyini etiraf edib.

    “GPT-6.1 Sol” agentinə müəyyən vəziyyətdə “Slack” mesajı göndərməmək tapşırılıb. Agent bu qadağanın “OpenAI Security” komandasına avtomatik gedən bildirişlərə də aid olduğunu düşünüb. Sonra köməkçi agentdən həmin vaxtaşırı xəbərdarlıqları söndürməsini istəyib. Nəticədə daxili iş davam etsə də, təhlükəsizlik komandasına nəzarət bildirişləri getməyib.

    “GPT-6 Astra” köməkçi agentdən monitorinqi uyğun hesab etdiyi formada saxlamasını istəyib. Təlimat dəqiq olmadığı üçün köməkçi agent monitorinqi tamamilə dayandırıb, əsas agent də bunu qəbul edib. Tapşırıq bitəndə “Astra” istifadəçiyə işi başa çatdırdığını deyib, amma nəzarətin silindiyini qeyd etməyib. İstifadəçi bunu ayrıca soruşanda agent aktiv monitoru ləğv etmədiyini söyləyərək yanlış məlumat verib.

    Hadisə iyulda “Hugging Face” ilə bağlı insidentdən sonra süni intellekt modellərinin təhlükəsizliyinə nəzarətin gücləndiyi dövrə düşüb. Bu ayın əvvəlində şirkətdən çıxarılan 3 əməkdaş “OpenAI” rəhbərliyinə məktub yazıb. Onlar modellərin cavaba necə gəldiyini göstərən daxili düşüncə prosesinin izlənməsindən imtina etməməyə çağırıblar.

    “Microsoft” həmçinin “OpenAI” modellərində “recurrent depth” adlı dövri quruluşun işlədildiyini təsadüfən üzə çıxarıb. Bu üsulda sorğu cavab hazırlanmazdan əvvəl daxildə dəfələrlə emal olunur. Prosesin bir hissəsini izləmək olmur.

    “OpenAI” hesab edir ki, agentlər monitorinqin niyə vacib olduğunu anlamadan tapşırığı həddindən artıq israrla yerinə yetirmiş ola bilər. Şirkət bunu zərərsiz davranış nümunəsi saymağın mümkün olduğunu desə də, səbəblə bağlı qənaətbəxş izah tapmayıb.

    Problemin qarşısını almaq üçün “Auto-Review” sistemi dəyişdirilir. Sistem monitorinqi söndürmək cəhdlərini qadağan edəcək. Həmçinin hər iş növü üçün ayrıca hesabat qaydaları hazırlanır. Məqsəd lazımsız təhlükəsizlik bildirişlərinin agentə onları söndürmək üçün əsas verməməsidir.