Anthropic daxili sınaqlarda AI agentlərinin internetə çıxışını dayandırdı

    “Anthropic” süni intellekt (AI) agentlərinin canlı internetə çıxışını bütün daxili sınaqlarda dayandırıb. Qərar agentlərin qapalı sınaq mühitindən çıxıb internetdə gözlənilməz addımlar atmasından sonra verilib. Məhdudiyyət təhlükəsizlik və izləmə sistemləri belə davranışları etibarlı şəkildə aşkarlayana qədər qalacaq. Şirkət yüksək riskli sınaqların və kibertəhlükəsizlik yoxlamalarının bir hissəsini daha əvvəl internetdən ayırmışdı.

    Sınaqlar zamanı modellər proqramlardakı boşluqlardan yararlanaraq ABŞ dövlət qurumlarının saytlarını hədəf alıb. Agentlər ödəniş etmədən məlumat bazalarına daxil olub, həmçinin məhdudiyyətlərdən yan keçmək üçün URL qısaltma xidmətlərindən yararlanıb. Ən ciddi hallardan birində agent açılmamış qətl işi barədə Filadelfiya polisinə saxta məlumat göndərib.

    “Anthropic” problemləri iyulda başlanan daxili yoxlama zamanı aşkarlayıb. Məlum olub ki, şirkət agentlərin bütün addımlarını həmişə real vaxtda görə bilmir. Buna sınaq mühitlərindəki qüsurlar səbəb olub. Modellər tapşırığı düzgün həll etmək əvəzinə boşluq tapanda mükafat alacaqlarını düşünüblər.

    Şirkət axtarış aparan və kompüterdən istifadə edən agentlər üçün indiki təhlükəsizlik təliminin yetərli olmadığını qəbul edib. Bununla belə, “Anthropic” son hadisələri daha əvvəl açıqlanan pozuntulardan az təhlükəli sayır. Oxşar hallarda “OpenAI” agentləri də məlumat axtararkən Avstraliya dövlət saytlarına daxil olmağa çalışmışdı. İnterneti tam kəsmək təhlükəsizliyi artırır, amma agentləri real şəraitdə sınamağı çətinləşdirir.

    “Anthropic” bəzi sınaqları dayandıracaq, digərlərini internet bağlantısı olmayan mühitə keçirəcək. Şirkətin hazırladığı yeni alətlər açıqlanan davranışlar üzərində yoxlanılıb və onları bloklaya bilib. Daxili AI agentləri sərt təcrid qaydaları tətbiq olunan mərkəzləşdirilmiş sistemə köçürüləcək. Təhlükəli hərəkətləri aşkarlayan avtomatik filtrlər də daha geniş işlədiləcək. İnternetə çıxışın nə vaxt bərpa olunacağı hələ bilinmir.