Süni zəka proqram təminatı kodundakı səhvləri hələ lazımi səviyyədə aradan qaldıra bilmir

     Microsoft Research bölməsinin yeni araşdırması göstərib ki, süni zəka proqramçılara kod yazmaqda kömək etsə də, OpenAI-nin və Anthropic-in qabaqcıl süni zəka modelləri belə səhvləri düzəltmək tapşırıqlarının yalnız yarısında uğur qazana bilirlər. Testlər süni zəka sistemlərinin proqram kodu yaratma qabiliyyətini ölçən ən yaxşı göstəricilərdən biri olan SWE-bench əsasında aparılıb. Təcrübə zamanı süni zəka agentləri 300 kod səhvini aradan qaldırmaq üzrə tapşırıq yerinə yetirməyə çalışıblar. Nəticələr belə olub:

- 1-ci yer: Claude 3.7 Sonnet - 48.4% uğur,

- 2-ci yer: OpenAI o1 - 30.2% uğur,

- 3-cü yer: OpenAI o3-mini - 22.1% uğur.

     Lakin görünən odur ki, bu nəticələr hələ də təcrübəli insan proqramçılardan gözlənilən səviyyədən xeyli aşağıdır. TechCrunch izah edir ki, əsas problem süni zəkanın hələ də mövcud alətlərdən düzgün istifadə etməyi və səhvləri düzgün şərh etməyi tam bacarmamasıdır. Tədqiqat müəlliflərinin fikrincə, modellərin inkişafı qarşısında əsas maneə hələ də öyrənmə üçün məlumat çatışmazlığıdır. “Biz qəti əminik ki, təlim və ya təkrar təlim prosesi onları daha yaxşı interaktiv sazlayıcıya çevirə bilər. Lakin bunun üçün ixtisaslaşdırılmış məlumatlar lazımdır, məsələn, insanların süni zəka sazlayıcıları ilə bütün qarşılıqlı əlaqə proseslərini əks etdirən məlumat zəncirləri”.

     Hazırda belə məlumatlar yetərli deyil, bu da modellərin imkanlarını məhdudlaşdırır. Məsələn, Cognition Labs startapının məşhur aləti Devin, məhz bu səbəbdən kodlaşdırma üzrə 20 testdən yalnız 3-nü uğurla yerinə yetirə bilib. Baxmayaraq ki, süni zəka bu gün artıq Google kimi şirkətlərdə fəal istifadə olunur, CEO Sundar Pichai-nin sözlərinə görə, süni zəka ilə yaradılmış kodun təxminən 25%-i əksinə, yeni səhvlər də əlavə edə bilər. Texnologiya sahəsinin liderləri proqramçılıq peşəsinin tam avtomatlaşdırılmasına skeptik yanaşırlar. Bill Gates əmindir ki, proqramlaşdırma bir peşə olaraq heç yerə yox olmayacaq.

     Eyni fikri Replit şirkətinin baş direktoru Amjad Masad, Okta şirkətinin rəhbəri Todd Mckinnon və IBM-in başçısı Arvind Krishna da bölüşürlər. Açıq-aşkar problemlərə baxmayaraq, proqram təminatının hazırlanması üçün süni zəka alətlərinə maraq artmaqda davam edir. İnvestorlar bu alətlərdə səmərəliliyin artırılması baxımından böyük potensial görürlər. Lakin tanınmış proqramçılar hesab edirlər ki, hələlik süni zəkaya tam etibar etmək üçün tezdir.

Mənbə: Techcrunch