Mozilla hesabatı: Açıq AI modelləri qapalı modellərdən 4,4 ay geridədir

    “Mozilla” açıq mənbəli süni intellektin vəziyyəti ilə bağlı hesabatının 1.1 versiyasını 15 sentyabrda yayımlayıb. Sənəd 1 sentyabradək toplanan məlumatları əhatə edir. “Artificial Analysis Intelligence Index” üzrə ən yaxşı açıq model lider qapalı modeldən cəmi 3 xal geri qalıb. Onun istifadə xərci isə lider modelin qiymətinin 60%-i qədər olub. “Claude Fable 5” ilə müqayisədə xal fərqi 2-yə düşüb, xərc isə onun qiymətinin cəmi 30%-ni edib.

    Hesablamaya görə, açıq və qapalı modellər arasında fərq təxminən 4,4 ay təşkil edir. Hesabatda “çəkiləri açıq model” dedikdə əsas parametrləri endirilə bilən sistem başa düşülür. Belə modellərin təlim məlumatlarının və proqram kodunun açıq olması şərt deyil. Sənəddə diqqət çəkən 16 açıq model sadalanıb. Lakin onların heç biri “Open Source Initiative” təşkilatının tərifində tələb olunan bütün məlumatları açıqlamır.

    Hesabat təxminən 1400 proqramçı arasında aparılan sorğuya, “OpenRouter” trafik göstəricilərinə və müstəqil sınaqlara əsaslanır. “METR” modeli insanın bir neçə saata gördüyü işi ən azı 50% uğurla tamamlaya bilib-bilmədiyinə görə qiymətləndirir. Qapalı modellər mütəxəssisin 8-12 saata gördüyü tapşırıqları yerinə yetirə bilir. Açıq modellər həmin səviyyəyə təxminən 4 ay sonra çatır. Açıq modellərin bacarıqları hər 3,9 ayda 2 dəfə artır. Qapalı modellərdə bu artım hər 5,5 ayda baş verir.

    “Terminal-Bench 2.1” sınağında bütün modellər eyni alətlər və proqram mühitində yoxlanılıb. “Z.ai” şirkətinin “GLM-5.2” modeli “Claude Opus 4.7”dən 1 xal geri qalıb. “Claude Opus 4.8” ilə fərq təxminən 4 xal olub. Bununla belə, hər sınağın xərci rəqib modelin xərcinin 20%-nə belə çatmayıb. Avqustda “OpenRouter”də ən çox işlədilən 10 modeldən 8-i açıq olub. Onlardan 7-si Çində hazırlanıb.

    Qiymətlər modellərin proqram bağlantısı - API üzərindən istifadəsi və rəsmi tariflər əsasında müqayisə olunub. 1 serverə yerləşən ən yaxşı açıq model 52,6 xal, 1 qrafik prosessorda işləyən model isə 40 xal toplayıb. Onlar liderdən 10 və 23 xal geri qalıb. “Kimi K3” təxminən 1,56 TB yaddaş tutur və 96 hissəyə bölünüb. Modeli işlətmək üçün ən azı 8 “GB300” qrafik prosessoru lazımdır. Buna görə parametrləri endirilə bilsə də, onu adi avadanlıqda işlətmək olmur.

    “Thinking Machines” şirkətinin “Inkling-Small” modeli daha əlçatan nümunə sayılır. Onun NVFP4 versiyası 180 GB yaddaşı olan 1 “B300” sürətləndiricisində işləyir. Hesabatdakı məlumatlar 1 sentyabrda yekunlaşdığı üçün onları sonrakı sınaqlarla birbaşa müqayisə etmək olmur. ABŞ-nin 8 sentyabr tarixli təhlükəsizlik xəbərdarlığında “Moonshot” şirkətinin “K3” modelini “Claude Fable 5”in cavablarından yararlanaraq öyrətdiyi iddia edilib. Lakin bu iddianı təsdiqləyən sübut göstərilməyib.