Mütəxəssislər Nvidia RTX 20, 30 və 40 videokartlarının AI limitini aşıblar

    Mod hazırlayan mütəxəssislər “Nvidia”-nın “RTX 20”, “RTX 30” və “RTX 40” seriyalı videokartlarında süni intellekt hesablamalarına qoyulan məhdudiyyəti aşıblar. Proqramdakı boşluq tensor nüvələrinin, yəni süni intellekt hesablamalarını aparan hissələrin tam sürətlə işləməsini mümkün edir. Nəticədə sorğular daha tez emal oluna, təsvirlər daha sürətli yaradıla bilər. Ancaq oyunlarda sürətin 2 dəfə artacağı gözlənilmir.

    Fərqli nəsillər üçün 3 ayrıca layihə hazırlanıb. “gpu-unlock” Ampere əsaslı “RTX 30” modellərində işləyir. “gpu-unlock-ada” layihəsi “RTX 4090” və bəzi digər Ada videokartlarını əhatə edir. “turing-unlock” isə “RTX 2080 Ti” üzərində işləyir. “RTX 4090 D”, “RTX 4070 Ti Super” və 16 GB yaddaşlı “RTX 4060 Ti” üçün dəstək hələ sınaqdan keçirilir. “RTX 50” seriyası dəstəklənmir.

    Hesabatda “nəzəri FP16 hesablama gücü RTX 4090-da 2 dəfə artıb” deyilir. Göstərici 165,6 TFLOPS-dən 331,6 TFLOPS-ə yüksəlib. Lakin real süni intellekt hesablamalarında nəticələr daha aşağı olub. FP16 formatında sürət 12-34%, BF16 formatında ən çox 20% artıb.

    “RTX 4070 Ti” sınağında FP16 üzrə artım 80,1%-ə çatıb. BF16 üzrə nəticə 76,4% olub. “RTX 3090 Ti” FP16 hesablamalarında 35%, BF16-da 80% daha yüksək nəticə göstərib. TF32 hesablamalarında artım 94%-ə çatıb.

    Digər “RTX 30” modellərində BF16 hesablamaları 25-81% sürətlənib. Böyük dil modelinin ilkin məlumatı emal etmə sürəti 14-36% artıb. Təsvir yaratma və “FlashAttention” əməliyyatları da sürətlənib. Ancaq çatbotların cavab hazırlayarkən söz hissələri, yəni tokenlər yaratma sürəti demək olar dəyişməyib. Çünki bu proses əsasən videoyaddaşın məlumat ötürmə sürətindən və videokartın enerji limitindən asılıdır.

    Metod “Nvidia”-nın imzalanmış “SEC2” başlanğıc proqramındakı yaddaş daşması xətasından yararlanır. Başqa sözlə, proqramın yaddaşla işləməsindəki boşluqdan istifadə olunur. Xüsusi kod qorunan rejimdə işə salınaraq sürətə cavabdeh 2 parametr dəyişdirilir. Daha sonra videokartın əsas drayveri açılmazdan əvvəl qurğu yenidən başladılır və məhdudiyyət aradan qalxır. Bu üsul əvvəlcə “CMP 170HX” videokartında tapılmış boşluğa əsaslanır.

    Layihələrin “Linux” üçün qeyri-rəsmi modulları var. “Windows” versiyaları hələ sınaq mərhələsindədir. Tərtibatçılar xəbərdarlıq edirlər ki, bu müdaxilə videokartı və kompüteri dondura bilər. Sistem açılmaya, məlumatlar korlana, hətta avadanlıq sıradan çıxa bilər. Bir çox Turing və Ada modeli hələ yoxlanılmayıb. Dəstəklənən modellərin sayını artırmaq üçün konkret plan da açıqlanmayıb.