8 işlənmiş Nvidia qrafik kartı, 1 TB RAM: vəkil AI serverini yenilədi

    ABŞ-nin Cənubi Karolina ştatında çalışan vəkil Nik Mermiges 8 işlənmiş “Nvidia V100” qrafik kartı ilə qurduğu şəxsi süni intellekt serverini yeniləyib. Server onun hüquq işlərində “DeepSeek V4.1 Flash” modelini xüsusi yoxlamalar və iş prosesləri ilə işlədir. Yeniləmədən sonra hesablamaların təxminən 80%-i 2 bitdən daha dəqiq olan 4 bitlik NVFP4 səviyyəsinə yaxınlaşıb. Sistem 524 000 tokenlik konteksti dəstəkləyir. Yəni model eyni anda bu həcmdə mətni nəzərə ala bilir. Mermigesin sözlərinə görə, sənədlər ofisdən kənara çıxmır.

    Mermiges “PLI Labs” və “proprietarylegal.ai” layihələrinin qurucusudur. “PLI” hüquq firması deyil, texnologiya məsləhətçisidir. O, fevraldan iyula qədər “Claude” əsasında hüquqi proqram hazırlayıb, lakin yerli model sınaqları uğursuz alınıb. “DeepSeek V4.1 Flash” çıxandan sonra proqramı şəxsi serverinə köçürə bilib. Xüsusi nüvələri, testləri və modeli sıxlaşdıran həlləri onun göstərişləri əsasında “Claude Code”, “Opus 5.5” və “Fable 5.2” hazırlayıb.

    Serverdə hər biri 32 GB yaddaşı olan 8 “V100” kartı var. Onların ümumi video yaddaşı 256 GiB-dir, modelin rəsmi dəqiqlikdə həcmi isə təxminən 269 GiB-dir. Əvvəlki 2 bitlik model faylları 248,8 GB yer tuturdu. Yeni paketin həcmi təxminən 556 GB-dır. Model hesablamalar üçün 15 360 ekspert blokundan yararlanır. Bütün bloklar kartlarda 2 bitlik formada saxlanılır, ən çox işlənən 5 949 blokun dəqiqliyi isə NVFP4 səviyyəsinə qaldırılıb. Bu bloklar ümumi sayın 38,7%-dir. Buna baxmayaraq, hər sorğudakı hesablamaların 80-86%-i məhz onların üzərinə düşür.

    “Nvidia”-nın rəsmi model versiyası ilə müqayisədə növbəti mətn vahidinin eyni seçilməsi göstəricisi 92,2%-dən 95,1%-ə yüksəlib. Nəticələrin rəsmi versiyadan nə qədər fərqləndiyini göstərən KL göstəricisi 0,196-dan 0,079-a enib. Bu göstərici nə qədər aşağıdırsa, nəticə rəsmi modelə bir o qədər yaxındır. 513 suallıq standart çoxseçimli bilik testində fərqli cavabların sayı 79-dan 8-ə düşüb. Bununla belə, hər 3 variantın test dəqiqliyi təxminən eyni qalıb. Yəni yeniləmə düzgün cavabların sayını ciddi dəyişməyib, əsasən nəticələri rəsmi modelə yaxınlaşdırıb.

    5 və 12 noyabrda aparılan ölçmələr sürətin bir qədər azaldığını göstərib. Kod yaratma sürəti əvvəl saniyədə 160-215 token idi. Daha yüksək dəqiqlikdən sonra bu göstərici saniyədə 150-180 tokenə enib. Token modelin yaratdığı kiçik mətn hissəsidir. Sorğunun uzunluğundan asılı olaraq kod çıxışı 3-30% yavaşıyıb. Hüquqi mətnlərdə azalma 9-23% olub. Eyni anda 2 sorğu işlədiləndə ümumi sürət artıb. Göstərici saniyədə 118,9 tokendən 159 tokenə yüksəlib. 256 000 tokenlik sorğularda da ilk cavab daha tez gəlib. Gözləmə müddəti 118,7 saniyədən 108,4 saniyəyə düşüb.

    Yeniləmə zamanı Mermiges RAM həcmini 1 TB-a çatdırıb. Sistemə “RTX 3090” kartı da əlavə olunub. Əvvəlki nasazlıqların PCIe bağlantısından deyil, böyük ehtimalla qüsurlu enerji blokundan yarandığı müəyyənləşib. Enerji bloku dəyişdiriləndən sonra 9 uzun söhbət sınağının hamısı problemsiz başa çatıb. “V100” kartları bundan sonra yalnız son dəstək versiyası olan “Nvidia R580” drayveri ilə işləyəcək. Mermigesdə artıq 1 milyon tokenlik kontekstdə işləyən 2 “DGX Spark” qurğusu var. O, həmçinin 2-ci serveri hazırlayır. Həmin sistemdə daha 8 “V100” kartı və 512 GB RAM olacaq.