Logo
    PlayStation 4-ün 2013-cü il qrafik çipi AI modelini internetsiz işlədir

    PlayStation 4-ün 2013-cü il qrafik çipi AI modelini internetsiz işlədir

        Tərtibatçı Leonardo Alegría müdafiə sistemi sındırılmış “PlayStation 4” konsolunda süni intellekt modelini işlədən açıq mənbəli “Garlic LLM” layihəsini hazırlayıb. 9 milyard parametrli “Qwen3.5-9B” modeli internetə qoşulmadan işləyir. Hesablamalar konsolun 2013-cü ilə aid qrafik prosessorunda aparılır. Mətn söhbəti zamanı sistem saniyədə 31 ilə 39 arasında token yaradır. Token modelin emal etdiyi kiçik mətn hissəsidir.
    PlayStation 4-ün 2013-cü il qrafik çipi AI modelini internetsiz işlədir
        “PlayStation 4” konsolunda prosessor və qrafik prosessor üçün ortaq 8 GB yaddaş var. Modelin adi 8 bitlik versiyasına ən azı 9 GB lazımdır. Buna görə model 4 və 3 bitlik sıxlaşdırma ilə kiçildilib. Nəticədə onun ölçüsü təxminən 4,5 GiB-a düşüb. Modelin işləyərkən yadda saxladığı məlumatlar da 4 bitə qədər sıxlaşdırılıb. Beləliklə, sistem eyni söhbətdə 16 min tokenlik mətni nəzərə ala bilir. Modelin standart versiyasında bu hədd 256 min tokendir.
        “Garlic LLM” pulsuzdur və “Hugging Face” platformasından tək fayl şəklində endirilir. Faylın ölçüsü 5,66 GB-dır. Tətbiqi “PlayStation 4” konsolundakı “Package Installer” aləti ilə quraşdırmaq olur və bunun üçün təxminən 6 GB boş yer lazımdır. Fayl əvvəlcə daxili yaddaşa köçürülsə, tələb olunan boş yer 12 GB-a çatır. Layihə 11.52 sistem versiyalı standart və “Slim” modellərində “GoldHEN” ilə sınaqdan keçirilib.
        Tətbiq səslə söhbəti də dəstəkləyir. “Chatterbox” modeli 7 dildə səsli cavab verə bilir. Bu rejimdə əsas model saniyədə təxminən 22 token emal edir. Kontrollerdəki düyməni basılı saxlayaraq danışığı mətnə çevirmək də olur. Bunun üçün “Nvidia Parakeet TDT 0.6B v3” modeli işlədilir və 25 Avropa dilini tanıyır. Bütün dil və səs modelləri birlikdə təxminən 5,62 GB yer tutur.
        “Garlic LLM” konsolun qrafik prosessoru ilə birbaşa işləyir. Buna görə “Vulkan” və ya “llama.cpp” kimi əlavə proqram qatlarına ehtiyac qalmır. Hesablama kodu “OpenCL C” və “LLVM” ilə “AMD”nin GCN qrafik arxitekturasına uyğun hazırlanıb. Əsas prosessor mətni hissələrə ayırır, interfeysi, ekrandakı görüntünü və səsi idarə edir. Model növbəti 2 tokeni əvvəlcədən təxmin edir. Bunun sayəsində kod yazarkən sürət saniyədə 43 tokenə çata bilir.
        Orta sürət saniyədə 35 tokendir. Bu halda 300 tokenlik cavab 9 saniyədən az vaxtda hazırlanır. Müqayisə üçün, “PlayStation 5” konsolunda daha böyük “Qwen3.8-27B” modeli saniyədə təxminən 20 token yaradır. “PS4 Pro” hələ sınaqdan keçirilməyib. “PlayStation 5” də tətbiqlə işləmir. Tətbiqin daxilində konsolun müdafiəsini sındıran alət yoxdur. “GoldHEN” proqramının quraşdırılmasına görə məsuliyyəti istifadəçi daşıyır.

    Şərhlər

    Şərh yazmaq üçün Google və ya Facebook hesabınızla daxil olun.

    Şərhlər yüklənir...