Apple mətnləri digər analoqlardan 128 dəfə daha sürətlə tərtib edən süni intellekt modeli yaradıb

     Apple və Ohayo Ştat Universiteti tədqiqatçıları Few-Step Discrete Flow-Matching (FS-DFM) adlı yeni diffuziya modelini yaradıblar. Bu model oxşar sistemlərdən 128 dəfə daha sürətli şəkildə mətn yarada bilir. Bu barədə “FS-DFM: az addımlı diffuziya dil modelləri ilə uzun mətnlərin sürətli və dəqiq generasiyası” adlı tədqiqat işində qeyd edilib. Tədqiqatın nəticələrinə əsasən, FS-DFM cəmi 8 sürətli təkmilləşdirmə addımı ilə tam mətn parçası yarada bilir. Müqayisə üçün, digər diffuziya modelləri eyni nəticəni əldə etmək üçün 1000-dən çox addım tələb edir. Bu nəticəyə nail olmaq üçün tədqiqatçılar üçmərhələli yanaşmadan istifadə ediblər:

- Əvvəlcə model fərqli təkmilləşdirmə iterasiyalarını emal etməyi öyrənir

- Daha sonra “müəllim” istiqamətləndirici modeli tətbiq edilir ki, bu da hər iterasiyada daha böyük və dəqiq yeniləmələr etməyə kömək edir, təyin olunmuş mətn çərçivəsindən çıxmadan

- Nəhayət, tədqiqatçılar hər iterasiyanın işləmə mexanizmini optimallaşdırırlar, beləliklə, model daha sabit fəaliyyət göstərir və nəticəyə daha az addımla çatır.

     Daha böyük diffuziya modelləri ilə müqayisədə FS-DFM iki əsas göstərici - perpleksiya və entropiya üzrə yaxşı nəticələr göstərib. Perpleksiya göstəricisi dil modellərində mətnin keyfiyyətini əks etdirir. Bu göstərici nə qədər aşağı olarsa, mətn bir o qədər dəqiq və təbii səslənir. Entropiya isə modelin hər sözü nə dərəcədə inamla seçdiyini göstərir. Əgər entropiya çox aşağıdırsa, mətn təkrarlanan və ya asanlıqla proqnozlaşdırılan ola bilər. Əgər çox yüksəkdirsə, mətn əlaqəsiz və təsadüfi sözlər toplusu kimi görünə bilər. 7 milyard parametrli Dream və 8 milyard parametrli LLaDA diffuziya modelləri ilə müqayisədə, 1.7 milyard, 1.3 milyard və 0.17 milyard parametrə malik FS-DFM variantları bütün iterasiyalar ərzində daha aşağı perpleksiya və daha stabil entropiya təmin edib. Tərtibatçılar bildirib ki, modelin kodunu və yoxlama nöqtələrini (checkpoints) paylaşmağı planlaşdırırlar ki, bu da nəticələrin təkrarlanmasını və gələcək tədqiqatları asanlaşdırsın.