Böyük dil modellərinin məlumatları insan beyni kimi emal etdikləri məlum olub

Süni İntellekt

19.02.2025

Emil

Massaçusets Texnologiya İnstitutunun (MIT) tədqiqatçıları böyük dil modellərinin (BDM) daxili işləmə mexanizmlərini araşdıraraq, onların müxtəlif məlumat növlərini insan beyni kimi emal etdiklərini aşkar ediblər. Neyrobioloqlar hesab edirlər ki, beynin ön gicgah payında "semantik mərkəz" mövcuddur. Bu bölgə müxtəlif hiss orqanlarından gələn məlumatları - məsələn, vizual və toxunma siqnallarını birləşdirir. Eyni fenomen BDM-lərin işləmə prosesində də müşahidə olunub. Alimlər müxtəlif dillərdə cümlələr üzərində testlər keçiriblər. Nəticələr göstərib ki, model ingilis dilindən "mərkəzi emal dili" kimi istifadə edir. Bu, digər dillər, vizual və ya səs faylları kimi fərqli formatlar üçün də keçərlidir.

Bundan əlavə, alimlər süni zəkanın "semantik mərkəzinə" müdaxilə etməyin mümkün olduğunu da müəyyən ediblər. Böyük dil modelləri bir-biri ilə əlaqəli çoxsaylı hissələrdən ibarətdir və mətnləri tokenlər adlanan kiçik hissələrə bölürlər. Model hər bir tokenə xüsusi təmsil forması (vektor) təyin edir, bu da sözlərin bir-biri ilə necə əlaqəli olduğunu başa düşməyə və növbəti sözü tapmağa kömək edir. Əgər giriş məlumatı mətn, şəkil və ya səs faylıdırsa, model onları tokenlərə çevirir. Mətn üçün tokenlər, sözlər və ya onların hissələrinə uyğun gəlir. Şəkillərdə tokenlər fərdi piksellər və ya şəkilin müəyyən hissələrini ifadə edə bilər.

Səs fayllarında isə tokenlər müəyyən dalğa formalarına və ya səslərə uyğun gəlir. Modelin ilk qatları məlumatları spesifik dil və ya format çərçivəsində emal edir. Bu, beynin müxtəlif hissələrinin müxtəlif növ informasiyanı emal etməsi ilə oxşardır. Daha dərin qatlarda model tokenləri vahid anlayışlara çevirir və daha kompleks analiz aparır. İnsan beyni də eyni prinsiplə müxtəlif məlumat növlərini bir bütöv hala gətirir və əlaqələndirir. Bu tapıntılar BDM-lərin işləmə mexanizmlərinin insan beyninə bənzədiyini sübut edir və süni zəkanın inkişafına dair yeni perspektivlər açır. Model daxil olan məlumatlara onların növündən asılı olmayaraq oxşar təmsil formaları təyin edir - istər şəkillər, istər audio, istər kod, istərsə də müxtəlif tapşırıqlar olsun.

Eyni məna daşıyan, lakin fərqli formatda olan məlumatlar model tərəfindən oxşar şəkildə emal edilir. Məsələn, bir şəkil və onun mətn təsviri fərqli formatda olsa da, eyni mənanı ifadə etdikləri üçün model onları oxşar şəkildə təhlil edir. Bunun əksini də müşahidə etmək mümkündür. İngilis dilində işləyən neyron şəbəkə Çin dilindəki mətnə baxarkən əvvəlcə onu ingilis dilində "düşünür" və daha sonra çin dilində nəticə yaradır. Eyni yanaşma proqramlaşdırma, riyazi məsələlər və multimodal məlumatların işlənməsi üçün də keçərlidir. Bu, süni zəkanın fərqli məlumat növlərini vahid sistem kimi emal etdiyini və məna yüklədiyini göstərir. Bu hipotezi yoxlamaq üçün tədqiqatçılar müxtəlif dillərdə eyni mənaya malik cümlələri modeldən keçirərək onların təmsil formalarının (vektorlarının) oxşarlığını ölçüblər.

Təcrübənin mərhələləri:

- Modelə müxtəlif dillərdə eyni məzmunlu cümlələr daxil edilib və onların daxili təmsil formaları müqayisə olunub

- İngilis dilli modelə çin dilində mətn daxil edilib və bu məlumatın daxili strukturunun ingilis və çin dilindəki versiyaları ilə uyğunluğu analiz edilib

- Bu proses digər məlumat növləri - riyaziyyat və kod kimi strukturlar üçün də təkrarlanıb

Əsas nəticələr:

- Model, eyni məna daşıyan cümlələr üçün oxşar təmsil formaları yaradır.

- Daxili işləmə mərhələsində giriş məlumatları ingilis dilindəki tokenlərə daha çox uyğun gəlir, hətta giriş dili ingilis dili olmasa belə.

Fərqli məlumat növləri, hətta riyaziyyat və proqramlaşdırma kodları belə, daxili olaraq ingilis dilinə bağlı tokenlər yaradır. Bu nəticələr böyük dil modellərinin məlumatı ingilis dilində düşünərək emal etdiyini və nəticəni digər dillərə uyğunlaşdırdığını göstərir. Tədqiqatçılar hesab edirlər ki, böyük dil modelləri öyrənmə prosesində "semantik mərkəz" strategiyasını mənimsəyə bilərlər. Çünki bu, fərqli məlumatların emalı üçün daha qənaətcil üsuldur. Dünyada çoxsaylı dillər mövcuddur, lakin ümumi biliklər, məsələn, faktlar və qaydalar, universal xarakter daşıyır. Modellərin bu bilikləri hər bir dil üçün ayrıca öyrənməsinə ehtiyac yoxdur.

Bu yanaşma onların məlumatları daha səmərəli emal etməsinə kömək edir. Alimlər modelin daxili qatlarına müdaxilə edərək ingilis dilində mətnlərdən istifadə ediblər. Model başqa dildə məlumat emal edərkən, ingilis dilindəki tokenlərə təsir etməklə çıxış məlumatlarını dəyişmək mümkün olub. Bu effekt süni zəkanın müxtəlif məlumat formatları ilə daha yaxşı qarşılıqlı əlaqə qurması üçün istifadə oluna bilər. Bu tapıntılar modelin işləmə mexanizmlərini daha yaxşı anlamağa və süni zəkanın effektivliyini artırmağa imkan yaradır.

Digər tərəfdən, bəzi anlayışlar və biliklər, məsələn, mədəniyyətə aid ifadələr, bir dildən digərinə tam tərcümə edilə bilməz. Belə hallarda böyük dil modellərinin hər bir dil üçün spesifik işləmə mexanizmlərinə ehtiyacı var. Alimlərin fikrincə, ümumi biliklər və dilə məxsus xüsusiyyətlər arasında tarazlıq tapmaq vacibdir. İngilis dilinə əsaslanan model başqa bir dili öyrəndikcə, ingilis dilindəki dəqiqliyini itirə bilər. Bu problem, modelin "semantik mərkəzinin" daha yaxşı başa düşülməsi ilə həll oluna bilər. Bu tədqiqat BDM-lərin çoxdilli işləmə imkanlarını təkmilləşdirmək və tərcümə keyfiyyətini artırmaq üçün vacib nəticələr ortaya qoyur.

Mənbə: Massachusetts Institute of Technology

Paylaş

large language model

boyuk dil modeli

artificial intelligence

suni zeka

suni intellekt

Bənzər xəbərlər