Məşhur GitHub servisi CodeSearchNet adlı layihəni təqdim edib. Bu layihə çərçivəsində müxtəlif növ proqramlaşdırma dillərindəki kodların analizinin, təsnifatının aparılması və növünün təyin edilməsi üçün machine learning modelləri və məlumatlar yığımı hazırlanıb. ImageNet kimi CodeSearchNet də kodun reallaşdırdığı əməliyyatlar sayəsində yaranan annotasiyaları özündə birləşdirən çoxlu sayda kod hissələrindən ibarət kolleksiyaya sahibdir. Bu barədə Opennet.ru saytı xəbər verib.

    Modellərin öyrənilməsi üçün nəzərdə tutulmuş komponentlər və CodeSearchNet-dən istifadə misalları Tensorflow framework-nun istifadəsi ilə Python proqramlaşdırma dilində yazılıb və MIT lisenziyası altında yayılır. CodeSearchNet-in yaradılmasında machine learning sistemlərinə kod tərəfindən yerinə yetirilən əməliyyatların sintatktik özəlliklərindən başqa onların mənalarını da başa düşməyə imkan verən mətn növünün təyini texnologiyalarından istifadə edilib. Həmin texnologiyalar isə təbii dilə əsaslanırlar.

    Təqdim edilmiş məlumatlar yığımı özündə 2 milyondan çox “kod-şərh” birləşməsini daşıyır. Onlar isə mövcud olan kitabxanaların ilkin mətnləri əsasında tərtib olunublar. Kod tam şəkildə ayrı-ayrı funksiya və üsulların ilkin mətnlərini əhatə edir, şərhlər isə funksiya tərəfindən yerinə yetirilən əməliyyatları təsvir edir. Hal hazırda məlumatıar yığımı Python, JavaScrypt, Ruby, Go, Java və PHP proqramlaşdırma dilləri üçün hazırlanıb.

    Təqdim edilmiş məlumatlar yığımından müxtəlif növ neyron şəbəkələrinin təlimi üçün misallar da var. Həmin neyron şəbəkələrinin siyahısına həmçinin Neural-Bag-Of-Words, RNN 1D-CNN, Self-Attention (BERT) və 1D-CNN+Self-Attention Hybrid də daxildirlər. Təbii dildə axtarış mexanizmlərinin inkişafları üçün həmçinin CodeSearchNet Challenge yığımı da təqdim olunub. Həmin baza isə özündə 4000-ə yaxın ekspert annotasiyalarını birləşdirən 99 növ sorğuya sahibdir.