ByteDance istənilən fotonu 3D modelə çevirə bilən süni intellekti təqdim edib

     TikTok-un ana şirkəti ByteDance 3D məzmun yaratmaq üçün süni intellekt aləti Seed3D 1.0-ı təqdim edib. Bu alət vasitəsilə tək bir 2D təsvirdən simulyasiya səviyyəsində 3D model yaratmaq mümkündür - model detallı həndəsəyə, fotorealist teksturlara və işığın əks olunması, sınması və səpələnməsi kimi real fiziki xüsusiyyətləri nəzərə alan PBR (physically based rendering) materiallarına malikdir. Şirkətin sözlərinə görə, diffuziya transformatoru arxitekturasına (Diffusion Transformer, DiT) əsaslanan Seed3D 1.0, diffuziya modelləri və transformerlərin üstünlüklərini birləşdirərək həm açıq, həm də qapalı mənbə kodlu rəqiblərini tekstur keyfiyyəti və həndəsə dəqiqliyi baxımından üstələyir.

     Cəmi 1.5 milyard parametrdən istifadə etməsinə baxmayaraq, Seed3D 1.0 hətta 3 milyard parametrə malik Hunyuan3D 2.1 kimi daha böyük modelləri də geridə qoyur. Yeni süni intellekt alətinin əsas özəlliyi multimodal diffuziya transformatoru (Multimodal Diffusion Transformer, MMDiT) və mərhələli generasiya strategiyasının birləşməsindədir. Əvvəlcə sistem vizual-dil modeli (Vision-Language Model, VLM) vasitəsilə təsviri analiz edir və obyektlərin həm obyekt, həm də məkan parametrlərini çıxarır. Daha sonra Seed3D 1.0 hər bir müəyyən edilmiş obyekt üçün uyğun həndəsə və materialları sintez edir.

     Yekun səhnə isə VLM tərəfindən proqnozlaşdırılan məkan konfiqurasiyasına uyğun olaraq yaradılan obyektlərin yerləşdirilməsi yolu ilə formalaşır. Bu arxitektura ofis kimi qapalı məkanlardan tutmuş iri şəhər mənzərələrinə qədər müxtəlif miqyaslarda səhnələr yaratmağa imkan verir. Bildirilib ki, Seed3D 1.0 müxtəlif baxış bucaqlarında tekstur ardıcıllığını qoruyur. Standart teksturlardan istifadə etmək əvəzinə, süni intellekt aləti bütün bucaqlardan uyğun görünən materiallar yaradır və bu, həm realizmi, həm də simulyasiya səviyyəsində struktur dəqiqliyini təmin edir. Şirkət qeyd edib ki, Seed3D vasitəsilə yaradılmış modelləri Isaac Sim kimi simulyasiya platformalarına birbaşa inteqrasiya edərək süni intellektin öyrədilməsi üçün istifadə etmək mümkündür.