Хиймэл оюуны салбарын мэдээллийн урсгал ихэвчлэн аварга том хэлний загваруудын ээлжит шинэчлэл дээр төвлөрдөг боловч судалгааны лабораториудад дуу авиа, дүрсний жүжиглэлт, интерактив 3D ертөнц болон тоглоомын хөдөлгүүрийг үндсээр нь өөрчлөх шинэ үеийн технологиуд чимээгүйхэн бүрэлдэж байна. Эдгээр нээлтүүдийн эхэнд текстээс яриа үүсгэх (Text-to-Speech) технологийг энгийн уншилтаас жинхэнэ дуу оруулалтын найруулга руу шилжүүлсэн Fish Audio Drama 3 загвар орж байна. Уламжлалт дуу хоолойн загварууд өгүүлбэрийг нэгэн хэвийн өнгөөр уншдаг байсан бол Drama 3 нь хэрэглэгчид өгүүлбэр бүрийн сэтгэл хөдлөл, амьсгал авах хэмнэл, шивнээ, инээд эсвэл түр зогсолтыг энгийн үгээр чиглүүлэн удирдах боломжийг олгожээ. Ямар ч хэл дээрх текстийн аль үгийг гунигтай, догдолсон эсвэл эргэлзсэн өнгөөр хэлэхийг нарийвчлан зааж өгснөөр хиймэл оюун зөвхөн үг унших бус, тухайн дүрийн дотоод мэдрэмжийг илэрхийлдэг болж байна.
Дуу хоолойн ийм нарийн жүжиглэлт нь дүрсний хөдөлгөөнтэй шууд нэгдэхэд BytePlus OmniHuman 2.0 загвар гол үүрэг гүйцэтгэж байна. Ганц ширхэг хөрөг зураг болон аудио бичлэг өгөхөд OmniHuman 2.0 нь зөвхөн уруулын хөдөлгөөнийг (lip-sync) тааруулаад зогсохгүй, дууны өнгө аяс, хэмнэлтэй уялдсан нүүрний хувирал, толгойн хөдөлгөөн, гарын дохио зангаа болон хөгжмийн зэмсэг тоглож буй биеийн бүтэн хөдөлгөөнийг өндөр нарийвчлалтай видео болгон хувиргадаг. Түүнчлэн текстэн заавар (text prompt) ашиглан камерын өнцөг, гэрэлтүүлэг болон дүрийн үйлдлийг давхар удирдах боломжтой болсон нь хөдөлгөөнгүй зургийг бүрэн хэмжээний жүжиглэлттэй видео хэсэг болгох замыг нээжээ.
Гэвч дан ганц дүрийн хөдөлгөөнөөс хальж, хэрэглэгч камерын өнцгөө чөлөөтэй эргүүлэн виртуал орчныг судлах үед өмнөх видео загваруудад нэг том дутагдал тулгардаг байсан нь орон зайн ой санамжгүй байдал юм. Камераа эргүүлээд буцаад харахад өмнө нь байсан өрөө эсвэл гудамж огт өөрчлөгдчихдөг байсан асуудлыг WorldCrafter судалгааны баг 3D мэдрэмжтэй далд санах ойн (implicit 3D-aware memory) архитектураар шийдвэрлэжээ. WorldCrafter нь гүний хэмжилт (depth estimation) эсвэл геометр гажуудал тооцоолох шаардлагагүйгээр өнгөрсөн кадруудын мэдээллийг камерын байрлалаас хамаарсан санах ойн нэгж болгон хадгалдаг. Үүний үр дүнд ганц зураг эсвэл текстээс эхлэн минут орчмын урттай виртуал орчныг камераар удирдан судлахад өмнө харсан объектууд байрандаа хэвээр хадгалагдаж, 145 орчин болон 725 камерын замыг хамарсан шалгуурт VBench үнэлгээгээр тэргүүлсэн байна.
Үүнтэй зэрэгцэн ByteDance компани текстэн өгүүлбэрээс шууд дотор нь чөлөөтэй алхаж, нисэж болох интерактив 3D ертөнц үүсгэдэг шинэ World Model-оо танилцууллаа. Уг систем нь "Инээдмийн хаан" (King of Comedy) киноны хэсгийг камерын чөлөөт замаар дахин бүтээхээс гадна хэрэглэгч гар болон хулганы удирдлагаар цаасан онгоц хөлөглөн орчин дундуур нисэх, бодит цагийн горимд шинэ объект үүсгэж дээр нь авирах, улмаар "дурын хаалга" (any door) функцээр өрөөнөөс шууд сансрын уудам руу алхан орох зэрэг олон орчныг хооронд нь холбох чадварыг үзүүлжээ.
Виртуал ертөнцийг зөвхөн хараад зогсохгүй, дотор нь тоглоомын дүрэм болон физикийн хуулийг кодчилон удирдах чиглэлд Matrix-Game 4.0 болон NVIDIA StreamRender-H3 гэсэн хоёр том архитектур онцгой дэвшил авчирлаа. Matrix-Game 4.0 нь уламжлалт тоглоомын хөдөлгүүр (Game Engine), код бичигч агент (Coding Agent) болон цөөн алхамт видео загвар (Causal DiT)-ыг нэгтгэсэн бүтэцтэй. Тоглоомын хөдөлгүүр нь ертөнцийн төлөв байдлыг хадгалж энгийн геометр (low-poly proxy) дүрслэл гаргах бол тоглогчийн хүссэн шинэ дүрэм, өөрчлөлтийг Coding Agent шууд код болон заавар болгон хувиргадаг. Улмаар хэрэглэгчийн ганцхан видео карт (single consumer GPU) дээр ажиллах Causal DiT видео загвар нь 4 кадраар багцлан бодит мэт өндөр чанартай дүрсийг дэлгэцэнд шууд дамжуулдаг байна.
Яг энэхүү "код нь ертөнцийг удирдаж, видео загвар нь дүрсийг зурна" гэх зарчмыг NVIDIA Research (NVLabs) баг StreamRender-H3 системээрээ улам гүнзгийрүүлжээ. Уралдааны тоглоомын жишээн дээр three.js хөдөлгүүр нь замын геометр, физикийн мөргөлдөөн болон хиймэл оюунт жолоочдын хөдөлгөөнийг ягштал тооцоолж, видео загварт зөвхөн өнгөөр ялгасан утгазүйн газрын зураг (semantic map) дамжуулдаг. Хоёрхон алхамтай урсгалын диффузийн загвар (Streaming Diffusion Render) нь уг бүтцийг хүлээн авч, лавлах зураг болон зааврын дагуу фото бодит гэрэлтүүлэг, материал бүхий видео кадр болгон бодит цагт хувиргадаг. Зам болон объектын байрлал кодоор хадгалагддаг тул тоглогч буцаж ирэхэд орчин 100 хувь хэвээр байхын зэрэгцээ гадаад өнгө төрхийг нь хүссэнээрээ солих боломжтой болжээ.
Хэрэв хиймэл оюуны үүсгэсэн ийм виртуал ертөнц дотор биологийн амьд тархи тавибал яах вэ гэдгийг Odyssey AI багийн эрдэмтэд Odyssey-3 ертөнцийн загвар дээрээ туршсан нь олны анхаарлыг татлаа. Тэд жимсний ялааны (Drosophila) бүрэн зураглагдсан тархины нейроны сүлжээний программ хангамжийн загварыг Odyssey-3-ийн виртуал орчинд холбосон байна. Хиймэл оюуны үүсгэсэн усан боомт болон гудамжны дүрслэл нь ялааны харааны дэлбээнд харааны урсгал (optic flow) хэлбэрээр дамжиж, дижитал ялааны тархи ямар ч урьдчилсан командгүйгээр хийсвэр ертөнц доторх саадыг тойрон бие даан нисэж шийдвэр гаргаж чадсан нь нейробиологи болон ертөнцийн загварын огтлолцлын содон жишээ боллоо.
Виртуал ертөнцийг хийсвэрээр үүсгэхээс гадна бодит ертөнцийн фото зургуудаас 3D геометрийг хэт өндөр нарийвчлалтай сэргээн босгох, хөдөлгөөнд оруулах салбарт ч гурван чухал хэрэгсэл гарч ирлээ. Японы Preferred Networks болон Токиогийн Их Сургуулийн судлаачдын бүтээсэн T3lescope аргачлал нь олон өнцгөөс авсан фото зургуудаас дурын нягтаршилтай (arbitrary-resolution) 3D гадаргуугийн торыг шаталсан генератив аргаар сэргээн босгодог. Жишээлбэл 5187×3361 нягтаршилтай 185 ширхэг зургаас цэцэрлэгийн ширээ болон ургамлын навч бүрийн нарийн хэлбэрийг гурван шатлалаар томруулан (upscale) маш цэвэр геометр тор болгон гаргаж чаджээ.
Ийнхүү сэргээн босгосон 3D болон 4D Gaussian Splatting (4DGS) объектуудыг хөдөлгөөнд оруулахад сул хувцас, зөөлөн эд зэрэг хатуу бус гадаргуугийн хэв гажилт хамгийн том бэрхшээл байдаг. Тэгвэл GaussiAnimate судалгааны баг Skelebones хэмээх "араг яс ба чөлөөт яс" хосолсон шинэ систем болон Partwise Motion Matching (PartMM) алгоритмыг танилцууллаа. Уг арга нь объектын дотор талд кинематик араг яс (skeleton) гаргаж аваад, гаднах зөөлөн гадаргуу дээрх хувцас, өд сөдний хөдөлгөөнийг чөлөөт яс (free-form bones) хэлбэрээр холбосноор уламжлалт Linear Blend Skinning (LBS) аргаас PSNR үзүүлэлтээр 17.3 хувь, Bag-of-Bones аргаас 21.7 хувь илүү нарийвчлалтайгаар амьтад, шувуу болон хувцастай хүний 3D загварыг хөдөлгөөнд оруулдаг байна.
Эцэст нь уран бүтээлчид, манга зураачид болон тоглоом хөгжүүлэгчдэд зориулсан WorldGacha вэб хэрэгсэл нь ямар ч гаднын өгөгдөл ашиглалгүйгээр зөвхөн математик томьёо болон санамсаргүй тооны үүсгүүрээр 4 км квадрат талбай бүхий уулс, гол мөрөн, эрэг орчмын хот, төмөр зам, барилга байгууламжийг хэдхэн хормын дотор three.js 3D орчинд бүтээж байна. Хэрэглэгч нарны өнцөг, шөнийн гэрэлтүүлэг, камерын дурангийн фокусын зай болон манга зураасны тодруулгыг шууд хөтөч дээрээ тохируулан бэлэн 3D дэвсгэр зураг гаргаж авах боломжтой болсон нь хиймэл оюун болон процедурын графикийн хэрэгслүүд бүтээлч салбарын өдөр тутмын ажлыг хэрхэн хөнгөвчилж буйг тод харуулж байна.
