ByteDance компани өөрсдийн дуу хоолой болон уруулын хөдөлгөөн тааруулагч (lip-sync avatar) технологийн шинэ үе болох OmniHuman 2.0 загварыг BytePlus платформоор дамжуулан албан ёсоор гаргалаа. Одоогоор уг загвар нь зөвхөн API хэлбэрээр (АНУ-аас бусад бүс нутагт) нээлттэй байгаа бөгөөд удахгүй Dreamina платформ дээр энгийн хэрэглэгчдэд нээгдэхээр төлөвлөгджээ.
Дижитал дүр (avatar) технологийн эхэн үеийн загварууд толгойгоо жигд бус дохисон, гарын хөдөлгөөн нь хиймэл (bobblehead) харагддаг дутагдалтай байсан. Харин OmniHuman 2.0 нь ганц эх зураг болон аудио бичлэгээс 5 хүртэлх минутын урттай 720p видеог өмнөх хувилбараасаа 40% хямд өртгөөр үүсгэдэг болсон төдийгүй киноны камерын шилжилт (cinematic camera movements) болон нүүрний хувирлыг илүү амьд гаргадаг болжээ.
Туршилтын бичлэгүүдээс харахад шүдний дүрслэл болон нийлмэл эгшиг (diphthongs) хэлэх үеийн уруулын хөдөлгөөнд бага зэргийн хиймэл шинж тэмдэг ажиглагдсаар байгаа бөгөөд ерөнхий физик реализмын хувьд ByteDance-ийн өөрийн Seedance 2.0 / 2.5 загвараас бага зэрэг доогуур түвшинд байна. Мөн видеог видеоноос удирдах (video-to-video driving) бус зөвхөн зураг болон аудионоос үүсгэдэг хязгаарлалттай.
Гэвч яагаад AI кино бүтээгчдэд чухал вэ? Seedance зэрэг бүрэн видео генераторууд харилцан яриа үүсгэхдээ өгөгдсөн үгийг дур мэдэн өөрчлөх тохиолдол гардаг бол OmniHuman 2.0 нь өгсөн аудио бичлэгийг 100% ягштал дагадаг. Тиймээс AI киноны дунд тодорхой нэг өгүүлбэрийг яг таг хэлүүлэх шаардлагатай үед харилцан ярианы нөхөөс зураг авалт (dialogue patchwork) хийх хамгийн практик хэрэгсэл болж байна.
