ANYCOLOR、stuは、VTuberに特化したMRライブシステムを共同開発し、2025年1月8日(水)、9日(木)に開催された「ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」にて実証実験を実施しました。
「ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」は、Meta Quest3とスマートフォンで体験可能なMR形式のライブイベントとなっており、にじさんじ所属の「加賀美ハヤト」が出演するトークと音楽ライブの2本立て形式で実施されました。
これまでのVTuberの音楽ライブは、会場のLEDモニターに表示される映像を視聴する体験が主体的でしたが、本イベントではヘッドマウントディスプレイやスマートフォンで体験者自身の視点でリアルタイムに鑑賞可能なシステムを開発し、新感覚なライブエンターテイメントの提供を目指しました。
システム開発について
本イベントのシステムでは低遅延なデータ伝送により、VTuber・司会者・体験者が相互にコミュニケーションすることが可能となり、音声についてはイヤホン等ではなく、通常のライブと同じく会場のスピーカーで聞く設計となっており、より臨場感のあるライブ体験を提供しました。また、MR技術を用いて、VTuberがより目の前に実在する体験を実現するため、VTuberライブに特化した伝送システムとMR合成システムの2つを開発しました。
リアルタイムに相互コミュニケーションを可能とするためには、ライバーの動きや照明等の演出信号を、複数台のヘッドマウントディスプレイやスマートフォンに低遅延で伝送する必要があります。そのため、これまでstuと共同開発を進めてきた、VTuberライブに特化した独自のデータ圧縮手法を基にリアルタイムでMRライブが可能な伝送システムを新たに開発しました。
加えて、リアルタイムに精度の高い映像をコンポジットすることが課題となっていたため、Meta Quest3の基本機能をベースにした新たな機能を開発し、物理空間と音・照明が連動したVTuber専用のMR合成システムを開発しました。また、一般的な会場は無線で大量の端末にデータを送受信できる設計にはなっておらず、リアルタイムでMRコンテンツを提供するにあたり障壁となっていましたが、大量のデータを安定して伝送するために、会場のネットワークインフラから再設計を行い、リアルタイムMRライブに最適なネットワーク機材を選定してデータフローを見直すことで、オペレーターの負担を下げつつ安定したデータ配信を可能にしました。
今後の展望
リアルタイムMRライブシステムの開発により、VTuberがより身近に感じられる体験が実現し、これまで以上に自由度の高いコンテンツを企画・提供することができるようになりました。
本イベントで実証実験した技術は、ライブのみならず、ゲーム、展示会、テーマパーク、ショッピングモールのイベントスペースといった様々な場所で応用が可能です。
ヘッドマウントディスプレイ使用イメージ
The post ANYCOLORとstuがリアルタイムMRライブシステムを共同開発。新時代のVTuberライブの実現を目指す first appeared on PASH! PLUS.
Source: PASH! PLUS
