バーミンガム大学は、ミュージシャンがレスポンシブなアバターを使用してリアルタイムでコラボレーションできる JAMS プラットフォームを発表しました。このイノベーションは、対面での音楽体験の魔法を仮想世界にもたらし、練習、指導、パフォーマンスを向上させることが期待されています。
バーミンガム大学は、バーチャル音楽の世界に革命を起こすであろう画期的なイノベーションを発表しました。学際的な研究を通じて開発された Joint Active Music Sessions (JAMS) プラットフォームにより、ミュージシャンはアバター テクノロジーを使用して、本物そっくりの練習、演奏、指導セッションに参加できます。
「ミュージシャンが自分の演奏を録画し、その動画を他のミュージシャンに送ります。ソフトウェアが反応するアバターを作成し、演奏相手と完璧に同期して演奏します。ミュージシャン同士が演奏、練習、指導を行うために必要なのはiPhoneとVRヘッドセットだけです」と開発チームを率いたバーミンガム大学の准教授、マッシミリアーノ・ディ・ルカ氏は述べた。 ニュースリリース.
JAMS プラットフォームは、音楽演奏の繊細さとニュアンスを捉えるアバターを使用することで、従来の仮想音楽環境を超えています。これらのアバターは、バイオリニストの弓の動きをリアルに再現したり、仮想バンドのメンバー間で意味のあるアイコンタクトを可能にしたりすることで、全体的な音楽のインタラクションを強化します。
他の仮想音楽コラボレーションとは異なり、JAMS は遅延の問題を排除します。
「レイテンシーとは、サウンドが生成されてからリスナーに届くまでの遅延のことです。演奏者は、わずか 10 ミリ秒のレイテンシーでもその影響を感じ始め、ビートがずれたり、集中力が途切れたり、演奏の技術的な側面から注意が逸れたりします」とディ ルーカ氏は付け加えました。
拡張現実音楽アンサンブル (ARME) プロジェクトで開発された JAMS は、演奏者間のタイムリーな調整を捉える動的アルゴリズムによって強化されています。この革新的なプロジェクトには、心理学、コンピューター サイエンス、エンジニアリング、音楽、スポーツ科学、数学の専門家が集結しました。
「私たちは、音楽を実際に演奏することの魔法を仮想世界にもたらすことを目指しています。他の人が演奏するアバターを適応させたり、巨匠との練習を通じてより上手に演奏できるようになることができます」とディ・ルーカ博士は付け加えた。
JAMS は、リアルで没入感のある背景を提供し、アバターの顔を目の高さに保つことで、ミュージシャン間のつながり感を高めます。このプラットフォームは、熟練したミュージシャンと初心者のミュージシャンの両方に、インタラクティブな仮想グループで演奏する新しい機会を提供し、大規模な仮想コンサートや革新的な音楽指導方法の可能性につながります。
さらに、JAMS には、リップシンク、メディアでのダビング、ミュージシャンのデジタルツインの作成などの機能があり、商業的な可能性を秘めています。これらのアバターはさまざまなアプリケーションにライセンス供与でき、カタログや出版権を活用する新しい方法を促進することができます。