9 軸慣性センサを搭載したグローブ型デバイスを用いた指揮動作の検出と動的な音響操作

オーケストラにおいて指揮者は，指揮動作を通じて演奏のテンポや音量といった音楽的要素を演奏 者に伝達している。このような指揮動作に基づく音響操作は，身体動作に含まれる周期性や動き の強さといった特徴を音楽制御へ反映可能な入力手法として，これまでに数多く検討されてきた。 一方で，既存研究の多くは，カメラを用いた動作認識や複数のセンサを組み合わせた計測構成を前 提としており，使用環境の制約や実装規模の大きさ，処理構成の複雑化といった課題が指摘されて いる。そこで本研究では，小型かつ簡便な構成による指揮動作に基づく音響操作の実現を目的と し，グローブの手の甲側に9軸慣性センサを搭載したウェアラブルデバイスを用いた音楽制御手法 を提案する。提案手法では，明示的なジェスチャ分類や動作認識を行わず，加速度および角速度か ら得られる連続的な運動量を用いて，指揮動作の周期性をテンポ制御に，運動強度を音量制御にそ れぞれ直接対応付ける構成を採用した。これにより，リアルタイム性と装着性を両立した音響操作 を実現する。検証実験では，一定テンポ下での指揮動作を用いてテンポ検出精度および運動強度 指標の挙動を評価した。その結果，検出されたテンポは基準テンポに対して概ね1BPM以内の誤差 に収まり，また振りの大きさに応じて運動強度指標が段階的に変化することを確認した。これら の結果から，提案手法が小型ウェアラブルデバイスのみを用いた構成においても，指揮動作に基づ くテンポおよび音量制御に適用可能であることを示した。さらに，本手法を用いた応用例として， 指揮動作によって音楽プレーヤを操作するシステムや，仮想的な指揮体験を提供するインタラク ティブアプリケーションへの展開可能性についても示した。今後の課題としては，テンポ変動時に おける音響再生の自然さを考慮した時間伸縮処理の改良，ユーザ実験による操作感や応答性の定 性的評価，ならびに現状では未使用である地磁気センサの情報を活用した姿勢推定精度の向上や， より多様な音楽表現要素への拡張が挙げられる。