音響情報で動作シーケンスの差を直感的に理解する
動作の型が決まっているスポーツや舞踊など、プロの演技者の実演は素晴らしいものです。しかし、“言うは易く行うは難し”で、一連の動作を身に付けるのには長い年月のトレーニングが必要です。今回は、自身の動作シーケンスと理想的な動作シーケンスとの差を、リアルタイムで計算し、音響情報に変換して伝えることで、自らの動作の修正すべき点を直感的に把握させて学習者のトレーニング効果を高める発明に注目しました（特開2020-195431、東京大学）。
動作のシーケンスが重要な身体運動
スポーツの指導においては、身体運動について計測や撮影を行い、その結果に基づいて指導者が改善点を提案するという手法が多く行われています。特に動作のシーケンスが重要な身体運動においては、お手本と学習者の動作をどのように比較し、学習者に伝えるかという課題があります。ゴルフは動作のシーケンスが確立されているスポーツの１つです。ゴルフスイングは、短時間で複数の身体部位が相互作用しながら完了する動作であり、スイング動画を再生しても、身体部位の動作の連鎖を視覚的に把握することは困難です。また、各身体部位の動作のタイミングが望ましい形で行われているかを認識でき、自覚して修正できるのはすでに上級者レベルです。動作シーケンスの評価を、学習者にわかりやすく伝えることが重要です。
動作シーケンスの差を、音響情報として提示する
この発明は、参照となる動作シーケンスと、運動データから取得した学習者の動作シーケンスとの差を、音響情報として学習者にリアルタイムないしニア・リアルタイムで提示することで、学習者が自らの動作を自覚し修正を行うことができる直感的な方法の発明です。
モーションキャプチャで身体運動の時系列データを取得し、身体部位の動作及びその動作を引き起こしている別の身体部位の動作の時間変化について、それぞれの動作上の転換点（イベント）の間隔や順序についての調査を行います。
この発明では、特定部位の運動上の転換点（イベント）のタイミング評価６項目を採用しています。イベントは学習者に取り付けられた身体およびゴルフクラブ上のマーカの３次元位置座標から計算されます（図６）
- 左膝の角度最大となる時刻
- 左手首の固定が解除される時刻
- 腰の回転角速度が最大となる時刻
- 肩の回転角速度が最大となる時刻
- 手首の速度が最大となる時刻
- ゴルフクラブのヘッド速度が最大となる時刻
手本のスイングについて、それぞれのイベントに異なる周波数（frefi音）を対応させます。
ここで、hrefiは、Ａの音（周波数440Hz）からの音程差を半音の数で表現したものです。ここでは、上記６音を同時に鳴らすと、Ｃ１１と呼ばれる和音になるように設定しています。
各イベントへの音の割り当てを表４に示します。
続いて、評価対象のスイングについて、各イベントに音を対応させます。
ここで、手本スイングと比較して、そのイベントの発生順序が早くなっていた場合に音程を半音上にずらし、遅くなっていた場合に音程を半音下にずらして対応させます。
これらのデータを利用して、周波数frefiの音声を時間tだけ順番に鳴らしていくことで、手本のスイングのタイミング評価を提示し、手本のタイミング評価提示終了時刻から時間t´i後に周波数fiの音声が再生されるようにします。
このように、手本と評価対象のスイングについて音声が再生される順序や再生時間を変化させることで、各タイミングのズレの直観的な提示を行うことができます。その後、評価対象のスイングにおける６つの音声を同時に再生します。これによって、イベント発生順序が手本と異なっている場合、不協和音として音響情報を提示することになり、学習者に順序のズレを直感的に提示することができます。
音響情報で動作シーケンスを比較した例
参照となる動作に対応する音響情報と、自己の動作に対応する音響情報を学習者に対比させることで差を認識させます。たとえば、スイングのたびに、学習者の動作シーケンスを変換した音響情報を参照となる音響情報と対比することで、聴こえ方の差異の程度によって、どのスイングが参照となるスイングに近いか遠いかを直感的に判断することができます。
ここでは、音声間隔は等間隔となっています。
参照となる動作シーケンスに対応する音のシーケンスを等間隔に変換して学習者に提示してもよい。
学習者の動作シーケンスに対応する音響情報を提示する際に、参照となる動作シーケンスと順序が異なるイベントに対応する音の音高を変化させてもよい。
手本は参照となる動作データ、例１は一部のイベントの発生タイミングのみがずれた場合（順序誤差なし）、例２は一部のイベントの順番が入れ替わった場合です。
間違えたイベントの位置、各イベントの位相差、最大位相差のイベントが得られています。
音のシーケンスにおいて、参照の動作シーケンスに対応する順序を用いて、位相差が最大のイベントの音高を変えて提示することもできます。
このように、この発明は、自身の動作シーケンスと理想的な動作シーケンスとの差を、リアルタイムあるいはニア・リアルタイムで計算し、音響情報に変換して直ちに伝えることで、自らの動作の修正すべき点を直感的に把握させて学習者のトレーニング効果を高めるものです。ゴルフスイングだけでなく、野球のバットのスイング、野球の投球動作、空手の型、ダンス、リハビリテーション、その他の動作のシーケンスが確立されている運動やルーティーンが決まっているなどに適用が可能です。
今までにも、マンスリー特許情報：AIの用途では、AIを用いたリハビリテーション支援の発明は出てきていますが、学習者に対して直感的に理解しやすくする工夫はあまりなかったように思われます。自分が動作してすぐに不協和音が出力されると、間違った動作をしていることが直感的にわかり、次の動作を変えてみようという意思が働くのではないでしょうか。このように、人間に対する出力への工夫も重要な観点ではないかと思います。