今年の８月は特別な夏になるはずでした。そう、東京オリンピックが予定されていたからです。スポーツテック（スポーツにおけるテクノロジー活用）は、サッカーワールドカップや、夏季・冬季オリンピックなどのビッグゲームごとに進化し続けています。東京オリンピックでも、本来のスポーツ観戦と同時に、どんなスポーツテックが工夫されているのか楽しみにしていました。テクノロジーによって、競技の判定精度向上や観客の体験価値向上など、スポーツを楽しむ幅が広がります。今月の注目発明は、映像中の特定人物の識別と特定人物と他の人物の間の距離測定（特開2020-109556、日本テレビ放送網）、フェンシングの剣先やバドミントンのシャトルの軌跡の追跡（特開2020-107071、日本放送協会）の２つを取り上げます。どちらの出願人もテレビ局です。オリンピックを意識していたのかもしれません。

スポーツの世界においてもAIやVRなどの先端テクノロジーの活用が始まっています。この注目発明でも、スポーツテックは何回か取り上げてきました。

• “データ・ドリブン”なスポーツ科学
  データを活用したスポーツ選手のトレーニングに関する発明を紹介しました。
• 競技スポーツの採点支援
  コンピュータによる競技の採点支援に関する発明を紹介しました。

スポーツファンにとって、ライブ観戦は、緊張感や躍動感を体感し、熱気や感動に包まれる最高の体験です。競技場に行けない時でも、テレビやインターネットによるスポーツ中継を楽しむことができます。最近では、テレビでスポーツ観戦している時に、映像解析の進展により、補助的な情報表示がされることが増えてきました。例えば、競泳プールを上方から俯瞰的に撮影した画面。選手が到着した順番に選手名と国旗が表示され、どこの国のどの選手が入賞したのかが即座に分かります。また、ウィンブルドンでも使用されているテニスのホークアイシステムは、複数の固定カメラの映像を用いてテニスボールを３次元的に追跡し、ＩＮ／ＯＵＴの判定を行っています。このように、スポーツ観戦の顧客体験を向上させるための様々な工夫がされているのです。今回の注目発明は、いずれも、スポーツ観戦の顧客体験を向上させようとするものです。ライブ観戦とは違った楽しみ方が広がります。

多くの観客（人物）が存在する映像から、競技中の選手（特定人物）を識別します（特開2020-109556、日本テレビ放送網）。駅伝の例が挙げられています。
フローは下記の通りです。

人物の識別（図７）

４台のカメラを用いて、選手の正面、背面、左面、右面から選手の映像を撮影します。人物であることが認識できればよく、個々の人物の属性等まで認識しません。

人物の向きの推定（図８）

異なる時刻のフレーム画像中の人物に関して、同一人物を対応付ける追跡処理を行うことにより、各人物のカメラとの相対的な移動ベクトルを推定します。例えば、選手とカメラとの位置は時刻が進んでも維持されますが、観客とカメラとの距離が遠くなる場合、観客は、映像上では後方に移動することになります。このような映像では、選手の向きは前を向いている（正面）と推定することができます。

特定人物の位置関係の推定（図１１、図１２）

２次元の映像では、手前にあるものが大きく映り、遠方にあるものほど小さく映ります。いわゆる遠近法です。これは競技を撮影している場合も同様です。マラソンや駅伝では、選手を正面から撮影する場合が多く、手前を走る選手ほど映像上で大きく映り、後方の選手ほど映像上で小さく映ります。このような性質を利用し、識別した識別対象の位置関係を推定します。識別した特定人物に関して、図１１のように、頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向にＬ×２Ｌの注目領域を設定します。そして、識別した特定人物の映像上の大きさの指標として、この注目領域の大きさにより、位置関係を特定人物の間の位置関係を推定します。図１２は、選手の向きが正面の場合の映像です。この映像では、人物Ｄの注目領域が最も大きく、人物Ｃの注目領域が最も小さい。従って、選手の順位は、人物Ｄ（大学Ｚ選手）、人物Ｂ（大学Ｙ選手）、人物Ｃ（大学Ｘ選手）の順であり、その順番で走行していることが識別できます。

フェンシングの剣先、バドミントンのシャトルなど、目視が困難なほどの高速で移動するオブジェクトを撮影すると、そのオブジェクトに極度のモーションブラーが発生してしまいます。ハイスピードカメラの使用やシャッタースピードの高速化によりモーションブラー低減ができる一方で、ハイスピードカメラは高価であり、シャッター速度を高速化すると映像の輝度が低下してしまいます。そのため、赤外画像及び可視画像を用いたオブジェクト追跡が行われていました。しかし、複数の追跡対象の追跡中に追跡対象同士が近接した際、または、全追跡対象をロストした後に再検出した際、追跡対象が入れ替わる場合があります。この場合、正確な軌跡の描画が極めて困難となり、軌跡の入れ替わりが生じてしまいます。

この発明では、オブジェクトを追跡する際、オブジェクトと人物との対応関係を示す属性情報を用いることにより、その軌跡の入れ替わりを抑制することができます（特開2020-107071、日本放送協会）。

この２つの画像を用いて、オブジェクトを追跡します（図１）。

• 動いているオブジェクトに付された赤外光マーカを赤外光で撮影した赤外画像
• それぞれのオブジェクトを動かしている人物を可視光で撮影した可視画像

フローは下記の通りです。

関節位置検出（図５）

可視画像から人物の各関節位置を検出します。

特徴ベクトル算出（図９）

オブジェクトの位置から各関節位置までの特徴ベクトルを算出します。この特徴ベクトルは、追跡の対象となるオブジェクトの位置と人物の姿勢との関係を表しています。

軌跡生成（図１２）

オブジェクトの位置及び属性情報に基づいて、オブジェクトの軌跡を生成します。

今回紹介した発明は、競技の進行中の状況がどうなっているか視聴者の理解を助けるための、スポーツ観戦のアシストテクノロジーといえるでしょう。世界最高レベルの選手の技を、見逃さずに自分の目で確認できる、スポーツ観戦の魅力を高め、顧客体験の向上につながります。次のオリンピックには、スポーツテックのさらなる進展を期待したいと思います。