特開 2024-178787 判定装置、判定方法及びコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178787

(43)【公開日】2024-12-25

(54)【発明の名称】判定装置、判定方法及びコンピュータープログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241218BHJP

   G06Q 50/10 20120101ALI20241218BHJP

【ＦＩ】

G06T7/70 A

G06Q50/10

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023097205

(22)【出願日】2023-06-13

(11)【特許番号】

(45)【特許公報発行日】2024-02-19

(71)【出願人】

【識別番号】500149555

【氏名又は名称】株式会社サイバーエージェント

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(72)【発明者】

【氏名】近藤 信輝

【テーマコード（参考）】

5L049

5L050

5L096

【Ｆターム（参考）】

5L049CC18

5L050CC18

5L096AA06

5L096BA02

5L096CA05

5L096DA01

5L096DA02

5L096FA35

5L096FA52

5L096FA62

5L096FA67

5L096FA69

5L096HA04

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】競技において移動体にセンサーを取り付けなくても移動に関する情報を取得することを可能にすること。
【解決手段】競技において移動する複数の移動体を複数の視点から同じタイミングで撮影することによって得られる複数の競技場画像のそれぞれにおいて、前記移動体の画像である移動体画像を検出する移動体画像検出部と、前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を判定する位置判定部と、前記位置判定部によって判定された三次元空間の位置の時間変化量に基づいて前記移動体の速さの値を算出する関連情報取得部と、を備える判定装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

競技において移動する複数の移動体を複数の視点から同じタイミングで撮影することによって得られる複数の競技場画像のそれぞれにおいて、前記移動体の画像である移動体画像を検出する移動体画像検出部と、
前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を判定する位置判定部と、
前記位置判定部によって判定された三次元空間の位置の時間変化量に基づいて前記移動体の速さの値を算出する関連情報取得部と、
を備える判定装置。

【請求項2】

前記位置判定部は、前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を示す第一位置を判定し、所定の基準位置と前記第一位置とを含む直線と、前記競技が行われる競技場の床面と、の交点を示す第二位置を前記移動体の三次元空間における位置として判定する、請求項１に記載の判定装置。

【請求項3】

前記関連情報取得部によって取得された前記移動体の速さの値に関する画像を含む映像を生成する映像生成部をさらに備える請求項１に記載の判定装置。

【請求項4】

前記映像生成部は、前記移動体のうち、選択された一部の移動体についてのみ前記移動体の速さの値に関する画像を含む映像を生成する、請求項３に記載の判定装置。

【請求項5】

競技において移動する複数の移動体を複数の視点から同じタイミングで撮影することによって得られる複数の競技場画像のそれぞれにおいて、前記移動体の画像である移動体画像を検出する移動体画像検出ステップと、
前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を判定する位置判定ステップと、
前記位置判定ステップにおいて判定された三次元空間の位置の時間変化量に基づいて前記移動体の速さの値を算出する関連情報取得ステップと、
を有する判定方法。

【請求項6】

競技において移動する複数の移動体を複数の視点から同じタイミングで撮影することによって得られる複数の競技場画像のそれぞれにおいて、前記移動体の画像である移動体画像を検出する移動体画像検出部と、
前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を判定する位置判定部と、
前記位置判定部によって判定された三次元空間の位置の時間変化量に基づいて前記移動体の速さの値を算出する関連情報取得部と、
を備える判定装置としてコンピューターを機能させるためのコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、判定方法及びコンピュータープログラムに関する。

【背景技術】

【0002】

従来、競輪や競馬やカーレース等の移動体（例えば自転車や競走馬や自動車）の移動時間や順位を競う競技が行われている。このような競技には多くの観客が存在し、観客に対して競技に関する情報を提供する技術が提案されている。例えば特許文献１には、所定の競技者が審議対象になりかつ失格にならなかった出場者であるか否かを判定し、非失格審議対象回数を出力する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１１６３３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、競技の観客に対して提供される情報は必ずしも十分とはいえなかった。例えば、移動体の移動に関する情報（例えば速さや加速度）を提供したくても、競技や移動体の事情によってセンサーを取り付けることが難しい場合があった。そのような場合には、移動体の移動に関する情報を取得することが難しい場合があった。このような問題は、移動体が人である場合の競技（例えば短距離走やスケート等）でも同様に生じる問題である。

【0005】

本発明は、上述した事情に鑑みてなされたものであり、競技において移動体にセンサーを取り付けなくても移動に関する情報を取得することを可能にする技術を提供するものである。

【課題を解決するための手段】

【0006】

本発明の一態様は、競技において移動する複数の移動体を複数の視点から同じタイミングで撮影することによって得られる複数の競技場画像のそれぞれにおいて、前記移動体の画像である移動体画像を検出する移動体画像検出部と、前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を判定する位置判定部と、前記位置判定部によって判定された三次元空間の位置の時間変化量に基づいて前記移動体の速さの値を算出する関連情報取得部と、を備える判定装置である。

【0007】

本発明の一態様は、上記の判定装置であって、前記位置判定部は、前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を示す第一位置を判定し、所定の基準位置と前記第一位置とを含む直線と、前記競技が行われる競技場の床面と、の交点を示す第二位置を前記移動体の三次元空間における位置として判定する。

【0008】

本発明の一態様は、上記の判定装置であって、前記関連情報取得部によって取得された前記移動体の速さの値に関する画像を含む映像を生成する映像生成部をさらに備える。

【0009】

本発明の一態様は、上記の判定装置であって、前記映像生成部は、前記移動体のうち、選択された一部の移動体についてのみ前記移動体の速さの値に関する画像を含む映像を生成する。

【0010】

本発明の一態様は、競技において移動する複数の移動体を複数の視点から同じタイミングで撮影することによって得られる複数の競技場画像のそれぞれにおいて、前記移動体の画像である移動体画像を検出する移動体画像検出ステップと、前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を判定する位置判定ステップと、前記位置判定ステップにおいて判定された三次元空間の位置の時間変化量に基づいて前記移動体の速さの値を算出する関連情報取得ステップと、を有する判定方法である。

【0011】

本発明の一態様は、競技において移動する複数の移動体を複数の視点から同じタイミングで撮影することによって得られる複数の競技場画像のそれぞれにおいて、前記移動体の画像である移動体画像を検出する移動体画像検出部と、前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を判定する位置判定部と、前記位置判定部によって判定された三次元空間の位置の時間変化量に基づいて前記移動体の速さの値を算出する関連情報取得部と、を備える判定装置としてコンピューターを機能させるためのコンピュータープログラムである。

【発明の効果】

【0012】

本発明により、移動体のレースにおいて移動体にセンサーを取り付けなくても移動に関する情報を取得することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の判定システム１００のシステム構成を示す概略ブロック図である。

【図2】撮像システム１０の設置の具体例を示す図である。

【図3】学習装置２０の機能構成の具体例を示す概略ブロック図である。

【図4】教師データとして用いられる移動体の画像の具体例を示す図である。

【図5】学習装置２０の処理の具体例を示すフローチャートである。

【図6】判定装置３０の機能構成の具体例を示す概略ブロック図である。

【図7】移動体情報の具体例を示す図である。

【図8】競技場画像の具体例を示す図である。

【図9】移動体画像の具体例を示す図である。

【図10】第一位置判定部３３３の処理の具体例を示す図である。

【図11】第二位置判定部３３４の処理の具体例を示す図である。

【図12】映像生成部３３６が生成する映像のうち、競技終了後に生成する映像の具体例を示す図である。

【図13】制御部３３の処理の流れの具体例を示すフローチャートである。

【図14】本実施形態に適用される情報処理装置９０のハードウェア構成例の概略を示す図である。

【発明を実施するための形態】

【0014】

図１は、本発明の判定システム１００のシステム構成を示す概略ブロック図である。判定システム１００は、移動体が移動している姿を撮像して得られる画像（以下「競技画像」という。）に基づいて、移動体の移動に関する情報（以下「移動情報」という。）を判定する際に使用される。移動体は、競技において移動する物体である。競技が競輪や自転車競技である場合には、移動体は競技者によって運転（操縦）される自転車である。競技が競馬等の馬の競走である場合には、移動体は騎手によって乗馬される競走馬である。競技が短距離走や中距離走や長距離走などの人が走る競技である場合には、移動体は人自身である。競技がボートレースである場合には、移動体は人によって操縦されるボートである。競技がスケート競技（スピードスケートやショートトラック等）である場合には、移動体はスケートで移動する人である。

【0015】

判定システム１００は、複数の撮像システム１０と学習装置２０と判定装置３０とを含む。複数の撮像システム１０と判定装置３０とは、ネットワーク７０を介して通信可能に接続される。学習装置２０と判定装置３０とは、ネットワーク７０を介して通信可能に接続されもよい。ネットワーク７０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク７０は、例えばインターネットを用いて構成されてもよいし、ローカルエリアネットワーク（ＬＡＮ）を用いて構成されてもよい。ネットワーク７０は、複数のネットワークが組み合わされて構成されてもよい。

【0016】

撮像システム１０は、競技が行われる競技場に設置され、競技場内を移動する移動体を含む空間の画像（以下「競技場画像」という。）を撮像する。撮像システム１０は、例えばスチルカメラやビデオカメラ等の撮像装置を用いて構成される。撮像システム１０は、所定の時間間隔で連続して静止画像を撮像してもよいし、動画像を撮像してもよい。撮像システム１０の撮像装置は、競技場を所定の視点位置から所定の画角で撮像するように設置され予めカメラキャリブレーションが実行されてもよい。

【0017】

図２は、撮像システム１０の設置の具体例を示す図である。図２には、競技場の具体例としてトラック８１と、撮像システム１０によって形成される視点１０１と、が示される。視点１０１は、撮像システム１０によって撮影が行われる際の視点を示す。視点１０１毎に撮像システム１０が設定されている。複数の撮像システム１０は、例えば一つの競技場において、それぞれ異なる位置から重複する空間を撮像してもよい。撮像システム１０は、撮像することによって得られた競技場画像を示すデータを判定装置３０に送信する。例えば撮像システム１０は、撮像によって競技場画像のデータを得たタイミングから競技場画像のデータを送信するまでのタイムラグを可能な限り短くなるように、撮像された競技場画像のデータを判定装置３０に送信してもよい。

【0018】

図３は、学習装置２０の機能構成の具体例を示す概略ブロック図である。学習装置２０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。学習装置２０は、通信部２１、記憶部２２及び制御部２３を備える。

【0019】

通信部２１は、通信機器である。通信部２１は、例えばネットワークインターフェースとして構成されてもよい。通信部２１は、制御部２３の制御に応じて、ネットワーク７０を介して他の装置とデータ通信する。通信部２１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0020】

記憶部２２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２２は、制御部２３によって使用されるデータを記憶する。記憶部２２は、例えば教師データ記憶部２２１及び学習済モデル記憶部２２２として機能してもよい。

【0021】

教師データ記憶部２２１は、学習装置２０において実行される学習処理に用いられる教師データを記憶する。教師データ記憶部２２１が記憶する教師データは、移動体の画像を含む。教師データは、移動体の画像又は移動体以外の物体の画像と、その画像が移動体の画像か否かを示すラベル情報と、の組み合わせであってもよい。教師データに用いられる移動体の画像は、学習済モデルを用いて検出される対象の移動体の画像である。教師データに用いられる移動体の画像は、対象となる競技において撮影された様々な移動体の画像が用いられることが望ましい。

【0022】

図４は、教師データとして用いられる移動体の画像の具体例を示す図である。例えば対象となる競技が自転車競技である場合には、競技において自転車をこいでいる様々な選手の画像が用いられることが望ましい。図４は、自転車をこいでいる選手の背中を後から撮影することによって得られる画像を示す。また、教師データに用いられる移動体の画像は、様々な角度から移動体が撮影された画像が用いられることが望ましい。このような画像が教師データとして使用されることによりロバスト性を高めることが可能となる。例えば移動体の画像の検出結果の画像平面上の位置情報として画像の中心が用いられる場合には、教師データとして用いられる移動体の画像は、その中心に移動体の中心が位置している画像が用いられることが望ましい。

【0023】

学習済モデル記憶部２２２は、教師データ記憶部２２１に記憶されている教師データを用いた学習処理によって得られる学習済モデルを記憶する。

【0024】

制御部２３は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリー（主記憶装置）とを用いて構成される。制御部２３は、プロセッサーがプログラムを実行することによって情報制御部２３１及び学習制御部２３２として機能する。なお、制御部２３の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0025】

情報制御部２３１は、情報の入出力を制御する。例えば、情報制御部２３１は、他の機器（情報処理装置や記憶媒体）から教師データを取得し、教師データ記憶部２２１に記録する。例えば、情報制御部２３１は、学習済モデル記憶部２２２に記憶されている学習済モデルを、他の装置（例えば判定装置３０）に対して送信する。

【0026】

学習制御部２３２は、教師データ記憶部２２１に記憶されている教師データを用いて学習処理を実行する。このような学習処理の具体例として、例えば、サポートベクトルマシンやランダムフォレストやニューラルネットワーク等の分類のための教師あり学習が用いられてもよい。学習制御部２３２は、例えば教師あり学習を行うことによって、入力される画像に移動体の画像が含まれているか否かを判定するための学習済モデルを生成する。学習制御部２３２は、生成された学習済モデルを学習済モデル記憶部２２２に記録する。学習制御部２３２によって得られた学習済モデルは、判定装置３０に対して送信され、判定装置３０の判定モデル記憶部３２１に記録されてもよい。このような学習済モデルは、入力として画像を与えることによって、出力としてその画像に移動体の画像が含まれているか否かを示す値を得ることが可能である。

【0027】

図５は、学習装置２０の処理の具体例を示すフローチャートである。まず、情報制御部２３１は教師データを取得する（ステップＳ１０１）。教師データは、例えばユーザーによって入力されてもよいし、他の情報機器から通信によって取得されてもよいし、学習装置２０に接続された記録媒体から取得されてもよい。学習制御部２３２は、教師データを用いて学習処理を実行し、学習済モデルを学習済モデル記憶部２２２に記録する（ステップＳ１０２）。

【0028】

図６は、判定装置３０の機能構成の具体例を示す概略ブロック図である。判定装置３０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。判定装置３０は、通信部３１、記憶部３２及び制御部３３を備える。

【0029】

通信部３１は、通信機器である。通信部３１は、例えばネットワークインターフェースとして構成されてもよい。通信部３１は、制御部３３の制御に応じて、ネットワーク７０を介して他の装置とデータ通信する。通信部３１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0030】

記憶部３２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部３２は、制御部３３によって使用されるデータを記憶する。記憶部３２は、例えば判定モデル記憶部３２１、撮像装置情報記憶部３２２、空間情報記憶部３２３、移動体画像情報記憶部３２４及び移動体情報記憶部３２５として機能してもよい。

【0031】

判定モデル記憶部３２１は、移動体画像検出部３３２が競技場画像から移動体の画像（以下「移動体画像」という。）を検出する際に使用する判定モデルを記憶する。判定モデルは、例えば予め上述した学習処理を実行することによって生成された学習済モデルの情報であってもよい。このような学習処理は、例えば他の装置（例えば学習装置２０）によって実行されてもよいし、自装置（判定装置３０）によって実行されてもよい。判定モデルは、例えば検出対象となる移動体の画像のパターンを示すパターン情報であってもよい。このようなパターン情報は、例えばパターンマッチング処理に用いられることによって移動体画像を検出可能である。判定モデルは、移動体画像を検出可能であればどのように構成されてもよい。

【0032】

撮像装置情報記憶部３２２は、判定システム１００に用いられている各撮像システム１０の撮像装置に関する情報（以下「撮像装置情報」という。）を記憶する。撮像装置情報は、例えば撮像装置のカメラパラメータを含んでもよい。カメラパラメータは、例えば撮像装置の視点位置を示す三次元座標の値、画角を示す情報等を含む。

【0033】

空間情報記憶部３２３は、判定システム１００が処理の対象とする競技で使用される競技場の空間を示す情報を（以下「競技空間情報」という。）を記憶する。競技空間情報は、例えば競技場において競技が行われる床面（例えば後述するトラック８１の表面）の三次元情報を含んでもよい。例えば競技が自転車競技である場合には、移動体（自転車）が競技において走行する走路の路面の三次元情報が競技空間情報に含まれても良い。なお、撮像装置情報におけるカメラパラメータが含む三次元の情報と、競技空間情報が示す三次元の情報とは、同じ座標系で示されてもよいし、互いに変換可能な座標系で示されてもよい。

【0034】

移動体画像情報記憶部３２４は、競技場画像から検出された各移動体画像に関する情報を記憶する。移動体画像情報記憶部３２４は、各移動体画像について、その移動体画像が検出された競技場画像を示す情報と、移動体を示す識別情報（例えば、選手番号、ゼッケン番号、選手名、移動体名など）と、移動体画像の画像平面上における位置を示す情報（例えばｘ座標とｙ座標の値）と、を対応付けて記憶する。競技場画像を示す情報は、例えばどの撮像システム１０によって撮像された画像であるかを示す情報（例えば撮像システム１０を示す識別情報）と、その競技場画像が撮像されたタイミングに関連する情報（例えば、フレーム番号、経過時間など）と、を含む。

【0035】

移動体情報記憶部３２５は、所定のタイミング毎に判定される各移動体に関する情報を記憶する。図７は、移動体情報の具体例を示す図である。移動体情報は、複数の移動体情報レコードを含む。移動体情報レコードは、フレーム番号、経過時間、選手番号、位置情報、速度及び絶対時間を含む。

【0036】

フレーム番号は、その移動体情報レコードが含む情報の基となった移動体画像が検出された競技場画像の撮像タイミングを示す情報である。フレーム番号は、例えば競技場画像として撮像されている動画像のフレーム数を示す番号であってもよい。経過時間は、ある所定のタイミングから経過した時間である。例えば、所定のタイミングは撮像が開始されてから経過した時間であってもよい。この場合、各撮像システム１０において撮像開始のタイミングの同期がとられることが望ましい。所定のタイミングは競技（例えばレースや試合）が開始されたタイミングであってもよい。

【0037】

選手番号は、各移動体の識別情報の具体例であり、各移動体（選手）に予め割り当てられた番号である。図７の例では、各撮像タイミングで検出された移動体に関する移動体情報レコードが連続して記録され、次の撮像タイミングの移動体情報レコードが記録されている。そのため、図７の例では、一つの競技（レース）に４つの移動体が出場していることがわかる。

【0038】

位置情報は、各撮像タイミングで検出された各移動体の三次元空間での位置情報を示す。本実施形態では、後述するように位置情報として第一位置情報と第二位置情報とが用いられる。移動体情報レコードが含む位置情報は、例えば第二位置情報であってもよい。その後の処理で移動体の三次元位置の情報として使用される位置情報が、移動体情報レコードの位置情報として記録されることが望ましい。

【0039】

速度は、各撮像タイミングで検出された各移動体の三次元空間での移動速度を示す。絶対時間は、各撮像タイミングにおける時刻を示す。絶対時間は、日を示す情報を含んでもよい。

【0040】

制御部３３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部３３は、プロセッサーがプログラムを実行することによって、情報制御部３３１、移動体画像検出部３３２、第一位置判定部３３３、第二位置判定部３３４、関連情報取得部３３５及び映像生成部３３６として機能する。なお、制御部３３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0041】

情報制御部３３１は、撮像システム１０から競技場画像を取得する。情報制御部３３１は、映像生成部３３６によって生成された映像のデータを、競技の視聴者が使用する端末装置等の他の装置に対して情報を送信する。このような情報制御部３３１による他の装置との間の情報のやりとりは、例えば通信部３１による通信によって行われてもよい。

【0042】

移動体画像検出部３３２は、判定モデル記憶部３２１に記憶される判定モデルを用いることによって、競技場画像から移動体画像を検出する。移動体画像検出部３３２は、例えば競技が開始されてから所定の時間間隔で、出場している移動体の数以下の移動体画像を各競技場画像から検出する。移動体画像検出部３３２は、一つの競技場画像（一つの撮像システム１０によって撮像された競技場画像）から出場している移動体よりも多い移動体画像の候補が検出された場合には、例えばそれらの移動体画像の候補の中から尤度（移動体の画像らしさを示す値）が高いものから順に移動体の出場数を最大として移動体画像を検出してもよい。

【0043】

移動体画像検出部３３２は、予め各撮像システム１０で競技開始前に撮像された競技場画像（以下「背景画像」という。）と、処理対象の競技場画像との差分画像を取得し、差分画像（背景画像から違いが生じている部分の画像）において移動体画像を検出してもよい。このように構成されることによって、より精度良く競技場画像から移動体画像を検出することが可能となる。この場合、例えば各撮像システム１０で予め撮影された背景画像は記憶部３２によって記憶されてもよい。

【0044】

図８は、競技場画像の具体例を示す図である。図９は、移動体画像の具体例を示す図である。図８に示されるように、撮像システム１０によって撮像された競技場の画像（競技場画像８００）が移動体画像検出部３３２の処理の対象となる。移動体画像検出部３３２は、競技場画像８００において、移動体画像８０１を検出する。移動体画像８０１の大きさは、移動体によって異なってもよい。図９の例では、１つの競技場画像８００において７つの移動体画像が検出されている。

【0045】

移動体画像検出部３３２は、各競技場画像において検出された各移動体画像について、出場しているどの移動体の画像であるかを判定する。例えば、出場している各移動体が異なる色の物体（例えばゼッケン、ユニフォーム、体毛、車体など）を有している場合には、その色に基づいて各移動体画像がどの移動体の画像であるか判定されてもよい。このような場合には、例えば各移動体画像において色のヒストグラムを生成し、ヒストグラムと各移動体が有している色とに基づいて各移動体画像がどの移動体の画像であるか判定されてもよい。例えば、出場している各移動体が異なる外観のパターン（例えば、形状、模様、数字、文字など）を有している場合には、各移動体画像において外観のパターンを示す特徴量が取得され、その特徴量に基づいて各移動体画像がどの移動体の画像であるか判定されてもよい。

【0046】

移動体画像検出部３３２は、検出された各移動体画像について、その移動体画像が検出された競技場画像を示す情報と、移動体を示す識別情報と、移動体画像の画像平面上における位置を示す情報と、を対応付けて移動体画像情報記憶部３２４に記録する。移動体画像の画像平面上における位置は、移動体画像の所定の位置を用いて表されてもよい。例えば、移動体画像の左上の角の位置が移動体画像の画像平面上における位置として用いられてもよいし、移動体画像の中心の位置が移動体画像の画像平面上における位置として用いられてもよい。

【0047】

第一位置判定部３３３は、移動体画像の検出結果に基づいて、各移動体の三次元空間における位置を示す第一位置を判定する。第一位置は、検出された移動体画像の一部が三次元空間において存在している位置を示す。移動体画像の一部として、例えば移動体画像の中心部分が用いられてもよいし、移動体画像の左上の部分が用いられてもよいし、他の部分が用いられてもよい。

【0048】

図１０は、第一位置判定部３３３の処理の具体例を示す図である。判定システム１００では、複数の視点１０１で同一の移動体が撮像される。例えば、第一視点１０１＿１から移動体を撮像したときに競技場画像８００＿１が生成され、画像平面上の位置（Ｘ１，Ｙ１）に移動体画像８０１＿１が検出されている。画像平面上の位置は、上述した移動体画像の一部の位置を示す。第二視点１０１＿２及び第三視点１０１＿３においてもそれぞれ競技場画像８００＿２及び競技場画像８００＿３が生成されている。第一位置判定部３３３は、各視点１０１で撮影された競技場画像８００における移動体画像の画像平面上の位置と、各視点１０１における撮像装置のカメラパラメータと、に基づいて移動体の一部の三次元空間における位置（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。このような処理で算出される位置が第一位置１０３である。このような処理は、少なくとも２つの視点１０１における上記情報があれば実行可能であるが、図１０のように３つ以上の視点１０１における上記情報を用いて算出されてもよい。

【0049】

第二位置判定部３３４は、各移動体の第一位置に基づいて、各移動体の三次元空間における第二位置を判定する。第二位置は、各第一位置に関連する位置であって、競技場において競技が行われる床面の高さから所定の高さにおける三次元空間の位置を示す。例えば、競技が行われる床面の表面における三次元空間の位置が第二位置として判定されてもよい。

【0050】

図１１は、第二位置判定部３３４の処理の具体例を示す図である。第二位置判定部３３４は、三次元空間において予め定められた所定の基準位置１０２から、第一位置１０３に向けて直線ベクトルを放ち、第一位置１０３を通過した直線ベクトルが三次元空間上に予めモデリングされたトラック８１の表面（例えば走路面）と交わった点を第二位置（Ｘｃ，Ｙｃ，Ｚｃ）１０４として判定する。言い換えれば、第二位置判定部３３４は、所定の基準位置１０２と第一位置１０３とを含む直線と、トラック８１の表面と、の交点を第二位置として判定する。

【0051】

第二位置１０４は、移動体そのものの三次元空間位置ではなく、トラック８１の表面上の位置として定義される。所定の基準位置１０２の座標は、図１１において（Ｘｖｐ，Ｙｖｐ，Ｚｖｐ）として表している。所定の基準位置１０２は、いずれか一つの撮像システム１０の視点の位置であってもよいし、撮像システム１０によらずに仮想的に定められた位置であってもよい。所定の基準位置１０２は、図１１に示されるように環状の競技場（トラック）の内側の上空に設けられてもよいし、環状の競技場の外側の上空に設けられてもよい。第二位置判定部３３４は、第二位置の位置情報を算出すると、算出された位置情報を移動体情報レコードの位置情報として記録する。なお、図１０及び図１１において、第一位置をかがんだ移動体の背中の部分として定義しているが、第一位置はこのような位置に限定されない。例えば、第一位置は移動体の中心に近い位置に設定されてもよい。

【0052】

関連情報取得部３３５は、第二位置判定部３３４によって判定された各移動体の第二位置に基づいて移動体に関連する情報を取得する。例えば、関連情報取得部３３５は、第二位置の時間変化量に基づいて移動体の速さの値を算出してもよい。例えば、関連情報取得部３３５は、第二位置の時間変化量に基づいて移動体の加速度の値を算出してもよい。例えば、関連情報取得部３３５は、移動体の加速度の値に基づいて、移動体において出力されている力の大きさを算出してもよい。

【0053】

映像生成部３３６は、制御部３３の処理によって得られた情報を示す画像を含んだ映像を生成する。制御部３３の処理によって得られた情報の具体例として、各移動体の第一位置又は第二位置、速さ、加速度、力の大きさ等の情報がある。映像生成部３３６が生成する映像には、競技中にリアルタイムで生成する映像と、競技終了後に生成する映像とがある。図１２は、映像生成部３３６が生成する映像のうち、競技終了後に生成する映像の具体例を示す図である。図１２には、競技の様子を示す動画像が表示される表示領域６１と、並び予想を示す画像が表示される表示領域６２と、一部の移動体（選手）の速さを示す画像が表示される表示領域６３と、一部の移動体（選手）の速さの時系列変化のグラフが表示される表示領域６４と、が示されている。表示領域６４に示される一部の移動体（選手）は、例えば判定装置３０の管理者等の人物によって選択されてもよい。この場合、判定装置３０は入力装置や出力装置等のユーザーインターフェースを備え、ユーザーインターフェースを介して選択が受け付けられてもよい。表示領域６４には、時系列変化のグラフとして、現時点で表示領域６１に表示されている動画像の時間までの値を示すグラフと、それ以降の時間における値を示すグラフとは、異なる態様で表示されている。

【0054】

図１３は、制御部３３の処理の流れの具体例を示すフローチャートである。情報制御部３３１は競技場画像を取得する（ステップＳ２０１）。移動体画像検出部３３２は、各競技場画像から移動体画像を検出する（ステップＳ２０２）。第一位置判定部３３３は、検出された各移動体画像の移動体画像の位置に基づいて、各移動体の三次元空間における位置である第一位置を判定する（ステップＳ２０３）。第二位置判定部３３４は、各移動体の第一位置に基づいて、各移動体の三次元空間における位置である第二位置を判定する（ステップＳ２０４）。関連情報取得部３３５は、各移動体の第二位置等の情報を用いることによって、関連情報を取得する（ステップＳ２０５）。映像生成部３３６は、取得された情報を用いて映像を生成する（ステップＳ２０６）。映像生成部３３６は、生成された映像を所定の装置に出力する。所定の装置は、例えば複数のユーザー端末に対して映像を配信する配信装置であってもよい。

【0055】

図１４は、本実施形態に適用される情報処理装置９０のハードウェア構成例の概略を示す図である。情報処理装置９０は、プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４、入出力インターフェース９５及び内部バス９６を備える。プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４及び入出力インターフェース９５は、内部バス９６を介して互いに通信可能に接続される。情報処理装置９０は、例えば学習装置２０及び判定装置３０に適用されてもよい。この場合、例えば通信部２１及び通信部３１は通信インターフェース９３を用いて構成されてもよい。例えば記憶部２２及び記憶部３２は補助記憶装置９４を用いて構成されてもよい。また、制御部２３及び制御部３３は、プロセッサー９１及び主記憶装置９２を用いて構成されてもよい。

【0056】

（変形例）
学習装置２０は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて学習装置２０が実装されてもよい。例えば、学習装置２０において、記憶部２２と制御部２３とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、学習装置２０の記憶部２２が複数の情報処理装置に分散して実装されてもよい。判定装置３０は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて判定装置３０が実装されてもよい。例えば、判定装置３０において、記憶部３２と制御部３３とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、判定装置３０の記憶部３２が複数の情報処理装置に分散して実装されてもよい。例えば、判定装置３０の制御部３３が複数の情報処理装置に分散して実装されてもよい。

【0057】

上述した判定装置３０の関連情報取得部３３５は、各移動体の第二位置に基づいて移動体に関連する情報を取得した。しかしながら、判定装置３０の関連情報取得部３３５は、各移動体の第一位置に基づいて移動体に関連する情報を取得してもよい。

【0058】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0059】

１００…判定システム， １０１…視点， １０２…基準位置， １０３…第一位置， １０４…第二位置， １０…撮像システム， ２０…学習装置， ２１…通信部， ２２…記憶部， ２２１…教師データ記憶部， ２２２…学習済モデル記憶部， ２３…制御部， ２３１…情報制御部， ２３２…学習制御部， ３０…判定装置， ３１…通信部， ３２…記憶部， ３２１…判定モデル記憶部， ３２２…撮像装置情報記憶部， ３２３…空間情報記憶部， ３２４…移動体画像情報記憶部， ３２５…移動体情報記憶部， ３３…制御部， ３３１…情報制御部， ３３２…移動体画像検出部， ３３３…第一位置判定部， ３３４…第二位置判定部， ３３５…関連情報取得部， ３３６…映像生成部， ８００…競技場画像， ８０１…移動体画像， ８１…トラック

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2023-12-11

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

競技において移動する複数の移動体を複数の視点から同じタイミングで撮影することによって得られる複数の競技場画像のそれぞれにおいて、前記移動体の画像である移動体画像を検出する移動体画像検出部と、
前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を判定する位置判定部と、
前記位置判定部によって判定された三次元空間の位置の時間変化量に基づいて前記移動体の速さの値を算出する関連情報取得部と、
を備え、
前記位置判定部は、前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を示す第一位置を判定し、所定の基準位置と前記第一位置とを含む直線と、前記競技が行われる競技場の床面と、の交点を示す第二位置を前記移動体の三次元空間における位置として判定する、判定装置。

【請求項2】

前記関連情報取得部によって取得された前記移動体の速さの値に関する画像を含む映像を生成する映像生成部をさらに備える請求項１に記載の判定装置。

【請求項3】

前記映像生成部は、前記移動体のうち、選択された一部の移動体についてのみ前記移動体の速さの値に関する画像を含む映像を生成する、請求項２に記載の判定装置。

【請求項4】

競技において移動する複数の移動体を複数の視点から同じタイミングで撮影することによって得られる複数の競技場画像のそれぞれにおいて、前記移動体の画像である移動体画像を検出する移動体画像検出ステップと、
前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を判定する位置判定ステップと、
前記位置判定ステップにおいて判定された三次元空間の位置の時間変化量に基づいて前記移動体の速さの値を算出する関連情報取得ステップと、
を有し、
前記位置判定ステップにおいて、前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を示す第一位置を判定し、所定の基準位置と前記第一位置とを含む直線と、前記競技が行われる競技場の床面と、の交点を示す第二位置を前記移動体の三次元空間における位置として判定する、判定方法。

【請求項5】

競技において移動する複数の移動体を複数の視点から同じタイミングで撮影することによって得られる複数の競技場画像のそれぞれにおいて、前記移動体の画像である移動体画像を検出する移動体画像検出部と、
前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を判定する位置判定部と、
前記位置判定部によって判定された三次元空間の位置の時間変化量に基づいて前記移動体の速さの値を算出する関連情報取得部と、
を備え、
前記位置判定部は、前記移動体画像のうち、同じタイミングで撮影された複数の競技場画像から検出された複数の移動体画像であって、同一の移動体の画像である複数の移動体画像に基づいて、前記移動体の三次元空間の位置を示す第一位置を判定し、所定の基準位置と前記第一位置とを含む直線と、前記競技が行われる競技場の床面と、の交点を示す第二位置を前記移動体の三次元空間における位置として判定する判定装置としてコンピューターを機能させるためのコンピュータープログラム。