▶ 田中 成典の特許一覧 ▶ 姜 文渊の特許一覧 ▶ 山本 雄平の特許一覧 ▶ 中村 健二の特許一覧 ▶ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-03
(45)【発行日】2023-04-11
(54)【発明の名称】位置関係決定装置
(51)【国際特許分類】
G06T 7/60 20170101AFI20230404BHJP
【ＦＩ】
G06T7/60 150Z
【請求項の数】
7
(21)【出願番号】P 2022024685
(22)【出願日】2022-02-21
(62)【分割の表示】P 2018031047の分割
【原出願日】2018-02-23
(65)【公開番号】P2022068308
(43)【公開日】2022-05-09
【審査請求日】2022-02-21
(73)【特許権者】
【識別番号】500063228
【氏名又は名称】田中 成典
(73)【特許権者】
【識別番号】517305894
【氏名又は名称】姜 文渊
(73)【特許権者】
【識別番号】517305883
【氏名又は名称】山本 雄平
(73)【特許権者】
【識別番号】502235692
【氏名又は名称】中村 健二
(73)【特許権者】
【識別番号】519113745
【氏名又は名称】Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社
(74)【代理人】
【識別番号】100092956
【弁理士】
【氏名又は名称】古谷 栄男
(74)【代理人】
【識別番号】100101018
【弁理士】
【氏名又は名称】松下 正
(72)【発明者】
【氏名】田中 成典
(72)【発明者】
【氏名】姜 文渊
(72)【発明者】
【氏名】山本 雄平
(72)【発明者】
【氏名】中村 健二
(72)【発明者】
【氏名】田中 ちひろ
【審査官】小池 正彦
(56)【参考文献】
【文献】特開２０１０－２４４４４０（ＪＰ，Ａ）
【文献】米国特許出願公開第２００７／０２７９４９４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－ ７／９０
(57)【特許請求の範囲】
【請求項1】
複数の移動体を含む第１所定エリアの第１撮像画像を取得する第１撮像画像取得手段と、前記第１撮像画像の前記第１所定エリアよりも狭い第２所定エリアの第２撮像画像であって、前記第１撮像画像よりも縮尺が拡大されている第２撮像画像を取得する第２撮像画像取得手段と、
前記第１撮像画像に基づいて、撮像されている少なくとも複数の移動体を認識する第１移動体認識手段と、
前記第２撮像画像に基づいて、撮像されている少なくとも前記複数の移動体および他の移動体を認識する第２移動体認識手段と、
前記第２撮像画像において認識した前記複数の移動体の位置関係と、前記第１撮像画像において認識した前記複数の移動体の位置関係とのマッチングに基づいて、前記第２移動体認識手段によって認識した前記他の移動体の前記第１撮像画像中の位置を特定する位置特定手段と、
を備えた関係決定装置。
【請求項2】
コンピュータによって関係決定装置を実現するための関係決定プログラムであって、コンピュータを、複数の移動体を含む第１所定エリアの第１撮像画像を取得する第１撮像画像取得手段と、
前記第１撮像画像の前記第１所定エリアよりも狭い第２所定エリアの第２撮像画像であって、前記第１撮像画像よりも縮尺が拡大されている第２撮像画像を取得する第２撮像画像取得手段と、
前記第１撮像画像に基づいて、撮像されている少なくとも複数の移動体を認識する第１移動体認識手段と、
前記第２撮像画像に基づいて、撮像されている少なくとも前記複数の移動体および他の移動体を認識する第２移動体認識手段と、
前記第２撮像画像において認識した前記複数の移動体の位置関係と、前記第１撮像画像において認識した前記複数の移動体の位置関係とのマッチングに基づいて、前記第２移動体認識手段によって認識した前記他の移動体の前記第１撮像画像中の位置を特定する位置特定手段として機能させるための関係決定プログラム。
【請求項3】
請求項１の装置または請求項２のプログラムにおいて、前記位置特定手段によって位置が特定される移動体は、ボールであることを特徴とする装置またはプログラム。
【請求項4】
請求項１～３のいずれかの装置またはプログラムにおいて、前記第２撮像画像は、前記第１撮像画像を撮像する第１撮像部と実質的に同じ方向から第２撮像部によって撮像されたものであることを特徴とする装置またはプログラム。
【請求項5】
請求項１～３のいずれかの装置またはプログラムにおいて、前記第２撮像画像は、前記第１撮像画像を拡大した拡大画像であることを特徴とする装置またはプログラム。
【請求項6】
請求項１～５のいずれかの装置またはプログラムにおいて、前記位置決定手段は、前記第１撮像画像において複数の移動体の塊として認識された移動体について、前記第２撮像画像によって区別して認識し、前記第２撮像画像の撮像エリアの特定に基づいて、当該個々の移動体の前記第１撮像画像における位置を決定することを特徴とする装置またはプログラム。
【請求項7】
請求項１～６のいずれかの装置またはプログラムにおいて、前記第１撮像画像には、位置を推定するための基準となる基準体が含まれることを特徴とする装置またはプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は画像に基づいて移動物を認識し、その位置を推定する技術に関するものである。
【背景技術】
【0002】
基準点を含めて移動物を撮像し、撮像された基準点と移動物との位置関係に基づいて、移動物の位置を推定することが行われている。たとえば、サッカーなどの競技フィールドの４隅に基準体を置き、これを含めてプレイヤを撮像することで、プレイヤの位置を推定するものである。
【0003】
画像によって移動物の位置が簡易に推定できるため広く用いられている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００８－２１７２４３
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、上記従来技術において、複数のプレイヤが重なって撮像されると、各プレイヤを個々に認識することができず、正確な位置を推定できないという問題がある。プレイヤが重なった場合であっても、ズームした画像があれば、ディープラーニング等の手法を用いて個々のプレイヤを識別することが可能である。
【0006】
一方で、ズームすると位置推定のための基準となる基準体が撮像されず、位置が推定できないという問題が生じる。
【0007】
このような問題を解決するため、特許文献１に記載されているような技術を応用して、基準体を含む画像を異なる角度から撮像することで、プレイヤの重なりのない画像を用いるという方法も考えられる。しかし、基準体を撮像することが前提であるため、移動体の重なりの排除に大きな限界があった。
【0008】
また、一般に、ある拡大画像が、全体画像のいずれの部分を撮像したものであるかを特定したいという要望がある。
【0009】
この発明は上記のような問題点に鑑みて、拡大画像が、全体画像のいずれの部分を撮像したものであるかを特定することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
この発明のいくつかの独立して適用可能な特徴を以下に示す。
【0011】
(1)(2)この発明に係る関係決定装置は、第１撮像部によって複数の移動体を含む第１所定エリアを撮像した第１撮像画像を取得する第１撮像画像取得手段と、第１撮像部と実質的に同じ方向から前記第１所定エリアよりも狭い第２所定エリアを撮像した第２撮像画像を取得する第２撮像画像取得手段と、前記第１撮像画像に基づいて、撮像されている一以上の移動体の塊を認識する第１移動体認識手段と、前記第２撮像画像に基づいて、撮像されている移動体を個々に区別して認識する第２移動体認識手段と、前記第２撮像画像において個々に区別して認識できた複数の移動体の位置関係と、前記第１撮像画像において認識された塊の位置関係とのマッチングに基づいて、前記第２撮像画像が前記第１撮像画像中のいずれのエリアを撮像しているかを特定する撮像エリア特定手段とを備えている。
【0012】
したがって、第２撮像画像が第１撮像画像のどの位置に対応するのかを得ることができる。
【0013】
(3)この発明に係る関係決定装置は、撮像エリア特定手段は、前記第１撮像画像において複数の移動体の塊として認識された移動体について、前記第２撮像画像によって区別して認識し、前記第２撮像画像の撮像エリアの特定に基づいて、当該個々の移動体の前記第１撮像画像における位置を決定することを特徴としている。
【0014】
したがって、第１撮像画像にて個々に特定できなかった移動体についても、第２撮像画像にて個々に特定した上、その位置を決定することができる。
【0015】
(4)この発明に係る関係決定装置は、第１撮像画像には、位置を推定するための基準となる基準体が含まれることを特徴としている。
【0016】
したがって、第２撮像画像によって特定した移動体について、基準体によって特定される第１撮像画像中の位置を特定することができる。
【0017】
(5)この発明に係る関係決定装置は、移動体は人を含むことを特徴としている。したがって、人の位置を決定することができる。
【0018】
(6)この発明に係る関係決定装置は、第１移動体認識手段は、背景差分法に基づいて一以上の移動体の塊を認識するものであり、前記第２移動体認識手段は、オブジェクトディテクション（object detection）により個々の人を認識するものであることを特徴とする装置またはプログラム。
【0019】
(7)この発明に係る関係決定装置は、第１移動体認識手段および第２移動体認識手段は、オブジェクトディテクション（object detection）により個々の人を認識するものであることを特徴とする装置またはプログラム。
【0020】
したがって、より正確に移動体の位置を検出することができる。
【0021】
(8)(9)この発明に係る関係決定装置は、第１撮像部～第ｎ撮像部によって、それぞれ複数の移動体を含む第１所定エリア～第ｎ所定エリアを撮像した第１撮像画像～第ｎ撮像画像を取得する第１～第ｎ撮像画像取得手段と、前記第１～第ｎ撮像画像に基づいて、撮像されている一以上の移動体の塊または個々の移動体を認識する第１～第ｎ移動体認識手段と、前記第ｍ撮像画像中の複数の移動体の位置関係と、前記第ｍ－１撮像画像中の複数の移動体の位置関係とのマッチングに基づいて、前記第ｍ撮像画像が前記第ｍ－１撮像画像中のいずれのエリアを撮像しているかを特定する撮像エリア特定手段と、を備えた関係決定装置であって、前記第ｍ撮像画像は、前記第ｍ－１撮像画像と実質的に同じ方向から撮像され、前記第ｍ所定エリアは、前記第ｍ－１所定エリアより狭い範囲であることを特徴としている。なお、ここで、ｍは１～ｎの間の任意の整数である。
【0022】
したがって、第ｍ＋１撮像画像が第ｍ撮像画像のどの位置に対応するのかを得ることができる。
【0023】
(10)この発明に係る関係決定装置は、撮像画像は動画であることを特徴としている。
【0024】
したがって、刻々変化する関係をダイナミックに把握することができる。
【0025】
(11)(12)この発明に係る関係決定装置は、第１撮像部によって四隅に基準体が設けられ複数のプレイヤが競技を行うフィールド全体を撮像した第１撮像動画を取得する第１撮像動画取得手段と、第１撮像部と実質的に同じ方向から前記フィールドの一部を撮像した第２撮像動画を取得する第２撮像動画取得手段と、
前記第１撮像動画の画像に基づいて、撮像されている一以上のプレイヤの塊を認識する第１プレイヤ認識手段と、前記第２撮像動画の画像に基づいて、撮像されているプレイヤを個々に区別して認識する第二プレイヤ認識手段と、前記第２撮像動画の画像において個々に区別して認識できた複数のプレイヤの位置関係と、前記第１撮像動画の対応する画像において認識されたプレイヤの塊の位置関係とのマッチングに基づいて、前記第１撮像画像において複数のプレイヤの塊として認識されたプレイヤのそれぞれについて、前記第２撮像画像によって区別して認識して前記第１撮像画像における位置を決定し、当該各プレイヤの前記フィールド上の位置を決定する撮像エリア特定手段とを備えている。
前記第１撮像動画の画像に基づいて、撮像されている一以上のプレイヤの塊を認識する第１プレイヤ認識手段と、前記第２撮像動画の画像に基づいて、撮像されているプレイヤを個々に区別して認識する第二プレイヤ認識手段と、前記第２撮像動画の画像において個々に区別して認識できた複数のプレイヤの位置関係と、前記第１撮像動画の対応する画像において認識されたプレイヤの塊の位置関係とのマッチングに基づいて、前記第１撮像画像において複数のプレイヤの塊として認識されたプレイヤのそれぞれについて、前記第２撮像画像によって区別して認識して前記第１撮像画像における位置を決定し、当該各プレイヤの前記フィールド上の位置を決定する撮像エリア特定手段とを備えている。
【0026】
したがって、第２撮像画像が第１撮像画像のどの位置に対応するのかを得ることができ、プレイヤの位置を特定することができる。
【0027】
「第１撮像画像取得手段」は、実施形態においては、ステップＳ１がこれに対応する。
【0028】
「第２撮像画像取得手段」は、実施形態においては、ステップＳ１がこれに対応する。
【0029】
「第１移動体認識手段」は、実施形態においては、ステップＳ２がこれに対応する。
【0030】
「第２移動体認識手段」は、実施形態においては、ステップＳ３がこれに対応する。
【0031】
「撮像エリア特定手段」は、実施形態においては、ステップＳ４、Ｓ５がこれに対応する。
【0032】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【0033】
【図1】この発明の一実施形態による関係決定装置の機能ブロック図である。
【図2】カメラ６、８の設置例を示す図である。
【図3】ハードウエア構成を示す図である。
【図4】関係決定プログラムのフローチャートである。
【図5】背景差分処理のフローチャートである。
【図6】マッチング処理のフローチャートである。
【図7】マッチング処理のフローチャートである。
【図8】評価値算出のフローチャートである。
【図9】条件判定のフローチャートである。
【図11】OpenPoseによって抽出されたプレイヤのスケルトンである。
【図12】スケルトンの詳細を示す図である。
【図14】評価値算出を模式的示す図である。
【図15】全体画像とズーム画像との関係を示す図である。
【図16】全体画像とズーム画像との関係を示す図である。
【図17】全体画像とズーム画像との関係を示す図である。
【図18】第２の実施形態による関係決定装置の機能ブロック図である。
【図19】関係決定プログラムのフローチャートである。
【図20】マッチング処理のフローチャートである。
【図21】マッチング処理のフローチャートである。
【図22】評価値算出のフローチャートである。
【図23】条件判定のフローチャートである。
【図24】ズーム画像と強ズーム画像の対応である。
【図25】重なりの評価を模式的に示す図である。
【図26】他の実施形態によるカメラ６、８の設置例である。
【図27】ＧＰＳによって特定したプレイヤの位置と撮像画像によって特定したプレイヤの位置を示す図である。
【図28】撮像画像のフィールド上の位置を示す図である。
【図29】他の実施形態による複数の撮像画像を示す図である。
【発明を実施するための形態】
【0034】
１．第１の実施形態
1.1関係決定装置の機能構成
図１に、この発明の一実施形態による関係決定装置の機能ブロック図を示す。カメラ６は、複数の移動体が含まれる第１所定エリア２を撮像し、第１撮像画像を出力する。第１撮像画像は、第１撮像画像取得手段１０によって取り込まれる。第１移動体認識手段１４は、第１撮像画像に基づいて、これに含まれる一以上の移動体の塊を認識する。
1.1関係決定装置の機能構成
図１に、この発明の一実施形態による関係決定装置の機能ブロック図を示す。カメラ６は、複数の移動体が含まれる第１所定エリア２を撮像し、第１撮像画像を出力する。第１撮像画像は、第１撮像画像取得手段１０によって取り込まれる。第１移動体認識手段１４は、第１撮像画像に基づいて、これに含まれる一以上の移動体の塊を認識する。
【0035】
カメラ８は、第１所定エリア２よりも狭い第２所定エリア４を撮像し、第２撮像画像を出力する。第２撮像画像は、第２撮像画像取得手段１２によって取り込まれる。第２移動体認識手段１６は、第２撮像画像に基づいて、これに含まれる移動体を個々に区別して認識する。
【0036】
撮像エリア特定手段１８は、第２の移動体認識手段１６によって認識された複数の移動体の位置関係と、第１移動体認識手段１４によって認識された複数の移動体の塊（各塊は少なくとも一つの移動体によって構成される）の位置関係とに基づいて、前記カメラ８による第２所定エリア４が、前記カメラ６による第１所定エリア２中のいずれの位置にあるかを決定する。
【0037】
したがって、第２撮像画像によってのみ移動体を個々に区別できた場合に、当該移動体の第１所定エリア２における位置を特定することができる。
【0038】
1.2システム構成およびハードウエア構成
図２に、一実施形態による関係決定装置の設置例を示す。この例では、アメリカンフットボール場における各プレイヤの位置を動的に把握するために用いた場合を示している。
図２に、一実施形態による関係決定装置の設置例を示す。この例では、アメリカンフットボール場における各プレイヤの位置を動的に把握するために用いた場合を示している。
【0039】
スタジアムのスタンドには、カメラ６、８が設けられている。カメラ６は、スタジアム全体の動画を撮像している。スタジアムの四隅には、基準体となるポール２４が設けられている。カメラ６は、この基準体２４を含めてスタジアム全体を撮像する。この実施形態において、カメラ６は撮像方向を固定して設置されている。
【0040】
カメラ８は、選手が密集している場所（ボールのある場所）をズームして動画を撮像するためのものである。このため、人が手に持って撮像を行うようにしている。ズームによる撮像を行うため、スタジアム全体が撮像されない。
【0041】
これら２つのカメラ６、８は、たとえば、タブレットコンピュータ（図示せず）などから、Ｗｉｆｉ通信によって、録画開始指令が同時に与えられて、動画が記録される。したがって、２つのカメラ６、８の動画は時間的に同期がとれた画像となる。すなわち、２つのカメラ６、８による動画においては、録画開始からのタイムスタンプが同じ時間であれば、同一の時刻の動画データであるとすることができる。
【0042】
なお、録画開始前に、カメラ６、８にて、それぞれ同じ時計（例えばスマートフォンの時計画面）を撮像し、この撮像された時間を開始時刻として、タイムスタンプを修正し、両カメラ６、８の同期をとるようにしてもよい。
【0043】
図３に、関係決定装置のハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、ディスプレイ３４、キーボード／マウス３６、ハードディスク３８、ＤＶＤ－ＲＯＭドライブ４０、記録媒体読取装置４８が接続されている。
【0044】
ハードディスク３８には、オペレーティングシステム４２、関係決定プログラム４４が記録されている。関係決定プログラム４４は、オペレーティングシステム４２と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ４６に記録されていたものを、ＤＶＤ－ＲＯＭドライブ４０を介してハードディスク３８にインストールしたものである。
【0045】
カメラ６、８によって撮像された動画は、カメラ６、８の記録媒体に記録される。この記録媒体に記録された動画は、記録媒体読取装置４８を介して、ハードディスク３８に記録される。なお、カメラ６、８をハードディスク３８に接続し、撮像された画像を、直接ハードディスク３８に取り込むようにしてもよい。
【0046】
1.3関係決定プログラム４４の処理
図４に、関係決定プログラム４４のフローチャートを示す。ここでは、ハードディスク３８に、カメラ６の動画（全体動画）とカメラ８の動画（ズーム動画）が記録されているものとする。
図４に、関係決定プログラム４４のフローチャートを示す。ここでは、ハードディスク３８に、カメラ６の動画（全体動画）とカメラ８の動画（ズーム動画）が記録されているものとする。
【0047】
ＣＰＵ３０は、全体動画とズーム動画を読み出してメモリ３２に展開する（ステップＳ１）。ＣＰＵ３０は、全体画像について、背景差分法に基づいてプレイヤを抽出する（ステップＳ２）。
【0048】
背景差分法によるプレイヤの抽出処理を図５に示す。ＣＰＵ３０は、まず、ハードディスク３８から背景画像を読み出す（ステップＳ２１）。ここで、背景画像とは、プレイヤが存在しない状態でスタジアム全体をカメラ６によって撮像した画像（静止画）である。この背景画像は、予め撮像され、ハードディスク３８に記録されている。
【0049】
次に、ＣＰＵ３０は、背景画像をグレースケール化する（ステップＳ２２）。図１０Ａに、グレースケール化された背景画像の例を示す。さらに、ＣＰＵ３０は、全体動画の各フレームをグレースケール化する（ステップＳ２３）。図１０Ｂに、グレースケール化された全体画像の１フレームの例を示す。
【0050】
ＣＰＵ３０は、両画像の差分をピクセルごとに算出する（ステップＳ２４）。これにより、プレイヤの画像のみが抽出されることになる。次に、しきい値によって２値化する。たとえば、差分の大きい部分を「１」小さい部分を「０」とする。続いて、差分の大きい部分を膨張・収縮させる（ステップＳ２５）。すなわち、「１」の画素の周囲の画素を全て「１」にする膨張処理と、「０」の画素の周囲の画素を全て「０」にする収縮処理を繰り返す。
【0051】
これにより、図１０Ｃに示すように、プレイヤの手や足などが一体となった画像を得ることができる。ＣＰＵ３０は、この画像に基づいて、プレイヤの輪郭を決定する（ステップＳ２６）。この実施形態では、プレイヤに外接する矩形を輪郭としている。この際、人が重なっている部分では、一つの塊として矩形輪郭が決定されることになる。矩形輪郭の例を、図１３Ｂに示す。
【0052】
次に、ＣＰＵ３０は、ズーム画像に基づいて、畳み込みニューラルネットワークを用いたディープラーニングによって、人物をオブジェクトとしたobject detectionを行う。すなわち、人物画像を教師データとしてＡＩに学習をさせておき、人物を特定する処理を行う。これにより、プレイヤを抽出することができる（ステップＳ３）。
【0053】
なお、人物をオブジェクトとしたobject detectionとしては、人物全体をオブジェクトとして抽出する手法を採用してもよいし、人物の各パーツ（首、手、足など）ごとに抽出を行い、これを組み合わせて人物全体を抽出する手法を用いてもよい。この実施形態では、後者に該当するカーネギー・メロン大学開発のOpenPoseを用いている。人が重なっていても、峻別して検知することができるという特徴がある。ただし、ある程度、人が大きく写っていなければ解析を行うことができない。図１１に、object detectionによって得られた各プレイヤのスケルトンを示す。図１２に示すように、首、肩のライン、腕、脚などの要素のスケルトンを抽出することができる。
【0054】
次に、両画像でのプレイヤをマッチングして評価する（ステップＳ４）。マッチング評価の処理を、図６に示す。まず、ＣＰＵ３０は、スケルトンが重ならず、ほぼ全ての要素（たとえば９０％以上の要素）が検出されたプレイヤのうち、一番左の位置にいるプレイヤおよび一番右の位置にいるプレイヤを抽出する（ステップＳ４１）。図１３Ａのような例であれば、丸印で示した２人のプレイヤが抽出される。
【0055】
背景差分法による矩形輪郭の中には、この２人のプレイヤに対応する矩形輪郭が存在するはずである。そこで、ＣＰＵ３０は、いずれの矩形輪郭が対応するかを、総当たりにて、評価値を持って決定するようにしている。以下その処理を説明する。
【0056】
ズーム画面から抽出した２人のプレイヤの距離を算出する（ステップＳ４２）。なお、スケルトンによって表されるプレイヤの位置は、当該スケルトンに外接する矩形の重心座標とする。すなわち、２人のプレイヤの重心座標の距離ｄ１を算出する。
【0057】
次に、ＣＰＵ３０は、背景差分法によって得た矩形輪郭の中から２つを選択する（ステップＳ４３）。ＣＰＵ３０は、これら２つの矩形の重心座標の距離ｄ２を算出する（ステップＳ４４）。
【0058】
これらのobject detectionによる矩形と、背景差分法による矩形が対応したものであるとすれば、この２つの距離の比が、両画像のズーム比（縮尺比）となる筈である。そこで、ＣＰＵ３０は距離ｄ２／距離ｄ１によって縮尺を算出する（ステップＳ４５）。そして、ズーム画像に基づくobject detectionのための画像に上記縮尺を乗じる。
【0059】
ズーム画像にて選択した２人のプレイヤと、背景差分法から選択した２人のプレイヤ（矩形）が対応するものであれば、両者を基準として、object detectionと背景差分法に基づく矩形画像におけるプレイヤが重なるはずである。
【0060】
そこで、この実施形態では、プレイヤが正しく重なっているかどうかを以下の処理によって判断するようにしている。
【0061】
まず、object detectionのための画像と背景差分法に基づく矩形画像を重ねる（ステップＳ４７）。この際、上記選択した２人のスケルトン矩形の重心点と、上記選択した背景差分法の２つの矩形の重心点とを重ねるようにする。
【0062】
次に、この時の重なりの評価値を算出する（ステップＳ４８）。重なりの評価値の算出処理を、図８に示す。まず、object detectionのための画像に含まれる全てのプレイヤの重心点を算出する（ステップＳ４８１）。次に、この重心点が含まれる背景差分法の矩形を探し出す（ステップＳ４８２）。スケルトンの重心点を含む矩形があれば、評価値を下式によって算出する（ステップＳ４８３）。
【0063】
評価値＝
１／（背景差分法の矩形の面積＋背景差分法の矩形の面積のうち最大のものの面積）
矩形の中にスケルトンの重心点が含まれていれば、両者は対応しているということである。また、その矩形の面積が小さいほど、両者が対応している確率は高いということになる。ただし、ノイズや抽出不十分などの理由によって微小な矩形が存在する場合、この中に重心点がたまたま含まれると、極端に評価値が大きくなってしまう。これを避けるために、矩形の面積に最大の矩形の面積を加えたものを分母としている。
１／（背景差分法の矩形の面積＋背景差分法の矩形の面積のうち最大のものの面積）
矩形の中にスケルトンの重心点が含まれていれば、両者は対応しているということである。また、その矩形の面積が小さいほど、両者が対応している確率は高いということになる。ただし、ノイズや抽出不十分などの理由によって微小な矩形が存在する場合、この中に重心点がたまたま含まれると、極端に評価値が大きくなってしまう。これを避けるために、矩形の面積に最大の矩形の面積を加えたものを分母としている。
【0064】
ＣＰＵ３０は、上記の処理を、object detection画像に含まれる全てのスケルトンについて行う（ステップＳ４８５）。全てのスケルトンについての処理が終わると、各スケルトンについて算出した評価値を合計する（ステップＳ４８６）。これを模式化して示すと、図１４のようになる。点がスケルトンの重心座標、矩形は背景差分法の矩形である。
【0065】
このようにして得た評価値が高いほど、object detection画像と背景差分法に基づく矩形画像との合致度合いが高いということができる。したがって、この実施形態では、ステップＳ４１にて選択した２つのスケルトンについて、背景差分法の矩形の全ての組み合せを対応付けて、上記評価値を算出するようにしている（ステップＳ５１、Ｓ５２）。そして、ＣＰＵ３０は、最も評価値の大きい対応付けを選択する（ステップＳ５）。
【0066】
これにより、図１６に示すように、ズーム画像を全体画像に重ね合わせて、どの位置にあるのかを特定することができる。したがって、全体画像ではプレイヤが重なって個々の位置が認識できなかったものについて、ズーム画像のobject detectionにより、個々のプレイヤを認識しその全体画像での位置を決定することができる。全体画像においては、４隅の基準体を撮像しているので、フィールド上での位置を決定することができる。これにより、プレイヤが密集している場所においても、個々のプレイヤのフィールド上の位置を把握することができる。
【0067】
また、上記の処理は、動画の各フレームについて行われるので、刻々と変化するズーム動画の位置を対応付けて、プレイヤの位置を把握することができる。
【0068】
なお、この実施形態では、重なりの評価値を算出した後、条件判定を行うようにしている（ステップＳ４９）。これは、１つ前のフレームにて決定された縮尺や座標位置が、大きく変化しないであろうとの推測に基づくものである。
【0069】
ＣＰＵ３０は、まず、今回の評価値を算出した際の縮尺（ステップＳ４５参照）を取得する（ステップＳ４９１）。次に、今回の重ね合わせにより、ズーム画像の左上の点（スケルトンではなく画像の左上の点）（図１５参照）の、全体画像における座標位置を算出する（ステップＳ４９２）。
【0070】
ＣＰＵ３０は、今回の縮尺が１つ前のフレームの縮尺と合致しているかどうか（所定％以内の違いに留まっているか）を判断する（ステップＳ４９３）。合致していれば、ズーム画像の左上の座標位置が、１つ前のフレームと合致しているかどうか（Ｘ方向、Ｙ方向ともに所定％以内の違いに留まっているか）を判断する（ステップＳ４９４）。
【0071】
いずれか一方でも合致していなければ、間違いである可能性が高いので、評価値を０とする（ステップＳ４９５）。両方が合致していれば、算出した評価値をそのまま用いる。
【0072】
以上のようにして、全体画像とズーム画像とを対応付け、プレイヤの正確な位置を把握することができる。
【0073】
1.4その他
(1)上記実施形態では、カメラによって取得した動画を、ＰＣに取り込むようにしている。しかし、撮像した動画をインターネットなどを介してサーバ装置に送信し、当該サーバ装置にて上記の関係決定処理を行うようにしてもよい。サーバ装置に記録された処理結果は、インターネットなどを介して端末装置から取得できるようにすることができる。
(1)上記実施形態では、カメラによって取得した動画を、ＰＣに取り込むようにしている。しかし、撮像した動画をインターネットなどを介してサーバ装置に送信し、当該サーバ装置にて上記の関係決定処理を行うようにしてもよい。サーバ装置に記録された処理結果は、インターネットなどを介して端末装置から取得できるようにすることができる。
【0074】
(2)上記実施形態では、ズーム画像においてプレイヤを認識するためにディープラーニングによって人物をオブジェクトとするobject detectionを用いている。しかし、重なりのあるプレイヤを認識できる手法であれば他の方式も用いることができる。
【0075】
(3)上記実施形態では、object detectionにて独立して認識できた２人のプレイヤに基づいて、背景差分法にて認識できたプレイヤの任意の２人に対して対応付けて重なりを評価するようにしている。しかし、２人ではなく３人以上のプレイヤによって対応付けを行うようにしてもよい。
【0076】
また、３人以上のプレイヤにて対応付けを行う場合、object detectionによって独立して認識できたプレイヤと、背景差分法にて独立して認識できたプレイヤのみによって対応付けを行うようにしてもよい。たとえば、図１７に示すように、３人のプレイヤによって形成される三角形（図中破線で示す）が、背景差分法とobject detectionで相似するものを探し出して対応付ける。なお、背景差分法では、２人以上のプレイヤを一つの矩形として認識することもあるので、矩形面積が所定値以下のものを独立する一人のプレイヤとして扱う。
【0077】
以上のようにすれば、総当たりを行わなくとも比較的正確に対応付けを行うことができる。
【0078】
(4)上記実施形態では、アメリカンフットボールに適用した場合について説明した。しかし、サッカー、バスケット、バレーボールなど複数人が所定のフィールド内で行う競技全般に適用することができる。
【0079】
また、競技以外であっても、全体画面とズーム画面で複数人を同時に撮像し、認識した人の位置によって両画面を対応付ける場合一般に用いることができる。たとえば、雑踏の中で一台の固定カメラにて基準体（位置を特定するために必要なマークなど）を含む広い範囲の動画を撮像し、他の一台を手持ちのカメラにてズームして人が密集している範囲を撮像する場合に適用できる。この場合、ズーム画像の方に基準体が撮像できなくとも、両画像の関係づけによって認識した人の位置を特定することができる。
【0080】
(5)上記実施形態では、動画を撮像するようにしているが、静止画を撮像するようにしてもよい。
【0081】
(6)上記実施形態の応用例として、図２６に示すようなシステムとしてもよい。このシステムでは、全体画像を撮像する固定カメラ６がスタジアムに複数個設けられている。ズーム画像は、固定カメラ６に近いところにいる観客等に依頼してスマートフォン８にて撮像してもらう。これにより、いずれかの固定カメラ６の近くのスマートフォン８の撮像画像があれば、プレイヤの位置を決定することができる。
【0082】
(7)上記実施形態では、第１撮像画像と第２撮像画像に基づいて、第２撮像画像の第１撮像画像上における位置を決定するようにしている。しかし、一つの撮像画像と各プレイヤの位置情報を用いて、当該撮像画像がいずれの位置を撮像したものであるかを特定するようにしてもよい。
【0083】
この場合、各プレイヤにＧＰＳ受信器などを装着して時刻ごとの各プレイヤの位置データを取得する。この位置データを図２７Ａに示すようにフィールド図面上に点としてプロットする。次に、撮像画像に基づいて図２７Ｂに示すプレイヤを抽出した矩形を（背景差分法、object detectionのいずれでもよい）、上記の点と対応付ける。これにより、図２８に示すように、撮像画像がフィールド上のいずれの領域を撮像したものであるかを得ることができる。
【0084】
なお、一方チームの選手のみにＧＰＳ受信機が装着されていて位置データが取得できる場合、上記手法を応用して、撮像画像から他方のチーム選手の位置を算出することができる。まず、ユニフォームの色などにより、撮像画像からＧＰＳによって位置データが取得できるチームのプレイヤを特定する。特定したプレイヤについて、上記の手法にて対応付けを行い、撮像画像の撮像位置を特定する。次に、撮像画像に基づいて認識されたプレイヤのうち、他方のチームの選手を特定し、その位置を特定する。
【0085】
(8)上記実施形態では、背景差分法による矩形領域とobject detectionによる点との対応付けを行うようにしている。しかし、object detectionによって認識されたプレイヤの外形を囲う矩形を算出し、両者ともに矩形領域として対応付けを行うようにしてもよい。
【0086】
(9)上記実施形態では、プレイヤを移動体としている。しかし、ボール、審判など競技に関連して動くものを移動体として検出対象とすることができる。また、鳥、魚、動物、車などを移動体として検出対象としてもよい。
【0087】
(9)上記実施形態および上記変形例は、その本質に反しない限り他の実施形態と組み合わせて実施可能である。
【0088】
２．第２の実施形態
2.1関係決定装置の機能構成
図１８に、この発明の第２の実施形態による関係決定装置の機能ブロック図を示す。カメラ６は、複数の移動体が含まれる第１所定エリア２を撮像し、第１撮像画像を出力する。第１撮像画像は、第１撮像画像取得手段１０によって取り込まれる。第１移動体認識手段１４は、第１撮像画像に基づいて、これに含まれる一以上の移動体の塊を認識する。
2.1関係決定装置の機能構成
図１８に、この発明の第２の実施形態による関係決定装置の機能ブロック図を示す。カメラ６は、複数の移動体が含まれる第１所定エリア２を撮像し、第１撮像画像を出力する。第１撮像画像は、第１撮像画像取得手段１０によって取り込まれる。第１移動体認識手段１４は、第１撮像画像に基づいて、これに含まれる一以上の移動体の塊を認識する。
【0089】
カメラ８は、第１所定エリア２よりも狭い第２所定エリア４を撮像し、第２撮像画像を出力する。第２撮像画像は、第２撮像画像取得手段１２によって取り込まれる。第２移動体認識手段１６は、第２撮像画像に基づいて、これに含まれる移動体を個々に区別して認識する。
【0090】
カメラ９は、第２所定エリア４よりも狭い第３所定エリア５を撮像し、第３撮像画像を出力する。第３撮像画像は、第３撮像画像取得手段１３によって取り込まれる。第３移動体認識手段１７は、第３撮像画像に基づいて、これに含まれる移動体を個々に区別して認識する。
【0091】
撮像エリア特定手段１８は、第３の移動体認識手段１７によって認識された複数の移動体の位置関係と、第２移動体認識手段１６によって認識された複数の移動体の位置関係とに基づいて、前記カメラ９による第３所定エリア５が、前記カメラ８による第２所定エリア４中のいずれの位置にあるかを決定する。
【0092】
さらに、第２の移動体認識手段１６によって認識された複数の移動体の位置関係と、第１移動体認識手段１４によって認識された複数の移動体の塊（各塊は少なくとも一つの移動体によって構成される）の位置関係とに基づいて、前記カメラ８による第２所定エリア４が、前記カメラ６による第１所定エリア２中のいずれのエリアにあたるかを決定する。
【0093】
したがって、第３撮像画像や第２撮像画像によってのみ移動体を個々に区別できた場合に、当該移動体の第１所定エリア２における位置を特定することができる。
【0094】
2.2システム構成およびハードウエア構成
システム構成およびハードウエア構成は、第１の実施形態と同様である。ただし、この実施形態では、全体画像を撮像するカメラ６、ズーム画像を撮像するカメラ８の他に、さらなるズーム画像を撮像するカメラ９を設けている。
システム構成およびハードウエア構成は、第１の実施形態と同様である。ただし、この実施形態では、全体画像を撮像するカメラ６、ズーム画像を撮像するカメラ８の他に、さらなるズーム画像を撮像するカメラ９を設けている。
【0095】
2.3関係決定プログラム４４の処理
関係決定プログラム４４のフローチャートを図１９に示す。ステップＳ１において、カメラ６の全体画像、カメラ８のズーム画像に加えて、カメラ９の強ズーム画像も取り込むようにしている。背景差分法による全体画像とobject detectionによるズーム画像との対応付け（ステップＳ２～Ｓ５）は、第１の実施形態と同様である。
関係決定プログラム４４のフローチャートを図１９に示す。ステップＳ１において、カメラ６の全体画像、カメラ８のズーム画像に加えて、カメラ９の強ズーム画像も取り込むようにしている。背景差分法による全体画像とobject detectionによるズーム画像との対応付け（ステップＳ２～Ｓ５）は、第１の実施形態と同様である。
【0096】
この実施形態では、全体画像とズーム画像との対応付けを行った後、カメラ９による強ズーム画像とカメラ８によるズーム画像との対応付けを行うようにしている。これにより、ズーム画像では画像が小さいために認識できなかったプレイヤを、強ズーム画像で認識でき、強ズーム画像をズーム画像と対応付けてプレイヤの位置を特定することができる。
【0097】
ステップＳ６において、ＣＰＵ３０は、強ズーム画像にてobject detectionを行ってプレイヤを抽出する（ステップＳ６）この処理は、第１の実施形態と同様である。
【0098】
【0099】
ＣＰＵ３０は、ズーム画像の１人のプレイヤと強ズーム画像の１人のプレイヤの位置と枠（認識したプレイヤに外接する矩形）の大きさを取得する（ステップＳ４１０、Ｓ４２０）。図２４にこれを模式的に表す。たとえば、ＣＰＵ３０は、まず枠Ａと枠Ｉを取得する。
【0100】
次に、両枠Ａ、Ｉの高さに基づいて、縮尺を算出する（ステップＳ４３０）。縮尺は、Ａ枠の高さ／Ｉ枠の高さにて算出することができる。ＣＰＵ３０は、算出した縮尺により、強ズーム画像の縮尺をズーム画像に揃える（ステップＳ４４０）。
【0101】
続いて、ＣＰＵ３０は、強ズーム画像の全プレイヤの枠をズーム画像上に配置する（ステップＳ４５０）。これにより、両画像が正しく対応していれば、枠の重なりが大きくなるはずである。そこで、この実施形態では、枠の重なり面積によって評価値を算出するようにしている（ステップＳ４６０）。
【0102】
重なりの評価値算出のフロチャートを図２２に示す。ズーム画像の枠と強ズーム画像の枠の重なりの評価値を算出する（ステップＳ４６１、Ｓ４６２、Ｓ４６３）。評価値は以下の式にて算出している。
【0103】
評価値＝（重なりの面積×２）／（一方の枠の面積＋他方の枠の面積）
なお、重なりの面積は重なった部分の面積である（図２５の面積Ｃ）。一方の枠の面積は、重なった枠の一方の全体の面積である（図２５の面積Ａ）。他方の枠の面積は、重なった枠の他方の全体の面積である（図２５の面積Ｂ）。これを全ての枠について行って、各評価値を算出し全て合計して評価値とする（ステップＳ４６５、Ｓ４６６）。
なお、重なりの面積は重なった部分の面積である（図２５の面積Ｃ）。一方の枠の面積は、重なった枠の一方の全体の面積である（図２５の面積Ａ）。他方の枠の面積は、重なった枠の他方の全体の面積である（図２５の面積Ｂ）。これを全ての枠について行って、各評価値を算出し全て合計して評価値とする（ステップＳ４６５、Ｓ４６６）。
【0104】
次に、第１の実施形態と同じように、縮尺と位置が１フレーム前のものと大きく異なっていないかを条件判定する（ステップＳ４７０、図２３ステップＳ４９１～Ｓ４９５）。
【0105】
上記の処理によって、図２４の枠Ａと枠Ｉを対応付けた場合の評価値が得られる。ＣＰＵ３０は、これを記録する（ステップＳ４８０）。このようにして、枠の対応について全ての組合せにつき評価値を算出する（ステップＳ４９０、Ｓ５００）。最後に、最も評価値の大きい対応付けを選択して、縮尺と位置を決定する（ステップＳ８）。
【0106】
以上のようにして、ズーム画像中における強ズーム画像の位置を決定することができる。ステップＳ５において、全体画像中におけるズーム画像の位置が決定されているので、結果として、全体画像中における強ズーム画像の位置も定まることになる。
【0107】
2.4その他
(1)上記実施形態では、図２９Ａに示すように、第１撮像画像αから第３撮像画像γまでを用いている。しかし、第ｎ撮像画像までを用いるようにしてもよい。この場合、ｎの数が大きくなるほどズームが強くなるようにする。ｎは４以上でもよく、２としてもよい。
(1)上記実施形態では、図２９Ａに示すように、第１撮像画像αから第３撮像画像γまでを用いている。しかし、第ｎ撮像画像までを用いるようにしてもよい。この場合、ｎの数が大きくなるほどズームが強くなるようにする。ｎは４以上でもよく、２としてもよい。
【0108】
また、図２９Ｂに示すように、第１撮像画像αに含まれる複数の撮像画像を設けるようにしてもよい。図においては、第２撮像画像β1と第２撮像画像β2が第１撮像画像αに含まれている。さらに、第３撮像画像γ1が第２撮像画像β1に含まれ、第３撮像画像γ2が第２撮像画像β2に含まれている。
【0109】
(2)上記実施形態では、第１撮像画像を背景差分法にて処理し、第２、第３撮像画像をobject detectionによって処理している。しかし、第１撮像画像もobject detectionを行うようにしてもよい。
【0110】
また、第１撮像画像、第２撮像画像を背景差分法によって処理し、第３撮像画像をobject detectionによって処理するようにしてもよい。さらに、第１～第３撮像画像の全てを背景差分法によって処理するようにしてもよい。
【0111】
(3)上記実施形態および上記変形例は、その本質に反しない限り他の実施形態と組み合わせて実施可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】