知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-08
(45)【発行日】2024-03-18
(54)【発明の名称】制御装置、制御システム、制御方法、及びプログラム
(51)【国際特許分類】
H04N 23/611 20230101AFI20240311BHJP
H04N 23/69 20230101ALI20240311BHJP
H04N 23/695 20230101ALI20240311BHJP
G03B 15/00 20210101ALI20240311BHJP
G03B 17/00 20210101ALI20240311BHJP
G02B 7/08 20210101ALI20240311BHJP
G06T 7/20 20170101ALI20240311BHJP
【ＦＩ】
H04N23/611
H04N23/69
H04N23/695
G03B15/00 Q
G03B17/00 Q
G02B7/08 C
G06T7/20 300Z
【請求項の数】
15
(21)【出願番号】P 2019184555
(22)【出願日】2019-10-07
(65)【公開番号】P2021061529
(43)【公開日】2021-04-15
【審査請求日】2022-10-03
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】豊田 卓矢
【審査官】門田 宏
(56)【参考文献】
【文献】米国特許出願公開第２００９／０３２４０１０（ＵＳ，Ａ１）
【文献】特開２０１５－０６１５７９（ＪＰ，Ａ）
【文献】特開２０２０－０１７１０７（ＪＰ，Ａ）
【文献】特開２０１７－０８６１８４（ＪＰ，Ａ）
【文献】特開２０１６－１７９０４８（ＪＰ，Ａ）
【文献】特開２０１９－１５４５７５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２２２－ ５／２５７
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０ －２３／７６
Ｈ０４Ｎ ２３／９０ －２３／９５９
Ａ６１Ｂ ５／１１
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １７／００
Ｇ０２Ｂ ７／０２ － ７／１６
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／００ －２０／９０
Ｇ０６Ｖ ４０／００ －４０／７０
(57)【特許請求の範囲】
【請求項1】
撮像装置により撮像した画像から、注目対象として設定された第１の被写体である物体と、当該第１の被写体とは異なり、かつ複数の部位からなる第２の被写体と、を抽出する抽出手段と、前記抽出手段により抽出された前記第１の被写体と前記第２の被写体とを対応付ける対応付け手段と、
抽出された前記第２の被写体の骨格を推定する第１の推定手段と、
前記第１の推定手段による前記第２の被写体の骨格の推定結果に基づき、当該第２の被写体の状態を推定し、前記第２の被写体の状態の推定結果に基づき、前記対応付け手段により当該第２の被写体に対応付けられた前記第１の被写体の以降の動きを推定する第２の推定手段と、
前記第２の推定手段による前記第１の被写体の以降の動きの推定結果に基づき、前記撮像装置の画角を制御する制御手段と、
を備える、制御装置。
【請求項2】
前記第２の推定手段は、前記第１の推定手段による前記第２の被写体の骨格の推定結果に基づき、当該第２の被写体の重心位置を特定し、
当該重心位置に基づき、当該第２の被写体の状態を推定する、
請求項１に記載の制御装置。
【請求項3】
前記第２の推定手段は、前記第１の推定手段による前記第２の被写体の前記骨格の推定結果に基づき、当該第２の被写体の姿勢を特定し、
当該姿勢に基づき、当該第２の被写体の状態を推定する、
請求項１または２に記載の制御装置。
【請求項4】
前記対応付け手段は、前記抽出手段により複数の第２の被写体が抽出された場合に、前記第１の被写体と、前記複数の第２の被写体それぞれと、の間の距離に応じて、当該第１の被写体に対して対応付ける第２の被写体を決定する、請求項１～３のいずれか１項に記載の制御装置。
【請求項5】
前記対応付け手段は、前記抽出手段により複数の第２の被写体が抽出された場合に、当該複数の第２の被写体のうち、前記第１の被写体からの距離がより短い第２の被写体を、当該第１の被写体に対応付ける、請求項４に記載の制御装置。
【請求項6】
前記第１の被写体の以降の動きの推定結果は、当該第１の被写体の移動量の推定結果を含み、前記制御手段は、前記第１の被写体の移動量の推定結果に基づき、前記撮像装置の画角
の制御に係る制御量を決定する、
請求項１～５のいずれか１項に記載の制御装置。
【請求項7】
前記第２の推定手段は、
前記第２の被写体の骨格の推定結果に基づく当該第２の被写体の複数の部位の位置関係に基づき、前記第２の被写体の状態として、前記第１の被写体に対する前記第２の被写体の動作を推定し、
当該動作の推定結果に基づき、当該第１の被写体の以降の動きの前記移動量を推定する、
請求項６に記載の制御装置。
【請求項8】
前記第２の推定手段は、
前記第２の被写体の所定の複数の部位がなす角度に基づき、前記第２の被写体の状態として、前記第１の被写体に対する前記第２の被写体の動作を推定し、
前記角度がより大きいほど、当該動作による前記第１の被写体の以降の動きの前記移動量がより多くなるもの推定する、
請求項７に記載の制御装置。
【請求項9】
前記制御手段は、前記第１の被写体が前記画角内に収まるように、当該画角の向き及び大きさのうち少なくともいずれかを制御する、請求項１～８のいずれか１項に記載の制御装置。
【請求項10】
前記制御手段は、前記第２の被写体の前記骨格が前記撮像装置の画角内に収まり、かつ当該第２の被写体が拡大して撮像されるように、当該撮像装置の拡大率を制御し、前記抽出手段は、前記第２の被写体が拡大して撮像された前記画像から、当該第２の被写体を抽出し、
前記第１の推定手段は、前記抽出手段により前記第２の被写体が拡大して撮像された前記画像から抽出された当該第２の被写体の前記骨格を推定し、
前記第２の推定手段は、前記第１の推定手段による前記第２の被写体の骨格の推定結果に基づき、当該第２の被写体の状態を推定する、
請求項１～９のいずれか１項に記載の制御装置。
【請求項11】
前記制御手段は、前記第１の被写体からの距離がより短いあらかじめ決められた数の前記第２の被写体が前記撮像装置の画角内に収まるように、当該撮像装置の拡大率を制御する、請求項１０に記載の制御装置。
【請求項12】
撮像装置により撮像した画像から、注目対象として設定された第１の被写体である物体と、当該第１の被写体とは異なり、かつ複数の部位からなる第２の被写体と、を抽出する抽出手段と、前記抽出手段により抽出された前記第１の被写体と前記第２の被写体とを対応付ける対応付け手段と、
抽出された前記第２の被写体の骨格を推定する第１の推定手段と、
前記第１の推定手段による前記第２の被写体の骨格の推定結果に基づき、当該第２の被写体の状態を推定し、前記第２の被写体の状態の推定結果に基づき、前記対応付け手段により当該第２の被写体に対応付けられた前記第１の被写体の以降の動きを推定する第２の推定手段と、
前記第２の推定手段による前記第１の被写体の以降の動きの推定結果に基づき、前記撮像装置の画角を制御する制御手段と、
を備える、制御システム。
【請求項13】
前記撮像装置を備える、請求項１２に記載の制御システム。
【請求項14】
制御装置が実行する制御方法であって、撮像装置により撮像した画像から、注目対象として設定された第１の被写体である物体と、当該第１の被写体とは異なり、かつ複数の部位からなる第２の被写体と、を抽出する抽出ステップと、
前記抽出ステップにて抽出された前記第１の被写体と前記第２の被写体とを対応付ける対応付けステップと、
抽出された前記第２の被写体の骨格を推定する第１の推定ステップと、
前記第１の推定ステップにおける前記第２の被写体の骨格の推定結果に基づき、当該第２の被写体の状態を推定し、前記第２の被写体の状態の推定結果に基づき、前記対応付けステップにて当該第２の被写体に対応付けられた前記第１の被写体の以降の動きを推定する第２の推定ステップと、
前記第２の推定ステップにおける前記第１の被写体の以降の動きの推定結果に基づき、前記撮像装置の画角を制御する制御ステップと、
を含む、制御方法。
【請求項15】
コンピュータを、請求項１～１１のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、制御装置、制御システム、制御方法、及びプログラムに関する。
【背景技術】
【0002】
近年では、リモートで制御可能な撮像装置を利用して、スポーツのシーン等のような動きのあるシーンを自動で撮像可能とするシステムのニーズが高まっている。自動撮像を実現する技術の一例として、被写体の動きに応じて、撮像装置のパン・チルト・ズーム制御を行うことで当該撮像装置の画角を調整し、被写体を画角内に収める技術が提案されている。例えば、特許文献１には、被写体の動きの量を算出し、当該動きの量の算出結果に応じて撮像装置のズーム制御に係る拡大率を制御することで、被写体が画角外に移動した場合においても、迅速に当該被写体を画角内に捉え直す技術が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－１９４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方で、被写体の動きの検出結果に応じて撮像装置の画角を制御することで、被写体の動きの検出から画角の制御までに遅延が生じ、被写体を画角内に収めることが困難となる場合がある。特に、スポーツシーンのように被写体の動きがその時々で変化するような状況下においては、上述した遅延の影響がより顕著に顕在化する場合がある。
【0005】
本発明の目的は、被写体の動きが変化するような状況下においても、より好適な態様で被写体を画角内に収めることを可能とすることである。
【課題を解決するための手段】
【0006】
本発明の制御装置は、撮像装置により撮像した画像から、注目対象として設定された第１の被写体である物体と、当該第１の被写体とは異なり、かつ複数の部位からなる第２の被写体と、を抽出する抽出手段と、前記抽出手段により抽出された前記第１の被写体と前記第２の被写体とを対応付ける対応付け手段と、抽出された前記第２の被写体の骨格を推定する第１の推定手段と、前記第１の推定手段による前記第２の被写体の骨格の推定結果に基づき、当該第２の被写体の状態を推定し、前記第２の被写体の状態の推定結果に基づき、前記対応付け手段により当該第２の被写体に対応付けられた前記第１の被写体の以降の動きを推定する第２の推定手段と、前記第２の推定手段による前記第１の被写体の以降の動きの推定結果に基づき、前記撮像装置の画角を制御する制御手段と、を備える。
【発明の効果】
【0007】
本発明によれば、被写体の動きが変化するような状況下においても、より好適な態様で被写体を画角内に収めることが可能となる。
【図面の簡単な説明】
【0008】
【図1】撮像システムの機能構成の一例を示したブロック図である。
【図2】人体とボールとの対応付けの一例について示した図である。
【図3】人体とボールとの対応付けの一例について示した図である。
【図4】骨格情報に基づく人体及びボールの状況の判定方法の一例を示した図である。
【図5】骨格情報に基づく人体及びボールの状況の判定方法の一例を示した図である。
【図6】骨格情報に基づく人体及びボールの状況の判定方法の一例を示した図である。
【図7】骨格情報に基づく人体及びボールの状況の判定方法の一例を示した図である。
【図8】画角制御の一例について示した図である。
【図9】画角制御の一例について示した図である。
【図10】画角制御の一例について示した図である。
【図11】情報処理装置のハードウェア構成の一例を示した図である。
【図12】撮像システムの処理の一例を示したフローチャートである。
【図13】撮像システムの機能構成の一例を示したブロック図である。
【図14】画像の撮像に係る拡大率を決定する処理の一例について示した図である。
【図15】画像の撮像に係る拡大率を決定する処理の一例について示した図である。
【図16】撮像システムの処理の一例を示したフローチャートである。
【図17】撮像システムの機能構成の一例を示したブロック図である。
【図18】画像の撮像に係る拡大率を決定する処理の一例について示した図である。
【図19】画像の撮像に係る拡大率を決定する処理の一例について示した図である。
【図20】撮像システムの処理の一例を示したフローチャートである。
【発明を実施するための形態】
【0009】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0010】
＜第１の実施形態＞
以下に、本発明の第１の実施形態に係る撮像システムについて説明する。本実施形態に係る撮像システムは、主に、スポーツシーンのように選手や競技に使われるボール等のような被写体の動きが逐次変化するような状況下においても、より好適な態様で被写体を画角内に収めることを可能とすることを目的としている。
具体的には、スポーツシーンにおけるボール等は、人がどのように動作するかに応じて次の動き方が大きく変化する。このようなシーンにおいては、サッカーにおいてシュートが行われた場合のように、急に動作が速くなるとボールが画角から外れてしまう場合がある。また、スポーツシーンにおけるボールは、ボール自身が自律的に動き回る訳ではなく、ボールに付随する人体（例えば、ボールを操る選手等）の動作に応じて動作が変化する場合がある。
本実施形態に係る撮像システムは、上記のような特性を鑑み、人体の骨格情報を利用して当該人体の動きを推定し、当該推定結果を撮像装置の画角の制御に利用することで、ボール等の注目する被写体が画角内に収められるように当該画角を制御する。
なお、以降では、本実施形態に係る撮像システムの特徴をよりわかりやすくするために、サッカーにおいてボールの動きに注目して撮像装置の画角を制御する場合を想定して、撮像システムの特徴について詳しく説明する。また、本実施形態に係る撮像システムや、後述する第２及び第３の実施形態に係る撮像システムのうち、特に画角の制御に係る部分が「制御システム」の一例に相当する。
以下に、本発明の第１の実施形態に係る撮像システムについて説明する。本実施形態に係る撮像システムは、主に、スポーツシーンのように選手や競技に使われるボール等のような被写体の動きが逐次変化するような状況下においても、より好適な態様で被写体を画角内に収めることを可能とすることを目的としている。
具体的には、スポーツシーンにおけるボール等は、人がどのように動作するかに応じて次の動き方が大きく変化する。このようなシーンにおいては、サッカーにおいてシュートが行われた場合のように、急に動作が速くなるとボールが画角から外れてしまう場合がある。また、スポーツシーンにおけるボールは、ボール自身が自律的に動き回る訳ではなく、ボールに付随する人体（例えば、ボールを操る選手等）の動作に応じて動作が変化する場合がある。
本実施形態に係る撮像システムは、上記のような特性を鑑み、人体の骨格情報を利用して当該人体の動きを推定し、当該推定結果を撮像装置の画角の制御に利用することで、ボール等の注目する被写体が画角内に収められるように当該画角を制御する。
なお、以降では、本実施形態に係る撮像システムの特徴をよりわかりやすくするために、サッカーにおいてボールの動きに注目して撮像装置の画角を制御する場合を想定して、撮像システムの特徴について詳しく説明する。また、本実施形態に係る撮像システムや、後述する第２及び第３の実施形態に係る撮像システムのうち、特に画角の制御に係る部分が「制御システム」の一例に相当する。
【0011】
（機能構成）
図１を参照して、本実施形態に係る撮像システムＡ１０００の機能構成の一例について説明する。撮像システムＡ１０００は、サッカーの競技場内が撮像された画像から人体とボールとを認識し、ボールが撮像装置の画角内に収まるように画角調整を行ったうえで、撮像結果に応じた画像をディスプレイ等の出力装置に出力させるシステムである。
撮像システムＡ１０００は、撮像装置Ａ１００１と、画角制御装置Ａ１００２と、出力装置Ａ１０１４とを含む。撮像装置Ａ１００１と画角制御装置Ａ１００２とは、例えば、ビデオインタフェースを介して接続されている。これにより、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ａ１００２に転送することが可能となる。なお、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ａ１００２に転送することが可能であれば、撮像装置Ａ１００１と画角制御装置Ａ１００２とを接続するインタフェースは特に限定されない。
図１を参照して、本実施形態に係る撮像システムＡ１０００の機能構成の一例について説明する。撮像システムＡ１０００は、サッカーの競技場内が撮像された画像から人体とボールとを認識し、ボールが撮像装置の画角内に収まるように画角調整を行ったうえで、撮像結果に応じた画像をディスプレイ等の出力装置に出力させるシステムである。
撮像システムＡ１０００は、撮像装置Ａ１００１と、画角制御装置Ａ１００２と、出力装置Ａ１０１４とを含む。撮像装置Ａ１００１と画角制御装置Ａ１００２とは、例えば、ビデオインタフェースを介して接続されている。これにより、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ａ１００２に転送することが可能となる。なお、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ａ１００２に転送することが可能であれば、撮像装置Ａ１００１と画角制御装置Ａ１００２とを接続するインタフェースは特に限定されない。
【0012】
撮像装置Ａ１００１は、周囲の環境を撮像して、撮像結果に応じた静止画像や動画像等のような画像のデータ（以降では、「画像データ」とも称する）を生成する。なお、以降では、単に「画像」と記載した場合には、特に説明がない限りは、静止画像と動画像とのいずれも含み得るものとする。撮像装置Ａ１００１は、撮像結果に応じた画像データを画角制御装置Ａ１００２に出力する。なお、撮像装置Ａ１００１が、撮像結果に応じた画像データをリアルタイムで画角制御装置Ａ１００２に逐次出力することで、後述する画角制御装置Ａ１００２による画角制御に係る精度をより向上させることが可能となる。
【0013】
出力装置Ａ１０１４は、例えば、ディスプレイ等のような表示装置により実現され、所望の情報を画面等に表示することで当該情報をユーザに提示する。
【0014】
画角制御装置Ａ１００２は、撮像装置Ａ１００１から撮像結果に応じた画像データを取得し、当該画像データが示す画像中から、注目対象として設定された被写体（ボール）と、当該被写体以外の他の被写体である人体とを抽出する。画角制御装置Ａ１００２は、画像から抽出された人体の骨格情報を推定することで当該人体の動きを推定し、当該人体の推定結果を利用することで、注目対象であるボールの以降の動きを推定する。画角制御装置Ａ１００２は、ボールの動きの推定結果に基づき、撮像装置Ａ１００１の画角を制御する。なお、本実施形態においては、注目対象であるボールが「第１の被写体」の一例に相当し、骨格情報に基づく動きの推定の対象となる人体が「第２の被写体」の一例に相当する。
【0015】
画角の制御としては、例えば、画像が撮像される方向を左右及び上下に調整することで画角の向き（撮像方向）を制御するパン制御及びチルト制御と、画像の撮像に係る拡大率を制御するズーム制御とが挙げられる。なお、上述した画角の制御を実現することが可能であれば、その方法は特に限定されない。
例えば、画角制御装置Ａ１００２は、画像処理等のデジタル処理により画角を制御してもよい。この場合には、画角制御装置Ａ１００２は、撮像装置Ａ１００１による撮像結果に応じた画像の一部を切り出し、必要に応じてデジタルズーム処理により切り出された当該画像の一部（以下、「部分画像」とも称する）を拡大してもよい。
また、他の一例として、画角制御装置Ａ１００２は、撮像装置Ａ１００１の向きの制御（パン制御及びチルト制御）や、当該撮像装置Ａ１００１による画像の撮像に係る拡大率の制御（ズーム制御）を行うことで、光学的に画角を制御してもよい。
そして、画角制御装置Ａ１００２は、画角が制御された後の画像を出力装置Ａ１０１４に表示させる。
例えば、画角制御装置Ａ１００２は、画像処理等のデジタル処理により画角を制御してもよい。この場合には、画角制御装置Ａ１００２は、撮像装置Ａ１００１による撮像結果に応じた画像の一部を切り出し、必要に応じてデジタルズーム処理により切り出された当該画像の一部（以下、「部分画像」とも称する）を拡大してもよい。
また、他の一例として、画角制御装置Ａ１００２は、撮像装置Ａ１００１の向きの制御（パン制御及びチルト制御）や、当該撮像装置Ａ１００１による画像の撮像に係る拡大率の制御（ズーム制御）を行うことで、光学的に画角を制御してもよい。
そして、画角制御装置Ａ１００２は、画角が制御された後の画像を出力装置Ａ１０１４に表示させる。
【0016】
ここで、画角制御装置Ａ１００２の機能構成について以下により詳しく説明する。画角制御装置Ａ１００２は、映像取得部Ａ１００３と、人体抽出部Ａ１００４と、注目対象抽出部Ａ１００５と、対応付け部Ａ１００６と、物体情報記録部Ａ１００７とを含む。また、画角制御装置Ａ１００２は、移動方向推定部Ａ１００８と、骨格情報推定部Ａ１００９と、状況判定部Ａ１０１０と、画角判定部Ａ１０１１と、画角制御部Ａ１０１２と、出力制御部Ａ１０１３とを含む。
【0017】
映像取得部Ａ１００３は、撮像装置Ａ１００１から撮像結果に応じた画像データを取得する。映像取得部Ａ１００３は、取得した画像データを、人体抽出部Ａ１００４、注目対象抽出部Ａ１００５、及び画角制御部Ａ１０１２のそれぞれに出力する。
【0018】
人体抽出部Ａ１００４は、映像取得部Ａ１００３から画像データを取得し、当該画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像された人体を抽出する。なお、画像中に撮像された人体を抽出することが可能であれば、その方法は特に限定されない。具体的な一例として、テンプレートマッチング法や、意味的領域分割法等に基づき、画像中に撮像された人体を抽出することが可能である。なお、テンプレートマッチング法や意味的領域分割法については公知の技術のため詳細な説明は省略する。
人体抽出部Ａ１００４は、画像中からの人体の抽出結果に応じた情報（例えば、画像中において人体が撮像された領域の位置を示す座標等）を対応付け部Ａ１００６に出力する。
人体抽出部Ａ１００４は、画像中からの人体の抽出結果に応じた情報（例えば、画像中において人体が撮像された領域の位置を示す座標等）を対応付け部Ａ１００６に出力する。
【0019】
注目対象抽出部Ａ１００５は、映像取得部Ａ１００３から画像データを取得し、当該画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像された被写体のうち注目対象として設定された被写体を抽出する。本実施形態では、ボールが注目対象として設定されており、注目対象抽出部Ａ１００５は、画像中からボールを抽出するものとする。なお、画像中に撮像された所望の被写体（例えば、ボール）を抽出することが可能であれば、その方法は特に限定されない。具体的な一例として、テンプレートマッチング法や、意味的領域分割法等に基づき、画像中に撮像された所望の被写体を抽出することが可能である。
注目対象抽出部Ａ１００５は、画像中からのボールの抽出結果に応じた情報（例えば、画像中においてボールが撮像された領域の位置を示す座標等）を対応付け部Ａ１００６に出力する。
注目対象抽出部Ａ１００５は、画像中からのボールの抽出結果に応じた情報（例えば、画像中においてボールが撮像された領域の位置を示す座標等）を対応付け部Ａ１００６に出力する。
【0020】
対応付け部Ａ１００６は、人体抽出部Ａ１００４から、画像中からの人体の抽出結果に応じた情報を取得する。また、対応付け部Ａ１００６は、上記画像中からのボール（すなわち、注目対象として設定された被写体）の抽出結果に応じた情報を取得する。対応付け部Ａ１００６は、画像中から抽出されたボールと、当該画像中から抽出された人体と、の対応付けを行う。
【0021】
【0022】
まず、図２について説明する。Ｄ００１は、画角制御装置Ａ１００２が撮像装置Ａ１００１から取得した画像データが示す画像、すなわち、撮像装置Ａ１００１による撮像結果に応じた画像を示している。また、Ｐ０００及びＰ００１は、画像Ｄ００１に撮像されたボール及び人体を示している。また、Ｐ００２は、ボールＰ０００と人体Ｐ００１との間の距離を示している。例えば、対応付け部Ａ１００６は、距離Ｐ００２として、人体Ｐ００１の両脚間における重心位置と、ボールＰ０００の重心位置と、の間の実空間における距離を算出する。
なお、画像中の距離から実空間における距離を算出する方法としては、既知の方法を適用することが可能である。具体的な一例として、画像中における複数の被写体それぞれの座標間の距離と、当該画像の撮像に係る拡大率と、に基づき、実空間における当該複数の被写体間の距離を算出することが可能である。また、この際に、撮像の対象となる領域と、画像を撮像する撮像装置と、の間の位置や姿勢の関係が、複数の被写体間の距離の算出に考慮されてもよい。具体的には、撮像対象となる領域の各位置と、撮像装置と、の間の距離が異なる場合がある。このような場合には、複数の被写体それぞれが当該領域中のどの位置に存在するかに応じて、各被写体と撮像装置との間の距離を推定し、当該距離の推定結果を鑑みて、当該複数の被写体間の距離を算出することも可能である。
なお、画像中の距離から実空間における距離を算出する方法としては、既知の方法を適用することが可能である。具体的な一例として、画像中における複数の被写体それぞれの座標間の距離と、当該画像の撮像に係る拡大率と、に基づき、実空間における当該複数の被写体間の距離を算出することが可能である。また、この際に、撮像の対象となる領域と、画像を撮像する撮像装置と、の間の位置や姿勢の関係が、複数の被写体間の距離の算出に考慮されてもよい。具体的には、撮像対象となる領域の各位置と、撮像装置と、の間の距離が異なる場合がある。このような場合には、複数の被写体それぞれが当該領域中のどの位置に存在するかに応じて、各被写体と撮像装置との間の距離を推定し、当該距離の推定結果を鑑みて、当該複数の被写体間の距離を算出することも可能である。
【0023】
対応付け部Ａ１００６は、画像中に人体とボールとのそれぞれが一つずつ存在する場合には、当該人体と当該ボールとの間の距離Ｐ００２が閾値以下である場合に、当該人体と当該ボールとを対応付ける。なお、本実施形態では、対応付け部Ａ１００６は、人体とボールトの間の距離Ｐ００２が０．３ｍ以下の場合に当該人体と当該ボールトを対応付けるものとするが、必ずしも対応付け部Ａ１００６の機能を限定するものではない。すなわち、距離Ｐ００２の判定に利用される閾値については、撮像システムＡ１０００の適用を想定しているユースケースや環境に応じて適宜変更されてもよい。
【0024】
続いて、図３について説明する。Ｄ１０１は、画角制御装置Ａ１００２が撮像装置Ａ１００１から取得した画像データが示す画像、すなわち、撮像装置Ａ１００１による撮像結果に応じた画像を示している。また、Ｐ１００は、画像Ｄ００１に撮像されたボールを示している。また、Ｐ１０１及びＰ１０２のそれぞれは、画像Ｄ００１に撮像された人体を示している。また、Ｐ１０３は、ボールＰ１００と人体Ｐ１０１との間の距離を示している。同様に、Ｐ１０４は、ボールＰ１００と人体Ｐ１０２との間の距離を示している。なお、距離Ｐ１０３及びＰ１０４の算出方法については、図２に示す例における距離Ｐ００２の算出方法と実質的に同様の方法を適用することが可能であるため、詳細な説明は省略する。
【0025】
対応付け部Ａ１００６は、画像中にボールとの間の距離が閾値以下の人体が複数存在する場合には、例えば、ボールとの距離がより短い人体を当該ボールと対応付けてもよい。
例えば、図３に示す例の場合には、距離Ｐ１０３の方が、距離Ｐ１０４に比べて短い。すなわち、人体Ｐ１０１の方が、人体Ｐ１０２に比べてボールＰ１００のより近くに位置する。そのため、この場合には、対応付け部Ａ１００６は、ボールＰ１００に対して人体Ｐ１０１を対応付ける。
例えば、図３に示す例の場合には、距離Ｐ１０３の方が、距離Ｐ１０４に比べて短い。すなわち、人体Ｐ１０１の方が、人体Ｐ１０２に比べてボールＰ１００のより近くに位置する。そのため、この場合には、対応付け部Ａ１００６は、ボールＰ１００に対して人体Ｐ１０１を対応付ける。
【0026】
そして、対応付け部Ａ１００６は、画像中から抽出されたボールと人体との間の対応付けの結果に応じた情報を、物体情報記録部Ａ１００７と骨格情報推定部Ａ１００９とのそれぞれに出力する。なお、本実施形態では、対応付け部Ａ１００６は、ボールと人体との対応付けの結果に応じた情報として、ボールに対応付けられた人体の画像中における座標情報を、物体情報記録部Ａ１００７と骨格情報推定部Ａ１００９とのそれぞれに出力するものとする。
【0027】
物体情報記録部Ａ１００７は、対応付け部Ａ１００６から、ボールに対応付けられた人体の画像中における座標情報を取得して記録する。この際に、物体情報記録部Ａ１００７は、取得した当該座標情報を、当該座標情報の導出元となる画像が撮像されたフレームごとに個別に記録してもよい。なお、以降の説明では、ボールに対応付けられた人体の画像中における座標情報を、単に「人体の座標情報」とも称する。
また、物体情報記録部Ａ１００７は、互いに異なる複数のフレームそれぞれについて取得された人体の座標情報を、移動方向推定部Ａ１００８に出力する。なお、本実施形態では、物体情報記録部Ａ１００７は、最新のフレーム（例えば、現在のフレーム）と、当該フレームの１つ前のフレームと、のそれぞれに対応する人体の座標情報を、移動方向推定部Ａ１００８に出力するものとする。
また、物体情報記録部Ａ１００７は、互いに異なる複数のフレームそれぞれについて取得された人体の座標情報を、移動方向推定部Ａ１００８に出力する。なお、本実施形態では、物体情報記録部Ａ１００７は、最新のフレーム（例えば、現在のフレーム）と、当該フレームの１つ前のフレームと、のそれぞれに対応する人体の座標情報を、移動方向推定部Ａ１００８に出力するものとする。
【0028】
移動方向推定部Ａ１００８は、互いに異なる複数のフレームそれぞれについて取得された人体の座標情報を物体情報記録部Ａ１００７から取得する。移動方向推定部Ａ１００８は、複数のフレームそれぞれについて取得した人体の座標情報に基づき当該人体の移動ベクトルを算出し、当該移動ベクトルの算出結果に基づき、当該複数のフレーム間における当該人体の移動方向を推定する。これにより、例えば、最新のフレームと、当該フレームの１つ前のフレームと、について上記人体の移動ベクトルを算出することで、当該移動ベクトルに基づき、最新のフレームにおける当該人体の移動方向を推定することが可能となる。
そして、移動方向推定部Ａ１００８は、人体の移動方向の推定結果に応じた情報を画角制御部Ａ１０１２に出力する。
そして、移動方向推定部Ａ１００８は、人体の移動方向の推定結果に応じた情報を画角制御部Ａ１０１２に出力する。
【0029】
骨格情報推定部Ａ１００９は、対応付け部Ａ１００６から人体の座標情報を取得し、当該人体の座標情報に基づき人体の骨格情報を推定する。
近年では、画像中に撮像された人体の骨格情報を推定する技術として、ＤｅｅｐＬｅａｒｎｉｎｇに代表される機械学習を応用した骨格推定技術が各種提案されている。このような骨格推定技術の中には、ＯｐｅｎＰｏｓｅやＤｅｅｐＰｏｓｅ等のＯＳＳ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｓｏｆｔｗａｒｅ）が提供されているものもあり、骨格推定を容易に行うことが可能となってきている。なお、本実施形態では、人体の骨格情報の推定に、機械学習を応用した骨格推定技術を適用するものとする。ただし、人体の骨格情報を推定することが可能であれば、その方法は特に限定されない。
骨格情報推定部Ａ１００９は、撮像装置Ａ１００１から取得された画像データが示す画像から、人体の座標情報が示す領域の部分画像を切り出し、当該部分画像に対して骨格推定技術を適用することで人体の骨格情報を推定する。そして、骨格情報推定部Ａ１００９は、人体の骨格情報の推定結果を状況判定部Ａ１０１０に出力する。
近年では、画像中に撮像された人体の骨格情報を推定する技術として、ＤｅｅｐＬｅａｒｎｉｎｇに代表される機械学習を応用した骨格推定技術が各種提案されている。このような骨格推定技術の中には、ＯｐｅｎＰｏｓｅやＤｅｅｐＰｏｓｅ等のＯＳＳ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｓｏｆｔｗａｒｅ）が提供されているものもあり、骨格推定を容易に行うことが可能となってきている。なお、本実施形態では、人体の骨格情報の推定に、機械学習を応用した骨格推定技術を適用するものとする。ただし、人体の骨格情報を推定することが可能であれば、その方法は特に限定されない。
骨格情報推定部Ａ１００９は、撮像装置Ａ１００１から取得された画像データが示す画像から、人体の座標情報が示す領域の部分画像を切り出し、当該部分画像に対して骨格推定技術を適用することで人体の骨格情報を推定する。そして、骨格情報推定部Ａ１００９は、人体の骨格情報の推定結果を状況判定部Ａ１０１０に出力する。
【0030】
状況判定部Ａ１０１０は、人体の骨格情報の推定結果を状況判定部Ａ１０１０から取得し、当該人体の骨格情報の推定結果に基づき、人体及びボールの状況を判定する。具体的には、状況判定部Ａ１０１０は、例えば、人体の骨格情報に基づき人体の重心位置の高さ、姿勢の傾き、特定部位の角度等の情報を解析し、解析結果に基づき人体及びボールの状況を判定してもよい。そこで、図４～図７を参照して、人体の骨格情報に基づき人体及びボールの状況を判定する方法の一例について以下に説明する。
【0031】
まず、図４について説明する。図４は、人体が撮像された画像に基づく人体の骨格情報の推定結果と、当該推定結果に基づき得られる情報の一例と、を示している。Ｄ２０１は、人体の骨格情報の推定に使用された画像を示している。Ｐ２００及びＰ２０１は、画像Ｄ２０１に撮像されたボール及び人体を示している。Ｐ２０２は、人体Ｐ２０１の重心位置を示している。Ｐ２０３、Ｐ２０４、Ｐ２０５、Ｐ２０６、Ｐ２０７、及びＰ２０８は、人体Ｐ２０１の右肘、左肘、右膝、左膝、首、及び腰の関節を示している。Ｐ２０９は、人体Ｐ２０１の両脚がなす角度を示している。Ｐ２１０は、人体Ｐ２１０が振り上げる脚の角度を示している。
【0032】
次いで、図５について説明する。図５は、人体が走行していることを判定する方法の一例について説明するための説明図である。Ｄ３０１は、人体の骨格情報の推定に使用された画像を示している。Ｐ３００は、ボールを示している。Ｐ３０１は、正立している状態の人体を示している。これに対して、Ｐ３０２は、走行している状態の人体を示している。Ｐ３０６及びＰ３０７は、人体Ｐ３０２の首及び腰の関節を示している。Ｐ３０７は、首関節Ｐ３０３と腰関節Ｐ３０４とを通る直線の鉛直方向に対する傾きを示している。つまり傾きＰ３０７は、人体Ｐ３０２の姿勢の傾きを示している。Ｐ３０４は、正立している状態の人体Ｐ３０１の重心位置を示している。これに対して、Ｐ３０５は、走行している状態の人体Ｐ３０２の重心位置を示している。
【0033】
人体は、走行している状態では正立している状態に比べて、重心位置がより低くなり、姿勢がより傾く傾向にある。そのため、人体が正立している状態に比べて、当該人体の重心位置がより低く、姿勢がより傾いている場合には、当該人体が走行している状態であると判定することが可能である。
【0034】
次いで、図６について説明する。図６は、人体がボールを蹴ることを判定する方法の一例について説明するための説明図である。Ｄ４０１は、人体の骨格情報の推定に使用された画像を示している。Ｐ４００及びＰ４０１は、ボールを示している。Ｐ４０２は、正立している状態の人体を示している。また、Ｐ４０３は、走行している状態の人体を示している。これに対して、Ｐ４０４は、ボールを蹴る状態の人体を示している。Ｐ４０５は、正立している状態の人体Ｐ４０２の脚の角度を示している。また、Ｐ４０６は、走行している状態の人体Ｐ４０３の脚の角度を示している。これに対して、Ｐ４０７は、ボールを蹴る状態の人体Ｐ４０４の脚の角度を示している。
【0035】
脚の角度Ｐ４０５、Ｐ４０６、及びＰ４０７を比較するとわかるように、人体がボールを蹴る際の脚の角度Ｐ４０７は、正立している状態の人体の脚の角度Ｐ４０５や、走行している状態の人体の脚の角度Ｐ４０６に比べてより小さくなる傾向にある。そのため、人体が正立している状態や走行している状態に比べて脚の角度が小さい場合には、当該人体がボールを蹴ると判定することが可能となる。
【0036】
次いで、図７について説明する。図７は、人体がボールを蹴る強さを判定する方法の一例について説明するための説明図である。Ｄ５０１は、人体の骨格情報の推定に使用された画像を示している。Ｐ５００及びＰ５０１は、ボールを示している。Ｐ５０２は、ボールを弱い力で蹴る状態の人体を示している。これに対して、Ｐ５０３は、ボールを強い力で蹴る状態の人体を示している。Ｐ５０４は、ボールを弱い力で蹴る状態の人体Ｐ５０２の両脚がなす角度を示している。これに対して、Ｐ５０５は、ボールを強い力で蹴る状態の人体Ｐ５０３の両脚がなす角度を示している。Ｐ５０６は、ボールを弱い力で蹴る状態の人体Ｐ５０２の重心位置を示している。これに対してＰ５０７は、ボールを強い力で蹴る状態の人体Ｐ５０３の重心位置を示している。
【0037】
重心位置Ｐ５０６及びＰ５０７間の比較と、角度Ｐ５０４及びＰ５０５間の比較と、からわかるように、人体がボールを強い力で蹴る場合には、ボールを弱い力で蹴る場合に比べて、重心位置がより低くなり、両脚がなす角度がより大きくなる傾向にある。そのため、人体がボールを弱い力で蹴る場合に比べて、当該人体の重心位置がより低く、両脚がなす角度がより大きい場合には、当該人体がボールを強い力で蹴ると判定することが可能となる。また、このような判定をサッカーにおける人体の状態の判定に適用することで、人体がショートパスを行おうとしているのか、シュートまたはロングパスを行おうとしているのか、を判定することも可能となる。
また、人体がボールを弱い力で蹴る場合と、人体がボールを強い力で蹴る場合と、を判別することで、その後のボールの移動量を推定することも可能となる。具体的には、人体がボールを強い力で蹴る場合には、ボールの移動量がより多くなり、人体がボールを弱い力で蹴る場合には、ボールの移動量がより少なくなる。このような特性を利用し、例えば、状況判定部Ａ１０１０は、ボールの移動量を、「少ない」、「多い」、「かなり多い」の三段階で判定することも可能である。
また、人体がボールを弱い力で蹴る場合と、人体がボールを強い力で蹴る場合と、を判別することで、その後のボールの移動量を推定することも可能となる。具体的には、人体がボールを強い力で蹴る場合には、ボールの移動量がより多くなり、人体がボールを弱い力で蹴る場合には、ボールの移動量がより少なくなる。このような特性を利用し、例えば、状況判定部Ａ１０１０は、ボールの移動量を、「少ない」、「多い」、「かなり多い」の三段階で判定することも可能である。
【0038】
以上のようにして、状況判定部Ａ１０１０は、人体の骨格情報の推定結果に基づき、人体及びボールの状況を判定し、当該判定の結果に応じた情報を画角判定部Ａ１０１１に出力する。具体的な一例として、状況判定部Ａ１０１０は、ボールの移動量の推定結果を、人体及びボールの状況判定の結果に応じた情報として、画角判定部Ａ１０１１に出力する。
【0039】
画角判定部Ａ１０１１は、状況判定部Ａ１０１０から、人体及びボールの状況判定の結果に応じた情報を取得し、当該情報に基づき画像の撮像に係る画角の制御方法や制御量を判定する。具体的な一例として、画角判定部Ａ１０１１は、ボールの移動量の推定結果に基づき、画像の撮像に係る拡大率（すなわち、ズーム制御に適用する拡大率）を決定してもよい。この場合には、画角判定部Ａ１０１１は、例えば、ボールの移動量の推定結果を所定の条件式に当てはめることで拡大率を算出してもよい。また、他の一例として、画角判定部Ａ１０１１は、ボールの移動量の推定結果に応じて、あらかじめ設定された拡大率の候補の中から適用する候補を選択してもよい。
そして、画角判定部Ａ１０１１は、画角の制御方法や制御量の判定結果に応じた情報を画角制御部Ａ１０１２に出力する。具体的な一例として、画角判定部Ａ１０１１は、ボールの移動量の推定結果に基づき決定した画像の撮像に係る拡大率に関する情報を画角制御部Ａ１０１２に出力する。
そして、画角判定部Ａ１０１１は、画角の制御方法や制御量の判定結果に応じた情報を画角制御部Ａ１０１２に出力する。具体的な一例として、画角判定部Ａ１０１１は、ボールの移動量の推定結果に基づき決定した画像の撮像に係る拡大率に関する情報を画角制御部Ａ１０１２に出力する。
【0040】
画角制御部Ａ１０１２は、映像取得部Ａ１００３から撮像装置Ａ１００１による撮像結果に応じた画像データを取得する。画角制御部Ａ１０１２は、移動方向推定部Ａ１００８から人体の移動方向の推定結果に応じた情報を取得する。また、画角制御部Ａ１０１２は、画角判定部Ａ１０１１から画角の制御方法や制御量の判定結果に応じた情報（例えば、画像の撮像に係る拡大率に関する情報等）を取得する。画角制御部Ａ１０１２は、人体の移動方向の推定結果に応じた情報と、画角の制御方法や制御量の判定結果に応じた情報と、に基づき、画角の制御を行う。
【0041】
具体的な一例として、画角制御部Ａ１０１２は、画角判定部Ａ１０１１から画像の撮像に係る拡大率に関する情報を取得した場合には、当該拡大率に応じてズーム制御を行ってもよい。
また、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８から取得した人体の移動方向の推定結果に応じた情報に基づき、パン制御やチルト制御等のような画角の向き（撮像方向）の制御を行ってもよい。なお、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８が人体の移動を検出していない場合には、画角の向きの制御を行わなくてもよいし、従前の検出時に移動方向推定部Ａ１００８から取得した情報に応じた画角の向きの制御を継続してもよい。また、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８から人体の移動方向の推定結果に応じた情報が出力されない場合には、従前に移動方向推定部Ａ１００８から取得した当該情報に応じた画角の向きの制御を継続してもよい。
また、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８から取得した人体の移動方向の推定結果に応じた情報に基づき、パン制御やチルト制御等のような画角の向き（撮像方向）の制御を行ってもよい。なお、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８が人体の移動を検出していない場合には、画角の向きの制御を行わなくてもよいし、従前の検出時に移動方向推定部Ａ１００８から取得した情報に応じた画角の向きの制御を継続してもよい。また、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８から人体の移動方向の推定結果に応じた情報が出力されない場合には、従前に移動方向推定部Ａ１００８から取得した当該情報に応じた画角の向きの制御を継続してもよい。
【0042】
ここで、図８～図１０を参照して画角制御の一例についてより詳しく説明する。
まず、図８について説明する。Ｄ６０１は、撮像装置Ａ１００１による撮像結果に応じた画像を示している。Ｐ６００及びＰ６０１は、ボール及び人体を示している。ここで、状況判定部Ａ１０１０により、人体Ｐ６０１がボールを強い力で蹴ると判定したものとする。この場合には、画角制御部Ａ１０１２は、ボールＰ６００が画角から外れないようにズーム制御を行う。
まず、図８について説明する。Ｄ６０１は、撮像装置Ａ１００１による撮像結果に応じた画像を示している。Ｐ６００及びＰ６０１は、ボール及び人体を示している。ここで、状況判定部Ａ１０１０により、人体Ｐ６０１がボールを強い力で蹴ると判定したものとする。この場合には、画角制御部Ａ１０１２は、ボールＰ６００が画角から外れないようにズーム制御を行う。
【0043】
例えば、図９は、人体Ｐ６０１がボールを強い力で蹴ると判定された場合における、図８に示す画像Ｄ６０１に対するズーム制御の適用結果の一例を示している。Ｄ７０１は、図８に示す画像Ｄ６０１に対してズーム制御が適用された後の画像を示している。Ｐ７００は、ボールを示しており、図８に示すボールＰ６００に相当する。Ｐ７０１～Ｐ７０４は、人体を示している。特に、人体Ｐ７０１は、図８に示す人体Ｐ６０１に相当する。
図９に示す例では、人体がボールを強い力で蹴ると判定されたため、図８に示す画像Ｄ６０１に比べて、より広い領域が画角内に収まるようにズーム制御（ズームアウト制御）が行われている。
図９に示す例では、人体がボールを強い力で蹴ると判定されたため、図８に示す画像Ｄ６０１に比べて、より広い領域が画角内に収まるようにズーム制御（ズームアウト制御）が行われている。
【0044】
また、図１０は、図９に示す画像Ｄ７０１に対する、移動方向推定部Ａ１００８による人体の移動方向の推定結果に基づく画角の向きの制御（例えば、パン制御及びチルト制御）の適用結果の一例を示している。Ｄ８０１は、画角の向きの制御が適用される前の画像を示しており、図９に示す画像Ｄ７０１に相当する。また、Ｄ８０２は、画像Ｄ８０１に対して画角の向きの制御が適用された後の画像を示している。Ｐ８００は、ボールを示しており、図９に示すボールＰ７００に相当する。Ｐ８０１～Ｐ８０４は、人体を示しており、図９に示す人体Ｐ７０１～Ｐ７０４に相当する。
図１０に示す例では、人体の移動方向の推定結果に基づきボールＰ８００が図面の右上方向に向けて移動することが推定され、当該ボールＰ８００の移動方向にあわせて画角の向きが図面の右上方向に向けて移動するように制御されている。これにより、ボールＰ８００の移動に追随するように画角の向きが制御され、ボールＰ８００を画角内に収め続けることが可能となる。
図１０に示す例では、人体の移動方向の推定結果に基づきボールＰ８００が図面の右上方向に向けて移動することが推定され、当該ボールＰ８００の移動方向にあわせて画角の向きが図面の右上方向に向けて移動するように制御されている。これにより、ボールＰ８００の移動に追随するように画角の向きが制御され、ボールＰ８００を画角内に収め続けることが可能となる。
【0045】
以上のようにして、画角制御部Ａ１０１２は、画角の制御を行い、画角が制御された後の画像を示す画像データを、出力制御部Ａ１０１３に出力する。
なお、画角制御部Ａ１０１２は、デジタル処理により画角の制御を行う場合には、映像取得部Ａ１００３から取得した画像データが示す画像から、制御後の画角に対応する部分画像を切り出し、当該部分画像を示す画像データを出力制御部Ａ１０１３に出力する。
一方で、前述したように、画角制御部Ａ１０１２は、撮像装置Ａ１００１の向きの制御（パン制御及びチルト制御）や、当該撮像装置Ａ１００１による画像の撮像に係る拡大率の制御（ズーム制御）を行うことで、画角を制御してもよい。この場合には、画角制御部Ａ１０１２は、画角が制御された後における撮像装置Ａ１００１による撮像結果に応じた画像を示す画像データを映像取得部Ａ１００３から取得し、当該画像データを出力制御部Ａ１０１３に出力すればよい。
なお、画角制御部Ａ１０１２は、デジタル処理により画角の制御を行う場合には、映像取得部Ａ１００３から取得した画像データが示す画像から、制御後の画角に対応する部分画像を切り出し、当該部分画像を示す画像データを出力制御部Ａ１０１３に出力する。
一方で、前述したように、画角制御部Ａ１０１２は、撮像装置Ａ１００１の向きの制御（パン制御及びチルト制御）や、当該撮像装置Ａ１００１による画像の撮像に係る拡大率の制御（ズーム制御）を行うことで、画角を制御してもよい。この場合には、画角制御部Ａ１０１２は、画角が制御された後における撮像装置Ａ１００１による撮像結果に応じた画像を示す画像データを映像取得部Ａ１００３から取得し、当該画像データを出力制御部Ａ１０１３に出力すればよい。
【0046】
出力制御部Ａ１０１３は、画角制御部Ａ１０１２から画像データを取得し、当該画像データが示す画像を出力装置Ａ１０１４に出力させる。
出力装置Ａ１０１４は、出力制御部Ａ１０１３からの指示に基づき上記画像データに基づく画像を画面に表示させることで、当該画像をユーザに提示する。
出力装置Ａ１０１４は、出力制御部Ａ１０１３からの指示に基づき上記画像データに基づく画像を画面に表示させることで、当該画像をユーザに提示する。
【0047】
なお、上記では、人体の骨格情報の推定結果に基づき、ボールの移動量を推定する場合の一例について説明したが、必ずしも人体の骨格情報に基づく人体及びボールの状況判定の対象やその方法を限定するものではない。すなわち、人体の骨格情報に基づき推定や判定が可能な事象であれば、当該事象の推定や判定の結果が画角の制御に利用されてもよい。
具体的な一例として、人体がボールを蹴ると判定された場合には、当該人体の脚が振り上げられた方向に基づき、ボールが蹴られる方向（すなわち、その後にボールが移動する方向）を推定することも可能となる。このような推定結果を利用することで、人体によりボールが蹴られることで当該ボールの動きが急激に変化するような状況下においても、当該ボールの動きにより正確に追随するように画角の向きを制御することも可能となる。
具体的な一例として、人体がボールを蹴ると判定された場合には、当該人体の脚が振り上げられた方向に基づき、ボールが蹴られる方向（すなわち、その後にボールが移動する方向）を推定することも可能となる。このような推定結果を利用することで、人体によりボールが蹴られることで当該ボールの動きが急激に変化するような状況下においても、当該ボールの動きにより正確に追随するように画角の向きを制御することも可能となる。
【0048】
（ハードウェア構成）
図１１を参照して、情報処理装置２００のハードウェア構成の一例について説明する。本実施形態では、画角制御装置Ａ１００２は、情報処理装置２００と同様の情報処理装置によって実現される。情報処理装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。
図１１を参照して、情報処理装置２００のハードウェア構成の一例について説明する。本実施形態では、画角制御装置Ａ１００２は、情報処理装置２００と同様の情報処理装置によって実現される。情報処理装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。
【0049】
ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて情報処理装置２００の全体を制御する。これにより、ＣＰＵ２１１は、図１に示す画角制御装置Ａ１００２の各機能を実現する。なお、情報処理装置２００がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラム等を格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータ等を一時的に記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データなどの種々のデータを記憶する。
【0050】
表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。
通信Ｉ／Ｆ２１７は、情報処理装置２００の外部の装置との通信に用いられる。例えば、情報処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。情報処理装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、情報処理装置２００の各部をつないで情報を伝達する。
通信Ｉ／Ｆ２１７は、情報処理装置２００の外部の装置との通信に用いられる。例えば、情報処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。情報処理装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、情報処理装置２００の各部をつないで情報を伝達する。
【0051】
図１１では、表示部２１５と操作部２１６が情報処理装置２００の内部に存在する場合の一例について示しているが、表示部２１５と操作部２１６とのうち少なくとも一方が情報処理装置２００の外部に別の装置として存在していてもよい。この場合には、ＣＰＵ２１１が、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作してもよい。
【0052】
画角制御装置Ａ１００２のＣＰＵ２１１が、画角制御装置Ａ１００２のＲＯＭ２１２または補助記憶装置２１４に記憶されたプログラムにしたがって処理を実行することで、図１に示す機能及び図１２に示す処理が実現される。これは、詳細を後述する、第２の実施形態における図１３に示す機能及び図１６に示す処理や、第３の実施形態における図１７に示す機能及び図２０に示す処理についても同様である。
【0053】
（処理）
図１２を参照して、撮像システムＡ１０００の処理の一例について説明する。撮像システムＡ１０００は、例えば、所定の入力装置を介して受け付けたユーザからの指示に基づき、図１２に示す一連の処理の実行を開始する。
図１２を参照して、撮像システムＡ１０００の処理の一例について説明する。撮像システムＡ１０００は、例えば、所定の入力装置を介して受け付けたユーザからの指示に基づき、図１２に示す一連の処理の実行を開始する。
【0054】
Ｓ００１において、映像取得部Ａ１００３は、撮像装置Ａ１００１から撮像結果に応じた画像データを取得する。
Ｓ００２において、人体抽出部Ａ１００４は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像された人体を抽出する。
Ｓ００３において、注目対象抽出部Ａ１００５は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像されたボール（注目対象として設定された被写体）を抽出する。
Ｓ００４において、対応付け部Ａ１００６は、Ｓ００２において画像中から抽出されたボールと、Ｓ００３において当該画像中から抽出された人体と、の対応付けを行う。具体的な一例として、対応付け部Ａ１００６は、ボールとの距離が閾値以下の人体が抽出されている場合に、当該ボールに対して当該人体を対応付ける。
Ｓ００２において、人体抽出部Ａ１００４は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像された人体を抽出する。
Ｓ００３において、注目対象抽出部Ａ１００５は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像されたボール（注目対象として設定された被写体）を抽出する。
Ｓ００４において、対応付け部Ａ１００６は、Ｓ００２において画像中から抽出されたボールと、Ｓ００３において当該画像中から抽出された人体と、の対応付けを行う。具体的な一例として、対応付け部Ａ１００６は、ボールとの距離が閾値以下の人体が抽出されている場合に、当該ボールに対して当該人体を対応付ける。
【0055】
Ｓ００５において、対応付け部Ａ１００６は、ボールに対して人体を対応付けたか否かを判定する。対応付け部Ａ１００６は、Ｓ００５においてボールに対して人体を対応付けていないと判定した場合には、処理をＳ０１２に進める。これに対して、対応付け部Ａ１００６は、Ｓ００５においてボールに対して人体を対応付けたと判定した場合には、ボールと人体との対応付けの結果に応じた情報を、物体情報記録部Ａ１００７と骨格情報推定部Ａ１００９とのそれぞれに出力する。なお、以降の説明では、ボールと人体との対応付けの結果に応じた情報を、便宜上「対応付け情報」とも称する。そして、対応付け部Ａ１００６は、処理をＳ００６に進める。
【0056】
Ｓ００６において、物体情報記録部Ａ１００７は、対応付け部Ａ１００６から対応付け情報をフレームごとに取得し、当該対応付け情報を記録する。また、物体情報記録部Ａ１００７は、最新のフレームと、当該フレームの１つの前フレームと、のそれぞれについて対応付け情報を記録している場合には、これらのフレームに対応する対応付け情報を移動方向推定部Ａ１００８に出力する。一方で、物体情報記録部Ａ１００７は、最新のフレームの１つの前フレームに対応する対応付け情報が記録されていない場合には、当該最新のフレームに対応する対応付け情報を移動方向推定部Ａ１００８に出力する。そして、物体情報記録部Ａ１００７は、処理をＳ００７に進める。
【0057】
Ｓ００７において、移動方向推定部Ａ１００８は、物体情報記録部Ａ１００７から、最新のフレームと、当該フレームの１つの前フレームと、のそれぞれについて対応付け情報を取得する。移動方向推定部Ａ１００８は、これらのフレームについて取得した対応付け情報に基づき、人体及びボールの移動方向を推定し、当該推定結果に応じた情報を画角制御部Ａ１０１２に出力する。
【0058】
Ｓ００８において、骨格情報推定部Ａ１００９は、対応付け部Ａ１００６から対応付け情報をフレームごとに取得し、当該対応付け情報に基づき、人体の骨格情報の推定を行う。骨格情報推定部Ａ１００９は、人体の骨格情報の推定結果を状況判定部Ａ１０１０に出力する。
【0059】
Ｓ００９において、状況判定部Ａ１０１０は、人体の骨格情報の推定結果を骨格情報推定部Ａ１００９から取得し、当該人体の骨格情報の推定結果に基づき、人体の状況（例えば、動作状況）を判定する。また、状況判定部Ａ１０１０は、人体の状況の判定結果に基づきボールの状況（例えば、動作状況）を判定する。状況判定部Ａ１０１０は、ボールの状況の判定結果に基づき、当該ボールの移動量の推定を行う。状況判定部Ａ１０１０は、人体やボールの状況の判定結果に応じた情報（例えば、ボールの移動量の推定結果に応じた情報）を、画角判定部Ａ１０１１に出力し、処理をＳ０１０に進める。
【0060】
Ｓ０１０において、画角判定部Ａ１０１１は、状況判定部Ａ１０１０から、人体やボールの状況の判定結果に応じた情報（例えば、ボールの移動量の推定結果に応じた情報）を取得する。画角判定部Ａ１０１１は、人体やボールの状況の判定結果に応じた情報に基づきボールの移動量の推定結果（以降では、「ボールの移動推定量」とも称する）が閾値よりも大きいか否かを判定する。
画角判定部Ａ１０１１は、Ｓ０１０においてボールの移動推定量が閾値よりも大きいと判定した場合には、当該ボールの移動推定量に応じて画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。そして、画角判定部Ａ１０１１は、処理をＳ０１１に進める。
これに対して、画角判定部Ａ１０１１は、Ｓ０１０においてボールの移動推定量が閾値以下と判定した場合には、処理をＳ０１２に進める。この場合には、Ｓ０１１の処理がスキップされる。
画角判定部Ａ１０１１は、Ｓ０１０においてボールの移動推定量が閾値よりも大きいと判定した場合には、当該ボールの移動推定量に応じて画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。そして、画角判定部Ａ１０１１は、処理をＳ０１１に進める。
これに対して、画角判定部Ａ１０１１は、Ｓ０１０においてボールの移動推定量が閾値以下と判定した場合には、処理をＳ０１２に進める。この場合には、Ｓ０１１の処理がスキップされる。
【0061】
Ｓ０１１において、画角制御部Ａ１０１２は、画角判定部Ａ１０１１から画像の撮像に係る拡大率に関する情報を取得し、当該拡大率に応じてズーム制御を行う。
【0062】
Ｓ０１２において、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８から人体及びボールの移動方向の推定結果に応じた情報を取得する。画角制御部Ａ１０１２は、取得した当該情報に基づき、パン制御やチルト制御等のような画角の向きの制御を行う。一方で、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８から上記情報が出力されない場合（例えば、移動方向推定部Ａ１００８が人体の移動を検出していない場合）には、前回と同様の方向に画角の向きの制御を行ってもよい。以上のようにして、画角制御部Ａ１０１２は、画角の制御を行い、画角が制御された後の画像を示す画像データを、出力制御部Ａ１０１３に出力する。
【0063】
Ｓ０１３において、出力制御部Ａ１０１３は、画角制御部Ａ１０１２から画像データを取得し、当該画像データが示す画像を出力装置Ａ１０１４に出力させる。出力装置Ａ１０１４は、出力制御部Ａ１０１３からの指示に基づき上記画像データに基づく画像を画面に表示させることで、当該画像をユーザに提示する。
【0064】
Ｓ０１４において、画角制御装置Ａ１００２は、図１２に示す一連の処理の終了が指示されたか否かを判定する。具体的な一例として、画角制御装置Ａ１００２は、図１には不図示の入力部（例えば、Ｏｎ／Ｏｆｆスイッチ等）が撮像処理の停止に係る指示をユーザから受け付けたか否かに応じて、図１２に示す一連の処理の終了が指示されたか否かを判定してもよい。
画角制御装置Ａ１００２は、Ｓ０１４において一連の処理の終了が指示されていないと判定した場合には、処理をＳ００１に進め、改めてＳ００１から図１２に示す一連を実行する。
一方で、画角制御装置Ａ１００２は、Ｓ０１４において一連の処理の終了が指示されたと判定した場合には、図１２に示す一連の処理を終了する。
画角制御装置Ａ１００２は、Ｓ０１４において一連の処理の終了が指示されていないと判定した場合には、処理をＳ００１に進め、改めてＳ００１から図１２に示す一連を実行する。
一方で、画角制御装置Ａ１００２は、Ｓ０１４において一連の処理の終了が指示されたと判定した場合には、図１２に示す一連の処理を終了する。
【0065】
以上のような制御が適用されることで、ボールの動作や移動速度が急激に変化した場合においても、ボールに対応付けられた人体の動作状況を解析することで、ボールの動作を推定し、当該推定の結果を利用して画角の制御行うことが可能となる。これにより、撮像システムＡ１０００は、ボールの動作や移動速度が急激に変化するような状況下においても、当該ボールを画角から外すことなく撮像を継続することが可能となる。
【0066】
＜第２の実施形態＞
以下に、本発明の第２の実施形態に係る撮像システムについて説明する。なお、本実施形態においても、第１の実施形態と同様に、サッカーにおいてボールの動きに注目して撮像装置の画角を制御する場合を想定して、撮像システムの特徴について詳しく説明する。また、本実施形態では、主に第１の実施形態と異なる部分に着目して説明し、第１の実施形態と実質的に同様の部分については詳細な説明は省略する。そのため、特に説明がない部分については、第１の実施形態と同様のハードウェア構成、機能構成、及び処理等を適用することが可能であるものとする。
以下に、本発明の第２の実施形態に係る撮像システムについて説明する。なお、本実施形態においても、第１の実施形態と同様に、サッカーにおいてボールの動きに注目して撮像装置の画角を制御する場合を想定して、撮像システムの特徴について詳しく説明する。また、本実施形態では、主に第１の実施形態と異なる部分に着目して説明し、第１の実施形態と実質的に同様の部分については詳細な説明は省略する。そのため、特に説明がない部分については、第１の実施形態と同様のハードウェア構成、機能構成、及び処理等を適用することが可能であるものとする。
【0067】
（機能構成）
図１３を参照して、本実施形態に係る撮像システムの機能構成の一例について説明する。なお、以降では、本実施形態に係る撮像システムを、他の実施形態に係る撮像システムと区別するために、「撮像システムＢ１０００」と称する場合がある。同様に、本実施形態に係る画角制御装置を、他の実施形態に係る画角制御装置と区別するために、「画角制御装置Ｂ１００２」と称する場合がある。
図１３を参照して、本実施形態に係る撮像システムの機能構成の一例について説明する。なお、以降では、本実施形態に係る撮像システムを、他の実施形態に係る撮像システムと区別するために、「撮像システムＢ１０００」と称する場合がある。同様に、本実施形態に係る画角制御装置を、他の実施形態に係る画角制御装置と区別するために、「画角制御装置Ｂ１００２」と称する場合がある。
【0068】
撮像システムＢ１０００は、サッカーの競技場内が撮像された画像から人体とボールとを認識し、ボールが撮像装置の画角内に収まるように画角調整を行ったうえで、撮像結果に応じた画像をディスプレイ等の出力装置に出力させるシステムである。
撮像システムＢ１０００は、撮像装置Ａ１００１と、画角制御装置Ｂ１００２と、出力装置Ａ１０１４とを含む。撮像装置Ａ１００１と画角制御装置Ｂ１００２とは、例えば、ビデオインタフェースを介して接続されている。これにより、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ｂ１００２に転送することが可能となる。なお、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ｂ１００２に転送することが可能であれば、撮像装置Ａ１００１と画角制御装置Ｂ１００２とを接続するインタフェースは特に限定されない。
撮像システムＢ１０００は、撮像装置Ａ１００１と、画角制御装置Ｂ１００２と、出力装置Ａ１０１４とを含む。撮像装置Ａ１００１と画角制御装置Ｂ１００２とは、例えば、ビデオインタフェースを介して接続されている。これにより、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ｂ１００２に転送することが可能となる。なお、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ｂ１００２に転送することが可能であれば、撮像装置Ａ１００１と画角制御装置Ｂ１００２とを接続するインタフェースは特に限定されない。
【0069】
画角制御装置Ｂ１００２は、撮像装置Ａ１００１から撮像結果に応じた画像データを取得し、当該画像データが示す画像中から、注目対象として設定された被写体（ボール）と、当該被写体以外の他の被写体である人体とを抽出する。画角制御装置Ｂ１００２は、画像から抽出された人体の骨格情報を推定することで当該人体の動きを推定し、当該人体の動きの推定結果を利用することで、注目対象であるボールの以降の動きを推定する。画角制御装置Ｂ１００２は、ボールの動きの推定結果に基づき、撮像装置Ａ１００１の画角を制御する。
画角の制御としては、例えば、画像が撮像される方向を左右及び上下に調整することで画角の向きを制御するパン制御及びチルト制御と、画像の撮像に係る拡大率を制御するズーム制御とが挙げられる。なお、第１の実施形態に係る画角制御装置Ａ１００２と同様に、上述した画角の制御を実現することが可能であれば、その方法は特に限定されない。
画角の制御としては、例えば、画像が撮像される方向を左右及び上下に調整することで画角の向きを制御するパン制御及びチルト制御と、画像の撮像に係る拡大率を制御するズーム制御とが挙げられる。なお、第１の実施形態に係る画角制御装置Ａ１００２と同様に、上述した画角の制御を実現することが可能であれば、その方法は特に限定されない。
【0070】
ここで、画角制御装置Ｂ１００２の機能構成について以下により詳しく説明する。画角制御装置Ｂ１００２は、映像取得部Ａ１００３と、人体抽出部Ａ１００４と、注目対象抽出部Ａ１００５と、対応付け部Ａ１００６と、物体情報記録部Ａ１００７とを含む。また、画角制御装置Ａ１００２は、移動方向推定部Ａ１００８と、骨格情報推定部Ｂ１００９と、状況判定部Ａ１０１０と、画角判定部Ｂ１０１１と、画角制御部Ａ１０１２と、出力制御部Ａ１０１３とを含む。
【0071】
骨格情報推定部Ｂ１００９は、対応付け部Ａ１００６から人体の座標情報を取得し、当該人体の座標情報に基づき人体の骨格情報を推定する。骨格情報の推定方法については、第１の実施形態に係る骨格情報推定部Ａ１００９と同様のため詳細な説明は省略する。
骨格情報推定部Ｂ１００９は、撮像装置Ａ１００１から取得された画像データが示す画像から、人体の座標情報が示す領域の部分画像を切り出し、当該部分画像に対して骨格推定技術を適用することで人体の骨格情報を推定する。そして、骨格情報推定部Ｂ１００９は、人体の骨格情報の推定結果を状況判定部Ａ１０１０に出力する。この場合には、状況判定部Ａ１０１０は、当該人体の骨格情報の推定結果に基づき、人体及びボールの状況を判定し、当該判定の結果に応じた情報（例えば、ボールの移動量の推定結果に応じた情報）を画角判定部Ａ１０１１に出力する。また、骨格情報推定部Ｂ１００９は、身体の骨格情報の推定を行った旨を画角判定部Ｂ１０１１に出力する。
一方で、骨格情報推定部Ｂ１００９は、人体の骨格情報の推定を行わなかった場合（例えば、人体の骨格情報の推定が困難な場合）には、その旨を画角判定部Ｂ１０１１に出力する。
骨格情報推定部Ｂ１００９は、撮像装置Ａ１００１から取得された画像データが示す画像から、人体の座標情報が示す領域の部分画像を切り出し、当該部分画像に対して骨格推定技術を適用することで人体の骨格情報を推定する。そして、骨格情報推定部Ｂ１００９は、人体の骨格情報の推定結果を状況判定部Ａ１０１０に出力する。この場合には、状況判定部Ａ１０１０は、当該人体の骨格情報の推定結果に基づき、人体及びボールの状況を判定し、当該判定の結果に応じた情報（例えば、ボールの移動量の推定結果に応じた情報）を画角判定部Ａ１０１１に出力する。また、骨格情報推定部Ｂ１００９は、身体の骨格情報の推定を行った旨を画角判定部Ｂ１０１１に出力する。
一方で、骨格情報推定部Ｂ１００９は、人体の骨格情報の推定を行わなかった場合（例えば、人体の骨格情報の推定が困難な場合）には、その旨を画角判定部Ｂ１０１１に出力する。
【0072】
画角判定部Ｂ１０１１は、骨格情報推定部Ｂ１００９が人体の骨格情報の推定を行った場合には、状況判定部Ａ１０１０から、人体及びボールの状況判定の結果に応じた情報を取得し、当該情報に基づき画像の撮像に係る画角の制御方法や制御量を判定する。具体的な一例として、画角判定部Ｂ１０１１は、状況判定部Ａ１０１０からボールの移動推定量を取得し、当該ボール移動推定量に基づき、画角の制御方法や制御量を判定してもよい。
【0073】
一方で、画角判定部Ｂ１０１１は、骨格情報推定部Ｂ１００９が人体の骨格情報の推定を行わなかった場合には、その旨を示す情報を骨格情報推定部Ｂ１００９から取得する。この場合には、画角判定部Ｂ１０１１は、人体の骨格情報の推定が可能となる程度に撮像画像中の人体の大きさが確保されるように、画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。なお、人体の骨格情報の推定を行うために、画像中に人体がどの程度の大きさで撮像されていればよいかについては、例えば、事前の実験等に基づきあらかじめ特定しておけばよい。また、当該特定の結果に応じた情報については、画角判定部Ｂ１０１１が参照可能な記憶領域に記憶させておけばよい。
【0074】
ここで、図１４及び図１５を参照して、画角判定部Ｂ１０１１が、人体の骨格情報の推定が可能となる程度に撮像画像中の人体の大きさが確保されるように、画像の撮像に係る拡大率を決定する処理の一例について説明する。
まず、図１４について説明する。Ｄ９０１は、人体の骨格情報の推定の対象となる画像を示している。Ｐ９００は、画像Ｄ９０１に撮像されたボールを示している。Ｐ９０１及びＰ９０２は、画像Ｄ９０１に撮像された人体を示しており、人体Ｐ９０１がボールＰ９００に対応付けられている。図１４に示す例では、画像Ｄ９０１に撮像された人体Ｐ９０１の大きさが小さいため、人体Ｐ９０１の各部位を識別することが困難であり、骨格情報を推定することが困難となっている。そのため、画角判定部Ｂ１０１１は、画像Ｄ９０１中のＰ９０３で示した領域が拡大されることで人体の骨格情報の推定が可能となるように、画像の撮像に係る拡大率を決定する。
まず、図１４について説明する。Ｄ９０１は、人体の骨格情報の推定の対象となる画像を示している。Ｐ９００は、画像Ｄ９０１に撮像されたボールを示している。Ｐ９０１及びＰ９０２は、画像Ｄ９０１に撮像された人体を示しており、人体Ｐ９０１がボールＰ９００に対応付けられている。図１４に示す例では、画像Ｄ９０１に撮像された人体Ｐ９０１の大きさが小さいため、人体Ｐ９０１の各部位を識別することが困難であり、骨格情報を推定することが困難となっている。そのため、画角判定部Ｂ１０１１は、画像Ｄ９０１中のＰ９０３で示した領域が拡大されることで人体の骨格情報の推定が可能となるように、画像の撮像に係る拡大率を決定する。
【0075】
次いで、図１５について説明する。Ｄ１００１は、図１４に示す画像Ｄ９０１における領域Ｐ９０３を拡大した画像を示している。Ｐ１０００は、画像Ｄ１００１に撮像されたボールを示しており、図１４に示す画像Ｄ９０１におけるボールＰ９００に対応している。Ｐ１００１は、画像Ｄ１００１に撮像された人体を示しており、図１４に示す画像Ｄ９０１における人体Ｐ９０１に対応している。図１５に示すように、人体Ｐ１００１が十分な大きさで撮像されることで、人体Ｐ１００１の各部位を識別することが可能となり、ひいては当該人体Ｐ１００１の骨格情報を推定することが可能となる。
なお、画像Ｄ１００１を取得可能とするためのズームイン制御については、画角制御部Ａ１０１２が、画角判定部Ｂ１０１１から通知された画像の撮像に係る拡大率に関する情報に基づき行う。
なお、画像Ｄ１００１を取得可能とするためのズームイン制御については、画角制御部Ａ１０１２が、画角判定部Ｂ１０１１から通知された画像の撮像に係る拡大率に関する情報に基づき行う。
【0076】
以上、第２の実施形態に係る撮像システムＢ１０００の機能構成について、特に、第１の実施形態に係る撮像システムＡ１０００と異なる部分に着目して説明した。なお、上記以外の機能ブロックの動作については、第１の実施形態に係る撮像システムＡ１０００と実質的に同様のため、詳細な説明は省略する。
【0077】
（処理）
図１６を参照して、撮像システムＢ１０００の処理の一例について説明する。撮像システムＢ１０００は、例えば、所定の入力装置を介して受け付けたユーザからの指示に基づき、図１６に示す一連の処理の実行を開始する。
図１６を参照して、撮像システムＢ１０００の処理の一例について説明する。撮像システムＢ１０００は、例えば、所定の入力装置を介して受け付けたユーザからの指示に基づき、図１６に示す一連の処理の実行を開始する。
【0078】
Ｓ１０１において、映像取得部Ａ１００３は、撮像装置Ａ１００１から撮像結果に応じた画像データを取得する。
Ｓ１０２において、人体抽出部Ａ１００４は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像された人体を抽出する。
Ｓ１０３において、注目対象抽出部Ａ１００５は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像されたボール（注目対象として設定された被写体）を抽出する。
Ｓ１０４において、対応付け部Ａ１００６は、Ｓ１０２において画像中から抽出されたボールと、Ｓ１０３において当該画像中から抽出された人体と、の対応付けを行う。具体的な一例として、対応付け部Ａ１００６は、ボールとの距離が閾値以下の人体が抽出されている場合に、当該ボールに対して当該人体を対応付ける。
Ｓ１０２において、人体抽出部Ａ１００４は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像された人体を抽出する。
Ｓ１０３において、注目対象抽出部Ａ１００５は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像されたボール（注目対象として設定された被写体）を抽出する。
Ｓ１０４において、対応付け部Ａ１００６は、Ｓ１０２において画像中から抽出されたボールと、Ｓ１０３において当該画像中から抽出された人体と、の対応付けを行う。具体的な一例として、対応付け部Ａ１００６は、ボールとの距離が閾値以下の人体が抽出されている場合に、当該ボールに対して当該人体を対応付ける。
【0079】
Ｓ１０５において、対応付け部Ａ１００６は、ボールに対して人体を対応付けたか否かを判定する。対応付け部Ａ１００６は、Ｓ１０５においてボールに対して人体を対応付けていないと判定した場合には、処理をＳ１１４に進める。これに対して、対応付け部Ａ１００６は、Ｓ１０５においてボールに対して人体を対応付けたと判定した場合には、ボールと人体との対応付けの結果に応じた対応付け情報を、物体情報記録部Ａ１００７と骨格情報推定部Ｂ１００９とのそれぞれに出力する。そして、対応付け部Ａ１００６は、処理をＳ１０６に進める。
【0080】
Ｓ１０６において、物体情報記録部Ａ１００７は、対応付け部Ａ１００６から対応付け情報をフレームごとに取得し、当該対応付け情報を記録する。また、物体情報記録部Ａ１００７は、最新のフレームと、当該フレームの１つの前フレームと、のそれぞれについて対応付け情報を記録している場合には、これらのフレームに対応する対応付け情報を移動方向推定部Ａ１００８に出力する。一方で、物体情報記録部Ａ１００７は、最新のフレームの１つの前フレームに対応する対応付け情報が記録されていない場合には、当該最新のフレームに対応する対応付け情報を移動方向推定部Ａ１００８に出力する。そして、物体情報記録部Ａ１００７は、処理をＳ１０７に進める。
【0081】
Ｓ１０７において、移動方向推定部Ａ１００８は、物体情報記録部Ａ１００７から、最新のフレームと、当該フレームの１つの前フレームと、のそれぞれについて対応付け情報を取得する。移動方向推定部Ａ１００８は、これらのフレームについて取得した対応付け情報に基づき、人体及びボールの移動方向を推定し、当該推定結果に応じた情報を画角制御部Ａ１０１２に出力する。
【0082】
Ｓ１０８において、骨格情報推定部Ｂ１００９は、対応付け部Ａ１００６から対応付け情報をフレームごとに取得し、当該対応付け情報に基づき、人体の骨格情報の推定を行う。
【0083】
Ｓ１０９において、骨格情報推定部Ｂ１００９は、人体の骨格情報を推定できたか否か（推定したか否か）を判定する。骨格情報推定部Ｂ１００９は、Ｓ１０９において人体の骨格情報を推定できた（推定した）と判定した場合には、人体の骨格情報の推定結果に応じた情報を状況判定部Ａ１０１０に出力する。また、骨格情報推定部Ｂ１００９は、身体の骨格情報の推定ができた旨（身体の骨格情報の推定を行った旨）を画角判定部Ｂ１０１１に出力する。そして、骨格情報推定部Ｂ１００９は、処理をＳ１１１に進める。
【0084】
これに対して、骨格情報推定部Ｂ１００９は、Ｓ１０９において人体の骨格情報を推定できなかった（推定しなかった）と判定した場合には、身体の骨格情報の推定ができなかった旨（身体の骨格情報の推定を行わなかった旨）を画角判定部Ｂ１０１１に出力する。そして、骨格情報推定部Ｂ１００９は、処理をＳ１１０に進める。
Ｓ１１０において、画角判定部Ｂ１０１１は、人体の骨格情報の推定が可能となる程度に撮像画像中の人体の大きさが確保されるように、画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。画角制御部Ａ１０１２は、画角判定部Ｂ１０１１から通知された画像の撮像に係る拡大率に関する情報に基づき、ズームイン制御を行う。そして、画角制御部Ａ１０１２は、処理をＳ１０８に進める。この場合には、Ｓ１０８において、骨格情報推定部Ｂ１００９は、画角制御部Ａ１０１２によるズーム制御後の画像に基づき、改めて人体の骨格情報の推定を行うこととなる。
Ｓ１１０において、画角判定部Ｂ１０１１は、人体の骨格情報の推定が可能となる程度に撮像画像中の人体の大きさが確保されるように、画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。画角制御部Ａ１０１２は、画角判定部Ｂ１０１１から通知された画像の撮像に係る拡大率に関する情報に基づき、ズームイン制御を行う。そして、画角制御部Ａ１０１２は、処理をＳ１０８に進める。この場合には、Ｓ１０８において、骨格情報推定部Ｂ１００９は、画角制御部Ａ１０１２によるズーム制御後の画像に基づき、改めて人体の骨格情報の推定を行うこととなる。
【0085】
Ｓ１１１において、状況判定部Ａ１０１０は、人体の骨格情報の推定結果を骨格情報推定部Ｂ１００９から取得し、当該人体の骨格情報の推定結果に基づき、人体の状況（例えば、動作状況）を判定する。また、状況判定部Ａ１０１０は、人体の状況の判定結果に基づきボールの状況（例えば、動作状況）を判定する。状況判定部Ａ１０１０は、ボールの状況の判定結果に基づき、当該ボールの移動量の推定を行う。状況判定部Ａ１０１０は、人体やボールの状況の判定結果に応じた情報（例えば、ボールの移動量の推定結果に応じた情報）を、画角判定部Ａ１０１１に出力する。
【0086】
Ｓ１１２において、画角判定部Ａ１０１１は、状況判定部Ａ１０１０から、人体やボールの状況の判定結果に応じた情報（例えば、ボールの移動量の推定結果に応じた情報）を取得する。画角判定部Ａ１０１１は、人体やボールの状況の判定結果に応じた情報に基づきボールの移動量の推定結果（ボールの移動推定量）が閾値よりも大きいか否かを判定する。
画角判定部Ａ１０１１は、Ｓ１１２においてボールの移動推定量が閾値よりも大きいと判定した場合には、当該ボールの移動推定量に応じて画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。具体的な一例として、画角判定部Ａ１０１１は、ボールの移動推定量が閾値よりも大きい場合には、ズームアウト制御が必要と判定し、ズームアウト制御に係る拡大率を決定したうえで、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。そして、画角判定部Ａ１０１１は、処理をＳ１１３に進める。
これに対して、画角判定部Ａ１０１１は、Ｓ１１２においてボールの移動推定量が閾値以下と判定した場合には、処理をＳ１１４に進める。この場合には、Ｓ１１３の処理がスキップされる。
画角判定部Ａ１０１１は、Ｓ１１２においてボールの移動推定量が閾値よりも大きいと判定した場合には、当該ボールの移動推定量に応じて画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。具体的な一例として、画角判定部Ａ１０１１は、ボールの移動推定量が閾値よりも大きい場合には、ズームアウト制御が必要と判定し、ズームアウト制御に係る拡大率を決定したうえで、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。そして、画角判定部Ａ１０１１は、処理をＳ１１３に進める。
これに対して、画角判定部Ａ１０１１は、Ｓ１１２においてボールの移動推定量が閾値以下と判定した場合には、処理をＳ１１４に進める。この場合には、Ｓ１１３の処理がスキップされる。
【0087】
Ｓ１１３において、画角制御部Ａ１０１２は、画角判定部Ａ１０１１から画像の撮像に係る拡大率に関する情報を取得し、当該拡大率に応じてズーム制御を行う。
【0088】
Ｓ１１４において、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８から人体及びボールの移動方向の推定結果に応じた情報を取得する。画角制御部Ａ１０１２は、取得した当該情報に基づき、パン制御やチルト制御等のような画角の向きの制御を行う。一方で、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８から上記情報が出力されない場合（例えば、移動方向推定部Ａ１００８が人体の移動を検出していない場合）には、前回と同様の方向に画角の向きの制御を行ってもよい。以上のようにして、画角制御部Ａ１０１２は、画角の制御を行い、画角が制御された後の画像を示す画像データを、出力制御部Ａ１０１３に出力する。
【0089】
Ｓ１１５において、出力制御部Ａ１０１３は、画角制御部Ａ１０１２から画像データを取得し、当該画像データが示す画像を出力装置Ａ１０１４に出力させる。出力装置Ａ１０１４は、出力制御部Ａ１０１３からの指示に基づき上記画像データに基づく画像を画面に表示させることで、当該画像をユーザに提示する。
【0090】
Ｓ１１６において、画角制御装置Ａ１００２は、図１６に示す一連の処理の終了が指示されたか否かを判定する。具体的な一例として、画角制御装置Ａ１００２は、図１３には不図示の入力部（例えば、Ｏｎ／Ｏｆｆスイッチ等）が撮像処理の停止に係る指示をユーザから受け付けたか否かに応じて、図１６に示す一連の処理の終了が指示されたか否かを判定してもよい。
画角制御装置Ａ１００２は、Ｓ１１６において一連の処理の終了が指示されていないと判定した場合には、処理をＳ００１に進め、改めてＳ１０１から図１６に示す一連を実行する。
一方で、画角制御装置Ａ１００２は、Ｓ１１６において一連の処理の終了が指示されたと判定した場合には、図１６に示す一連の処理を終了する。
画角制御装置Ａ１００２は、Ｓ１１６において一連の処理の終了が指示されていないと判定した場合には、処理をＳ００１に進め、改めてＳ１０１から図１６に示す一連を実行する。
一方で、画角制御装置Ａ１００２は、Ｓ１１６において一連の処理の終了が指示されたと判定した場合には、図１６に示す一連の処理を終了する。
【0091】
以上のような制御が適用されることで、ボールの動作や移動速度が急激に変化した場合においても、ボールに対応付けられた人体の動作状況を解析することで、ボールの動作を推定し、当該推定の結果を利用して画角の制御行うことが可能となる。また、撮像された画像から人体の骨格情報の推定が困難な場合には、対象となる人体の骨格情報の推定が可能となる程度にズーム制御が行われる。これにより、画像に撮像された人体の部位の判別が困難な場合においても、当該人体が拡大して撮像されるように画角の大きさが制御されるため、人体の動作状況を正確に解析することが可能となり、ひいてはボールの動作を正確に推定することが可能となる。
【0092】
＜第３の実施形態＞
以下に、本発明の第３の実施形態に係る撮像システムについて説明する。なお、本実施形態においても、第１及び第２の実施形態と同様に、サッカーにおいてボールの動きに注目して撮像装置の画角を制御する場合を想定して、撮像システムの特徴について詳しく説明する。また、本実施形態では、主に第１及び第２の実施形態と異なる部分に着目して説明し、第１及び第２の実施形態と実質的に同様の部分については詳細な説明は省略する。そのため、特に説明がない部分については、第１及び第２の実施形態と同様のハードウェア構成、機能構成、及び処理等を適用することが可能であるものとする。
以下に、本発明の第３の実施形態に係る撮像システムについて説明する。なお、本実施形態においても、第１及び第２の実施形態と同様に、サッカーにおいてボールの動きに注目して撮像装置の画角を制御する場合を想定して、撮像システムの特徴について詳しく説明する。また、本実施形態では、主に第１及び第２の実施形態と異なる部分に着目して説明し、第１及び第２の実施形態と実質的に同様の部分については詳細な説明は省略する。そのため、特に説明がない部分については、第１及び第２の実施形態と同様のハードウェア構成、機能構成、及び処理等を適用することが可能であるものとする。
【0093】
（機能構成）
図１７を参照して、本実施形態に係る撮像システムの機能構成の一例について説明する。なお、以降では、本実施形態に係る撮像システムを、他の実施形態に係る撮像システムと区別するために、「撮像システムＣ１０００」と称する場合がある。同様に、本実施形態に係る画角制御装置を、他の実施形態に係る画角制御装置と区別するために、「画角制御装置Ｃ１００２」と称する場合がある。
図１７を参照して、本実施形態に係る撮像システムの機能構成の一例について説明する。なお、以降では、本実施形態に係る撮像システムを、他の実施形態に係る撮像システムと区別するために、「撮像システムＣ１０００」と称する場合がある。同様に、本実施形態に係る画角制御装置を、他の実施形態に係る画角制御装置と区別するために、「画角制御装置Ｃ１００２」と称する場合がある。
【0094】
撮像システムＣ１０００は、サッカーの競技場内が撮像された画像から人体とボールとを認識し、ボールが撮像装置の画角内に収まるように画角調整を行ったうえで、撮像結果に応じた画像をディスプレイ等の出力装置に出力させるシステムである。
撮像システムＢ１０００は、撮像装置Ａ１００１と、画角制御装置Ｃ１００２と、出力装置Ａ１０１４とを含む。撮像装置Ａ１００１と画角制御装置Ｃ１００２とは、例えば、ビデオインタフェースを介して接続されている。これにより、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ｃ１００２に転送することが可能となる。なお、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ｃ１００２に転送することが可能であれば、撮像装置Ａ１００１と画角制御装置Ｃ１００２とを接続するインタフェースは特に限定されない。
撮像システムＢ１０００は、撮像装置Ａ１００１と、画角制御装置Ｃ１００２と、出力装置Ａ１０１４とを含む。撮像装置Ａ１００１と画角制御装置Ｃ１００２とは、例えば、ビデオインタフェースを介して接続されている。これにより、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ｃ１００２に転送することが可能となる。なお、撮像装置Ａ１００１による撮像結果に応じた画像データを画角制御装置Ｃ１００２に転送することが可能であれば、撮像装置Ａ１００１と画角制御装置Ｃ１００２とを接続するインタフェースは特に限定されない。
【0095】
画角制御装置Ｃ１００２は、撮像装置Ａ１００１から撮像結果に応じた画像データを取得し、当該画像データが示す画像中から、注目対象として設定された被写体（ボール）と、当該被写体以外の他の被写体である人体とを抽出する。画角制御装置Ｃ１００２は、画像から抽出された人体の骨格情報を推定することで当該人体の動きを推定し、当該人体の動きの推定結果を利用することで、注目対象であるボールの以降の動きを推定する。画角制御装置Ｃ１００２は、ボールの動きの推定結果に基づき、撮像装置Ａ１００１の画角を制御する。
画角の制御としては、例えば、画像が撮像される方向を左右及び上下に調整することで画角の向きを制御するパン制御及びチルト制御と、画像の撮像に係る拡大率を制御するズーム制御とが挙げられる。なお、第１の実施形態に係る画角制御装置Ａ１００２と同様に、上述した画角の制御を実現することが可能であれば、その方法は特に限定されない。
画角の制御としては、例えば、画像が撮像される方向を左右及び上下に調整することで画角の向きを制御するパン制御及びチルト制御と、画像の撮像に係る拡大率を制御するズーム制御とが挙げられる。なお、第１の実施形態に係る画角制御装置Ａ１００２と同様に、上述した画角の制御を実現することが可能であれば、その方法は特に限定されない。
【0096】
ここで、画角制御装置Ｃ１００２の機能構成について以下により詳しく説明する。画角制御装置Ｃ１００２は、映像取得部Ａ１００３と、人体抽出部Ａ１００４と、注目対象抽出部Ａ１００５と、対応付け部Ａ１００６と、物体情報記録部Ａ１００７とを含む。また、画角制御装置Ａ１００２は、移動方向推定部Ａ１００８と、骨格情報推定部Ａ１００９と、状況判定部Ａ１０１０と、画角判定部Ａ１０１１と、画角制御部Ａ１０１２と、出力制御部Ａ１０１３と、を含む。また、画角制御装置Ｃ１００２は、人体間距離算出部Ｃ１０１５と、拡大率制御部Ｃ１０１６とを含む。
【0097】
人体間距離算出部Ｃ１０１５は、人体抽出部Ａ１００４から、画像中からの人体の抽出結果に応じた情報を取得する。また、人体間距離算出部Ｃ１０１５は、骨格情報推定部Ａ１００９が人体の骨格情報の推定を行わなかった場合（行えなかった場合）に、その旨を示す情報と、画像中から抽出されたボールと人体との間の対応付けの結果に応じた対応付け情報と、を取得する。
人体間距離算出部Ｃ１０１５は、骨格情報推定部Ａ１００９が人体の骨格情報の推定を行わなかった場合に、画像中からの人体の抽出結果と、対応付け情報と、に基づき、ボールに対応付けられた人体と、当該人体以外の他の人体それぞれと、の間の距離を算出する。人体間距離算出部Ｃ１０１５は、ボールに対応付けられた人体との距離がより近い順に、他の人体のリスト（以下、「人体間距離リスト」とも称する）を作成し、当該人体間距離リストと、各人体の座標情報と、を拡大率制御部Ｃ１０１６へ出力する。
人体間距離算出部Ｃ１０１５は、骨格情報推定部Ａ１００９が人体の骨格情報の推定を行わなかった場合に、画像中からの人体の抽出結果と、対応付け情報と、に基づき、ボールに対応付けられた人体と、当該人体以外の他の人体それぞれと、の間の距離を算出する。人体間距離算出部Ｃ１０１５は、ボールに対応付けられた人体との距離がより近い順に、他の人体のリスト（以下、「人体間距離リスト」とも称する）を作成し、当該人体間距離リストと、各人体の座標情報と、を拡大率制御部Ｃ１０１６へ出力する。
【0098】
拡大率制御部Ｃ１０１６は、人体間距離算出部Ｃ１０１５から、人体間距離リストと、各人体の座標情報とを取得する。拡大率制御部Ｃ１０１６は、取得した人体間距離リストと、各人体の座標情報と、に基づき、ボールに対応付けられた人体を中心として所定の人数の人体が画角内に収まるように、画像の撮像に係る拡大率（換言すると、画角の大きさ）を決定する。
【0099】
ここで、図１８及び図１９を参照して、拡大率制御部Ｃ１０１６が、ボールに対応付けられた人体を中心として所定の人数の人体が画角内に収まるように、画像の撮像に係る拡大率を決定する処理の一例について説明する。
【0100】
まず、図１８について説明する。Ｄ１１０１は、人体の抽出の対象となる画像を示している。Ｐ１１００は、画像Ｄ１１０１に撮像されたボールを示している。Ｐ１１０１～Ｐ１１０８は、画像Ｄ１１０１に撮像された人体を示しており、人体Ｐ１１０１がボールＰ１１００に対応付けられている。
拡大率制御部Ｃ１０１６は、取得した人体間距離リストに基づき、ボールＰ１１００に対応付けられた人体Ｐ１１０１により近い他の人体を、人体Ｐ１１０２～Ｐ１１０８の中からあらかじめ決められた人体の数から１減算した数分だけ選択する。これにより、ボールＰ１１００に対応付けられた人体Ｐ１１０１と、当該人体Ｐ１１０１のより近くに位置する人体と、合計があらかじめ決められた数となるように人体が選択される。そして、拡大率制御部Ｃ１０１６は、選択した人体がすべて含まれるように画角の大きさを算出する。
例えば、図１８に示す例では、あらかじめ決められた人体の数が３であるものとする。この場合には、拡大率制御部Ｃ１０１６は、ボールＰ１１００に対応付けられた人体Ｐ１１０１により近い人体として、人体Ｐ１１０２及びＰ１１０３を選択することとなる。そして、拡大率制御部Ｃ１０１６は、人体Ｐ１１０１～Ｐ１１０３のすべてが画角内に収まるように、画角の大きさを制御する。例えば、Ｐ１１０９は、人体Ｐ１１０１～Ｐ１１０３のすべてが画角内に収まる領域の一例を示している。
拡大率制御部Ｃ１０１６は、取得した人体間距離リストに基づき、ボールＰ１１００に対応付けられた人体Ｐ１１０１により近い他の人体を、人体Ｐ１１０２～Ｐ１１０８の中からあらかじめ決められた人体の数から１減算した数分だけ選択する。これにより、ボールＰ１１００に対応付けられた人体Ｐ１１０１と、当該人体Ｐ１１０１のより近くに位置する人体と、合計があらかじめ決められた数となるように人体が選択される。そして、拡大率制御部Ｃ１０１６は、選択した人体がすべて含まれるように画角の大きさを算出する。
例えば、図１８に示す例では、あらかじめ決められた人体の数が３であるものとする。この場合には、拡大率制御部Ｃ１０１６は、ボールＰ１１００に対応付けられた人体Ｐ１１０１により近い人体として、人体Ｐ１１０２及びＰ１１０３を選択することとなる。そして、拡大率制御部Ｃ１０１６は、人体Ｐ１１０１～Ｐ１１０３のすべてが画角内に収まるように、画角の大きさを制御する。例えば、Ｐ１１０９は、人体Ｐ１１０１～Ｐ１１０３のすべてが画角内に収まる領域の一例を示している。
【0101】
次いで、図１９について説明する。Ｄ１２０１は、図１８に示す画像Ｄ１１０１における領域Ｐ１１０９を拡大した画像を示している。Ｐ１２００は、画像Ｄ１２０１に撮像されたボールを示しており、図１８に示す画像Ｄ１１０１におけるボールＰ１１００に対応している。Ｐ１２０１～Ｐ１２０３は、画像Ｄ１２０１に撮像された人体を示しており、図１８に示す画像Ｄ１１０１における人体Ｐ１１０１～Ｐ１１０３に対応している。
なお、画像Ｄ１２０１を取得可能とするためのズームイン制御については、画角制御部Ａ１０１２が、拡大率制御部Ｃ１０１６による画像の撮像に係る拡大率の算出結果に応じた情報に基づき行う。
拡大率制御部Ｃ１０１６は、画像の撮像に係る拡大率に関する情報を画角判定部Ａ１０１１へ出力する。
なお、画像Ｄ１２０１を取得可能とするためのズームイン制御については、画角制御部Ａ１０１２が、拡大率制御部Ｃ１０１６による画像の撮像に係る拡大率の算出結果に応じた情報に基づき行う。
拡大率制御部Ｃ１０１６は、画像の撮像に係る拡大率に関する情報を画角判定部Ａ１０１１へ出力する。
【0102】
以上、第３の実施形態に係る撮像システムＣ１０００の機能構成について、特に、第１の実施形態に係る撮像システムＡ１０００と異なる部分に着目して説明した。なお、上記以外の機能ブロックの動作については、第１の実施形態に係る撮像システムＡ１０００と実質的に同様のため、詳細な説明は省略する。
【0103】
（処理）
図２０を参照して、撮像システムＣ１０００の処理の一例について説明する。撮像システムＣ１０００は、例えば、所定の入力装置を介して受け付けたユーザからの指示に基づき、図２０に示す一連の処理の実行を開始する。
図２０を参照して、撮像システムＣ１０００の処理の一例について説明する。撮像システムＣ１０００は、例えば、所定の入力装置を介して受け付けたユーザからの指示に基づき、図２０に示す一連の処理の実行を開始する。
【0104】
Ｓ２０１において、映像取得部Ａ１００３は、撮像装置Ａ１００１から撮像結果に応じた画像データを取得する。
Ｓ２０２において、人体抽出部Ａ１００４は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像された人体を抽出する。人体抽出部Ａ１００４は、画像中からの人体の抽出結果に応じた情報を、対応付け部Ａ１００６と人体間距離算出部Ｃ１０１５とに出力する。
Ｓ２０３において、注目対象抽出部Ａ１００５は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像されたボール（注目対象として設定された被写体）を抽出する。
Ｓ２０４において、対応付け部Ａ１００６は、Ｓ２０２において画像中から抽出されたボールと、Ｓ２０３において当該画像中から抽出された人体と、の対応付けを行う。具体的な一例として、対応付け部Ａ１００６は、ボールとの距離が閾値以下の人体が抽出されている場合に、当該ボールに対して当該人体を対応付ける。
Ｓ２０２において、人体抽出部Ａ１００４は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像された人体を抽出する。人体抽出部Ａ１００４は、画像中からの人体の抽出結果に応じた情報を、対応付け部Ａ１００６と人体間距離算出部Ｃ１０１５とに出力する。
Ｓ２０３において、注目対象抽出部Ａ１００５は、映像取得部Ａ１００３により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像されたボール（注目対象として設定された被写体）を抽出する。
Ｓ２０４において、対応付け部Ａ１００６は、Ｓ２０２において画像中から抽出されたボールと、Ｓ２０３において当該画像中から抽出された人体と、の対応付けを行う。具体的な一例として、対応付け部Ａ１００６は、ボールとの距離が閾値以下の人体が抽出されている場合に、当該ボールに対して当該人体を対応付ける。
【0105】
Ｓ２０５において、対応付け部Ａ１００６は、ボールに対して人体を対応付けたか否かを判定する。対応付け部Ａ１００６は、Ｓ２０５においてボールに対して人体を対応付けていないと判定した場合には、処理をＳ２１６に進める。これに対して、対応付け部Ａ１００６は、Ｓ２０５においてボールに対して人体を対応付けたと判定した場合には、ボールと人体との対応付けの結果に応じた対応付け情報を、物体情報記録部Ａ１００７と骨格情報推定部Ａ１００９とのそれぞれに出力する。そして、対応付け部Ａ１００６は、処理をＳ２０６に進める。
【0106】
Ｓ２０６において、物体情報記録部Ａ１００７は、対応付け部Ａ１００６から対応付け情報をフレームごとに取得し、当該対応付け情報を記録する。また、物体情報記録部Ａ１００７は、最新のフレームと、当該フレームの１つの前フレームと、のそれぞれについて対応付け情報を記録している場合には、これらのフレームに対応する対応付け情報を移動方向推定部Ａ１００８に出力する。一方で、物体情報記録部Ａ１００７は、最新のフレームの１つの前フレームに対応する対応付け情報が記録されていない場合には、当該最新のフレームに対応する対応付け情報を移動方向推定部Ａ１００８に出力する。そして、物体情報記録部Ａ１００７は、処理をＳ２０７に進める。
【0107】
Ｓ２０７において、移動方向推定部Ａ１００８は、物体情報記録部Ａ１００７から、最新のフレームと、当該フレームの１つの前フレームと、のそれぞれについて対応付け情報を取得する。移動方向推定部Ａ１００８は、これらのフレームについて取得した対応付け情報に基づき、人体及びボールの移動方向を推定し、当該推定結果に応じた情報を画角制御部Ａ１０１２に出力する。
【0108】
Ｓ２０９において、骨格情報推定部Ａ１００９は、人体の骨格情報を推定できたか否か（推定したか否か）を判定する。骨格情報推定部Ａ１００９は、Ｓ２０９において人体の骨格情報を推定できた（推定した）と判定した場合には、人体の骨格情報の推定結果に応じた情報を状況判定部Ａ１０１０に出力する。また、骨格情報推定部Ａ１００９は、身体の骨格情報の推定ができた旨（身体の骨格情報の推定を行った旨）を画角判定部Ａ１０１１に出力する。そして、骨格情報推定Ａ１００９は、処理をＳ２１３に進める。
【0109】
これに対して、骨格情報推定部Ａ１００９は、Ｓ２０９において人体の骨格情報を推定できなかった（推定しなかった）と判定した場合には、身体の骨格情報の推定ができなかった旨（身体の骨格情報の推定を行わなかった旨）を画角判定部Ａ１０１１に出力する。そして、骨格情報推定部Ａ１００９は、処理をＳ２１０に進める。
【0110】
Ｓ２１０において、人体間距離算出部Ｃ１０１５は、人体抽出部Ａ１００４から、画像中からの人体の抽出結果に応じた情報を取得する。また、人体間距離算出部Ｃ１０１５は、骨格情報推定部Ａ１００９が人体の骨格情報の推定を行わなかった場合（行えなかった場合）に、その旨を示す情報と、画像中から抽出されたボールと人体との間の対応付けの結果に応じた対応付け情報と、を取得する。
人体間距離算出部Ｃ１０１５は、骨格情報推定部Ａ１００９が人体の骨格情報の推定を行わなかった場合に、画像中からの人体の抽出結果と、対応付け情報と、に基づき、ボールに対応付けられた人体と、当該人体以外の他の人体それぞれと、の間の距離を算出する。人体間距離算出部Ｃ１０１５は、ボールに対応付けられた人体との距離がより近い順に、他の人体のリスト（人体間距離リスト）を作成し、当該人体間距離リストと、各人体の座標情報と、を拡大率制御部Ｃ１０１６へ出力する。
人体間距離算出部Ｃ１０１５は、骨格情報推定部Ａ１００９が人体の骨格情報の推定を行わなかった場合に、画像中からの人体の抽出結果と、対応付け情報と、に基づき、ボールに対応付けられた人体と、当該人体以外の他の人体それぞれと、の間の距離を算出する。人体間距離算出部Ｃ１０１５は、ボールに対応付けられた人体との距離がより近い順に、他の人体のリスト（人体間距離リスト）を作成し、当該人体間距離リストと、各人体の座標情報と、を拡大率制御部Ｃ１０１６へ出力する。
【0111】
Ｓ２１１において、拡大率制御部Ｃ１０１６は、人体間距離算出部Ｃ１０１５から、人体間距離リストと、各人体の座標情報とを取得する。拡大率制御部Ｃ１０１６は、取得した人体間距離リストと、各人体の座標情報と、に基づき、ボールに対応付けられた人体を中心として所定の人数の人体が画角内に収まるように、画像の撮像に係る拡大率を決定する。拡大率制御部Ｃ１０１６は、画像の撮像に係る拡大率に関する情報を画角判定部Ａ１０１１へ出力する。
【0112】
Ｓ２１２において、画角判定部Ａ１０１１は拡大率制御部Ｃ１０１６から画像の撮像に係る拡大率に関する情報を取得し、当該情報を画角制御部Ａ１０１２に転送する。画角制御部Ａ１０１２は、画角判定部Ａ１０１１を介して拡大率制御部Ｃ１０１６から取得した画像の撮像に係る拡大率に関する情報に基づき、ズーム制御を行うことで、画角の大きさを制御する。以上のようにして、画角制御部Ａ１０１２は、ボールに対応付けられた人体を含め、あらかじめ決められた数の人体が画角内に収まるように、画角の大きさを制御する。そして、画角制御部Ａ１０１２は、処理をＳ２０８に進める。この場合には、Ｓ２０８において、骨格情報推定部Ａ１００９は、画角制御部Ａ１０１２によるズーム制御後の画像に基づき、改めて人体の骨格情報の推定を行うこととなる。
【0113】
Ｓ２１３において、状況判定部Ａ１０１０は、人体の骨格情報の推定結果を骨格情報推定部Ａ１００９から取得し、当該人体の骨格情報の推定結果に基づき、人体の状況（例えば、動作状況）を判定する。また、状況判定部Ａ１０１０は、人体の状況の判定結果に基づきボールの状況（例えば、動作状況）を判定する。状況判定部Ａ１０１０は、ボールの状況の判定結果に基づき、当該ボールの移動量の推定を行う。状況判定部Ａ１０１０は、人体やボールの状況の判定結果に応じた情報（例えば、ボールの移動量の推定結果に応じた情報）を、画角判定部Ａ１０１１に出力する。
【0114】
Ｓ２１４において、画角判定部Ａ１０１１は、状況判定部Ａ１０１０から、人体やボールの状況の判定結果に応じた情報（例えば、ボールの移動量の推定結果に応じた情報）を取得する。画角判定部Ａ１０１１は、人体やボールの状況の判定結果に応じた情報に基づきボールの移動量の推定結果（ボールの移動推定量）が閾値よりも大きいか否かを判定する。
画角判定部Ａ１０１１は、Ｓ２１４においてボールの移動推定量が閾値よりも大きいと判定した場合には、当該ボールの移動推定量に応じて画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。具体的な一例として、画角判定部Ａ１０１１は、ボールの移動推定量が閾値よりも大きい場合には、ズームアウト制御が必要と判定し、ズームアウト制御に係る拡大率を決定したうえで、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。そして、画角判定部Ａ１０１１は、処理をＳ２１４に進める。
これに対して、画角判定部Ａ１０１１は、Ｓ１１２においてボールの移動推定量が閾値以下と判定した場合には、処理をＳ２１６に進める。この場合には、Ｓ２１５の処理がスキップされる。
画角判定部Ａ１０１１は、Ｓ２１４においてボールの移動推定量が閾値よりも大きいと判定した場合には、当該ボールの移動推定量に応じて画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。具体的な一例として、画角判定部Ａ１０１１は、ボールの移動推定量が閾値よりも大きい場合には、ズームアウト制御が必要と判定し、ズームアウト制御に係る拡大率を決定したうえで、当該拡大率に関する情報を画角制御部Ａ１０１２に出力する。そして、画角判定部Ａ１０１１は、処理をＳ２１４に進める。
これに対して、画角判定部Ａ１０１１は、Ｓ１１２においてボールの移動推定量が閾値以下と判定した場合には、処理をＳ２１６に進める。この場合には、Ｓ２１５の処理がスキップされる。
【0115】
Ｓ２１５において、画角制御部Ａ１０１２は、画角判定部Ａ１０１１から画像の撮像に係る拡大率に関する情報を取得し、当該拡大率に応じてズーム制御を行う。
【0116】
Ｓ２１６において、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８から人体及びボールの移動方向の推定結果に応じた情報を取得する。画角制御部Ａ１０１２は、取得した当該情報に基づき、パン制御やチルト制御等のような画角の向きの制御を行う。一方で、画角制御部Ａ１０１２は、移動方向推定部Ａ１００８から上記情報が出力されない場合（例えば、移動方向推定部Ａ１００８が人体の移動を検出していない場合）には、前回と同様の方向に画角の向きの制御を行ってもよい。以上のようにして、画角制御部Ａ１０１２は、画角の制御を行い、画角が制御された後の画像を示す画像データを、出力制御部Ａ１０１３に出力する。
【0117】
Ｓ２１７において、出力制御部Ａ１０１３は、画角制御部Ａ１０１２から画像データを取得し、当該画像データが示す画像を出力装置Ａ１０１４に出力させる。出力装置Ａ１０１４は、出力制御部Ａ１０１３からの指示に基づき上記画像データに基づく画像を画面に表示させることで、当該画像をユーザに提示する。
【0118】
Ｓ２１８において、画角制御装置Ａ１００２は、図２０に示す一連の処理の終了が指示されたか否かを判定する。具体的な一例として、画角制御装置Ａ１００２は、図１７には不図示の入力部（例えば、Ｏｎ／Ｏｆｆスイッチ等）が撮像処理の停止に係る指示をユーザから受け付けたか否かに応じて、図２０に示す一連の処理の終了が指示されたか否かを判定してもよい。
画角制御装置Ａ１００２は、Ｓ２１８において一連の処理の終了が指示されていないと判定した場合には、処理をＳ００１に進め、改めてＳ２０１から図２０に示す一連を実行する。
一方で、画角制御装置Ａ１００２は、Ｓ２１８において一連の処理の終了が指示されたと判定した場合には、図２０に示す一連の処理を終了する。
画角制御装置Ａ１００２は、Ｓ２１８において一連の処理の終了が指示されていないと判定した場合には、処理をＳ００１に進め、改めてＳ２０１から図２０に示す一連を実行する。
一方で、画角制御装置Ａ１００２は、Ｓ２１８において一連の処理の終了が指示されたと判定した場合には、図２０に示す一連の処理を終了する。
【0119】
以上のような制御が適用されることで、ボールの動作や移動速度が急激に変化した場合においても、ボールに対応付けられた人体の動作状況を解析することで、ボールの動作を推定し、当該推定の結果を利用して画角の制御行うことが可能となる。また、撮像された画像から人体の骨格情報の推定が困難な場合には、あらかじめ指定された数の人体が画角内に収まる範囲で人体が拡大して撮像されるように画角の大きさが制御される。そのため、人体の動作状況を正確に解析することが可能となり、ひいてはボールの動作を正確に推定することが可能となる。
【0120】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0121】
また、図１に示す機能構成はあくまで一例であり、図１に示す各機能構成を実現することが可能であれば、必ずしも撮像システムＡ１０００の機能構成を限定するものではない。例えば、画角制御装置Ａ１００２の各機能構成が、複数の装置が協働することで実現されてもよい。具体的な一例として、画角制御装置Ａ１００２の各機能構成のうち少なくとも一部の機能構成の処理の実行に伴う処理負荷が複数の装置に分散されてもよい。また、他の一例として、画角制御装置Ａ１００２の各機能構成のうち一部に相当する機能構成が他の装置に設けられていてもよい。具体的な一例として、人体抽出部Ａ１００４や注目対象抽出部Ａ１００５に相当する機能構成が、他の装置に設けられていてもよい。
また、上記は図１に示す撮像システムＡ１０００に限らず、図１３に示す撮像システムＢ１０００や、図１７に示す撮像システムＣ１０００についても同様である。
また、上記は図１に示す撮像システムＡ１０００に限らず、図１３に示す撮像システムＢ１０００や、図１７に示す撮像システムＣ１０００についても同様である。
【0122】
また、図１１に示すハードウェア構成はあくまで一例であり、必ずしも画角制御装置Ａ１００２、Ｂ１００２、及びＣ１００２を実現するための情報処理装置２００のハードウェア構成を限定するものではない。例えば、図１１に示す情報処理装置２００の各構成のうち一部の構成が外部装置として情報処理装置２００に外付けされていてもよい。具体的な一例として、表示部２１５や操作部２１６に相当する構成が、情報処理装置２００に対して外付けされていてもよい。
【0123】
また、上述した各実施形態では、画角制御部は、主に画像に撮像された人体を対象として骨格情報（換言すると、各部位の位置関係）を推定し、当該骨格情報に基づき当該人体の動きを推定している。このような構成に基づき、当該画角制御部は、人体の動きの推定結果を利用して、注目対象として設定された被写体が画角内に収まるように、画角の向きや画角の大きさを制御している。
一方で、複数の部位からなる被写体を対象として、当該複数の部位の位置関係に基づき、当該被写体の動きを推定することが可能であれば、当該推定の対象となる被写体は必ずしも人体には限定されない。具体的な一例として、所定の動物を対象として骨格情報を推定することで、当該動物の動きを推定することが可能である。また、多関節体を対象とした場合においても、当該多関節体を構成する各関節の可動範囲が既知の場合には、上記と同様の思想に基づき、当該多関節体の動きを推定することが可能である。
一方で、複数の部位からなる被写体を対象として、当該複数の部位の位置関係に基づき、当該被写体の動きを推定することが可能であれば、当該推定の対象となる被写体は必ずしも人体には限定されない。具体的な一例として、所定の動物を対象として骨格情報を推定することで、当該動物の動きを推定することが可能である。また、多関節体を対象とした場合においても、当該多関節体を構成する各関節の可動範囲が既知の場合には、上記と同様の思想に基づき、当該多関節体の動きを推定することが可能である。
【0124】
また、注目対象として設定される被写体についても、必ずしもボールには限定されない。すなわち、注目対象（撮像対象）として設定される第１の被写体以外の第２の被写体の動きを推定することで、当該第１の被写体の動きを推定することが可能であれば、当該第１の被写体として設定される対象は特に限定されない。
【符号の説明】
【0125】
Ａ１０００ 撮像システム
Ａ１００２ 画角制御装置
Ａ１００８ 移動方向推定部
Ａ１００９ 骨格情報推定部
Ａ１０１０ 状況判定部
Ａ１０１１ 画角判定部
Ａ１０１２ 画角制御部
Ａ１００２ 画角制御装置
Ａ１００８ 移動方向推定部
Ａ１００９ 骨格情報推定部
Ａ１０１０ 状況判定部
Ａ１０１１ 画角判定部
Ａ１０１２ 画角制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】