(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-05
(45)【発行日】2023-12-13
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06T 15/20 20110101AFI20231206BHJP
G06T 19/00 20110101ALI20231206BHJP
H04N 23/60 20230101ALI20231206BHJP
【FI】
G06T15/20 500
G06T19/00 A
H04N23/60 100
(21)【出願番号】P 2021574470
(86)(22)【出願日】2020-11-11
(86)【国際出願番号】 JP2020042101
(87)【国際公開番号】W WO2021152955
(87)【国際公開日】2021-08-05
【審査請求日】2022-07-06
(31)【優先権主張番号】P 2020013717
(32)【優先日】2020-01-30
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】青木 貴嗣
(72)【発明者】
【氏名】田村 一紀
(72)【発明者】
【氏名】入江 史憲
(72)【発明者】
【氏名】宮田 真彦
(72)【発明者】
【氏名】村上 泰規
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開2018-113683(JP,A)
【文献】特開2017-212593(JP,A)
【文献】特開2019-102845(JP,A)
【文献】特開2018-206025(JP,A)
【文献】特開2019-095936(JP,A)
【文献】国際公開第2018/043225(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 15/00-19/00
G09G 5/00
H04N 23/00
H04N 5/66
H04N 9/12
H04N 7/18
H04N 21/00
(57)【特許請求の範囲】
【請求項1】
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記プロセッサは、
複数の撮像装置の位置に関する撮像装置位置情報、及び前記複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得し、
前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、前記撮像装置位置情報及び前記撮像方向情報に基づいて導出し、
前記仮想視点範囲特定情報に関する情報を出力
し、
前記仮想視点範囲は、特定被写体に対して前記複数の撮像装置の前記撮像方向が成す角度のうちの小さい側の第1角度内であり、かつ、前記第1角度内の過小な角度として予め定められた第1過小角度を上回る角度内の範囲である
情報処理装置。
【請求項2】
前記プロセッサは、前記撮像装置位置情報及び前記撮像方向情報のうちの少なくとも一方が変更又は取得される毎に前記仮想視点範囲特定情報を導出する請求項1に記載の情報処理装置。
【請求項3】
前記プロセッサは、前記仮想視点範囲特定情報に関する情報を、前記複数の撮像装置のうちの少なくとも1つの撮像装置、又は、第1ディスプレイに出力する請求項1又は請求項2に記載の情報処理装置。
【請求項4】
前記少なくとも1つの撮像装置は第2ディスプレイを有し、
前記少なくとも1つの撮像装置は、前記仮想視点範囲特定情報に関する情報に基づいて、前記仮想視点範囲を示す仮想視点範囲画像を前記第2ディスプレイに表示させる請求項3に記載の情報処理装置。
【請求項5】
前記プロセッサは、
前記特定被写体の位置を特定する被写体位置特定情報を更に取得し、
前記被写体位置特定情報及び前記撮像装置位置情報に基づいて前記撮像方向情報を取得する請求項1から請求項4の何れか一項に記載の情報処理装置。
【請求項6】
前記第1過小角度は、前記複数の撮像画像を基に前記仮想視点画像の生成に適さない撮像位置の範囲を規定する角度である
請求項1から請求項5の何れか一項に記載の情報処理装置。
【請求項7】
前記プロセッサは、
前記特定被写体に対して前記複数の撮像装置の前記撮像方向が成す角度が前記第1過小角度以下の場合に、前記複数の撮像装置のうちの少なくとも1つの撮像装置の位置を、前記第1過小角度を超え、かつ、前記第1角度内に収まる位置に案内する第1案内情報を更に出力する
請求項1から請求項6の何れか一項に記載の情報処理装置。
【請求項8】
前記第1案内情報は、前記複数の撮像装置のうちの1つの撮像装置の位置を、前記第1過小角度を超え、かつ、前記第1角度内に収まる位置に案内する情報である
請求項7に記載の情報処理装置。
【請求項9】
前記プロセッサは、前記仮想視点範囲特定情報に関する情報の出力先と同じ出力先に前記第1案内情報を出力する
請求項7又は請求項8に記載の情報処理装置。
【請求項10】
前記仮想視点範囲は、第3特定被写体に対して前記複数の撮像装置の前記撮像方向が成す角度のうちの小さい側の第2角度内の範囲であり、
前記プロセッサは、
前記仮想視点画像に対する視点位置を示す視点位置情報を受け付け、
前記視点位置情報により示される視点位置が前記仮想視点範囲外の場合に、前記複数の撮像装置のうちの少なくとも1つの撮像装置の位置を前記第2角度内に収まる位置に案内する第2案内情報を更に出力する
請求項1から
請求項9の何れか一項に記載の情報処理装置。
【請求項11】
前記仮想視点範囲は、前記第2角度内であり、かつ、前記第2角度内の過小な角度として予め定められた第2過小角度を上回る角度内の範囲であり、
前記第2案内情報は、前記複数の撮像装置のうちの少なくとも1つの撮像装置の位置を、前記第2過小角度を超え、かつ、前記第2角度内に収まる位置に案内する情報である
請求項10に記載の情報処理装置。
【請求項12】
前記第2案内情報は、前記複数の撮像装置のうちの1つの撮像装置の位置を、前記第2過小角度を超え、かつ、前記第2角度内に収まる位置に案内する情報である
請求項11に記載の情報処理装置。
【請求項13】
前記プロセッサは、前記仮想視点範囲特定情報に関する情報の出力先と同じ出力先に前記第2案内情報を出力する
請求項10から請求項12の何れか一項に記載の情報処理装置。
【請求項14】
前記プロセッサは、前記撮像装置位置情報を更に出力する
請求項1から
請求項13の何れか一項に記載の情報処理装置。
【請求項15】
前記プロセッサは、前記仮想視点範囲特定情報に関する情報の出力先と同じ出力先に前記撮像装置位置情報を出力する
請求項14に記載の情報処理装置。
【請求項16】
前記プロセッサは、
前記複数の撮像装置の各々の画角に関する画角情報を更に取得し、
前記複数の撮像画像を基に前記仮想視点画像を生成可能な撮像範囲であって、前記複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、前記撮像装置位置情報、前記撮像方向情報、及び前記画角情報に基づいて更に導出し、
前記撮像範囲情報を更に出力する
請求項1から
請求項15の何れか一項に記載の情報処理装置。
【請求項17】
前記プロセッサは、前記仮想視点範囲特定情報に関する情報の出力先と同じ出力先に前記撮像範囲情報を出力する
請求項16に記載の情報処理装置。
【請求項18】
前記プロセッサは、
第4特定被写体に対する前記複数の撮像装置の各々の被写体距離、及び、前記複数の撮像装置の各々のズーム能力のうちの少なくとも1つに基づいて、前記複数の撮像装置のうちの少なくとも1つの撮像装置の位置であって、前記複数の撮像画像の品質が既定範囲に収まる位置の範囲を特定可能な撮像装置範囲特定情報を導出し、
前記撮像装置範囲特定情報を更に出力する
請求項1から
請求項17の何れか一項に記載の情報処理装置。
【請求項19】
前記プロセッサは、前記仮想視点範囲特定情報に関する情報の出力先と同じ出力先に前記撮像装置範囲特定情報を出力する
請求項18に記載の情報処理装置。
【請求項20】
前記プロセッサは、前記仮想視点範囲特定情報に関する情報を表示装置に出力する
請求項1から請求項19の何れか一項に記載の情報処理装置。
【請求項21】
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記プロセッサは、
複数の撮像装置の位置に関する撮像装置位置情報、前記複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び前記複数の撮像装置の各々の画角に関する画角情報を取得し、
前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、前記複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、前記撮像装置位置情報、前記撮像方向情報、及び前記画角情報に基づいて導出し、
前記撮像範囲情報及び前記撮像装置位置情報を出力
し、
前記撮像範囲は、前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲に対応しており、
前記仮想視点範囲は、特定被写体に対して前記複数の撮像装置の前記撮像方向が成す角度のうちの小さい側の第1角度内であり、かつ、前記第1角度内の過小な角度として予め定められた第1過小角度を上回る角度内の範囲である
情報処理装置。
【請求項22】
前記プロセッサは、前記撮像範囲情報及び前記撮像装置位置情報を、前記複数の撮像装置のうちの少なくとも1つの撮像装置に出力する
請求項21に記載の情報処理装置。
【請求項23】
前記プロセッサは、前記撮像範囲情報及び前記撮像装置位置情報を表示装置に出力する
請求項21又は請求項22に記載の情報処理装置。
【請求項24】
複数の撮像装置の位置に関する撮像装置位置情報、及び前記複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得すること、
前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、前記撮像装置位置情報及び前記撮像方向情報に基づいて導出すること、並びに、
前記仮想視点範囲特定情報に関する情報を出力することを含
み、
前記仮想視点範囲は、特定被写体に対して前記複数の撮像装置の前記撮像方向が成す角度のうちの小さい側の第1角度内であり、かつ、前記第1角度内の過小な角度として予め定められた第1過小角度を上回る角度内の範囲である
情報処理方法。
【請求項25】
複数の撮像装置の位置に関する撮像装置位置情報、前記複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び前記複数の撮像装置の各々の画角に関する画角情報を取得すること、
前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、前記複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、前記撮像装置位置情報、前記撮像方向情報、及び前記画角情報に基づいて導出すること、並びに、
前記撮像範囲情報及び前記撮像装置位置情報を出力することを含
み、
前記撮像範囲は、前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲に対応しており、
前記仮想視点範囲は、特定被写体に対して前記複数の撮像装置の前記撮像方向が成す角度のうちの小さい側の第1角度内であり、かつ、前記第1角度内の過小な角度として予め定められた第1過小角度を上回る角度内の範囲である
情報処理方法。
【請求項26】
コンピュータに
処理を実行させるためのプログラムであって、
前記処理は、
複数の撮像装置の位置に関する撮像装置位置情報、及び前記複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得すること、
前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、前記撮像装置位置情報及び前記撮像方向情報に基づいて導出すること、並びに、
前記仮想視点範囲特定情報に関する情報を出力することを含
み、
前記仮想視点範囲は、特定被写体に対して前記複数の撮像装置の前記撮像方向が成す角度のうちの小さい側の第1角度内であり、かつ、前記第1角度内の過小な角度として予め定められた第1過小角度を上回る角度内の範囲である
プログラム。
【請求項27】
コンピュータに
処理を実行させるためのプログラムであって、
前記処理は、
複数の撮像装置の位置に関する撮像装置位置情報、前記複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び前記複数の撮像装置の各々の画角に関する画角情報を取得すること、
前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、前記複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、前記撮像装置位置情報、前記撮像方向情報、及び前記画角情報に基づいて導出すること、並びに、
前記撮像範囲情報及び前記撮像装置位置情報を出力することを含
み、
前記撮像範囲は、前記複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲に対応しており、
前記仮想視点範囲は、特定被写体に対して前記複数の撮像装置の前記撮像方向が成す角度のうちの小さい側の第1角度内であり、かつ、前記第1角度内の過小な角度として予め定められた第1過小角度を上回る角度内の範囲である
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
特開2019-121945号公報には、撮影画像を取得する撮像装置であって、撮像装置の位置情報を取得する位置情報取得手段と、撮影の距離情報を取得する距離情報取得手段と、撮影画像と位置情報と距離情報とを用いて、仮想的に設定した位置から見た仮想視点画像を生成する仮想視点画像生成手段と、仮想視点画像生成手段で生成した仮想視点画像に生じる欠落領域に基づいて、次に撮影を行うべき位置を決定する次撮影位置決定手段と、次撮影位置決定手段で決定した次に撮影を行うべき位置を提示する提示手段とを備えたことを特徴とする撮像装置が開示されている。
【0003】
特開2018-113683号公報には、複数視点映像を用いて、仮想カメラから見た映像である仮想視点映像を生成する画像処理装置であって、同程度の画角を有する複数の実カメラで構成されるカメラ群毎に、複数の実カメラに共通する撮影領域を導出する導出手段と、仮想カメラに関するパラメータを、GUIを介したユーザ入力に基づいて設定する設定手段と、を備え、GUIには、導出手段で導出されたカメラ群毎の撮影領域が認識可能に表示されることを特徴とする画像処理装置が開示されている。
【0004】
特開2011-172169号公報には、指定された視点での映像を処理する映像処理装置であって、視点での映像の視聴が可能な第1領域及び視点での映像の視聴が可能でない第2領域を示すマップ情報をユーザに提示する情報として生成し、第1領域の内部で視点移動を制御する制御手段と、制御手段が第1領域の内部に設定した視点での映像データを生成する映像生成手段と、を備え、制御手段は、被写体を異なる方向から撮影した複数のカメラの座標情報を少なくとも用いて、第1領域と第2領域との境界を判断してマップ情報を生成することを特徴とする映像処理装置が開示されている。
【0005】
特開2018-107793号公報には、フィールドを互いに異なる方向から撮影する複数の第1カメラにより得られる複数の撮影画像に基づいて、仮想視点の位置及び方向に応じた第1仮想視点画像を生成する第1生成手段と、フィールドの少なくとも一部を互いに異なる方向から撮影する1または複数の第2カメラにより得られる1または複数の撮影画像に基づいて第1仮想視点画像よりも高画質の第2仮想視点画像を生成するか否かを、第1生成手段により生成された第1仮想視点画像の評価結果に応じて決定する決定手段と、決定手段による決定に応じて第1仮想視点画像よりも高画質の第2仮想視点画像を生成する第2生成手段と、を備えたことを特徴とする仮想視点画像生成装置が開示されている。
【0006】
特開2019-197348号公報には、仮想視点を指定する指定手段と、指定手段により指定される仮想視点と複数のカメラが撮影した撮影画像に基づいて生成される仮想視点画像であって仮想視点に対応する仮想視点画像の画質との関係に関する情報を表示部に表示させる表示制御手段と、を有することを特徴とする情報処理装置が開示されている。
【発明の概要】
【0007】
本開示の技術の一つの実施形態は、仮想視点画像を生成可能な撮像位置の決定を補助することができる情報処理装置、情報処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【0008】
本開示の技術に係る第1の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備える情報処理装置であって、プロセッサが、複数の撮像装置の位置に関する撮像装置位置情報、及び複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得し、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、撮像装置位置情報及び撮像方向情報に基づいて導出し、仮想視点範囲特定情報に関する情報を出力する情報処理装置である。
【0009】
本開示の技術に係る第2の態様は、プロセッサが、撮像装置位置情報及び撮像方向情報のうちの少なくとも一方が変更又は取得される毎に仮想視点範囲特定情報を導出する第1の態様に係る情報処理装置である。
【0010】
本開示の技術に係る第3の態様は、プロセッサが、仮想視点範囲特定情報に関する情報を、複数の撮像装置のうちの少なくとも1つの撮像装置、又は、第1ディスプレイに出力する第1の態様又は第2の態様に係る情報処理装置である。
【0011】
本開示の技術に係る第4の態様は、少なくとも1つの撮像装置が第2ディスプレイを有し、少なくとも1つの撮像装置は、仮想視点範囲特定情報に関する情報に基づいて、仮想視点範囲を示す仮想視点範囲画像を第2ディスプレイに表示させる第3の態様に係る情報処理装置である。
【0012】
本開示の技術に係る第5の態様は、プロセッサが、第1特定被写体の位置を特定する被写体位置特定情報を更に取得し、被写体位置特定情報及び撮像装置位置情報に基づいて撮像方向情報を取得する第1の態様から第4の態様のうちの何れか一つの態様に係る情報処理装置である。
【0013】
本開示の技術に係る第6の態様は、仮想視点範囲が、第2特定被写体に対して複数の撮像装置の撮像方向が成す角度のうちの小さい側の第1角度内の範囲である第1の態様から第5の態様のうちの何れか一つの態様に係る情報処理装置である。
【0014】
本開示の技術に係る第7の態様は、仮想視点範囲が、第1角度内であり、かつ、第1角度内の過小な角度として予め定められた第1過小角度を上回る角度内の範囲である第6の態様に係る情報処理装置である。
【0015】
本開示の技術に係る第8の態様は、第1過小角度が、複数の撮像画像を基に仮想視点画像の生成に適さない撮像位置の範囲を規定する角度である第7の態様に係る情報処理装置である。
【0016】
本開示の技術に係る第9の態様は、プロセッサが、第2特定被写体に対して複数の撮像装置の撮像方向が成す角度が第1過小角度以下の場合に、複数の撮像装置のうちの少なくとも1つの撮像装置の位置を、第1過小角度を超え、かつ、第1角度内に収まる位置に案内する第1案内情報を更に出力する第7の態様又は第8の態様に係る情報処理装置である。
【0017】
本開示の技術に係る第10の態様は、第1案内情報が、複数の撮像装置のうちの1つの撮像装置の位置を、第1過小角度を超え、かつ、第1角度内に収まる位置に案内する情報である第9の態様に係る情報処理装置である。
【0018】
本開示の技術に係る第11の態様は、プロセッサが、仮想視点範囲特定情報に関する情報の出力先と同じ出力先に第1案内情報を出力する第9の態様又は第10の態様に係る情報処理装置である。
【0019】
本開示の技術に係る第12の態様は、仮想視点範囲が、第3特定被写体に対して複数の撮像装置の撮像方向が成す角度のうちの小さい側の第2角度内の範囲であり、プロセッサが、仮想視点画像に対する視点位置を示す視点位置情報を受け付け、視点位置情報により示される視点位置が仮想視点範囲外の場合に、複数の撮像装置のうちの少なくとも1つの撮像装置の位置を第2角度内に収まる位置に案内する第2案内情報を更に出力する第1の態様から第11の態様のうちの何れか一つの態様に係る情報処理装置である。
【0020】
本開示の技術に係る第13の態様は、仮想視点範囲が、第2角度内であり、かつ、第2角度内の過小な角度として予め定められた第2過小角度を上回る角度内の範囲であり、第2案内情報が、複数の撮像装置のうちの少なくとも1つの撮像装置の位置を、第2過小角度を超え、かつ、第2角度内に収まる位置に案内する情報である第12の態様に係る情報処理装置である。
【0021】
本開示の技術に係る第14の態様は、第2案内情報が、複数の撮像装置のうちの1つの撮像装置の位置を、第2過小角度を超え、かつ、第2角度内に収まる位置に案内する第13の態様に係る情報処理装置である。
【0022】
本開示の技術に係る第15の態様は、プロセッサが、仮想視点範囲特定情報に関する情報の出力先と同じ出力先に第2案内情報を出力する第12の態様から第14の態様のうちの何れか一つの態様に係る情報処理装置である。
【0023】
本開示の技術に係る第16の態様は、プロセッサが、撮像装置位置情報を更に出力する第1の態様から第15の態様のうちの何れか一つの態様に係る情報処理装置である。
【0024】
本開示の技術に係る第17の態様は、プロセッサが、仮想視点範囲特定情報に関する情報の出力先と同じ出力先に撮像装置位置情報を出力する第16の態様に係る情報処理装置である。
【0025】
本開示の技術に係る第18の態様は、プロセッサが、複数の撮像装置の各々の画角に関する画角情報を更に取得し、複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、撮像装置位置情報、撮像方向情報、及び画角情報に基づいて更に導出し、撮像範囲情報を更に出力する第1の態様から第17の態様のうちの何れか一つの態様に係る情報処理装置である。
【0026】
本開示の技術に係る第19の態様は、プロセッサが、仮想視点範囲特定情報に関する情報の出力先と同じ出力先に撮像範囲情報を出力する第18の態様に係る情報処理装置である。
【0027】
本開示の技術に係る第20の態様は、プロセッサが、第4特定被写体に対する複数の撮像装置の各々の被写体距離、及び、複数の撮像装置の各々のズーム能力のうちの少なくとも1つに基づいて、複数の撮像装置のうちの少なくとも1つの撮像装置の位置であって、複数の撮像画像の品質が既定範囲に収まる位置の範囲を特定可能な撮像装置範囲特定情報を導出し、撮像装置範囲特定情報を更に出力する第1の態様から第19の態様のうちの何れか一つの態様に係る情報処理装置である。
【0028】
本開示の技術に係る第21の態様は、プロセッサが、仮想視点範囲特定情報に関する情報の出力先と同じ出力先に撮像装置範囲特定情報を出力する第20の態様に係る情報処理装置である。
【0029】
本開示の技術に係る第22の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備える情報処理装置であって、プロセッサが、複数の撮像装置の位置に関する撮像装置位置情報、複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び複数の撮像装置の各々の画角に関する画角情報を取得し、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、撮像装置位置情報、撮像方向情報、及び画角情報に基づいて導出し、撮像範囲情報及び撮像装置位置情報を出力する情報処理装置である。
【0030】
本開示の技術に係る第23の態様は、プロセッサが、撮像範囲情報及び撮像装置位置情報を、複数の撮像装置のうちの少なくとも1つの撮像装置に出力する第22の態様に係る情報処理装置である。
【0031】
本開示の技術に係る第24の態様は、複数の撮像装置の位置に関する撮像装置位置情報、及び複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得すること、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、撮像装置位置情報及び撮像方向情報に基づいて導出すること、並びに、仮想視点範囲特定情報に関する情報を出力することを含む、情報処理方法である。
【0032】
本開示の技術に係る第25の態様は、複数の撮像装置の位置に関する撮像装置位置情報、複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び複数の撮像装置の各々の画角に関する画角情報を取得すること、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、撮像装置位置情報、撮像方向情報、及び画角情報に基づいて導出すること、並びに、撮像範囲情報及び撮像装置位置情報を出力することを含む、情報処理方法である。
【0033】
本開示の技術に係る第26の態様は、コンピュータに、複数の撮像装置の位置に関する撮像装置位置情報、及び複数の撮像装置の各々の撮像方向に関する撮像方向情報を取得すること、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、撮像装置位置情報及び撮像方向情報に基づいて導出すること、並びに、仮想視点範囲特定情報に関する情報を出力することを含む処理を実行させるためのプログラムである。
【0034】
本開示の技術に係る第27の態様は、コンピュータに、複数の撮像装置の位置に関する撮像装置位置情報、複数の撮像装置の各々の撮像方向に関する撮像方向情報、及び複数の撮像装置の各々の画角に関する画角情報を取得すること、複数の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、複数の撮像装置による重複した撮像範囲に関する撮像範囲情報を、撮像装置位置情報、撮像方向情報、及び画角情報に基づいて導出すること、並びに、撮像範囲情報及び撮像装置位置情報を出力することを含む処理を実行させるためのプログラムである。
【図面の簡単な説明】
【0035】
【
図1】情報処理装置、端末装置、及び特定被写体の関係の一例を示す概念図である。
【
図2】撮像装置の外観構成の一例を示す概略斜視図である。
【
図3】撮像装置の外観構成の一例を示す背面図である。
【
図4】撮像装置の電気系のハードウェア構成の一例を示すブロック図である。
【
図5】情報処理装置の電気系のハードウェア構成の一例を示すブロック図である。
【
図6】第1実施形態に係る情報処理装置の要部機能の一例を示すブロック図である。
【
図7】第1撮像装置のタッチパネル・ディスプレイに動作モード選択画面を表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。
【
図8】第1実施形態に係る仮想視点範囲特定処理内容の一例の説明に供する概念図である。
【
図9】第1実施形態に係る仮想視点範囲特定処理内容の一例の説明に供する概念図である。
【
図10】第1実施形態に係る仮想視点範囲特定処理で生成される仮想視点範囲画像の一例の説明に供する概念図である。
【
図11】第1撮像画像及び第2撮像画像から生成する仮想視点画像の一例の説明に用いる概念図である。
【
図12】第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、仮想視点範囲画像、及び第1補助メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。
【
図13】第1実施形態に係る仮想視点範囲特定処理内容の一例の説明に用いる概念図である。
【
図14】第1実施形態に係る仮想視点範囲特定処理で生成される警告画像の一例の説明に供する概念図である。
【
図15】第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、警告画像、及び警告メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。
【
図16】第1実施形態に係る撮像範囲特定処理内容の一例の説明に用いる概念図である。
【
図17】第1実施形態に係る撮像範囲特定処理で生成される撮像範囲画像の一例の説明に用いる概念図である。
【
図18】第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、撮像範囲画像、及び第2補助メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。
【
図19】表示モード設定処理の流れの一例を示すフローチャートである。
【
図20】第1実施形態に係る仮想視点範囲特定処理の流れの一例を示すフローチャートである。
【
図21】撮像範囲特定処理の流れの一例を示すフローチャートである。
【
図22】第1撮像装置のタッチパネル・ディスプレイにライブビュー画像と、仮想視点範囲画像及び撮像範囲画像の重畳画像とを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。
【
図23】第2実施形態に係る情報処理装置の要部機能の一例を示すブロック図である。
【
図24】第2実施形態に係る仮想視点範囲特定処理内容の一例の説明に用いる概念図である。
【
図25】第2実施形態に係る仮想視点範囲特定処理内容の一例の説明に用いる概念図である。
【
図26】第2実施形態に係る仮想視点範囲特定処理で生成される案内画像の一例の説明に用いる概念図である。
【
図27】第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、案内画像、及び案内メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。
【
図28】第2実施形態に係る仮想視点範囲特定処理の流れの一例を示すフローチャートである。
【
図29】第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、案内画像、及び案内メッセージを表示させた場合の第1撮像装置の外観構成の他の一例を示す背面図である。
【
図30】第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、案内画像、及び案内メッセージを表示させた場合の第1撮像装置の外観構成の更に他の一例を示す背面図である。
【
図31】第3実施形態に係る情報処理装置の要部機能の一例を示すブロック図である。
【
図32】第3実施形態に係る案内情報生成処理内容の一例の説明に供する概念図である。
【
図33】第3実施形態に係る案内情報生成処理内容の一例の説明に供する概念図である。
【
図34】第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、案内画像、及び案内メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。
【
図35】第3実施形態に係る案内情報生成処理の流れの一例を示すフローチャートである。
【
図36】第4実施形態に係る情報処理装置の要部機能の一例を示すブロック図である。
【
図37】第4実施形態に係る撮像装置範囲特定処理内容の一例の説明に供する概念図である。
【
図38】第4実施形態に係る撮像装置範囲特定処理内容の一例の説明に供する概念図である。
【
図39】第1撮像装置のタッチパネル・ディスプレイにライブビュー画像、撮像装置範囲画像、及び案内メッセージを表示させた場合の第1撮像装置の外観構成の一例を示す背面図である。
【
図40】第4実施形態に係る撮像装置範囲特定処理の流れの一例を示すフローチャートである。
【
図41】情報処理装置プログラムが記憶されている記憶媒体から情報処理装置のコンピュータに情報処理装置プログラムがインストールされる態様の一例を示すブロック図である。
【発明を実施するための形態】
【0036】
添付図面に従って本開示の技術に係る実施形態の一例について説明する。
【0037】
先ず、以下の説明で使用される文言について説明する。
【0038】
CPUとは、“Central Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。DRAMとは、“Dynamic Random Access Memory”の略称を指す。SRAMとは、“Static Random Access Memory”の略称を指す。ROMとは、“Read Only Memory”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。I/Fとは、“Interface”の略称を指す。ICとは、“Integrated Circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。3Dとは、“3 Dimension”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。GPSとは、“Global Positioning System”の略称を指す。また、GNSSとは、“Global Navigation Satellite System"の略称を指す。また、以下の説明において、ディスプレイに表示される「画像」以外で、「画像」と表現されている場合、「画像」には「画像を示すデータ」の意味も含まれる。
【0039】
[第1実施形態]
一例として
図1に示すように、情報処理システム10は、情報処理装置12、第1撮像装置14、第2撮像装置16、及びGPS端末18を備えている。ここで、情報処理装置12は本開示の技術に係る「情報処理装置」の一例であり、第1撮像装置14及び第2撮像装置16は、本開示の技術に係る「複数の撮像装置」の一例である。また、第1撮像装置14は、本開示の技術に係る「仮想視点範囲特定情報に関する情報の出力先」の一例である。
【0040】
情報処理装置12は、サーバに相当するデバイスであり、第1撮像装置14、第2撮像装置16、及びGPS端末18は、情報処理装置12に対するクライアント端末に相当するデバイスである。なお、以下では、第1撮像装置14、第2撮像装置16、及びGPS端末18を区別して説明する必要がない場合、符号を付さずに「端末装置」と称する。また、以下では、第1撮像装置14及び第2撮像装置16を区別して説明する必要がない場合、符号を付さずに「撮像装置」と称する。
【0041】
GPS端末18は、特定被写体30の衣服に取り付けられている。ここでは、GPS端末18が、特定被写体30の衣服に取り付けられている形態例を示しているが、これはあくまでも一例に過ぎない。GPS端末18は、特定被写体30の手首にバンド形式で装着されてもよいし、特定被写体30の靴に組み込まれていてもよく、特定被写体30によって携帯されていればよい。なお、特定被写体30は、本開示の技術に係る「第1特定被写体」、「第2特定被写体」、及び「第3特定被写体」の一例である。
【0042】
GPS端末18は、GPS機能を備えており、GPS機能を働かせることで特定被写体30の現在の位置を特定する緯度、経度、及び高度を示す被写体位置特定情報を取得する。被写体位置特定情報は、例えば、GPS端末18がGPS衛星20を含む複数のGPS衛星(図示省略)からの電波を受信することで割り出される緯度、経度、及び高度を示す情報である。また、撮像装置にも、GPS端末18と同様に、GPS機能が搭載されている。第1撮像装置14は、GPS機能を働かせることで第1撮像装置14の現在の位置を緯度、経度、及び高度を示す第1撮像装置位置情報を取得する。第2撮像装置16は、GPS機能を働かせることで第2撮像装置16の現在の位置を緯度、経度、及び高度を示す第2撮像装置位置情報を取得する。なお、GPSは、GNSSの一例であり、他の衛星測位システムを用いることも可能である。
【0043】
ここで、被写体位置特定情報は、本開示の技術に係る「被写体位置特定情報」の一例であり、第1撮像装置位置情報及び第2撮像装置位置情報は、本開示の技術に係る「撮像装置位置情報」の一例である。
【0044】
なお、以下では、第1撮像装置位置情報及び第2撮像装置位置情報を区別して説明する必要がない場合、「撮像装置位置情報」と称する。また、以下では、被写体位置特定情報、第1撮像装置位置情報、及び第2撮像装置位置情報を区別して説明する必要がない場合、「端末位置情報」と称する。
【0045】
情報処理システム10では、端末装置と情報処理装置12との間で無線通信によって情報の授受が行われることで、端末装置から情報処理装置12に端末位置情報が送信される。そして、端末装置から送信された端末位置情報は、情報処理装置12によって受信される。
【0046】
情報処理装置12及び端末装置は、無線通信基地局(図示省略)を介して互いに無線通信を行うことにより、端末装置は、情報処理装置12に対して各種サービスの提供を要求し、情報処理装置12は、端末装置からの要求に応じたサービスを端末装置に提供する。
【0047】
図1に示す例では、第1撮像装置14は、第1人物26によって所持され、かつ、操作される。また、第2撮像装置16は、第2人物28によって所持され、かつ、操作される。
図1に示す例では、サッカーフィールド22の外側に位置している第1人物26が位置する箇所から、第1撮像装置14が、サッカーフィールド22内を第1撮像方向D1かつ第1画角θaで撮像し、第2人物28が位置する箇所から、第2撮像装置16がサッカーフィールド22内を第2撮像方向D2かつ第2画角θbで撮像する。ここでは、第1画角θaと第2画角θbは同一の画角である。しかし、本開示の技術はこれに限定されず、第1画角θaと第2画角θbは異なる画角であってもよい。
【0048】
第1撮像方向D1は、例えば、第1画角θa内に特定被写体30が収まる方向である。第1画角θa内に特定被写体30が収まる方向の一例としては、第1画角θaの中央部に特定被写体30が収まる方向が挙げられる。また、第2撮像方向D2は、例えば、第2画角θb内に特定被写体30が収まる方向である。第2画角θb内に特定被写体30が収まる方向の一例としては、第2画角θbの中央部に特定被写体30が収まる方向が挙げられる。
【0049】
また、ここでは、サッカーフィールド22の外側からサッカーフィールド22内が撮像される形態例を挙げて説明しているが、これはあくまでも一例である。サッカーフィールド22内からサッカーフィールド22内が撮像されるようにしてもよい。また、サッカーフィールド22内を撮像可能な場所であれば如何なる場所から撮像されるようにしてもよい。
【0050】
情報処理システム10では、仮想視点画像を生成可能な撮像位置の決定が情報処理装置12によって補助される。ここで、撮像位置とは、撮像装置の位置を指し、本第1実施形態において、撮像位置の決定は、例えば、第1人物26によって行われる。仮想視点画像とは、第1撮像装置14によって撮像されることで得られた第1撮像画像と、第2撮像装置16によって撮像されることで得られた第2撮像画像とを基に生成される画像である。例えば、仮想視点画像は、特定被写体30を示す画像である。この場合、第1撮像画像は、例えば、特定被写体30を含む領域が第1撮像装置14によって撮像されることで得られた画像であり、第2撮像画像は、例えば、特定被写体30を含む領域が第2撮像装置16によって撮像されることで得られた画像である。なお、以下では、第1撮像画像及び第2撮像画像を区別して説明する必要がない場合、「撮像画像」と称する。ここで、第1撮像画像及び第2撮像画像は、本開示の技術に係る「複数の撮像画像」の一例であり、仮想視点画像は、本開示の技術に係る「仮想視点画像」の一例である。
【0051】
一例として
図2に示すように、撮像装置は、CMOSイメージセンサ31(
図2参照)を有する撮像用のデバイスである。撮像装置には、光学式ズーム機能が搭載されている。なお、CMOSイメージセンサ31に代えてCCDイメージセンサ等の他種類のイメージセンサを採用してもよい。
【0052】
撮像装置は、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラである。撮像装置は、撮像装置本体32と、撮像装置本体32に交換可能に装着される交換レンズ34と、を備えている。なお、ここでは、撮像装置一例として、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラが挙げられているが、本開示の技術はこれに限定されず、撮像装置は、レンズ固定式等の他種類のデジタルカメラであってもよい。
【0053】
撮像装置本体32には、CMOSイメージセンサ31が設けられている。交換レンズ34が撮像装置本体32に装着された場合に、被写体を示す被写体光は、光軸L1に沿って交換レンズ34を透過し、CMOSイメージセンサ31に結像され、CMOSイメージセンサ31によって被写体を示す画像が生成される。
【0054】
撮像装置本体32の上面には、レリーズボタン36及びダイヤル38が設けられている。レリーズボタン36は、ユーザが押下することで撮像装置本体32に対して撮像の指示を与えるボタンである。ダイヤル38は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、これによって、撮像装置では、動作モードとして撮像モードと再生モードとが選択的に設定される。
【0055】
一例として
図3に示すように、撮像装置本体32の背面には、指示キー42及びタッチパネル・ディスプレイ44が設けられている。
【0056】
指示キー42は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、1つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。
【0057】
タッチパネル・ディスプレイ44は、ディスプレイ46及びタッチパネル48(
図4も参照)を備えている。ディスプレイ46の一例としては、有機ELディスプレイが挙げられる。ディスプレイ46は、有機ELディスプレイではなく、液晶ディスプレイなどの他種類のディスプレイであってもよい。
【0058】
ディスプレイ46は、画像及び文字情報等を表示する。ディスプレイ46は、撮像装置が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、ディスプレイ46は、静止画像用の撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、ディスプレイ46は、撮像装置が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。なお、
図3に示す例では、ディスプレイ46にライブビュー画像が表示されている。ここで、ディスプレイ46は、本開示の技術に係る「第1ディスプレイ」及び「第2ディスプレイ」の一例である。
【0059】
タッチパネル48は、透過型のタッチパネルであり、ディスプレイ46の表示領域の表面に重ねられている。タッチパネル48は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。
【0060】
なお、ここでは、タッチパネル・ディスプレイ44の一例として、タッチパネル48がディスプレイ46の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ44として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。
【0061】
一例として
図4に示すように、撮像装置は、CMOSイメージセンサ31、ディスプレイ46、タッチパネル48、コンピュータ50、通信I/F52、受付デバイス54、スピーカ56、及びGPS受信機58を備えている。コンピュータ50は、CPU60、ストレージ62、及びメモリ64を備えている。
【0062】
CPU60、ストレージ62、及びメモリ64は、バス66を介して接続されている。
図4に示す例では、図示の都合上、バス66として1本のバスが図示されているが、バス66には、データバス、アドレスバス、及びコントロールバス等が含まれている。
【0063】
CPU60は、撮像装置の全体を制御する。ストレージ62は、各種パラメータ及び各種プログラムを記憶している。ストレージ62は、不揮発性の記憶装置である。ここでは、ストレージ62の一例として、EEPROMが採用されているが、これに限らず、マスクROM、HDD、又はSSD等であってもよい。メモリ64は、揮発性の記憶装置である。メモリ64には、各種情報が一時的に記憶される。メモリ64は、CPU60によってワークメモリとして用いられる。ここでは、メモリ64の一例として、DRAMが採用されているが、これに限らず、SRAM等の他の種類の揮発性の記憶装置であってもよい。
【0064】
受付デバイス54は、撮像装置の使用者等からの指示を受け付ける。受付デバイス54には、タッチパネル48の他に、レリーズボタン36(
図2参照)、ダイヤル38(
図2及び
図3参照)、及び指示キー42が含まれている。受付デバイス54は、バス66に接続されており、受付デバイス54によって受け付けられた指示は、CPU60によって取得される。CPU60は、受付デバイス54によって受け付けられた指示に応じた処理を実行する。
【0065】
ディスプレイ46は、バス66に接続されており、CPU60の制御下で、各種情報を表示する。スピーカ56は、バス66に接続されており、CPU60の制御下で、音を出力する。すなわち、スピーカ56は、CPU60の制御下で、音を示す電気信号を受信し、受信した電気信号を音に変換し、変換して得た音を出力することで、ユーザ等に対して各種情報を知覚させる。
【0066】
GPS受信機58は、CPU60からの指示に応じてGPS衛星20を含む複数のGPS衛星(図示省略)からの電波を受信し、受信結果を示す受信結果情報をCPU60に出力する。CPU60は、GPS受信機58から入力された受信結果情報に基づいて上述の撮像装置位置情報(ここでは、一例として、撮像装置の現在の位置を特定する緯度、経度、及び高度を示す情報)を算出する。
【0067】
通信I/F52は、無線通信基地局(図示省略)を介して情報処理装置12に対して無線通信可能に接続されている。通信I/F52は、例えば、FPGAを有するデバイスによって実現される。通信I/F52は、バス66に接続されており、情報処理装置12とCPU60との間で各種情報の授受を制御する。
【0068】
一例として
図5に示すように、情報処理装置12は、コンピュータ70、通信I/F72、及び受付デバイス74を備えている。コンピュータ70は、CPU76、ストレージ78、及びメモリ80を備えている。ここで、CPU76は本開示の技術に係る「プロセッサ」の一例であり、ストレージ78及びメモリ80は本開示の技術に係る「メモリ」の一例である。
【0069】
CPU76、ストレージ78、及びメモリ80は、バス82を介して接続されている。
図5に示す例では、図示の都合上、バス82として1本のバスが図示されているが、バス82には、データバス、アドレスバス、及びコントロールバス等が含まれている。
【0070】
CPU76は、情報処理装置12の全体を制御する。ストレージ78は、各種パラメータ及び各種プログラムを記憶している。ストレージ78は、不揮発性の記憶装置である。ここでは、ストレージ78の一例として、EEPROMが採用されているが、これに限らず、マスクROM、HDD、又はSSD等であってもよい。メモリ80は、揮発性の記憶装置である。メモリ80は、各種情報が一時的に記憶される。メモリ80は、CPU76によってワークメモリとして用いられる。ここでは、メモリ80の一例として、DRAMが採用されているが、これに限らず、SRAM等の他の種類の揮発性の記憶装置であってもよい。
【0071】
通信I/F72は、無線通信基地局(図示省略)を介して端末装置に対して無線通信可能に接続されている。通信I/F72は、例えば、FPGAを有するデバイスによって実現される。通信I/F72は、バス82に接続されており、端末装置とCPU76との間で各種情報の授受を司る。
【0072】
受付デバイス74は、情報処理装置12の使用者等からの指示を受け付ける。受付デバイス74の一例としては、タッチパネル、ハードキー、及びマウス等が挙げられる。受付デバイス74は、バス82に接続されており、受付デバイス74によって受け付けられた指示は、CPU76によって取得される。CPU76は、受付デバイス74によって受け付けられた指示に応じた処理を実行する。
【0073】
情報処理装置12は、第1撮像装置14との間で無線通信を行うことで、第1撮像装置14から上述の第1撮像装置位置情報、第1画角情報、及び上述の第1撮像画像を取得する。第1画角情報は、上述の第1画角θaを示す情報である。また、情報処理装置12は、第2撮像装置16との間で無線通信を行うことで、第2撮像装置16から上述の第2撮像装置位置情報、第2画角情報、及び上述の第2撮像画像を取得する。第2画角情報は、上述の第2画角θbを示す情報である。更に、情報処理装置12は、GPS端末18との間で無線通信を行うことで、GPS端末18から上述の被写体位置特定情報を取得する。なお、以下では、第1画角情報及び第2画角情報を区別して説明する必要がない場合、「画角情報」と称する。ここで、第1画角情報及び第2画角情報は、本開示の技術に係る「画角情報」の一例である。
【0074】
詳しくは後述するが、情報処理装置12のCPU76は、端末装置から取得した各種情報に基づいて仮想視点範囲特定情報及び撮像範囲情報を生成し、生成した仮想視点範囲特定情報及び撮像範囲情報を第1撮像装置14に送信する。ここで、仮想視点範囲特定情報は、本開示の技術に係る「仮想視点範囲特定情報」の一例であり、撮像範囲情報は、本開示の技術に係る「撮像範囲情報」の一例である。
【0075】
一例として
図6に示すように、情報処理装置12のストレージ78には、表示モード設定プログラム86、仮想視点範囲特定プログラム88、及び撮像範囲特定プログラム90が記憶されている。なお、以下では、表示モード設定プログラム86、仮想視点範囲特定プログラム88、及び撮像範囲特定プログラム90を区別して説明する必要がない場合、符号を付さずに「情報処理装置プログラム」と称する。
【0076】
CPU76は、ストレージ78から表示モード設定プログラム86を読み出し、読み出した表示モード設定プログラム86をメモリ80上で実行することで制御部76Aとして動作する。また、CPU76は、ストレージ78から仮想視点範囲特定プログラム88を読み出し、読み出した仮想視点範囲特定プログラム88をメモリ80上で実行することで制御部76A、判定部76B、仮想視点範囲特定部76C、及び警告情報生成部76Dとして動作する。更に、CPU76は、ストレージ78から撮像範囲特定プログラム90を読み出し、読み出した撮像範囲特定プログラム90をメモリ80上で実行することで制御部76A及び撮像範囲特定部76Eとして動作する。
【0077】
一例として
図7に示すように、制御部76Aは、第1撮像装置14との間で無線通信を行うことで、第1撮像装置14のディスプレイ46に対して動作モード選択画面92を表示させる。動作モード選択画面92には、第1ソフトキー92A及び第2ソフトキー92Bが表示されている。第1ソフトキー92Aがタッチパネル48を介してユーザ(例えば、第1人物26)によってオンされると、情報処理装置12及び第1撮像装置14の動作モードは、仮想視点範囲表示モードになる。また、第2ソフトキー92Bがタッチパネル48を介してユーザ(例えば、第1人物26)によってオンされると、情報処理装置12及び第1撮像装置14の動作モードは、撮像範囲表示モードになる。
【0078】
情報処理装置12に対して仮想視点範囲表示モードが設定されると、情報処理装置12では、CPU76によって仮想視点範囲特定プログラム88が実行される。また、情報処理装置12に対して撮像範囲表示モードが設定されると、情報処理装置12では、CPU76によって撮像範囲特定プログラム90が実行される。
【0079】
仮想視点範囲表示モードでは、一例として
図8に示すように、判定部76Bは、第1撮像装置14から第1撮像装置位置情報を取得し、第2撮像装置16から第2撮像装置位置情報を取得し、GPS端末18から被写体位置特定情報を取得する。そして、判定部76Bは、第1撮像装置位置情報、第2撮像装置位置情報、及び被写体位置特定情報に基づいて、上述した第1撮像方向D1を示す第1撮像方向情報、及び上述した第2撮像方向D2を示す第2撮像方向情報を取得する。具体的に説明すると、判定部76Bは、第1撮像装置位置情報及び被写体位置特定情報に基づいて、上述した第1撮像方向D1を示す第1撮像方向情報を導出する。また、判定部76Bは、第2撮像装置位置情報及び被写体位置特定情報に基づいて、上述した第2撮像方向D2を示す第2撮像方向情報を導出する。
【0080】
なお、以下では、第1撮像方向情報及び第2撮像方向情報を区別して説明する必要がない場合、「撮像方向情報」と称する。また、以下では、第1撮像方向D1及び第2撮像方向D2を区別して説明する必要がない場合、「撮像方向」と称する。ここで、第1撮像方向情報及び第2撮像方向情報は、本開示の技術に係る「撮像方向情報」の一例であり、第1撮像方向D1及び第2撮像方向D2は、本開示の技術に係る「撮像方向」の一例である。
【0081】
判定部76Bは、特定被写体30(
図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度θ1内の範囲が、仮想視点画像を生成可能な仮想視点範囲であるか否かを判定する。すなわち、角度θ1≠0度であり、かつ、角度θ1≠180度である場合に、判定部76Bは、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲であると判定し、角度θ1=0度、又は、角度θ1=180度の場合に、判定部76Bは、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲でないと判定する。なお、以下では、説明の便宜上、仮想視点画像を生成可能な仮想視点範囲を、単に「仮想視点範囲」とも称する。ここで、仮想視点範囲は、本開示の技術に係る「仮想視点範囲」の一例である。
【0082】
仮想視点範囲特定部76Cは、仮想視点範囲を特定する。具体的に説明すると、判定部76Bによって角度θ1内の範囲が仮想視点範囲であると判定された場合、仮想視点範囲特定部76Cは、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報を取得する。次いで、仮想視点範囲特定部76Cは、仮想視点範囲を特定可能な仮想視点範囲特定情報を、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報に基づいて導出する。そして、仮想視点範囲特定部76Cは、導出した仮想視点範囲特定情報を第1撮像装置14へ出力する。
【0083】
一方、判定部76Bによって角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲でないと判定された場合、警告情報生成部76Dは、警告情報を生成し、生成した警告情報を第1撮像装置14へ出力する。警告情報とは、角度θ1内の範囲が仮想視点範囲でないことをユーザ(例えば、第1人物26)に対してアラートする情報を指す。警告情報は、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報を含む情報である。
【0084】
一例として
図9に示すように、第1撮像装置14のCPU60は、仮想視点範囲特定部76Cから入力された仮想視点範囲特定情報に基づいて、仮想視点範囲画像及び第1補助メッセージを生成する。仮想視点範囲画像は、仮想視点範囲を特定可能な画像である。
図9に示す例において、仮想視点範囲画像には、サッカーフィールド22の平面視画像(以下、「サッカーフィールド平面視画像」とも称する)に対して斜線のハッチングが施されたハッチング領域が仮想視点範囲として示されている。第1補助メッセージは、ハッチング領域内が仮想視点(例えば、仮想カメラ)を設置可能な範囲であることをユーザ(例えば、第1人物26)に対して知覚させるためのメッセージである。CPU60は、ディスプレイ46に対して、仮想視点範囲画像及び第1補助メッセージを表示させる。ここで、仮想視点範囲画像は、本開示の技術に係る「仮想視点範囲画像」の一例である。
【0085】
一例として
図10に示すように、仮想視点範囲画像には、サッカーフィールド平面視画像と、角度θ1で規定された仮想視点範囲と、第1撮像装置14の現在の位置と、第2撮像装置16の現在の位置とが表示される。具体的に説明すると、仮想視点範囲画像は、サッカーフィールド平面視画像に対して、仮想視点範囲と、第1撮像装置14の現在の位置を示すマークと、第2撮像装置16の現在の位置を示すマークとが重畳表示された画像である。
【0086】
仮想視点範囲は、仮想視点範囲特定部76Cによって導出された仮想視点範囲特定情報により特定される範囲であり、
図10に示す例では、角度θ1及びθ2のうちの小さい側の角度θ1内のハッチング領域が仮想視点範囲として示されている。また、
図10に示す例では、仮想視点を示す画像として人間の眼を示す画像が示されているが、これはあくまでも一例に過ぎず、仮想カメラを示す画像であってもよい。また、仮想視点を示す画像は表示されていてもよいし、表示されていなくてもよい。
【0087】
第1撮像装置14の現在の位置は、第1撮像装置位置情報により示される位置である。第2撮像装置16の現在の位置は、第2撮像装置位置情報により示される位置である。
図10に示す例では、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々は、円形マークで示されている。なお、円形マークは一例に過ぎず、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々の位置が視覚的に特定可能な画像であれば如何なる画像であってもよい。
【0088】
なお、本第1実施形態では、第1撮像装置位置情報及び第2撮像装置位置情報が仮想視点範囲特定情報に含まれている。そのため、第1撮像装置14のCPU60は、仮想視点範囲特定情報に含まれている第1撮像装置位置情報に基づいて第1撮像装置14の現在の位置を仮想視点範囲画像に表示させる。また、第1撮像装置14のCPU60は、仮想視点範囲特定情報に含まれている第2撮像装置位置情報に基づいて第2撮像装置16の現在の位置を仮想視点範囲画像に表示させる。
【0089】
例えば、
図10に示す仮想視点からサッカーフィールド22内の特定被写体30を含む領域を観た場合の仮想視点画像は、仮想的な画像であり、一例として
図11に示すように、第1撮像画像と第2撮像画像とに基づいて特定のデバイス(図示省略)によって3Dポリゴンとして生成される。ここで、特定のデバイスとしては、例えば、情報処理装置12、第1撮像装置14、サーバ、及び/又はパーソナル・コンピュータ等が挙げられる。
【0090】
第1撮像画像及び第2撮像画像を基に仮想視点画像を生成可能な撮像位置及び撮像方向で第1撮像装置14及び第2撮像装置16が撮像する場合、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、第1補助メッセージ及び仮想視点範囲画像が表示される。
図12に示す例では、仮想視点範囲画像として、
図10に示す仮想視点範囲画像と同様の画像が表示されており、第1補助メッセージとして、「斜線領域内に仮想視点を配置することができます。」というメッセージが表示されている。
【0091】
一方、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲でないと判定された場合、一例として
図13に示すように、第1撮像装置14のCPU60は、警告情報生成部76Dから入力された警告情報に基づいて、警告画像及び警告メッセージを生成する。警告画像は、仮想視点範囲の特定が不可能な画像である。警告メッセージは、仮想視点範囲が特定不可能であることをユーザ(例えば、第1人物26)に対して知覚させるためのメッセージである。CPU60は、ディスプレイ46に対して、警告画像及び警告メッセージを表示させる。
【0092】
一例として
図14に示すように、特定被写体30(
図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度が0度の場合、例えば、第1人物26の背後に第2人物28が位置した状態で第2撮像装置16が撮像を行う場合には、第1撮像装置14が第2撮像装置16と同じ方向から特定被写体30を撮像することになる。従って、この配置の場合には、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成することはできない。また、特定被写体30(
図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度が180度の場合、例えば、第1人物26の真正面で第2人物28が第1人物26に対して正対している状態で第2撮像装置16が撮像を行う場合にも、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成することはできない。第1撮像装置14が第2撮像装置16と真逆の方向から特定被写体30を撮像しているためである。
【0093】
この場合、警告画像には、サッカーフィールド平面視画像と、第1撮像装置14の現在の位置と、第2撮像装置16の現在の位置とが表示される。具体的に説明すると、警告画像は、サッカーフィールド平面視画像に対して、第1撮像装置14の現在の位置を示すマークと、第2撮像装置16の現在の位置を示すマークとが重畳表示された画像である。
【0094】
第1撮像装置14の現在の位置は、第1撮像装置位置情報により示される位置である。第2撮像装置16の現在の位置は、第2撮像装置位置情報により示される位置である。
図14に示す例では、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々は、円形マークで示されている。なお、円形マークは一例に過ぎず、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々の位置が視覚的に特定可能な画像であれば如何なる画像であってもよい。
【0095】
なお、本第1実施形態では、第1撮像装置位置情報及び第2撮像装置位置情報が警告情報に含まれている。そのため、第1撮像装置14のCPU60は、警告情報に含まれている第1撮像装置位置情報に基づいて第1撮像装置14の現在の位置を示すマークを警告画像に表示させる。また、第1撮像装置14のCPU60は、警告情報に含まれている第2撮像装置位置情報に基づいて第2撮像装置16の現在の位置を示すマークを警告画像に表示させる。
【0096】
仮想視点画像を生成不可能な撮像位置及び撮像方向で第1撮像装置14及び第2撮像装置16が撮像を行う場合、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、警告メッセージ及び警告画像が表示される。
図15に示す例では、警告画像として、
図14に示す警告画像と同様の画像が表示されており、警告メッセージとして、「現在のカメラの位置では仮想視点画像を生成できません。」というメッセージが表示されている。
【0097】
動作モード選択画面92(
図7参照)で第2ソフトキー92Bがオンされて、情報処理装置12に対して撮像範囲表示モードが設定されると、一例として
図16に示すように、撮像範囲特定部76Eは、第1撮像装置14から第1撮像装置位置情報及び第1画角情報を取得し、第2撮像装置16から第2撮像装置位置情報及び第2画角情報を取得し、GPS端末18から被写体位置特定情報を取得する。そして、撮像範囲特定部76Eは、第1撮像装置位置情報、第2撮像装置位置情報、及び被写体位置特定情報に基づいて、上述した第1撮像方向D1を示す第1撮像方向情報、及び上述した第2撮像方向D2を示す第2撮像方向情報を取得する。具体的に説明すると、撮像範囲特定部76Eは、第1撮像装置位置情報及び被写体位置特定情報に基づいて、上述した第1撮像方向D1を示す第1撮像方向情報を導出する。また、撮像範囲特定部76Eは、第2撮像装置位置情報及び被写体位置特定情報に基づいて、上述した第2撮像方向D2を示す第2撮像方向情報を導出する。
【0098】
撮像範囲特定部76Eは、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、第2撮像方向情報、第1画角情報、及び第2画角情報に基づいて撮像範囲情報を導出する。撮像範囲情報とは、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成可能な撮像範囲であって、第1撮像装置14及び第2撮像装置16による重複した撮像範囲に関する情報を指す。撮像範囲特定部76Eは、導出した撮像範囲情報を第1撮像装置14へ出力する。なお、以下では、説明の便宜上、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成可能な撮像範囲であって、第1撮像装置14及び第2撮像装置16による重複した撮像範囲を、単に「撮像範囲」とも称する。
【0099】
第1撮像装置14のCPU60は、撮像範囲特定部76Eから入力された撮像範囲情報に基づいて、撮像範囲画像及び第2補助メッセージを生成する。撮像範囲画像は、撮像範囲を特定可能な画像である。
図16に示す例において、撮像範囲画像には、サッカーフィールド平面視画像に対して格子状のハッチング領域が撮像範囲として示されている。第2補助メッセージは、ハッチング領域内に存在する被写体の仮想視点画像を生成可能であることをユーザ(例えば、第1人物26)に対して知覚させるためのメッセージである。CPU60は、ディスプレイ46に対して、撮像範囲画像及び第2補助メッセージを表示させる。
【0100】
一例として
図17に示すように、撮像範囲画像には、サッカーフィールド平面視画像と、格子状のハッチング領域で示された撮像範囲と、第1撮像装置14の現在の位置と、第2撮像装置16の現在の位置とが表示される。具体的に説明すると、撮像範囲画像は、サッカーフィールド平面視画像に対して、撮像範囲と、第1撮像装置14の現在の位置を示すマークと、第2撮像装置16の現在の位置を示すマークとが重畳表示された画像である。
【0101】
具体的には、撮像範囲特定部76Eは、第1撮像装置位置情報、第1撮像方向情報、及び第1画角情報に基づいて第1撮像装置14の視野を特定し、第2撮像装置位置情報、第2撮像方向情報、及び第2画角情報に基づいて第2撮像装置16の視野を特定する。撮像範囲特定部76Eは、第1撮像装置14の視野と第2撮像装置16の視野との重複領域を撮像範囲として特定する。上述の特定のデバイスは、撮像範囲に存在する被写体を示す仮想視点画像を、第1撮像画像と第2撮像画像とに基づいて生成可能である。
【0102】
第1撮像装置14の現在の位置は、第1撮像装置位置情報により示される位置である。第2撮像装置16の現在の位置は、第2撮像装置位置情報により示される位置である。
図17に示す例では、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々は、円形マークで示されている。なお、円形マークは一例に過ぎず、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々の位置が視覚的に特定可能な画像であれば如何なる画像であってもよい。
【0103】
なお、本第1実施形態では、第1撮像装置位置情報及び第2撮像装置位置情報が撮像範囲情報に含まれている。そのため、第1撮像装置14のCPU60は、撮像範囲情報に含まれている第1撮像装置位置情報に基づいて第1撮像装置14の現在の位置を示すマークを撮像範囲画像に表示させる。また、第1撮像装置14のCPU60は、撮像範囲情報に含まれている第2撮像装置位置情報に基づいて第2撮像装置16の現在の位置を示すマークを撮像範囲画像に表示させる。
【0104】
情報処理装置12に対して撮像範囲表示モードが設定されている場合、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、第2補助メッセージ及び撮像範囲画像が表示される。
図18に示す例では、撮像範囲画像として、
図17に示す撮像範囲画像と同様の画像が表示されており、第2補助メッセージとして、「斜線領域内にいる被写体の仮想視点画像を生成できます。」というメッセージが表示されている。
【0105】
次に、情報処理装置12で行われる表示モード設定処理、仮想視点範囲特定処理、及び撮像範囲特定処理の流れの一例を
図19から
図21を参照して説明する。なお、以下では、表示モード設定処理、仮想視点範囲特定処理、及び撮像範囲特定処理を区別して説明する必要がない場合、「情報処理装置側処理」と称する。
【0106】
一例として
図19に示す表示モード設定処理は、表示モード設定処理を実行する指示が受付デバイス54又は74によって受け付けられた場合に、CPU76によって表示モード設定プログラム86に従って実行される。
【0107】
図19に示す表示モード設定処理では、先ず、ステップST10で、制御部76Aは、モード変更指示を受け付けたか否かを判定する。モード変更指示の一例としては、ユーザ(例えば、第1人物26)によって撮像装置(例えば、第1撮像装置14)の受付デバイス54に与えられる指示が挙げられる。第1撮像装置14によって受け付けられたモード変更指示は、第1撮像装置14内でモード変更信号に変換されて、無線通信を介して制御部76Aに出力される。ステップST10において、モード変更信号が制御部76Aに入力された場合には、判定が肯定されて、表示モード設定処理はステップST11へ移行する。ステップST10において、モード変更信号が制御部76Aに入力されていない場合には、判定が否定されて、表示モード設定処理はステップST15へ移行する。
【0108】
ステップST11で、制御部76Aは、第1撮像装置14との間で無線通信を行うことで、第1撮像装置14のディスプレイ46に対して動作モード選択画面92(
図7参照)を表示させる。動作モード選択画面92には、仮想視点範囲表示モードを選択するための第1ソフトキー92A、及び撮像範囲表示モードを選択するための第2ソフトキー92Bが表示されている。その後、表示モード設定処理は、ステップST12へ移行する。
【0109】
ステップST12で、制御部76Aは、仮想視点範囲表示モードが選択されたか否かを判定する。具体的には、制御部76Aは、仮想視点範囲表示モードを選択するための第1ソフトキー92Aが、ユーザ(例えば、第1人物26)によってオンされたか否かを判定する。第1ソフトキー92Aがオンされた場合には、CPU60は、無線通信を介して、仮想視点範囲表示モード選択信号を制御部76Aに出力する。
【0110】
ステップST12において、仮想視点範囲表示モード選択信号が制御部76Aに入力された場合には、判定が肯定されて、表示モード設定処理はステップST13へ移行する。一方、ユーザ(例えば、第1人物26)によって第2ソフトキー92Bがオンされた場合には、CPU60は、無線通信を介して、撮像範囲表示モード選択信号を制御部76Aに出力する。ステップST12において、仮想視点範囲表示モード選択信号が制御部76Aに入力されていない場合、すなわち撮像範囲表示モード選択信号が制御部76Aに入力された場合には、判定が否定されて、表示モード設定処理はステップST14へ移行する。
【0111】
ステップST13で、制御部76Aは、情報処理装置12及び第1撮像装置14の動作モードを仮想視点範囲表示モードに設定する。具体的には、制御部76Aは、ストレージ78から仮想視点範囲特定プログラム88を読み出し、読み出した仮想視点範囲特定プログラム88をメモリ80上で実行することで、後述する仮想視点範囲特定処理(
図20参照)を実行する。その後、表示モード設定処理は、ステップST15へ移行する。
【0112】
一方、ステップST14では、制御部76Aは、情報処理装置12及び第1撮像装置14の動作モードを撮像範囲表示モードに設定する。具体的には、制御部76Aは、ストレージ78から撮像範囲特定プログラム90を読み出し、読み出した撮像範囲特定プログラム90をメモリ80上で実行することで、後述する撮像範囲特定処理(
図21参照)を実行する。その後、表示モード設定処理は、ステップST15へ移行する。
【0113】
ステップST15で、制御部76Aは、表示モード設定処理を終了する条件(以下、「表示モード設定処理終了条件」と称する)を満足したか否かを判定する。表示モード設定処理終了条件の一例としては、撮像モードを終了させる指示が受付デバイス74(
図5参照)によって受け付けられた、との条件が挙げられる。ステップST15において、表示モード設定処理終了条件を満足していない場合は、判定が否定されて、表示モード設定処理はステップST10へ移行する。ステップST15において、表示モード設定処理終了条件を満足した場合は、判定が肯定されて、表示モード設定処理が終了する。
【0114】
一例として
図20に示す仮想視点範囲特定処理は、仮想視点範囲特定処理を実行する指示が受付デバイス54又は74によって受け付けられた場合、すなわち、表示モード設定処理のステップST13において仮想視点範囲表示モードに設定された場合に、CPU76によって仮想視点範囲特定プログラム88に従って実行される。
【0115】
図20に示す仮想視点範囲特定処理では、先ず、ステップST20で、制御部76Aは、情報取得タイミングが到来したか否かを判定する。情報取得タイミングの一例としては、出力フレームレートで規定された時間間隔で区切られたタイミングが挙げられる。ステップST20において、情報取得タイミングが到来した場合には、判定が肯定されて、仮想視点範囲特定処理はステップST21へ移行する。ステップST20において、情報取得タイミングが到来していない場合には、判定が否定されて、仮想視点範囲特定処理はステップST28へ移行する。
【0116】
ステップST21で、判定部76Bは、第1撮像装置14から第1撮像装置位置情報を取得し、第2撮像装置16から第2撮像装置位置情報を取得し、GPS端末18から被写体位置特定情報を取得する。その後、仮想視点範囲特定処理はステップST22へ移行する。
【0117】
ステップST22で、判定部76Bは、ステップST21で取得した第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報を導出する。また、判定部76Bは、ステップST21で取得した第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報を導出する。その後、仮想視点範囲特定処理はステップST23へ移行する。
【0118】
ステップST23で、判定部76Bは、ステップST22で導出した第1撮像方向情報により示される第1撮像方向D1と、ステップST22で導出した第2撮像方向情報により示される第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度θ1が0度よりも大きく、かつ180度よりも小さいか否かを判定する。0度<θ1<180度を満足した場合には、判定が肯定されて、仮想視点範囲特定処理はステップST24へ移行する。0度<θ1<180度を満足していない場合、すなわちθ1=0度又はθ1=180度を満足した場合には、判定が否定されて、仮想視点範囲特定処理はステップST26へ移行する。
【0119】
ステップST24で、仮想視点範囲特定部76Cは、仮想視点範囲特定情報を生成する。仮想視点範囲特定情報は、角度θ1内の範囲を、第1撮像画像及び第2撮像画像を基に仮想視点画像を生成可能な仮想視点範囲として特定する情報である。仮想視点範囲特定部76Cは、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報に基づいて、仮想視点範囲特定情報を導出する。その後、仮想視点範囲特定処理はステップST25へ移行する。
【0120】
ステップST25で、仮想視点範囲特定部76Cは、ステップST24で導出した仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、仮想視点範囲特定部76Cから入力された仮想視点範囲特定情報に基づいて、仮想視点範囲画像及び第1補助メッセージを生成する。仮想視点範囲画像は、特定された仮想視点範囲を示す画像である。CPU60は、生成した仮想視点範囲画像及び第1補助メッセージをディスプレイ46に表示させる。その後、仮想視点範囲特定処理はステップST28へ移行する。
【0121】
一方、ステップST26で、警告情報生成部76Dは、警告情報を生成する。警告情報は、角度θ1内の範囲が仮想視点範囲でないことをユーザ(例えば、第1人物26)に対してアラートする情報である。その後、仮想視点範囲特定処理はステップST27へ移行する。
【0122】
ステップST27で、警告情報生成部76Dは、ステップST26で生成した警告情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、警告情報生成部76Dから入力された警告情報に基づいて、警告画像及び警告メッセージを生成し、生成した警告画像及び警告メッセージをディスプレイ46に表示させる。警告画像及び警告メッセージは、仮想視点範囲が特定不可能なことをユーザ(例えば、第1人物26)に知らせるための画像及びメッセージである。その後、仮想視点範囲特定処理はステップST28へ移行する。
【0123】
ステップST28で、制御部76Aは、仮想視点範囲特定処理を終了する条件(以下、「仮想視点範囲特定処理終了条件」と称する)を満足したか否かを判定する。仮想視点範囲特定処理終了条件の一例としては、モード変更指示が受付デバイス54又は74によって受け付けられた、との条件が挙げられる。ステップST28において、仮想視点範囲特定処理終了条件を満足していない場合は、判定が否定されて、仮想視点範囲特定処理はステップST20へ移行する。ステップST28において、仮想視点範囲特定処理終了条件を満足した場合は、判定が肯定されて、仮想視点範囲特定処理が終了する。
【0124】
一例として
図21に示す撮像範囲特定処理は、撮像範囲特定処理を実行する指示が受付デバイス54又は74によって受け付けられた場合、すなわち、表示モード設定処理のステップST14において撮像範囲表示モードに設定された場合に、CPU76によって撮像範囲特定プログラム90に従って実行される。
【0125】
図21に示す撮像範囲特定処理では、先ず、ステップST30で、制御部76Aは、情報取得タイミングが到来したか否かを判定する。情報取得タイミングの一例としては、出力フレームレートで規定された時間間隔で区切られたタイミングが挙げられる。ステップST30において、情報取得タイミングが到来した場合には、判定が肯定されて、撮像範囲特定処理はステップST31へ移行する。ステップST30において、情報取得タイミングが到来していない場合には、判定が否定されて、撮像範囲特定処理はステップST35へ移行する。
【0126】
ステップST31で、撮像範囲特定部76Eは、第1撮像装置14から第1撮像装置位置情報及び第1画角情報を取得し、第2撮像装置16から第2撮像装置位置情報及び第2画角情報を取得し、GPS端末18から被写体位置特定情報を取得する。その後、撮像範囲特定処理はステップST32へ移行する。
【0127】
ステップST32で、撮像範囲特定部76Eは、ステップST31で取得された第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報を導出する。また、撮像範囲特定部76Eは、ステップST31で取得された第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報を導出する。その後、撮像範囲特定処理はステップST33へ移行する。
【0128】
ステップST33で、撮像範囲特定部76Eは、ステップST31で取得された第1撮像装置位置情報、第2撮像装置位置情報、第1画角情報、及び第2画角情報、及びステップST32で導出された第1撮像方向情報及び第2撮像方向情報に基づいて、撮像範囲情報を生成する。撮像範囲情報は、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成可能な撮像範囲であって、第1撮像装置14及び第2撮像装置16による重複した撮像範囲に関する情報である。その後、撮像範囲特定処理はステップST34へ移行する。
【0129】
ステップST34で、撮像範囲特定部76Eは、ステップST33で生成した撮像範囲情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、撮像範囲特定部76Eから入力された撮像範囲情報に基づいて、撮像範囲画像及び第2補助メッセージを生成する。撮像範囲画像は、第1撮像画像及び第2撮像画像を基に仮想視点画像を生成可能な撮像範囲を示す画像であり、第1撮像装置14及び第2撮像装置16による重複した撮像範囲を示す画像である。第2補助メッセージは、撮像範囲内に存在する被写体を示す仮想視点画像を生成可能であることをユーザ(例えば、第1人物26)に対して知覚させるためのメッセージである。CPU60は、ディスプレイ46に対して、撮像範囲画像及び第2補助メッセージを表示させる。その後、撮像範囲特定処理はステップST35へ移行する。
【0130】
ステップST35で、制御部76Aは、撮像範囲特定処理を終了する条件(以下、「撮像範囲特定処理終了条件」と称する)を満足したか否かを判定する。撮像範囲特定処理終了条件の一例としては、モード変更指示が受付デバイス54又は74(
図5参照)によって受け付けられた、との条件が挙げられる。ステップST35において、撮像範囲特定処理終了条件を満足していない場合は、判定が否定されて、撮像範囲特定処理はステップST30へ移行する。ステップST35において、撮像範囲特定処理終了条件を満足した場合は、判定が肯定されて、撮像範囲特定処理が終了する。
【0131】
なお、本第1実施形態では、仮想視点範囲は0度<θ1<180度の範囲で特定されたが、本開示の技術はこれに限定されない。0度及び180度の数値は一例であり、仮想視点範囲は、仮想視点画像が生成可能な範囲に適宜設定される。
【0132】
以上説明したように、本第1実施形態によれば、情報処理装置12は、撮像装置位置情報及び撮像方向情報を取得する。情報処理装置12は、第1撮像方向D1と第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度θ1内の範囲を仮想視点範囲として特定可能な仮想視点範囲特定情報を生成し、生成した仮想視点範囲特定情報を第1撮像装置14へ出力する。従って、第1実施形態による情報処理装置12及び第1撮像装置14によれば、仮想視点画像を生成可能な視点位置の決定を補助することができる。
【0133】
また、本第1実施形態では、
図20に示す仮想視点範囲特定処理において、ステップST20で情報取得タイミングが到来する毎に、ステップST21で端末位置情報が取得され、ステップST22で撮像方向情報が導出される。ステップST21及びステップST22で端末位置情報及び撮像方向情報が取得される毎に、ステップST23で、0度<θ1<180度を満足するか否かの判定が行われる。ステップST23での判定結果に応じて、ステップST24で仮想視点範囲特定情報、又はステップST26で警告情報が生成される。従って、常に仮想視点範囲特定情報が固定されている場合に比べ、現状に応じた仮想視点範囲特定情報を高精度に導出することができる。
【0134】
また、本第1実施形態では、情報処理装置12は生成した仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14は、情報処理装置12から入力された仮想視点範囲特定情報に基づいて、仮想視点範囲を示す仮想視点範囲画像をディスプレイ46に出力する。従って、仮想視点範囲画像がディスプレイ46に出力されない場合に比べ、ユーザに対して、仮想視点範囲を視覚的に知覚させることができる。
【0135】
また、本第1実施形態では、判定部76Bは、撮像装置位置情報に加えて、特定被写体30の位置を特定する被写体位置特定情報を取得し、撮像装置位置情報及び取得した被写体位置特定情報に基づいて撮像方向情報を取得する。従って、特定被写体30の位置とは無関係な位置に関する情報を基に撮像方向情報が定められる場合に比べ、特定被写体30に対する撮像方向を高精度に得ることができる。
【0136】
また、本第1実施形態では、仮想視点範囲は、第1撮像装置14及び第2撮像装置16が特定被写体30に対して成す角度θ1及びθ2のうちの小さい側の角度θ1内の範囲である。従って、仮想視点範囲が、第1撮像装置14及び第2撮像装置16が特定被写体30に対して成す角度θ1及びθ2のうちの大きい側の角度θ2内の範囲である場合に比べ、仮想視点画像が生成されないという事態の発生を抑制することができる。
【0137】
また、本第1実施形態では、情報処理装置12は、撮像装置位置情報を出力する。従って、撮像装置位置情報が出力されない場合に比べ、ユーザに対して、複数の撮像装置の位置関係を把握させることができる。
【0138】
また、本第1実施形態では、情報処理装置12は、仮想視点範囲特定情報の出力先と同じ第1撮像装置14に撮像装置位置情報を出力する。従って、ユーザに対して、仮想視点範囲と共に、複数の撮像装置の位置関係を視覚的に知覚させることができる。
【0139】
また、本第1実施形態では、情報処理装置12は、複数の撮像装置の撮像装置位置情報、撮像方向情報、及び画角情報を取得し、取得した撮像装置位置情報、撮像方向情報、及び画角情報に基づいて撮像範囲情報を導出する。また、情報処理装置12は、導出した撮像範囲情報、及び撮像装置位置情報を出力する。撮像範囲情報は、複数撮像装置の撮像画像を基に仮想視点画像を生成可能な撮像範囲であって、複数の撮像装置による重複した撮像範囲に関する情報である。従って、撮像範囲情報を出力しない場合に比べ、ユーザに対して、仮想視点画像を生成可能な撮像範囲を把握させることができる。
【0140】
また、本第1実施形態では、情報処理装置12は、撮像範囲情報を、仮想視点範囲特定情報の出力先でもある第1撮像装置14へ出力する。従って、撮像範囲情報の出力先が、仮想視点範囲特定情報の出力先と異なる場合に比べ、ユーザに対して、仮想視点範囲と共に、仮想視点画像を生成可能な撮像範囲を視覚的に知覚させることができる。
【0141】
また、本第1実施形態では、情報処理装置12は、撮像範囲情報及び撮像装置位置情報を第1撮像装置14へ出力する。従って、撮像範囲情報及び撮像装置位置情報が第1撮像装置14に出力されない場合に比べ、ユーザに対して、撮像範囲及び撮像装置の位置を知覚させることができる。
【0142】
なお、上記第1実施形態では、情報処理装置12及び第1撮像装置14が仮想視点範囲表示モードに設定された場合には、ディスプレイ46に仮想視点範囲画像が表示され、撮像範囲表示モードに設定された場合には、撮像範囲画像が表示されたが、本開示の技術はこれに限定されない。
【0143】
一例として
図22に示すように、ディスプレイ46には、仮想視点範囲画像と撮像範囲画像とを重畳させた重畳画像が表示されてもよい。
図22において、斜線のハッチング領域は仮想視点範囲を示しており、格子状のハッチング領域は撮像範囲を示している。この場合、
図7に示す仮想視点範囲表示モードと撮像範囲表示モードとの切り替えは不要になるので、
図19に示す表示モード設定処理は実行されない。情報処理装置12のCPU76は、仮想視点範囲特定プログラム88と撮像範囲特定プログラム90とをメモリ80上で並行して実行することにより、
図20に示す仮想視点範囲特定処理と、
図21に示す撮像範囲特定処理とを並行して行う。
【0144】
また、上記第1実施形態では、
図20に示す仮想視点範囲特定処理において、ステップST21で端末位置情報、ステップST22で撮像方向情報が取得される毎に、ステップST23で0度<θ1<180度を満足するか否かの判定が行われた。ステップST23での判定結果に応じて、ステップST24で仮想視点範囲特定情報、又はステップST26で警告情報が生成されたが、本開示の技術はこれに限定されない。
【0145】
例えば、ステップST21で端末位置情報が取得され、ステップST22で撮像方向情報が導出された後、判定部76Bは撮像装置位置情報及び撮像方向情報のうちの少なくとも1つが、前回の情報取得タイミングで取得された情報から変更されているか否かを判定してもよい。変更されている場合には、判定部76BはステップST23の判定を行い、ステップST23の判定結果に応じて、ステップST24で仮想視点範囲特定情報、又はステップST26で警告情報が生成される。変更されていない場合には、仮想視点範囲特定処理はステップST23以降の工程を行わず、ステップST20へ移行する。
【0146】
また、上記第1実施形態では、情報処理装置12は、生成した仮想視点範囲特定情報を第1撮像装置14へ出力したが、本開示の技術はこれに限定されず、情報処理装置12は第1撮像装置14に加えて、第2撮像装置16に仮想視点範囲特定情報を出力してもよい。
【0147】
また、上記第1実施形態では、情報処理装置12のCPU76が、端末位置情報及び撮像方向情報を取得し、取得した端末位置情報及び撮像方向情報に基づいて仮想視点範囲特定情報を生成したが、本開示の技術はこれに限定されない。情報処理装置12は、本開示の技術に係る「仮想視点範囲特定情報に関する情報」の一例として端末位置情報及び撮像方向情報を第1撮像装置14に出力し、第1撮像装置14のCPU60が、情報処理装置12から端末位置情報及び撮像方向情報を取得し、取得した端末位置情報及び撮像方向情報に基づいて仮想視点範囲特定情報を生成してもよい。この場合、CPU60は、生成した仮想視点範囲特定情報をディスプレイ46に出力する。この場合も、上記第1実施形態と同様に、ユーザに対して、仮想視点範囲を視覚的に知覚させることができる。
【0148】
[第2実施形態]
一例として
図23に示すように、本第2実施形態に係る情報処理装置12において、CPU76は、警告情報生成部76Dに代えて、案内情報生成部76Fを備えている点で、上記第1実施形態によるCPU76と異なる。第2実施形態による情報処理装置12のその他の構成は、上記第1実施形態による情報処理装置12と同じであるので、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
【0149】
情報処理装置12のストレージ78には、表示モード設定プログラム86、仮想視点範囲特定プログラム88、及び撮像範囲特定プログラム90が記憶されている。表示モード設定プログラム86を実行することで行われる表示モード設定処理、及び撮像範囲特定プログラム90を実行することで行われる撮像範囲特定処理は、上記第1実施形態で説明した処理と同じであるので、ここでは説明を省略する。仮想視点範囲特定プログラム88を実行することで行われる仮想視点範囲特定処理について、以下に説明する。
【0150】
本第2実施形態による仮想視点範囲表示モードでは、CPU76は、ストレージ78から仮想視点範囲特定プログラム88を読み出し、読み出した仮想視点範囲特定プログラム88をメモリ80上で実行することで制御部76A、判定部76B、仮想視点範囲特定部76C、及び案内情報生成部76Fとして動作する。
【0151】
一例として
図24に示すように、判定部76Bは、第1撮像装置14から第1撮像装置位置情報を取得し、第2撮像装置16から第2撮像装置位置情報を取得し、GPS端末18から被写体位置特定情報を取得する。そして、判定部76Bは、第1撮像装置位置情報、第2撮像装置位置情報、及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報、及び第2撮像方向D2を示す第2撮像方向情報を取得する。具体的に説明すると、判定部76Bは、第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報を導出する。また、判定部76Bは、第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報を導出する。
【0152】
判定部76Bは、特定被写体30(
図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度θ1内の範囲が、仮想視点画像を生成可能な仮想視点範囲であるか否かを判定する。すなわち、角度θ1が、既定角度(例えば、175度)以下であり、かつ、既定角度内の過小な角度として予め定められた過小角度(例えば、5度)以上である場合に、判定部76Bは、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲であると判定する。
【0153】
一方、角度θ1<5度、又は、角度θ1>175度の場合には、判定部76Bは、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲でないと判定する。なお、過小角度は、第1撮像画像及び第2撮像画像に基づいた仮想視点画像の生成に適さない第1撮像装置14及び第2撮像装置16の位置の範囲を規定する角度である。ここで、既定角度は、本開示の技術に係る「第1角度」及び「第2角度」の一例であり、過小角度は、本開示の技術に係る「第1過小角度」及び「第2過小角度」の一例である。
【0154】
仮想視点範囲特定部76Cは、仮想視点範囲を特定する。具体的に説明すると、判定部76Bによって角度θ1内の範囲が仮想視点範囲であると判定された場合、仮想視点範囲特定部76Cは、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報を取得する。次いで、仮想視点範囲特定部76Cは、仮想視点範囲を特定可能な仮想視点範囲特定情報を、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報に基づいて導出する。そして、仮想視点範囲特定部76Cは、導出した仮想視点範囲特定情報を第1撮像装置14へ出力する。
【0155】
一方、判定部76Bによって、角度θ1内の範囲が仮想視点画像を生成可能な仮想視点範囲でないと判定された場合、案内情報生成部76Fは、案内情報を生成し、生成した案内情報を第1撮像装置14へ出力する。案内情報は、仮想視点画像を生成可能な角度θ1、すなわち、5度≦θ1≦175度を満たす角度θ1を得るために、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための情報である。案内情報は、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、第2撮像方向情報、及び移動方向情報を含む。移動方向情報とは、第1撮像装置14及び第2撮像装置16のうちの少なくとも一方を移動させる方向を示す情報である。ここで、案内情報は、本開示の技術に係る「第1案内情報」の一例である。
【0156】
一例として
図25に示すように、第1撮像装置14のCPU60は、案内情報生成部76Fから入力された案内情報に基づいて、案内画像及び案内メッセージを生成する。案内画像は、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための移動方向情報が示された画像である。案内メッセージは、仮想視点範囲が特定不可能であることをユーザ(例えば、第1人物26)に対して知覚させ、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するためのメッセージである。CPU60は、ディスプレイ46に対して、案内画像及び案内メッセージを表示させる。
【0157】
一例として
図26に示すように、特定被写体30(
図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度のうちの小さい側の角度θ1が5度より小さい場合には、第1撮像方向D1と第2撮像方向D2は同一ではないが近似しているため、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成することは困難である。また、角度θ1が175度より大きい場合にも、第1撮像方向D1と第2撮像方向D2は真逆に近いため、第1撮像画像と第2撮像画像とを基に仮想視点画像を生成することが困難である。
【0158】
この場合、案内画像には、サッカーフィールド平面視画像と、第1撮像装置14の現在の位置と、第2撮像装置16の現在の位置とが表示される。また、特定被写体30を基準として、第1撮像方向D1に対して5度より小さい角度を有する範囲、及び175度より大きい角度を有する範囲がハッチング領域として示される。さらに、第1撮像方向D1と第2撮像方向D2とが成す角度のうちの小さい側の角度θ1が5度≦θ1≦175度を満たすために、すなわち、第2撮像装置16をハッチング領域の外側に配置させるために、第1撮像装置14又は第2撮像装置16をどちらへ移動させればよいかを案内する矢印が、移動方向情報として示されている。具体的に説明すると、案内画像は、サッカーフィールド平面視画像に対して、第1撮像装置14の現在の位置を示すマークと、第2撮像装置16の現在の位置を示すマークと、ハッチング領域と、矢印とが重畳表示された画像である。
【0159】
第1撮像装置14の現在の位置は、第1撮像装置位置情報により示される位置である。第2撮像装置16の現在の位置は、第2撮像装置位置情報により示される位置である。
図26に示す例では、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々は、円形マークで示されている。なお、円形マークは一例に過ぎず、第1撮像装置14の現在の位置及び第2撮像装置16の現在の位置の各々の位置が視覚的に特定可能な画像であれば如何なる画像であってもよい。
【0160】
図26に示す位置で第1撮像装置14及び第2撮像装置16が撮像する場合、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、案内メッセージ及び案内画像が表示される。
図27に示す例では、案内画像として、
図26に示す案内画像と同様の画像が表示されており、案内メッセージとして、「現在の撮像位置では仮想視点画像の生成が困難です。一方のカメラをいずれかの矢印の方向へ移動させてください。」というメッセージが表示されている。
【0161】
次に、情報処理装置12で行われる仮想視点範囲特定処理の流れの一例を、
図28を参照して説明する。
【0162】
一例として
図28に示す仮想視点範囲特定処理は、仮想視点範囲特定処理を実行する指示が受付デバイス54又は74によって受け付けられた場合、すなわち、表示モード設定処理(
図19参照)のステップST13において仮想視点範囲表示モードに設定された場合に、CPU76によって仮想視点範囲特定プログラム88に従って実行される。
【0163】
図28に示す仮想視点範囲特定処理では、先ず、ステップST40で、制御部76Aは、情報取得タイミングが到来したか否かを判定する。情報取得タイミングの一例としては、出力フレームレートで規定された時間間隔で区切られたタイミングが挙げられる。ステップST40において、情報取得タイミングが到来した場合には、判定が肯定されて、仮想視点範囲特定処理はステップST41へ移行する。ステップST40において、情報取得タイミングが到来していない場合には、判定が否定されて、仮想視点範囲特定処理はステップST48へ移行する。
【0164】
ステップST41で、判定部76Bは、第1撮像装置14から第1撮像装置位置情報を取得し、第2撮像装置16から第2撮像装置位置情報を取得し、GPS端末18から被写体位置特定情報を取得する。その後、仮想視点範囲特定処理はステップST42へ移行する。
【0165】
ステップST42で、判定部76Bは、ステップST41で取得された第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報を導出する。また、判定部76Bは、ステップST41で取得された第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報を導出する。その後、仮想視点範囲特定処理はステップST43へ移行する。
【0166】
ステップST43で、判定部76Bは、ステップST42で導出された第1撮像方向D1と第2撮像方向D2とが成す角度のうちの小さい側の角度θ1が5度以上、かつ175度以下か否かを判定する。5度≦θ1≦175度を満足した場合には、判定が肯定されて、仮想視点範囲特定処理はステップST44へ移行する。5度≦θ1≦175度を満足していない場合、すなわちθ1<5度又はθ1>175度を満足した場合には、判定が否定されて、仮想視点範囲特定処理はステップST46へ移行する。
【0167】
ステップST44で、仮想視点範囲特定部76Cは、仮想視点範囲特定情報を生成する。仮想視点範囲特定情報は、角度θ1内の範囲を仮想視点範囲として特定する情報である。仮想視点範囲特定部76Cは、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、及び第2撮像方向情報に基づいて、仮想視点範囲特定情報を導出する。その後、仮想視点範囲特定処理はステップST45へ移行する。
【0168】
ステップST45で、仮想視点範囲特定部76Cは、ステップST44で導出した仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、仮想視点範囲特定部76Cから入力された仮想視点範囲特定情報に基づいて、仮想視点範囲画像及び第1補助メッセージを生成する(
図9参照)。仮想視点範囲画像は、特定された仮想視点範囲を示す画像である。CPU60は、生成した仮想視点範囲画像及び第1補助メッセージをディスプレイ46に表示させる(
図12参照)。その後、仮想視点範囲特定処理はステップST48へ移行する。
【0169】
一方、ステップST46で、案内情報生成部76Fは、案内情報を生成する。案内情報は、5度≦θ1≦175度を満たす角度θ1を得るために、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための情報である。その後、仮想視点範囲特定処理はステップST47へ移行する。
【0170】
ステップST47で、案内情報生成部76Fは、ステップST46で生成した案内情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、案内情報生成部76Fから入力された案内情報に基づいて、案内画像及び案内メッセージを生成し、生成した案内画像及び案内メッセージをディスプレイ46に表示させる。案内画像及び案内メッセージは、仮想視点範囲が特定不可能であることをユーザ(例えば、第1人物26)に対して知覚させ、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための画像及びメッセージである。その後、仮想視点範囲特定処理はステップST48へ移行する。
【0171】
ステップST48で、制御部76Aは、仮想視点範囲特定処理を終了する条件(以下、「仮想視点範囲特定処理終了条件」と称する)を満足したか否かを判定する。仮想視点範囲特定処理終了条件の一例としては、モード変更指示が受付デバイス74(
図5参照)によって受け付けられた、との条件が挙げられる。ステップST48において、仮想視点範囲特定処理終了条件を満足していない場合は、判定が否定されて、仮想視点範囲特定処理はステップST40へ移行する。ステップST48において、仮想視点範囲特定処理終了条件を満足した場合は、判定が肯定されて、仮想視点範囲特定処理が終了する。
【0172】
なお、本第2実施形態では、
図26に示すように、特定被写体30(
図1参照)に対して第1撮像方向D1と第2撮像方向D2とが成す角度のうちの小さい側の角度θ1が5度より小さい場合を例示したが、角度θ1が175度より大きい場合も考えられる。一例として
図29に示すように、案内画像には、サッカーフィールド平面視画像と、第1撮像装置14の現在の位置を示すマークと、角度θ1が175度より大きくなる位置に配置された第2撮像装置16の現在の位置を示すマークと、ハッチング領域と、移動方向情報としての矢印が重畳表示されている。
図29に示す案内
画像には、第1撮像装置14をどちらへ移動させればよいかを案内する矢印が示されている。
【0173】
図29に示す例では、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、案内メッセージ及び案内画像が表示される。
図29に示す例では、案内メッセージとして、「現在の撮像位置では仮想視点画像の生成が困難です。カメラをいずれかの矢印の方向へ移動させてください。」という、第1撮像装置14の移動を促すメッセージが表示されている。
【0174】
なお、
図29に示す案内画像では第1撮像装置14の移動を促す移動方向情報及び案内メッセージが表示されていたが、本開示の技術はこれに限定されない。一例として
図30に示すように、第2撮像装置16の移動を促す移動方向情報を含む案内画像及び案内メッセージをディスプレイ46に表示させてもよい。
図30に示す例では、案内メッセージとして、「現在の撮像位置では仮想視点画像の生成が困難です。第2カメラをいずれかの矢印の方向へ移動させてください。」という、第2撮像装置16の移動を促すメッセージが表示されている。
【0175】
なお、本第2実施形態では、仮想視点範囲は5度≦θ1≦175度の範囲で特定されたが、本開示の技術はこれに限定されない。5度及び175度の数値は一例であり、仮想視点範囲は、仮想視点画像が生成可能な範囲に適宜設定される。
【0176】
以上説明したように、本第2実施形態によれば、仮想視点範囲は、既定角度(例えば、175度)以内であり、かつ、既定角度内の過小な角度として予め定められた過小角度(例えば、5度)を以上の角度内の範囲である。従って、過小角度が定められていない場合に比べ、複数の撮像装置の位置が近過ぎることに起因して仮想視点画像が生成されないという事態の発生を抑制することができる。
【0177】
また、本第2実施形態によれば、過小角度は、複数の撮像画像を基に仮想視点画像の生成に適さない撮像装置の位置の範囲を規定する角度である。従って、過小角度が、仮想視点画像の生成に適さない撮像装置の位置の範囲を規定する角度でない場合に比べ、複数の撮像装置の位置が仮想視点画像を生成不可能な位置であるにも関わらず、位置を変更することなく複数の撮像装置によって撮像が行われるという事態の発生を抑制することができる。
【0178】
また、本第2実施形態によれば、情報処理装置12は、特定被写体30に対して複数の撮像装置の撮像方向がなす角度θ1及びθ2のうちの小さい側の角度θ1が5度より小さい場合に、複数の撮像装置のうちの少なくとも1つの撮像装置の位置を、角度θ1が5度以上かつ175度以下に収まる位置に案内する案内情報を出力する。従って、撮像装置の位置が案内されない場合に比べ、撮像装置を、仮想視点画像を生成可能な複数の撮像画像を得られる位置に適切に配置することができる。
【0179】
また、本第2実施形態によれば、案内情報は、第1撮像装置14又は第2撮像装置16を、角度θ1が5度以上かつ175度以下に収まる位置に案内する情報である。従って、仮想視点画像を生成可能な複数の撮像画像を得るために第1撮像装置14及び第2撮像装置16の両方を案内する場合に比べ、撮像装置の位置の調整に要する手間を軽減することができる。
【0180】
また、本第2実施形態によれば、情報処理装置12は、仮想視点範囲特定情報の出力先と同じ出力先、すなわち、第1撮像装置14に案内情報を出力する。従って、ユーザに対して、仮想視点範囲と共に、仮想視点画像を生成可能な複数の撮像画像を得るための撮像装置の位置を視覚的に知覚させることができる。
【0181】
[第3実施形態]
一例として
図31に示すように、本第3実施形態に係る情報処理装置12は、ストレージ78に案内情報生成プログラム91が記憶されており、CPU76が視点位置検出部76Gを備えている点で、上記第2実施形態による情報処理装置12と異なる。第3実施形態による情報処理装置12のその他の構成は、上記第2実施形態による情報処理装置12と同じであるので、上記実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
【0182】
情報処理装置12のストレージ78には、表示モード設定プログラム86、仮想視点範囲特定プログラム88、撮像範囲特定プログラム90、及び案内情報生成プログラム91が記憶されている。なお、以下では、案内情報生成プログラム91を、表示モード設定プログラム86、仮想視点範囲特定プログラム88、及び撮像範囲特定プログラム90と区別して説明する必要がない場合、案内情報生成プログラム91も併せて、符号を付さずに「情報処理装置プログラム」と称する。
【0183】
表示モード設定プログラム86を実行することで行われる表示モード設定処理、及び撮像範囲特定プログラム90を実行することで行われる撮像範囲特定処理は、上記第1実施形態で説明した処理と同じであるので、ここでは説明を省略する。仮想視点範囲特定プログラム88を実行することで行われる仮想視点範囲特定処理は、上記第2実施形態で説明した処理と同じであるので、ここでは説明を省略する。案内情報生成プログラム91を実行することで行われる案内情報生成処理について、以下に説明する。
【0184】
CPU76は、ストレージ78から案内情報生成プログラム91を読み出し、読み出した案内情報生成プログラム91をメモリ80上で実行することで制御部76A、判定部76B、案内情報生成部76F、及び視点位置検出部76Gとして動作する。
【0185】
一例として
図32に示すように、本第3実施形態による仮想視点範囲表示モードでは、上記第1実施形態による仮想視点範囲表示モードと同様の仮想視点範囲画像が生成される。
図32は、第1撮像装置14のディスプレイ46に表示された仮想視点範囲画像を示す。仮想視点範囲画像には、第1撮像方向D1と第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度θ1内のハッチング領域が、仮想視点範囲として示されている。上記第2実施形態と同様に、仮想視点範囲は、角度θ1が、既定角度(例えば、175度)以下であり、かつ、既定角度内の過小な角度として予め定められた過小角度(例えば、5度)以上であることを条件に規定される。
【0186】
ユーザが、例えば指又はスタイラスペン等の指示体を用いて、タッチパネル・ディスプレイ44上で仮想視点画像に接触した場合、視点位置検出部76Gは接触位置を視点位置として検出する。視点位置は、仮想視点画像を生成するための仮想視点の位置であり、ユーザによって指定される。
図32に示す例では、タッチパネル・ディスプレイ44上の接触位置に対応するサッカーフィールド22上の位置が視点位置として示されている。
【0187】
本第3実施形態による仮想視点範囲表示モードでは、一例として
図33に示すように、判定部76Bは、仮想視点範囲特定部76Cから、仮想視点範囲を示す仮想視点範囲特定情報を取得し、視点位置検出部76Gから、視点位置を示す視点位置情報を取得する。ここで、視点位置は、本開示の技術に係る「視点位置」の一例であり、視点位置情報は、本開示の技術に係る「視点位置情報」の一例である。
【0188】
判定部76Bは、ユーザにより指定された視点位置が仮想視点範囲内であるか否かを判定する。視点位置が仮想視点範囲内である場合に、判定部76Bは、案内情報生成部76Fによる案内情報の生成は不要だと判断して、仮想視点範囲特定情報を第1撮像装置14に出力する。一方、視点位置が仮想視点範囲外である場合に、判定部76Bは、案内情報生成部76Fによる案内情報の生成が必要だと判断する。
【0189】
案内情報生成部76Fは、案内情報を生成し、生成した案内情報を第1撮像装置14へ出力する。案内情報とは、ユーザによって指定された視点位置から特定被写体30を見た仮想視点画像を生成するのに必要な複数の撮像画像を得るために、第1撮像装置14又は第2撮像装置16を、5度≦角度θ1≦175度を満たす位置に案内するための情報である。案内情報は、第1撮像装置位置情報、第2撮像装置位置情報、第1撮像方向情報、第2撮像方向情報、及び移動方向情報を含む。移動方向情報は、第1撮像装置14及び第2撮像装置16のうちの少なくとも一方を移動させる方向を示す情報である。ここで、案内情報は、本開示の技術に係る「第2案内情報」の一例である。
【0190】
第1撮像装置14のCPU60は、案内情報生成部76Fから入力された案内情報に基づいて、案内画像及び案内メッセージを生成する。案内画像は、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための移動方向情報が示された画像である。案内メッセージは、現在の撮像装置の位置で撮像されることで得られた撮像画像からユーザ(例えば、第1人物26)が望む仮想視点画像を生成できない旨をユーザに対して知覚させ、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するためのメッセージである。CPU60は、ディスプレイ46に対して、案内画像及び案内メッセージを表示させる。
【0191】
一例として
図34に示すように、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、案内メッセージ及び案内画像が表示される。
図34に示す例では、案内画像として、
図33に示す案内画像と同様の画像が表示されており、案内メッセージとして、「現在の撮像位置では仮想視点画像を生成できません。第1カメラを矢印の方向へ移動させてください。」というメッセージが表示されている。
【0192】
次に、情報処理装置12で行われる案内情報生成処理の流れの一例を、
図35を参照して説明する。なお、以下では、案内情報生成処理を、表示モード設定処理、仮想視点範囲特定処理、及び撮像範囲特定処理と区別して説明する必要がない場合、案内情報生成処理も併せて「情報処理装置側処理」と称する。
【0193】
一例として
図35に示す案内情報生成処理は、情報処理装置12及び第1撮像装置14が案内情報生成機能を有する場合に、第2実施形態による仮想視点範囲特定処理のステップST44(
図20参照)の後に実行される。案内情報生成処理は、CPU76によって、案内情報生成プログラム91に従って実行される。
【0194】
図35に示す案内情報生成処理では、先ず、ステップST50で、制御部76Aは、情報取得タイミングが到来したか否かを判定する。情報取得タイミングの一例としては、出力フレームレートで規定された時間間隔で区切られたタイミングが挙げられる。ステップST50において、情報取得タイミングが到来した場合には、判定が肯定されて、
案内情報生成処理はステップST51へ移行する。ステップST50において、情報取得タイミングが到来していない場合には、判定が否定されて、
案内情報生成処理はステップST56へ移行する。
【0195】
ステップST51で、判定部76Bは、仮想視点範囲特定部76Cから仮想視点範囲特定情報を取得し、視点位置検出部76Gから視点位置情報を取得する。その後、案内情報生成処理はステップST52へ移行する。
【0196】
ステップST52で、判定部76Bは、ステップST51で取得された仮想視点範囲特定情報及び視点位置情報に基づいて、ユーザにより指定された視点位置が仮想視点範囲外か否かを判定する。視点位置が仮想視点範囲外である場合には、判定が肯定されて、案内情報生成処理はステップST53へ移行する。視点位置が仮想視点範囲内である場合には、判定が否定されて、案内情報生成処理はステップST55へ移行する。
【0197】
ステップST53で、案内情報生成部76Fは、案内情報を生成する。案内情報は、ユーザによって指定された視点位置から特定被写体30を見た仮想視点画像を生成するのに必要な複数の撮像画像を得るために、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための情報である。案内情報生成部76Fは、仮想視点範囲特定情報及び視点位置情報に基づいて、案内情報を導出する。その後、案内情報生成処理はステップST54へ移行する。
【0198】
ステップST54で、案内情報生成部76Fは、ステップST53で導出した案内情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、案内情報生成部76Fから入力された案内情報に基づいて、案内画像及び案内メッセージを生成する。案内画像には、第1撮像装置14又は第2撮像装置16をどの方向へ移動させればよいか案内するための移動方向情報が含まれる。CPU60は、生成した案内画像及び案内メッセージをディスプレイ46に表示させる。その後、案内情報生成処理はステップST56へ移行する。
【0199】
一方、ステップST55で、判定部76Bは、仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、判定部76Bから入力された仮想視点範囲特定情報に基づいて、仮想視点範囲画像及び第1補助メッセージを生成し、生成した仮想視点範囲画像及び第1補助メッセージをディスプレイ46に表示させる。その後、案内情報生成処理はステップST56へ移行する。
【0200】
ステップST56で、制御部76Aは、案内情報生成処理を終了する条件(以下、「案内情報生成処理終了条件」と称する)を満足したか否かを判定する。案内情報生成処理終了条件の一例としては、モード変更指示が受付デバイス54又は74によって受け付けられた、との条件が挙げられる。ステップST56において、案内情報生成処理終了条件を満足していない場合は、判定が否定されて、案内情報生成処理はステップST50へ移行する。ステップST56において、案内情報生成処理終了条件を満足した場合は、判定が肯定されて、案内情報生成処理が終了する。
【0201】
以上説明したように、本第3実施形態によれば、仮想視点範囲は、特定被写体30に対して複数の撮像装置の撮像方向が成す角度θ1及びθ2のうち小さい側の角度θ1の既定角度(例えば、175度)内の範囲である。情報処理装置12は、仮想視点画像に対する仮想視点を示す視点位置情報を受け付け、視点位置が仮想視点範囲外の場合に、第1撮像装置14の位置を既定角度内に収まる位置に案内する案内情報を出力する。従って、視点位置が仮想視点範囲外であったとしても、仮想視点画像を生成可能な撮像画像を得られる位置に第1撮像装置14を案内することができる。
【0202】
また、本第3実施形態によれば、仮想視点範囲は、既定角度(例えば、175度)以下であり、かつ、既定角度内の過小な角度として予め定められた過小角度(例えば、5度)以上の角度内の範囲である。案内情報は、第1撮像装置14の位置を、過小角度以上かつ既定角度以下に収まる位置に案内する情報である。従って、視点位置が仮想視点範囲外であったとしても、過小角度内の位置に第1撮像装置14が案内されることを回避することができる。
【0203】
また、本第3実施形態によれば、案内情報は、第1撮像装置14の位置を、過小角度以上かつ既定角度以下の角度に収まる位置に案内する情報である。従って、仮想視点画像を生成可能な複数の撮像画像を得るために、第1撮像装置14及び第2撮像装置16の両方の位置を案内する場合に比べ、視点位置が仮想視点範囲外であったとしても、仮想視点画像を生成可能な複数の撮像画像を得るための撮像装置の位置の調整に要する手間を軽減することができる。
【0204】
また、本第3実施形態によれば、情報処理装置12は、仮想視点範囲特定情報の出力先と同じ第1撮像装置14に案内情報を出力する。従って、仮想視点範囲特定情報の出力先と同じ出力先に案内情報が出力されない場合に比べ、視点位置が仮想視点範囲外であったとしても、ユーザに対して、仮想視点範囲と共に、仮想視点画像を生成可能な複数の撮像画像を得るための撮像装置の位置を視覚的に知覚させることができる。
【0205】
なお、上記第3実施形態では、案内情報生成部76Fは、第1撮像装置14の位置を移動させるための案内情報を生成したが、本開示の技術はこれに限定されない。案内情報生成部76Fは、第2撮像装置16の位置を移動させるための案内情報を生成してもよいし、又は、第1撮像装置14及び第2撮像装置16の両方の位置を移動させるための案内情報を生成してもよい。
【0206】
[第4実施形態]
一例として
図36に示すように、本第4実施形態に係る情報処理装置12は、ストレージ78に仮想視点範囲特定プログラム88の代わりに撮像装置範囲特定プログラム89が記憶されており、CPU76が警告情報生成部76Dの代わりに撮像装置範囲特定部76Hを備えている点で、上記第1実施形態による情報処理装置12と異なる。第4実施形態による情報処理装置12のその他の構成は、上記第1実施形態による情報処理装置12と同じであるので、上記実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
【0207】
情報処理装置12のストレージ78には、表示モード設定プログラム86、撮像範囲特定プログラム90、及び撮像装置範囲特定プログラム89が記憶されている。なお、以下では、撮像装置範囲特定プログラム89を、表示モード設定プログラム86、仮想視点範囲特定プログラム88、撮像範囲特定プログラム90、及び案内情報生成プログラム91と区別して説明する必要がない場合、撮像装置範囲特定プログラム89も併せて、符号を付さずに「情報処理装置プログラム」と称する。
【0208】
表示モード設定プログラム86を実行することで行われる表示モード設定処理、及び撮像範囲特定プログラム90を実行することで行われる撮像範囲特定処理は、上記第1実施形態で説明した処理と同じであるので、ここでは説明を省略する。撮像装置範囲特定プログラム89を実行することで行われる撮像装置範囲特定処理について、以下に説明する。
【0209】
CPU76は、ストレージ78から撮像装置範囲特定プログラム89を読み出し、読み出した撮像装置範囲特定プログラム89をメモリ80上で実行することで制御部76A、判定部76B、仮想視点範囲特定部76C、及び撮像装置範囲特定部76Hとして動作する。
【0210】
一例として
図37に示すように、本第4実施形態による仮想視点範囲表示モードでは、複数の撮像装置の被写体距離及びズーム能力のうちの少なくとも1つに基づいて、複数の撮像画像の品質が既定範囲に収まる撮像装置の位置の範囲が、撮像装置範囲として、撮像装置範囲画像に示される。撮像装置範囲は、特定被写体30から特定の距離Rで規定される範囲であり、距離Rは複数の撮像装置の被写体距離及びズーム能力のうちの少なくとも1つに基づいて定められる。撮像装置範囲画像には、特定被写体30を中心、距離Rを半径とした円が表示される。
図37で示された円の内側で、角度θ1で規定された扇形内のハッチング領域が撮像装置範囲である。角度θ1は、上記実施形態で説明したのと同様に、第1撮像方向D1と第2撮像方向D2とが成す角度θ1及びθ2のうちの小さい側の角度である。
【0211】
本第4実施形態による仮想視点範囲表示モードでは、一例として
図38に示すように、撮像装置範囲特定部76Hは、第1撮像装置14から第1撮像装置位置情報、第1画角情報、及び第1光学ズーム倍率を取得する。撮像装置範囲特定部76Hは、第2撮像装置16から第2撮像装置位置情報、第2画角情報、及び第2光学ズーム倍率を取得する。また、撮像装置範囲特定部76Hは、GPS端末18から被写体位置特定情報を取得する。なお、以下では、第1画角情報及び第2画角情報を区別して説明する必要がない場合、「画角情報」と称する。また、以下では、第1光学ズーム倍率及び第2光学ズーム倍率を区別して説明する必要がない場合、「光学ズーム倍率」と称する。ここで、第1光学ズーム倍率及び第2光学ズーム倍率は、本開示の技術に係る「ズーム能力」の一例である。
【0212】
撮像装置範囲特定部76Hは、第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報及び第1被写体距離を導出する。また、撮像装置範囲特定部76Hは、第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報及び第2被写体距離を導出する。なお、ここで、第1被写体距離及び第2被写体距離は、本開示の技術に係る「被写体距離」の一例である。以下では、第1被写体距離及び第2被写体距離を区別して説明する必要がない場合、「被写体距離」と称する。
【0213】
撮像装置範囲特定部76Hは、第1被写体距離、第2被写体距離、第1光学ズーム倍率、及び第2光学ズーム倍率に基づいて、撮像装置範囲特定情報を生成する。撮像装置範囲特定情報とは、第1撮像装置14及び第2撮像装置16によって取得される第1撮像画像及び第2撮像画像の品質(例えば、特定被写体30を示す画像の大きさ、及び/又は、撮像画像の解像度)が既定範囲に収まる第2撮像装置16の位置の範囲を特定可能な情報である。既定範囲は、官能試験及び/又はコンピュータ・シミュレーション等によって予め導き出された固定値であってもよいし、受付デバイス54又は74によって受け付けられた指示に従って変更可能な可変値であってもよい。なお、撮像装置範囲特定情報は、被写体距離及び光学ズーム倍率のうちの少なくとも一方に基づいて生成されてもよい。ここで、撮像装置範囲特定情報は、本開示の技術に係る「撮像装置範囲特定情報」の一例である。
【0214】
判定部76Bは、第2撮像装置16の位置が、撮像装置範囲特定情報で特定された撮像装置範囲内であるか否かを判定する。撮像装置範囲とは、第1撮像画像及び第2撮像画像の品質が既定範囲に収まる第2撮像装置16の位置の範囲を指す。
【0215】
第2撮像装置16の位置が撮像装置範囲内である場合、判定部76Bは、仮想視点画像が生成可能であると判断する。この場合、上記第1実施形態と同様に、仮想視点範囲特定部76Cは仮想視点範囲特定情報を生成し、生成した仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、仮想視点範囲特定部76Cから入力された仮想視点範囲特定情報に基づいて、仮想視点範囲画像及び第1補助メッセージを生成する。仮想視点範囲画像及び第1補助メッセージは、上記第1実施形態で説明したものと同様であるので、説明を省略する。
【0216】
一方、第2撮像装置16の位置が撮像装置範囲外である場合、判定部76Bは仮想視点画像が生成不可能であると判断する。この場合、撮像装置範囲特定部76Hは、撮像装置範囲特定情報を第1撮像装置14へ出力する。
【0217】
第1撮像装置14のCPU60は、撮像装置範囲特定部76Hから入力された撮像装置範囲特定情報に基づいて、撮像装置範囲画像及び案内メッセージを生成する。撮像装置範囲画像は、サッカーフィールド平面視画像に対して、第1撮像装置14の現在の位置を示すマークと、第2撮像装置16の現在の位置を示すマークと、撮像装置範囲とが重畳された画像である。案内メッセージは、現在の第2撮像装置16の位置で撮像されることで得られた撮像画像から仮想視点画像を生成できない旨をユーザに対して知覚させ、第2撮像装置16を移動させる案内をするためのメッセージである。CPU60は、ディスプレイ46に対して、撮像装置範囲画像及び案内メッセージを表示させる。
【0218】
一例として
図39に示すように、第1撮像装置14のディスプレイ46には、第1撮像画像がライブビュー画像として表示され、かつ、案内メッセージ及び撮像装置範囲画像が表示される。
図39に示す例では、撮像装置範囲画像として、
図38に示す撮像装置範囲画像と同様の画像が表示されており、案内メッセージとして、「第2カメラが被写体から遠すぎます。第2カメラを斜線領域内へ移動させてください。」というメッセージが表示されている。
【0219】
次に、情報処理装置12で行われる撮像装置範囲特定処理の流れの一例を、
図40を参照して説明する。なお、以下では、撮像装置範囲特定処理を、表示モード設定処理、仮想視点範囲特定処理、撮像範囲特定処理、及び案内情報生成処理と区別して説明する必要がない場合、撮像装置範囲特定処理も併せて「情報処理装置側処理」と称する。
【0220】
一例として
図40に示す撮像装置範囲特定処理は、仮想視点範囲特定処理を実行する指示が受付デバイス54又は74によって受け付けられた場合、すなわち、表示モード設定処理(
図19参照)のステップST13において仮想視点範囲表示モードに設定された場合に、CPU76によって撮像装置範囲特定プログラム89に従って実行される。
【0221】
図40に示す撮像装置範囲特定処理では、先ず、ステップST60で、制御部76Aは、情報取得タイミングが到来したか否かを判定する。情報取得タイミングの一例としては、出力フレームレートで規定された時間間隔で区切られたタイミングが挙げられる。ステップST60において、情報取得タイミングが到来した場合には、判定が肯定されて、撮像装置範囲特定処理はステップST61へ移行する。ステップST60において、情報取得タイミングが到来していない場合には、判定が否定されて、撮像装置範囲特定処理はステップST68へ移行する。
【0222】
ステップST61で、撮像装置範囲特定部76Hは、第1撮像装置14から第1撮像装置位置情報、第1画角情報、及び第1光学ズーム倍率を取得する。また、撮像装置範囲特定部76Hは、第2撮像装置16から第2撮像装置位置情報、第2画角情報、及び第2光学ズーム倍率を取得する。更に、撮像装置範囲特定部76Hは、GPS端末18から被写体位置特定情報を取得する。その後、撮像装置範囲特定処理はステップST62へ移行する。
【0223】
ステップST62で、撮像装置範囲特定部76Hは、第1撮像装置位置情報及び被写体位置特定情報に基づいて、第1撮像方向D1を示す第1撮像方向情報及び第1被写体距離を導出する。また、撮像装置範囲特定部76Hは、第2撮像装置位置情報及び被写体位置特定情報に基づいて、第2撮像方向D2を示す第2撮像方向情報及び第2被写体距離を導出する。その後、撮像装置範囲特定処理はステップST63へ移行する。
【0224】
ステップST63で、撮像装置範囲特定部76Hは、第1被写体距離、第2被写体距離、第1光学ズーム倍率、及び第2光学ズーム倍率に基づいて、撮像装置範囲特定情報を生成する。撮像装置範囲特定情報とは、第1撮像装置14及び第2撮像装置16によって取得される第1撮像画像及び第2撮像画像の品質が既定範囲に収まる第2撮像装置16の位置の範囲を特定可能な情報である。その後、撮像装置範囲特定処理はステップST64へ移行する。
【0225】
ステップST64で、判定部76Bは、第2撮像装置16の位置が、撮像装置範囲特定情報で特定された撮像装置範囲内であるか否かを判定する。第2撮像装置16の位置が撮像装置範囲内である場合には、判定が肯定されて、撮像装置範囲特定処理はステップST65へ移行する。第2撮像装置16の位置が撮像装置範囲外である場合には、判定が否定されて、撮像装置範囲特定処理はステップST67へ移行する。
【0226】
ステップST65で、仮想視点範囲特定部76Cは、仮想視点範囲を特定可能な仮想視点範囲特定情報を生成する。その後、撮像装置範囲特定処理はステップST66へ移行する。
【0227】
ステップST66で、仮想視点範囲特定部76Cは、ステップST65で生成された仮想視点範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、仮想視点範囲特定部76Cから入力された仮想視点範囲特定情報に基づいて、仮想視点画像及び第1補助メッセージを生成する。CPU60は、生成した仮想視点画像及び第1補助メッセージをディスプレイ46に表示させる。その後、撮像装置範囲特定処理はステップST68へ移行する。
【0228】
一方、ステップST67で、撮像装置範囲特定部76Hは、撮像装置範囲特定情報を第1撮像装置14へ出力する。第1撮像装置14のCPU60は、撮像装置範囲特定部76Hから入力された撮像装置範囲特定情報に基づいて、撮像装置範囲画像及び案内メッセージを生成し、生成した撮像装置範囲画像及び案内メッセージをディスプレイ46に表示させる。その後、撮像装置範囲特定処理はステップST68へ移行する。
【0229】
ステップST68で、制御部76Aは、撮像装置範囲特定処理を終了する条件(以下、「撮像装置範囲特定処理終了条件」と称する)を満足したか否かを判定する。撮像装置範囲特定処理終了条件の一例としては、モード変更指示が受付デバイス54又は74によって受け付けられた、との条件が挙げられる。ステップST68において、撮像装置範囲特定処理終了条件を満足していない場合は、判定が否定されて、撮像装置範囲特定処理はステップST60へ移行する。ステップST68において、撮像装置範囲特定処理終了条件を満足した場合は、判定が肯定されて、撮像装置範囲特定処理が終了する。
【0230】
以上説明したように、本第4実施形態によれば、情報処理装置12は、特定被写体30に対する複数の撮像装置の被写体距離及びズーム能力のうちの少なくとも1つに基づいて、複数の撮像画像の品質が既定範囲に収まる第2撮像装置16の位置の範囲を特定可能な撮像装置範囲特定情報を導出し、導出した撮像装置範囲特定情報を出力する。従って、撮像装置範囲特定情報が出力されない場合に比べ、既定品質以上の仮想視点画像を生成可能な撮像画像を得るための第2撮像装置16の位置の範囲を、ユーザに対して把握させることができる。
【0231】
また、本第4実施形態によれば、撮像装置範囲特定部76Hは、仮想視点範囲特定情報の出力先と同じ第1撮像装置14に撮像装置範囲特定情報を出力する。従って、ユーザに対して、仮想視点範囲と共に、既定品質以上の仮想視点画像を生成可能な複数の撮像画像を得るための第2撮像装置16の位置の範囲を視覚的に知覚させることができる。
【0232】
なお、上記第4実施形態では、撮像装置範囲特定部76Hは、第2撮像装置16の位置を移動させるための案内情報を生成したが、本開示の技術はこれに限定されない。撮像装置範囲特定部76Hは、第1撮像装置14の位置を移動させるための案内情報を生成してもよいし、又は、第1撮像装置14及び第2撮像装置16の両方の位置を移動させるための案内情報を生成してもよい。
【0233】
なお、上記各実施形態では、
図3に示すように、第1撮像装置14及び第2撮像装置16はそれぞれディスプレイ46を有しているが、本開示の技術はこれに限定されず、第1撮像装置14及び第2撮像装置16のうち少なくとも一方の撮像装置がディスプレイ46を有していればよい。情報処理装置12は、ディスプレイ46を有する方の撮像装置に仮想視点範囲特定情報を出力する。仮想視点範囲特定情報を受け付けた撮像装置は、仮想視点範囲特定情報に基づいて、仮想視点範囲を示す仮想視点範囲画像と、第1補助メッセージとをディスプレイ46に表示する。本構成では、複数の撮像装置のうちのディスプレイ46を有する撮像装置を使用する人物が、残りの撮像装置を使用する人物に対して撮像位置を指示する。本構成によれば、全ての撮像装置がディスプレイ46を有する場合に比べて、少なくとも1つの撮像装置がディスプレイ46を有していればよいので、安価な撮像装置を用いて、仮想視点画像の生成に必要な複数の撮像画像を取得することができる。
【0234】
また、上記各実施形態では、情報処理装置12は、仮想視点範囲特定情報、撮像範囲情報、案内情報、及び撮像装置範囲特定情報を第1撮像装置14へ出力したが、本開示の技術はこれに限定されない。情報処理装置12は、仮想視点範囲特定情報、撮像範囲情報、案内情報、及び/又は撮像装置範囲特定情報を第2撮像装置16へ出力してもよく、さらに第1撮像装置14と第2撮像装置16の両方へ出力してもよい。また、情報処理装置12は、仮想視点範囲特定情報、撮像範囲情報、案内情報、及び/又は撮像装置範囲特定情報を、撮像装置と共に、又は、撮像装置に代えて、既定のデバイス(例えば、スマートデバイス、ウェアラブル端末、パーソナル・コンピュータ、及び/又はサーバ等)に出力するようにしてもよい。
【0235】
また、上記各実施形態では、情報処理装置12を例示したが、情報処理装置12の機能が撮像装置(例えば、第1撮像装置14)に搭載されるようにしてもよく、この場合、情報処理装置12は不要となる。また、情報処理装置12に含まれる上述した複数の機能(例えば、
図6、
図23、
図31、及び
図36に示す機能)の一部を撮像装置(例えば、第1撮像装置14)に担わせてもよい。
【0236】
また、上記各実施形態では、GPS端末18が特定被写体30の衣服に取り付けられており、GPS機能を働かせることで被写体位置特定情報を取得したが、本開示の技術はこれに限定されない。例えば、第1人物26は、
図12に示すタッチパネル48に表示された仮想視点範囲画像上で、指又はスタイラスペン等の指示体を用いて、任意の位置を被写体位置特定情報として設定してもよい。この場合、例えば、第1人物26は、ゴール前等の撮像タイミングを逃したくない位置を、予め被写体位置特定情報に設定してもよい。第1撮像装置14及び/又は第2撮像装置16は、被写体位置特定情報に基づいて定められた位置で撮像を行うことにより、特定被写体30がゴール前に来た瞬間の仮想視点画像を逃すことなく取得することができる。
【0237】
また、上記実施形態では、仮想視点範囲画像は、サッカーフィールド平面視画像の上に仮想視点範囲を表示した画像であったが、本開示の技術はこれに限定されない。例えば、仮想視点範囲画像は、第1人物26の視点の高さに合わせて、サッカーフィールド22を斜め上方から見た画像の上に、仮想視点範囲を表示した画像であってもよい。この場合、仮想視点範囲画像をライブビュー画像に重畳して、ディスプレイ46に表示することも可能である。なお、撮像範囲画像及び撮像装置範囲画像についても同様である。
【0238】
また、上記実施形態では、仮想視点範囲画像は、サッカーフィールド22の画像の上に仮想視点範囲が表示された画像であったが、本開示の技術はこれに限定されない。仮想視点範囲画像が平面視画像であるか、斜め上方から見た画像であるかに関わらず、サッカーフィールド22の画像を表示せず、第1撮像装置14、第2撮像装置16、特定被写体30の位置、及び仮想視点範囲のみを仮想視点範囲画像として表示してもよい。なお、撮像範囲画像及び撮像装置範囲画像についても同様である。
【0239】
なお、サッカーフィールド平面視画像の取得方法としては、例えば、GPS付きのドローンを用いて、真上や斜め上方からサッカーフィールド22を撮像してもよい。また、サッカーフィールド平面視画像は撮像画像に限らず、競技毎、又は会場毎にフィールドの形状を示すサンプルデータ画像を情報処理装置12に予め記憶しておき、ユーザがサンプルデータ画像の中から適切なものを選択してもよい。この場合、サンプルデータ画像と端末位置情報との対応付けが必要になるので、第1人物26が、サンプルデータ画像上での第1撮像装置14の位置と第1撮像方向D1を指定してもよい。フィールドの大きさと3つの端末装置のGPS位置が分かっており、そのうちの1つの位置と撮像方向がサンプルデータ画像と対応付けられれば、他の2つの位置をサンプルデータ画像上に表示することが可能になる。また、第1人物26の代わりに、第2人物28が、サンプルデータ画像上での第2撮像装置16の位置と第2撮像方向D2を指定してもよく、また3つの端末装置全てが各自の位置を指定してもよい。
【0240】
また、上記各実施形態では、ディスプレイ46が第1補助メッセージ、第2補助メッセージ、警告メッセージ、及び案内メッセ―ジ等の各種メッセージを表示する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、スピーカ56によって音声で各種メッセージの内容が出力されるようにしてもよい。
【0241】
また、上記各実施形態では、第1撮像装置14及び第2撮像装置16を例示したが、本開示の技術はこれに限定されず、第1撮像装置14及び第2撮像装置16を含めた3台以上の撮像装置を適用してもよい。この場合、CPU60又は76が、3台以上の撮像装置により撮像されることで得られた複数の撮像画像を基に仮想視点画像を生成可能な仮想視点範囲を特定可能な仮想視点範囲特定情報を、各撮像装置に関する撮像装置位置情報及び撮像方向情報に基づいて導出するようにすればよい。
【0242】
また、上記では、コンピュータ50及び70を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ50及び/又は70に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ50及び/又は70に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
【0243】
また、上記各実施形態では、ストレージ78に情報処理装置プログラムが記憶されているが、本開示の技術はこれに限定されず、一例として
図41に示すように、SSD又はUSBメモリなどの任意の可搬型の記憶媒体100に情報処理装置プログラムが記憶されていてもよい。この場合、記憶媒体100に記憶されている情報処理装置プログラムがコンピュータ70にインストールされ、CPU76は、情報処理装置プログラムに従って、情報処理装置側処理を実行する。また、情報処理装置プログラムがコンピュータ50にインストールされ、CPU60が情報処理装置プログラムに従って情報処理装置側処理を実行するようにしてもよい。
【0244】
また、通信網(図示省略)を介してコンピュータ70又は50に接続される他のコンピュータ又はサーバ装置等の記憶部に情報処理装置プログラムを記憶させておき、情報処理装置12の要求に応じて情報処理装置プログラムが情報処理装置12又は第1撮像装置14にダウンロードされるようにしてもよい。この場合、ダウンロードされた情報処理装置プログラムに基づく情報処理装置側処理がコンピュータ70のCPU76、又は第1撮像装置14のCPU60によって実行される。
【0245】
また、上記各実施形態では、CPU76を例示したが、本開示の技術はこれに限定されず、GPUを採用してもよい。また、CPU76に代えて、複数のCPUを採用してもよい。つまり、1つのプロセッサ、又は、物理的に離れている複数のプロセッサによって情報処理装置側処理が実行されるようにしてもよい。また、CPU60に代えて、GPUを採用してもよいし、複数のCPUを採用してもよく、1つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。
【0246】
情報処理装置側処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って情報処理装置側処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、他のプロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで情報処理装置側処理を実行する。
【0247】
情報処理装置側処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、情報処理装置側処理を実行するハードウェア資源は1つのプロセッサであってもよい。
【0248】
1つのプロセッサで構成する例としては、第1に、クライアント及びサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、情報処理装置側処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、情報処理装置側処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、情報処理装置側処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
【0249】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
【0250】
また、上述した情報処理装置側処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0251】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0252】
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
【0253】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。