特開 2023-164844 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023164844

(43)【公開日】2023-11-14

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231107BHJP

   H04N 7/18 20060101ALI20231107BHJP

   H04N 21/4728 20110101ALI20231107BHJP

   G06T 15/20 20110101ALI20231107BHJP

   G06F 3/0346 20130101ALI20231107BHJP

   G06F 3/04845 20220101ALI20231107BHJP

   G06F 3/01 20060101ALI20231107BHJP

【ＦＩ】

G06T19/00 300B

H04N7/18 U

H04N7/18 K

H04N21/4728

G06T15/20 500

G06F3/0346 425

G06F3/0346 426

G06F3/0346 422

G06F3/04845

G06F3/01 570

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023133157

(22)【出願日】2023-08-17

(62)【分割の表示】P 2021527649の分割

【原出願日】2020-06-23

(31)【優先権主張番号】P 2019122034

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】宮田 真彦

(72)【発明者】

【氏名】青木 貴嗣

(72)【発明者】

【氏名】田村 一紀

(72)【発明者】

【氏名】入江 史憲

(57)【要約】      （修正有）

【課題】仮想的な視点及び視線で被写体を観察した場合の被写体を示す仮想視点画像を取得する情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】情報処理装置である、情報処理システムは、仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での物体の三次元位置及び姿勢を検出する検出部８８Ａを有するスマートフォン１４と、観察用三次元領域と指示用三次元領域との相対位置関係を示す位置関係情報に従って、検出部の検出結果に対応する視点及び視線を導出する導出部５８Ｂ及び複数の撮像装置１６によって観察用三次元領域に含まれる撮像領域が撮像されることで得られた複数の画像に基づいた仮想視点画像であって、導出部により導出された視点及び視線で被写体を観察した場合の被写体を示す仮想視点画像を取得する取得部５８Ｃを含む画像生成装置１２と、を含む。
【選択図】図８

【特許請求の範囲】

【請求項1】

プロセッサと、
前記プロセッサに内蔵又は接続されたメモリと、を備え、
前記プロセッサは、
仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での物体の三次元位置及び姿勢を検出し、
前記観察用三次元領域と前記指示用三次元領域との相対位置関係を示す位置関係情報に従って、前記物体の前記三次元位置及び前記姿勢の検出結果に対応する前記視点及び前記視線を導出し、
複数の撮像装置によって前記観察用三次元領域に含まれる撮像領域が撮像されることで得られた複数の画像に基づいた仮想視点画像のうち、導出した前記視点及び前記視線で前記撮像領域を観察した場合の前記撮像領域に存在する被写体を示す仮想視点画像を取得する
情報処理装置。

【請求項2】

前記相対位置関係は、基準点に対する前記観察用三次元領域の位置と前記基準点に対する前記指示用三次元領域の位置との関係である請求項１に記載の情報処理装置。

【請求項3】

前記位置関係情報は、前記基準点を原点とした前記観察用三次元領域内の位置を示す座標と、前記基準点を原点とした前記指示用三次元領域内の位置を示す座標とが対応付けられた情報である請求項２に記載の情報処理装置。

【請求項4】

前記位置関係情報は、前記観察用三次元領域内の位置と前記基準点との間の距離と、前記指示用三次元領域内の位置と前記基準点との間の距離との相違度を含む情報である請求項２に記載の情報処理装置。

【請求項5】

前記基準点は、前記観察用三次元領域に対して適用される観察用基準点と、前記指示用三次元領域に対して適用される指示用基準点とに類別されており、
前記指示用基準点は、前記観察用基準点とは異なる位置で前記観察用基準点と対応関係にある請求項２から請求項４の何れか一項に記載の情報処理装置。

【請求項6】

前記指示用基準点は、前記三次元位置が前記プロセッサによって検出されることで決定される請求項５に記載の情報処理装置。

【請求項7】

前記プロセッサは、
少なくとも３点の前記三次元位置を検出し、
検出した前記少なくとも３点の前記三次元位置を用いることで特定された指示用基準面に基づいて前記指示用三次元領域を生成する請求項１から請求項６の何れか一項に記載の情報処理装置。

【請求項8】

前記プロセッサは、基準被写体が撮像されることで得られた画像を用いることで特定された指示用基準面に基づいて前記指示用三次元領域を生成する請求項１から請求項６の何れか一項に記載の情報処理装置。

【請求項9】

前記観察用三次元領域が第１撮像装置によって撮像されることで得られたか、又は、前記観察用三次元領域が第１仮想撮像装置によって撮像されることで得られた第１観察用三次元領域画像が第１表示装置によって表示されている状態での前記第１観察用三次元領域画像の表示面を指示用基準面とし、
前記プロセッサは、前記指示用基準面に基づいて前記指示用三次元領域を生成する請求項１から請求項６の何れか一項に記載の情報処理装置。

【請求項10】

前記第１観察用三次元領域画像は、俯瞰した状態の前記観察用三次元領域を示す画像である請求項９に記載の情報処理装置。

【請求項11】

前記プロセッサは、与えられた指示に従って前記第１観察用三次元領域画像の拡大又は縮小を行う請求項９又は請求項１０に記載の情報処理装置。

【請求項12】

前記指示用基準面は、前記指示用三次元領域の１つの外面を規定する面、前記指示用三次元領域の１つの外面、又は、前記指示用三次元領域の内部の面である請求項７から請求項１１の何れか一項に記載の情報処理装置。

【請求項13】

前記プロセッサは、前記物体のピッチ角、ヨー角、及びロール角を測定することで前記姿勢を検出し、
前記ロール角を測定することで検出した前記姿勢に応じた向きの前記仮想視点画像を取得する請求項１から請求項１２の何れか一項に記載の情報処理装置。

【請求項14】

前記観察用三次元領域は、特定基準面が第２撮像装置によって撮像されることで得られたか、又は、前記特定基準面が第２仮想撮像装置によって撮像されることで得られた第２観察用三次元領域画像に基づいて規定された三次元領域であり、かつ、前記指示用三次元領域と相似関係にあり、
前記特定基準面の大きさを変更する大きさ変更指示を受け付ける受付デバイスを含み、
前記プロセッサは、前記受付デバイスによって受け付けられた前記大きさ変更指示に従って、前記特定基準面の大きさを変更することで前記観察用三次元領域の大きさを変更し、
前記観察用三次元領域の大きさの変更に関わらず前記相似関係が維持される請求項１から請求項１３の何れか一項に記載の情報処理装置。

【請求項15】

特定基準面を示す特定基準面画像を含む画像が第２表示装置によって表示されている状態で、前記特定基準面画像を拡大又は縮小する画像大きさ変更指示を受け付ける受付デバイスを含み、
前記位置関係情報は、前記受付デバイスによって受け付けられた前記画像大きさ変更指示に従って拡大又は縮小された前記特定基準面画像に対応する実空間上の三次元領域と前記指示用三次元領域との相対位置関係を示す情報を含む情報である請求項１から請求項１３の何れか一項に記載の情報処理装置。

【請求項16】

前記プロセッサは、前記大きさ変更指示に従って前記第２観察用三次元領域画像の拡大又は縮小を行うことで前記観察用三次元領域の大きさを変更する請求項１４に記載の情報処理装置。

【請求項17】

前記受付デバイスは、前記第２撮像装置又は前記第２仮想撮像装置による撮像方向を変更する撮像方向変更指示を更に受け付け、
前記プロセッサは、前記受付デバイスによって受け付けられた前記撮像方向変更指示に従って前記撮像方向を変更する請求項１４又は請求項１６に記載の情報処理装置。

【請求項18】

前記プロセッサは、取得した前記仮想視点画像を出力する請求項１から請求項１７の何れか一項に記載の情報処理装置。

【請求項19】

仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での物体の三次元位置及び姿勢を検出し、
前記観察用三次元領域と前記指示用三次元領域との相対位置関係を示す位置関係情報に従って、前記物体の前記三次元位置及び前記姿勢の検出結果に対応する前記視点及び前記視線を導出し、
複数の撮像装置によって前記観察用三次元領域に含まれる撮像領域が撮像されることで得られた複数の画像に基づいた仮想視点画像のうち、導出した前記視点及び前記視線で前記撮像領域を観察した場合の前記撮像領域に存在する被写体を示す仮想視点画像を取得することを含む
情報処理方法。

【請求項20】

コンピュータに、
仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での物体の三次元位置及び姿勢を検出し、
前記観察用三次元領域と前記指示用三次元領域との相対位置関係を示す位置関係情報に従って、前記物体の前記三次元位置及び前記姿勢の検出結果に対応する前記視点及び前記視線を導出し、
複数の撮像装置によって前記観察用三次元領域に含まれる撮像領域が撮像されることで得られた複数の画像に基づいた仮想視点画像のうち、導出した前記視点及び前記視線で前記撮像領域を観察した場合の前記撮像領域に存在する被写体を示す仮想視点画像を取得することを含む処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

特開２０１５－２２５５２９号公報には、端末の位置及び方向を特定する特定手段と、端末の位置及び方向に基づいて、仮想カメラの位置及び方向を決定する決定手段と、仮想カメラの位置及び方向に基づいて、端末に送信する自由視点画像を生成する生成手段と、生成手段が生成した自由視点画像を端末に送信する送信手段と、仮想カメラの設定の変更指示を受け付ける受付手段と、を有し、生成手段は、変更指示を受け付けた場合に、変更指示に係る自由視点画像を生成する情報処理装置が開示されている。

【0003】

特許第６４２７２５８号には、複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得手段と、取得手段により取得された複数の仮想視点画像を、仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御手段と、を有し、表示制御手段により操作画面上に表示される複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮像して得られた複数の撮像画像に基づいて生成される画像であり、前記複数の仮想視点のうち位置及び姿勢の操作対象として選択された仮想視点に応じた仮想視点画像は、他の装置へ送信されることを特徴とする表示制御装置が開示されている。

【0004】

特開２０１５－０７６０６２号公報には、画像を表示する画像表示装置であって、複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する取得手段と、複数の画像を合成し、被写体を仮想視点から見た合成画像を生成する生成手段と、合成画像を画面に表示させる表示制御手段と、画面に表示された合成画像の仮想視点の位置を変更させるための、ユーザ操作を検出する検出手段と、を備え、生成手段は、ユーザ操作に基づいて、合成画像の仮想視点の位置を変更することを特徴とする画像表示装置が開示されている。

【0005】

特開２０１８－０９２５８０号公報には、仮想視点画像を生成する画像生成装置であって、仮想視点画像の生成に用いられる画像を撮影するカメラ群の設置に関わる情報と、仮想視点に関わる仮想視点情報とを取得し、カメラ群の設置に関わる情報及び仮想視点情報に基づいて仮想視点画像の生成に使用する画像生成方法を決定し、決定された画像生成方法を用いて仮想視点に対応する仮想視点画像を生成する画像生成装置が開示されている。

【発明の概要】

【0006】

本開示の技術に係る一つの実施形態は、実際の観察位置から被写体を観察した場合の被写体を示す仮想視点画像を取得する場合に比べ、実際の観察位置とは異なる位置から被写体を観察した場合の被写体を示す仮想視点画像を容易に取得することができる情報処理装置、情報処理方法、及びプログラムを提供する。

【課題を解決するための手段】

【0007】

本開示の技術に係る第１の態様は、仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での物体の三次元位置及び姿勢を検出する検出部と、観察用三次元領域と指示用三次元領域との相対位置関係を示す位置関係情報に従って、検出部の検出結果に対応する視点及び視線を導出する導出部と、複数の撮像装置によって観察用三次元領域に含まれる撮像領域が撮像されることで得られた複数の画像に基づいた仮想視点画像であって、導出部により導出された視点及び視線で被写体を観察した場合の被写体を示す仮想視点画像を取得する取得部と、を含む情報処理装置である。

【0008】

本開示の技術に係る第２の態様は、相対位置関係は、基準点に対する観察用三次元領域の位置と基準点に対する指示用三次元領域の位置との関係である第１の態様に係る情報処理装置である。

【0009】

本開示の技術に係る第３の態様は、位置関係情報は、基準点を原点とした観察用三次元領域内の位置を示す座標と、基準点を原点とした指示用三次元領域内の位置を示す座標とが対応付けられた情報である第２の態様に係る情報処理装置である。

【0010】

本開示の技術に係る第４の態様は、位置関係情報は、観察用三次元領域内の位置と基準点との間の距離と、指示用三次元領域内の位置と基準点との間の距離との相違度を含む情報である第２の態様に係る情報処理装置である。

【0011】

本開示の技術に係る第５の態様は、基準点は、観察用三次元領域に対して適用される観察用基準点と、指示用三次元領域に対して適用される指示用基準点とに類別されており、指示用基準点は、観察用基準点とは異なる位置で観察用基準点と対応関係にある第２の態様に係る情報処理装置である。

【0012】

本開示の技術に係る第６の態様は、指示用基準点は、三次元位置が検出部によって検出されることで決定される第５の態様に係る情報処理装置である。

【0013】

本開示の技術に係る第７の態様は、検出部は、少なくとも３点の三次元位置を検出し、検出部によって検出された少なくとも３点の三次元位置を用いることで特定された指示用基準面に基づいて指示用三次元領域を生成する生成部を更に含む第１の態様から第６の態様の何れか１つの態様に係る情報処理装置である。

【0014】

本開示の技術に係る第８の態様は、基準被写体が撮像されることで得られた画像を用いることで特定された指示用基準面に基づいて指示用三次元領域を生成する生成部を更に含む第１の態様から第６の態様の何れか１つの態様に係る情報処理装置である。

【0015】

本開示の技術に係る第９の態様は、観察用三次元領域が第１撮像装置によって撮像されることで得られたか、又は、観察用三次元領域が第１仮想撮像装置によって撮像されることで得られた第１観察用三次元領域画像が第１表示装置によって表示されている状態での第１観察用三次元領域画像の表示面を指示用基準面とし、指示用基準面に基づいて指示用三次元領域を生成する生成部を更に含む第１の態様から第６の態様の何れか１つの態様に係る情報処理装置である。

【0016】

本開示の技術に係る第１０の態様は、第１観察用三次元領域画像は、俯瞰した状態の観察用三次元領域を示す画像である第９の態様に係る情報処理装置である。

【0017】

本開示の技術に係る第１１の態様は、与えられた指示に従って第１観察用三次元領域画像の拡大又は縮小を行う画像制御部を更に含む第９の態様又は第１０の態様に係る情報処理装置である。

【0018】

本開示の技術に係る第１２の態様は、指示用基準面は、指示用三次元領域の１つの外面を規定する面、指示用三次元領域の１つの外面、又は、指示用三次元領域の内部の面である第７の態様から第１１の態様の何れか１つの態様に係る情報処理装置である。

【0019】

本開示の技術に係る第１３の態様は、検出部は、物体のピッチ角、ヨー角、及びロール角を測定することで姿勢を検出し、取得部は、検出部によってロール角が測定されることで検出された姿勢に応じた向きの仮想視点画像を取得する第１の態様から第１２の態様の何れか１つの態様に係る情報処理装置である。

【0020】

本開示の技術に係る第１４の態様は、観察用三次元領域は、特定基準面が第２撮像装置によって撮像されることで得られたか、又は、特定基準面が第２仮想撮像装置によって撮像されることで得られた第２観察用三次元領域画像に基づいて規定された三次元領域であり、かつ、指示用三次元領域と相似関係にあり、特定基準面の大きさを変更する大きさ変更指示を受け付ける受付部と、受付部によって受け付けられた大きさ変更指示に従って、特定基準面の大きさを変更することで観察用三次元領域の大きさを変更する変更部と、を含み、観察用三次元領域の大きさの変更に関わらず相似関係が維持される第１の態様から第１３の態様の何れか１つの態様に係る情報処理装置である。

【0021】

本開示の技術に係る第１５の態様は、特定基準面を示す特定基準面画像を含む画像が第２表示装置によって表示されている状態で、前記特定基準面画像を拡大又は縮小する画像大きさ変更指示を受け付ける受付部を含み、前記位置関係情報は、前記受付部によって受け付けられた前記画像大きさ変更指示に従って拡大又は縮小された前記特定基準面画像に対応する実空間上の三次元領域と前記指示用三次元領域との相対位置関係を示す情報を含む情報である第１の態様から第１３の態様の何れか１つの態様に係る情報処理装置である。

【0022】

本開示の技術に係る第１６の態様は、変更部は、大きさ変更指示に従って第２観察用三次元領域画像の拡大又は縮小を行うことで観察用三次元領域の大きさを変更する第１４の態様に係る情報処理装置である。

【0023】

本開示の技術に係る第１７の態様は、受付部は、第２撮像装置又は第２仮想撮像装置による撮像方向を変更する撮像方向変更指示を更に受け付け、変更部は、受付部によって受け付けられた撮像方向変更指示に従って撮像方向を変更する第１４の態様から第１６の態様の何れか１つの態様に係る情報処理装置である。

【0024】

本開示の技術に係る第１８の態様は、取得部によって取得された仮想視点画像を出力する出力部を更に含む第１の態様から第１７の態様の何れか１つの態様に係る情報処理装置である。

【0025】

本開示の技術に係る第１９の態様は、仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での物体の三次元位置及び姿勢を検出し、観察用三次元領域と指示用三次元領域との相対位置関係を示す位置関係情報に従って、検出結果に対応する視点及び視線を導出し、複数の撮像装置によって観察用三次元領域に含まれる撮像領域が撮像されることで得られた複数の画像に基づいた仮想視点画像であって、導出した視点及び視線で被写体を観察した場合の被写体を示す仮想視点画像を取得することを含む情報処理方法である。

【0026】

本開示の技術に係る第２０の態様は、コンピュータに、仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での物体の三次元位置及び姿勢を検出し、観察用三次元領域と指示用三次元領域との相対位置関係を示す位置関係情報に従って、検出結果に対応する視点及び視線を導出し、複数の撮像装置によって観察用三次元領域に含まれる撮像領域が撮像されることで得られた複数の画像に基づいた仮想視点画像であって、導出した視点及び視線で被写体を観察した場合の被写体を示す仮想視点画像を取得することを含む処理を実行させるためのプログラムである。

【図面の簡単な説明】

【0027】

【図1】実施形態に係る情報処理システムの外観構成の一例を示す概略斜視図である。

【図2】実施形態に係る情報処理システムによって生成される観察用三次元領域空間と指示用三次元領域空間との関係性の一例を示す概念図である。

【図3】実施形態に係る画像生成装置の電気系のハードウェア構成の一例、及び画像生成装置と周辺機器との関係性の一例を示すブロック図である。

【図4】実施形態に係るスマートフォン及びタブレット端末の電気系のハードウェア構成の一例を示すブロック図である。

【図5】実施形態に係るスマートフォンをロール軸周りに回転させる態様の一例を示す概念図である。

【図6】実施形態に係るスマートフォンをヨー軸周りに回転させる態様の一例を示す概念図である。

【図7】実施形態に係るスマートフォンをピッチ軸周りに回転させる態様の一例を示す概念図である。

【図8】実施形態に係る画像生成装置及びスマートフォンの要部機能の一例を示すブロック図である。

【図9】実施形態に係る画像生成装置による観察用三次元領域の生成方法の一例の説明に供する概念図である。

【図10】実施形態に係るスマートフォンによって記録媒体Ｐが撮像される態様の一例を示す概念図である。

【図11】実施形態に係るスマートフォンの生成部による指示用三次元領域の生成方法の一例の説明に供する概念図である。

【図12】実施形態に係る画像生成装置の領域対応付け部による位置関係情報の生成方法の一例の説明に供する概念図である。

【図13】実施形態に係る指示用三次元領域が使用されている態様の一例を示す概念図である。

【図14】実施形態に係る指示用三次元領域内でのスマートフォン位置及びスマートフォン姿勢の検出方法の一例の説明に供する概念図である。

【図15】実施形態に係る画像生成装置の導出部による観察用視点及び観察用視線の導出方法の一例の説明に供する概念図である。

【図16】実施形態に係る画像生成装置の取得部による仮想視点画像の取得方法の一例の説明に供する概念図である。

【図17】図１５に示す観察用視点及び観察用視線とは異なる観察用視点及び観察用視線を実現する場合の指示用三次元領域の使用態様の一例を示す概念図である。

【図18】図１７に示す観察用視点及び観察用視線から観察用三次元領域内を観察した場合の被写体を示す仮想視点画像が生成される態様の一例を示す概念図である。

【図19】観察用視点及び観察用視線を変更した場合の仮想視点画像の表示態様の遷移例を示す状態遷移図である。

【図20】実施形態に係るスマートフォンのディスプレイに表示される俯瞰画像を拡大又は縮小する場合のタッチパネルに対する指示の受付態様の一例を示す概念図である。

【図21】実施形態に係るスマートフォンのディスプレイに表示される俯瞰画像が拡大される態様及び縮小される態様の一例を示す概念図である。

【図22】図１に示す態様例に比べ、無人航空機の撮像装置による撮像範囲を狭めた場合の態様例を示す概念図である。

【図23】実施形態に係る画像生成装置の変更部による観察用三次元領域の大きさの変更に伴って指示用三次元領域の大きさも変更される場合の処理内容の一例を示す概念図である。

【図24】実施形態に係る画像生成装置の変化速度指示部の処理内容の一例の説明に供するブロック図である。

【図25】実施形態に係るスマートフォンによって実行される生成処理の流れの一例を示すフローチャートである。

【図26】実施形態に係るスマートフォンによって実行される検出処理の流れの一例を示すフローチャートである。

【図27】実施形態に係る画像生成装置によって実行される領域対応付け処理の流れの一例を示すフローチャートである。

【図28】実施形態に係る画像生成装置によって実行される仮想視点画像生成処理の流れの一例を示すフローチャートである。

【図29】実施形態に係る画像生成装置によって実行される画像制御処理の流れの一例を示すフローチャートである。

【図30】実施形態に係る画像生成装置によって実行される変更処理の流れの一例を示すフローチャートである。

【図31】実施形態に係る画像生成装置によって実行される変化速度指示処理の流れの一例を示すフローチャートである。

【図32】実施形態に係るタブレット端末に表示されている俯瞰画像に基づいて指示用三次元領域が生成される場合の態様例を示す概念図である。

【図33】ディスプレイに表示されている特定基準面画像が拡大された場合の指示用三次元領域と観察用三次元領域内の三次元領域との対応関係の一例を示す概念図である。

【図34】ディスプレイに表示されている特定基準面画像が縮小された場合の指示用三次元領域と観察用三次元領域内の三次元領域との対応関係の一例を示す概念図である。

【図35】図３２に示す例とは異なる観察用視点及び観察用視線を指示する場合の指示用三次元領域と指との位置関係の一例を示す概念図である。

【図36】指示用基準面の生成方法の第１変形例の説明に供する概念図である。

【図37】図３６に示す指示用基準面に基づいて生成された指示用三次元領域が使用されている態様の一例を示す概念図である。

【図38】指示用基準面の生成方法の第２変形例の説明に供する概念図である。

【図39】実施形態に係るスマートフォンをロール軸周りに回転させる前後で生成される仮想視点画像の一例を示す概念図である。

【図40】実施形態に係る情報処理システムの構成の変形例を示すブロック図である。

【図41】実施形態に係る画像生成装置側プログラムが記憶されている記憶媒体から画像生成装置のコンピュータに画像生成装置側プログラムがインストールされる態様の一例を示すブロック図である。

【図42】実施形態に係るスマートフォン側プログラムが記憶されている記憶媒体からスマートフォンのコンピュータにスマートフォン側プログラムがインストールされる態様の一例を示すブロック図である。

【発明を実施するための形態】

【0028】

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

【0029】

先ず、以下の説明で使用される文言について説明する。

【0030】

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＩＣとは、“Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。ＧＰＵとは、“Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＬＡＮとは、“Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称を指す。３Ｄとは、“３ Ｄｉｍｅｎｓｉｏｎ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。また、本明細書の説明において、「平面」の意味には、完全な平面の意味の他に、設計上及び製造上において許容される誤差を含む略平面の意味も含まれる。

【0031】

一例として図１に示すように、情報処理システム１０は、画像生成装置１２、スマートフォン１４、複数の撮像装置１６、撮像装置１８、及び無線通信基地局（以下、単に「基地局」と称する）２０を備えている。ここで、情報処理システム１０は、本開示の技術に係る「情報処理装置」の一例であり、スマートフォン１４は、本開示の技術に係る「物体」の一例であり、撮像装置１８は、本開示の技術に係る「第１撮像装置」及び「第２撮像装置」の一例である。

【0032】

撮像装置１６及び１８は、ＣＭＯＳイメージセンサを有する撮像用のデバイスであり、光学式ズーム機能及びデジタルズーム機能が搭載されている。なお、ＣＭＯＳイメージセンサに代えてＣＣＤイメージセンサ等の他種類のイメージセンサを採用してもよい。

【0033】

複数の撮像装置１６は、サッカー競技場２２内に設置されている。複数の撮像装置１６の各々は、サッカーフィールド２４を取り囲むように配置されており、サッカーフィールド２４を含む領域を撮像領域として撮像する。ここでは、複数の撮像装置１６の各々がサッカーフィールド２４を取り囲むように配置されている形態例を挙げているが、本開示の技術はこれに限定されず、複数の撮像装置１６の配置は、生成したい仮想視点画像に応じて決定される。サッカーフィールド２４の全部を取り囲むように複数の撮像装置１６を配置してもよいし、特定の一部を取り囲むように複数の撮像装置１６を配置してもよい。撮像装置１８は、無人式航空機（例えば、ドローン）に設置されており、サッカーフィールド２４を含む領域を撮像領域として上空から俯瞰した状態で撮像する。サッカーフィールド２４を含む領域を上空から俯瞰した状態の撮像領域とは、サッカーフィールド２４に対する撮像装置１８による撮像面を指す。ここで、サッカーフィールド２４に対する撮像装置１８による撮像面は、本開示の技術に係る「特定基準面」の一例である。

【0034】

画像生成装置１２は、サーバ室３２に設置されている。複数の撮像装置１６及び画像生成装置１２は、ＬＡＮケーブル３０を介して接続されており、画像生成装置１２は、複数の撮像装置１６を制御し、かつ、複数の撮像装置１６の各々によって撮像されることで得られた画像を取得する。なお、ここでは、ＬＡＮケーブル３０による有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。

【0035】

サッカー競技場２２には、サッカーフィールド２４を取り囲むように観戦席２６が設けられており、観戦席２５には観客２８が着座している。観客２８は、スマートフォン１４を所持している。

【0036】

基地局２０は、画像生成装置１２、スマートフォン１４、及び無人航空機２７と電波を介して各種情報の送受信を行う。すなわち、画像生成装置１２は、基地局２０を介して、スマートフォン１４及び無人航空機２７と無線通信可能に接続されている。画像生成装置１２は、基地局２０を介して無人航空機２７と無線通信を行うことにより、無人航空機２７を制御したり、撮像装置１８によって撮像されることで得られた画像を無人航空機２７から取得したりする。

【0037】

画像生成装置１２はサーバに相当するデバイスであり、スマートフォン１４は、画像生成装置１２に対するクライアント端末に相当するデバイスである。画像生成装置１２及びスマートフォン１４が、基地局２０を介して互いに無線通信を行うことにより、スマートフォン１４は、画像生成装置１２に対して各種サービスの提供を要求し、画像生成装置１２は、スマートフォン１４からの要求に応じたサービスをスマートフォン１４に提供する。

【0038】

一例として図２に示すように、情報処理システム１０は、タブレット端末３４を備えている。タブレット端末３４は、観客２８によって用いられる。タブレット端末３４も、スマートフォン１４と同様に、画像生成装置１２に対するクライアント端末に相当するデバイスである。タブレット端末３４が、基地局２０を介して、画像生成装置１２と無線通信可能に接続されている。画像生成装置１２及びタブレット端末３４は、基地局２０を介して互いに無線通信を行うことにより、タブレット端末３４は、画像生成装置１２に対して各種サービスの提供を要求し、画像生成装置１２は、タブレット端末３４からの要求に応じたサービスをタブレット端末３４に提供する。

【0039】

情報処理システム１０は、観察用三次元領域３６及び指示用三次元領域３８を生成する。観察用三次元領域３６及び指示用三次元領域３８は何れも不可視の三次元領域である。そのため、観察用三次元領域３６及び指示用三次元領域３８は、実空間上において視覚的に知覚されない。図２に示す例では、観察用三次元領域３６及び指示用三次元領域３８は何れも直方体状に形成されている。

【0040】

観察用三次元領域３６は、仮想的な視点４２及び視線４４を規定する三次元領域である。視点４２及び視線４４は、仮に観客２８が観察用三次元領域３６内でサッカーフィールド２４を観察した場合の観客２８の視点及び視線である。

【0041】

図２に示す例では、観察用三次元領域３６は、サッカーフィールド２４に相当する面を１つの外面２４Ａ（以下、「サッカーフィールド相当面２４Ａ」と称する）として有しており、サッカーフィールド相当面２４Ａに基づいて生成されている。サッカーフィールド相当面２４Ａは、サッカーフィールド２４に対する撮像装置１８による撮像面に相当する面であり、観察用三次元領域３６の底面として規定されている。観察用三次元領域３６の高さは、既定範囲（図２に示す例では数十メートル）内で定められている。観察用三次元領域３６の高さは、例えば、観察用三次元領域３６の底面の面積（図２に示す例では、サッカーフィールド相当面２４Ａの面積）に応じて定められる。なお、観察用三次元領域３６の高さは、固定値であってもよいし、観客２８等から与えられた指示に従って上記の既定範囲内で変更される可変値であってもよい。ここで、「既定範囲」は、視点４２及び視線４４を設定可能な高さとして許容される範囲であり、例えば、撮像装置１８及び複数の撮像装置１６の各々の設置位置、撮像範囲、及び撮像方向等に応じて一意に定められる。

【0042】

指示用三次元領域３８は、直方体状の三次元領域であり、指示用基準面４０Ａに基づいて生成されている。指示用三次元領域３８は、観察用三次元領域３６に対して縮小された関係性を有する。すなわち、指示用三次元領域３８は、観察用三次元領域３６が既定倍率で縮小された三次元領域である。ここで、「既定倍率」とは、例えば、“３００分の１”を指す。ここでは、既定倍率として“３００分の１”を例示しているが、本開示の技術はこれに限定されず、他の縮尺倍率であってもよい。

【0043】

指示用基準面４０Ａは、指示用三次元領域３８の１つの外面である。図２に示す例では、指示用基準面４０Ａは、指示用三次元領域３８の底面を形成している。指示用基準面４０Ａは、基準被写体４０が撮像されることで得られた画像である基準被写体画像４１（図１１参照）を用いることで特定された平面である。図２に示す例では、基準被写体４０は、記録媒体Ｐそのものであり、記録媒体Ｐは、余白なしでサッカーフィールド２４を示す画像（以下、単に「サッカーフィールド画像」とも称する）が表面に形成された用紙である。サッカーフィールド画像の面積は、サッカーフィールド相当面２４Ａが既定倍率で縮小された面積であり、サッカーフィールド画像は、サッカーフィールド相当面２４Ａと相似関係にある画像である。

【0044】

ここでは、記録媒体Ｐとして、余白なしでサッカーフィールド画像が表面に形成された用紙を例示しているが、本開示の技術はこれに限定されず、記録媒体Ｐは、余白ありでサッカーフィールド画像が表面に形成された用紙であってもよい。また、記録媒体Ｐは、用紙に限らず、透明又は半透明なシート等のように、画像が形成可能な記録媒体であればよい。

【0045】

観客２８は、スマートフォン１４の特定部位（図２に示す例では、撮像装置８４（図４参照）の被写体側レンズ１４Ａ）を指示用三次元領域３８内に位置させることで、視点４２の位置及び視線４４の方向を定める。図２に示す例では、スマートフォン１４に搭載されている撮像装置８４（図４参照）の被写体側レンズ１４Ａの位置が視点４２の位置と対応関係にあり、被写体側レンズ１４Ａの光軸方向、換言すると、撮像装置８４の撮像方向が視線４４の方向と対応関係にある。撮像装置８４の撮像方向は、スマートフォン１４の姿勢から特定される。

【0046】

画像生成装置１２は、仮想視点画像４６を生成する。仮想視点画像４６は、複数の撮像装置１６（図１参照）によって観察用三次元領域３６に含まれる撮像領域が撮像されることで得られた複数の画像に基づいた仮想視点画像である。撮像領域に対する撮像とは、例えば、撮像領域を含む画角での撮像を指す。仮想視点画像４６の一例としては、３Ｄポリゴンを用いた動画像が挙げられる。画像生成装置１２は、複数の撮像装置１６によって観察用三次元領域３６に含まれる撮像領域が撮像されることで得られた複数の画像を合成することにより、３Ｄポリゴンを用いた動画像を生成する。画像生成装置１２は、生成した３Ｄポリゴンを用いた動画像に基づき、任意の位置及び任意の方向から撮像領域が観察された場合に相当する仮想視点画像を生成する。本開示の技術に係る一実施形態では、画像生成装置１２は、視点４２及び視線４４で被写体を観察した場合の被写体を示す仮想視点画像４６を生成する。換言すると、仮想視点画像４６とは、視点４２の位置に設置された仮想的な撮像装置（以下、「仮想撮像装置」とも称する）が視線４４の方向を撮像方向として撮像することで得た画像に相当する画像を指す。

【0047】

画像生成装置１２は、基地局２０を介して、スマートフォン１４及びタブレット端末３４に仮想視点画像４６を送信する。スマートフォン１４及びタブレット端末３４は、画像生成装置１２から送信された仮想視点画像４６を受信する。一例として図２に示すように、タブレット端末３４は、ディスプレイ３４Ａを備えている。ディスプレイ３４Ａの一例としては、液晶ディスプレイが挙げられる。なお、液晶ディスプレイに限らず、有機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ３４Ａとして採用されてもよい。図２に示す例では、ディスプレイ３４Ａによって仮想視点画像４６が表示されている。

【0048】

一例として図３に示すように、画像生成装置１２は、コンピュータ５０、受付デバイス５２、ディスプレイ５３、第１通信Ｉ／Ｆ５４、および第２通信Ｉ／Ｆ５６を備えている。コンピュータ５０は、ＣＰＵ５８、ストレージ６０、及びメモリ６２を備えており、ＣＰＵ５８、ストレージ６０、及びメモリ６２は、バスライン６４を介して接続されている。図３に示す例では、図示の都合上、バスライン６４として１本のバスラインが図示されているが、バスライン６４には、データバス、アドレスバス、及びコントロールバス等が含まれている。

【0049】

ＣＰＵ５８は、画像生成装置１２の全体を制御する。ストレージ６０は、各種パラメータ及び各種プログラムを記憶している。ストレージ６０は、不揮発性の記憶装置である。ここでは、ストレージ６０の一例として、ＥＥＰＲＯＭが採用されているが、これに限らず、マスクＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ６２は、揮発性の記憶装置である。メモリ６２には、各種情報が一時的に記憶される。メモリ６２は、ＣＰＵ５８によってワークメモリとして用いられる。ここでは、メモリ６２の一例として、ＤＲＡＭが採用されているが、これに限らず、ＳＲＡＭ等の他の種類の揮発性の記憶装置であってもよい。

【0050】

受付デバイス５２は、画像生成装置１２の使用者等からの指示を受け付ける。受付デバイス５２の一例としては、タッチパネル、ハードキー、及びマウス等が挙げられる。受付デバイス５２は、バスライン６４に接続されており、受付デバイス５２によって受け付けられた指示は、ＣＰＵ５８によって取得される。

【0051】

ディスプレイ５３は、バスライン６４に接続されており、ＣＰＵ５８の制御下で、各種情報を表示する。ディスプレイ５３の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディスプレイに限らず、有機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ５３として採用されてもよい。

【0052】

第１通信Ｉ／Ｆ５４は、ＬＡＮケーブル３０に接続されている。第１通信Ｉ／Ｆ５４は、例えば、ＦＰＧＡを有するデバイスによって実現される。第１通信Ｉ／Ｆ５４は、バスライン６４に接続されており、ＣＰＵ５８と複数の撮像装置１６との間で各種情報の授受を司る。例えば、第１通信Ｉ／Ｆ５４は、ＣＰＵ５８の要求に従って複数の撮像装置１６を制御する。また、第１通信Ｉ／Ｆ５４は、複数の撮像装置１６の各々によって撮像されることで得られた画像を取得し、取得した画像をＣＰＵ５８に出力する。図３に示す例では、撮像装置１６によって撮像されることで得られた画像として動画像が示されており、第１通信Ｉ／Ｆ５４は、撮像装置１６から取得した動画像をＣＰＵ５８に出力する。

【0053】

なお、図３に示す例では、撮像装置１６によって撮像されることで得られた画像として動画像が示されているが、これに限らず、撮像装置１６によって撮像されることで得られた画像は静止画像であってもよく、仮想視点画像４６（図２参照）の生成に用いることが可能な画像であればよい。

【0054】

第２通信Ｉ／Ｆ５６は、基地局２０に対して無線通信可能に接続されている。第２通信Ｉ／Ｆ５６は、例えば、ＦＰＧＡを有するデバイスによって実現される。第２通信Ｉ／Ｆ５６は、バスライン６４に接続されている。第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８と無人航空機２７との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８とスマートフォン１４との間で各種情報の授受を司る。さらに、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８とタブレット端末３４との間で各種情報の授受を司る。

【0055】

一例として図４に示すように、スマートフォン１４は、コンピュータ７０、加速度センサ７２、ジャイロセンサ７４、受付デバイス７６、ディスプレイ７８、マイクロフォン８０、スピーカ８２、撮像装置８４、及び通信Ｉ／Ｆ８６を備えている。コンピュータ７０は、ＣＰＵ８８、ストレージ９０、及びメモリ９２を備えており、ＣＰＵ８８、ストレージ９０、及びメモリ９２は、バスライン９４を介して接続されている。図４に示す例では、図示の都合上、バスライン９４として１本のバスラインが図示されているが、バスライン９４には、データバス、アドレスバス、及びコントロールバス等が含まれている。

【0056】

ＣＰＵ８８は、スマートフォン１４の全体を制御する。ストレージ９０は、各種パラメータ及び各種プログラムを記憶している。ストレージ９０は、不揮発性の記憶装置である。ここでは、ストレージ９０の一例として、ＥＥＰＲＯＭが採用されているが、これに限らず、マスクＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ９２は、揮発性の記憶装置である。メモリ９２には、各種情報が一時的に記憶され、メモリ９２は、ＣＰＵ８８によってワークメモリとして用いられる。ここでは、メモリ９２の一例として、ＤＲＡＭが採用されているが、これに限らず、ＳＲＡＭ等の他の種類の揮発性の記憶装置であってもよい。

【0057】

加速度センサ７２は、スマートフォン１４の加速度（以下、単に「加速度」とも称する）を測定する。加速度センサ７２は、バスライン９４に接続されており、加速度センサ７２によって測定された加速度を示す加速度情報は、バスライン９４を介してＣＰＵ８８によって取得される。

【0058】

ジャイロセンサ７４は、スマートフォン１４のヨー軸周りの角度（以下、「ヨー角」とも称する）、スマートフォン１４のロール軸周りの角度（以下、「ロール角」とも称する）、及びスマートフォン１４のピッチ軸周りの角度（以下、「ピッチ角」とも称する）を測定する。ジャイロセンサ７４は、バスライン９４に接続されており、ジャイロセンサ７４によって測定されたヨー角、ロール角、及びピッチ角を示す角度情報は、バスライン９４を介してＣＰＵ８８によって取得される。なお、加速度センサ７２とジャイロセンサ７４は統合された多軸（例えば６軸）センサとして実装されていてもよい。

【0059】

受付デバイス７６は、本開示の技術に係る「受付部（受付デバイス）」の一例であり、スマートフォン１４の使用者等（ここでは、一例として、観客２８）からの指示を受け付ける。受付デバイス７６の一例としては、タッチパネル７６Ａ及びハードキー等が挙げられる。受付デバイス７６は、バスライン９４に接続されており、受付デバイス７６によって受け付けられた指示は、ＣＰＵ８８によって取得される。

【0060】

ディスプレイ７８は、バスライン９４に接続されており、ＣＰＵ８８の制御下で、各種情報を表示する。ディスプレイ７８の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディスプレイに限らず、有機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ７８として採用されてもよい。

【0061】

スマートフォン１４は、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル７６Ａ及びディスプレイ７８によって実現される。すなわち、ディスプレイ７８の表示領域に対してタッチパネル７６Ａを重ね合わせることによってタッチパネル・ディスプレイが形成される。

【0062】

マイクロフォン８０は、収集した音を電気信号に変換する。マイクロフォン８０は、バスライン９４に接続されている。マイクロフォン８０によって収集された音が変換されて得られた電気信号は、バスライン９４を介してＣＰＵ８８によって取得される。

【0063】

スピーカ８２は、電気信号を音に変換する。スピーカ８２は、バスライン９４に接続されている。スピーカ８２は、ＣＰＵ８８から出力された電気信号を、バスライン９４を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をスマートフォン１４の外部に出力する。

【0064】

撮像装置８４は、被写体を撮像することで、被写体を示す画像を取得する。撮像装置８４は、バスライン９４に接続されている。撮像装置８４によって被写体が撮像されることで得られた画像は、バスライン９４を介してＣＰＵ８８によって取得される。

【0065】

通信Ｉ／Ｆ８６は、基地局２０に対して無線通信可能に接続されている。通信Ｉ／Ｆ８６は、例えば、ＦＰＧＡを有するデバイスによって実現される。通信Ｉ／Ｆ８６は、バスライン９４に接続されている。通信Ｉ／Ｆ８６は、基地局２０を介して、無線通信方式で、ＣＰＵ８８と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、画像生成装置１２、無人航空機２７、及びタブレット端末３４が挙げられる。

【0066】

また、タブレット端末３４は、スマートフォン１４と基本的に同様の構成を有する。すなわち、タブレット端末３４は、コンピュータ１００、加速度センサ１０２、ジャイロセンサ１０４、受付デバイス１０６、タッチパネル１０６Ａ、ディスプレイ３４Ａ、マイクロフォン１１０、スピーカ１１２、撮像装置１１４、通信Ｉ／Ｆ１１６、ＣＰＵ１１８、ストレージ１２０、メモリ１２２、及びバスライン１２４を備えている。

【0067】

コンピュータ１００は、コンピュータ７０に対応している。加速度センサ１０２は、加速度センサ７２に対応している。ジャイロセンサ１０４は、ジャイロセンサ７４に対応している。受付デバイス１０６は、受付デバイス７６に対応している。タッチパネル１０６Ａは、タッチパネル７６Ａに対応している。ディスプレイ３４Ａは、ディスプレイ７８に対応している。マイクロフォン１１０は、マイクロフォン８０に対応している。スピーカ１１２は、スピーカ８２に対応している。撮像装置１１４は、撮像装置８４に対応している。通信Ｉ／Ｆ１１６は、通信Ｉ／Ｆ８６に対応している。ＣＰＵ１１８は、ＣＰＵ８８に対応している。ストレージ１２０は、ストレージ９０に対応している。メモリ１２２は、メモリ９２に対応している。バスライン１２４は、バスライン９４に対応している。バスライン１２４にもバスライン６４及び９４と同様にデータバス、アドレスバス、及びコントロールバス等が含まれている。タブレット端末３４は、スマートフォン１４に比べ、タッチパネル１０６Ａのサイズがタッチパネル７６Ａのサイズよりも大きい点、及びディスプレイ３４Ａのサイズがディスプレイ７８のサイズよりも大きい点が異なる。

【0068】

一例として図５に示すように、ロール軸は、スマートフォン１４のディスプレイ７８の中心を貫く軸である。ロール軸周りのスマートフォン１４の回転角度がロール角としてジャイロセンサ７４によって測定される。また、一例として図６に示すように、ヨー軸は、スマートフォン１４の側周面のうちの長手方向の側周面の中心を貫く軸である。ヨー軸周りのスマートフォン１４の回転角度がヨー角としてジャイロセンサ７４によって測定される。更に、一例として図７に示すように、ピッチ軸は、スマートフォン１４の側周面のうちの短手方向の側周面の中心を貫く軸である。ピッチ軸周りのスマートフォン１４の回転角度がピッチ角としてジャイロセンサ７４によって測定される。

【0069】

一例として図８に示すように、スマートフォン１４において、ストレージ９０には、生成プログラム９０Ａ及び検出プログラム９０Ｂが記憶されている。なお、以下では、生成プログラム９０Ａ及び検出プログラム９０Ｂを区別して説明する必要がない場合、符号を付さずに「スマートフォン側プログラム」と称する。

【0070】

ＣＰＵ８８は、本開示の技術に係る「プロセッサ」の一例であり、メモリ９２は、本開示の技術に係る「メモリ」の一例である。ＣＰＵ８８は、ストレージ９０からスマートフォン側プログラムを読み出し、読み出したスマートフォン側プログラムをメモリ９２に展開する。ＣＰＵ８８は、メモリ９２に展開したスマートフォン側プログラムに従って画像生成装置１２との間で各種情報の授受を行う。

【0071】

ＣＰＵ８８は、ストレージ９０から生成プログラム９０Ａを読み出し、読み出した生成プログラム９０Ａをメモリ９２に展開する。ＣＰＵ８８は、メモリ９２に展開した生成プログラム９０Ａに従って生成部８８Ｂとして動作する。ＣＰＵ８８は、生成部８８Ｂとして動作することで、後述の生成処理（図２５参照）を実行する。また、ＣＰＵ８８は、ストレージ９０から検出プログラム９０Ｂを読み出し、読み出した検出プログラム９０Ｂをメモリ９２に展開する。ＣＰＵ８８は、メモリ９２に展開した検出プログラム９０Ｂに従って検出部８８Ａとして動作する。ＣＰＵ８８は、検出部８８Ａとして動作することで、後述の検出処理（図２６参照）を実行する。

【0072】

一例として図８に示すように、画像生成装置１２において、ストレージ６０には、領域対応付けプログラム６０Ａ、仮想視点画像生成プログラム６０Ｂ、画像制御プログラム６０Ｃ、変更プログラム６０Ｄ、及び変化速度指示プログラム６０Ｅが記憶されている。なお、以下では、領域対応付けプログラム６０Ａ、仮想視点画像生成プログラム６０Ｂ、画像制御プログラム６０Ｃ、変更プログラム６０Ｄ、及び変化速度指示プログラム６０Ｅを区別して説明する必要がない場合、符号を付さずに「画像生成装置側プログラム」と称する。

【0073】

ＣＰＵ５８は、本開示の技術に係る「プロセッサ」の一例であり、メモリ６２は、本開示の技術に係る「メモリ」の一例である。ＣＰＵ５８は、ストレージ６０から画像生成装置側プログラムを読み出し、読み出した画像生成装置側プログラムをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した画像生成装置側プログラムに従って、スマートフォン１４、撮像装置１６、無人航空機２７、及びタブレット端末３４との間で各種情報の授受を行う。

【0074】

ＣＰＵ５８は、ストレージ６０から領域対応付けプログラム６０Ａを読み出し、読み出した領域対応付けプログラム６０Ａをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した領域対応付けプログラム６０Ａに従って領域対応付け部５８Ａとして動作する。ＣＰＵ５８は、領域対応付け部５８Ａとして動作することで、後述の領域対応付け処理（図２７参照）を実行する。

【0075】

ＣＰＵ５８は、ストレージ６０から仮想視点画像生成プログラム６０Ｂを読み出し、読み出した仮想視点画像生成プログラム６０Ｂをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した仮想視点画像生成プログラム６０Ｂに従って導出部５８Ｂ、取得部５８Ｃ、及び出力部５８Ｄとして動作する。ＣＰＵ５８は、導出部５８Ｂ、取得部５８Ｃ、及び出力部５８Ｄとして動作することで、後述の仮想視点画像生成処理（図２８参照）を実行する。

【0076】

ＣＰＵ５８は、ストレージ６０から画像制御プログラム６０Ｃを読み出し、読み出した画像制御プログラム６０Ｃをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した画像制御プログラム６０Ｃに従って画像制御部５８Ｅとして動作する。ＣＰＵ５８は、画像制御部５８Ｅとして動作することで、後述の画像制御処理（図２９参照）を実行する。

【0077】

ＣＰＵ５８は、ストレージ６０から変更プログラム６０Ｄを読み出し、読み出した変更プログラム６０Ｄをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した変更プログラム６０Ｄに従って変更部５８Ｆとして動作する。ＣＰＵ５８は、変更部５８Ｆとして動作することで、後述の変更処理（図３０参照）を実行する。

【0078】

ＣＰＵ５８は、ストレージ６０から変化速度指示プログラム６０Ｅを読み出し、読み出した変化速度指示プログラム６０Ｅをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した変化速度指示プログラム６０Ｅに従って変化速度指示部５８Ｇとして動作する。ＣＰＵ５８は、変化速度指示部５８Ｇとして動作することで、後述の変化速度指示処理（図３１参照）を実行する。

【0079】

画像生成装置１２において、ストレージ６０には、観察用三次元領域情報６０Ｆが記憶されている。観察用三次元領域情報６０Ｆは、観察用三次元領域３６を示す情報である。図９に示す例において、サッカーフィールド相当面２４Ａは、観察用基準点３６Ａを有する。サッカーフィールド相当面２４Ａは、長方形状に形成された平面である。観察用基準点３６Ａは、サッカーフィールド相当面２４Ａを規定する四隅のうちの１つの隅であり、観察用三次元領域３６に対して適用される基準点である。観察用三次元領域情報６０Ｆとは、例えば、観察用基準点３６Ａを原点とした観察用三次元領域３６内の位置を示す三次元座標（以下「観察用三次元領域座標」とも称する）を指す。

【0080】

観察用三次元領域情報６０Ｆは、上空から俯瞰した状態のサッカーフィールド２４を示す俯瞰画像に基づいて規定された情報である。ここで、「俯瞰画像」は、本開示の技術に係る「第１観察用三次元領域画像」及び「第２観察用三次元領域画像」の一例である。俯瞰画像は、無人航空機２７がサッカーフィールド２４を上空から俯瞰した状態で撮像装置１８によってサッカーフィールド２４が撮像されることで得られる。ＣＰＵ５８は、無人航空機２７から俯瞰画像を取得し、取得した俯瞰画像に基づいて、観察用基準点３６Ａを特定し、特定した観察用基準点３６Ａを四隅のうちの１つの隅としたサッカーフィールド相当面２４Ａを生成する。ＣＰＵ５８は、サッカーフィールド相当面２４Ａに基づいて観察用三次元領域情報６０Ｆを生成する。すなわち、ＣＰＵ５８は、サッカーフィールド相当面２４Ａを底面とした観察用三次元領域３６を示す観察用三次元領域情報６０Ｆを生成する。このように、観察用三次元領域３６は、俯瞰画像に基づいて規定された三次元領域である。ＣＰＵ５８は、生成した観察用三次元領域情報６０Ｆをストレージ６０に格納する。

【0081】

一例として図１０に示すように、観客２８は、指示用三次元領域３８（図２参照）を規定するために、基準被写体４０を、スマートフォン１４を操作することで撮像する。例えば、スマートフォン１４の被写体側レンズ１４Ａを基準被写体４０の上方から基準被写体４０に向けた状態で、撮像装置１６による撮像を開始する指示（以下、「撮像開始指示」とも称する）がタッチパネル７６Ａによって受け付けられると、基準被写体４０が撮像装置１６によって撮像される。

【0082】

一例として図１１に示すように、スマートフォン１４において、検出部８８Ａは、４点三次元位置検出部８８Ａ１を備えている。検出部８８Ａは、指示用三次元領域３８内での少なくとも３点の三次元位置を検出する。ここでは、検出部８８Ａは、指示用三次元領域３８内での４点の三次元位置を検出する。具体的には、検出部８８Ａは、４点三次元位置検出部８８Ａ１を用いることで指示用三次元領域３８内での４点の三次元位置を検出する。４点三次元位置検出部８８Ａ１は、撮像装置８４によって基準被写体４０が撮像されることで得られた基準被写体画像４１を撮像装置８４から取得する。４点三次元位置検出部８８Ａ１は、撮像装置８４から取得した基準被写体画像４１により示される基準被写体４０の４隅の位置を４点の三次元位置として検出し、検出した４隅の位置間の相対的な位置関係を示す４点三次元位置情報を生成する。

【0083】

生成部８８Ｂは、検出部８８Ａによって検出された少なくとも３点の三次元位置を用いることで特定された指示用基準面４０Ａに基づいて指示用三次元領域３８を生成する。ここでは、基準被写体画像４１を用いることで特定された指示用基準面４０Ａに基づいて指示用三次元領域３８が生成される。指示用基準面４０Ａは、基準被写体画像４１から検出された４点の三次元位置を用いることで特定される。

【0084】

生成部８８Ｂは、指示用三次元領域３８を生成するために、観察用三次元領域情報取得部８８Ｂ１、指示用基準面生成部８８Ｂ２、及び指示用三次元領域生成部８８Ｂ３を備えている。

【0085】

観察用三次元領域情報取得部８８Ｂ１は、画像生成装置１２のＣＰＵ５８に対して、ストレージ６０からの観察用三次元領域情報６０Ｆの取得、及び観察用三次元領域情報６０Ｆの送信を要求する。ＣＰＵ５８は、観察用三次元領域情報取得部８８Ｂ１からの要求に応じてストレージ６０から観察用三次元領域情報６０Ｆを取得し、取得した観察用三次元領域情報６０Ｆを観察用三次元領域情報取得部８８Ｂ１に送信する。観察用三次元領域情報取得部８８Ｂ１は、ＣＰＵ５８から送信された観察用三次元領域情報６０Ｆを受信することで取得する。

【0086】

指示用基準面生成部８８Ｂ２は、４点三次元位置検出部８８Ａ１から４点三次元位置情報を取得し、取得した４点三次元位置情報を用いることで指示用基準面４０Ａを生成する。指示用基準面４０Ａは、基準被写体４０の４隅の位置によって画定され、かつ、サッカーフィールド相当面２４Ａが既定倍率で縮小された平面に相当する平面である。

【0087】

指示用三次元領域生成部８８Ｂ３は、観察用三次元領域情報取得部８８Ｂ１から観察用三次元領域情報６０Ｆを取得し、指示用基準面生成部８８Ｂ２から指示用基準面４０Ａを取得する。指示用三次元領域生成部８８Ｂ３は、観察用三次元領域情報６０Ｆを参照して、指示用基準面４０Ａの４隅のうち、観察用基準点３６Ａの位置に対応する１つの隅を指示用基準点３８Ａとして特定する。指示用基準点３８Ａは、指示用三次元領域３８に対して適用される基準点である。

【0088】

情報処理システム１０では、観察用三次元領域３６及び指示用三次元領域３８に対する基準点が観察用基準点３６Ａと指示用基準点３８Ａとに類別されており、指示用基準点３８Ａは、観察用基準点３６Ａとは異なる位置で観察用基準点３６Ａと対応関係にある。なお、以下では、観察用基準点３６Ａと指示用基準点３８Ａとを区別して説明する必要がない場合、符号を付さずに単に「基準点」とも称する。

【0089】

指示用三次元領域生成部８８Ｂ３は、観察用三次元領域情報６０Ｆ、指示用基準面４０Ａ、及び観察用基準点３６Ａと指示用基準点３８Ａとの位置関係を参照して、仮想的な視点及び視線を規定する観察用三次元領域３６に対して縮小された関係性を有する三次元領域を指示用三次元領域３８として生成する。ここで、「縮小された関係性」とは、例えば、観察用三次元領域３６に対して既定倍率で縮小された関係性を指す。

【0090】

指示用三次元領域３８は、指示用基準点３８Ａを観察用基準点３６Ａと対応する原点として有し、かつ、観察用三次元領域３６と相似関係にある三次元領域として、指示用三次元領域情報９０Ｃによって規定される。指示用三次元領域情報９０Ｃは、観察用三次元領域情報６０Ｆ、指示用基準面４０Ａ、及び観察用基準点３６Ａと指示用基準点３８Ａとの位置関係に基づいて、指示用三次元領域生成部８８Ｂ３によって生成される。指示用三次元領域情報９０Ｃとは、例えば、指示用基準点３８Ａを原点とした指示用三次元領域３８内の位置を示し、かつ、観察用三次元領域情報６０Ｆと対応関係にある三次元座標（以下「指示用三次元領域座標」とも称する）を指す。

【0091】

一例として図１２に示すように、指示用三次元領域生成部８８Ｂ３は、生成した指示用三次元領域情報９０Ｃをストレージ９０に格納し、かつ、生成した指示用三次元領域情報９０Ｃを領域対応付け部５８Ａに出力する。領域対応付け部５８Ａは、観察用三次元領域３６と指示用三次元領域３８との相対位置関係を示す位置関係情報６０Ｇを生成し、生成した位置関係情報６０Ｇをストレージ６０に格納する。

【0092】

ここで、相対位置関係とは、基準点に対する観察用三次元領域３６の位置と基準点に対する指示用三次元領域３８の位置との関係（相対的な関係）を指す。また、位置関係情報６０Ｇは、観察用三次元領域情報６０Ｆと指示用三次元領域情報９０Ｃとが対応付けられた情報である。観察用三次元領域情報６０Ｆと指示用三次元領域情報９０Ｃとが対応付けられた情報とは、観察用三次元領域３６と指示用三次元領域３８との間で互いに対応する位置について、観察用三次元領域座標と指示用三次元領域座標とが１対１で対応付けられた情報を指す。なお、位置関係情報６０Ｇは、観察用三次元領域座標と指示用三次元領域座標との相対位置関係がテーブル又は演算式等の何等かの手段によって対応付けられていればよい。

【0093】

以上のようにして規定された指示用三次元領域情報９０Ｃを用いることで、一例として図１３に示すように、指示用三次元領域３８内でのスマートフォン１４の位置及び姿勢がスマートフォン１４によって検出可能となる。指示用三次元領域３８内でのスマートフォン１４の位置及び姿勢が、スマートフォン１４によって特定されると、特定されたスマートフォン１４の位置及び姿勢が基地局２０を介して画像生成装置１２に通知される。そして、位置関係情報６０Ｇを用いることで、指示用三次元領域３８内でのスマートフォン１４の位置及び姿勢から観察用三次元領域３６内での視点４２及び視線４４が画像生成装置１２によって指定される。

【0094】

指示用三次元領域３８内でのスマートフォン１４の位置及び姿勢をスマートフォン１４によって検出可能とするために、一例として図１４に示すように、観客２８は、指示用基準点３８Ａに対してスマートフォン１４の位置合わせを行う。この場合、被写体側レンズ１４Ａを指示用基準点３８Ａに位置合わせした状態で、タッチパネル７６Ａが観客２８によって操作されることで、タッチパネル７６Ａによって位置合わせが完了したことを示す位置合わせ完了情報が受け付けられる。これにより、検出部８８Ａは、指示用基準点３８Ａに対するスマートフォン１４の位置合わせが完了したことを検出する。すなわち、検出部８８Ａは、タッチパネル７６Ａによって位置合わせ完了情報が受け付けられた時点での指示用三次元領域３８内のスマートフォン１４の位置を、加速度センサからの加速度情報に基づいて検出し、検出した位置を指示用基準点３８Ａとして決定する。なお、指示用三次元領域３８内のスマートフォン１４の位置とは、具体的には、指示用三次元領域３８内のスマートフォン１４の三次元位置を指す。

【0095】

検出部８８Ａは、指示用基準点３８Ａに対するスマートフォン１４の位置合わせが完了したことを検出すると、既定の時間間隔（例えば、０．０５秒間隔）で、ジャイロセンサ７４から角度情報を取得し、かつ、加速度センサから加速度情報を取得する。なお、検出部８８Ａによって取得された角度情報及び加速度情報は、本開示の技術に係る「検出部の検出結果」の一例である。

【0096】

検出部８８Ａは、ストレージ９０から指示用三次元領域情報９０Ｃを取得する。そして、検出部８８Ａは、取得した指示用三次元領域情報９０Ｃと、位置合わせが完了した時点から継続して取得した加速度情報とを用いることで、指示用三次元領域３８内での被写体側レンズ１４Ａの三次元位置をスマートフォン１４の三次元位置として検出する。また、検出部８８Ａは、ジャイロセンサ７４から取得した最新の角度情報を用いることで、指示用三次元領域３８内でのスマートフォン１４の姿勢を検出する。なお、以下では、指示用三次元領域３８内での被写体側レンズ１４Ａの三次元位置を「スマートフォン位置」とも称し、指示用三次元領域３８内でのスマートフォン１４の姿勢を「スマートフォン姿勢」とも称する。

【0097】

一例として図１５に示すように、検出部８８Ａは、検出したスマートフォン位置及びスマートフォン姿勢を示す位置姿勢情報を生成し、生成した位置姿勢情報を導出部５８Ｂに出力する。導出部５８Ｂは、位置関係情報６０Ｇに従って、検出部８８Ａの検出結果に対応する視点４２及び視線４４を導出する。導出部５８Ｂは、視点４２及び視線４４を導出するために、ストレージ６０から位置関係情報６０Ｇを取得し、検出部８８Ａから位置姿勢情報を取得する。そして、導出部５８Ｂは、位置関係情報６０Ｇ及び位置姿勢情報から視点４２を導出する。具体的には、導出部５８Ｂは、位置関係情報６０Ｇから、位置姿勢情報により示されるスマートフォン位置に対応する観察用三次元領域情報６０Ｆを導出することで、観察用三次元領域３６内での視点４２を導出する。ここで、観察用三次元領域３６内での視点４２の導出とは、具体的には、観察用三次元領域３６内での視点４２の位置の導出を意味する。

【0098】

また、導出部５８Ｂは、位置関係情報６０Ｇ及び位置姿勢情報から視線４４を導出する。具体的には、導出部５８Ｂは、位置関係情報６０Ｇから、位置姿勢情報により示されるスマートフォン姿勢に対応する観察用三次元領域情報６０Ｆを導出することで、観察用三次元領域３６内での視線４４を導出する。ここで、観察用三次元領域３６内での視線４４の導出とは、具体的には、観察用三次元領域３６内での視線４４の方向の導出を意味する。

【0099】

なお、以下では、導出部５８Ｂによって導出された視点４２を、符号を付さずに単に「観察用視点」とも称し、導出部５８Ｂによって導出された視線４４を、符号を付さずに単に「観察用視線」とも称する。

【0100】

一例として図１６に示すように、導出部５８Ｂは、導出した観察用視点と、導出した観察用視線とを示す視点視線情報を生成し、生成した視点視線情報を取得部５８Ｃに出力する。

【0101】

取得部５８Ｃは、導出部５８Ｂによって導出された観察用視点及び観察用視線で被写体を観察した場合の仮想視点画像４６を取得する。取得部５８Ｃは、視点視線情報取得部５８Ｃ１及び仮想視点画像生成部５８Ｃ２を備えている。視点視線情報取得部５８Ｃ１は、導出部５８Ｂから視点視線情報を取得する。

【0102】

仮想視点画像生成部５８Ｃ２は、視点視線情報取得部５８Ｃ１から視点視線情報を取得する。また、仮想視点画像生成部５８Ｃ２は、複数の撮像装置１６から動画像を取得し、無人航空機２７から、撮像装置１８によって撮像されることで得られた俯瞰画像を動画像として取得する。ここで、複数の撮像装置１６から取得される動画像、及び撮像装置１８から取得される動画像は、本開示の技術に係る「複数の画像」の一例である。

【0103】

なお、ここでは、動画像が例示されているが、本開示の技術はこれに限らず、静止画像であってもよい。また、ここでは、撮像装置１８によって撮像されることで得られた俯瞰画像も仮想視点画像生成部５８Ｃ２によって取得され、仮想視点画像４６の生成に供される形態例を示しているが、本開示の技術はこれに限定されない。例えば、俯瞰画像が仮想視点画像４６の生成に供されずに、複数の撮像装置１６の各々によって撮像されることで得られた複数の画像のみが仮想視点画像生成部５８Ｃ２によって取得され、仮想視点画像生成部５８Ｃ２による仮想視点画像４６の生成に供されるようにしてもよい。すなわち、撮像装置１８（例えば、ドローン）から得られる画像を使用せずに、複数の撮像装置１６によって撮像されることで得られた画像のみから仮想視点画像が生成されるようにしてもよい。また、撮像装置１８（例えば、ドローン）から得られる画像を使用すれば、より高精度な仮想視点画像の生成が可能となる。

【0104】

仮想視点画像生成部５８Ｃ２は、視点視線情報により示される観察用視点及び観察用視線で観察用三次元領域内の被写体を観察した場合の仮想視点画像４６を、複数の撮像装置１６から取得された動画像と撮像装置１８から取得された動画像とに基づいて生成する。このように、取得部５８Ｃは、仮想視点画像生成部５８Ｃ２が仮想視点画像４６を生成することで、仮想視点画像４６を取得する。

【0105】

出力部５８Ｄは、取得部５８Ｃによって取得された仮想視点画像４６をタブレット端末３４に出力する。具体的には、取得部５８Ｃによって取得された仮想視点画像４６とは、仮想視点画像生成部５８Ｃ２によって生成された仮想視点画像４６を指す。タブレット端末３４は、出力部５８Ｄによって出力された仮想視点画像４６を受信する。タブレット端末３４によって受信された仮想視点画像４６はディスプレイ３４Ａに表示される。

【0106】

なお、ここでは、仮想視点画像４６がディスプレイ３４Ａに表示される形態例を示しているが、本開示の技術はこれに限定されない。例えば、出力部５８Ｄによる仮想視点画像４６の出力先は、タブレット端末以外の装置であってもよい。タブレット端末以外の装置は、画像生成装置１２と通信可能に接続されている装置であればよく、例えば、スマートフォン１４の他に、観客２８の自宅に設置されているホームサーバ又はパーソナル・コンピュータであってもよいし、観客２８以外の人物の居所に設置されているサーバ又はパーソナル・コンピュータであってもよい。また、画像生成装置１２を管制しているホストコンピュータ等に対して仮想視点画像４６が出力されるようにしてもよい。また、画像生成装置１２のストレージ６０に仮想視点画像４６が出力され、ストレージ６０に仮想視点画像４６が記憶されるようにしてもよい。また、ＵＳＢメモリ及び外付けＳＳＤ等の外部ストレージに対して仮想視点画像４６が出力されるようにしてもよい。

【0107】

一例として図１７に示すように、観客２８によって指示用三次元領域３８内でのスマートフォン位置が変更された場合、観察用視点及び観察用視線も変更される。この場合、一例として図１８に示すように、図１６に示す仮想視点画像４６とは異なる向きの被写体を示す仮想視点画像４６が生成され、ディスプレイ３４Ａに表示される。このように、指示用三次元領域３８内でのスマートフォン位置の変更に伴って、観察用視点及び観察用視線が変更されるので、観察用視点及び観察用視線が変更される毎に、生成される仮想視点画像４６の内容も変化する。つまり、指示用三次元領域３８内でのスマートフォン位置の変更に伴って、一例として図１９に示すように、ディスプレイ３４Ａに表示される仮想視点画像４６の態様、すなわち、仮想視点画像４６に示される被写体の大きさ及び向き等が変化する。

【0108】

俯瞰画像の拡大表示又は縮小表示を実現するためには、一例として図２０に示すように、スマートフォン１４のタッチパネル７６Ａが観客２８等によって操作されることで、拡大縮小開始指示情報がタッチパネル７６Ａによって受け付けられる。拡大縮小開始指示情報とは、俯瞰画像の拡大又は縮小の開始を指示する情報である。拡大縮小開始指示情報がタッチパネル７６Ａによって受け付けられると、スマートフォン１４は、画像生成装置１２に対して俯瞰画像の送信を要求する。画像生成装置１２は、スマートフォン１４からの要求に応じて最新の俯瞰画像を無人航空機２７の撮像装置１８から取得し、取得した俯瞰画像をスマートフォン１４に送信する。スマートフォン１４は、画像生成装置１２から送信された俯瞰画像を受信する。受信された俯瞰画像はディスプレイ７８に表示される。

【0109】

ディスプレイ７８に俯瞰画像が表示されている状態でタッチパネル７６Ａによって拡大の指示（以下、「拡大指示」と称する）が受け付けられることで、ディスプレイ７８に表示されている俯瞰画像が拡大される。また、ディスプレイ７８に俯瞰画像が表示されている状態でタッチパネル７６Ａによって縮小の指示（以下、「縮小指示」と称する）が受け付けられることで、ディスプレイ７８に表示されている俯瞰画像が縮小される。なお、以下では、拡大指示と縮小指示とを区別して説明する必要がない場合、「拡大縮小指示」と称する。

【0110】

一例として図２０に示すように、拡大指示の一例としては、タッチパネル７６Ａに対するピンチアウト操作が挙げられ、縮小指示の一例としては、タッチパネル７６Ａに対するピンチイン操作が挙げられる。

【0111】

一例として図２１に示すように、タッチパネル７６Ａによって受け付けられた拡大縮小指示は、スマートフォン１４によって画像生成装置１２の画像制御部５８Ｅに送信される。画像制御部５８Ｅは、与えられた指示に従って俯瞰画像の拡大又は縮小を行う。

【0112】

画像制御部５８Ｅは、スマートフォン１４から送信された拡大縮小指示を受信すると、最新の俯瞰画像を無人航空機２７から取得する。画像制御部５８Ｅは、スマートフォン１４から送信された拡大指示を受信した場合、無人航空機２７から取得した俯瞰画像を拡大し、俯瞰画像を拡大して得た拡大俯瞰画像をスマートフォン１４に送信する。画像制御部５８Ｅは、スマートフォン１４から送信された縮小指示を受信した場合、無人航空機２７から取得した俯瞰画像を縮小し、俯瞰画像を縮小して得た縮小俯瞰画像をスマートフォン１４に送信する。

【0113】

スマートフォン１４は、画像制御部５８Ｅから送信された拡大俯瞰画像を受信し、受信した拡大俯瞰画像をディスプレイ７８に表示する。また、スマートフォン１４は、画像制御部５８Ｅから送信された縮小俯瞰画像を受信し、受信した縮小俯瞰画像をディスプレイ７８に表示する。

【0114】

一例として図２２に示すように、観客２８等によってスマートフォン１４のタッチパネル７６Ａによって、サッカーフィールド２４に対する撮像装置１８による撮像面の大きさを変更する大きさ変更指示が受け付けられると、サッカーフィールド２４に対する撮像装置１８による撮像面大きさが変更される。大きさ変更指示としては、図２０に示す例と同様に、ピンチアウト操作及びピンチイン操作が挙げられる。ピンチアウト操作は、サッカーフィールド２４に対する撮像装置１８による撮像面の大きさを現時点よりも狭くする場合に用いられる操作であり、ピンチイン操作は、サッカーフィールド２４に対する撮像装置１８による撮像面の大きさを現時点よりも大きくする場合に用いられる操作である。図２２に示す例では、無人航空機２７の高度を現時点よりも低くすることで、サッカーフィールド２４に対する撮像装置１８による撮像面の大きさが現時点（図１に示す例）よりも小さくなる。

【0115】

一例として図２３に示すように、スマートフォン１４のタッチパネル７６Ａによって受け付けられた大きさ変更指示は、スマートフォン１４によって変更部５８Ｆに送信される。変更部５８Ｆは、スマートフォン１４からの大きさ変更指示を受信する。変更部５８Ｆは、大きさ変更指示を受信すると、受信した大きさ変更指示に従って、サッカーフィールド２４に対する撮像装置１８による撮像面の大きさを変更することで観察用三次元領域３６の大きさを変更する。具体的には、変更部５８Ｆは、スマートフォン１４からの大きさ変更指示を受信すると、受信した大きさ変更指示により示される観察用三次元領域３６の大きさに合う撮像範囲を示す撮像範囲情報（例えば、サッカーフィールド２４に対する撮像装置１８による撮像面の大きさ（例えば、面積））を導出し、導出した撮像範囲情報を無人航空機２７に送信する。撮像範囲情報の導出は、例えば、大きさ変更指示により示される観察用三次元領域３６の大きさと撮像範囲とが対応付けられた撮像範囲導出用テーブルを用いることで実現される。ここでは、撮像範囲情報として、サッカーフィールド２４に対する撮像装置１８による撮像面の大きさ（例えば、面積）を例示しているが、これに限らず、例えば、サッカーフィールド２４に対する撮像面が四角形状であれば、サッカーフィールド２４に対する撮像装置１８による撮像面の４隅を特定可能な座標であってもよく、サッカーフィールド２４に対する撮像面の大きさを特定可能な情報で如何なる情報であってもよい。

【0116】

なお、撮像範囲導出用テーブルに代えて、撮像範囲導出用演算式を用いてもよい。撮像範囲導出用演算式とは、大きさ変更指示により示される観察用三次元領域３６の大きさを独立変数として有し、かつ、撮像範囲を従属変数として有する演算式を指す。

【0117】

無人航空機２７は、変更部５８Ｆからの撮像範囲情報を受信し、受信した撮像範囲情報により示される撮像範囲で撮像装置１８によって撮像が行われる位置に移動し、撮像装置１８に対して撮像を行わせることで俯瞰画像を取得する。

【0118】

変更部５８Ｆは、無人航空機２７から俯瞰画像を取得する。変更部５８Ｆは、無人航空機２７から取得した俯瞰画像に基づいて、観察用三次元領域情報６０Ｆを変更することで、観察用三次元領域３６の大きさを変更する。すなわち、変更部５８Ｆは、無人航空機２７から取得した俯瞰画像を用いることで、サッカーフィールド２４に対する撮像装置１８による撮像面に相当するサッカーフィールド相当面２４Ａの広さを変更し、観察用三次元領域３６を、広さを変更したサッカーフィールド相当面２４Ａを底面とした三次元領域に変更する。

【0119】

変更部５８Ｆは、観察用三次元領域３６の大きさの変更に連動して、観察用三次元領域３６との相似関係を維持した状態で指示用三次元領域３８の大きさを変更する。すなわち、変更部５８Ｆは、観察用三次元領域３６の大きさの変更に連動して、観察用三次元領域３６との相似関係を維持するように指示用三次元領域情報９０Ｃを変更することで、指示用三次元領域３８の大きさを変更する。なお、変更部５８Ｆは、画像制御部５８Ｅによって俯瞰画像が拡大又は縮小されることで（図２０及び図２１参照）、観察用三次元領域３６の大きさを変更するようにしてもよい。この場合、サッカーフィールド２４のうちの上述した拡大俯瞰画像又は縮小俯瞰画像により示される面が、本開示の技術に係る「特定基準面」の一例である。この場合も、変更部５８Ｆは、観察用三次元領域３６の大きさの変更に連動して、観察用三次元領域３６との相似関係を維持するように指示用三次元領域情報９０Ｃを変更することで、指示用三次元領域３８の大きさを変更する。

【0120】

このように、変更部５８Ｆによって観察用三次元領域情報６０Ｆと指示用三次元領域情報９０Ｃとが相似関係を維持した状態で変更されることで位置関係情報６０Ｇが更新される。変更部５８Ｆは、位置関係情報６０Ｇが更新されると、位置関係情報６０Ｇから指示用三次元領域情報９０Ｃを取得し、取得した指示用三次元領域情報９０Ｃをスマートフォン１４の指示用三次元領域生成部８８Ｂ３に送信する。指示用三次元領域生成部８８Ｂ３は、変更部５８Ｆからの指示用三次元領域情報９０Ｃを受信し、受信した指示用三次元領域情報９０Ｃをストレージ９０に上書き保存することで、ストレージ９０内の指示用三次元領域情報９０Ｃを更新する。

【0121】

一例として図２４に示すように、変更部５８Ｆは、観察用三次元領域３６の大きさ及び指示用三次元領域３８の大きさを変更した場合に、観察用三次元領域３６の大きさ及び指示用三次元領域３８の大きさの変更の度合いを示す変更度合い情報６０Ｈ１を変化速度指示部５８Ｇに出力する。

【0122】

ストレージ６０には、変化速度導出テーブル６０Ｈが記憶されている。変化速度導出テーブル６０Ｈは、変更度合い情報６０Ｈ１と、仮想視点画像４６の大きさが変化する速度を指示する変化速度指示情報６０Ｈ２とが対応付けられている。変更度合い情報６０Ｈ１及び変化速度指示情報６０Ｈ２は、観察用三次元領域３６の大きさ及び指示用三次元領域３８の大きさの変更の度合いが大きいほど、仮想視点画像４６の大きさが遅く変化する関係性で対応付けられている。換言すると、変更度合い情報６０Ｈ１及び変化速度指示情報６０Ｈ２は、観察用三次元領域３６の大きさ及び指示用三次元領域３８の大きさの変更の度合いが小さいほど、仮想視点画像４６の大きさが速く変化する関係性で対応付けられている。

【0123】

変化速度指示部５８Ｇは、変更部５８Ｆから入力された変更度合い情報６０Ｈ１に対応する変化速度指示情報６０Ｈ２を変化速度導出テーブル６０Ｈから導出し、導出した変化速度指示情報６０Ｈ２を仮想視点画像生成部５８Ｃ２に出力する。仮想視点画像生成部５８Ｃ２は、変化速度指示部５８Ｇから入力された変化速度指示情報６０Ｈ２により指示された速度で仮想視点画像４６の大きさを変化させる。仮想視点画像生成部５８Ｃ２は、変化速度指示情報６０Ｈ２により指示された速度で大きさが変化する仮想視点画像４６を生成し、生成した仮想視点画像４６を、変化速度指示情報６０Ｈ２により指示された速度に従って出力部５８Ｄに出力する。出力部５８Ｄは、変化速度指示情報６０Ｈ２により指示された速度に従って、仮想視点画像４６をタブレット端末３４に出力する。

【0124】

次に、情報処理システム１０の作用について説明する。

【0125】

先ず、スマートフォン１４のＣＰＵ８８によって生成プログラム９０Ａに従って実行される生成処理の流れの一例について図２５を参照しながら説明する。なお、生成処理は、例えば、スマートフォン１４の受付デバイス７６（図４参照）によって、生成処理の実行を開始する指示が受け付けられた場合に実行される。また、ここでは、説明の便宜上、４点三次元位置検出部８８Ａ１によって基準被写体画像４１が取得され、取得された基準被写体画像４１に基づいて４点三次元位置検出部８８Ａ１によって４点三次元位置情報が既に生成されていることを前提として説明する。

【0126】

図２５に示す生成処理では、先ず、ステップＳＴ１０で、観察用三次元領域情報取得部８８Ｂ１は、画像生成装置１２から観察用三次元領域情報６０Ｆを取得し（図１１参照）、その後、生成処理はステップＳＴ１２へ移行する。

【0127】

ステップＳＴ１２で、指示用基準面生成部８８Ｂ２は、４点三次元位置検出部８８Ａ１から４点三次元位置情報を取得し（図１１参照）、その後、生成処理はステップＳＴ１４へ移行する。

【0128】

ステップＳＴ１４で、指示用基準面生成部８８Ｂ２は、ステップＳＴ１２で取得した４点三次元位置情報に基づいて指示用基準面４０Ａを生成し（図１１参照）、その後、生成処理はステップＳＴ１６へ移行する。

【0129】

ステップＳＴ１６で、指示用三次元領域生成部８８Ｂ３は、ステップＳＴ１０で取得された観察用三次元領域情報６０Ｆと、ステップＳＴ１４で生成された指示用基準面４０Ａとに基づいて指示用三次元領域情報９０Ｃを生成することで指示用三次元領域３８を生成し（図１１参照）、その後、生成処理はステップＳＴ１８へ移行する。

【0130】

ステップＳＴ１８で、指示用三次元領域生成部８８Ｂ３は、ステップＳＴ１６で生成した指示用三次元領域情報９０Ｃをストレージ９０に格納し（図１２参照）、その後、生成処理はステップＳＴ２０へ移行する。

【0131】

ステップＳＴ２０で、指示用三次元領域生成部８８Ｂ３は、ステップＳＴ１６で生成した指示用三次元領域情報９０Ｃを画像生成装置１２の領域対応付け部５８Ａに出力し（図１２参照）、その後、生成処理が終了する。

【0132】

次に、スマートフォン１４のＣＰＵ８８によって検出プログラム９０Ｂに従って実行される検出処理の流れの一例について図２６を参照しながら説明する。なお、検出処理は、例えば、スマートフォン１４の受付デバイス７６によって、検出処理の実行を開始する指示が受け付けられた場合に実行される。

【0133】

図２６に示す検出処理では、先ず、ステップＴ４０で、検出部８８Ａは、受付デバイス７６によって位置合わせ完了情報が受け付けられたか否かを判定する（図１４参照）。ステップＳＴ４０において、受付デバイス７６（図４参照）によって位置合わせ完了情報が受け付けられた場合は、判定が肯定されて、生成処理はステップＳＴ４２へ移行する。ステップＳＴ４０において、受付デバイス７６によって位置合わせ完了情報が受け付けられていない場合は、判定が否定されて、ステップＳＴ４０の判定が再び行われる。

【0134】

ステップＳＴ４２で、検出部８８Ａは、ジャイロセンサ７４から角度情報を取得し（図１４参照）、その後、検出処理はステップＳＴ４４へ移行する。

【0135】

ステップＳＴ４４で、検出部８８Ａは、加速度センサ７２から加速度情報を取得し（図１４参照）、その後、検出処理はステップＳＴ４６へ移行する。

【0136】

ステップＳＴ４６で、検出部８８Ａは、ステップＳＴ４４で取得した加速度情報に基づいてスマートフォン位置を検出し、ステップＳＴ４２で取得した角度情報に基づいてスマートフォン姿勢を検出し、その後、検出処理はステップＳＴ４８へ移行する。

【0137】

ステップＳＴ４８で、検出部８８Ａは、ステップＳＴ４６で検出したスマートフォン位置及びスマートフォン姿勢を示す位置姿勢情報を生成し、生成した位置姿勢情報を画像生成装置１２の導出部５８Ｂに出力し（図１５参照）、その後、検出処理はステップＳＴ５０へ移行する。

【0138】

ステップＳＴ５０で、検出部８８Ａは、検出処理を終了する条件（以下、「検出処理終了条件」と称する）を満足したか否かを判定する。検出処理終了条件としては、例えば、受付デバイス７６によって、検出処理を終了させる指示が受け付けられた、との条件があげられる。ステップＳＴ５０において、検出処理終了条件を満足していない場合は、判定が否定されて、検出処理はステップＳＴ４２へ移行する。ステップＳＴ５０において、検出処理終了条件を満足した場合は、判定が肯定されて、検出処理が終了する。

【0139】

次に、画像生成装置１２のＣＰＵ５８によって領域対応付けプログラム６０Ａに従って実行される領域対応付け処理の流れの一例について図２７を参照しながら説明する。なお、領域対応付け処理は、例えば、図２５に示す生成処理の実行が終了したことを条件に実行される。また、以下では、画像生成装置１２のストレージ６０に観察用三次元領域情報６０Ｆが既に記憶されていることを前提として説明する。

【0140】

図２７に示す領域対応付け処理では、先ず、ステップＳＴ６０で、領域対応付け部５８Ａは、ストレージ６０から観察用三次元領域情報６０Ｆを取得し、その後、領域対応付け処理はステップＳＴ６２へ移行する。

【0141】

ステップＳＴ６２で、領域対応付け部５８Ａは、指示用三次元領域生成部８８Ｂ３から指示用三次元領域情報９０Ｃを取得し（図１２参照）、その後、検出処理はステップＳＴ６４へ移行する。

【0142】

ステップＳＴ６４で、領域対応付け部５８Ａは、ステップＳＴ６０で取得した観察用三次元領域情報６０ＦとステップＳＴ６２で取得した指示用三次元領域情報９０Ｃとを、観察用三次元領域３６と指示用三次元領域３８との互いに対応する位置間で対応付けることで位置関係情報６０Ｇを生成する。そして、領域対応付け部５８Ａは、生成した位置関係情報６０Ｇをストレージ６０に格納し、その後、領域対応付け処理が終了する。

【0143】

次に、画像生成装置１２のＣＰＵ５８によって仮想視点画像生成プログラム６０Ｂに従って実行される仮想視点画像生成処理の流れの一例について図２８を参照しながら説明する。なお、仮想視点画像生成処理は、例えば、画像生成装置１２の受付デバイス５２（図３参照）又はスマートフォン１４の受付デバイス７６（図４参照）によって、仮想視点画像生成処理の実行を開始する指示が受け付けられた場合に実行される。

【0144】

図２８に示す仮想視点画像生成処理では、先ず、ステップＳＴ８０で、導出部５８Ｂは、検出部８８Ａから位置姿勢情報を取得し（図１５参照）、その後、仮想視点画像生成処理はステップＳＴ８２へ移行する。

【0145】

ステップＳＴ８２で、導出部５８Ｂは、ストレージ６０から位置関係情報６０Ｇを取得し（図１５参照）、その後、仮想視点画像生成処理はステップＳＴ８４へ移行する。

【0146】

ステップＳＴ８４で、導出部５８Ｂは、ステップＳＴ８２で取得した位置関係情報６０Ｇに従って、ステップＳＴ８０で取得した位置姿勢情報に対応する観察用視点及び観察用視線を導出し、導出した観察用視点及び観察用視線に基づいて視点視線情報を生成し、その後、仮想視点画像生成処理はステップＳＴ８６へ移行する。

【0147】

ステップＳＴ８６で、視点視線情報取得部５８Ｃ１は、導出部５８Ｂから視点視線情報を取得し（図１６参照）、その後、仮想視点画像生成処理はステップＳＴ８８へ移行する。

【0148】

ステップＳＴ８８で、仮想視点画像生成部５８Ｃ２は、撮像装置１８及び複数の撮像装置１６の各々から動画像を取得し、その後、仮想視点画像生成処理はステップＳＴ９０へ移行する。

【0149】

ステップＳＴ９０で、仮想視点画像生成部５８Ｃ２は、ステップＳＴ８６で取得された視点視線情報により示される観察用視点と、ステップＳＴ８６で取得された視点視線情報により示される観察用視線と、ステップＳＴ８８で取得された動画像とに基づいて仮想視点画像４６を生成し（図１６参照）、その後、仮想視点画像生成処理はステップＳＴ９２へ移行する。

【0150】

ステップＳＴ９２で、出力部５８Ｄは、仮想視点画像生成部５８Ｃ２によって生成された仮想視点画像４６を取得し、取得した仮想視点画像４６をタブレット端末３４に出力し、その後、仮想視点画像生成処理はステップＳＴ９４へ移行する。

【0151】

ステップＳＴ９４で、ＣＰＵ５８は、仮想視点画像生成処理を終了する条件（以下、「仮想視点画像生成処理終了条件」と称する）を満足したか否かを判定する。仮想視点画像生成処理終了条件としては、例えば、スマートフォン１４の受付デバイス７６又は画像生成装置１２の受付デバイス５２によって、仮想視点画像生成処理を終了する指示が受け付けられた、との条件が挙げられる。ステップＳＴ９４において、仮想視点画像生成処理終了条件を満足していない場合は、判定が否定されて、仮想視点画像生成処理はステップＳＴ８０へ移行する。ステップＳＴ９４において、仮想視点画像生成処理終了条件を満足した場合は、判定が肯定されて、仮想視点画像生成処理が終了する。

【0152】

次に、画像生成装置１２のＣＰＵ５８によって画像制御プログラム６０Ｃに従って実行される画像制御処理の流れの一例について図２９を参照しながら説明する。なお、画像制御処理は、例えば、スマートフォン１４の受付デバイス７６又は画像生成装置１２の受付デバイス５２によって、画像制御処理の実行を開始する指示が受け付けられた場合に実行される。以下では、画像制御部５８Ｅが無人航空機２７から俯瞰画像を既に取得していることを前提として説明する。

【0153】

図２９に示す画像制御処理では、先ず、ステップＳＴ１００で、画像制御部５８Ｅは、スマートフォン１４から送信された拡大縮小指示を受信したか否かを判定する。ステップＳＴ１００において、スマートフォン１４から送信された拡大縮小指示を受信していない場合は、判定が否定されて、画像制御処理はステップＳＴ１０４へ移行する。ステップＳＴ１００において、スマートフォン１４から送信された拡大縮小指示を受信した場合は、判定が肯定されて、画像制御処理はステップＳＴ１０２へ移行する。

【0154】

ステップＳＴ１０２で、画像制御部５８Ｅは、ステップＳＴ１００で受信した拡大縮小指示に従って俯瞰画像を拡大又は縮小し、その後、画像制御処理はステップＳＴ１０４へ移行する。すなわち、ステップＳＴ１０２では、画像制御部５８Ｅによって拡大指示が受信された場合に、俯瞰画像が拡大されることで拡大俯瞰画像が生成され、画像制御部５８Ｅによって縮小指示が受信された場合に、俯瞰画像が縮小されることで縮小俯瞰画像が生成される。このようにして生成された拡大俯瞰画像又は縮小俯瞰画像は、スマートフォン１４のディスプレイ７８に表示される（図２１参照）。

【0155】

ステップＳＴ１０４で、ＣＰＵ５８は、画像制御処理を終了する条件（以下、「画像制御処理終了条件」と称する）を満足したか否かを判定する。画像制御処理終了条件としては、例えば、スマートフォン１４の受付デバイス７６又は画像生成装置１２の受付デバイス５２によって、画像制御処理を終了する指示が受け付けられた、との条件が挙げられる。ステップＳＴ１０４において、画像制御処理終了条件を満足していない場合は、判定が否定されて、画像制御処理はステップＳＴ１００へ移行する。ステップＳＴ１０４において、画像制御処理終了条件を満足した場合は、判定が肯定されて、画像制御処理が終了する。

【0156】

次に、画像生成装置１２のＣＰＵ５８によって変更プログラム６０Ｄに従って実行される変更処理の流れの一例について図３０を参照しながら説明する。なお、変更処理は、例えば、スマートフォン１４の受付デバイス７６又は画像生成装置１２の受付デバイス５２によって、変更処理の実行を開始する指示が受け付けられた場合に実行される。

【0157】

図３０に示す変更処理では、先ず、ステップＳＴ１２０で、変更部５８Ｆは、無人航空機２７から俯瞰画像を取得し、その後、変更処理はステップＳＴ１２２へ移行する。

【0158】

ステップＳＴ１２２で、変更部５８Ｆは、ステップＳＴ１２０で取得した俯瞰画像に基づいて、サッカーフィールド２４に対する撮像装置１８による撮像面に相当するサッカーフィールド相当面２４Ａの広さを変更する。そして、変更部５８Ｆは、広さを変更したサッカーフィールド相当面２４Ａに基づいて観察用三次元領域情報６０Ｆを変更することで、観察用三次元領域３６の大きさを変更し、その後、変更処理はステップＳＴ１２４へ移行する。

【0159】

ステップＳＴ１２４で、変更部５８Ｆは、観察用三次元領域３６と指示用三次元領域３８との相似関係が維持されるように、ステップＳＴ１２２で変更した観察用三次元領域情報６０Ｆに基づいて指示用三次元領域情報９０Ｃを変更し、その後、変更処理はステップＳＴ１２６へ移行する。

【0160】

ステップＳＴ１２６で、変更部５８Ｆは、ステップＳＴ１２４で変更して得た指示用三次元領域情報９０Ｃをスマートフォン１４の指示用三次元領域生成部８８Ｂ３に出力し（図２３参照）、その後、変更処理が終了する。

【0161】

次に、画像生成装置１２のＣＰＵ５８によって変化速度指示プログラム６０Ｅに従って実行される変化速度指示処理の流れの一例について図３１を参照しながら説明する。なお、変化速度指示処理は、例えば、スマートフォン１４の受付デバイス７６又は画像生成装置１２の受付デバイス５２によって、変化速度指示処理の実行を開始する指示が受け付けられ、かつ、変更部５８Ｆによって観察用三次元領域３６の大きさが変更された場合に実行される。

【0162】

図３１に示す変化速度指示処理では、先ず、ステップＳＴ１４０で、変化速度指示部５８Ｇは、変更部５８Ｆから変更度合い情報６０Ｈ１を取得し、その後、変化速度指示処理はステップＳＴ１４２へ移行する。

【0163】

ステップＳＴ１４２で、変化速度指示部５８Ｇは、ストレージ６０から変化速度導出テーブル６０Ｈを取得し、その後、変化速度指示処理はステップＳＴ１４４へ移行する。

【0164】

ステップＳＴ１４４で、変化速度指示部５８Ｇは、ステップＳＴ１４２で取得した変化速度導出テーブル６０Ｈから、ステップＳＴ１４０で取得した変更度合い情報６０Ｈ１に対応する変化速度指示情報６０Ｈ２を導出する。そして、変化速度指示部５８Ｇは、導出した変化速度指示情報６０Ｈ２を仮想視点画像生成部５８Ｃ２に出力し、その後、変化速度指示処理はステップＳＴ１４６へ移行する。

【0165】

ステップＳＴ１４６で、仮想視点画像生成部５８Ｃ２は、変化速度指示部５８Ｇから入力された変化速度指示情報６０Ｈ２により指示された速度で仮想視点画像４６の大きさを変化させ、その後、変化速度指示処理が終了する。

【0166】

以上説明したように、情報処理システム１０では、観察用三次元領域３６に対して縮小された関係性を有する指示用三次元領域内でのスマートフォン位置及びスマートフォン姿勢が検出部８８Ａによって検出される。また、導出部５８Ｂによって、位置関係情報６０Ｇに従って、検出部８８Ａの検出結果に対応する観察用視点及び観察用視線が導出される。そして、導出部５８Ｂによって導出された観察用視点及び観察用視線で被写体を観察した場合の被写体を示す画像として仮想視点画像４６が取得部５８Ｃによって取得される。従って、実際の観察位置から被写体を観察した場合の被写体を示す仮想視点画像を取得する場合に比べ、実際の観察位置とは異なる位置から被写体を観察した場合の被写体を示す仮想視点画像（上記実施形態に示す例では、仮想視点画像４６）を得ることができる。

【0167】

また、情報処理システム１０において、位置関係情報６０Ｇにより示される相対位置関係は、基準点に対する観察用三次元領域の位置及び基準点に対する指示用三次元領域３８の位置との関係である。従って、基準点が存在しない場合に比べ、観察用三次元領域３６の位置と指示用三次元領域３８の位置との関係を容易に特定することができる。

【0168】

また、情報処理システム１０において、位置関係情報６０Ｇは、基準点を原点とした観察用三次元領域３６内の位置を示す座標と、基準点を原点とした指示用三次元領域３８内の位置を示す座標とが対応付けられた情報である。従って、基準点を原点として観察用三次元領域３６内の位置を示す座標と、基準点を原点とした指示用三次元領域３８内の位置を示す座標とが対応付けられていない場合に比べ、観察用三次元領域３６内の位置を示す座標と指示用三次元領域内の位置を示す座標との対応関係を容易に特定することができる。

【0169】

また、情報処理システム１０において、基準点は、観察用基準点３６Ａと指示用基準点３８Ａとに類別されており、指示用基準点３８Ａは、観察用基準点３６Ａとは異なる位置で観察用基準点３６Ａと対応関係にある。従って、観察用三次元領域３６及び指示用三次元領域３８に対して共通の基準点を適用する場合に比べ、観察用三次元領域３６内の位置と指示用三次元領域３８内の位置との関係を高精度に特定することができる。

【0170】

また、情報処理システム１０において、指示用基準点３８Ａは、指示用三次元領域３８内でのスマートフォン位置が検出部８８Ａによって検出されることで決定される。従って、観客２８等のユーザ（以下、単に「ユーザ」と称する）が意図する位置に指示用基準点３８Ａを位置決めすることができる。

【0171】

また、情報処理システム１０では、４点三次元位置検出部８８Ａ１によって、指示用三次元領域３８内での４点の三次元位置が検出される。そして、４点三次元位置検出部８８Ａ１によって検出された４点の三次元位置を用いることで特定された指示用基準面４０Ａに基づいて指示用三次元領域３８が生成部８８Ｂによって生成される。従って、ユーザの意図する位置及び大きさが反映された指示用三次元領域３８を生成することができる。

【0172】

また、情報処理システム１０では、基準被写体４０が撮像されることで得られた基準被写体画像４１を用いることで特定された指示用基準面４０Ａに基づいて指示用三次元領域３８が生成部８８Ｂによって生成される。従って、基準被写体４０との関係性を把握可能な指示用三次元領域３８を生成することができる。

【0173】

また、情報処理システム１０では、拡大縮小指示に従って俯瞰画像の拡大又は縮小が画像制御部５８Ｅによって行われる。従って、ユーザが意図する大きさの俯瞰画像をユーザに対して視認させることができる。

【0174】

また、情報処理システム１０において、指示用基準面４０Ａは、指示用三次元領域３８の１つの外面である。従って、指示用基準面４０Ａとは異なる複数の面からユーザが選択した１つの面が指示用三次元領域３８の１つの外面として採用される場合に比べ、迅速に指示用三次元領域３８を生成することができる。

【0175】

また、情報処理システム１０において、観察用三次元領域３６は、サッカーフィールド２４を含む領域が無人航空機２７の撮像装置１８によって撮像されることで得られた俯瞰画像に基づいて規定された三次元領域であり、かつ、指示用三次元領域３８と相似関係にある。そして、スマートフォン１４の受付デバイス７６によって受け付けられた大きさ変更指示に従って、変更部５８Ｆによって、サッカーフィールド２４に対する撮像装置１８による撮像面の大きさが変更されることで観察用三次元領域３６の大きさが変更される。変更部５８Ｆによって、観察用三次元領域３６の大きさの変更に連動して、相似関係を指示した状態で指示用三次元領域３８の大きさが変更される。従って、観察用三次元領域３６の大きさの変更を指示用三次元領域３８に反映させることができる。

【0176】

更に、情報処理システム１０では、取得部５８Ｃによって取得された仮想視点画像４６は出力部５８Ｄによってタブレット端末３４に出力される。従って、取得部５８Ｃによって取得された仮想視点画像４６をユーザに提供することができる。

【0177】

なお、上記実施形態では、無人航空機２７の高度を変更することで撮像範囲の広さを変更する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、変更部５８Ｆは、大きさ変更指示に従って俯瞰画像の拡大又は縮小を行うことでサッカーフィールド２４（図２、図２４、及び図２５等を参照）に対する撮像範囲の広さを変更するようにしてもよい。これにより、ユーザが意図する撮像範囲に対応した大きさの観察用三次元領域３６を得ることができる。なお、俯瞰画像の拡大又は縮小は、例えば、無人航空機２７の撮像装置１８のデジタルズーム機能又は光学式ズーム機能を働かせることで実現されるようにしてもよい。

【0178】

また、上記実施形態では、無人航空機２７の撮像装置１８により観察用三次元領域３６が撮像されることで得られた画像を俯瞰画像としたが、本開示の技術はこれに限定されない。例えば、サッカーフィールド２４を含む領域、すなわち、観察用三次元領域３６が仮想カメラによって撮像されることで得られた仮想視点画像を俯瞰画像としてもよい。ここで、「仮想カメラによって撮像されることで得られた仮想視点画像」とは、例えば、上空からサッカーフィールド２４を観察した場合のサッカーフィールド２４を含む領域を示す仮想視点画像を指す。仮想カメラによって撮像されることで得られる仮想視点画像は、例えば、撮像装置１８及び複数の撮像装置１６（図１参照）によってサッカーフィールド２４を含む領域が撮像されることで得られた複数の画像に基づいて生成される。ここで、「仮想カメラ」は、本開示の技術に係る「第１仮想撮像装置」及び「第２仮想撮像装置」の一例である。

【0179】

また、上記実施形態では、サッカーフィールド２４の上空から無人航空機２７の撮像装置１８によって観察用三次元領域３６が撮像される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画像生成装置１２の受付デバイス５２又はスマートフォン１４の受付デバイス７６によって、撮像装置１８による撮像方向を変更する撮像方向変更指示が受け付けられ、受け付けられた撮像方向変更指示に従って変更部５８Ｆによって撮像装置１８の撮像方向が変更されるようにしてもよい。また、受け付けられた撮像方向変更指示に従って上記の仮想カメラの撮像方向が変更部５８Ｆによって変更されるようにしてもよい。また、画像生成装置１２の受付デバイス５２又はスマートフォン１４の受付デバイス７６によって撮像方向変更指示が受け付けられた場合、撮像装置１８に代えて、複数の撮像装置１６のうち、撮像方向変更指示により示される撮像方向に対応する撮像装置１６を用いることによって撮像方向が変更されるようにしてもよい。このように撮像方向が変更されることで、ユーザが意図する方向から見た場合の観察用三次元領域３６を得ることができる。

【0180】

また、上記実施形態では、サッカーフィールド画像が表面に形成された記録媒体Ｐ上に指示用三次元領域３８が形成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３２に示すように、記録媒体Ｐに代えて、タブレット端末３４のディスプレイ３４Ａ上に指示用三次元領域３８が形成されるようにしてもよい。

【0181】

この場合、撮像装置１８により観察用三次元領域３６が撮像されることで得られた俯瞰画像がディスプレイ３４Ａに表示されている状態でのディスプレイ３４Ａの表示面が指示用基準面４０Ｂとして用いられる。そして、指示用基準面４０Ｂに基づいて指示用三次元領域３８がタブレット端末３４のＣＰＵ１１８によって生成される。ＣＰＵ１１８は、本開示の技術に係る「生成部」の一例である。ここでは、撮像装置１８により観察用三次元領域３６が撮像されることで得られた俯瞰画像が例示しているが、これに限らず、上記の仮想カメラによって観察用三次元領域３６が撮像されることで得られた仮想視点画像を俯瞰画像として用いてもよい。

【0182】

図３２に示す例では、観客２８の指に指サック１５０が装着されており、指サック１５０が装着された指（以下、単に「指」と称する）が指示用三次元領域３８内で撮像装置１１４によって撮像される。そして、指が撮像装置１１４によって撮像されることで得られた画像に基づいて観察用視点及び観察用視線がＣＰＵ１１８によって決定される。つまり、指示用三次元領域３８内での指の三次元位置が観察用視点の位置に対応する位置としてＣＰＵ１１８によって認識され、指示用三次元領域３８内での指の指し示す方向が観察用視線に対応する方向としてＣＰＵ１１８によって認識される。

【0183】

ここでは、指サック１５０が装着された指を例示しているが、本開示の技術はこれに限定されず、指サック１５０が装着されていない指であってもよい。指は、本開示の技術に係る「物体」の一例である。なお、ここで、「物体」は、「指示体」と言い換えることができる。ここでは、本開示の技術に係る「物体」の一例として、指を例示しているが、これに限らず、スタイラスペン、ボールペン、シャープペンシル、又はストロー等の指以外の物体であってもよい。

【0184】

また、上記実施形態では、観察用三次元領域３６の大きさの変更に連動して、指示用三次元領域３８の大きさも変更される形態例を挙げて説明したが、本開示の技術はこれに限定されず、観察用三次元領域３６の大きさの変更に関わらず、指示用三次元領域３８の大きさが変更されないようにしてもよい。図３２に示す例において、タブレット端末３４のディスプレイ３４Ａに俯瞰画像が拡大又は縮小されて表示された場合であっても、観察用三次元領域３６の大きさ及び指示用三次元領域３８の大きさが変更されないようにしてもよい。なお、ここで、ディスプレイ３４Ａは、本開示の技術に係る「第１表示装置」及び「第２表示装置」の一例である。

【0185】

また、タブレット端末３４では、サッカーフィールド２４に対する撮像装置１８による撮像面を示す特定基準面画像４０Ｂ１（図３３参照）がディスプレイ３４Ａに表示されている状態で、タッチパネル１０６Ａ（本開示の技術に係る「受付部（受付デバイス）」の一例）によって、特定基準面画像４０Ｂ１を拡大又は縮小する指示（以下、「画像大きさ変更指示」と称する）が受け付けられる。タッチパネル１０６Ａによって受け付けられた画像大きさ変更指示に従って特定基準面画像４０Ｂ１が拡大又は縮小されると、これに応じて、特定基準面画像に対応する実空間上の三次元領域３６Ｂが変更部５８Ｆによって生成される。図３３に示す例では、ディスプレイ３４Ａに特定基準面画像４０Ｂ１が表示されている状態で、画像大きさ変更指示として特定基準面画像４０Ｂ１を拡大する指示がタッチパネル１０６Ａによって受け付けられたことによって特定基準面画像４０Ｂ１が拡大された場合の三次元領域３６Ｂが示されている。図３３に示す例では、三次元領域３６Ｂが観察用三次元領域３６内の中央部に位置している。特定基準面画像４０Ｂ１を拡大する指示の一例としては、タッチパネル１０６Ａに対するピンチアウト操作が挙げられる。図３４に示す例では、ディスプレイ３４Ａに特定基準面画像４０Ｂ１が表示されている状態で、画像大きさ変更指示として特定基準面画像４０Ｂ１を縮小する指示がタッチパネル１０６Ａによって受け付けられたことによって特定基準面画像４０Ｂ１が縮小された場合の三次元領域３６Ｂが示されている。図３４に示す例では、三次元領域３６Ｂが観察用三次元領域３６の外側（観察用三次元領域３６を取り囲む側）に位置している。特定基準面画像４０Ｂ１を縮小する指示の一例としては、タッチパネル１０６Ａに対するピンチイン操作が挙げられる。ここでは、画像大きさ変更指示として、ピンチアウト操作及びピンチイン操作を例示しているが、本開示の技術はこれに限らず、例えば、画像大きさ変更指示は、特定のソフトキー及び／又は特定のハードキーの操作等であってもよく、画像大きさ変更指示として定めらえた操作であればよい。

【0186】

画像大きさ変更指示に従って特定基準面画像４０Ｂ１の大きさが変更されると、位置関係情報６０Ｇ（図１２参照）が変更部５８Ｆによって更新される。位置関係情報６０Ｇには、タッチパネル１０６Ａによって受け付けられた画像大きさ変更指示に従って拡大又は縮小された特定基準面画像４０Ｂ１に対応する実空間上の三次元領域３６Ｂと指示用三次元領域３８との相対位置関係を示す情報が含まれている。タッチパネル１０６Ａによって画像大きさ変更指示が受け付けられると、受け付けられた画像大きさ変更指示に応じて位置関係情報６０Ｇが変更部５８Ｆによって変更される。指示用三次元領域３８に対して観客２８によって与えられた指示に従って、観察用視点及び観察用視線が三次元領域３６Ｂ内で変更される。

【0187】

つまり、観察用三次元領域３６と指示用三次元領域３８との相似関係は維持されるが、指示用三次元領域３８に対して観客２８によって与えられた指示は、三次元領域３６Ｂに対して反映される（観察用視点及び観察用視線が三次元領域３６Ｂ内に設定される）。なお、ここでは、観察用三次元領域３６と三次元領域３６Ｂとが別々に存在している形態例を挙げて説明したが、本開示の技術はこれに限らず、観察用三次元領域３６を三次元領域３６Ｂとして再設定してもよい。

【0188】

なお、図３３に示す例では、観察用三次元領域３６内の一部の三次元領域が、ディスプレイ３４Ａ上で規定されている指示用三次元領域３８と対応している三次元領域３６Ｂとして設定されており、図３４に示す例では、観察用三次元領域３６外の三次元領域が、ディスプレイ３４Ａ上で規定されている指示用三次元領域３８と対応している三次元領域３６Ｂとして設定されているが、本開示の技術はこれに限定されない。例えば、ディスプレイ３４Ａに表示されている特定基準面画像の拡大又は縮小に関わらず、上記実施形態と同様に、観客２８によって指示用三次元領域３８に対して与えられた指示に従って、観察用三次元領域３６内で観察用視点及び観察用視線が設定されるようにしてもよい。

【0189】

また、一例として図３５に示すように、指示用三次元領域３８内での指の位置及び向きが変更されることによって、上記実施形態と同様に、観察用視点及び観察用視線が変更される。

【0190】

このように、俯瞰画像がディスプレイ３４Ａに表示されている状態でのディスプレイ３４Ａの表示面を指示用基準面４０Ｂとし、ＣＰＵ１１８が、指示用基準面４０Ｂに基づいて指示用三次元領域３８が生成することで、観察用三次元領域３６との関係性を把握可能な指示用三次元領域３８を生成することができる。また、ディスプレイ３４Ａには俯瞰画像が表示されるので、俯瞰された状態での観察用三次元領域３６との関係性を把握可能な指示用三次元領域３８を生成することができる。

【0191】

また、上記実施形態では、記録媒体Ｐがスマートフォン１４の撮像装置８４によって撮像されることで得られた基準被写体画像４１に基づいて指示用基準面４０Ａが生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３６に示すように、スマートフォン１４の撮像装置８４によって任意の領域（図３６に示す例では、観客２８の太もも）を撮像されることで得られた画像に基づいて指示用基準面４０Ｃが生成されるようにしてもよい。また、スマートフォン１４が４か所に順次に配置され、各箇所で受付デバイス７６によって位置決めの指示が受け付けられることで、指示用基準面４０Ｃの生成用の４点を決定するようにしてもよい。加速度センサ７２から得られる加速度情報を用いることで４点間の位置関係が特定され、特定された位置関係から指示用基準面４０Ｃが一意に定まる。このように指示用基準面４０Ｃが定められると、一例として図３７に示すように、生成部８８Ｂによって、指示用基準面４０Ｃに基づく指示用三次元領域３８が生成される。

【0192】

なお、以上では、指示用基準面４０Ａ，４０Ｂ及び４０Ｃの各々を定めるにあたって、４点を特定している形態例を挙げているが、本開示の技術はこれに限定されず、指示用基準面４０Ａ，４０Ｂ及び／又は４０Ｃを３点で定めてもよく、面を規定可能な３点以上の複数の点であればよい。以下では、指示用基準面４０Ａ，４０Ｂ及び４０Ｃを区別して説明する必要がない場合、符号を付さずに「指示用基準面」と称する。

【0193】

指示用基準面を生成するために要する少なくとも３点以上の複数の点を特定する場合、例えば、図３８に示すように、任意の４か所に順次に指を置き、各箇所で、スマートフォン１４の撮像装置８４によって指が撮像されることで得られた画像から複数の点が特定されるようにしてもよい。

【0194】

また、一例として図３９に示すように、スマートフォン１４をロール軸周りに回転させることで、検出部８８Ａによってロール角が測定されることで検出されたスマートフォン姿勢に応じた向きの仮想視点画像４６が仮想視点画像生成部５８Ｃ２によって生成されるようにしてもよい。これにより、ロール角が測定されない場合に比べ、ロール角に応じた向きの仮想視点画像４６を容易に得ることができる。なお、図３９に示す例では、スマートフォン１４をロール軸周りに９０度回転させた場合に、仮想視点画像生成部５８Ｃ２によって仮想視点画像４６も９０度回転して生成される態様が示されている。

【0195】

また、上記実施形態では、観察用三次元領域情報６０Ｆと指示用三次元領域情報９０Ｃとがテーブル方式で対応付けられた位置関係情報６０Ｇを例示したが、本開示の技術はこれに限定されない。例えば、位置関係情報６０Ｇは、観察用三次元領域３６内の位置と観察用基準点３６Ａとの間の距離と、指示用三次元領域３８内の位置と指示用基準点３８Ａとの間の距離との相違度を含む情報であってもよい。これにより、観察用三次元領域３６内の位置と観察用基準点３６Ａとは無関係の点との間の距離と、指示用三次元領域３８内の位置と指示用基準点３８Ａとは無関係の点との間の距離との相違度が位置関係情報として用いられる場合に比べ、観察用三次元領域３６内の位置と指示用三次元領域３８内の位置との関係を容易に特定することができる。

【0196】

なお、相違度の一例としては、観察用三次元領域３６内の位置と観察用基準点３６Ａとの間の距離、及び指示用三次元領域３８内の位置と指示用基準点３８Ａとの間の距離の一方に対する他方の割合、すなわち、倍率が挙げられる。倍率に代えて、差分を相違度として採用してもよい。相違度を含む情報としては、例えば、観察用基準点３６Ａに対する観察用三次元領域３６内の位置の方向を示す情報、及び指示用基準点３８Ａに対する指示用三次元領域３８内の位置の方向を示す情報が挙げられる。

【0197】

また、上記実施形態では、観察用基準点３６Ａ及び指示用基準点３８Ａを例示したが、本開示の技術はこれに限定されず、観察用三次元領域３６及び指示用三次元領域３８に対して共通な単一基準点（以下、「共通基準点」とも称する）を採用してもよい。例えば、サッカーフィールド２４のセンターサークルの中心、又は、サッカーフィールド２４の４隅のうちの１つを共通基準点として用いるようにしてもよい。この場合、観察用三次元領域３６内の位置と共通基準点との間の距離、及び指示用三次元領域３８内の位置と共通基準点との間の距離の一方に対する他方の割合、すなわち、倍率を含む情報が位置関係情報６０Ｇとして採用されるようにしてもよい。

【0198】

また、上記実施形態では、指示用基準面４０Ａが指示用三次元領域３８の１つの外面であるという形態例を示したが、本開示の技術はこれに限定されない。指示用基準面４０Ａは、指示用基準面４０Ａの１つの外面を規定する面（例えば、指示用基準面４０Ａの１つの外面に内包される面）であってもよいし、指示用三次元領域３８の内部の面であってもよい。

【0199】

また、上記実施形態では、画像生成装置１２に取得部５８Ｃが設けられている形態例を示したが、本開示の技術はこれに限定されず、取得部５８Ｃを画像生成装置１２の外部のデバイスに設けるようにしてもよい。ここで、外部のデバイスとは、例えば、スマートフォン１４又はタブレット端末３４が挙げられる。この他にも、サーバ又はパーソナル・コンピュータに取得部５８Ｃを設けるようにしてもよい。この場合、導出部５８Ｂによって導出された視点視線情報が画像生成装置１２から外部のデバイスの取得部５８Ｃに送信され、取得部５８Ｃの視点視線情報取得部５８Ｃ１によって視点視線情報が取得される。外部のデバイスは、視点視線情報を取得し、取得した視点視線情報に基づいて仮想視点画像を生成し、画像生成装置１２は、外部のデバイスによって生成された仮想視点画像を取得してもよい。

【0200】

また、上記実施形態では、指示用三次元領域３８は、観察用三次元領域３６を縮小した三次元領域であるが、本開示の技術はこれに限定されない。例えば、指示用三次元領域３８は、観察用三次元領域３６を拡大した三次元領域であってもよい。この場合、眼科及び／又は脳神経外科等の各種外科での手術用の術野に対して観察用三次元領域３６を適用し、術者の視野に対して指示用三次元領域３８を適用する等、という医療現場での適用例が考えられる。医療現場の他にも、細胞等の微細な物体を観察するシーンでも、観察対象物に対して観察用三次元領域３６を適用し、観察者の視野に対して指示用三次元領域３８を適用してもよい。

【0201】

また、上記実施形態では、領域対応付け処理（図２７参照）、仮想視点画像生成処理（図２８参照）、画像制御処理（図２９参照）、変更処理（図３０参照）、及び変化速度指示処理（図３１参照）が画像生成装置１２のＣＰＵ５８によって実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、領域対応付け処理、仮想視点画像生成処理、画像制御処理、変更処理、及び変化速度指示処理のうちの少なくとも１つがスマートフォン１４のＣＰＵ８８によって実行されるようにしてもよい。

【0202】

図４０には、領域対応付け処理、仮想視点画像生成処理、画像制御処理、変更処理、及び変化速度指示処理がスマートフォン１４のＣＰＵ８８によって実行される場合のスマートフォン１４の構成例が示されている。一例として図４０に示すように、ストレージ９０は、生成プログラム９０Ａ及び検出プログラム９０Ｂの他に、領域対応付けプログラム６０Ａ、仮想視点画像生成プログラム６０Ｂ、画像制御プログラム６０Ｃ、変更プログラム６０Ｄ、及び変化速度指示プログラム６０Ｅを記憶している。また、ＣＰＵ８８は、検出部８８Ａ及び８８Ｂとして動作する他に、領域対応付け部５８Ａ、導出部５８Ｂ、取得部５８Ｃ、出力部５８Ｄ、画像制御部５８Ｅ、変更部５８Ｆ、及び変化速度指示部５８Ｇとして動作する。すなわち、ＣＰＵ８８は、ストレージ９０に記憶されている画像生成装置側プログラムに従って、領域対応付け部５８Ａ、導出部５８Ｂ、取得部５８Ｃ、出力部５８Ｄ、画像制御部５８Ｅ、変更部５８Ｆ、及び変化速度指示部５８Ｇとして動作することで、領域対応付け処理、仮想視点画像生成処理、画像制御処理、変更処理、及び変化速度指示処理を実行する。

【0203】

図４０に示す例において、スマートフォン１４は、本開示の技術に係る「情報処理装置」の一例である。なお、図４０に示す例では、本開示の技術に係る「情報処理装置」の一例としてスマートフォン１４を挙げているが、スマートフォン１４に代えて、タブレット端末３４を本開示の技術に係る「情報処理装置」として採用することも可能である。また、パーソナル・コンピュータ及び／又はウェアラブル端末等の演算装置付きの各種デバイスも本開示の技術に係る「情報処理装置」として採用することができる。

【0204】

また、上記実施形態では、サッカー競技場２２を例示したが、これはあくまでも一例に過ぎず、野球場、カーリング場、及び競泳場等のように、複数の撮像装置が設置可能であり、かつ、仮想視点画像を生成可能な設備が整っている場所であれば如何なる場所であってもよい。

【0205】

また、上記実施形態では、基地局２０を用いた無線通信方式を例示したが、これはあくまでも一例に過ぎず、ケーブルを用いた有線通信方式であっても本開示の技術は成立する。

【0206】

また、上記実施形態では、無人航空機２７を例示したが、本開示の技術はこれに限定されず、ワイヤで吊るされた撮像装置１８（例えば、ワイヤを伝って移動可能な自走式の撮像装置）によって観察用三次元領域３６が撮像されるようにしてもよい。

【0207】

また、上記実施形態では、観客２８（スマートフォン１４等の装置の操作者）が実際のサッカー競技場２２にてサッカーを観戦している形態例を挙げたが、これに限らず、観客２８は、サッカー競技場２２におらず、自宅等のテレビ等でサッカーを観戦する場合であって本開示の技術は成立する。

【0208】

また、上記実施形態では、撮像装置１８を用いる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、観察用三次元領域３６と指示用三次元領域３８との相対位置関係が対応付けられており、俯瞰画像を表示しない場合は、撮像装置１８はなくても本開示の技術は成立する。

【0209】

また、上記実施形態では、コンピュータ５０，７０，及び１００を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ５０，７０，及び／又は１００に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ５０，７０，及び／又は１００に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

【0210】

また、上記実施形態では、ストレージ６０に画像生成装置側プログラムが記憶されているが、本開示の技術はこれに限定されず、一例として図４１に示すように、非一時的記憶媒体であるＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体２００に画像生成装置側プログラムが記憶されていてもよい。この場合、記憶媒体２００に記憶されている画像生成装置側プログラムがコンピュータ５０にインストールされ、ＣＰＵ５８は、画像生成装置側プログラムに従って、領域対応付け処理、仮想視点画像生成処理、画像制御処理、変更処理、及び変化速度指示処理を実行する。

【0211】

また、通信網（図示省略）を介してコンピュータ５０に接続される他のコンピュータ又はサーバ装置等の記憶部に画像生成装置側プログラムを記憶させておき、画像生成装置１２の要求に応じて画像生成装置側プログラムが画像生成装置１２にダウンロードされるようにしてもよい。この場合、ダウンロードされた画像生成装置側プログラムに基づく領域対応付け処理、仮想視点画像生成処理、画像制御処理、変更処理、及び変化速度指示処理がコンピュータ５０のＣＰＵ５８によって実行される。

【0212】

また、上記実施形態では、ＣＰＵ５８を例示したが、本開示の技術はこれに限定されず、ＧＰＵを採用してもよい。また、ＣＰＵ５８に代えて、複数のＣＰＵを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって領域対応付け処理、仮想視点画像生成処理、画像制御処理、変更処理、及び変化速度指示処理が実行されるようにしてもよい。

【0213】

また、上記実施形態では、ストレージ９０にスマートフォン側プログラムが記憶されているが、本開示の技術はこれに限定されず、一例として図４２に示すように、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体３００にスマートフォン側プログラムが記憶されていてもよい。この場合、記憶媒体３００に記憶されているスマートフォン側プログラムがコンピュータ７０にインストールされ、ＣＰＵ８８は、スマートフォン側プログラムに従って、検出処理（図２６参照）及び生成処理（図２５参照）を実行する。

【0214】

また、通信網（図示省略）を介してコンピュータ７０に接続される他のコンピュータ又はサーバ装置等の記憶部にスマートフォン側プログラムを記憶させておき、スマートフォン１４の要求に応じてスマートフォン側プログラムがスマートフォン１４にダウンロードされるようにしてもよい。この場合、ダウンロードされたスマートフォン側プログラムに基づく検出処理及び生成処理がコンピュータ７０のＣＰＵ８８によって実行される。

【0215】

また、上記実施形態では、ＣＰＵ８８を例示したが、本開示の技術はこれに限定されず、ＧＰＵを採用してもよい。また、ＣＰＵ８８に代えて、複数のＣＰＵを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって検出処理及び生成処理が実行されるようにしてもよい。なお、以下では、説明の便宜上、領域対応付け処理、仮想視点画像生成処理、画像制御処理、変更処理、変化速度指示処理、検出処理、及び生成処理を区別して説明する必要がない場合、「各種処理」と称する。

【0216】

各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、他のプロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。

【0217】

各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0218】

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0219】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

【0220】

また、上述した各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0221】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0222】

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0223】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【0224】

以上の実施形態に関し、更に以下の付記を開示する。

【0225】

（付記１）
プロセッサと、
上記プロセッサに内蔵又は接続されたメモリと、を含み、
上記プロセッサは、
仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での物体の三次元位置及び姿勢を検出し、
上記観察用三次元領域と上記指示用三次元領域との相対位置関係を示す位置関係情報に従って、検出結果に対応する上記視点及び上記視線を導出し、
複数の撮像装置によって上記観察用三次元領域に含まれる撮像領域が撮像されることで得られた複数の画像に基づいた仮想視点画像であって、導出した上記視点及び上記視線で被写体を観察した場合の被写体を示す仮想視点画像を取得する
情報処理装置。

【0226】

（付記２）
仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での物体の三次元位置及び姿勢を検出する検出部と、
上記観察用三次元領域と上記指示用三次元領域との相対位置関係を示す位置関係情報に従って、上記検出部の検出結果に対応する上記視点及び上記視線を導出する導出部と、
複数の撮像装置によって上記観察用三次元領域に含まれる撮像領域が撮像されることで得られた複数の画像に基づいた仮想視点画像であって、上記導出部により導出された上記視点及び上記視線で被写体を観察した場合の上記被写体を示す仮想視点画像を取得する取得部と、
を含む情報処理装置。

【0227】

（付記３）
上記基準被写体が撮像されることで得られた画像を用いることで特定された指示用基準面に基づいて上記指示用三次元領域を生成する生成部を更に含み、
上記基準被写体は、上記観察用三次元領域内の特定の被写体（図１に示す例では、サッカーフィールド２４）を示す画像が形成された記録媒体である付記２に記載の情報処理装置。

【0228】

付記３に記載の情報処理装置によれば、観察用三次元領域内の特定の被写体との関係性を把握可能な指示用三次元領域を生成することができる。

【0229】

（付記４）
上記観察用三次元領域は、特定基準面を含む領域が第２撮像装置によって撮像されることで得られたか、又は、第２仮想撮像装置によって撮像されることで得られた第２観察用三次元領域画像に基づいて規定された三次元領域であり、かつ、上記指示用三次元領域と相似関係にあり、
上記観察用三次元領域の大きさを変更する大きさ変更指示を受け付ける受付部と、
上記受付部によって受け付けられた上記大きさ変更指示に従って、上記第２撮像装置又は上記第２仮想撮像装置による上記特定基準面に対する撮像範囲の広さを変更することで上記観察用三次元領域の大きさを変更し、上記観察用三次元領域の大きさの変更に連動して、上記相似関係を維持した状態で上記指示用三次元領域の大きさを変更する変更部と、を含む付記２又は付記３に記載の情報処理装置。

【0230】

付記４に記載の情報処理装置によれば、観察用三次元領域の大きさの変更を指示用三次元領域に反映させることができる。

【0231】

（付記５）
上記受付部は、上記特定基準面を示す特定基準面画像を含む画像が第２表示装置によって表示されている状態で、上記特定基準面画像を拡大又は縮小する画像大きさ変更指示を受け付け、
上記位置関係情報は、上記受付部によって受け付けられた上記画像大きさ変更指示に従って拡大又は縮小された上記特定基準面画像に対応する実空間上の三次元領域と上記指示用三次元領域との相対位置関係を示す情報を含む情報である付記４に記載の情報処理装置。

【0232】

付記５に記載の情報処理装置によれば、観察用三次元領域の制限を受けることなく、視点の位置を決めることができる。

【0233】

（付記６）
上記取得部によって取得される上記仮想視点画像の大きさは、上記観察用三次元領域及び上記指示用三次元領域の大きさの変更の度合いに従って定められた速度で変化する付記４又は付記５に記載の情報処理装置。

【0234】

付記６に記載の情報処理装置によれば、上記観察用三次元領域及び上記指示用三次元領域の大きさの変更の度合いを考慮せずに仮想視点画像の大きさを変化させる場合に比べ、仮想視点画像の大きさを変化させた場合に視覚的に受ける不快感を軽減することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【手続補正書】

【提出日】2023-09-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

プロセッサと、
前記プロセッサに内蔵又は接続されたメモリと、を備え、
前記プロセッサは、
仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での前記視点及び前記視線の入力を受け付け、
前記視点及び前記視線で前記観察用三次元領域を観察した場合の仮想視点画像を取得する
情報処理装置。

【請求項2】

前記観察用三次元領域と前記指示用三次元領域との相対位置関係は、基準点に対する前記観察用三次元領域の位置と前記基準点に対する前記指示用三次元領域の位置との関係である請求項１に記載の情報処理装置。

【請求項3】

前記相対位置関係を示す位置関係情報は、前記基準点を原点とした前記観察用三次元領域内の位置を示す座標と、前記基準点を原点とした前記指示用三次元領域内の位置を示す座標とが対応付けられた情報である請求項２に記載の情報処理装置。

【請求項4】

前記相対位置関係を示す位置関係情報は、前記観察用三次元領域内の位置と前記基準点との間の距離と、前記指示用三次元領域内の位置と前記基準点との間の距離との相違度を含む情報である請求項２に記載の情報処理装置。

【請求項5】

前記基準点は、前記観察用三次元領域に対して適用される観察用基準点と、前記指示用三次元領域に対して適用される指示用基準点とに類別されており、
前記指示用基準点は、前記観察用基準点とは異なる位置で前記観察用基準点と対応関係にある請求項２から請求項４の何れか一項に記載の情報処理装置。

【請求項6】

前記指示用基準点は、前記指示用三次元領域内での物体の三次元位置が前記プロセッサによって検出されることで決定される請求項５に記載の情報処理装置。

【請求項7】

前記プロセッサは、
少なくとも３点の前記指示用三次元領域内での物体の三次元位置を検出し、
検出した前記少なくとも３点の前記三次元位置を用いることで特定された指示用基準面に基づいて前記指示用三次元領域を生成する請求項１から請求項６の何れか一項に記載の情報処理装置。

【請求項8】

前記プロセッサは、基準被写体が撮像されることで得られた画像を用いることで特定された指示用基準面に基づいて前記指示用三次元領域を生成する請求項１から請求項６の何れか一項に記載の情報処理装置。

【請求項9】

前記観察用三次元領域が第１撮像装置によって撮像されることで得られたか、又は、前記観察用三次元領域が第１仮想撮像装置によって撮像されることで得られた第１観察用三次元領域画像が第１表示装置によって表示されている状態での前記第１観察用三次元領域画像の表示面を指示用基準面とし、
前記プロセッサは、前記指示用基準面に基づいて前記指示用三次元領域を生成する請求項１から請求項６の何れか一項に記載の情報処理装置。

【請求項10】

前記第１観察用三次元領域画像は、俯瞰した状態の前記観察用三次元領域を示す画像である請求項９に記載の情報処理装置。

【請求項11】

前記プロセッサは、与えられた指示に従って前記第１観察用三次元領域画像の拡大又は縮小を行う請求項９又は請求項１０に記載の情報処理装置。

【請求項12】

前記指示用基準面は、前記指示用三次元領域の１つの底面である請求項７から請求項１１の何れか一項に記載の情報処理装置。

【請求項13】

前記プロセッサは、前記指示用三次元領域内での物体のピッチ角、ヨー角、及びロール角を測定することで前記指示用三次元領域内での姿勢を検出し、
前記ロール角を測定することで検出した前記姿勢に応じた向きの前記仮想視点画像を取得する請求項１から請求項１２の何れか一項に記載の情報処理装置。

【請求項14】

特定基準面を示す特定基準面画像を含む画像が第２表示装置によって表示されている状態で、前記特定基準面画像を拡大又は縮小する画像大きさ変更指示を受け付ける受付デバイスを含み、
前記観察用三次元領域と前記指示用三次元領域との相対位置関係を示す位置関係情報は、前記受付デバイスによって受け付けられた前記画像大きさ変更指示に従って拡大又は縮小された前記特定基準面画像に対応する実空間上の三次元領域と前記指示用三次元領域との相対位置関係を示す情報を含む情報である請求項１から請求項１３の何れか一項に記載の情報処理装置。

【請求項15】

前記プロセッサは、取得した前記仮想視点画像を出力する請求項１から請求項１４の何れか一項に記載の情報処理装置。

【請求項16】

仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での前記視点及び前記視線の入力を受け付けること、及び、
前記視点及び前記視線で前記観察用三次元領域を観察した場合の仮想視点画像を取得することを含む
情報処理方法。

【請求項17】

コンピュータに、
仮想的な視点及び視線を規定する観察用三次元領域に対して拡大又は縮小された関係性を有する指示用三次元領域内での前記視点及び前記視線の入力を受け付けること、及び、
前記視点及び前記視線で前記観察用三次元領域を観察した場合の仮想視点画像を取得することを含む処理を実行させるためのプログラム。