特開 2024-150697 情報処理装置、情報処理方法、プログラム、及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024150697

(43)【公開日】2024-10-23

(54)【発明の名称】情報処理装置、情報処理方法、プログラム、及び情報処理システム

(51)【国際特許分類】

   H04N 23/66 20230101AFI20241016BHJP

   H04N 23/60 20230101ALI20241016BHJP

   H04N 23/69 20230101ALI20241016BHJP

   H04N 23/695 20230101ALI20241016BHJP

   H04N 23/61 20230101ALI20241016BHJP

【ＦＩ】

H04N23/66

H04N23/60 500

H04N23/69

H04N23/695

H04N23/61

【審査請求】有

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2024120318

(22)【出願日】2024-07-25

(62)【分割の表示】P 2022540065の分割

【原出願日】2021-06-22

(31)【優先権主張番号】P 2020131166

(32)【優先日】2020-07-31

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】宮田 真彦

(72)【発明者】

【氏名】村上 泰規

(72)【発明者】

【氏名】青木 貴嗣

(72)【発明者】

【氏名】入江 史憲

(72)【発明者】

【氏名】田村 一紀

(57)【要約】      （修正有）

【課題】外部から与えられた指示、及び、被写体のうちの少なくとも一方に応じて選択された領域について、仮想視点画像を生成することができる情報処理装置を提供する。
【解決手段】情報処理装置は、複数の撮像装置により撮像されることで取得された複数の撮像画像に基づいて仮想視点画像を生成可能なプロセッサと、プロセッサに内蔵又は接続されたメモリと、を備え、プロセッサは、仮想視点画像の生成に関して外部から与えられた指示、及び、被写体のうちの少なくとも一方に基づいて複数の撮像装置のうちの制御対象撮像装置に対する制御信号を生成する。
【選択図】図５

【特許請求の範囲】

【請求項1】

複数の撮像装置により撮像されることで取得された複数の撮像画像に基づいて仮想視点画像を生成可能なプロセッサと、
前記プロセッサに内蔵又は接続されたメモリと、を備え、
前記プロセッサは、
前記仮想視点画像の生成に関して外部から与えられた指示、及び、被写体のうちの少なくとも一方に基づいて前記複数の撮像装置のうちの制御対象撮像装置に対する制御信号を生成する
情報処理装置。

【請求項2】

前記制御信号は、前記制御対象撮像装置に対して、前記指示に応じた所定の条件を満たす仮想視点画像を生成するために用いられる前記撮像画像を取得させる制御に関する信号である請求項１の情報処理装置。

【請求項3】

前記制御信号は、前記制御対象撮像装置に対して、既定値以上の解像度を有する高解像度仮想視点画像を生成するために用いられる前記撮像画像を取得させる制御に関する信号である請求項１又は請求項２の情報処理装置。

【請求項4】

前記制御信号は、前記制御対象撮像装置の撮像範囲を変える制御に関する信号である請求項１から請求項３の何れか一項に記載の情報処理装置。

【請求項5】

前記制御信号は、前記制御対象撮像装置の位置を変更させる位置変更信号を含む請求項１から請求項４の何れか一項に記載の情報処理装置。

【請求項6】

前記制御信号は、前記制御対象撮像装置による撮像方向を変更させる撮像方向変更信号を含む請求項１から請求項５の何れか一項に記載の情報処理装置。

【請求項7】

前記制御対象撮像装置は、光学ズーム機能を有し、
前記制御信号は、前記制御対象撮像装置の焦点距離を変更させる焦点距離変更信号を含む請求項１から請求項６の何れか一項に記載の情報処理装置。

【請求項8】

前記制御対象撮像装置は、前記制御対象撮像装置の位置、撮像方向、焦点距離、及び撮像条件を変更する変更機構を有し、
前記変更機構は、前記制御信号に従って、前記制御対象撮像装置の前記位置、前記撮像方向、前記焦点距離、及び前記撮像条件のうちの少なくとも一つを変更する請求項１から請求項７の何れか一項に記載の情報処理装置。

【請求項9】

前記プロセッサは、前記複数の撮像装置によって撮像可能な実空間領域のうち、前記被写体の状況に基づいて注視度が高いと予測された領域の高解像度仮想視点画像を生成するために用いられる前記撮像画像を、前記制御対象撮像装置に対して取得させる前記制御信号を生成する請求項１から請求項８の何れか一項に記載の情報処理装置。

【請求項10】

前記指示は、高解像度仮想視点画像を生成する対象である高解像度領域に関する指示を含む請求項１から請求項９の何れか一項に記載の情報処理装置。

【請求項11】

前記プロセッサは、前記複数の撮像装置によって撮像可能な実空間領域の中の特定領域を示す情報が前記指示に含まれる場合、前記特定領域の高解像度仮想視点画像を生成するために用いられる前記撮像画像を、前記制御対象撮像装置に対して取得させる前記制御信号を生成する請求項１から請求項１０の何れか一項に記載の情報処理装置。

【請求項12】

前記高解像度領域は、前記複数の撮像装置によって撮像可能な実空間領域に含まれる特定のオブジェクトを含む領域である請求項１０に記載の情報処理装置。

【請求項13】

前記高解像度領域は、前記仮想視点画像に対する注視位置の経路を含む領域である請求項１０に記載の情報処理装置。

【請求項14】

前記プロセッサは、
複数の前記指示を集計した結果に基づいて前記高解像度領域を定め、
定めた前記高解像度領域に基づいて、前記制御対象撮像装置に対する前記制御信号を生成する
請求項１０に記載の情報処理装置。

【請求項15】

前記プロセッサは、
前記高解像度領域に関する前記指示の履歴に基づいて、前記高解像度領域を定め、
定めた前記高解像度領域に基づいて、前記制御対象撮像装置に対する前記制御信号を生成する
請求項１０に記載の情報処理装置。

【請求項16】

前記プロセッサは、前記制御対象撮像装置の焦点距離を変更することにより、前記高解像度仮想視点画像の解像度を変更可能である請求項３に記載の情報処理装置。

【請求項17】

前記プロセッサは、
前記制御対象撮像装置の位置、撮像方向、及び焦点距離に基づいて、前記複数の撮像装置によって撮像可能な実空間領域のうち、前記高解像度仮想視点画像を生成可能な高解像度領域を予測し、
予測した前記高解像度領域を出力する
請求項３に記載の情報処理装置。

【請求項18】

予測した前記高解像度領域の出力先は、ディスプレイであり、
前記ディスプレイは、前記プロセッサから出力された前記高解像度領域を表示する
請求項１７に記載の情報処理装置。

【請求項19】

前記プロセッサは、予測した前記高解像度領域において、前記焦点距離を変更することに伴って変化する前記高解像度仮想視点画像の解像度と前記高解像度領域の大きさとの関係を、視覚的に識別可能な態様でディスプレイに表示する制御を行う請求項１７又は請求項１８に記載の情報処理装置。

【請求項20】

前記プロセッサは、予測した前記高解像度領域に含まれるオブジェクトを、他のオブジェクトと視覚的に識別可能な態様でディスプレイに表示する制御を行う請求項１７から請求項１９の何れか一項に記載の情報処理装置。

【請求項21】

前記プロセッサは、
前記制御対象撮像装置が、基準位置、基準撮像方向、及び基準焦点距離で、前記撮像装置によって撮像可能な実空間領域に含まれる固定オブジェクトを撮像した基準画像を予め前記メモリに記憶しており、
前記制御対象撮像装置に対して、前記基準位置、前記基準撮像方向、及び前記基準焦点距離で前記固定オブジェクトを撮像させることで得られた較正用画像と、前記基準画像とを比較し、
比較結果に基づいて前記制御信号を較正する
請求項１から請求項２０の何れか一項に記載の情報処理装置。

【請求項22】

複数の撮像装置により撮像されることで取得された複数の撮像画像に基づいて仮想視点画像を生成可能な情報処理方法であって、
前記仮想視点画像の生成に関して外部から与えられた指示、及び、被写体のうちの少なくとも一方に基づいて前記複数の撮像装置のうちの制御対象撮像装置に対する制御信号を生成する
情報処理方法。

【請求項23】

複数の撮像装置により撮像されることで取得された複数の撮像画像に基づいて仮想視点画像を生成可能な情報処理をコンピュータに実行させるためのプログラムであって、
前記情報処理は、
前記仮想視点画像の生成に関して外部から与えられた指示、及び、被写体のうちの少なくとも一方に基づいて前記複数の撮像装置のうちの制御対象撮像装置に対する制御信号を生成することを含む
プログラム。

【請求項24】

複数の撮像装置と、
請求項１から請求項２１の何れか一項に記載の情報処理装置と、
を備えた情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。

【背景技術】

【0002】

特開２０１９－１５９５９３号公報には、蓄積手段と、入力手段と、抽出手段と、提示手段とを備える画像検索システムが開示されている。蓄積手段は、複数のカメラでオブジェクトを複数の方向から撮影した画像データに基づいて生成される仮想視点映像データと、仮想視点映像データの生成に使用される仮想視点パラメータとを関連づけて蓄積する。入力手段は、検索条件を入力する。抽出手段は、蓄積手段から、入力された検索条件に対応する仮想視点パラメータに関連づけられた仮想視点映像データを抽出する。提示手段は、抽出手段が抽出した仮想視点映像データの情報を検索結果として提示する。

【0003】

特開２０１９－０６８１３０号公報には、映像ストリームをクライアントへ配信する映像配信サーバが開示されている。映像配信サーバは、多視点映像に基づいて個別視点ストリームを生成する手段と、多視点映像を結合して全視点ストリームを生成する手段と、各クライアントからの要求に基づいて各映像ストリームをマルチキャストするスケジュールを決定する手段と、決定したスケジュールをクライアントへ通知する手段と、決定したスケジュールに基づいて各映像ストリームをマルチキャストする手段と、を具備する。

【発明の概要】

【0004】

本開示の技術に係る一つの実施形態は、外部から与えられた指示、及び、被写体のうちの少なくとも一方に応じて選択された領域について、仮想視点画像を生成することができる情報処理装置、情報処理方法、プログラム、及び情報処理システムを提供する。

【課題を解決するための手段】

【0005】

本開示の技術に係る第１の態様は、複数の撮像装置により撮像されることで取得された複数の撮像画像に基づいて仮想視点画像を生成可能なプロセッサと、プロセッサに内蔵又は接続されたメモリと、を備え、プロセッサは、仮想視点画像の生成に関して外部から与えられた指示、及び、被写体のうちの少なくとも一方に基づいて複数の撮像装置のうちの制御対象撮像装置に対する制御信号を生成する情報処理装置である。

【0006】

本開示の技術に係る第２の態様は、制御信号が、制御対象撮像装置に対して、指示に応じた所定の条件を満たす仮想視点画像を生成するために用いられる撮像画像を取得させる制御に関する信号である第１の態様に係る情報処理装置である。

【0007】

本開示の技術に係る第３の態様は、制御信号が、制御対象撮像装置に対して、既定値以上の解像度を有する高解像度仮想視点画像を生成するために用いられる撮像画像を取得させる制御に関する信号である第１の態様又は第２の態様に係る情報処理装置である。

【0008】

本開示の技術に係る第４の態様は、制御信号が、制御対象撮像装置の撮像範囲を変える制御に関する信号である第１の態様から第３の態様の何れか一つの態様に係る情報処理装置である。

【0009】

本開示の技術に係る第５の態様は、制御信号が、制御対象撮像装置の位置を変更させる位置変更信号を含む第１の態様から第４の態様の何れか一つの態様に係る情報処理装置である。

【0010】

本開示の技術に係る第６の態様は、制御信号が、制御対象撮像装置による撮像方向を変更させる撮像方向変更信号を含む第１の態様から第５の態様の何れか一つの態様に係る情報処理装置である。

【0011】

本開示の技術に係る第７の態様は、制御対象撮像装置が、光学ズーム機能を有し、制御信号は、制御対象撮像装置の焦点距離を変更させる焦点距離変更信号を含む第１の態様から第６の態様の何れか一つの態様に係る情報処理装置である。

【0012】

本開示の技術に係る第８の態様は、制御対象撮像装置が、制御対象撮像装置の位置、撮像方向、焦点距離、及び撮像条件を変更する変更機構を有し、変更機構は、制御信号に従って、制御対象撮像装置の位置、撮像方向、焦点距離、及び撮像条件のうちの少なくとも一つを変更する第１の態様から第７の態様の何れか一つの態様に係る情報処理装置である。

【0013】

本開示の技術に係る第９の態様は、プロセッサが、複数の撮像装置によって撮像可能な実空間領域のうち、被写体の状況に基づいて注視度が高いと予測された領域の高解像度仮想視点画像を生成するために用いられる撮像画像を、制御対象撮像装置に対して取得させる制御信号を生成する第１の態様から第８の態様の何れか一つの態様に係る情報処理装置である。

【0014】

本開示の技術に係る第１０の態様は、指示が、高解像度仮想視点画像を生成する対象である高解像度領域に関する指示を含む第１の態様から第９の態様の何れか一つの態様に係る情報処理装置である。

【0015】

本開示の技術に係る第１１の態様は、プロセッサが、複数の撮像装置によって撮像可能な実空間領域の中の特定領域を示す情報が指示に含まれる場合、特定領域の高解像度仮想視点画像を生成するために用いられる撮像画像を、制御対象撮像装置に対して取得させる制御信号を生成する第１の態様から第１０の態様の何れか一つの態様に係る情報処理装置である。

【0016】

本開示の技術に係る第１２の態様は、高解像度領域が、複数の撮像装置によって撮像可能な実空間領域に含まれる特定のオブジェクトを含む領域である第１０の態様に係る情報処理装置である。

【0017】

本開示の技術に係る第１３の態様は、高解像度領域が、仮想視点画像に対する注視位置の経路を含む領域である第１０の態様に係る情報処理装置である。

【0018】

本開示の技術に係る第１４の態様は、プロセッサが、複数の指示を集計した結果に基づいて高解像度領域を定め、定めた高解像度領域に基づいて、制御対象撮像装置に対する制御信号を生成する第１０の態様に係る情報処理装置である。

【0019】

本開示の技術に係る第１５の態様は、プロセッサが、高解像度領域に関する指示の履歴に基づいて、高解像度領域を定め、定めた高解像度領域に基づいて、制御対象撮像装置に対する制御信号を生成する第１０の態様に係る情報処理装置である。

【0020】

本開示の技術に係る第１６の態様は、プロセッサが、制御対象撮像装置の焦点距離を変更することにより、高解像度仮想視点画像の解像度を変更可能である第３の態様に係る情報処理装置である。

【0021】

本開示の技術に係る第１７の態様は、プロセッサが、制御対象撮像装置の位置、撮像方向、及び焦点距離に基づいて、複数の撮像装置によって撮像可能な実空間領域のうち、高解像度仮想視点画像を生成可能な高解像度領域を予測し、予測した高解像度領域を出力する第３の態様に係る情報処理装置である。

【0022】

本開示の技術に係る第１８の態様は、予測した高解像度領域の出力先が、ディスプレイであり、ディスプレイが、プロセッサから出力された高解像度領域を表示する第１７の態様に係る情報処理装置である。

【0023】

本開示の技術に係る第１９の態様は、プロセッサが、予測した高解像度領域において、焦点距離を変更することに伴って変化する高解像度仮想視点画像の解像度と高解像度領域の大きさとの関係を、視覚的に識別可能な態様でディスプレイに表示する制御を行う第１７の態様又は第１８の態様に係る情報処理装置である。

【0024】

本開示の技術に係る第２０の態様は、プロセッサが、予測した高解像度領域に含まれるオブジェクトを、他のオブジェクトと視覚的に識別可能な態様でディスプレイに表示する制御を行う第１７の態様から第１９の態様の何れか一つの態様に係る情報処理装置である。

【0025】

本開示の技術に係る第２１の態様は、プロセッサが、制御対象撮像装置が、基準位置、基準撮像方向、及び基準焦点距離で、撮像装置によって撮像可能な実空間領域に含まれる固定オブジェクトを撮像した基準画像を予めメモリに記憶しており、制御対象撮像装置に対して、基準位置、基準撮像方向、及び基準焦点距離で固定オブジェクトを撮像させることで得られた較正用画像と、基準画像とを比較し、比較結果に基づいて制御信号を較正する第１の態様から第２０の態様の何れか一つの態様に係る情報処理装置である。

【0026】

本開示の技術に係る第２２の態様は、複数の撮像装置により撮像されることで取得された複数の撮像画像に基づいて仮想視点画像を生成可能な情報処理方法であって、仮想視点画像の生成に関して外部から与えられた指示、及び、被写体のうちの少なくとも一方に基づいて複数の撮像装置のうちの制御対象撮像装置に対する制御信号を生成する情報処理方法である。

【0027】

本開示の技術に係る第２３の態様は、複数の撮像装置により撮像されることで取得された複数の撮像画像に基づいて仮想視点画像を生成可能な情報処理をコンピュータに実行させるためのプログラムであって、情報処理は、仮想視点画像の生成に関して外部から与えられた指示、及び、被写体のうちの少なくとも一方に基づいて複数の撮像装置のうちの制御対象撮像装置に対する制御信号を生成することを含むプログラムである。

【0028】

本開示の技術に係る第２４の態様は、複数の撮像装置と、第１の態様から第２１の態様の何れか一つの態様に係る情報処理装置と、を備えた情報処理システムである。

【図面の簡単な説明】

【0029】

【図1】情報処理システムの外観構成の一例を示す概略斜視図である。

【図2】情報処理装置の電気系のハードウェア構成の一例、及び情報処理装置と周辺機器との関係性の一例を示すブロック図である。

【図3】ユーザデバイスの電気系のハードウェア構成の一例を示すブロック図である。

【図4】情報処理装置の要部機能の一例を示すブロック図である。

【図5】可動撮像装置の位置、撮像方向、及び画角、並びに高解像度領域の一例を示す概念図である。

【図6】第１実施形態による可動撮像装置制御部の要部機能の一例を示すブロック図である。

【図7】ディスプレイに表示された設定画面の一例を示す概念図である。

【図8】可動撮像装置の電気系のハードウェア構成の一例を示すブロック図である。

【図9】仮想視点画像生成部の要部機能の一例を示すブロック図である。

【図10】可動撮像装置の位置及び画角、並びに高解像度領域の一例を示す概念図である。

【図11】第１実施形態による可動撮像装置制御処理の流れの一例を示すフローチャートである。

【図12】仮想視点画像生成処理の流れの一例を示すフローチャートである。

【図13】第２実施形態による可動撮像装置制御部の要部機能の一例を示す説明図である。

【図14】第２実施形態による可動撮像装置制御部の要部機能の一例を示すブロック図である。

【図15】第２実施形態による可動撮像装置制御処理の流れの一例を示すフローチャートである。

【図16】第３実施形態による設定画面の一例を示す概念図である。

【図17】特定オブジェクトを含む特定領域の一例を示す概念図である。

【図18】注視位置パスを含む高解像度領域の一例を示す概念図である。

【図19】第４実施形態による特定領域及び重複領域の一例を示す概念図である。

【図20】第４実施形態による可動撮像装置制御部の要部機能の一例を示すブロック図である。

【図21】第５実施形態による可動撮像装置制御部の要部機能の一例を示すブロック図である。

【図22】第６実施形態による可動撮像装置制御部の要部機能の一例を示すブロック図である。

【図23】第６実施形態による可動撮像装置制御部の要部機能の他の一例を示すブロック図である。

【図24】第６実施形態による設定画面の一例を示す概念図である。

【図25】第６実施形態による設定画面の他の一例を示す概念図である。

【図26】第７実施形態による可動撮像装置制御部の要部機能の一例を示す説明図である。

【図27】第７実施形態による可動撮像装置制御部の要部機能の一例を示すブロック図である。

【図28】記憶媒体から情報処理装置のコンピュータに可動撮像装置制御プログラムがインストールされる態様の一例を示すブロック図である。

【発明を実施するための形態】

【0030】

添付図面に従って本開示の技術に係る情報処理装置、情報処理方法、プログラム、及び情報処理システムの実施形態の一例について説明する。

【0031】

先ず、以下の説明で使用される文言について説明する。

【0032】

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。３Ｄとは、“3 (three)Dimensional”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＧＮＳＳとは、“Global Navigation Satellite System”の略称を指す。以下では、説明の便宜上、本開示の技術に係る「プロセッサ」の一例として、ＣＰＵを例示しているが、本開示の技術に係る「プロセッサ」は、ＣＰＵ及びＧＰＵ等のように複数の処理装置の組み合わせであってもよい。本開示の技術に係る「プロセッサ」の一例として、ＣＰＵ及びＧＰＵの組み合わせが適用される場合、ＧＰＵは、ＣＰＵの制御下で動作し、画像処理の実行を担う。

【0033】

以下の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。また、以下の説明において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの平行を指す。また、以下の説明において、「同時刻」とは、完全な同時刻の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの同時刻を指す。

【0034】

［第１実施形態］
一例として図１に示すように、情報処理システム１０は、情報処理装置１２、ユーザデバイス１４、複数の固定撮像装置１６、可動撮像装置１８、及び無線通信基地局（以下、単に「基地局」と称する）２０を備えている。ここで、情報処理システム１０は、本開示の技術に係る「情報処理システム」の一例である。

【0035】

固定撮像装置１６は、撮像素子を有する撮像用のデバイスである。撮像素子としては、ＣＭＯＳイメージセンサが採用される。なお、ＣＭＯＳイメージセンサに代えてＣＣＤイメージセンサ等の他種類のイメージセンサを採用してもよい。

【0036】

複数の固定撮像装置１６は、サッカー競技場２２内に設置されている。複数の固定撮像装置１６の各々は、サッカーフィールド２４を取り囲むように配置されており、サッカー競技場２２内の実空間領域を撮像領域として撮像する。各固定撮像装置１６の位置、撮像方向、焦点距離、及び撮像条件は固定されている。

【0037】

可動撮像装置１８は、撮像素子６９（図８参照）を有する撮像用のデバイスであり、光学式ズーム機能を備えている。撮像素子６９としては、ＣＭＯＳイメージセンサが採用される。なお、ＣＭＯＳイメージセンサに代えてＣＣＤイメージセンサ等の他種類のイメージセンサを採用してもよい。

【0038】

本実施形態では、例えば、４つの可動撮像装置１８が、平面視矩形状のサッカーフィールド２４の各辺に１つずつ配置されており、各可動撮像装置１８は、サッカーフィールド２４の各辺に沿って移動可能である。各可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件は変更可能である。ここでは、４つの可動撮像装置１８が配置されている形態例を挙げているが、本開示の技術はこれに限定されず、可動撮像装置１８の数は、４つより多くても少なくてもよい。また、各可動撮像装置１８は、平面視矩形状のサッカーフィールド２４の各辺に沿って可動であるが、本開示の技術において、可動撮像装置１８の配置及び可動範囲は特に限定されない。以下、固定撮像装置１６及び可動撮像装置１８を区別して説明する必要がない場合、符号を付けず単に「撮像装置」と称する。撮像装置は、本開示の技術に係る「撮像装置」の一例である。

【0039】

撮像装置による撮像とは、例えば、撮像範囲を含む画角での撮像を指す。ここで、「撮像範囲」という概念には、サッカー競技場２２内の全体を示す範囲という概念の他に、サッカー競技場２２内の一部を示す範囲という概念も含まれる。撮像範囲は、撮像装置の位置、撮像方向、及び画角に応じて変更される。

【0040】

情報処理装置１２は、管制室２８に設置されている。情報処理装置１２は、コンピュータ３０、受付デバイス３２、及びディスプレイ３４を備えている。情報処理装置１２は、ＬＡＮケーブル３８Ａを介して固定撮像装置１６に接続されており、ＬＡＮケーブル３８Ｂを介して可動撮像装置１８に接続されている。なお、ここでは、ＬＡＮケーブル３８Ａ及び３８Ｂによる有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。なお、情報処理装置１２は、本開示の技術に係る「情報処理装置」の一例である。

【0041】

情報処理装置１２は、固定撮像装置１６によって撮像されることで得られた第１撮像画像１７、及び、可動撮像装置１８によって撮像されることで得られた第２撮像画像１９を取得する。以下、第１撮像画像１７と第２撮像画像１９とを区別して説明する必要がない場合には、符号を付けず単に「撮像画像」と称する。なお、撮像画像は、本開示の技術に係る「撮像画像」の一例である。

【0042】

サッカー競技場２２には、サッカーフィールド２４を取り囲むように観戦席４０が設けられており、観戦席４０には観賞者２６が着座している。観賞者２６は、ユーザデバイス１４を所持しており、ユーザデバイス１４は、観賞者２６によって用いられる。なお、ここでは、サッカー競技場２２内に観賞者２６が存在している形態例を挙げて説明しているが、本開示の技術はこれに限定されず、観賞者２６は、サッカー競技場２２外に存在していてもよい。

【0043】

ユーザデバイス１４は、スマートフォンである。但し、スマートフォンは、あくまでもユーザデバイス１４の一例に過ぎず、例えば、タブレット端末、ノートパソコン、又はヘッドマウントディスプレイ等の携帯型の多機能端末であってもよい。

【0044】

基地局２０は、情報処理装置１２及びユーザデバイス１４と電波を介して各種情報の送受信を行う。すなわち、情報処理装置１２は、基地局２０を介して、ユーザデバイス１４と無線通信可能に接続されている。情報処理装置１２は、基地局２０を介して、各種画像をユーザデバイス１４に送信する。ユーザデバイス１４は、情報処理装置１２から送信された各種画像を受信し、受信した各種画像をディスプレイ５４に表示させる。

【0045】

情報処理装置１２はサーバに相当するデバイスであり、ユーザデバイス１４は、情報処理装置１２に対するクライアント端末に相当するデバイスである。情報処理装置１２及びユーザデバイス１４が、基地局２０を介して互いに無線通信を行うことにより、ユーザデバイス１４は、情報処理装置１２に対して各種サービスの提供を要求し、情報処理装置１２は、ユーザデバイス１４からの要求に応じたサービスをユーザデバイス１４に提供する。

【0046】

情報処理装置１２は、複数の撮像装置により撮像されることで取得された複数の撮像画像に基づいて仮想視点画像を生成する。仮想視点画像は、複数の撮像画像に基づいて生成された３Ｄポリゴン画像であり、仮想視点位置から注視位置を観察した場合における仮想的な画像である。注視位置とは、サッカー競技場２２内の実空間領域のうち、ユーザデバイス１４を使用する観賞者２６からの注目度が基準レベルよりも高い位置であり、一例として、選手、ボール、又はゴール等を含む特定オブジェクトの位置が挙げられる。ここで、基準レベルは、実機による試験及び／又はコンピュータ・シミュレーション等によって予め得られた固定値であってもよいし、外部から与えられた指示、又は、予め定められた条件に応じて変動する可変値であってもよい。なお、仮想視点画像は、本開示の技術に係る「仮想視点画像」の一例である。

【0047】

また、情報処理装置１２は、仮想視点画像の生成に関して外部から与えられた指示に基づいて、可動撮像装置１８に対する制御信号２９を生成する。制御信号２９は、可動撮像装置１８に対して、指示に応じた所定の条件を満たす仮想視点画像を生成するために用いられる第２撮像画像１９を取得させる制御に関する信号である。ここで、「所定の条件を満たす仮想視点画像」とは、例えば、既定値以上の解像度を有する仮想視点画像、又は特定の視点から注視位置を観察した場合における仮想視点画像等である。なお、可動撮像装置１８は、本開示の技術に係る「制御対象撮像装置」の一例である。また、制御信号２９は、本開示の技術に係る「制御信号」の一例である。

【0048】

一例として図２に示すように、情報処理装置１２は、コンピュータ３０、受付デバイス３２、ディスプレイ３４、第１通信Ｉ／Ｆ４２、第２通信Ｉ／Ｆ４４、及び第３通信Ｉ／Ｆ４６を備えている。コンピュータ３０は、ＣＰＵ３０Ａ、ストレージ３０Ｂ、及びメモリ３０Ｃを備えており、ＣＰＵ３０Ａ、ストレージ３０Ｂ、及びメモリ３０Ｃは、バス４８を介して接続されている。図２に示す例では、図示の都合上、バス４８として１本のバスが図示されているが、複数のバスであってもよい。また、バス４８には、シリアルバス、又は、データバス、アドレスバス、及びコントロールバス等で構成されるパラレルバスが含まれていてもよい。

【0049】

ＣＰＵ３０Ａは、情報処理装置１２の全体を制御する。ストレージ３０Ｂは、各種パラメータ及び各種プログラムを記憶している。ストレージ３０Ｂは、不揮発性の記憶装置である。ここでは、ストレージ３０Ｂの一例として、ＥＥＰＲＯＭ、ＳＳＤ及びＨＤＤが採用されているが、これに限らず、これら複数の不揮発性の記憶装置の組み合わせであってもよい。メモリ３０Ｃは、記憶装置である。メモリ３０Ｃには、各種情報が一時的に記憶される。メモリ３０Ｃは、ＣＰＵ３０Ａによってワークメモリとして用いられる。ここでは、メモリ３０Ｃの一例として、ＲＡＭが採用されているが、これに限らず、他の種類の記憶装置であってもよい。なお、ＣＰＵ３０Ａは、本開示の技術に係る「プロセッサ」の一例である。また、メモリ３０Ｃは、本開示の技術に係る「メモリ」の一例である。

【0050】

受付デバイス３２は、情報処理装置１２を管理する管理者（図示省略）からの指示を受け付ける。受付デバイス３２の一例としては、キーボード、タッチパネル、及びマウス等が挙げられる。受付デバイス３２は、バス４８等に接続されており、受付デバイス３２によって受け付けられた指示は、ＣＰＵ３０Ａによって取得される。

【0051】

ディスプレイ３４は、本開示の技術に係る「ディスプレイ」の一例である。ディスプレイ３４は、バス４８に接続されており、ＣＰＵ３０Ａの制御下で、各種情報を表示する。ディスプレイ３４の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）等の他の種類のディスプレイがディスプレイ３４として採用されてもよい。

【0052】

第１通信Ｉ／Ｆ４２は、ＬＡＮケーブル３８Ａに接続されている。第１通信Ｉ／Ｆ４２は、例えば、ＦＰＧＡを有するデバイスによって実現される。第１通信Ｉ／Ｆ４２は、バス４８に接続されており、ＣＰＵ３０Ａと固定撮像装置１６との間で各種情報の授受を司る。例えば、第１通信Ｉ／Ｆ４２は、固定撮像装置１６によって撮像されることで得られた第１撮像画像１７を受信して、受信した第１撮像画像１７をＣＰＵ３０Ａに出力する。なお、ここでは、第１通信Ｉ／Ｆ４２は有線通信Ｉ／Ｆとして例示されているが、高速無線ＬＡＮ等の無線通信Ｉ／Ｆであってもよい。

【0053】

第２通信Ｉ／Ｆ４４は、ＬＡＮケーブル３８Ｂに接続されている。第２通信Ｉ／Ｆ４４は、例えば、ＦＰＧＡを有するデバイスによって実現される。第２通信Ｉ／Ｆ４４は、バス４８に接続されており、ＣＰＵ３０Ａと可動撮像装置１８との間で各種情報の授受を司る。例えば、第２通信Ｉ／Ｆ４４は、ＣＰＵ３０Ａの要求に従って、可動撮像装置１８に制御信号２９を送信する。また、第２通信Ｉ／Ｆ４４は、可動撮像装置１８によって撮像されることで得られた第２撮像画像１９を受信して、受信した第２撮像画像１９をＣＰＵ３０Ａに出力する。なお、ここでは、第２通信Ｉ／Ｆ４４は有線通信Ｉ／Ｆとして例示されているが、高速無線ＬＡＮ等の無線通信Ｉ／Ｆであってもよい。

【0054】

第３通信Ｉ／Ｆ４６は、基地局２０に対して無線通信可能に接続されている。第３通信Ｉ／Ｆ４６は、例えば、ＦＰＧＡを有するデバイスによって実現される。第３通信Ｉ／Ｆ４６は、バス４８に接続されている。第３通信Ｉ／Ｆ４６は、基地局２０を介して、無線通信方式で、ＣＰＵ３０Ａとユーザデバイス１４との間で各種情報の授受を司る。なお、第１通信Ｉ／Ｆ４２、第２通信Ｉ／Ｆ４４、及び第３通信Ｉ／Ｆ４６のうちの少なくとも一つは、ＦＰＧＡの代わりに固定回路で構成することも可能である。また、第１通信Ｉ／Ｆ４２、第２通信Ｉ／Ｆ４４、及び第３通信Ｉ／Ｆ４６のうちの少なくとも一つは、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等で構成された回路であってもよい。

【0055】

一例として図３に示すように、ユーザデバイス１４は、コンピュータ５０、受付デバイス５２、ディスプレイ５４、マイクロフォン５５、スピーカ５６、カメラ５７、及び通信Ｉ／Ｆ５８を備えている。コンピュータ５０は、ＣＰＵ５０Ａ、ストレージ５０Ｂ、及びメモリ５０Ｃを備えており、ＣＰＵ５０Ａ、ストレージ５０Ｂ、及びメモリ５０Ｃは、バス６０を介して接続されている。図３に示す例では、図示の都合上、バス６０として１本のバスが図示されているが、バス６０は、複数本のバスであってもよい。バス６０は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。なお、図３に示す例では、ＣＰＵ５０Ａ、受付デバイス５２、ディスプレイ５４、マイクロフォン５５、スピーカ５６、カメラ５７、及び通信Ｉ／Ｆ５８は、共通のバスで接続されているが、ＣＰＵ５０Ａと各デバイスは専用バス又は専用通信線で接続されていてもよい。

【0056】

ＣＰＵ５０Ａは、ユーザデバイス１４の全体を制御する。ストレージ５０Ｂは、各種パラメータ及び各種プログラムを記憶している。ストレージ５０Ｂは、不揮発性の記憶装置である。ここでは、ストレージ５０Ｂの一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ５０Ｂとしては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。メモリ５０Ｃは、各種情報を一時的に記憶し、ＣＰＵ５０Ａによってワークメモリとして用いられる。メモリ５０Ｃの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。

【0057】

受付デバイス５２は、観賞者２６からの指示を受け付ける。受付デバイス５２の一例としては、タッチパネル５２Ａ及びハードキー等が挙げられる。受付デバイス５２は、バス６０に接続されており、受付デバイス５２によって受け付けられた指示は、ＣＰＵ５０Ａによって取得される。

【0058】

ディスプレイ５４は、バス６０に接続されており、ＣＰＵ５０Ａの制御下で、各種情報を表示する。ここでは、ディスプレイ５４の一例として、有機ＥＬディスプレイが採用されている。なお、有機ＥＬディスプレイに限らず、液晶ディスプレイ又は無機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ５４として採用されてもよい。なお、ディスプレイ５４は、本開示の技術に係る「ディスプレイ」の一例である。

【0059】

ユーザデバイス１４は、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル５２Ａ及びディスプレイ５４によって実現される。すなわち、ディスプレイ５４の表示領域に対してタッチパネル５２Ａを重ね合わせることによって、或いは、ディスプレイ５４の内部にタッチパネル機能を内蔵（「インセル」型）することによってタッチパネル・ディスプレイが形成される。なお、「インセル」型のタッチパネル・ディスプレイは、あくまでも一例に過ぎず、「アウトセル」型又は「オンセル」型のタッチパネル・ディスプレイであってもよい。

【0060】

マイクロフォン５５は、収集した音を電気信号に変換する。マイクロフォン５５は、バス６０に接続されている。マイクロフォン５５によって収集された音が変換されて得られた電気信号は、バス６０を介してＣＰＵ５０Ａによって取得される。

【0061】

スピーカ５６は、電気信号を音に変換する。スピーカ５６は、バス６０に接続されている。スピーカ５６は、ＣＰＵ５０Ａから出力された電気信号を、バス６０を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をユーザデバイス１４の外部に出力する。ここでは、スピーカ５６は、ユーザデバイス１４と一体となっているが、ユーザデバイス１４と有線又は無線で接続された別途のヘッドホンによる音の出力を採用してもよい。なお、ヘッドホンには、イヤホンも含まれる。

【0062】

カメラ５７は、被写体を撮像することで、被写体を示す画像を取得する。カメラ５７は、バス６０に接続されている。カメラ５７によって被写体が撮像されることで得られた画像は、バス６０を介してＣＰＵ５０Ａによって取得される。

【0063】

通信Ｉ／Ｆ５８は、基地局２０に対して無線通信可能に接続されている。通信Ｉ／Ｆ５８は、例えば、回路（例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。通信Ｉ／Ｆ５８は、バス６０に接続されている。通信Ｉ／Ｆ５８は、基地局２０を介して、無線通信方式で、ＣＰＵ５０Ａと外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、情報処理装置１２が挙げられる。

【0064】

一例として図４に示すように、情報処理装置１２において、ストレージ３０Ｂには、可動撮像装置制御プログラム６２及び仮想視点画像生成プログラム６４が記憶されている。可動撮像装置制御プログラム６２は、コンピュータ３０に処理を実行させるためのプログラムであって、本開示の技術に係る「プログラム」の一例である。また、コンピュータ３０は、本開示の技術に係る「コンピュータ」の一例である。

【0065】

ＣＰＵ３０Ａは、ストレージ３０Ｂから可動撮像装置制御プログラム６２を読み出し、読み出した可動撮像装置制御プログラム６２をメモリ３０Ｃ上で実行する。ＣＰＵ３０Ａは、メモリ３０Ｃ上で実行する可動撮像装置制御プログラム６２に従って、可動撮像装置制御部７２として動作することで、可動撮像装置１８の撮像範囲７１（図５参照）を制御する可動撮像装置制御処理を行う。また、ＣＰＵ３０Ａは、ストレージ３０Ｂから仮想視点画像生成プログラム６４を読み出し、読み出した仮想視点画像生成プログラム６４をメモリ３０Ｃ上で実行する。ＣＰＵ３０Ａは、メモリ３０Ｃ上で実行する仮想視点画像生成プログラム６４に従って、仮想視点画像生成部７４として動作することで、仮想視点画像を生成する仮想視点画像生成処理を行う。

【0066】

可動撮像装置制御部７２は、受付デバイス３２から制御指示７６を受け付ける。本第１実施形態では、制御指示７６は、可動撮像装置１８の撮像範囲７１（図５参照）に関する指示である。制御指示７６は、例えば、管理者によって、受付デバイス３２から入力される。制御指示７６は、本開示の技術に係る「指示」の一例である。可動撮像装置制御部７２は、受け付けた制御指示７６に基づいて、制御信号２９を生成する。制御信号２９は、可動撮像装置１８の撮像範囲７１を変える制御に関する信号である。

【0067】

仮想視点画像生成部７４は、可動撮像装置１８から第２撮像画像１９を受信する。また、仮想視点画像生成部７４は、固定撮像装置１６から第１撮像画像１７を受信する。仮想視点画像生成部７４は、受信した撮像画像を用いて、注視位置を示す注視位置対応領域７９に基づく仮想視点画像８０を生成する。仮想視点画像生成部７４は、生成した仮想視点画像８０をユーザデバイス１４に送信する。

【0068】

図５を参照して、可動撮像装置制御部７２によって行われる可動撮像装置制御処理の一例を説明する。可動撮像装置制御部７２から送信される制御信号２９は、位置変更信号２９Ａ、撮像方向変更信号２９Ｂ、焦点距離変更信号２９Ｃ、及び撮像条件変更信号２９Ｄを含む。位置変更信号２９Ａは、可動撮像装置１８の位置を変更させる信号である。撮像方向変更信号２９Ｂは、可動撮像装置１８による撮像方向を変更させる信号である。焦点距離変更信号２９Ｃは、可動撮像装置１８の焦点距離を変更させる信号である。撮像条件変更信号２９Ｄは、可動撮像装置１８のシャッタ速度、絞り値、及び感度等を含む撮像条件を変更させる信号である。なお、位置変更信号２９Ａは、本開示の技術に係る「位置変更信号」の一例である。また、撮像方向変更信号２９Ｂは、本開示の技術に係る「撮像方向変更信号」の一例である。また、焦点距離変更信号２９Ｃは、本開示の技術に係る「焦点距離変更信号」の一例である。なお、制御信号２９は、位置変更信号２９Ａ、撮像方向変更信号２９Ｂ、焦点距離変更信号２９Ｃ、及び撮像条件変更信号２９Ｄの全てを含む必要は無く、少なくともいずれか１つを含んでいればよい。

【0069】

平面視略矩形のサッカー競技場２２には、サッカー競技場２２の四辺に沿って、４つのスライドバー８２が設けられている。各スライドバー８２は、サッカー競技場２２の各辺と平行に延設されている。各可動撮像装置１８は、各スライドバー８２上に配置される。可動撮像装置制御部７２は、位置変更信号２９Ａを可動撮像装置１８に送信することで、スライドバー８２上で可動撮像装置１８の位置を変更させる。各スライドバー８２の中心を基準位置とする場合、各可動撮像装置１８の位置は、基準位置を原点として正又は負の値で示される。

【0070】

また、可動撮像装置１８は、可動撮像装置１８のレンズ鏡筒９４をパン軸及びチルト軸周りに旋回する旋回台８４を備えている（図８参照）。可動撮像装置制御部７２は、撮像方向変更信号２９Ｂを各可動撮像装置１８に送信することで、可動撮像装置１８に備えられた旋回台８４を動作させる。これにより、可動撮像装置１８の撮像方向が変更される。各スライドバー８２に垂直な方向を基準撮像方向とする場合、各可動撮像装置１８の撮像方向は、基準撮像方向と成す正又は負の角度で示される。

【0071】

また、可動撮像装置１８は、光学ズーム機能を有する。可動撮像装置制御部７２は、焦点距離変更信号２９Ｃを可動撮像装置１８に送信し、可動撮像装置１８は、可動撮像装置制御部７２からの焦点距離変更信号２９Ｃを受信する。可動撮像装置１８は、受信した焦点距離変更信号２９Ｃに従って光学ズーム機能を働かせる。すなわち、可動撮像装置１８は、焦点距離変更信号２９Ｃに従って焦点距離を変更する。各可動撮像装置１８の焦点距離は、予め定められた基準焦点距離を原点として正又は負の値で示される。これにより、可動撮像装置１８の画角が変更される。

【0072】

また、可動撮像装置制御部７２は、撮像条件変更信号２９Ｄを可動撮像装置１８に送信することで、可動撮像装置１８の撮像条件を変更させる。

【0073】

各可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件は、メモリ３０Ｃに記憶されており、メモリ３０Ｃ内の位置、撮像方向、焦点距離、及び撮像条件は、可動撮像装置制御部７２によって、制御信号２９が生成される毎に、更新される。可動撮像装置１８の撮像範囲７１は、可動撮像装置１８の位置、撮像方向、及び画角によって定められる。なお、撮像範囲７１は、本開示の技術に係る「撮像範囲」の一例である。

【0074】

可動撮像装置制御部７２は、可動撮像装置１８の各々が撮像範囲７１を撮像することで得られた第２撮像画像１９に基づき、高解像度領域７５（図５参照）を導出する。高解像度領域７５とは、既定値以上の解像度を有する仮想視点画像（以下、「高解像度仮想視点画像」と称する）を生成可能な領域である。ここで、既定値は、実機による試験及び／又はコンピュータ・シミュレーション等によって、高解像度の下限値として導き出された固定値である。既定値は、可変値であってもよく、管理者が、情報処理装置の出荷時に与えられたデフォルト値から変更することも可能である。なお、高解像度領域７５は、本開示の技術に係る「高解像度領域」の一例である。

【0075】

高解像度領域７５の導出方法の一例を以下に説明する。サッカー競技場２２内の実空間領域は、例えば、センターサークルの中心を原点とした３次元座標で表される。可動撮像装置制御部７２は、例えば、サッカー競技場２２が撮像されることによって得られた画像内の各画素と、実空間領域内での位置を示す３次元座標とを機械学習に基づく画像認識技術を利用して対応付けることができる。

【0076】

図５に示す例では、可動撮像装置制御部７２は、同時刻に４つの可動撮像装置１８によって撮像されることで得られた４つの第２撮像画像１９の各々から、既定値よりも高いコントラストを有する高コントラスト領域を示す画像（以下、「高コントラスト領域画像」と称する）を抽出する。ここでは、４つの第２撮像画像１９の各々から少なくとも１つの高コントラスト領域画像が可動撮像装置制御部７２によって抽出される。可動撮像装置制御部７２は、上述の画像認識技術を用いて、各高コントラスト領域画像から、対応する実空間領域の３次元座標を取得し、全ての高コントラスト領域画像により示される実空間領域の３次元座標の論理和を高解像度領域７５として導出する。高解像度領域７５は、３次元座標で示されるサッカー競技場２２内の実空間領域のうちの一部を示す領域である。

【0077】

一例として図６に示すように、可動撮像装置制御部７２は、各可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件をメモリ３０Ｃから取得する。さらに、可動撮像装置制御部７２は、各可動撮像装置１８のレンズ及び撮像素子６９（図８参照）に関する情報をメモリ３０Ｃから取得する。可動撮像装置制御部７２は、各可動撮像装置１８の撮像素子６９に関する情報と焦点距離とから、各可動撮像装置１８の画角を導出する。可動撮像装置制御部７２は、各可動撮像装置１８の位置、撮像方向、及び画角に基づいて、各可動撮像装置１８の撮像範囲７１を導出する。

【0078】

また、可動撮像装置制御部７２は、可動撮像装置１８から第２撮像画像１９を取得し、取得した第２撮像画像１９に基づいて高解像度領域７５を導出する。可動撮像装置制御部７２は、導出した撮像範囲７１及び高解像度領域７５から、設定画面３６を作成する。可動撮像装置制御部７２は、作成した設定画面３６をディスプレイ３４に出力する。

【0079】

可動撮像装置制御部７２は、受付デバイス３２によって受け付けられた制御指示７６に基づいて、可動撮像装置１８に対する制御信号２９を生成する。可動撮像装置制御部７２は、生成した制御信号２９を対応する可動撮像装置１８に送信する。可動撮像装置１８は、制御信号２９を受信し、受信した制御信号２９に従って撮像範囲７１を変更する。また、可動撮像装置１８は、受信した制御信号２９に従って撮像条件を変更してもよい。可動撮像装置制御部７２は、生成した制御信号２９に基づいて、メモリ３０Ｃに記憶されている可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件を更新する。

【0080】

図７に設定画面３６の一例を示す。設定画面３６には、例えば、無人航空機（図示省略）に搭載された撮像装置により上空から撮像されることで得られたサッカー競技場２２の俯瞰画像に、各可動撮像装置１８の位置及び撮像範囲７１を示す画像、スライドバー８２を示す画像、並びに高解像度領域７５を示す画像が重畳表示されている。なお、設定画面３６は、ユーザデバイス１４に出力され、ユーザデバイス１４のディスプレイ５４に表示されてもよい。

【0081】

例えば、情報処理装置１２の管理者は、ディスプレイ３４に表示された設定画面３６上で、受付デバイス３２を用いて、可動撮像装置制御部７２に対して制御指示７６を出力する。制御指示７６は、例えば、４つの可動撮像装置１８のうちの何れか１つの可動撮像装置１８の撮像範囲７１を変更させる指示である。制御指示７６は、管理者が、設定画面３６上でマウスの操作を行うことにより出力される。例えば、管理者が、マウスの操作により、可動撮像装置１８の位置を示す画像を、スライドバー８２を示す画像に沿って別の位置にドラッグすると、対応する実空間上の位置に可動撮像装置１８を動かす制御指示７６が出力される。同様に、可動撮像装置１８の位置を示す画像に対してクリック、ドラッグ又はその他の操作をすることにより可動撮像装置１８の撮像方向又は焦点距離を変更する制御指示７６が出力されるようにしてもよい。又は、各可動撮像装置１８の位置、撮像方向、及び画角を示す数値を設定画面３６に表示しておき、管理者が、キーボードを使って何れかの数値を書き換えることで制御指示７６が出力されてもよい。

【0082】

一例として図８に示すように、可動撮像装置１８は、レンズ鏡筒９４、撮像素子６９、コントローラ８８、変更機構９５、外部Ｉ／Ｆ９２、及び通信Ｉ／Ｆ９３を備えている。

【0083】

レンズ鏡筒９４は、対物レンズ６５、フォーカスレンズ６６、及び絞り６７を備えている。対物レンズ６５、フォーカスレンズ６６、及び絞り６７は、被写体側（物体側）から撮像素子６９側（像側）にかけて、光軸ＯＡに沿って、対物レンズ６５、フォーカスレンズ６６、及び絞り６７の順に配置されている。レンズ鏡筒９４を透過した被写体光は、撮像素子６９の受光面に結像される。

【0084】

コントローラ８８は、可動撮像装置１８の全体を制御する。コントローラ８８は、ＣＰＵ８８Ａ、ストレージ８８Ｂ、メモリ８８Ｃ、制御Ｉ／Ｆ８８Ｄ、及び入力Ｉ／Ｆ８８Ｅを備えている。ＣＰＵ８８Ａ、ストレージ８８Ｂ、メモリ８８Ｃ、制御Ｉ／Ｆ８８Ｄ、及び入力Ｉ／Ｆ８８Ｅは、バス８９を介して相互に接続されている。

【0085】

ストレージ８８Ｂの一例としては、ＥＥＰＲＯＭが挙げられる。ただし、ＥＥＰＲＯＭはあくまでも一例に過ぎず、例えば、ＥＥＰＲＯＭに代えて強誘電体メモリであってもよく、可動撮像装置１８に搭載可能な不揮発性メモリであれば如何なるメモリであってもよい。メモリ８８Ｃは、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。ストレージ８８Ｂには、各種プログラムが記憶されている。ＣＰＵ８８Ａは、ストレージ８８Ｂから各種プログラムを読み出し、読み出したプログラムをメモリ８８Ｃ上で実行することで、可動撮像装置１８を統括的に制御する。

【0086】

入力Ｉ／Ｆ８８Ｅは、撮像素子６９に接続されている。入力Ｉ／Ｆ８８Ｅは、撮像素子６９から入力された画像データを受け付ける。コントローラ８８は、画像データに対して、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理を施すことによって、第２撮像画像１９を示す画像データを生成する。

【0087】

制御Ｉ／Ｆ８８Ｄは、ＦＰＧＡを有するデバイスである。制御Ｉ／Ｆ８８Ｄは、可動撮像装置１８に備えられた変更機構９５に接続されている。制御Ｉ／Ｆ８８Ｄは、情報処理装置１２から受信した制御信号２９を変更機構９５に出力することで、可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件を制御する。なお、変更機構９５は、本開示の技術に係る「変更機構」の一例である。

【0088】

変更機構９５は、可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件を変更する機構である。変更機構９５は、制御信号２９に従って、可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件のうちの少なくとも１つを変更する。

【0089】

変更機構９５は、撮像装置スライド機構９５Ａ、旋回機構９５Ｂ、レンズスライド機構９５Ｃ、及び撮像条件変更機構９５Ｄを含む。撮像装置スライド機構９５Ａ、旋回機構９５Ｂ、レンズスライド機構９５Ｃ、及び撮像条件変更機構９５Ｄの各々は、モータを介して制御Ｉ／Ｆ８８Ｄに接続されている。

【0090】

撮像装置スライド機構９５Ａは、可動撮像装置１８の本体に取り付けられている。撮像装置スライド機構９５Ａに接続されたモータは、制御Ｉ／Ｆ８８Ｄから入力された位置変更信号２９Ａに従って動作する。撮像装置スライド機構９５Ａは、モータの動力を受けて作動することで、可動撮像装置１８をスライドバー８２に沿って移動させる。

【0091】

旋回機構９５Ｂは、レンズ鏡筒９４に備えられた旋回台８４に取り付けられている。旋回機構９５Ｂに接続されたモータは、制御Ｉ／Ｆ８８Ｄから入力された撮像方向変更信号２９Ｂに従って動作する。旋回機構９５Ｂは、モータの動力を受けて作動することで、レンズ鏡筒９４をパン軸（図示省略）及びチルト軸（図示省略）周りに選択的に旋回させる。なお、レンズ鏡筒９４をパン軸及びチルト軸周りに同時に旋回させてもよい。

【0092】

レンズスライド機構９５Ｃは、フォーカスレンズ６６に取り付けられている。レンズスライド機構９５Ｃに接続されたモータは、制御Ｉ／Ｆ８８Ｄから入力された焦点距離変更信号２９Ｃに従って動作する。レンズスライド機構９５Ｃは、モータの動力を受けて作動することで、フォーカスレンズ６６を光軸ＯＡに沿って移動させる。

【0093】

撮像条件変更機構９５Ｄは、絞り変更機構（図示省略）、シャッタ速度変更機構（図示省略）、及び感度変更機構（図示省略）を有する。絞り変更機構は、モータを介して絞り６７に取り付けられている。シャッタ速度変更機構及び感度変更機構は、撮像素子６９に取り付けられている。絞り変更機構に接続されたモータは、制御Ｉ／Ｆ８８Ｄから入力された撮像条件変更信号２９Ｄに従って動作する。絞り変更機構は、モータの動力を受けて作動することで、絞り６７の開口の大きさを変更する。また、シャッタ速度変更機構は、制御Ｉ／Ｆ８８Ｄから入力された撮像条件変更信号２９Ｄに従って撮像素子６９のシャッタ速度を変更する。更に、感度変更機構は、制御Ｉ／Ｆ８８Ｄから入力された撮像条件変更信号２９Ｄに従って撮像素子６９の感度を変更する。

【0094】

バス８９には、外部Ｉ／Ｆ９２が接続されている。外部Ｉ／Ｆ９２は、ＦＰＧＡを有するデバイスである。外部Ｉ／Ｆ９２には、ＵＳＢメモリ又はメモリカード等の外部装置（図示省略）が接続される。外部Ｉ／Ｆ９２は、ＣＰＵ８８Ａと外部装置との間の各種情報の授受を司る。ＣＰＵ８８Ａは、外部Ｉ／Ｆ９２を介して、第２撮像画像１９を示す第２撮像画像データを外部装置に記憶させる。

【0095】

また、バス８９には、通信Ｉ／Ｆ９３が接続されている。通信Ｉ／Ｆ９３は、例えばＬＡＮケーブル３８Ｂを介して情報処理装置１２に接続されている。ＣＰＵ８８Ａは、通信Ｉ／Ｆ９３を介して、第２撮像画像データを情報処理装置１２に送信する。また、通信Ｉ／Ｆは無線通信Ｉ／Ｆであってもよく、その場合は無線電波を介して情報処理装置１２に接続される。

【0096】

なお、図８に示す例では、図示の都合上、バス８９として１本のバスが図示されているが、複数本のバスであってもよい。バス８９は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

【0097】

一例として図９に示すように、仮想視点画像生成部７４は、固定撮像装置１６から受信した第１撮像画像１７、又は、可動撮像装置１８から受信した第２撮像画像１９を用いて、注視位置に基づく仮想視点画像８０を生成する。

【0098】

先ず、仮想視点画像生成部７４は、ユーザデバイス１４から、注視位置を示す注視位置対応領域７９を取得する。具体的には、例えば、観賞者２６は、ユーザデバイス１４のディスプレイ５４に設定画面３６（図７参照）を表示させる。観賞者２６は、設定画面３６上で、特定オブジェクトを示す特定オブジェクト画像にタッチすることにより、タッチパネル５２Ａを用いて、注視位置対応領域７９を指定する。ユーザデバイス１４は、指定された注視位置対応領域７９を情報処理装置１２に送信する。なお、ユーザデバイス１４がヘッドマウントディスプレイ等の眼鏡型デバイスである場合、備えている視線入力装置から得られる注視位置を用いることもできる。

【0099】

仮想視点画像生成部７４は、ユーザデバイス１４から取得した注視位置対応領域７９によって示される注視位置が、高解像度領域７５内にあるか否かを判定する。仮想視点画像生成部７４は、設定画面３６における注視位置対応領域７９の位置に基づいて、サッカーフィールド２４の実空間領域における注視位置の３次元座標を取得する。仮想視点画像生成部７４は、高解像度領域７５の３次元座標と注視位置の３次元座標とを比較することにより、注視位置が高解像度領域７５内にあるか否かを判定する。

【0100】

注視位置が高解像度領域７５外である場合、仮想視点画像生成部７４は、注視位置対応領域７９を含む第１撮像画像１７を用いて、注視位置対応領域７９に基づく仮想視点画像８０を生成する。第１撮像画像１７を用いて生成された仮想視点画像８０は、通常の解像度を有する通常解像度仮想視点画像８０Ａである。

【0101】

注視位置が高解像度領域７５内である場合、仮想視点画像生成部７４は、注視位置対応領域７９を含む第２撮像画像１９を用いて、注視位置対応領域７９に基づく仮想視点画像８０を生成する。第２撮像画像１９を用いて生成された仮想視点画像８０は、既定値よりも高い解像度を有する高解像度仮想視点画像８０Ｂである。仮想視点画像生成部７４は、生成した通常解像度仮想視点画像８０Ａ又は高解像度仮想視点画像８０Ｂをユーザデバイス１４に送信する。なお、高解像度仮想視点画像８０Ｂは、本開示の技術に係る「所定の条件を満たす仮想視点画像」、「既定値以上の解像度を有する高解像度仮想視点画像」、及び「高解像度仮想視点画像」の一例である。

【0102】

一例として図１０に示すように、可動撮像装置制御部７２は、可動撮像装置１８の焦点距離を変更することにより、高解像度仮想視点画像８０Ｂの解像度を変更することが可能である。図１０に示す例では、各可動撮像装置１８の焦点距離が図５に示す例に比べて長くなった場合、各可動撮像装置１８の撮像範囲７１は図５に示す例に比べて狭くなる。

【0103】

この場合、４つの可動撮像装置１８で取得された第２撮像画像１９から導出される高解像度領域７５は、図５に示す例に比べて小さくなる。また、第２撮像画像１９を用いて、高解像度領域７５内の注視位置に基づいて作成される高解像度仮想視点画像８０Ｂの解像度は、図５に示す例に比べて高くなる。

【0104】

次に、情報処理装置１２の作用について説明する。

【0105】

まず、情報処理装置１２の可動撮像装置制御部７２によって実行される可動撮像装置制御処理の流れの一例について、図１１を参照しながら説明する。

【0106】

図１１に示す可動撮像装置制御処理は、例えば、情報処理装置１２の管理者によって、受付デバイス３２からＣＰＵ３０Ａに、設定画面３６の表示要求が入力された場合に開始される。可動撮像装置制御処理では、ステップＳＴ１０１で、可動撮像装置制御部７２は、各可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件をメモリ３０Ｃから読み出す。この後、可動撮像装置制御処理はステップＳＴ１０２に移行する。

【0107】

ステップＳＴ１０２で、可動撮像装置制御部７２は、メモリ３０Ｃから読み出した各可動撮像装置１８の位置及び撮像方向と、各可動撮像装置１８の画角とに基づいて、各可動撮像装置１８の撮像範囲７１を導出する。なお、各可動撮像装置１８の画角は、各可動撮像装置１８の焦点距離と撮像素子６９に関する情報から算出される。この後、可動撮像装置制御処理はステップＳＴ１０３に移行する。

【0108】

ステップＳＴ１０３で、可動撮像装置制御部７２は、可動撮像装置１８で撮像が行われることで得られた第２撮像画像１９を取得する。この後、可動撮像装置制御処理はステップＳＴ１０４に移行する。

【0109】

ステップＳＴ１０４で、可動撮像装置制御部７２は、可動撮像装置１８から取得された第２撮像画像１９に基づいて、高解像度領域７５を導出する。この後、可動撮像装置制御処理はステップＳＴ１０５に移行する。

【0110】

ステップＳＴ１０５で、可動撮像装置制御部７２は、導出した各可動撮像装置１８の撮像範囲７１、及び導出した高解像度領域７５に基づいて作成した設定画面３６をディスプレイ３４に表示させる。この後、可動撮像装置制御処理はステップＳＴ１０６に移行する。

【0111】

ステップＳＴ１０６で、可動撮像装置制御部７２は、受付デバイス３２から制御指示７６を受け付けたか否かを判定する。ステップＳＴ１０６において、制御指示７６を受け付けた場合、判定が肯定されて、可動撮像装置制御処理はステップＳＴ１０７に移行する。ステップＳＴ１０６において、制御指示７６を受け付けていない場合、判定が否定されて、可動撮像装置制御処理はステップＳＴ１１０に移行する。

【0112】

ステップＳＴ１０７で、可動撮像装置制御部７２は、受け付けた制御指示７６に基づいて制御信号２９を生成する。この後、可動撮像装置制御処理はステップＳＴ１０８に移行する。

【0113】

ステップＳＴ１０８で、可動撮像装置制御部７２は、生成した制御信号２９を対応する可動撮像装置１８に送信する。可動撮像装置１８は、制御信号２９を受信して、受信した制御信号２９に従って、変更機構９５を作動させる。これにより、可動撮像装置１８の撮像範囲７１又は撮像条件が変更される。この後、可動撮像装置制御処理はステップＳＴ１０９に移行する。

【0114】

ステップＳＴ１０９で、可動撮像装置制御部７２は、メモリ３０Ｃに記憶されている可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件を更新する。この後、可動撮像装置制御処理はステップＳＴ１１０に移行する。

【0115】

ステップＳＴ１１０で、可動撮像装置制御部７２は、終了条件を満足しているか否かを判定する。終了条件としては、例えば、可動撮像装置１８による撮像が停止したこと、又は停止ボタンが操作されたこと等が挙げられる。停止ボタンは、例えば、情報処理装置１２のディスプレイ３４にソフトキーとして表示される。具体的には、停止ボタンは、設定画面３６内に表示される。ステップＳＴ１１０において、終了条件を満足している場合、判定が肯定されて、可動撮像装置制御処理は終了する。ステップＳＴ１１０において、終了条件を満足していない場合、判定が否定されて、可動撮像装置制御処理はステップＳＴ１０２に移行する。

【0116】

次に、情報処理装置１２の仮想視点画像生成部７４によって実行される仮想視点画像生成処理の流れの一例について、図１２を参照しながら説明する。

【0117】

図１２に示す仮想視点画像生成処理は、ユーザデバイス１４からＣＰＵ３０Ａに、仮想視点画像の観賞要求が入力された場合に開始される。仮想視点画像生成処理では、ステップＳＴ１１１で、仮想視点画像生成部７４は、仮想視点画像生成タイミングが到来したか否かを判定する。ステップＳＴ１１１において、仮想視点画像生成タイミングが到来した場合、判定が肯定されて、仮想視点画像生成処理はステップＳＴ１１２に移行する。ステップＳＴ１１１において、仮想視点画像生成タイミングが到来していない場合、判定が否定されて、仮想視点画像生成処理はステップＳＴ１２１に移行する。

【0118】

ステップＳＴ１１２で、仮想視点画像生成部７４は、固定撮像装置１６から第１撮像画像１７を取得する。この後、仮想視点画像生成処理はステップＳＴ１１３に移行する。

【0119】

ステップＳＴ１１３で、仮想視点画像生成部７４は、可動撮像装置１８から第２撮像画像１９を取得する。この後、仮想視点画像生成処理はステップＳＴ１１４に移行する。

【0120】

ステップＳＴ１１４で、仮想視点画像生成部７４は、可動撮像装置制御部７２から高解像度領域７５を取得する。この後、仮想視点画像生成処理はステップＳＴ１１５に移行する。

【0121】

ステップＳＴ１１５で、仮想視点画像生成部７４は、ユーザデバイス１４から注視位置対応領域７９を取得する。この後、仮想視点画像生成処理はステップＳＴ１１６に移行する。

【0122】

ステップＳＴ１１６で、仮想視点画像生成部７４は、注視位置対応領域７９が示す注視領域が高解像度領域７５内か否かを判定する。ステップＳＴ１１６において、注視領域が高解像度領域７５内である場合、判定が肯定されて、仮想視点画像生成処理はステップＳＴ１１７に移行する。ステップＳＴ１１６において、注視領域が高解像度領域７５外である場合、判定が否定されて、仮想視点画像生成処理はステップＳＴ１１９に移行する。

【0123】

ステップＳＴ１１７で、仮想視点画像生成部７４は、第２撮像画像１９を用いて、注視位置対応領域７９に基づく通常解像度仮想視点画像８０Ａを生成する。この後、仮想視点画像生成処理はステップＳＴ１１８に移行する。

【0124】

ステップＳＴ１１８で、仮想視点画像生成部７４は、生成した通常解像度仮想視点画像８０Ａをユーザデバイス１４に送信する。ユーザデバイス１４は、通常解像度仮想視点画像８０Ａを受信し、受信した通常解像度仮想視点画像８０Ａをディスプレイ５４に表示させる。

【0125】

ステップＳＴ１１９で、仮想視点画像生成部７４は、第１撮像画像１７を用いて、注視位置対応領域７９に基づく高解像度仮想視点画像８０Ｂを生成する。この後、仮想視点画像生成処理はステップＳＴ１２０に移行する。

【0126】

ステップＳＴ１２０で、仮想視点画像生成部７４は、生成した高解像度仮想視点画像８０Ｂをユーザデバイス１４に送信する。ユーザデバイス１４は、高解像度仮想視点画像８０Ｂを受信し、受信した高解像度仮想視点画像８０Ｂをディスプレイ５４に表示させる。

【0127】

ステップＳＴ１２１で、仮想視点画像生成部７４は、終了条件を満足しているか否かを判定する。終了条件としては、例えば、固定撮像装置１６又は可動撮像装置１８による撮像が停止したこと、又は停止ボタンが操作されたこと等が挙げられる。停止ボタンは、例えば、ユーザデバイス１４のディスプレイ５４にソフトキーとして表示される。具体的には、停止ボタンは、通常解像度仮想視点画像８０Ａ又は高解像度仮想視点画像８０Ｂが表示される画面内に表示される。ステップＳＴ１２１において、終了条件を満足している場合、判定が肯定されて、仮想視点画像生成処理は終了する。ステップＳＴ１２１において、終了条件を満足していない場合、判定が否定されて、仮想視点画像生成処理はステップＳＴ１１１に移行する。

【0128】

以上説明したように、本第１実施形態において、情報処理装置１２は、複数の撮像装置により撮像されることで取得された第１撮像画像１７及び第２撮像画像１９に基づいて、仮想視点画像８０を生成可能なＣＰＵ３０Ａと、ＣＰＵ３０Ａに接続されたメモリ３０Ｃとを備える。ＣＰＵ３０Ａの可動撮像装置制御部７２は、仮想視点画像８０の生成に関して外部から与えられた制御指示７６に基づいて、可動撮像装置１８に対する制御信号２９を生成する。従って、本構成によれば、可動撮像装置１８に対する制御信号２９が生成されない場合に比べ、外部から与えられた制御指示７６に応じて選択された領域について、仮想視点画像８０を生成することができる。

【0129】

また、本第１実施形態において、制御信号２９は、可動撮像装置１８に対して、制御指示７６に応じた所定の条件を満たす仮想視点画像８０を生成するために用いられる第２撮像画像１９を取得させる制御に関する信号である。従って、本構成によれば、可動撮像装置１８に対する制御信号２９が生成されない場合に比べ、外部から与えられた制御指示７６に応じて選択された領域について、制御指示７６に応じた所定の条件を満たす仮想視点画像８０を生成することができる。

【0130】

また、本第１実施形態において、制御信号２９は、可動撮像装置１８に対して、既定値以上の解像度を有する高解像度仮想視点画像８０Ｂを生成するために用いられる第２撮像画像１９を取得させる制御に関する信号である。従って、本構成によれば、可動撮像装置１８に対する制御信号２９が生成されない場合に比べ、外部から与えられた制御指示７６に応じて選択された領域について、高解像度仮想視点画像８０Ｂを生成することができる。

【0131】

また、本第１実施形態において、制御信号２９は、可動撮像装置１８の撮像範囲７１を変える制御に関する信号である。従って、本構成によれば、可動撮像装置１８の撮像範囲７１を変更させるという簡単な制御で、外部から与えられた制御指示７６に応じて選択された領域について、仮想視点画像８０を生成することができる。

【0132】

また、本第１実施形態において、制御信号２９は、可動撮像装置１８の位置を変更させる位置変更信号２９Ａを含む。従って、本構成によれば、可動撮像装置１８の位置を変更させるという簡単な制御で、外部から与えられた制御指示７６に応じて選択された領域について、仮想視点画像８０を生成することができる。

【0133】

また、本第１実施形態において、制御信号２９は、可動撮像装置１８の撮像方向を変更させる撮像方向変更信号２９Ｂを含む。従って、本構成によれば、可動撮像装置１８の撮像方向を変更させるという簡単な制御で、外部から与えられた制御指示７６に応じて選択された領域について、仮想視点画像８０を生成することができる。

【0134】

また、本第１実施形態において、可動撮像装置１８は光学ズーム機能を有し、制御信号２９は、可動撮像装置１８の焦点距離を変更させる焦点距離変更信号２９Ｃを含む。従って、本構成によれば、可動撮像装置１８の焦点距離を変更させるという簡単な制御で、外部から与えられた制御指示７６に応じて選択された領域について、仮想視点画像８０を生成することができる。

【0135】

また、本第１実施形態において、可動撮像装置１８は、可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件を変更する変更機構９５を有する。変更機構９５は、制御信号２９に従って、可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件のうちの少なくとも一つを変更する。従って、本構成によれば、変更機構９５を用いずに可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件を手動で変更する場合に比べ、可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件を簡便に変更することができる。

【0136】

また、本第１実施形態において、可動撮像装置制御部７２は、可動撮像装置１８の焦点距離を変更することにより、高解像度仮想視点画像８０Ｂの解像度を変更可能である。従って、本構成によれば、高解像度仮想視点画像８０Ｂの解像度が変更可能でない場合に比べ、可動撮像装置１８の焦点距離を変更するという簡単な制御で、高解像度仮想視点画像８０Ｂの解像度をさらに向上させることができる。

【0137】

［第２実施形態］
上記第１実施形態では、可動撮像装置制御部７２は、受付デバイス３２から受け付けた制御指示７６に基づいて、可動撮像装置１８に対する制御信号２９を生成する態様例を説明した。本第２実施形態では、可動撮像装置制御部７２は、撮像装置によって撮像可能なサッカー競技場２２内の実空間領域に存在する被写体に基づいて、可動撮像装置１８に対する制御信号２９を生成する。以下、より詳しく説明する。なお、本第２実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

【0138】

一例として図１３に示すように、可動撮像装置制御部７２は、被写体の状況に基づいて、サッカー競技場２２内の実空間領域のうち、ユーザデバイス１４を使用している観賞者２６からの注目度が高いと予想される領域、すなわち注視位置を予測する。図１３に示す例では、被写体はペナルティキックを行っている最中である。可動撮像装置制御部７２は、この被写体の状況に基づいて、ペナルティエリアが注視位置であると予測する。可動撮像装置制御部７２は、予測した注視位置の高解像度仮想視点画像８０Ｂを生成するために用いられる第２撮像画像１９を、可動撮像装置１８に対して取得させる制御信号２９を生成する。つまり換言すれば、可動撮像装置制御部７２は、予測した注視位置が高解像度領域７５になるように、可動撮像装置１８の撮像範囲７１を変更させる制御信号２９を生成する。

【0139】

具体的に説明すると、一例として図１４に示すように、例えば、サッカーボール２１には、サッカー競技場２２内でのサッカーボール２１の位置を検出する位置センサ２１Ａが内蔵されている。位置センサ２１Ａとしては、例えば、自らの移動による角速度を検出するジャイロセンサ、又はＧＮＳＳ衛星（例えば、ＧＰＳ衛星）を用いた位置センサ等が用いられる。

【0140】

可動撮像装置制御部７２は、位置センサ２１Ａからの出力信号を、被写体状況判断材料情報１００として、一定（例えば、数十分の一秒）のクロック周期で受信する。可動撮像装置制御部７２は、受信した被写体状況判断材料情報１００に基づいて、被写体の状況を判断する。図１３に示す例では、可動撮像装置制御部７２は、被写体状況判断材料情報１００に基づいて、サッカーボール２１が既定時間（例えば、５秒）を超えて静止している状況であると判断する。

【0141】

可動撮像装置制御部７２は、複数の固定撮像装置１６で得られた複数の第１撮像画像１７を取得する。可動撮像装置制御部７２は、上述の画像認識技術を用いて、第１撮像画像１７から、サッカー競技場２２内の実空間領域におけるサッカーボール２１及び選手の位置を示す３次元座標を取得する。可動撮像装置制御部７２は、被写体の状況と、サッカーボール２１及び選手の位置とに基づいて、注視位置を予測する。注視位置は、サッカー競技場２２内の実空間領域における３次元座標で示される位置である。

【0142】

可動撮像装置制御部７２は、予測した注視位置が高解像度領域７５になるように、可動撮像装置１８の撮像範囲７１を変更させる制御信号２９を生成する。可動撮像装置制御部７２は、生成した制御信号２９を可動撮像装置１８に送信する。具体的には、制御信号２９に含まれる位置変更信号２９Ａは、撮像装置スライド機構９５Ａ（図８参照）に対して、可動撮像装置１８を予測した注視位置に最も近い位置に移動させる。制御信号２９に含まれる撮像方向変更信号２９Ｂは、旋回機構９５Ｂ（図８参照）に対して、可動撮像装置１８を注視位置に向かせる。制御信号２９に含まれる焦点距離変更信号２９Ｃは、レンズスライド機構９５Ｃ（図８参照）に対して、注視位置にピントが合うように、可動撮像装置１８の焦点距離を変更させる。制御信号２９に含まれる撮像条件変更信号２９Ｄは、撮像条件変更機構９５Ｄ（図８参照）に対して、被写体の明るさ等に応じて、可動撮像装置１８のシャッタ速度、絞り、及び感度を変更させる。

【0143】

次に、第２実施形態に係る可動撮像装置制御部７２によって実行される可動撮像装置制御処理の流れの一例について、図１５を参照しながら説明する。

【0144】

図１５に示す可動撮像装置制御処理は、例えば、情報処理装置１２の管理者によって、注視位置の予測を開始する開始ボタンが操作された場合に開始される。開始ボタンは、例えば、情報処理装置１２のディスプレイ３４にソフトキーとして表示される。

【0145】

第２実施形態に係る可動撮像装置制御処理では、ステップＳＴ２０１で、可動撮像装置制御部７２は、被写体状況判断材料情報１００を取得する。この後、可動撮像装置制御処理はステップＳＴ２０２に移行する。

【0146】

ステップＳＴ２０２で、可動撮像装置制御部７２は、被写体状況判断材料情報１００に基づいて被写体の状況を判断する。この後、可動撮像装置制御処理はステップＳＴ２０３に移行する。

【0147】

ステップＳＴ２０３で、可動撮像装置制御部７２は、固定撮像装置１６から第１撮像画像１７を取得する。この後、可動撮像装置制御処理はステップＳＴ２０４に移行する。

【0148】

ステップＳＴ２０４で、可動撮像装置制御部７２は、判断した被写体の状況と、第１撮像画像１７から得た情報とに基づいて、注視位置を予測する。この後、可動撮像装置制御処理はステップＳＴ２０５に移行する。

【0149】

ステップＳＴ２０５で、可動撮像装置制御部７２は、予測した注視位置が高解像度領域７５になるように制御信号２９を生成する。この後、可動撮像装置制御処理はステップＳＴ２０６に移行する。

【0150】

ステップＳＴ２０６で、可動撮像装置制御部７２は、生成した制御信号２９を可動撮像装置１８に送信する。この後、可動撮像装置制御処理はステップＳＴ２０７に移行する。

【0151】

ステップＳＴ２０７で、可動撮像装置制御部７２は、終了条件を満足しているか否かを判定する。終了条件としては、例えば、可動撮像装置１８による撮像が停止したこと、又は注視位置の予測を停止する停止ボタンが操作されたこと等が挙げられる。停止ボタンは、例えば、情報処理装置１２のディスプレイ３４にソフトキーとして表示される。ステップＳＴ２０７において、終了条件を満足している場合、判定が肯定されて、可動撮像装置制御処理は終了する。ステップＳＴ２０７において、終了条件を満足していない場合、判定が否定されて、可動撮像装置制御処理はステップＳＴ２０１に移行する。

【0152】

以上説明したように、本第２実施形態において、情報処理装置１２は、複数の撮像装置により撮像可能な実空間領域のうち、被写体の状況に基づいて予測された注視位置の高解像度仮想視点画像８０Ｂを生成するために用いられる第２撮像画像１９を、可動撮像装置１８に対して取得させる制御信号２９を生成する。従って、本構成によれば、被写体の状況に基づいて予測された注視位置の高解像度仮想視点画像８０Ｂを得ることができる。

【0153】

上記第２実施形態において、サッカーボール２１に内蔵された位置センサ２１Ａから得られたサッカーボール２１の位置情報が被写体状況判断材料情報１００として用いられているが、本開示の技術はこれに限定されない。例えば、選手に位置センサを取り付け、選手の位置情報を被写体状況判断材料情報１００として用いてもよい。また、複数の固定撮像装置１６で取得された複数の第１撮像画像１７を被写体状況判断材料情報１００として取得し、機械学習等を用いた画像認識技術を用いて被写体の状況を判断してもよい。

【0154】

また、上記第２実施形態において、可動撮像装置制御部７２は、被写体状況判断材料情報１００に基づいて、サッカーボール２１が既定時間を超えて静止している状況であると判断したが、本開示の技術はこれに限定されない。可動撮像装置制御部７２は、被写体状況判断材料情報１００に基づいて、サッカーボール２１がサッカーフィールド２４のラインを超えたこと、選手が特定の配置に付いていること、又は選手が狭い範囲に密集していること等の状況を判断してもよい。可動撮像装置制御部７２は、これらの被写体の状況に基づいて、注視位置を予測してもよい。

【0155】

［第３実施形態］
上記第１実施形態では、制御指示７６として、可動撮像装置１８の撮像範囲７１に関する指示を例示したが、本第３実施形態では、制御指示７６として、高解像度仮想視点画像８０Ｂを生成する対象である高解像度領域７５に関する指示を用いる形態例について説明する。なお、本第３実施形態では、上記第１及び第２実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

【0156】

本第３実施形態において、高解像度領域７５は、例えば、サッカー競技場２２内の実空間領域に含まれる特定オブジェクトを含む領域である。特定オブジェクトは、例えば、特定の選手である。

【0157】

管理者が、情報処理装置１２に対して、特定オブジェクトを含む高解像度領域７５に関する制御指示７６を与える方法の一例を説明する。一例として図１６に示すように、管理者は、ディスプレイ３４に表示された設定画面３６上で、マウスを用いて、特定オブジェクトを示す特定オブジェクト画像をクリックする。

【0158】

一例として図１７に示すように、可動撮像装置制御部７２は、設定画面３６における特定オブジェクト画像の位置に基づいて、サッカー競技場２２内の実空間領域における特定オブジェクト１０２の３次元座標を取得する。また、可動撮像装置制御部７２は、特定オブジェクト１０２の座標を中心に半径数メートル（例えば、半径２メートル）の領域を特定領域１０４と定める。可動撮像装置制御部７２は、特定領域１０４の座標を含む制御指示７６を受け付ける。なお、特定オブジェクトは、本開示の技術に係る「特定のオブジェクト」の一例である。また、特定領域１０４は、本開示の技術に係る「特定領域」の一例である。

【0159】

可動撮像装置制御部７２は、実空間領域内の特定領域１０４を示す情報が制御指示７６に含まれる場合、特定領域１０４の高解像度仮想視点画像８０Ｂを生成するために用いられる第２撮像画像１９を、可動撮像装置１８に対して取得させる制御信号２９を生成する。換言すれば、可動撮像装置制御部７２は、特定領域１０４が高解像度領域７５になるように、可動撮像装置１８の撮像範囲７１を変更させる制御信号２９を生成する。実空間内の特定領域１０４が高解像度領域７５になるように制御信号２９を生成する方法は、上記第２実施形態で説明したものと同様であるので、ここでは説明を省略する。

【0160】

以上説明したように、本第３実施形態において、制御指示７６は、高解像度仮想視点画像８０Ｂを生成する対象である高解像度領域７５に関する指示を含む。従って、本構成によれば、サッカー競技場２２内の実空間領域のうち、管理者が意図する領域を高解像度領域７５として定めることができる。

【0161】

また、本第３実施形態において、可動撮像装置制御部７２は、複数の撮像装置によって撮像可能な実空間領域内の特定領域１０４を示す情報が制御指示７６に含まれる場合、特定領域１０４の高解像度仮想視点画像８０Ｂを生成するために用いられる第２撮像画像１９を、可動撮像装置１８に対して取得させる制御信号２９を生成する。従って、本構成によれば、特定領域１０４を高解像度領域７５として定めることができる。

【0162】

また、本第３実施形態において、高解像度領域７５は、複数の撮像装置によって撮像可能な実空間領域に含まれる特定オブジェクト１０２を含む領域である。従って、本構成によれば、実空間領域内のオブジェクトのうち、管理者が意図するオブジェクトを高解像度領域７５として定めることができる。

【0163】

なお、上記第３実施形態において、特定オブジェクト１０２は、特定の選手であったが、本開示の技術はこれに限定されない。特定オブジェクト１０２は、サッカーボール２１、ゴール、審判、又はライン等を含む、撮像領域中に含まれうる任意のオブジェクトであってもよい。

【0164】

また、上記第３実施形態において、高解像度領域７５は、特定オブジェクト１０２を含む領域であったが、本開示の技術はこれに限定されない。高解像度領域７５は、特定オブジェクト１０２を含む領域でなくてもよい。可動撮像装置制御部７２は、管理者が設定画面３６において任意に指定した領域を特定領域１０４として含む制御指示７６を受け付け、特定領域１０４が高解像度領域７５になるように制御信号２９を生成してもよい。

【0165】

また、高解像度領域７５は、仮想視点画像８０に対する注視位置の経路を含む領域であってもよい。一例として図１８に示すように、例えば、特定オブジェクト１０２の存在する位置を注視位置１０６とする場合、注視位置１０６の経路である注視位置パス１０８を含む領域が特定領域１０４として定められる。可動撮像装置制御部７２は、特定領域１０４を含む制御指示７６を受け付け、特定領域１０４が高解像度領域７５になるように制御信号２９を生成する。従って、本構成によれば、実空間領域のうち、観賞者２６からの注視度が高い領域を高解像度領域７５として定めることができる。なお、注視位置パス１０８は、本開示の技術に係る「注視位置の経路」の一例である。

【0166】

［第４実施形態］
上記第１～第３実施形態では、管理者が、受付デバイス３２から制御指示７６を入力し、可動撮像装置制御部７２は、制御指示７６に基づいて高解像度領域７５を決定する態様を例に挙げて説明した。本第４実施形態では、管理者に加えて、複数の観賞者２６の操作によって、ユーザデバイス１４が制御指示７６を送信する。以下、管理者と観賞者２６とを区別して説明する必要がない場合には、包括的に「ユーザ」と称する。可動撮像装置制御部７２は、複数のユーザからの複数の制御指示７６を集計する。可動撮像装置制御部７２は、集計結果に基づいて高解像度領域７５を定め、定めた高解像度領域７５に基づいて、可動撮像装置１８に対する制御信号２９を生成する。なお、本第４実施形態では、上記第１～第３実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

【0167】

一例として図１９に示すように、第１のユーザによって与えられる第１制御指示７６－１は、特定領域１０４－１を含んでいる。第２ユーザによって与えられる第２制御指示７６－２は、特定領域１０４－２を含んでいる。第３ユーザによって与えられる第３制御指示７６－３は、特定領域１０４－３を含んでいる。特定領域１０４－１～１０４－３は、重複している。なお、本実施形態では、複数の制御指示７６－１～７６－３に含まれる複数の特定領域１０４－１～１０４－３は、重複しているが、本開示の技術はこれに限定されず、特定領域１０４－１～１０４－３は重複していなくてもよい。以下、制御指示７６－１～７６－３を区別して説明する必要がない場合には、包括的に「複数の制御指示７６」と称する。特定領域１０４－１～１０４－３を区別して説明する必要がない場合には、包括的に「複数の特定領域１０４」と称する。

【0168】

可動撮像装置制御部７２は、複数の特定領域１０４の集計結果に基づいて、高解像度領域７５を定める。可動撮像装置制御部７２は、例えば、複数の特定領域１０４の重複領域１１０を高解像度領域７５と定める。又は、可動撮像装置制御部７２は、複数の特定領域１０４を全て含む高解像度領域７５を定めてもよい。又は、可動撮像装置制御部７２は、複数の特定領域１０４を統計的に処理し、サッカー競技場２２内の実空間領域のうち、既定値を超える注目度を有していると判断される領域を高解像度領域７５と定めてもよい。

【0169】

一例として図２０に示すように、可動撮像装置制御部７２は、受付デバイス３２及びユーザデバイス１４から受け付けた複数の制御指示７６を集計する。可動撮像装置制御部７２は、複数の制御指示７６の集計結果に基づいて、高解像度領域７５を決定する。可動撮像装置制御部７２は、決定した高解像度領域７５に基づいて、可動撮像装置１８に対する制御信号２９を生成する。

【0170】

以上説明したように、本第４実施形態において、可動撮像装置制御部７２は、複数の制御指示７６を集計した結果に基づいて高解像度領域７５を定め、定めた高解像度領域７５に基づいて、可動撮像装置１８に対する制御信号２９を生成する。従って、本構成によれば、高解像度領域７５が、一つの制御指示７６に基づいて定められる場合に比べ、複数の制御指示７６を反映した高解像度領域７５を定めることができる。

【0171】

［第５実施形態］
上記第３実施形態では、可動撮像装置制御部７２が、高解像度領域７５に関する制御指示７６に基づいて、可動撮像装置１８に対する制御信号２９を生成する態様例を説明した。本第５実施形態では、可動撮像装置制御部７２は、高解像度領域７５に関する制御指示７６の履歴に基づいて高解像度領域７５を定め、定めた高解像度領域７５に基づいて、可動撮像装置１８に対する制御信号２９を生成する。なお、本第５実施形態では、上記第１～第４実施形態で説明した構成要素と同じ構成要素については同一の符号を付し、その説明を省略する。

【0172】

一例として図２１に示すように、本第５実施形態では、高解像度領域７５（図５及び図１３参照）に関する制御指示７６の履歴である制御指示履歴１１４が、メモリ３０Ｃに記憶されている。制御指示履歴１１４は、例えば、予め定められた時間（例えば、９０分間）に可動撮像装置制御部７２に受け付けられた制御指示７６の履歴である。又は、制御指示履歴１１４は、図１１に示す可動撮像装置制御処理の開始から終了までの間の制御指示７６の履歴であってもよい。また、情報処理装置１２のユーザが複数居る場合には、制御指示履歴１１４は、ユーザ毎の制御指示７６の履歴であってもよい。なお、制御指示履歴１１４は、本開示の技術に係る「履歴」の一例である。

【0173】

可動撮像装置制御部７２は、メモリ３０Ｃから制御指示履歴１１４を読み出し、読み出した制御指示履歴１１４に含まれる高解像度領域７５を解析する。例えば、可動撮像装置制御部７２は、高解像度領域７５に最も高い頻度で含まれた特定オブジェクト１０２を検出し、検出した特定オブジェクト１０２を含む領域を高解像度領域７５に定める。又は、可動撮像装置制御部７２は、制御指示履歴１１４に含まれる高解像度領域７５を統計的に処理し、サッカー競技場２２内の実空間領域のうち、高解像度領域７５となる頻度が既定値よりも高い領域を高解像度領域７５に定めてもよい。可動撮像装置制御部７２は、決定した高解像度領域７５に基づいて、可動撮像装置１８に対する制御信号２９を生成する。

【0174】

以上説明したように、本第５実施形態において、可動撮像装置制御部７２は、高解像度領域７５に関する制御指示７６の履歴に基づいて高解像度領域７５を定め、定めた高解像度領域７５に基づいて、可動撮像装置１８に対する制御信号２９を生成する。従って、本構成によれば、高解像度領域７５が一つの制御指示７６に基づいて定められる場合に比べ、制御指示履歴１１４を反映した高解像度領域７５を定めることができる。

【0175】

［第６実施形態］
上記第１実施形態では、可動撮像装置制御部７２が、可動撮像装置１８から取得された第２撮像画像１９に基づいて、高解像度領域７５を導出する態様例を説明した。本第６実施形態では、可動撮像装置制御部７２は、可動撮像装置１８の位置、撮像方向、及び焦点距離に基づいて高解像度領域７５を予測し、予測した高解像度領域７５をディスプレイ３４に出力する。ディスプレイ３４は、可動撮像装置制御部７２から入力された高解像度領域７５を表示する。

【0176】

一例として図２２に示すように、可動撮像装置制御部７２は、各可動撮像装置１８の位置、撮像方向、焦点距離、及び撮像条件をメモリ３０Ｃから読み出す。また、可動撮像装置制御部７２は、各可動撮像装置１８のレンズ及び撮像素子６９に関する情報をメモリ３０Ｃから読み出す。可動撮像装置制御部７２は、各可動撮像装置１８の位置、撮像方向、及び画角に基づいて、各可動撮像装置１８の撮像範囲７１を導出する。各可動撮像装置１８の撮像範囲７１を導出する方法は、上記第１実施形態と同様であるので、ここでは説明を省略する。

【0177】

可動撮像装置制御部７２は、高解像度領域７５を予測する。例えば、可動撮像装置制御部７２は、各可動撮像装置１８について、撮像条件と、レンズ及び撮像素子６９に関する情報とに基づいて、被写界深度を導出する。可動撮像装置制御部７２は、各可動撮像装置１８の位置、撮像方向、及び被写界深度に基づき、サッカー競技場２２内の実空間領域のうち、各可動撮像装置１８によって合焦した像が得られる合焦領域を示す３次元座標を取得する。可動撮像装置制御部７２は、全ての可動撮像装置１８の合焦領域を示す３次元座標の論理和を、高解像度領域７５として取得する。

【0178】

可動撮像装置制御部７２は、導出した各可動撮像装置１８の撮像範囲７１と、予測した高解像度領域７５とを用いて、設定画面３６を作成する。可動撮像装置制御部７２は、作成した設定画面３６をディスプレイ３４に表示する制御を行う（例えば、図７参照）。

【0179】

また、一例として図２３に示すように、可動撮像装置制御部７２は、現在の可動撮像装置１８の焦点距離に基づく第１高解像度領域と、可動撮像装置１８の焦点距離を変更させることで実現される第２高解像度領域とを予測してもよい。例えば、可動撮像装置１８の焦点距離を現在の焦点距離よりも長くすれば、可動撮像装置１８の撮像範囲７１は狭くなり、第１高解像度領域よりも狭い第２高解像度領域が予想される。さらに、第２高解像度領域に含まれる被写体を示す仮想視点画像８０の解像度は、第１高解像度領域に含まれる被写体を示す仮想視点画像８０の解像度よりも高くなる。可動撮像装置制御部７２は、各可動撮像装置１８の撮像範囲７１と、予測した第１及び第２高解像度領域とから設定画面３６を作成する。可動撮像装置制御部７２は、作成した設定画面３６をディスプレイ３４に表示する。

【0180】

一例として図２４に示すように、可動撮像装置制御部７２は、予測した第１及び第２高解像度領域において、可動撮像装置１８の焦点距離を変更することに伴って変化する高解像度仮想視点画像８０Ｂの解像度と、第１高解像度領域及び第２高解像度領域の大きさの関係を、視覚的に識別可能な態様でディスプレイ３４に表示する制御を行う。

【0181】

設定画面３６において、第１高解像度領域を示す第１高解像度領域画像１１６と、第２高解像度領域を示す第２高解像度領域画像１１８は、例えば、色分けしてディスプレイ３４に表示される。設定画面３６の右側には、第１解像度領域を実現する場合に取得される高解像度仮想視点画像８０Ｂの解像度１１７と、第２解像度領域を実現する場合に取得される高解像度仮想視点画像８０Ｂの解像度１１９とが表示される。解像度１１９は、解像度１１７よりも高い値である。

【0182】

一例として図２５に示すように、可動撮像装置制御部７２は、予測した第１及び第２高解像度領域に含まれるオブジェクトを、他のオブジェクトと視覚的に識別可能な態様でディスプレイ３４に表示する制御を行う。図２５に示す例では、第１高解像度領域に含まれるオブジェクトである第１高解像度オブジェクト１２０は、円形の枠で囲まれてディスプレイ３４に表示される。第２高解像度領域に含まれるオブジェクトである第２高解像度オブジェクト１２２は、矩形の枠で囲まれてディスプレイ３４に表示される。なお、第１及び第２高解像度オブジェクト１２０及び１２２は、本開示の技術に係る「予測した高解像度領域に含まれるオブジェクト」の一例である。

【0183】

以上説明したように、本第６実施形態において、可動撮像装置制御部７２は、可動撮像装置１８の位置、撮像方向、及び焦点距離に基づいて、複数の可動撮像装置１８によって撮像可能な実空間領域のうち、高解像度仮想視点画像８０Ｂを生成可能な高解像度領域７５を予測し、予測した高解像度領域７５を出力する。従って、本構成によれば、高解像度領域７５が、可動撮像装置１８によって取得された第２撮像画像１９から導出される場合に比べ、可動撮像装置制御部７２の処理負荷が軽減される。

【0184】

また、本第６実施形態において、予測した高解像度領域７５の出力先はディスプレイ３４であり、ディスプレイ３４は、可動撮像装置制御部７２から入力された高解像度領域７５を表示する。従って、本構成によれば、ユーザは、ディスプレイ３４を介して、高解像度領域７５を視覚的に認知することができる。

【0185】

また、本第６実施形態において、可動撮像装置制御部７２は、予測した第１及び第２高解像度領域において、焦点距離を変更することに伴って変化する高解像度仮想視点画像８０Ｂの解像度と、第１及び第２高解像度領域の大きさとの関係を、視覚的に識別可能な態様でディスプレイ３４に表示する制御を行う。従って、本構成によれば、高解像度仮想視点画像８０Ｂの解像度と第１及び第２高解像度領域の大きさとの関係を表示しない場合に比べ、ユーザは、所望の解像度を有する高解像度仮想視点画像８０Ｂを生成するための高解像度領域を容易に指定することができる。

【0186】

また、本第６実施形態において、可動撮像装置制御部７２は、予測した第１及び第２高解像度領域に含まれるオブジェクトを、他のオブジェクトと視覚的に識別可能な態様でディスプレイ３４に表示する制御を行う。従って、本構成によれば、第１及び第２高解像度領域に含まれるオブジェクトを、他のオブジェクトと視覚的に識別可能な態様で表示しない場合に比べ、ユーザは、所望のオブジェクトに関する高解像度仮想視点画像８０Ｂを生成するための高解像度領域を容易に指定することができる。

【0187】

なお、上記第６実施形態において、第１高解像度領域に含まれるオブジェクトは円形の枠で囲まれて、第２高解像度領域に含まれるオブジェクトは矩形の枠で囲まれてディスプレイ３４に表示されるが、本開示の技術はこれに限定されない。例えば、第１高解像度領域に含まれるオブジェクトと第２高解像度領域に含まれるオブジェクトについて、オブジェクトがそれぞれ異なる色で色付けされて表示されてもよいし、又はオブジェクトの輪郭がそれぞれ異なる色で強調されて表示されてもよい。

【0188】

［第７実施形態］
本第７実施形態では、可動撮像装置制御部７２は、制御信号２９を生成する際に、各可動撮像装置１８の位置、撮像方向、及び焦点距離を較正する較正処理を行う。なお、本第７実施形態では、上記第１～第６実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

【0189】

本第７実施形態において、可動撮像装置制御部７２は、受付デバイス３２から較正指示を受け付けた場合、可動撮像装置１８を基準位置、基準撮像方向、及び基準焦点距離に移動させる。基準位置は、各スライドバー８２の中心である（図５参照）。また、基準撮像方向は、各スライドバー８２に垂直な方向である（図５参照）。基準焦点距離は、可動撮像装置１８毎に予め定められた焦点距離である。

【0190】

一例として図２６に示すように、各可動撮像装置１８は、移動後、サッカー競技場２２内の実空間領域に含まれる固定オブジェクト、例えば、ライン１２８を撮像することにより、較正用画像１２６を取得する。固定オブジェクトは、サッカー競技場２２内の実空間領域における位置が固定されたオブジェクトであり、予め定められたオブジェクトである。なお、固定オブジェクトは、本開示の技術に係る「固定オブジェクト」の一例である。また、基準位置、基準撮像方向、及び基準焦点距離は本開示の技術に係る「基準位置」、「基準撮像方向」、及び「基準焦点距離」の一例である。また、較正用画像１２６は、本開示の技術に係る「較正用画像」の一例である。

【0191】

可動撮像装置制御部７２は、各可動撮像装置１８から較正用画像１２６を取得し、メモリ３０Ｃから基準画像１２７を取得する。基準画像１２７は、基準位置、基準撮像方向、及び基準焦点距離に配置された可動撮像装置１８により、固定オブジェクトを撮像することで得た画像であり、予めメモリ３０Ｃに記憶されている。なお、基準画像１２７は、本開示の技術に係る「基準画像」の一例である。

【0192】

可動撮像装置制御部７２は、基準画像１２７に写っているライン１２８と、較正用画像１２６に写っているライン１２８とを比較する。基準画像１２７と較正用画像１２６と間の位置の差は、基準位置に対する、可動撮像装置１８の位置のずれを表している。基準画像１２７と較正用画像１２６と間の撮像方向の差は、基準撮像方向に対する、可動撮像装置１８の撮像方向のずれを表している。基準画像１２７と較正用画像１２６と間の画角の差は、基準焦点距離に対する、可動撮像装置１８の焦点距離のずれを表している。

【0193】

可動撮像装置１８の位置、撮像方向、及び焦点距離にずれが発生する原因としては、例えば、可動撮像装置１８を撮像装置スライド機構９５Ａに取り付ける際の取り付け誤差、旋回台８４を旋回機構９５Ｂに取り付ける際の取り付け誤差、及び、フォーカスレンズ６６をレンズスライド機構９５Ｃに取り付ける際の取り付け誤差が考えられる。他にも、可動撮像装置１８が屋外に設置されている場合には、風、雨、又は日照等による外力が考えられる。

【0194】

可動撮像装置制御部７２は、較正用画像１２６と基準画像１２７との間の位置、撮像方向、及び焦点距離に関するずれに基づいて、位置、撮像方向、及び焦点距離のそれぞれに関する較正値１２９を算出する。可動撮像装置制御部７２は、算出した較正値１２９をメモリ３０Ｃに記憶する。

【0195】

一例として図２７に示すように、可動撮像装置制御部７２は、受付デバイス３２から較正指示を受け付けた場合、可動撮像装置１８に対して基準位置、基準撮像方向、及び基準焦点距離への移動を指示する移動信号１２５を、各可動撮像装置１８に送信する。各可動撮像装置１８は、移動信号１２５を受信し、受信した移動信号１２５に従って、基準位置、基準撮像方向、及び基準焦点距離に移動する。

【0196】

移動後、各可動撮像装置１８は、サッカー競技場２２内の実空間領域に含まれる固定オブジェクトを撮像することにより、較正用画像１２６を取得し、取得した較正用画像１２６を可動撮像装置制御部７２に送信する。

【0197】

可動撮像装置制御部７２は、可動撮像装置１８から較正用画像１２６を受信する。また、可動撮像装置制御部７２は、メモリ３０Ｃから基準画像１２７を読み出す。可動撮像装置制御部７２は、受信した較正用画像１２６と基準画像１２７とを比較する。可動撮像装置制御部７２は、較正用画像１２６と基準画像１２７との比較結果に基づいて較正値１２９を算出する。較正値１２９は、可動撮像装置１８毎に求められる値である。可動撮像装置制御部７２は、算出した較正値１２９をメモリ３０Ｃに記憶する。

【0198】

可動撮像装置制御部７２は、受付デバイス３２から制御指示７６を受け付けた場合、制御指示７６に基づいて、可動撮像装置１８に対して撮像範囲７１を変更させる制御信号を生成する。可動撮像装置制御部７２は、メモリ３０Ｃから較正値１２９を読み出す。可動撮像装置制御部７２は、読み出した較正値１２９を用いて、生成した制御信号を較正する。可動撮像装置制御部７２は、較正した制御信号を制御信号２９として可動撮像装置１８に送信する。

【0199】

以上説明したように、本第７実施形態において、可動撮像装置制御部７２は、基準画像１２７を、予めメモリ３０Ｃに記憶している。可動撮像装置制御部７２は、較正用画像１２６と基準画像１２７とを比較し、比較結果に基づいて制御信号２９を較正する。従って、本構成によれば、可動撮像装置制御部７２が較正処理を行わない場合に比べ、精度の良い制御信号２９を生成することができる。

【0200】

上記実施形態では、サッカー競技場２２を例示したが、これはあくまでも一例に過ぎず、野球場、ラグビー場、カーリング場、陸上競技場、競泳場、コンサートホール、野外音楽場、及び演劇会場等のように、複数の物理カメラが設置可能であれば、如何なる場所であってもよい。

【0201】

また、上記実施形態では、コンピュータ３０を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ３０に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ３０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

【0202】

また、上記実施形態では、情報処理が情報処理装置１２のＣＰＵ３０Ａによって実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。ＣＰＵ３０Ａに代えて、ＧＰＵを採用してもよいし、複数のＣＰＵを採用してもよい。また、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。

【0203】

また、上記実施形態では、ストレージ３０Ｂに可動撮像装置制御プログラム６２が記憶されているが、本開示の技術はこれに限定されず、一例として図２８に示すように、任意の可搬型の記憶媒体２００に可動撮像装置制御プログラム６２が記憶されていてもよい。記憶媒体２００は、非一時的記憶媒体である。記憶媒体２００としては、例えば、ＳＳＤ又はＵＳＢメモリ等が挙げられる。記憶媒体２００に記憶されている可動撮像装置制御プログラム６２はコンピュータ３０にインストールされ、ＣＰＵ３０Ａは、可動撮像装置制御プログラム６２に従って、可動撮像装置制御処理を実行する。

【0204】

また、通信網（図示省略）を介してコンピュータ３０に接続される他のコンピュータ又はサーバ装置等のプログラムメモリに可動撮像装置制御プログラム６２を記憶させておき、情報処理装置１２の要求に応じて可動撮像装置制御プログラム６２が情報処理装置１２にダウンロードされるようにしてもよい。この場合、ダウンロードされた可動撮像装置制御プログラム６２に基づく可動撮像装置制御処理がコンピュータ３０のＣＰＵ３０Ａによって実行される。

【0205】

情報処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って可動撮像装置制御処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。

【0206】

また、他のプロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで可動撮像装置制御処理を実行する。

【0207】

可動撮像装置制御処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、可動撮像装置制御処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0208】

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、可動撮像装置制御処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、可動撮像装置制御処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、可動撮像装置制御処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0209】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

【0210】

また、上述した情報処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0211】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0212】

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0213】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【手続補正書】

【提出日】2024-08-26

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複数の撮像装置により撮像されることで取得された複数の撮像画像に基づいて仮想視点画像を生成可能なプロセッサと、
前記プロセッサに内蔵又は接続されたメモリと、を備え、
前記プロセッサは、
前記仮想視点画像の生成に関して外部から与えられた指示、及び、被写体のうちの少なくとも一方に基づいて前記複数の撮像装置のうちの制御対象撮像装置に対する制御信号を生成し、
前記指示は、前記仮想視点画像に対する指示を含み、
前記プロセッサは、複数の前記指示を集計した結果に基づいて、前記仮想視点画像に対する注視位置の経路を含む領域である注視領域を定め、
前記制御対象撮像装置に対する前記制御信号は、前記プロセッサによって定められた前記注視領域に基づいて生成される
情報処理装置。

【請求項2】

前記仮想視点画像に対する指示は、前記経路の指示を含む
請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、前記経路の指示の履歴も用いて前記注視領域を定める
請求項２に記載の情報処理装置。