(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-25
(45)【発行日】2024-11-05
(54)【発明の名称】画像処理システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20241028BHJP
H04N 5/04 20060101ALI20241028BHJP
H04N 7/18 20060101ALI20241028BHJP
H04N 21/2187 20110101ALI20241028BHJP
H04N 21/242 20110101ALI20241028BHJP
【ＦＩ】
H04N23/60 300
H04N5/04 A
H04N7/18 E
H04N21/2187
H04N21/242
【請求項の数】
13
(21)【出願番号】P 2021104058
(22)【出願日】2021-06-23
(65)【公開番号】P2023003096
(43)【公開日】2023-01-11
【審査請求日】2023-03-28
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】松崎 英一
【審査官】吉川 康男
(56)【参考文献】
【文献】特開２０２１－０７７１２０（ＪＰ，Ａ）
【文献】特開２００９－２３９７６２（ＪＰ，Ａ）
【文献】特開２０１７－１６３２９５（ＪＰ，Ａ）
【文献】特開２０１５－１６５６２８（ＪＰ，Ａ）
【文献】特開２０１５－１８５８９６（ＪＰ，Ａ）
【文献】特開２０２１－０３４９７２（ＪＰ，Ａ）
【文献】国際公開第２００７／００７４５４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ５／０４
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ２１／２１８７
Ｈ０４Ｎ ２１／２４２
(57)【特許請求の範囲】
【請求項1】
複数の画像処理装置を備える画像処理システムであって、前記画像処理装置は、
撮像装置における撮像のタイミングを規定する同期信号であって前記複数の画像処理装置で同期された同期信号に基づいて前記撮像装置により撮像された画像を示す画像情報と、前記画像が撮像された撮像時刻を示す時刻情報とを対応付けて記憶した記憶手段から、前記時刻情報に基づいて前記画像情報を取得する画像取得手段と、
前記画像取得手段が前記記憶手段から前記画像情報を取得するタイミングを制御する取得制御手段と、
前記画像取得手段が前記記憶手段から取得する前記画像情報の前記撮像時刻を指定する指定手段と、
前記画像取得手段により取得された前記画像情報、及び前記記憶手段に記憶されていない前記画像情報のいずれか一方を選択して出力する出力手段と、
を有し、
前記取得制御手段は、前記取得するタイミングを規定する前記複数の画像処理装置で同期された同期信号として、前記撮像のタイミングを規定する同期信号と同期する同期信号を出力し、
前記指定手段は、前記複数の画像処理装置で同時刻の前記撮像時刻を指定し、
前記画像取得手段は、前記指定手段により指定された前記撮像時刻に対応する前記画像情報を、前記取得制御手段から出力される前記取得するタイミングを規定する同期信号に基づいて、前記複数の画像処理装置で同期して、前記記憶手段から取得すること
を特徴とする画像処理システム。
【請求項2】
前記複数の画像処理装置は、デイジーチェーンにより接続されており、前記画像情報は、デイジーチェーンを介して、他の前記画像処理装置に出力されることを特徴とする請求項１に記載の画像処理システム。
【請求項3】
前記画像処理装置は、基準同期信号を取得する信号取得手段、
を更に有し、
前記取得制御手段は、前記基準同期信号に基づく前記取得するタイミングを規定する同期信号を出力することにより、前記取得するタイミングを規定する同期信号を前記複数の画像処理装置で同期させること
を特徴とする請求項１又は２に記載の画像処理システム。
【請求項4】
前記基準同期信号を前記複数の画像処理装置に対して出力する信号出力装置、を更に備え、
前記信号取得手段は、前記信号出力装置が出力する前記基準同期信号を取得すること
を特徴とする請求項３に記載の画像処理システム。
【請求項5】
前記基準同期信号を出力する複数の前記撮像装置、を更に備え、
前記撮像装置は、対応する前記画像処理装置に対して前記基準同期信号を出力し、
前記信号取得手段は、対応する前記撮像装置が出力する前記基準同期信号を取得すること
を特徴とする請求項３に記載の画像処理システム。
【請求項6】
前記基準同期信号を出力する信号出力装置、を更に備え、
前記複数の画像処理装置は、デイジーチェーンにより接続されており、
前記画像処理装置は、
前記信号取得手段により取得された前記基準同期信号を出力する信号出力手段、
を更に有し、
前記デイジーチェーンにより接続された前記複数の画像処理装置のうちの最前段の画像処理装置が有する信号取得手段は、前記信号出力装置が出力する前記基準同期信号を取得し、
前記デイジーチェーンにより接続された前記複数の画像処理装置のうちの前記最前段の画像処理装置とは異なる画像処理装置が有する信号取得手段は、前記デイジーチェーンにより接続された前段の前記画像処理装置が有する信号出力手段が出力する前記基準同期信号を取得すること、
を特徴とする請求項３に記載の画像処理システム。
【請求項7】
前記信号出力装置は、前記画像処理装置の内部時計を同期させるための情報を出力するタイムサーバであることを特徴とする請求項６に記載の画像処理システム。
【請求項8】
前記信号出力装置は、前記最前段の画像処理装置に接続された撮像装置であることを特徴とする請求項６に記載の画像処理システム。
【請求項9】
前記画像取得手段は、前記画像情報と、当該画像情報に対応する時刻情報とを取得することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理システム。
【請求項10】
前記出力手段は、前記記憶手段から取得した前記画像情報を選択して出力する設定がなされている場合に、前記画像取得手段により取得された前記画像情報を選択して出力すること
を特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
【請求項11】
前記出力手段は、前記画像取得手段が前記記憶手段から前記画像情報を取得している場合に、前記画像取得手段により取得された前記画像情報を選択して出力すること
を特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
【請求項12】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理システムが備える前記画像処理装置の各手段として動作させるためのプログラム。
【請求項13】
複数の画像処理装置を備える画像処理システムおける画像処理方法であって、前記画像処理装置における画像処理方法は、
撮像装置における撮像のタイミングを規定する同期信号であって前記複数の画像処理装置で同期された同期信号に基づいて前記撮像装置により撮像された画像を示す画像情報と、前記画像が撮像された撮像時刻を示す時刻情報とを対応付けて記憶した記憶手段から、前記時刻情報に基づいて前記画像情報を取得する画像取得工程と、
前記画像取得工程において前記記憶手段から前記画像情報が取得されるタイミングを制御する取得制御工程と、
前記画像取得工程において前記記憶手段から取得される前記画像情報の前記撮像時刻を指定する指定工程と、
前記画像取得工程において取得された前記画像情報、及び前記記憶手段に記憶されていない前記画像情報のいずれか一方を選択して出力する出力工程と、
を含み、
前記取得制御工程において、前記取得するタイミングを規定する前記複数の画像処理装置で同期された同期信号として、前記撮像のタイミングを規定する同期信号と同期する同期信号が出力され、
前記指定工程において、前記複数の画像処理装置で同時刻の前記撮像時刻が指定され、
前記画像取得工程において、前記指定工程において指定された前記撮像時刻に対応する前記画像情報が、前記取得制御工程において出力される前記取得するタイミングを規定する同期信号に基づいて、前記複数の画像処理装置で同期して、前記記憶手段から取得されること
を特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、複数の撮像装置で同期撮像されることにより得られる複数の画像データを同期して取得するための技術に関する。
【背景技術】
【0002】
複数の撮像装置を異なる位置に設置して多視点で同期撮像し、当該撮像により得られた複数の画像（以下「撮像画像」という。）を用いてユーザが指定した任意の視点から見た画像（以下「仮想視点画像」という。）を生成する技術がある。仮想視点画像によれば、例えば、サッカー又はバスケットボール等のハイライトシーンを様々な角度からユーザに視聴させることが出来るため、通常の撮像画像と比較してより高い臨場感をユーザに与えることが出来る。高精度の仮想視点画像を生成するためには、各撮像装置で同時刻に撮像された撮像画像に基づいて三次元形状データを生成する必要があるため、各撮像装置で同時刻に撮像された撮像画像を同期して取得する必要がある。また、監視分野においても、複数の撮像装置により同時刻に撮像された撮像画像を並べて表示するために、同時刻に各撮像装置で撮像された撮像画像を同期して取得する必要がある。
【0003】
特許文献１には、撮像するフレームレートが互いに異なる複数の撮像装置により撮像された複数の動画像を同期させて再生する技術が開示されている。具体的には、特許文献１に開示された技術は、各撮像装置により撮像された複数の動画像のそれぞれについて、同期して再生させるフレーム（以下「基準フレーム」という。）を予め定め、基準フレームを同一の再生タイミングで再生するように制御するものである。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１３－２２５９３０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に開示された技術は、複数の動画像を同期させて再生するものであるが、複数の撮像装置により撮像された撮像画像について、同時刻に撮像された複数の撮像画像を同期して取得するものではない。
【0006】
本開示は、複数の撮像装置で撮像されることにより得られた複数の撮像画像の情報を記憶装置から同期して取得することを可能とするものである。
【課題を解決するための手段】
【0007】
本開示に係る画像処理システムは、複数の画像処理装置を備える画像処理システムであって、画像処理装置は、撮像装置における撮像のタイミングを規定する同期信号であって複数の画像処理装置で同期された同期信号に基づいて撮像装置により撮像された画像を示す画像情報と、画像が撮像された撮像時刻を示す時刻情報とを対応付けて記憶した記憶手段から、時刻情報に基づいて画像情報を取得する画像取得手段と、画像取得手段が記憶手段から画像情報を取得するタイミングを制御する取得制御手段と、画像取得手段が記憶手段から取得する画像情報の撮像時刻を指定する指定手段と、画像取得手段により取得された画像情報、及び記憶手段に記憶されていない画像情報のいずれか一方を選択して出力する出力手段と、を有し、取得制御手段は、取得するタイミングを規定する複数の画像処理装置で同期された同期信号として、撮像のタイミングを規定する同期信号と同期する同期信号を出力し、指定手段は、複数の画像処理装置で同時刻の撮像時刻を指定し、画像取得手段は、指定手段により指定された撮像時刻に対応する画像情報を、取得制御手段から出力される取得するタイミングを規定する同期信号に基づいて、複数の画像処理装置で同期して、記憶手段から取得する。
【発明の効果】
【0008】
本開示によれば、複数の撮像装置で撮像されることにより得られた複数の撮像画像の情報を記憶装置から同期して取得することができる。
【図面の簡単な説明】
【0009】
【図1】第１実施形態に係る画像処理システムの構成の一例を示すブロック図である。
【図2】（ａ）第１実施形態に係るセンサシステムの配置及び接続の一例を示す説明図である。（ｂ）仮想カメラと仮想カメラパスに基づく仮想カメラの位置及び姿勢の一例を示す説明図である。（ｃ）第１実施形態に係るセンサシステムの配置及び接続の他の一例を示す説明図である。
【図3】第１実施形態に係る画像処理装置における機能ブロックの構成の一例を示すブロック図である。
【図4】第１実施形態に係る画像処理装置におけるハードウェア構成の一例を示すブロック図である。
【図5】第１実施形態に係る記憶装置で管理されるシーン情報の一例を示す図である。
【図6】第１実施形態に係る画像処理装置の処理フローの一例を示すフローチャートである。
【図7】第１実施形態に係る画像処理装置の処理フローの一例を示すフローチャートである。
【図8】第２実施形態に係る画像処理システムの構成の一例を示すブロック図である。
【図9】第２実施形態に係る画像処理装置０における機能ブロックの構成の一例を示すブロック図である。
【図10】第２実施形態に係る画像処理装置の処理フローの一例を示すフローチャートである。
【図11】第２実施形態に係る画像処理装置の処理フローの一例を示すフローチャートである。
【図12】第２実施形態に係る画像処理装置のうちの最前段に位置する画像処理装置の処理フローの一例を示すフローチャートである。
【図13】第２実施形態に係る画像処理装置のうちの最前段に位置する画像処理装置よりも後段に位置する画像処理装置の処理フローの一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、添付の図面を参照して、本開示の実施の形態について詳細に説明する。なお、以下の実施の形態に示す構成は一例に過ぎず、本開示の範囲をその構成のみに限定するものではない。本開示の実施の形態では、一例として、仮想視点画像を生成するシステムに適用したものを示すが、本開示の適用範囲は、当該システムに限定されるものではない。本開示は、監視分野等のシステムであって、記憶装置に記憶された複数の画像を取得し、取得した複数の画像を並べて表示させるシステム等にも適用可能である。
【0011】
＜第１実施形態＞
図１から図７までを参照して、第１実施形態に係る画像処理システム１について説明する。図１は、第１実施形態に係る画像処理システム１の構成の一例を示すブロック図である。画像処理システム１は、複数のセンサシステム１０（１０ａ―１０ｘ）、画像コンピューティングサーバ１３、コントローラ１６、スイッチングハブ１８、エンドユーザ端末１７、及びタイムサーバ１２を有する。コントローラ１６は、制御ステーション１４と仮想カメラ操作ＵＩ１５を有する。各センサシステム１０（１０ａ―１０ｘ）は、画像処理装置１００（１００ａ－１００ｘ）及び撮像装置１１（１１ａ－１１ｘ）を有する。画像処理システム１において、各撮像装置１１は、競技場又はコンサートホール等の施設における互いに異なる位置に配置され、撮像対象の撮像を行う。
図１から図７までを参照して、第１実施形態に係る画像処理システム１について説明する。図１は、第１実施形態に係る画像処理システム１の構成の一例を示すブロック図である。画像処理システム１は、複数のセンサシステム１０（１０ａ―１０ｘ）、画像コンピューティングサーバ１３、コントローラ１６、スイッチングハブ１８、エンドユーザ端末１７、及びタイムサーバ１２を有する。コントローラ１６は、制御ステーション１４と仮想カメラ操作ＵＩ１５を有する。各センサシステム１０（１０ａ―１０ｘ）は、画像処理装置１００（１００ａ－１００ｘ）及び撮像装置１１（１１ａ－１１ｘ）を有する。画像処理システム１において、各撮像装置１１は、競技場又はコンサートホール等の施設における互いに異なる位置に配置され、撮像対象の撮像を行う。
【0012】
第１実施形態では、各センサシステム１０は、画像処理装置１００と撮像装置１１とをそれぞれ１個ずつ有するものとして説明するが、各センサシステム１０が有する画像処理装置１００及び撮像装置１１の個数は、これに限定されるものではない。例えば、各センサシステム１０が有する画像処理装置１００の個数は、２個以上であってもよく、また、各センサシステム１０が有する画像処理装置１００の個数は、２個以上であってもよい。なお、センサシステム１０は、撮像装置１１及び画像処理装置１００に加えて、他の装置を有するものであってもよい。また、撮像装置１１と画像処理装置１００とは、互い異なる筐体により外装された別体の装置であるものとして説明するが、撮像装置１１と画像処理装置１００とは、同一の筐体により外装された一体の装置として構成されたものであってもよい。また、各センサシステム１０は、全てが同様の構成であるものとして説明するが、各センサシステム１０は、複数のセンサシステム１０の一部又は全部が互いに異なる構成であってもよい。以下、センサシステム１０ａ―１０ｘが有する画像処理装置１００ａ―１００ｘ及び撮像装置１１ａ－１１ｘについて、特別な説明がない場合は区別せずに撮像装置１１及び画像処理装置１００と記載して説明する。また、第１実施形態では、画像処理システム１は、２４個のセンサシステム１０を有するものとして説明するが、センサシステム１０の個数は、２個以上であれば、２４個より少なくても、２４個より多くてもよい。以下、特別な説明がない場合は、２４個のセンサシステム１０ａ－１０ｘを区別せずに、単にセンサシステム１０と記載して説明する。
【0013】
撮像装置１１は、図１には不図示のレンズ及びイメージセンサを有し、イメージセンサで撮像することにより得た画像（以下「撮像画像」という。）を画像信号として出力する。撮像装置１１は、レンズ及びイメージセンサに加えて、図１には不図示のマイクを有し、画像信号に加えて、マイクにより集音した音声を音声信号として出力してもよい。また、撮像装置１１は、撮像装置１１をパン、チルト、又はロールさせて撮像装置１１の撮像方向を変更可能な雲台に固定されて配置されてもよい。以下、特別な説明がない場合は、画像という語句には、動画像及び静止画像という概念を含むものとして説明する。すなわち、第１実施形態に係る画像処理システム１は、静止画像及び動画像の何れについても処理可能なものである。
【0014】
画像処理装置１００は、撮像装置１１が出力する画像信号を受けて、画像信号に対応する画像情報を生成し、生成した画像情報を画像処理装置１００の内部又は外部に配置された記憶装置に出力して、記憶装置に画像情報を記憶させる。また、画像処理装置１００は、記憶装置から画像情報を読み出すことにより画像情報を取得する。画像処理装置１００は、画像信号に基づいて生成した画像情報、及び、記憶装置から読み出した画像情報のうちのいずれかを選択して、選択した画像情報を出力する。画像処理装置１００の詳細については後述する。
【0015】
図１（ａ）及び図１（ｂ）のそれぞれに示すブロック図は、画像処理システム１が有する各ブロックの接続形態の一例を示している。図１（ａ）に示す画像処理システム１では、複数の画像処理装置１００は、ネットワーク１９ａ－１９ｗを介して、互いに通信可能にデイジーチェーンにより接続されている。また、画像処理装置１００ａ，１００ｘ、画像コンピューティングサーバ１３、タイムサーバ１２、及び制御ステーション１４は、スイッチングハブ１８、及びネットワーク１８ａ，１８ｘ，１２ａ，１３ａ，１４ａを介して、互いに通信可能に接続されている。図１（ａ）に示す画像処理システム１が有する各ブロックの接続形態は、あくまで一例であり、図１（ａ）に示す形態に限定されるものではない。例えば、画像処理システム１が有する各ブロックは、図１（ｂ）ブロック図のような接続形態であってもよい。具体的には、例えば、図１（ｂ）に示すように、画像処理システム１が有する各ブロックは、スイッチングハブ１８、及びネットワーク１８ａ－１８ｘ，１２ａ，１３ａ，１４ａを介して、互いに通信可能に接続されてもよい。以下、画像処理システム１が有する各ブロックは、図１（ａ）に示すような接続形態により接続されているものとして説明する。なお、画像処理システム１が有する各ブロックは、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）又は１０ＧｂＥ等により構成される。ＧｂＥ又は１０ＧｂＥ等は、一例であり、ネットワークは、Ｉｎｆｉｎｉｂａｎｄ等のインターコネクト、又は産業用イーサーネット等により構成されてよく、また、これらの組合せにより構成されてもよい。また、これらに構成に限定されず、他の種別のものにより構成されてもよい。
【0016】
図２（ａ）及び図２（ｃ）を参照して、センサシステム１０の配置及び接続について説明する。図２（ａ）及び図２（ｃ）は、センサシステム１０の配置及び接続の一例を示す説明図である。各センサシステム１０が有する撮像装置１１は、サッカー等のフィールドを囲むように互いに異なる位置に配置されている。各撮像装置１１は、フィールドで競技するプレイヤ等の撮像対象を互いに異なる複数の方向から撮像する。複数のセンサシステム１０が有する画像処理装置１００同士は、デイジーチェーンにより接続される。画像処理装置１００同士をデイジーチェーンにより接続することにより、接続ケーブル数の削減、又は配線作業の省力化等ができる。図２（ａ）には、画像処理装置１００ａ－１００ｘの全てが１個のデイジーチェーンとなるようにカスケード接続されている形態を示したが、画像処理システム１の接続形態は、これに限定されるものではない。
【0017】
例えば、複数のセンサシステム１０は、図２（ｃ）に示すように、２４個のセンサシステム１０を２個のグループに分割して、分割したグループ単位でセンサシステム１０同士、すなわち画像処理装置１００同士をデイジーチェーンにより接続してもよい。なお、複数のセンサシステム１０を分割するグループの個数は、２個に限定されるものではなく、３個以上であってもよい。複数のセンサシステム１０をいくつかのグループに分割する接続形態は、フィールドの周囲にすり鉢状に観覧席が配置されている競技場等において特に有効である。例えば、観覧席が複数階に亘って配置され、観覧席が配置された各階にセンサシステム１０を配置する場合が考えられる。この場合、例えば、それぞれの階に配置されたセンサシステム１０を１個のグループとして同一グループ内のセンサシステム１０同士をデイジーチェーンで接続する。このような接続形態により、配線の簡便化、及びシステムの柔軟化を図ることができる。更に、このような接続形態により、ネットワーク上に流れるデータを分割することができ、画像処理装置１００のそれぞれが生成、又は記憶装置から取得する画像情報のデータ量を増やすことが可能となる。
【0018】
なお、複数のセンサシステム１０をいくつかのグループに分割する形態は、それぞれの階に配置されたセンサシステム１０を１個のグループとする形態に限定されるものではない。例えば、フィールドの周囲をある地点からの２個の半周に分けて、それぞれの半周に対応する位置に配置されたセンサシステム１０を１個のグループとして同一グループ内のセンサシステム１０同士をデイジーチェーンで接続してもよい。このような接続形態により、配線の簡便化、及びシステムの柔軟化を図ることができる。以下、複数の画像処理装置１００同士は、図２（ａ）に示す接続形態によりデイジーチェーンにより接続されているものとして説明する。
【0019】
制御ステーション１４は、画像処理システム１を構成するそれぞれのブロックに対して動作状態の管理、及び、パラメータの設定又は制御等を行う。仮想カメラ操作ＵＩ１５は、仮想視点画像を生成する際に用いる仮想カメラの位置及び姿勢を指定するためのユーザインタフェースを提供する。仮想カメラとは、設置されたどの撮像装置とも異なる視点から見た撮像した映像の取得を可能にする仮想的な撮像装置である。コントローラ１６の操作者は、例えば、マウス又はジョイスティック等の図１には不図示の操作入力装置を用いて、仮想カメラの位置及び姿勢を指定する。例えば、仮想カメラの位置及び姿勢は、コントローラ１６の操作者が仮想カメラパスを指定することにより指定されてもよい。仮想カメラパスとは、仮想カメラの１フレーム毎の位置及び姿勢を表す情報の列である。図２（ｂ）は、仮想カメラと仮想カメラパスに基づく仮想カメラの位置及び姿勢の一例を示す説明図である。仮想カメラ操作ＵＩ１５は、操作者により指定された仮想カメラの位置及び姿勢を示す信号を操作入力装置から受けて、当該信号に対応する情報を視点情報として画像コンピューティングサーバ１３に出力する。なお、仮想カメラの位置及び姿勢の指定は、コントローラ１６の操作者による指定に限定されるものではなく、例えば、画像解析の結果等に基づいて自動的に指定されるものであっても良い。以下、２４個のセンサシステム１０ａ―１０ｘのそれぞれが１個ずつ取得した画像を１組の画像セットとして、２４個の画像をセンサシステム１０ｘから画像コンピューティングサーバ１３へ送信する動作について説明する。
【0020】
画像コンピューティングサーバ１３は、コンピュータ等により構成される情報処理装置である。画像コンピューティングサーバ１３は、各画像処理装置１００が出力する画像情報を１組の画像セットとして受けて、１個の画像セットにおける各画像情報が示す撮像画像（以下「複数視点画像」という。）を取得する。また、画像コンピューティングサーバ１３は、仮想カメラ操作ＵＩ１５が出力する視点情報を取得し、複数視点画像と視点情報とに基づいて仮想カメラにより撮像された画像のように見える仮想視点画像を生成する。すなわち、画像コンピューティングサーバ１３によれば、例えば、あたかもゴールの近くに存在する撮像装置により撮像されたかのような仮想視点画像を生成することができる。複数視点画像と視点情報とに基づいて仮想視点画像を生成する手法は周知であるため、詳細な説明を省略する。
【0021】
画像コンピューティングサーバ１３は、生成した仮想視点画像をエンドユーザ端末１７に出力する。画像コンピューティングサーバ１３は、生成した仮想視点画像をＨ．２６４又はＨＥＶＣ（High Efficiency Video Coding）等の標準的な画像符号化により圧縮符号化等を行った上で、エンドユーザ端末１７に出力してもよい。例えば、画像コンピューティングサーバ１３は、圧縮符号化後の仮想視点画像をＭＰＥＧ－ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）プロトコル等を用いた標準的なストリーミング配信等により出力してもよい。なお、ＭＰＥＧ－ＤＡＳＨによるストリーミング配信は、あくまで一例であり、仮想視点画像の配信手法は、ＭＰＥＧ－ＤＡＳＨに限定されるものでない。例えば、仮想視点画像の配信には、ＨＬＳ（HTTP Live Streaming）等の送信方法を用いても良い。また、画像コンピューティングサーバ１３は、生成した仮想視点画像を非圧縮のままエンドユーザ端末１７に出力してもよい。
【0022】
画像コンピューティングサーバ１３は、画像コンピューティングサーバ１３に画像情報を出力する最後段の画像処理装置１００が１個であるか２個以上であるかに応じて、画像処理の制御態様を切り替える。すなわち、画像コンピューティングサーバ１３では、センサシステム１０が複数のグループに分割されているか否かに応じて制御態様が切り替えられる。上述したように画像処理装置１００同士は、デイジーチェーンにより接続されているため、例えば、図２（ａ）に示す接続形態である場合、各画像処理装置１００から出力される画像情報は、以下のようにして、画像コンピューティングサーバ１３へ伝送される。画像処理装置１００ａにて取得又は生成された画像情報は、ネットワーク１９ａを介して画像処理装置１００ｂに伝送される。画像処理装置１００ｂは、画像処理装置１００ｂが生成、又は記憶装置から取得した画像情報と、画像処理装置１００ａから伝送された画像情報とを合わせて、画像処理装置１００ｃに伝送する。以下、画像処理装置１００ｘまで同様の伝送が繰り返される。結果として、画像処理装置１００ｘには、画像処理装置１００ａ－１００ｗのそれぞれが生成、又は記憶装置から取得した画像情報を合わせた情報がネットワーク１９ｗを介して画像処理装置１００ｗから伝送される。また、画像処理装置１００ｘは、画像処理装置１００ｗから伝送された当該情報と、画像処理装置１００ｘが生成、又は記憶装置から取得した画像情報とを合わせて画像コンピューティングサーバ１３に出力する。具体的には、画像処理装置１００ｘから出力された情報、すなわち、画像処理装置１００ａ－１００ｘのそれぞれが生成、又は記憶装置から取得した画像情報を合わせた情報は、スイッチングハブ１８を介して画像コンピューティングサーバ１３に伝送される。
【0023】
したがって、画像コンピューティングサーバ１３に対して画像情報を出力する画像処理装置１００が１個の場合、画像コンピューティングサーバ１３は、複数の画像処理装置１００のそれぞれが生成又は取得した全ての画像情報を同じタイミングで取得できる。すなわち、センサシステム１０がグループに分割されていない場合は、１組の画像セットに対応する全ての画像情報を画像コンピューティングサーバ１３で取得するタイミングは同期がとれた状態となる。しかし、画像コンピューティングサーバ１３に画像情報を出力する画像処理装置１００が複数個である場合（複数のセンサシステム１０が複数のグループに分割されている場合）は、以下のようなことが生じ得る。例えば、当該場合、画像情報を画像コンピューティングサーバ１３が取得するまでの遅延時間は、デイジーチェーンのレーン（経路）毎に異なることが生じ得る。そのため、当該場合、画像コンピューティングサーバ１３は、１組の画像セットに対応する全ての画像情報が揃うまで待ってから、後段の画像処理を行って仮想視点画像を生成する必要が生じることがある。画像コンピューティングサーバ１３は、コンピュータ等により構成される。
【0024】
エンドユーザ端末１７は、スマートフォン、タブレット端末、又はパーソナルコンピュータ等により構成され、画像コンピューティングサーバ１３が出力する仮想視点画像を受けて、仮想視点画像を表示する。画像コンピューティングサーバ１３が出力する仮想視点画像が圧縮符号化後の仮想視点画像である場合、エンドユーザ端末１７は、画像コンピューティングサーバ１３が出力する圧縮符号化後の仮想視点画像を受けて当該仮想視点画像を復号する。エンドユーザ端末１７は、復号後の仮想視点画像を図１には不図示のディスプレイに出力して、ディスプレイに仮想視点画像を表示させる。また、画像コンピューティングサーバ１３が出力する仮想視点画像が非圧縮の仮想視点画像である場合、エンドユーザ端末１７は、非圧縮の仮想視点画像を表示信号として受けて、表示信号に基づく仮想視点画像を表示するモニタ等であってもよい。
【0025】
タイムサーバ１２は、システムの基準となる時刻（以下「基準時刻」という）を示す基準時刻信号、及び、システムの基準となる同期信号（以下「基準同期信号」）を出力する。タイムサーバ１２により出力された基準時刻信号及び基準同期信号は、スイッチングハブ１８を介してセンサシステム１０ａ―１０ｘが有する画像処理装置１００ａ―１００ｘに配信される。例えば、タイムサーバ１２は、予め定められた時間間隔で基準同期信号を定期的に出力する。ここで、予め定められた時間間隔とは、１／６０秒間等の撮像装置１１による撮像フレームレートのフレーム間隔に対応する期間である。
【0026】
図３から図７までを参照して、画像処理装置１００について説明する。図３を参照して、画像処理装置１００が有する機能ブロックについて説明する。図３は、第１実施形態に係る画像処理装置１００における機能ブロックの構成の一例を示すブロック図である。画像処理装置１００は、基準信号取得部１１０、基準信号出力部１１２、現在時刻取得部１１４、取得制御部１４０、指定部１５０、画像取得部１７０、及び画像出力部１９０を有する。画像処理装置１００は、上述の構成に加えて、撮像制御部１２０、撮像出力部１３０、時点取得部１５２、又は開始時刻取得部１５４等を有するものであってもよい。以下、画像処理装置１００は、撮像制御部１２０、撮像出力部１３０、時点取得部１５２、及び開始時刻取得部１５４を有するものとして説明する。図３に示す各部の詳細については後述する。
【0027】
画像処理装置１００が有する各部の処理は、画像処理装置１００に内蔵されたＡＳＩＣ（application specific integrated circuit）等のハードウェアによってなされる。当該処理は、ＦＰＧＡ（field programmable gate array）等のハードウェアによってなされるものであってもよい。また、当該処理は、ＣＰＵ（Central Processor Unit）若しくはＧＰＵ（Graphic Processor Unit）、及びメモリを用いたソフトウエアによってなされてもよい。
【0028】
図４を参照して、画像処理装置１００が有する各部がソフトウエアとして動作する場合の画像処理装置１００のハードウェア構成について説明する。図４は、第１実施形態に係る画像処理装置１００におけるハードウェア構成の一例を示すブロック図である。画像処理装置１００は、コンピュータにより構成されており、当該コンピュータは、図４に一例として示すようにＣＰＵ４１１、ＲＯＭ４１２、ＲＡＭ４１３、補助記憶装置４１４、通信部４１７、及びバス４１８を有している。当該コンピュータは、上述のハードウェアに加えて、図４に示すように表示部４１５及び操作部４１６を有するものであってもよい。
【0029】
ＣＰＵ４１１は、ＲＯＭ４１２又はＲＡＭ４１３に格納されているプログラム又はデータを用いて当該コンピュータを制御することにより、当該コンピュータを図１に示す画像処理装置１００が有する各部として機能させる。なお、画像処理装置１００は、ＣＰＵ４１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ４１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ、ＦＰＧＡ、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。
【0030】
ＲＯＭ４１２は、変更を必要としないプログラム等を格納する。ＲＡＭ４１３は、補助記憶装置４１４から供給されるプログラム若しくはデータ、又は通信部４１７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置４１４は、例えばハードディスクドライブ等で構成され、画像データ又は音声データ等の種々のデータを記憶する。
【0031】
表示部４１５は、例えば液晶ディスプレイ又はＬＥＤ等により構成され、ユーザが画像処理装置１００を操作又は閲覧するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。操作部４１６は、例えばキーボード、マウス、ジョイスティック、又はタッチパネル等により構成され、ユーザによる操作を受けて各種の指示をＣＰＵ４１１に入力する。ＣＰＵ４１１は、表示部４１５を制御する表示制御部、及び操作部４１６を制御する操作制御部としても動作する。
【0032】
通信部４１７は、画像処理装置１００の外部の装置との通信に用いられる。例えば、画像処理装置１００が外部の装置と有線接続される場合には、通信用のケーブルが通信部４１７に接続される。画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信部４１７はアンテナを備える。バス４１８は、画像処理装置１００の備える各部をつないで情報を伝達する。第１実施形態では、表示部４１５及び操作部４１６は、画像処理装置１００の内部に存在するものとして説明するが、表示部４１５及び操作部４１６の少なくとも一方は、画像処理装置１００の外部に別の装置として存在していてもよい。
【0033】
基準信号取得部１１０は、基準同期信号を取得する。基準信号出力部１１２は、基準信号取得部１１０により取得された基準同期信号を出力する。具体的には、複数の画像処理装置１００ａ－１００ｘが図１（ａ）又は図２（ａ）に示すようにデイジーチェーンにより接続されている場合、画像処理装置１００ａが有する基準信号取得部１１０は、タイムサーバ１２が出力する基準同期信号を取得する。また、当該場合、画像処理装置１００ｂ－１００ｘのそれぞれが有する基準信号取得部１１０は、画像処理装置１００ｂ－１００ｘの前段の画像処理装置１００が有する基準信号出力部１１２が出力する基準同期信号を取得する。より具体的には、画像処理装置１００ｂが有する基準信号取得部１１０は、画像処理装置１００ａが有する基準信号出力部１１２が出力する基準同期信号を取得する。更に、画像処理装置１００ｃが有する基準信号取得部１１０は、画像処理装置１００ｂが有する基準信号出力部１１２が出力する基準同期信号を取得する。以下同様であるため説明を省略する。なお、複数の画像処理装置１００ａ－１００ｘが図１（ｂ）に示すよう接続形態で接続されている場合、画像処理装置１００ａ－１００ｘのそれぞれが有する基準信号取得部１１０は、タイムサーバ１２が出力する基準同期信号を取得する。当該場合、画像処理装置１００において、基準信号出力部１１２は、必須の構成ではない。
【0034】
現在時刻取得部１１４は、現在時刻を示す情報（以下「現在時刻情報」という。）を取得する。具体的には、例えば、現在時刻取得部１１４は、タイムサーバ１２が出力する基準時刻信号を受けて、基準時刻信号が示す基準時刻が現在時刻であるものとして、現在時刻情報を取得する。複数の画像処理装置１００ａ－１００ｘが図１（ａ）又は図２（ａ）に示すようにデイジーチェーンにより接続されている場合、画像処理装置１００ａが有する現在時刻取得部１１４は、タイムサーバ１２が出力する基準時刻信号を取得する。また、当該場合、画像処理装置１００ｂ－１００ｘのそれぞれが有する現在時刻取得部１１４は、画像処理装置１００ｂ－１００ｘの前段の画像処理装置１００が有する図３には不図示の現在時刻出力部が出力する基準時刻信号を取得する。
【0035】
例えば、現在時刻取得部１１４は、画像処理装置１００が有する図３には不図示の内部時計から現在時刻を取得することにより現在時刻情報を取得してもよい。この場合、画像処理装置１００が有する内部時計は、ＩＥＥＥ１５８８規格等に準拠して、タイムサーバ１２との間で送受信されたデータのタイムスタンプを用いて、定期又は不定期にタイムサーバ１２と時刻同期が行われている。なお、タイムサーバ１２との時刻同期手法は、ＩＥＥＥ１５８８規格を用いた手法に限定されるものではなく、ＥｔｈｅｒＡＶＢ規格又は予め定められた独自のプロトコル等を用いた手法であってもよい。また、例えば、現在時刻取得部１１４は、センサシステム１０ａ－１０ｘのそれぞれが有する撮像装置１１の全てが時刻同期されている場合、対応する撮像装置１１が出力する現在時刻情報を取得してもよい。
【0036】
撮像制御部１２０は、撮像装置１１と接続され、撮像装置１１の制御、同期信号の提供、及び時刻の設定等を行う。撮像装置１１の制御には、撮像画像の画素数、色深度、フレームレート、又はホワイトバランス等の撮像パラメータの設定及び参照等がある。撮像装置１１の制御は、撮像中、停止中、同期中、若しくはエラー等の撮像装置１１の状態の取得、撮像の開始若しくは停止の制御、又は、ピント若しくはズームの調整等であってもよい。なお、ピント又はズーム等のレンズ調整は、撮像装置１１を介して行われてもよく、取り外し可能なレンズが撮像装置１１に装着されている等の場合には、画像処理装置１００とレンズとを接続して、直接行われてもよい。同期信号の提供は、撮像制御部１２０が基準同期信号と現在時刻とに基づいて同期信号を生成し、撮像タイミングに合わせて、生成した同期信号を撮像装置１１に出力することにより行われる。撮像装置１１は、画像処理装置１００から出力された同期信号を受けて、同期信号にＧＥＮＬＯＣＫ（ＧｅｎｅｒａｔｏｒＬｏｃｋ）することにより、画像処理装置１００からの同期信号を受けたタイミングで撮像する。すなわち、各画像処理装置１００が有する撮像制御部１２０から出力される基準同期信号により、複数の撮像装置１１における全ての撮像タイミングが同期されることになる。時刻の設定は、タイムサーバ１２と同期した現在時刻の情報を、例えばＳＭＰＴＥ１２Ｍに準拠したタイムコードとして撮像装置１１に出力することにより行われる。
【0037】
撮像装置１１は、画像信号に、撮像画像を示す情報に加えて、撮像画像が撮像された時刻（以下「撮像時刻」という。）に対応するタイムコード、すなわち、撮像制御部１２０から撮像装置１１に提供されたタイムコードをメタ情報として含めて出力する。なお、タイムコードのフォーマットは、ＳＭＰＴＥ１２Ｍに限定されるものではなく、他のフォーマットであってもよい。また、メタ情報は、タイムコードに加えて、撮像画像のシーケンス番号若しくはデータ種別、又は撮像装置１１の個体を示す識別子等を示す情報を含むものであってもよい。このようにして、各画像処理装置１００が有する撮像制御部１２０は、全ての撮像装置１１が高精度に同期して撮像した撮像画像を示す画像信号を得ることができる。これまで、撮像装置１１が撮像制御部１２０から提供されたタイムコードを用いて、撮像画像の撮像時刻に対応するタイムコードを示す情報をメタ情報として画像信号に含める形態を説明したが、これに限定されるものではない。例えば、撮像制御部１２０は、撮像装置１１に対してタイムコードの提供はせずに、撮像装置１１から受け取った画像信号に、当該画像信号を受信した時刻に対応するタイムコードをメタ情報として撮像制御部１２０において付与してもよい。撮像制御部１２０は、撮像装置１１が出力する画像信号から、画像信号に対応する撮像画像を示す画像情報と、当該撮像画像の撮像時刻を示す時刻情報とを生成する。撮像制御部１２０は、生成した画像情報及び時刻情報を撮像出力部１３０及び画像出力部１９０に出力する。なお、撮像制御部１２０は、画像情報を生成する際に、画像信号に対応する撮像画像のデータを圧縮又は符号化して、圧縮後又は符号化後の撮像画像を示す情報を画像情報として生成してもよい。
【0038】
撮像出力部１３０は、撮像制御部１２０により生成された画像情報と時刻情報とを画像処理装置１００の内部又は外部に配置された記憶装置に出力して、記憶装置に画像情報と時刻情報とを記憶させる。具体的には、撮像出力部１３０は、画像情報と、当該画像情報が示す撮像画像の撮像時刻を示す時刻情報とを対応付けて記憶装置に画像情報と時刻情報とを記憶させる。以上のように構成することにより、記憶装置には、複数の撮像装置１１のそれぞれによる撮像であって、全ての撮像装置１１の撮像タイミングが同期された撮像により得られた複数の画像情報と、各画像情報に対応する時刻情報とが対応付けて記憶される。なお、撮像出力部１３０は、時刻情報に替えて、撮像画像の撮像時刻を示す情報と、撮像画像のシーケンス番号若しくはデータ種別、又は撮像装置１１の個体を示す識別子等を示す情報とを含むメタ情報を、画像情報に対応付けて記憶装置に記憶させてもよい。
【0039】
なお、第１実施形態では、一例として、タイムサーバ１２が出力する基準同期信号に基づいて、複数の撮像装置１１における撮像時刻の同期を管理する形態を説明したが、撮像時刻を同期する手法は、これに限定されるものではない。また、第１実施形態では、一例として、タイムサーバ１２が出力する基準時刻信号に基づいて、複数の画像処理装置１００及び撮像装置１１における現在時刻の同期を管理する形態を説明したが、現在時刻を同期する手法は、これに限定されるものではない。例えば、現在時刻を同期するための処理は、各撮像装置１１又は各画像処理装置１００が独立して行うものであってもよい。また、撮像時刻を同期するための処理は、同期された現在時刻と、予め定められた撮像画像のフレームレートに基づいて、各撮像装置１１又は各画像処理装置１００が独立して行うものであってもよい。
【0040】
画像取得部１７０は、画像情報と時刻情報とを対応付けて記憶した記憶装置から、時刻情報に基づいて画像情報を取得する。画像取得部１７０は、画像情報に加えて、当該画像情報に対応する時刻情報を取得してもよい。取得制御部１４０は、画像取得部１７０が記憶装置から画像情報を取得するタイミングを制御する。指定部１５０は、画像取得部１７０が記憶装置から取得する画像情報の撮像時刻を指定する。
【0041】
具体的には、各画像処理装置１００が有する取得制御部１４０は、画像取得部１７０が記憶装置から画像情報を取得するタイミングを規定する同期信号を画像取得部１７０に対して出力する。各画像処理装置１００が有する取得制御部１４０が出力する同期信号は、複数の画像処理装置１００同士で互いに同期されたものであり、画像情報が示す撮像画像のフレームレートに対応する時間間隔等の予め定められた時間間隔で出力されるものである。より具体的には、例えば、取得制御部１４０は、基準信号取得部１１０により取得された基準同期信号に基づく同期信号を出力することにより、同期信号を複数の画像処理装置１００同士で互いに同期させる。また、各画像処理装置１００が有する指定部１５０は、複数の画像処理装置同士で互いに同時刻の撮像時刻を指定する。各画像処理装置１００が有する画像取得部１７０は、指定部１５０により指定された撮像時刻に対応する画像情報を、取得制御部１４０から出力される同期信号に基づいて記憶手段から読み出す。このように構成することにより、画像取得部１７０は、複数の画像処理装置１００同士で互いに同期して、撮像時刻が同時刻の撮像画像に対応する画像情報を取得する。画像取得部１７０は、取得した画像情報を画像出力部１９０に出力する。なお、指定部１５０が指定する撮像時刻は、例えば、コントローラ１６の操作者等により入力された時刻を指定すべき撮像時刻であるものとして、制御ステーション１４から取得する。
【0042】
画像出力部１９０は、撮像制御部１２０により生成された画像情報と、画像取得部１７０により取得された画像情報とを受けて、いずれかの画像情報を選択し、選択した画像情報を出力する。なお、いずれの画像情報を選択するかは、例えば、コントローラ１６の操作者等により入力された、いずれの画像情報を選択するかを示す情報を制御ステーション１４から取得して決定される。また、画像出力部１９０は、画像取得部１７０から出力された画像情報を受けているとき、画像取得部１７０により取得された画像情報を選択して出力し、受けていないとき、撮像制御部１２０により生成された画像情報を選択して出力してもよい。複数の画像処理装置１００同士が、図１（ａ）等に一例として示すようにデイジーチェーンにより接続されている場合、画像処理装置１００は、画像出力部１９０等により、当該画像処理装置１００の前段の画像処理装置１００が出力する画像情報を取得する。当該場合、画像出力部１９０は、当該画像情報と画像出力部１９０にて選択した画像情報とを含めた情報を、画像処理装置１００の後段の画像処理装置１００、又は画像コンピューティングサーバ１３に出力する。
【0043】
以上のような構成によれば、画像処理システム１は、同一の撮像時刻に撮像された複数の撮像画像を同一のタイミングで取得することができる。結果として、画像処理システム１は、このように同一のタイミングで取得した同一の撮像時刻に撮像された複数の撮像画像に基づいて仮想視点画像を生成できる。したがって、画像処理システム１によれば、仮想視点画像の品質の低下を抑制することができる。
【0044】
なお、画像出力部１９０は、選択した画像情報が示す撮像画像に対して前景背景分離を行い、前景背景分離した結果である前景領域又は背景領域を示す情報を画像情報に加えて出力してもよい。このように構成することにより、画像コンピューティングサーバ１３において、画像コンピューティングサーバ１３が取得した画像情報が示す撮像画像の全てに対して前景背景分離を行う必要がなくなる。結果として、画像処理システム１全体として、各構成における処理負荷を平準化することができる。なお、画像情報が示す撮像画像に対する前景背景分離は、必ずしも画像出力部１９０が画像情報を出力する際に行う必要はなく、例えば、撮像制御部１２０が画像情報を生成する際に行っても、画像取得部１７０が画像情報を取得した際に行ってもよい。撮像画像に対して前景背景分離を行い、撮像画像領域を前景領域と背景領域とに分離する手法は周知であるため、前景背景分離の手法については説明を省略する。
【0045】
時点取得部１５２は、撮像装置１１により撮像画像が撮像された期間内の時点であって、第１時点と第１時点より後の第２時点とを示す時点情報を取得する。各画像処理装置１００が有する取得制御部１４０は、第１時点から第２時点までの間に撮像された撮像画像に対応する画像情報が画像取得部１７０により取得されるまで間において、同期信号を出力する。例えば、指定部１５０は、第１時点、第２時点、及び同期信号間の時間間隔に基づいて撮像時刻を決定して指定してもよい。なお、時点取得部１５２が取得する時点情報は、例えば、コントローラ１６の操作者等により入力された第１時点及び第２時点を制御ステーション１４から時点情報として取得する。このように構成することにより、所望する期間に撮像された撮像画像の画像情報を画像取得部１７０に取得させることができる。
【0046】
図５を参照して、コントローラ１６の操作者等が所望の第１時点及び第２時点を設定する手法について説明する。図５は、第１実施形態に係る記憶装置で管理されるシーン情報の一例を示す図である。記憶装置には、複数の撮像装置１１のそれぞれに対応するシーン情報が記憶されている。シーン情報には、例えば、図５に一例として示すように、各シーンの撮像が開始された時刻を示す開始タイムコードと、各シーンの撮像が終了された時刻を示す終了タイムコードとが各シーンのシーン番号に対応付けられて管理されている。制御ステーション１４は、シーン情報を記憶装置から読み出すことにより取得する。全ての画像処理装置１００は、基準同期信号に基づいて、同期して対応する撮像装置１１に撮像させて撮像画像を得ている。そのため、各撮像画像に対応するシーン情報は、したがって、１台の撮像装置１１のみによるテスト撮像を実施した場合等の特殊な場合を除いて、全て同様のものとなる。制御ステーション１４は、通常の場合であれば、複数の撮像装置１１に対応する複数のシーン情報のうちのいずれか１個のシーン情報を取得すればよい。しかしながら、制御ステーション１４は、上述の特殊な場合を考慮して、複数の撮像装置１１に対応する全てのシーン情報を記憶装置から読み出して取得することが好適である。
【0047】
以下、全てのシーン情報は、図５に一例として示すシーン情報と同様のものであるとして説明する。例えば、制御ステーション１４は、取得したシーン情報を図１には不図示の表示装置に表示させる。コントローラ１６の操作者は、表示装置に表示されたシーン情報から仮想視点画像を生成したいシーンのシーン番号を選択する。制御ステーション１４は、選択されたシーン番号に対応する開始タイムコード及び終了タイムコードを示す情報を各画像処理装置１００に出力する。例えば、各画像処理装置１００が有する時点取得部１５２は、制御ステーション１４から出力された当該情報を取得して、開始タイムコードに対応する時点を第１時点とし、終了タイムコードを第２時点として取得する。以上のようにして、第１時点及び第２時点が設定される。なお、制御ステーション１４は、選択されたシーン番号を示す情報を各画像処理装置１００に出力してもよい。この場合、例えば、各画像処理装置１００が有する時点取得部１５２は、制御ステーション１４から出力された当該情報を取得する。また、各画像処理装置１００が有する時点取得部１５２は、記憶装置からシーン情報を読み出すことによりに取得する。各画像処理装置１００が有する時点取得部１５２は、選択されたシーン番号を示す情報とシーン情報とに基づいて、当該シーン番号に対応する開始タイムコードの時点を第１時点とし、終了タイムコードの時点を第２時点として取得してもよい。
【0048】
開始時刻取得部１５４は、画像取得部１７０による画像情報の取得を開始する取得開始時刻を示す情報（以下「取得開始時刻情報」という。）を取得する。ここで、取得開始時刻は、現在時刻より未来の時刻であり、各画像処理装置１００が有する取得制御部１４０は、現在時刻が取得開始時刻に到達するまで同期信号の出力を待機し、現在時刻が取得開始時刻に到達したときに同期信号の出力を開始する。このように構成することにより、現在時刻が所望した時刻になった時点から画像取得部１７０に画像情報の取得を開始させることができる。また、取得制御部１４０は、現在時刻が取得開始時刻に到達したときに同期信号の出力を開始し、且つ、第１時点から第２時点までの間に撮像された撮像画像の画像情報が画像取得部１７０により取得されるまで間において同期信号を出力してもよい。なお、開始時刻取得部１５４が取得する取得開始時刻情報は、例えば、コントローラ１６の操作者等により入力された取得開始時刻を制御ステーション１４から取得開始時刻情報として取得する。このように構成することにより、所望する期間に撮像された撮像画像の画像情報を、現在時刻が所望した時刻になった時点から画像取得部１７０に取得させることができる。
【0049】
コントローラ１６の操作者等が所望の取得開始時刻を設定する手法について説明する。例えば、制御ステーション１４は、タイムサーバ１２が出力する基準時刻信号を受けて、基準時刻信号が示す基準時刻を現在時刻として取得する。制御ステーション１４は、以下の手法により現在時刻を取得してもよい。例えば、制御ステーション１４は、画像処理装置１００から出力される画像情報であって、撮像装置１１から出力される画像情報に対応する時刻情報を全ての画像処理装置１００から取得する。制御ステーション１４は、全ての画像処理装置１００から取得した時刻情報が示す時刻のうち、最も遅れた時刻を現在時刻として取得する。例えば、制御ステーション１４は、取得した現在時刻を図１には不図示の表示装置に表示させる。例えば、コントローラ１６の操作者は、表示装置に表示された現在時刻よりも未来の時刻を取得開始時刻として制御ステーション１４に入力する。以下、制御ステーション１４が取得した現在時刻が午前９時３１分１３．２５０秒（以下「０９：３１：１３：２５．０」と表記する。）であったものとして説明する。この場合、コントローラ１６の操作者は、例えば、全ての画像処理装置１００が取得開始時刻を取得する期間も考慮して、９時３５分０秒に画像情報の取得が開始されるように、制御ステーション１４に０９：３５：００：００．０という時刻を入力する。制御ステーション１４は、当該時刻を示す情報を各画像処理装置１００に対して出力する。例えば、各画像処理装置１００が有する開始時刻取得部１５４は、制御ステーション１４から出力された当該情報を取得する。
【0050】
ここで、第１時点及び第２時点は、現在時刻取得部１１４により取得された現在時刻と比較して、過去の時点であってもよく、未来の時点であってもよい。例えば、第１時点が現在時刻より過去の時点である場合、第１時点で撮像された撮像画像の画像情報は記憶装置に記憶されているため、取得制御部１４０は、即座に同期信号の出力を開始して、画像取得部１７０に画像情報の取得を開始させる。また、例えば、第１時点が現在時刻より未来の時点である場合、取得制御部１４０は、現在時刻が第１時点に到達するまで同期信号の出力を待機し、到達後に同期信号の出力を開始して、画像取得部１７０に画像情報の取得を開始させる。なお、当該場合、開始時刻取得部１５４が取得する取得開始時刻情報が示す時刻は、第１時点の時刻、又は第１時点よりも未来の時点の時刻である。
【0051】
図６及び図７を参照して、画像処理装置１００の動作について説明する。図６は、第１実施形態に係る画像処理装置１００の処理フローの一例を示すフローチャートである。図６を参照して、画像処理装置１００が撮像装置１１から受けて画像信号に基づいて画像情報を生成し、生成した画像情報を記憶装置に記憶させる際の動作について説明する。
【0052】
まず、Ｓ６０１にて、基準信号取得部１１０は、基準同期信号を取得する。複数の画像処理装置１００がデイジーチェーンにより接続されている場合、Ｓ６０２にて、基準信号出力部１１２は、基準信号取得部１１０により取得した基準同期信号を後段の画像処理装置１００に対して出力する。次に、Ｓ６０３にて、撮像制御部１２０は、撮像タイミングに合わせて基準同期信号に基づく同期信号を出力し、画像信号を取得する。次に、Ｓ６０４にて、撮像制御部１２０は、取得した画像信号に基づいて画像情報及び時刻情報を生成する。撮像制御部１２０は、生成した画像情報及び時刻情報を撮像出力部１３０及び画像出力部１９０に出力する。次に、Ｓ６０５にて、撮像出力部１３０は、撮像制御部１２０にて生成された画像情報及び時刻情報を記憶装置に出力する。
【0053】
次に、Ｓ６０６にて、画像出力部１９０は、記憶装置から取得した画像情報を選択して出力する設定がなされている否かを判定する。Ｓ６０６にて記憶装置から取得した画像情報を選択して出力する設定がなされていると判定された場合、画像処理装置１００は、図６に示すフローチャートの処理を終了し、Ｓ６０１に戻って、図６に示すフローチャートの処理を繰り返して実行する。Ｓ６０６にて記憶装置から取得した画像情報を選択して出力する設定がなされていないと判定された場合、Ｓ６０７にて、画像出力部１９０は、撮像制御部１２０から出力された画像情報を画像コンピューティングサーバに出力する。なお、当該場合、且つ、複数の画像処理装置１００がデイジーチェーンにより接続されている場合、画像出力部１９０は、撮像制御部１２０から出力された画像情報を後段の画像処理装置１００に出力する。Ｓ６０７の後、画像処理装置１００は、図６に示すフローチャートの処理を終了し、Ｓ６０１に戻って、図６に示すフローチャートの処理を繰り返して実行する。
【0054】
図７を参照して、画像処理装置１００が記憶装置から画像情報を取得し、取得した画像情報を外部に出力する際の動作について説明する。図７は、第１実施形態に係る画像処理装置１００の処理フローの一例を示すフローチャートである。まず、Ｓ７０１にて、画像出力部１９０は、記憶装置から取得した画像情報を選択して出力するように設定される。次に、Ｓ７０２にて、時点取得部１５２は、第１時点及び第２時点を取得する。次に、Ｓ７０３にて、開始時刻取得部１５４は、取得開始時刻を取得する。次に、Ｓ７０４にて、現在時刻取得部１１４は、現在時刻を取得する。次に、Ｓ７１０にて、取得制御部１４０は、現在時刻が取得開始時刻に到達したか否かを判定する。Ｓ７１０にて現在時刻が取得開始時刻に到達していないと判定された場合、画像処理装置１００は、Ｓ７０４に戻って、Ｓ７１０にて現在時刻が取得開始時刻に到達したと判定されるまで、Ｓ７０４及びＳ７１０の処理を繰り返して実行する。Ｓ７１０にて現在時刻が取得開始時刻に到達したと判定された場合、画像処理装置１００は、Ｓ７１１以降の処理を実行する。
【0055】
Ｓ７１１にて、基準信号取得部１１０は、基準同期信号を取得する。なお、基準信号取得部１１０は、Ｓ７０１からＳ７１０までの処理が実行されている期間にも、予め定められた時間間隔で基準同期信号を取得していてもよい。複数の画像処理装置１００がデイジーチェーンにより接続されている場合、Ｓ７１２にて、基準信号出力部１１２は、基準信号取得部１１０により取得された基準同期信号を後段の画像処理装置に出力する。Ｓ７１２の後、Ｓ７１３にて、取得制御部１４０は、画像取得部１７０に対して基準同期信号に基づく同期信号を出力する。Ｓ７１３の後、Ｓ７１４にて、画像取得部１７０は、同期信号に同期させて記憶装置から画像情報を取得する。Ｓ７１４の後、Ｓ７１５にて、画像出力部１９０は、画像取得部１７０により取得された画像情報を画像コンピューティングサーバに出力する。なお、複数の画像処理装置１００がデイジーチェーンにより接続されている場合、画像出力部１９０は、画像取得部１７０により取得された画像情報を後段の画像処理装置１００に出力する。Ｓ７１５の後、Ｓ７１６にて、取得制御部１４０は、画像取得部１７０により第１時点から第２時点までの全ての画像情報が取得されたか否かを判定する。
【0056】
Ｓ７１６にて画像取得部１７０により第１時点から第２時点までの全ての画像情報が取得されていないと判定された場合、画像処理装置１００は、Ｓ７１１に戻る。当該場合、画像処理装置１００は、Ｓ７１６にて画像取得部１７０により第１時点から第２時点までの全ての画像情報が取得されたと判定されるまで、Ｓ７１１からＳ７１６までの処理を繰り返して実行する。Ｓ７１６にて画像取得部１７０により第１時点から第２時点までの全ての画像情報が取得されたと判定された場合、Ｓ７１７にて、画像出力部１９０は、撮像制御部から出力された画像情報を選択して出力するように設定される。Ｓ７１７の後、画像処理装置１００は、図７に示すフローチャートの処理を終了する。
【0057】
ここで、上述したように、撮像制御部１２０が画像情報を生成して画像出力部１９０に出力するタイミングと、画像取得部１７０が画像情報を取得して画像出力部１９０に出力するタイミングとは、いずれも同期信号により同期されている。そのため、画像出力部１９０が画像コンピューティングサーバ（又は、後段の画像処理装置１００）に画像情報を出力するタイミングは、同期信号に依存し、画像出力部１９０での選択には依存しない。したがって、画像出力部１９０において選択する画像情報が切り替わっても画像コンピューティングサーバが取得する撮像画像に乱れ等は生じない。また、図７に示すフローチャートにおけるＳ７０４及びＳ７１０の処理を繰り返し実行している期間、すなわち、現在時刻が取得開始時刻に到達していない期間において、例えば、画像出力部１９０は、黒画像等の予め定められた画像の情報を出力してもよい。
【0058】
以上、上述の画像処理システム１によれば、複数の撮像装置１１で同期撮像された複数の撮像画像について、同時刻に撮像された複数の撮像画像の情報を記憶装置から同期して取得することができる。結果として、画像処理システム１によれば、このように同期して取得された複数の撮像画像であって、同一の撮像時刻に撮像された複数の撮像画像を用いて仮想視点画像を生成できる。したがって、画像処理システム１によれば、仮想視点画像の品質の低下を抑制することができる。
【0059】
＜第２実施形態＞
第１実施形態では、撮像装置１１を有する複数のセンサシステム１０を競技場等の施設に設置した画像処理システム１において、画像処理装置１００がタイムサーバ１２からの基準同期信号に基づく同期処理を行う形態について説明した。第１実施形態に係る画像処理システム１は、全ての撮像装置１１が高精度に同期して撮像を行うことを可能とし、各撮像装置１１の撮像画像を示す画像情報は、時刻情報に対応付けられて記憶装置に記憶される。また、記憶装置に記憶された画像情報のうちの指定された期間に撮像された撮像画像の画像情報は、現在時刻が指定された取得開始時刻に到達した際に、撮像装置１１の撮像タイミングと同様のタイミングで出力される同期信号に合わせて読み出される。記憶装置から読み出された画像情報は、撮像装置１１から出力される画像信号に基づいてリアルタイムに生成された画像情報に替えて、画像処理装置１００から出力される。これにより、第１実施形態に係る画像処理装置１００は、記憶装置に記憶された画像情報についても、撮像装置１１から出力される画像信号に基づいてリアルタイムに生成された画像情報と同様に、全ての撮像時刻が同一の画像情報を出力することができる。結果として、第１実施形態に係る画像処理システム１は、記憶装置に記憶された画像情報を用いて、高精度の仮想視点画像を生成することができる。
第１実施形態では、撮像装置１１を有する複数のセンサシステム１０を競技場等の施設に設置した画像処理システム１において、画像処理装置１００がタイムサーバ１２からの基準同期信号に基づく同期処理を行う形態について説明した。第１実施形態に係る画像処理システム１は、全ての撮像装置１１が高精度に同期して撮像を行うことを可能とし、各撮像装置１１の撮像画像を示す画像情報は、時刻情報に対応付けられて記憶装置に記憶される。また、記憶装置に記憶された画像情報のうちの指定された期間に撮像された撮像画像の画像情報は、現在時刻が指定された取得開始時刻に到達した際に、撮像装置１１の撮像タイミングと同様のタイミングで出力される同期信号に合わせて読み出される。記憶装置から読み出された画像情報は、撮像装置１１から出力される画像信号に基づいてリアルタイムに生成された画像情報に替えて、画像処理装置１００から出力される。これにより、第１実施形態に係る画像処理装置１００は、記憶装置に記憶された画像情報についても、撮像装置１１から出力される画像信号に基づいてリアルタイムに生成された画像情報と同様に、全ての撮像時刻が同一の画像情報を出力することができる。結果として、第１実施形態に係る画像処理システム１は、記憶装置に記憶された画像情報を用いて、高精度の仮想視点画像を生成することができる。
【0060】
第２実施形態では、図８から図１３を参照して、例えば、施設から第１実施形態に係る画像処理システムを撤収し、当該施設とは異なる別の施設において記憶装置に記憶された画像情報により仮想視点画像を生成可能な画像処理システム８についての説明を行う。図８は、第２実施形態に係る画像処理システム８の構成の一例を示すブロック図である。以下、図１に示す第１実施形態に係る画像処理システム１と同様の構成については同一の符号を付して説明を省略する。画像処理システム８では、第１実施形態のような撮像装置１１による撮像は不要である。そのため、画像処理システム８は、図１に示す撮像装置１１を有する複数のセンサシステム１０に替えて、１個のセンサシステム８０と、複数の画像処理装置８００とを有している。センサシステム８０は、撮像装置８１と画像処理装置８００とを有している。以下、画像処理装置８００の個数は、センサシステム８０が有する画像処理装置８００を含めて、図１に示すセンサシステム１０と同数であるものとして説明する。すなわち、画像処理システム８は、センサシステム８０が有する画像処理装置８００を含めて、２４個の画像処理装置８００（８００ａ－８００ｘ）を有している。画像処理システム８が有する画像処理装置８００の個数は、複数であれば、２４個より少なくても、２４個より多くてもよい。また、画像処理システム８には、図１に示すようなタイムサーバ１２は不要であるため、画像処理システム８は、第１実施形態に係る画像処理システム１が有するタイムサーバ１２を有していない。
【0061】
第１実施形態では、撮像装置１１は、画像処理装置１００から同期信号及び現在時刻情報の提供を受けるものであった。これに対して、撮像装置８１は、画像処理装置８００から同期信号及び現在時刻情報の提供を受けることなく、撮像装置８１の内部でフリーランにより生成されたタイムコードと同期信号にて動作を行う。撮像装置８１は、画像処理装置８００に対して基準となる同期信号とタイムコードとを提供するためのものであり、撮像装置８１が出力する画像信号には、同期信号と、画像信号に対応する撮像画像の撮像時刻を示すタイムコードが重畳されている。撮像装置８１は、デイジーチェーンにより接続された複数の画像処理装置８００のうちの最前段の画像処理装置８００ａに接続されている。すなわち、第２実施形態では、タイムサーバ１２を用いた時刻同期制御が不要となるため、図１で示すようなタイムサーバ１２が不要となる。
【0062】
画像処理装置８００ａは、撮像装置８１が出力する画像信号を受けて、当該画像信号を駆動し直し、後段の画像処理装置８００ｂに画像信号を出力する。画像処理装置８００ｂは、画像処理装置８００ａが出力する画像信号を受けて、当該画像信号を駆動し直し、後段の画像処理装置８００ｃに画像信号を出力する。以下、画像処理装置８００ｘまで同様の画像信号の伝送が繰り返される。結果として、全ての画像処理装置８００は、撮像装置８１から出力される画像信号に重畳されている同期信号とタイムコードとを取得でき、全ての画像処理装置８００は、取得した同期信号とタイムコードとに基づいて同期して動作する。なお、第２実施形態では、一例として、全ての画像処理装置８００が同期して動作するための基準となる同期信号及びタイムコードを出力する装置として撮像装置８１を用いる形態について説明するが、当該装置は、撮像装置８１に限定されるものではない。当該装置は、フリーランによる動作により、同期信号と現在時刻等の基準となる時刻に対応するタイムコードとを生成して出力することが可能な装置であれば、撮像装置８１でなくてもよい。
【0063】
各画像処理装置８００は、取得した同期信号とタイムコードとに基づいて記憶装置から画像情報を読み出すことにより同期して画像情報を取得する。各画像処理装置８００は、記憶装置から読み出した画像情報を出力する。具体的には、画像処理装置８００ａにより記憶装置から読み出された画像情報は、ネットワーク１９ａを介して、デイジーチェーンにより接続された後段の画像処理装置８００ｂに伝送される。画像処理装置８００ｂは、画像処理装置８００ａから伝送された画像情報を取得する。画像処理装置８００ｂにより記憶装置から読み出された画像情報は、画像処理装置８００ａから伝送された画像情報と合わせて、ネットワーク１９ｂを介して、デイジーチェーンにより接続された後段の画像処理装置８００ｃに伝送される。以下、画像処理装置８００ｘまで同様の伝送が繰り返される。結果として、画像処理装置８００ｘには、画像処理装置８００ａ－８００ｗのそれぞれが記憶装置から取得した画像情報を合わせた情報がネットワーク１９ｗを介して画像処理装置８００ｗから伝送される。また、画像処理装置８００ｘは、画像処理装置８００ｗから伝送された当該情報と、画像処理装置８００ｘが記憶装置から取得した画像情報とを合わせて画像コンピューティングサーバ１３に出力する。具体的には、画像処理装置８００ｘから出力された情報、すなわち、画像処理装置８００ａ－８００ｘのそれぞれが記憶装置から取得した画像情報を合わせた情報は、スイッチングハブ１８を介して画像コンピューティングサーバ１３に伝送される。
【0064】
図９から図１３を参照して、画像処理装置８００について説明する。図９を参照して、画像処理装置８００が有する機能ブロックについて説明する。図９は、第２実施形態に係る画像処理装置８００における機能ブロックの構成の一例を示すブロック図である。画像処理装置８００は、画像信号取得部８２０、画像信号出力部８２２、基準信号取得部８１０、現在時刻取得部８１４、取得制御部１４０、指定部１５０、画像取得部１７０、及び画像出力部８９０を有する。画像処理装置８００は、上述の構成に加えて、時点取得部１５２、開始時刻取得部１５４、開始信号取得部８５０、又は開始信号出力部８５２等を有するものであってもよい。以下、画像処理装置８００は、時点取得部１５２、開始時刻取得部１５４、開始信号取得部８５０、及び開始信号出力部８５２を有するものとして説明する。以下、図３に示す第１実施形態に係る画像処理装置１００と同様の構成については同一の符号を付して説明を省略する。なお、画像処理装置８００が有する各部の処理は、画像処理装置８００に内蔵されたＡＳＩＣ、ＦＰＧＡ等のハードウェアによってなされる。また、当該処理は、図４に一例として示すハードウェアを用いたソフトウエアによってなされてもよい。
【0065】
画像信号取得部８２０は、撮像装置８１、又はデイジーチェーンにより接続された前段の画像処理装置８００が出力する画像信号を取得する。上述したように、取得する画像信号には、同期信号及びタイムコードが重畳されている。画像信号出力部８２２は、画像信号取得部８２０により取得された画像信号を駆動し直し、デイジーチェーンにより接続された後段の画像処理装置８００に画像信号を出力する。基準信号取得部８１０は、画像信号取得部８２０により取得された画像信号から同期信号を抽出して、抽出した同期信号を基準同期信号として取得する。現在時刻取得部８１４は、画像信号取得部８２０により取得された画像信号からタイムコードを抽出して、抽出したタイムコードを現在時刻情報として取得する。
【0066】
取得制御部１４０は、画像取得部１７０が記憶装置から画像情報を取得するタイミングを制御する。具体的には、取得制御部１４０は、基準信号取得部８１０により取得された基準同期信号を同期信号として出力することにより、同期信号を複数の画像処理装置８００同士で互いに同期させる。画像出力部８９０は、画像取得部１７０により取得された画像情報を出力する。複数の画像処理装置８００同士がデイジーチェーンにより接続されている場合、画像処理装置８００は、画像出力部８９０等により、当該画像処理装置８００の前段の画像処理装置８００が出力する画像情報を取得する。当該場合、画像出力部８９０は、当該画像情報と画像取得部１７０により取得された画像情報とを含めた情報を画像情報として、画像処理装置８００の後段の画像処理装置８００、又は画像コンピューティングサーバ１３に出力する。
【0067】
以上のような構成によれば、画像処理システム８は、複数の撮像装置１１により同期して撮像された撮像画像の画像情報及び時刻情報が予め記憶された記憶装置から、同一の撮像時刻に撮像された複数の撮像画像を同一のタイミングで取得することができる。結果として、画像処理システム８は、このように同一のタイミングで取得した同一の撮像時刻に撮像された複数の撮像画像に基づいて仮想視点画像を生成できる。したがって、画像処理システム８によれば、仮想視点画像の品質の低下を抑制することができる。
【0068】
開始信号取得部８５０及び開始信号出力部８５２については後述する。なお、指定部１５０、時点取得部１５２、及び開始時刻取得部１５４については、第１実施形態に係る画像処理装置１００が有するものと同様であるため説明を省略する。また、第１時点及び第２時点を設定する手法、及び、取得開始時刻を設定する手法については、第１実施形態と同様の手法であるため説明を省略する。
【0069】
なお、第１実施形態に係る制御ステーション１４は、タイムサーバ１２が出力する基準時刻信号を受けて、基準時刻信号が示す基準時刻を現在時刻として取得するものであった。これに対して、第２実施形態に係る制御ステーション１４は、例えば、以下の手法により現在時刻を取得する。まず、制御ステーション１４は、全ての画像処理装置８００から出力される画像信号を取得し、各画像信号に重畳されているタイムコードを抽出する。制御ステーション１４は、抽出した全てのタイムコードのうち、最も後の時刻を示すタイムコードを選択して、当該時刻を現在時刻として取得する。再駆動の遅延を考慮して、デイジーチェーンにより接続された複数の画像処理装置８００のうち最後段に位置する画像処理装置８００ｘから出力される画像信号のみを用いてタイムコードを抽出し、当該タイムコードの時刻を現在時刻として取得してもよい。また、この場合、制御ステーション１４は、最後段に位置する画像処理装置８００ｘから出力される画像信号のみを取得してもよい。
【0070】
図１０を参照して、画像処理装置８００の動作について説明する。図１０は、第２実施形態に係る画像処理装置８００の処理フローの一例を示すフローチャートである。以下、図７に示す第１実施形態に係る画像処理装置１００の処理と同様の処理については同一の符号を付して説明を省略する。まず、画像処理装置８００は、Ｓ７０１からＳ７０３までの処理を実行する。次に、Ｓ１００１にて、画像信号取得部８２０は、画像信号を取得する。次に、Ｓ１００２にて、画像信号出力部８２２は、画像信号取得部８２０にて取得した画像信号をデイジーチェーンにより接続された後段の画像処理装置８００に出力する。次に、Ｓ１００３にて、現在時刻取得部８１４は、画像信号からタイムコードを抽出して現在時刻を取得する。次に、画像処理装置８００は、Ｓ７１０の処理を実行する。Ｓ７１０にて現在時刻が取得開始時刻に到達していないと判定された場合、画像処理装置８００は、Ｓ１００１に戻って、Ｓ７１０にて現在時刻が取得開始時刻に到達したと判定されるまで、Ｓ１００１からＳ１００３までの処理を繰り返して実行する。Ｓ７１０にて現在時刻が取得開始時刻に到達したと判定された場合、画像処理装置８００は、Ｓ１０１１以降の処理を実行する。
【0071】
Ｓ１０１１にて、画像信号取得部８２０は、画像信号を取得する。次に、Ｓ１０１２にて、画像信号出力部８２２は、画像信号取得部８２０にて取得した画像信号をデイジーチェーンにより接続された後段の画像処理装置８００に出力する。次に、Ｓ１０１３にて、基準信号取得部８１０は、画像信号から同期信号を抽出して基準同期信号を取得する。Ｓ１０１３の後、画像処理装置８００は、Ｓ７１３からＳ７１６までの処理を実行する。Ｓ７１６にて画像取得部１７０により第１時点から第２時点までの全ての画像情報が取得されていないと判定された場合、画像処理装置８００は、Ｓ１０１１に戻る。当該場合、画像処理装置８００は、Ｓ７１６にて画像取得部１７０により第１時点から第２時点までの全ての画像情報が取得されたと判定されるまで、Ｓ１０１１からＳ１０１３まで、及びＳ７１３からＳ７１６までの処理を繰り返して実行する。Ｓ７１６にて画像取得部１７０により第１時点から第２時点までの全ての画像情報が取得されたと判定された場合、画像処理装置８００は、Ｓ７１７の処理を実行する。Ｓ７１７の後、画像処理装置８００は、図１０に示すフローチャートの処理を終了する。なお、図１０におけるＳ１００１からＳ１００３までの処理及びＳ７１０の処理を繰り返し実行している期間、すなわち、現在時刻が取得開始時刻に到達していない期間において、画像出力部８９０は、黒画像等の予め定められた画像の情報を出力してもよい。
【0072】
以上のような構成によれば、画像処理システム８は、複数の撮像装置１１で同期撮像された複数の撮像画像について、同時刻に撮像された複数の撮像画像の情報を記憶装置から同期して取得することができる。結果として、画像処理システム８によれば、このように同期して取得された複数の撮像画像であって、同一の撮像時刻に撮像された複数の撮像画像を用いて仮想視点画像を生成できる。したがって、画像処理システム８によれば、仮想視点画像の品質の低下を抑制することができる。
【0073】
これまで説明した第２実施形態に係る各画像処理装置８００は、撮像装置８１から出力される画像信号に重畳されたタイムコードに基づく現在時刻が予め設定された取得開始時刻に到達したときに、記憶装置に記憶された画像情報の取得を開始するものであった。しかし、記憶装置に記憶されている画像情報の取得を開始するタイミングは、取得開始時刻を指定する以外の手法により指定されるものであってもよい。
【0074】
具体的には、例えば、各画像処理装置８００は、制御ステーション１４等から発行される取得開始コマンドを、ネットワーク１４ａ等を介して受信するときをトリガとして記憶装置に記憶された画像情報の取得を開始してもよい。取得開始コマンドは、例えば、コントローラ１６の操作者により所定の入力がされたとき、又は、現在時刻が予め設定された時刻に到達したとき等に制御ステーション１４から発行される。より具体的には、例えば、開始信号取得部８５０が画像取得部１７０による画像情報の取得開始を指示するための取得開始コマンドを取得開始信号として取得する。開始信号取得部８５０は、取得開始信号に加えて、画像取得部１７０による画像情報の取得終了を指示するための取得終了コマンドを取得終了信号として取得してもよい。
【0075】
また、複数の画像処理装置８００がデイジーチェーンにより接続されているときは、最前段の画像処理装置８００ａは、制御ステーション１４から発行される取得開始コマンドを受信し、当該取得開始コマンドを後段の画像処理装置８００ｂに出力する。同様に、画像処理装置８００ａより後段に位置する各画像処理装置８００は、前段の画像処理装置８００から出力された取得開始コマンドを受信して、当該取得開始コマンドを後段の画像処理装置８００に出力する。例えば、開始信号出力部８５２が開始信号取得部８５０により取得された取得開始信号、すなわち、取得開始コマンドを、デイジーチェーンにより接続された後段の画像処理装置８００に出力する。開始信号取得部８５０が取得終了コマンドを取得終了信号として取得する場合、開始信号出力部８５２は、開始信号取得部８５０により取得された取得終了信号を、デイジーチェーンにより接続された後段の画像処理装置８００に出力する。このような構成により、全ての画像処理装置８００は、高精度に同期して記憶装置から画像情報を取得することができる。
【0076】
図１１を参照して、画像処理装置８００が取得開始コマンドをトリガとして記憶装置に記憶された画像情報の取得を開始する場合の画像処理装置８００の動作について説明する。図１１は、当該場合における第２実施形態に係る画像処理装置８００の処理フローの一例を示すフローチャートである。以下、図１０に示す第２実施形態に係る画像処理装置８００の処理と同様の処理については同一の符号を付して説明を省略する。まず、画像処理装置８００は、Ｓ７０１及びＳ７０２、並びにＳ１００１及びＳ１００２の処理を実行する。次に、Ｓ１１１０にて、開始信号取得部８５０は、取得開始信号を取得したか否かを判定する。Ｓ１１１０にて取得開始信号を取得していないと判定された場合、画像処理装置８００は、Ｓ１００１に戻って、Ｓ１１１０にて取得開始信号を取得したと判定されるまでの間、Ｓ１００１及びＳ１００２、並びにＳ１１１０の処理を繰り返して実行する。Ｓ１１１０にて取得開始信号を取得したと判定された場合、画像処理装置８００は、Ｓ１０１１からＳ１０１３まで、及びＳ７１３からＳ７１５までの処理を実行する。
【0077】
Ｓ７１５の後、Ｓ１１２０にて、開始信号取得部８５０は、取得終了信号を取得したか否かを判定する。Ｓ１１２０にて取得終了信号を取得していないと判定された場合、画像処理装置８００は、Ｓ７１６の処理を実行する。Ｓ７１６にて画像取得部１７０により第１時点から第２時点までの全ての画像情報が取得されていないと判定された場合、画像処理装置８００は、Ｓ１０１１に戻る。当該場合、画像処理装置８００は、Ｓ７１６にて第１時点から第２時点までの全ての画像情報が取得されたと判定されるか、Ｓ１１２０にて取得終了信号を取得したと判定されるまで、Ｓ１０１１からＳ７１６までの処理を繰り返して実行する。Ｓ１１２０にて取得終了信号を取得したと判定された場合、Ｓ７１６にて第１時点から第２時点までの全ての画像情報が取得されたと判定された場合、画像処理装置８００は、Ｓ１１２１の処理を実行する。具体的には、当該場合、Ｓ１１２１にて、開始信号出力部８５２は、開始信号取得部８５０にて取得された取得終了信号をデイジーチェーンにより接続された後段の画像処理装置８００に出力する。Ｓ１１２１の後、画像処理装置８００は、Ｓ７１７の処理を実行して、図１１に示すフローチャートの処理を終了する。
【0078】
以上のような構成によれば、画像処理システム８は、複数の撮像装置１１で同期撮像された複数の撮像画像について、同時刻に撮像された複数の撮像画像の情報を記憶装置から同期して取得することができる。結果として、画像処理システム８によれば、このように同期して取得された複数の撮像画像であって、同一の撮像時刻に撮像された複数の撮像画像を用いて仮想視点画像を生成できる。したがって、画像処理システム８によれば、仮想視点画像の品質の低下を抑制することができる。
【0079】
図１１に示すフローチャートの処理は、後段の画像処理装置８００に取得開始信号を出力して、後段の画像処理装置８００にも画像情報の取得を開始させる形態であった。後段の画像処理装置８００に画像情報の取得を開始させる手法は、後段の画像処理装置８００に取得開始信号を出力する手法に限定されるものではない。例えば、画像処理装置８００ａは、取得開始信号を取得したときから、取得終了信号を取得するまで、又は第１時点から第２時点までの全ての画像情報を取得するまで、撮像装置８１から受信した画像信号を加工した画像信号を画像処理装置８００ｂに出力する。ここで、撮像装置８１から受信した画像信号の加工とは、例えば、画像信号のうち予め定められた１ビット以上の領域に取得開始又は取得停止を示す取得フラグ情報の値を設定することである。
【0080】
具体的には、例えば、画像処理装置８００ａが取得開始信号を取得した場合、以降に撮像装置８１から受信した画像信号の当該領域に取得開始を示す“１”を設定する。また、画像処理装置８００ａが取得終了信号を取得、又は第１時点から第２時点までの全ての画像情報の取得が完了した場合、以降に撮像装置８１から受信した画像信号の当該領域に取得終了を示す“０”を設定する。画像処理装置８００ａは、設定後の画像信号を画像処理装置８００ｂに出力する。画像処理装置８００ａよりも後段に位置する画像処理装置８００ｂ－８００ｘは、当該領域に設定された取得フラグ情報の値が取得開始を示す“１”であれば同期信号に同期して記憶装置から画像情報を読み出す。また、取得フラグ情報の値が取得開始を示す“０”であれば記憶装置からの画像情報の読み出し停止又は終了する。このような構成により、全ての画像処理装置８００は、高精度に同期して記憶装置から画像情報を取得することができる。
【0081】
図１２及び図１３を参照して、画像処理装置８００が画像信号に設定された取得フラグ情報の値に基づいて記憶装置に記憶された画像情報の取得を開始する場合の画像処理装置８００の動作について説明する。図１２は、当該場合における第２実施形態に係る画像処理装置８００のうち、最前段に位置する画像処理装置８００ａの処理フローの一例を示すフローチャートである。また、図１３は、当該場合における第２実施形態に係る画像処理装置８００のうち、最前段に位置する画像処理装置８００ａよりも後段に位置する画像処理装置８００ｂ－８００ｘの処理フローの一例を示すフローチャートである。以下、図１０又は図１１に示す第２実施形態に係る画像処理装置８００の処理と同様の処理については同一の符号を付して説明を省略する。まず、図１２を参照して画像処理装置８００ａの動作について説明する。
【0082】
まず、画像処理装置８００ａは、Ｓ７０１及びＳ７０２、Ｓ１００１及びＳ１００２、並びにＳ１１１０の処理を実行する。Ｓ１１１０にて取得開始信号を取得していないと判定された場合、画像処理装置８００ａは、Ｓ１００１に戻って、Ｓ１１１０にて取得開始信号を取得したと判定されるまでの間、Ｓ１００１及びＳ１００２、並びにＳ１１１０の処理を繰り返して実行する。Ｓ１１１０にて取得開始信号を取得したと判定された場合、画像処理装置８００ａは、Ｓ１０１１にて、撮像装置８１から画像信号を取得する。Ｓ１０１１の後、Ｓ１２１２にて、画像出力部８９０は、撮像装置８１から取得した画像信号における取得フラグ情報の値を“１”に設定して、設定後の画像信号を後段の画像処理装置８００ｂに出力する。Ｓ１２１２の後、画像処理装置８００ａは、Ｓ１０１３、Ｓ７１３からＳ７１５まで、及びＳ１１２０の処理を実行する。
【0083】
Ｓ１１２０にて取得終了信号を取得していないと判定された場合、画像処理装置８００ａは、Ｓ７１６の処理を実行する。Ｓ７１６にて画像取得部１７０により第１時点から第２時点までの全ての画像情報が取得されていないと判定された場合、画像処理装置８００ａは、Ｓ１０１１に戻る。当該場合、画像処理装置８００ａは、Ｓ７１６にて第１時点から第２時点までの全ての画像情報が取得されたと判定されるか、Ｓ１１２０にて取得終了信号を取得したと判定されるまで、Ｓ１０１１からＳ７１６までの処理を繰り返して実行する。Ｓ１１２０にて取得終了信号を取得したと判定された場合、又はＳ７１６にて第１時点から第２時点までの全ての画像情報が取得されたと判定された場合、画像処理装置８００ａは、Ｓ７１７の処理を実行して、図１１に示すフローチャートの処理を終了する。以降、画像処理装置８００ａは、次の取得開始信号を取得するまでの間、撮像装置８１が出力する画像信号を取得した際に、取得した画像信号の取得フラグ情報の値を“０”に設定して、設定後の画像信号を後段の画像処理装置８００ｂに出力することになる。
【0084】
次に、図１３を参照して画像処理装置８００ａよりも後段に位置する画像処理装置８００ｂ－８００ｘのそれぞれの動作について説明する。当該説明において、画像処理装置８００ｂ－８００ｘのそれぞれを、単に、画像処理装置８００と表記する。まず、画像処理装置８００は、Ｓ７０１及びＳ７０２、並びにＳ１００１の処理を実行する。Ｓ１００１の後、Ｓ１３１０にて、画像信号取得部８２０は、画像信号の取得フラグ情報の値が“１”に設定されているか否かを判定する。Ｓ１３１０にて画像信号の取得フラグ情報の値が“１”に設定されていない判定された場合、画像処理装置８００は、Ｓ１３１１の処理を実行する。具体的には、当該場合、Ｓ１３１１にて、画像信号出力部８２２は、画像信号取得部８２０にて取得した画像信号の取得フラグ情報の値を“０”に設定して、設定後の画像信号を後段の画像処理装置８００に出力する。
【0085】
Ｓ１３１１の後、画像処理装置８００は、Ｓ１００１に戻って、Ｓ１３１０にて画像信号の取得フラグ情報の値が“１”に設定されていると判定されるまでの間、Ｓ１００１、並びにＳ１３１０及びＳ１３１１の処理を繰り返して実行する。Ｓ１３１０にて画像信号の取得フラグ情報の値が“１”に設定されていると判定された場合、画像処理装置８００は、Ｓ１０１２及びＳ１０１２、及びＳ７１３からＳ７１５まで、及びＳ１１２０の処理を実行する。Ｓ７１５の後、画像処理装置８００は、Ｓ７１６の処理を実行する。Ｓ７１６にて画像取得部１７０により第１時点から第２時点までの全ての画像情報が取得されていないと判定された場合、画像処理装置８００は、Ｓ１０１１に戻る。当該場合、画像処理装置８００は、Ｓ７１６にて第１時点から第２時点までの全ての画像情報が取得されたと判定されるまで、図１３におけるＳ１０１１からＳ７１６までの処理を繰り返して実行する。Ｓ７１６にて第１時点から第２時点までの全ての画像情報が取得されたと判定された場合、画像処理装置８００は、Ｓ７１７の処理を実行して、図１３に示すフローチャートの処理を終了する。
【0086】
以上のような構成によれば、画像処理システム８は、複数の撮像装置１１で同期撮像された複数の撮像画像について、同時刻に撮像された複数の撮像画像の情報を記憶装置から同期して取得することができる。結果として、画像処理システム８によれば、このように同期して取得された複数の撮像画像であって、同一の撮像時刻に撮像された複数の撮像画像を用いて仮想視点画像を生成できる。したがって、画像処理システム８によれば、仮想視点画像の品質の低下を抑制することができる。
【0087】
＜その他の実施形態＞
本開示は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本開示は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0088】
なお、本開示はその開示の範囲内において、各実施形態の自由な組み合わせ、各実施形態の任意の構成要素の変形、又は、各実施形態において任意の構成要素の省略が可能である。
【符号の説明】
【0089】
１００ 画像処理装置
１１０ 基準信号取得部
１１２ 基準信号出力部
１１４ 現在時刻取得部
１２０ 撮像制御部
１３０ 撮像出力部
１４０ 取得制御部
１５０ 指定部
１５４ 開始時刻取得部
１５２ 時点取得部
１７０ 画像取得部
１９０ 画像出力部
１１０ 基準信号取得部
１１２ 基準信号出力部
１１４ 現在時刻取得部
１２０ 撮像制御部
１３０ 撮像出力部
１４０ 取得制御部
１５０ 指定部
１５４ 開始時刻取得部
１５２ 時点取得部
１７０ 画像取得部
１９０ 画像出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】