特許 6971624 情報処理装置、制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6971624

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】情報処理装置、制御方法、およびプログラム

(51)【国際特許分類】

   H04N 21/238 20110101AFI20211111BHJP

【ＦＩ】

   H04N21/238

【請求項の数】19

【全頁数】23

(21)【出願番号】特願2017-94856(P2017-94856)

(22)【出願日】2017年5月11日

(65)【公開番号】特開2018-191251(P2018-191251A)

(43)【公開日】2018年11月29日

【審査請求日】2020年4月28日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】小峰 孝之

【審査官】 川中 龍太

(56)【参考文献】

【文献】 特開２０１３−２３９８６０（ＪＰ，Ａ）

【文献】 特開２００２−０９４９６２（ＪＰ，Ａ）

【文献】 特開２００６−０６７２２５（ＪＰ，Ａ）

【文献】 特開２００３−２０９５９３（ＪＰ，Ａ）

【文献】 特開２００９−０６４４４５（ＪＰ，Ａ）

【文献】 特開２００７−１５０４０７（ＪＰ，Ａ）

【文献】 特開２００９−２９６２８６（ＪＰ，Ａ）

【文献】 特開２００３−１８９２７４（ＪＰ，Ａ）

【文献】 特表２０１６−５１７６７２（ＪＰ，Ａ）

【文献】 米国特許第０６０６４４３８（ＵＳ，Ａ）

【文献】 韓国公開特許第１０−２００４−００７９５９６（ＫＲ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００ − ２１／８５８

(57)【特許請求の範囲】

【請求項1】

情報処理装置であって、
撮影装置が被写体を撮影することにより得られる撮影画像に基づいて、仮想視点画像の生成に使用される画像データを生成する生成手段と、
前記情報処理装置に接続される第１の他の情報処理装置から、前記仮想視点画像の生成に使用される画像データを取得する取得手段と、
前記情報処理装置と接続される第２の他の情報処理装置に対するデータの伝送が伝送帯域により制限される場合、前記生成手段により生成される画像データと、前記取得手段により取得される画像データとを含む伝送対象データのデータ量を削減する処理を行う処理手段と、
前記処理手段によりデータ量を削減する処理が行われた前記伝送対象データを、前記第２の他の情報処理装置に伝送する伝送手段と、
を有することを特徴とする情報処理装置。

【請求項2】

前記処理手段は、データの伝送が伝送帯域により制限される場合として、前記伝送対象データのデータ量が前記伝送帯域に基づく閾値よりも大きい場合、当該伝送対象データを削減する処理を行うことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記処理手段は、データの伝送が伝送帯域により制限される場合、前記伝送対象データを削減する処理を行い、削減した前記伝送対象データを元の伝送対象データに近づけるためのデータを記憶手段に記憶し、
前記伝送手段は、前記処理手段によりデータ量を削減する処理が行われた伝送対象データを伝送した後に、データの伝送が伝送帯域により制限されない状態になった場合、前記伝送対象データと、前記記憶手段により記憶されたデータの少なくとも一部とを含むデータを、前記第２の他の情報処理装置に伝送することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記処理手段によりデータ量を削減する処理が行われた前記伝送対象データを元の前記伝送対象データに近づけるためのデータは、前記伝送対象データのフレームの少なくとも一部、又は、前記伝送対象データの画素の少なくとも一部を含むことを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記処理手段は、データ量を削減する処理として、前記伝送対象データの中から前記第２の他の情報処理装置に伝送するデータを選択する処理を行うことを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。

【請求項6】

前記処理手段は、フレームごと、画素ごと、またはオブジェクトに基づいて定まる領域ごとに、前記伝送対象データの中から、前記第２の他の情報処理装置に伝送するデータを選択する処理を行うことを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記処理手段は、前記伝送対象データのうち選択されなかったデータを記憶手段に記憶することを特徴とする請求項５または６に記載の情報処理装置。

【請求項8】

前記処理手段は、データ量を削減する処理として、前記伝送対象データを圧縮する処理を行うことを特徴とする請求項１〜７の何れか１項に記載の情報処理装置。

【請求項9】

前記処理手段は、前記伝送対象データを圧縮する処理が行われる際の圧縮率よりも低い圧縮率で圧縮された前記伝送対象データ、または、前記伝送対象データを圧縮する処理が行われる前の前記伝送対象データを、記憶手段に記憶することを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記記憶手段により記憶されたデータに含まれるデータを特定する特定手段と、
前記記憶手段により記憶されたデータから、前記特定手段により特定されるデータを選択する選択手段と、を有し、
前記伝送手段は、前記選択手段により選択されたデータを伝送することを特徴とする請求項３，４，７及び９の何れか１項に記載の情報処理装置。

【請求項11】

前記特定手段は、データが得られた時刻情報またはデータの識別情報に基づいてデータを特定することを特徴とする請求項１０に記載の情報処理装置。

【請求項12】

前記特定手段は、前記記憶手段により記憶されたデータに含まれる複数のデータを特定することを特徴とする請求項１０または１１に記載の情報処理装置。

【請求項13】

前記特定手段は、前記記憶手段により記憶されたデータに対する優先順位を示す情報に基づいてデータを特定することを特徴とする請求項１０〜１２の何れか１項に記載の情報処理装置。

【請求項14】

前記第２の他の情報処理装置に対するデータの伝送が伝送帯域により制限されるかを判定する判定手段を有することを特徴とする請求項１〜１３の何れか１項に記載の情報処理装置。

【請求項15】

前記情報処理装置、前記第１の他の情報処理装置、及び、前記第２の他の情報処理装置は、デイジーチェーン接続されることを特徴とする請求項１〜１４の何れか１項に記載の情報処理装置。

【請求項16】

前記仮想視点画像を生成するための画像データは、前記撮影画像に基づいて生成される前景画像を含むことを特徴とする請求項１〜１５の何れか１項に記載の情報処理装置。

【請求項17】

請求項１〜１６の何れか１項に記載の情報処理装置と、
前記仮想視点画像に係る仮想視点を設定する設定手段と、
前記情報処理装置により伝送される前記伝送対象データと、前記設定手段により設定された仮想視点とに基づいて、前記仮想視点画像を生成する生成手段と、
を有することを特徴とする情報処理システム。

【請求項18】

情報処理装置が行う制御方法であって、
撮影装置が被写体を撮影することにより得られる撮影画像に基づいて、仮想視点画像の生成に使用される画像データを生成する生成工程と、
前記情報処理装置に接続される第１の他の情報処理装置から、前記仮想視点画像の生成に使用される画像データを取得する取得工程と、
前記情報処理装置と接続される第２の他の情報処理装置に対するデータの伝送が伝送帯域により制限される場合、前記生成工程において生成される画像データと、前記取得工程において取得される画像データとを含む伝送対象データのデータ量を削減する処理を行う処理工程と、
前記処理工程においてデータ量を削減する処理が行われた前記伝送対象データを、前記第２の他の情報処理装置に伝送する伝送工程と、
を有することを特徴とする制御方法。

【請求項19】

請求項１〜１６の何れか１項に記載の情報処理装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、制御方法、およびプログラムに関するものである。

【背景技術】

【0002】

相互に異なる位置に設置された複数のカメラが同期して撮影を行い、当該撮影により得られる複数の視点で撮影された画像を用いて仮想視点コンテンツを生成する技術がある。かかる技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。

【0003】

一方、複数の視点で撮影された画像に基づく仮想視点コンテンツの生成および閲覧を行う際には、まず、複数のカメラで撮影された画像をサーバ等の画像処理部に集約する。次に、画像処理部は、複数のカメラで撮影された画像を用いて、三次元モデルの生成と、レンダリング等の処理とを行うことにより仮想視点コンテンツを生成し、ユーザ端末に伝送する。

【0004】

複数のカメラで撮影された画像を集約する技術として、特許文献１に記載の技術がある。特許文献１には、次の技術が開示されている。即ち、複数のカメラを、当該カメラとペアとなる制御ユニットを介して光ファイバで相互に接続する。制御ユニットは、当該制御ユニットとペアとなるカメラで撮影された画像フレームを蓄積する。画像生成部は、各制御ユニットに蓄積された画像フレームを使って連続的な動きを表現する画像を出力する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許第７１０６３６１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

仮想視点コンテンツの生成には、複数のカメラでそれぞれ撮影されたオブジェクトの画像が必要になる。従って、撮影対象となるオブジェクトが増えた場合、その数に応じてネットワークの伝送負荷が増加しうる。よって、各カメラで撮影された画像等のデータを伝送する際に、システムの状況により通信帯域が不足し、仮想視点コンテンツの生成に必要なデータの伝送ができない虞がある。
本発明は、このような問題点に鑑みてなされたものであり、撮影画像の伝送のための通信帯域が不足することを抑制することを目的とする。

【課題を解決するための手段】

【0007】

本発明の情報処理装置は、情報処理装置であって、撮影装置が被写体を撮影することにより得られる撮影画像に基づいて、仮想視点画像の生成に使用される画像データを生成する生成手段と、前記情報処理装置に接続される第１の他の情報処理装置から、前記仮想視点画像の生成に使用される画像データを取得する取得手段と、前記情報処理装置と接続される第２の他の情報処理装置に対するデータの伝送が伝送帯域により制限される場合、前記生成手段により生成される画像データと、前記取得手段により取得される画像データとを含む伝送対象データのデータ量を削減する処理を行う処理手段と、前記処理手段によりデータ量を削減する処理が行われた前記伝送対象データを、前記第２の他の情報処理装置に伝送する伝送手段と、を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、撮影画像の伝送のための通信帯域が不足することを抑制することが出来る。

【図面の簡単な説明】

【0009】

【図1】画像処理システムの構成を示す図である。

【図2】カメラアダプタの構成を示す図である。

【図3】画像処理システムの設置例を示す図である。

【図4】カメラアダプタ間のデータの流れを示す図である。

【図5】データ選択処理部の処理を説明するフローチャートである。

【図6】データ量の時間変化の第１の例を示す図である。

【図7】データベースに送信されるデータの変化の第１の例を説明する図である。

【図8】データベースに送信されるデータの変化の第２の例を説明する図である。

【図9】図５のＳ５０１５の処理を説明するフローチャートである。

【図10】データ量の時間変化の第２の例を示す図である。

【発明を実施するための形態】

【0010】

以下に図面を参照して、実施形態を詳細に説明する。
＜第１の実施形態＞
まず、第１の実施形態を説明する。
図１は、画像処理システム１００の構成の一例を示す図である。本実施形態では、競技場（スタジアム）やコンサートホール等の施設に、複数のカメラおよび複数のマイクを設置する場合を例に挙げて説明する。画像処理システム１００は、複数のカメラおよび複数のマイクを用いて、撮影および集音を行う。画像処理システム１００は、センサシステム１１０ａ〜１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、およびエンドユーザ端末１９０を有する。本実施形態では、例えば、画像処理システム１００により情報処理システムの一例が実現される。

【0011】

コントローラ３００は、制御ステーション３１０と仮想カメラ操作ＵＩ３３０とを有する。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロックに対して、ネットワーク３１０ａ〜３１０ｃ、１８０ａ〜１８０ｂ、１７０ａ〜１７０ｙを通じて、動作状態の管理およびパラメータの設定等を行う。ここで、ネットワークは、ローカルエリアネットワークでも良いし、インターコネクト（Ｉｎｆｉｎｉｂａｎｄ等）を組み合せて構成されても良い。また、ネットワークは、これらに限定されず、他の種別のネットワークであっても良い。

【0012】

最初に、センサシステム１１０ａ〜１１０ｚの２６セットで得られる画像および音声を、センサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作の一例を説明する。本実施形態では、センサシステム１１０ａ〜１１０ｚがデイジーチェーンで相互に接続される場合を例に挙げて説明する。
本実施形態において、特別な説明がない場合には、センサシステム１１０ａ〜１１０ｚの２６セットを区別せず、センサシステム１１０と記載する。各センサシステム１１０内の装置やネットワークについても同様に、特別な説明がない場合には、これらを区別せず、マイク１１１、カメラ１１２、雲台１１３、カメラアダプタ１２０、ネットワーク１７０と記載する。

【0013】

尚、本実施形態では、センサシステム１１０の数を２６セットとするが、これは一例であり、センサシステム１１０の数は２６セットに限定されない。また、本実施形態では、特に断りがない限り、画像は、動画および静止画の概念を含むものとして説明する。即ち、本実施形態の画像処理システム１００は、静止画および動画の何れについても処理することが可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツに、仮想視点画像と仮想視点音声とが含まれる例を中心に説明する。しかしながら、仮想視点コンテンツは、これに限定されない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また、例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近い位置にあるマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての詳細な説明を省略するが、基本的に音声は画像と共に処理されるものとする。

【0014】

センサシステム１１０ａ〜１１０ｚは、それぞれ１台ずつのカメラ１１２ａ〜１１２ｚを有する。即ち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士は、デイジーチェーンで相互に接続される。
尚、複数のセンサシステム１１０の接続形態は、デイジーチェーンに限定されない。例えば、スター型のネットワークを用いて良い。スター型のネットワークを用いる場合、全てのセンサシステム１１０ａ〜１１０ｚがスイッチングハブ１８０に接続される。この場合、スイッチングハブ１８０を経由してセンサシステム１１０ａ〜１１０ｚ間のデータ送受信が行われる。

【0015】

また、図１では、デイジーチェーン接続となるようにセンサシステム１１０ａ〜１１０ｚの全てがカスケード接続される構成を示した。しかしながら、必ずしも、センサシステム１１０ａ〜１１０ｚの全てがカスケード接続される必要はない。例えば、複数のセンサシステム１１０を複数のグループに分割しても良い。このようにする場合、分割したグループ単位でデイジーチェーン接続となるようにセンサシステム１１０を接続しても良い。また、分割したグループ単位の終端となるカメラアダプタ１２０がスイッチングハブ１８０に接続し、スイッチングハブ１８０が、各カメラ１１２で撮影された画像を画像コンピューティングサーバ２００に出力しても良い。このような構成は、画像処理システム１００をスタジアムに適用する場合に特に有効である。例えば、スタジアムが複数のフロアを有し、フロア毎にセンサシステム１１０を配備する場合が考えられる。このような場合に前述した構成を採用すれば、例えば、フロア毎、或いは、スタジアムの半周毎に、カメラ１１２で撮影された画像を画像コンピューティングサーバ２００へ入力することが出来る。従って、全てのセンサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも、センサシステム１１０の設置の簡便化と、システムの柔軟化とを図ることが出来る。

【0016】

また、デイジーチェーンで接続されて画像コンピューティングサーバ２００へ画像を出力するカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。即ち、センサシステム１１０が複数のグループに分割されているか否かに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。画像コンピューティングサーバ２００へ画像を出力するカメラアダプタ１２０が１つの場合、デイジーチェーンで接続されたセンサシステム１１０間で画像が伝送され、終端のカメラアダプタ１２０から画像コンピューティングサーバ２００に画像が伝送される。そして、画像コンピューティングサーバ２００で競技場の全周の画像が生成される。このため、画像コンピューティングサーバ２００において競技場の全周の画像データが揃うタイミングは同期がとられている。即ち、センサシステム１１０がグループに分割されていなければ、画像コンピューティングサーバ２００において必要な画像データが揃うタイミングの同期をとることが出来る。

【0017】

一方、画像コンピューティングサーバ２００へ画像を出力するカメラアダプタ１２０が複数になる（センサシステム１１０がグループに分割される）場合、其々のデイジーチェーンのレーン（経路）によって、伝送時の画像データの遅延が異なる場合がある。そのため、画像コンピューティングサーバ２００は、競技場の全周の画像データが揃うまで待って、各画像データの同期をとることによって、画像データの集結をチェックしながら後段の画像処理を行う必要がある。

【0018】

本実施形態では、センサシステム１１０ａは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、およびカメラアダプタ１２０ａを有する。尚、センサシステム１１０ａの構成は、この構成に限定されない。センサシステム１１０ａは、少なくとも１台のカメラアダプタ１２０ａと、少なくとも１台のカメラ１１２ａとを有していれば良い。例えば、センサシステム１１０ａは、１台のカメラアダプタ１２０ａと、複数のカメラ１１２ａとで構成されても良いし、１台のカメラ１１２ａと複数のカメラアダプタ１２０ａとで構成されても良い。即ち、画像処理システム１００内の少なくとも１つのカメラ１１２と少なくとも１つのカメラアダプタ１２０は、Ｎ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０は、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、およびカメラアダプタ１２０ａ以外の装置を含んでいても良い。また、カメラ１１２ａとカメラアダプタ１２０ａとが一体となって構成されていても良い。更に、カメラアダプタ１２０ａの機能の少なくとも一部をフロントエンドサーバ２３０が有していても良い。本実施形態では、センサシステム１１０ｂ〜１１０ｚの構成は、センサシステム１１０ａの構成と同じであるので、センサシステム１１０ｂ〜１１０ｚの詳細な説明を省略する。尚、センサシステム１１０ｂ〜１１０ｚは、センサシステム１１０ａと同じ構成に限定されず、其々のセンサシステム１１０が異なる構成でも良い。

【0019】

カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、ネットワーク１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。マイク１１１ａにて集音された音声も、ネットワーク１７０ａを介してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。センサシステム１１０ｂは、マイク１１１ｂにて集音された音声と、カメラ１１２ｂにて撮影された画像とを、センサシステム１１０ａから取得した画像および音声と合わせてセンサシステム１１０ｃに伝送する。

【0020】

センサシステム１１０ｃ〜１１０ｚでも前述した動作を続ける。これにより、センサシステム１１０ａ〜１１０ｚで取得された画像および音声は、センサシステム１１０ｚからネットワーク１８０ｂを介してスイッチングハブ１８０に伝送され、スイッチングハブ１８０から画像コンピューティングサーバ２００へ伝送される。
尚、本実施形態では、カメラ１１２ａ〜１１２ｚとカメラアダプタ１２０ａ〜１２０ｚとが分離された構成を例に挙げて示す。しかしながら、これらは、同一筺体で一体化されていても良い。その場合、マイク１１１ａ〜１１１ｚは、カメラアダプタ１２０ａ〜１２０ｚと一体化されたカメラ１１２ａ〜１１２ｚに内蔵されていても良いし、カメラ１１２ａ〜１１２ｚの外部に接続されていても良い。

【0021】

次に、画像コンピューティングサーバ２００の構成および動作の一例について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００は、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、およびタイムサーバ２９０を有する。

【0022】

タイムサーバ２９０は、時刻および同期信号を配信する機能を有する。タイムサーバ２９０は、スイッチングハブ１８０を介してセンサシステム１１０ａ〜１１０ｚに時刻および同期信号を配信する。時刻および同期信号を受信したカメラアダプタ１２０ａ〜１２０ｚは、時刻および同期信号に基づいてカメラ１１２ａ〜１１２ｚにより撮影された画像データをＧｅｎｌｏｃｋさせ画像データのフレーム同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２ａ〜１１２ｚの撮影タイミングを同期させる。また、画像処理システム１００は、複数のカメラ１１２ａ〜１１２ｚで撮影された画像データにタイムコード等の情報を付加することにより、同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成することが出来る。このため、撮影タイミングのずれによる仮想視点画像の品質の低下を抑制することが出来る。尚、本実施形態では、タイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとする。しかしながら、必ずしも、タイムサーバ２９０が複数のカメラ１１２の時刻同期を管理する必要はない。例えば、時刻同期のための処理を各カメラ１１２または各カメラアダプタ１２０が独立して行っても良い。

【0023】

フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像データおよび音声データから、セグメント化された伝送パケットを再構成してデータ形式を変換する。フロントエンドサーバ２３０は、データ形式を変換した画像データおよび音声データを、カメラの識別子、データ種別、およびフレーム番号等と関連付けてデータベース２５０に書き込む。

【0024】

データベース２５０は、センサシステム１１０ｚから取得した、各センサシステム１１０からの各画像データ（フレーム）および当該画像データの受信状況を状態管理テーブルで管理する。例えば、情報管理テーブルは、時刻毎およびカメラ１１２毎にフラグを記憶する。フロントエンドサーバ２３０は、各時刻と各カメラ１１２について、画像データが届いていなければ０、届いていれば１のフラグを立てる。また、情報管理テーブルは、所定の時間毎（例えば、１秒間）およびカメラ１１２毎にフラグを記憶するものでも良い。この場合、フロントエンドサーバ２３０は、所定の時間毎にカメラ１１２から全ての画像データが届いていれば１、届いていなければ０のフラグを立てる。

【0025】

バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から仮想的な視点の指定を受け付ける。バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から受け付けられた視点に基づいて、仮想カメラ操作ＵＩ３３０から受け付けられた視点に対応する画像データおよび音声データをデータベース２５０から読み出す。バックエンドサーバ２７０は、データベース２５０から読み出した画像データおよび音声データに対してレンダリング処理を行って仮想視点画像を生成する。このとき、データベース２５０は、バックエンドサーバ２７０からの読み出し要求に対して、状態管理テーブルに記憶されている受信状況に合わせてバックエンドサーバ２７０に画像データおよび音声データを提供する。

【0026】

レンダリング処理された仮想視点画像および仮想視点音声は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信される。エンドユーザ端末１９０を操作するユーザは、視点の指定に応じた画像の閲覧および音声の視聴が出来る。即ち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された画像（複数の仮想視点画像）と仮想視点情報とに基づく仮想視点コンテンツを生成する。

【0027】

本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、仮想カメラ操作ＵＩ３３０により指定された視点における見えを表す画像であるとも言える。視点は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。

【0028】

また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信しても良い。
このように、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、および映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインは、センサシステム１１０ａ〜１１０ｚを含む。データ保存ドメインは、データベース２５０、フロントエンドサーバ２３０、およびバックエンドサーバ２７０を含む。映像生成ドメインは、仮想カメラ操作ＵＩ３３０およびエンドユーザ端末１９０を含む。尚、画像処理システム１００の構成は、このような構成に限定されない。例えば、仮想カメラ操作ＵＩ３３０が直接センサシステム１１０ａ〜１１０ｚから画像データを取得する事も可能である。しかしながら、本実施形態では、センサシステム１１０ａ〜１１０ｚから直接画像データを取得する方法ではなく、映像収集ドメインと映像生成ドメインとの間にデータ保存ドメインを配置する。具体的に、フロントエンドサーバ２３０は、センサシステム１１０ａ〜１１０ｚで生成された画像データ、音声データ、およびそれらのデータのメタ情報を、データベース２５０の共通スキーマおよびデータ型に変換する。

【0029】

また、本実施形態では、仮想カメラ操作ＵＩ３３０は、直接データベース２５０にアクセスせずにバックエンドサーバ２７０を介してアクセスする。画像生成処理に係わる共通処理をバックエンドサーバ２７０で行い、操作ＵＩに係わるアプリケーションの差分部分の処理を仮想カメラ操作ＵＩ３３０で行う。このことにより、仮想カメラ操作ＵＩ３３０を開発する際に、ＵＩ（ユーザインターフェース）となる操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能に対する開発に注力する事が出来る。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０からの要求に応じて画像生成処理に係わる共通処理を追加または削除することも可能である。このことによって仮想カメラ操作ＵＩ３３０からの要求に柔軟に対応することが出来る。

【0030】

このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２により撮影された画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。尚、本実施形態における画像処理システム１００は、前述した物理的な構成に限定される訳ではなく、論理的に構成されていても良い。なお、画像処理システム１００は、複数の装置により構成されても、１台の装置により構成されてもよい。

【0031】

本実施形態では、例えば、カメラアダプタ１２０ａ〜１２０ｚを用いることにより、複数の情報処理装置の一例が実現される。また、仮想カメラ操作ＵＩ３３０は、被写体に対する視点を設定する。また、バックエンドサーバ２７０は、複数の方向から撮影された複数の撮影画像に含まれる被写体の領域の画像を用いて、仮想カメラ操作ＵＩ３３０により設定された視点から見た場合の当該被写体の画像を生成する。

【0032】

（カメラアダプタ）
次に、本実施形態におけるカメラアダプタ１２０の機能ブロックの一例について図２を利用して説明する。図２は、カメラアダプタ１２０の機能的な構成の一例を示す図である。尚、カメラアダプタ１２０の機能ブロック間でのデータの流れの詳細は図３を用いて後述する。

【0033】

カメラアダプタ１２０は、ネットワークアダプタ６１１０、伝送部６１２０、画像処理部６１３０、および、外部機器制御部６１４０を有する。
ネットワークアダプタ６１１０は、データ送受信部６１１１および時刻制御部６１１２を有する。
データ送受信部６１１１は、ネットワーク１７０、２９１、３１０ａを介して、他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、および制御ステーション３１０とデータ通信を行う。例えば、データ送受信部６１１１は、カメラ１１２により撮影された画像から前景背景分離部６１３１により分離された前景画像と背景画像とを、別のカメラアダプタ１２０に対して出力する。前景画像および背景画像の出力先となるカメラアダプタ１２０は、画像処理システム１００内のカメラアダプタ１２０のうち、予め定められた順序において当該カメラアダプタ１２０の次の順序のカメラアダプタ１２０である。各カメラアダプタ１２０が前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づいて仮想視点画像が生成される。尚、撮影画像から分離された前景画像を出力して背景画像は出力しないカメラアダプタ１２０が存在しても良い。また、前景画像と背景画像との分離は後述する画像コンピューティングサーバ２００の内部で行っても良い。

【0034】

時刻制御部６１１２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０と時刻同期を行う機能とを有する。尚、時刻同期のためのプロトコルは、ＩＥＥＥ１５８８に限定されず、例えば、他のＥｔｈｅｒＡＶＢ規格や、独自のプロトコルでも良い。本実施形態では、ネットワークアダプタ６１１０としてＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）を利用するが、ネットワークアダプタ６１１０は、ＮＩＣに限定されず、他のＩｎｔｅｒｆａｃｅを利用しても良い。また、ＩＥＥＥ１５８８は、ＩＥＥＥ１５８８−２００２、ＩＥＥＥ１５８８−２００８のように標準規格として更新されている。後者は、ＰＴＰｖ２（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ Ｖｅｒｓｉｏｎ２）とも呼ばれる。

【0035】

伝送部６１２０は、ネットワークアダプタ６１１０を介してスイッチングハブ１８０等に対するデータの伝送を制御する機能を有し、以下の機能部を有する。
時刻同期制御部６１２１は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有する。尚、時刻同期を行うためのプロトコルは、ＰＴＰに限定されず、他の同様のプロトコルを利用して時刻同期を行っても良い。

【0036】

画像・音声伝送処理部６１２２は、画像データおよび音声データを、データ送受信部６１１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有する。メッセージには、画像データおよび音声データと、各データのメタ情報とが含まれる。本実施形態のメタ情報には、画像の撮影をした時および音声のサンプリングをした時のタイムコードまたはシーケンス番号と、データ種別と、カメラ１１２、マイク１１１の個体を示す識別子等が含まれる。また、画像・音声伝送処理部６１２２は、他のカメラアダプタ１２０からデータ送受信部６１１１を介してメッセージを受け取る。そして、画像・音声伝送処理部６１２２は、他のカメラアダプタ１２０から受け取ったメッセージに含まれるデータ種別に応じて、伝送プロトコルに規定されるパケットサイズにフラグメントされたデータ情報を画像データ、音声データに復元する。

【0037】

帯域監視部６１２３は、自身が属するカメラアダプタ１２０よりもネットワーク１７０の上流から送信されるデータのデータ量を監視し、この結果を後述する画像処理部６１３０に通知する。
画像処理部６１３０は、カメラ制御部６１４１の制御によりカメラ１１２が撮影した画像データに対して処理を行う機能を有し、以下の機能部を有する。

【0038】

前景背景分離部６１３１は、カメラ１１２が撮影した画像データを前景画像と背景画像とに分離する機能を有する。即ち、前景背景分離部６１３１は、自身が属するカメラアダプタ１２０に対応するカメラ１１２により撮影された画像データから所定領域を抽出する。所定領域は、例えば、撮影画像に対するオブジェクトの検出結果として得られる前景画像の領域である。前景背景分離部６１３１は、この所定領域の抽出結果に基づいて、撮影画像を前景画像と背景画像とに分離する。尚、オブジェクトとは、例えば、人物などの被写体である。ただし、オブジェクトは、特定人物（選手、監督、及び／又は審判等）であっても良いし、ボールやゴール等、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像と、そのようなオブジェクトを含まない背景領域とを分離して処理することで、画像処理システム１００において生成される仮想視点画像のオブジェクトに該当する部分の画像の品質を向上することが出来る。また、前景画像と背景画像との分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることが出来る。尚、所定領域は、前景画像に限定されず、例えば背景画像であっても良い。

【0039】

データ選択処理部６１３２は、前景背景分離部６１３１で分離された前景画像および背景画像のデータ量を計測する。データ選択処理部６１３２は、この計測したデータ量と、自身が属するカメラアダプタ１２０よりも上流のネットワーク１７０から送信されるデータのデータ量との和が所定のデータ量を超えるか否かを判定する。尚、自身が属するカメラアダプタ１２０よりも上流のネットワークから送信されるデータのデータ量は、帯域監視部６１２３から通知される。

【0040】

この判定の結果、このデータ量が所定のデータ量を超える場合、データ選択処理部６１３２は、このデータ量を当該所定のデータ量以下に制限する。そのために、まず、データ選択処理部６１３２は、前景背景分離部６１３１で分離された前景画像および背景画像から、送信するデータを選択する。そして、データ選択処理部６１３２は、この選択したデータを伝送部６１２０へ送ると共に、送信しなかったデータを記憶部６１３３へ送る。一方、このデータ量が所定のデータ量を超えない場合、データ選択処理部６１３２は、記憶部６１３３に記憶されているデータを読み出し、これを加えて伝送部６１２０へ送る。データ選択処理部６１３２の処理の詳細に関しては後述する。

【0041】

外部機器制御部６１４０は、カメラアダプタ１２０に接続される機器を制御する機能を有し、以下の機能部を有する。
カメラ制御部６１４１は、カメラ１１２と接続し、カメラ１１２の制御、カメラ１１２で撮影された画像データの取得、同期信号の提供、および時刻設定等を行う機能を有する。

【0042】

カメラ１１２の制御には、例えば、撮影パラメータ（画素数、色深度、フレームレート、およびホワイトバランスの設定等）の設定および参照が含まれる。さらに、カメラ１１２の制御には、カメラ１１２の状態（撮影中、停止中、同期中、およびエラー等）の取得と、撮影の開始および停止と、ピント調整等が含まれる。
同期信号の提供は、時刻同期制御部６１２１で得られる、タイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。
時刻設定は、時刻同期制御部６１２１で得られる、タイムサーバ２９０と同期した時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受け取る画像データに、カメラ制御部６１４１から提供されるタイムコードが付与されることになる。尚、タイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されず、他のフォーマットであっても良い。また、カメラ制御部６１４１は、カメラ１１２に対するタイムコードの提供をせず、カメラ１１２から受け取った画像データに自身がタイムコードを付与しても良い。

【0043】

マイク制御部６１４２は、マイク１１１と接続し、マイク１１１の制御と、マイク１１１での収音の開始および停止と、マイク１１１で収音された音声データの取得等を行う機能を有する。
雲台制御部６１４３は、雲台１１３と接続し、雲台１１３の制御を行う機能を有する。雲台１１３の制御には、例えば、パン・チルト制御や、雲台１１３の状態の取得等が含まれる。
本実施形態の画像処理システム１００においては、前景画像および背景画像が、デイジーチェーンで接続された複数のカメラアダプタ１２０間を伝送してフロントエンドサーバ２３０に入力される。ここで、撮影画像内で前景領域が極端に多くなる場合には、伝送される前景画像のデータ量が膨大になる。

【0044】

本実施形態の画像処理システム１００をサッカースタジアムに設置した例を、図３を用いて説明する。図３において、カメラアダプタ１２０をデイジーチェーンで接続するネットワーク１７０は、ネットワーク１７０Ａ、１７０Ｂの２系統に分けられる。それぞれのネットワーク１７０Ａ、１７０Ｂに接続されたカメラアダプタ１２０に対応するカメラ１１２は、それぞれのゴール前をカバーするように注目領域３０１０Ａまたは３０１０Ｂを撮影するように設置される。図３に示す例では、それぞれの注目領域３０１０Ａ、３０１０Ｂに対して、画像処理システム１００が１つずつ設置される。サッカー等の団体スポーツの性格として、ボール３０２０のあるサイドに位置するプレーヤの数は多くなる。このことから、ボール３０２０のあるサイドの注目領域３０１０Ａを撮影しているセンサシステム１１０では、前景画像となるオブジェクトが多くなり、送信するデータのデータ量は増加する。一方、ボール３０２０のないサイドに位置するプレーヤの数は少なくなる。このことから、ボールのないサイドの注目領域３０１０Ｂを撮影しているセンサシステム１１０では、前景画像となるオブジェクトが少なくなり、送信するデータのデータ量は減少する。注目領域内の選手の数が増えた場合、当該注目領域を撮影するセンサシステム１１０から出力されるデータのデータ量は増加する。このため、センサシステム１１０がこのままデータを送信すると、デイジーチェーンで接続されたネットワーク１７０の下流に接続されたセンサシステム１１０では、上流から送信されるデータで通信帯域が飽和してしまい、データを送信できない状態となる。

【0045】

そこで、本実施形態では、注目領域に選手が集まり、センサシステム１１０から出力されるデータのデータ量が増加した場合に、デイジーチェーンで伝送されるデータのデータ量が予め設定された伝送帯域を超過しないようにする。例えば、センサシステム１１０毎に送信可能な帯域を割り当てることにより、データ量が予め設定された伝送帯域を超過しないようにする。このようにする方法の一例を、図４および図５を用いて説明する。
図４は、カメラアダプタ１２０ａ、１２０ｂおよび１２０ｃ間のデータの流れの一例を示す図である。カメラアダプタ１２０ａとカメラアダプタ１２０ｂとが相互に接続され、カメラアダプタ１２０ｂとカメラアダプタ１２０ｃとが相互に接続される。また、カメラアダプタ１２０ｂにはカメラ１１２ｂが接続されており、カメラアダプタ１２０ｃは、フロントエンドサーバ２３０と相互に接続される。以下に、カメラアダプタ１２０ｂの画像処理部６１３０のデータ出力処理の一例を説明する。

【0046】

カメラアダプタ１２０ｂの伝送部６１２０には、カメラ１１２ｂで撮影された画像データ６７２０に対して画像処理部６１３０で画像処理およびデータ量の調整が行われたデータと、カメラアダプタ１２０ａから送信されたデータ６７２１とが入力される。また、伝送部６１２０には、画像データ６７２０に対するタイムコードを含むメタ情報が入力される。伝送部６１２０は、入力された画像データやメタ情報に対して、パケット化等の処理を行って、当該処理を行ったデータをネットワークアダプタ６１１０に出力する。

【0047】

図４に示すカメラ１１２ｂで撮影された画像データ６７２０は、当該情報処理装置に接続される撮影装置により撮影された撮影画像に含まれる被写体の画像を含むデータの一例である。また、例えば、カメラアダプタ１２０ａにより、予め決められた順序において当該情報処理装置の１つ前の順序になる前記情報処理装置の一例が実現される。また、例えば、カメラアダプタ１２０ａから送信されたデータ６７２１により、予め決められた順序において当該情報処理装置の１つ前の順序になる前記情報処理装置から伝送された被写体の画像を含むデータの一例が実現される。また、例えば、カメラアダプタ１２０ｃにより、予め決められた順序において当該情報処理装置の次の順序になる前記情報処理装置の一例が実現される。

【0048】

次に、図５のフローチャートを参照しながら、カメラアダプタ１２０ｂから出力するデータを選択する際のデータ選択処理部６１３２の処理の一例を説明する。図５のフローチャートは、カメラアダプタ１２０ｂから出力するデータ毎に繰り返し実行される。
データ選択処理部６１３２は、前景背景分離部６１３１から出力されるデータのデータ量を取得する（Ｓ５００１）。次に、データ選択処理部６１３２は、カメラアダプタ１２０ａから送信されるデータ６７２１のデータ量を帯域監視部６１２３から取得する（Ｓ５００２）。次に、データ選択処理部６１３２は、Ｓ５００１、Ｓ５００２で取得したデータ量に基づいて、カメラアダプタ１２０ｃへ出力するデータのデータ量を導出する（Ｓ５００３）。

【0049】

本実施形態では、データ選択処理部６１３２は、Ｓ５００１、Ｓ５００２において、撮影画像に含まれる被写体の画像を含むデータであって、外部装置に伝送する対象となるデータである伝送対象データのデータ量を取得する。伝送対象データは、例えば、前景背景分離部６１３１から出力されるデータと、カメラアダプタ１２０ａから送信されるデータ６７２１とである。

【0050】

次に、データ選択処理部６１３２は、Ｓ５００３で導出されたデータ量と、予め指定された伝送帯域制約量とを比較し、伝送可能性を確認する。具体的にデータ選択処理部６１３２は、伝送部６１２０へ出力するデータ量が予め指定された伝送帯域制約量を超えるか否かを判定する（Ｓ５００４）。尚、Ｓ５００３で導出されたデータ量と、予め指定された伝送帯域制約量との比較はデータ種別毎（ここでは、例えば、前景画像、背景画像）に行っても良い。
本実施形態では、データ選択処理部６１３２は、Ｓ５００において、前記伝送対象データのデータ量が閾値を超えるか否かを判定する。また、Ｓ５００４でＹｅｓの場合が、前記伝送対象データのデータ量が閾値を超える場合の一例であり、Ｓ５００４でＮｏの場合が、前記伝送対象データのデータ量が閾値を超えない場合の一例である。また、例えば、伝送帯域制約量により、閾値の一例が実現される。

【0051】

Ｓ５００４の判定の結果、Ｓ５００３で導出されたデータ量が、予め指定された伝送帯域制約量を超える場合（Ｓ５００４でＹｅｓの場合）、データ選択処理部６１３２は、出力データ量オーバ時の処理方法の選択設定を取得する（Ｓ５００５）。この選択設定は、コントローラ３００から設定されても良い。また、選択設定は、対象とするエンドユーザ端末１９０の種別や、競技の種別によって決定されても良い。例えば、エンドユーザ端末１９０の種別が、解像度の低い種別であれば解像度を落とす処理が選択設定として決定される。データ選択処理部６１３２は、Ｓ５００５で取得した出力データ量オーバ時の処理方法の選択設定に基づいて、以下で説明する複数の処理の何れかを選択する（Ｓ５００６）。

【0052】

選択設定が、フレームレートを落とす設定を示す場合、データ選択処理部６１３２は、画像データを出力するフレームレートを落として伝送部６１２０に出力する処理を行う（Ｓ５００７）。この処理では、前景画像と背景画像とを含むフレームを間引いて伝送することによりデータ量が削減される。伝送部６１２０は、ネットワークアダプタ６１１０を介して、Ｓ５００７で処理されたデータの送信を行う。そして、データ選択処理部６１３２は、間引かれたフレームのデータを、メタ情報と共に、記憶部６１３３に記憶する（Ｓ５００８）。

【0053】

選択設定が、解像度を落とす設定を示す場合、データ選択処理部６１３２は、画像データの解像度を落として伝送部６１２０に出力する処理を行う（Ｓ５００９）。伝送部６１２０は、ネットワークアダプタ６１１０を介して、Ｓ５００９で処理されたデータの送信を行う。そして、データ選択処理部６１３２は、解像度を落とす前の画像データと解像度を落とした画像データとの差分をメタ情報と共に記憶部６１３３に記憶する（Ｓ５０１０）。
選択設定が、圧縮処理を行う設定を示す場合、データ選択処理部６１３２は、画像データに対して圧縮処理を行って伝送部６１２０に出力する処理を行う（Ｓ５０１１）。伝送部６１２０は、ネットワークアダプタ６１１０を介して、Ｓ５０１１で処理されたデータの送信を行う。データ選択処理部６１３２は、通常は可逆圧縮を行い画像データのデータ量を削減するが、Ｓ５００３で導出されたデータ量が、予め指定された伝送帯域制約量を超える場合、圧縮率を上げるために非可逆圧縮に切り替えてデータ量を削減する。非可逆圧縮が行われた場合、データ選択処理部６１３２は、元画像に復元するための情報（例えば非圧縮画像）をメタ情報と共に記憶部６１３３に記憶する（Ｓ５０１２）。元画像に復元するための情報はこれに限定されず、非可逆圧縮を行った結果、その劣化を補正するデータを符号化した情報でも構わない。また、データ選択処理部６１３２は、可逆圧縮した画像を記憶部６１３３に記憶しても良い。

【0054】

選択設定が、重要度の高い画像データを選択する設定を示す場合、データ選択処理部６１３２は、次の処理を行う。即ち、データ選択処理部６１３２は、前景画像および背景画像の重要度に応じて、送信する前景画像および背景画像の少なくとも何れか一方を選択してメタ情報と共に伝送部６１２０に出力する処理を行う（Ｓ５０１３）。伝送部６１２０は、ネットワークアダプタ６１１０を介して、Ｓ５０１３で処理されたデータの送信を行う。そして、データ選択処理部６１３２は、Ｓ５０１３で選択しなかった前景画像・背景画像の画像データをメタ情報と共に記憶部６１３３に記憶する（Ｓ５０１４）。

【0055】

本実施形態では、データ選択処理部６１３２は、Ｓ５００７、Ｓ５００９、Ｓ５０１１、Ｓ５０１３において、前記伝送対象データを調整する。また、Ｓ５００７、Ｓ５００９、Ｓ５０１３において、前記伝送対象データから、前記外部装置に伝送するデータが選択される。また、例えば、Ｓ５００７、Ｓ５００９、Ｓ５０１３が、それぞれ、フレームの単位、画素の単位、オブジェクトに基づいて定まる領域の単位で、前記伝送対象データから、前記外部装置に伝送するデータを選択することの一例である。オブジェクトに基づいて定まる領域は、例えば、前景画像、背景画像の領域に対応する。また、例えば、Ｓ５０１１が、前記伝送対象データを圧縮することの一例である。また、本実施形態では、データ選択処理部６１３は、Ｓ５００８、Ｓ５０１０、Ｓ５０１２、Ｓ５０１４において、調整された前記伝送対象データを元の前記伝送対象データに近づけるためのデータを記憶する。

【0056】

データ選択処理部６１３２での処理および記憶部６１３３に記憶するデータは、前述した例に限定されない。例えば、データ選択処理部６１３２は、予め指定されたデータ量の閾値Ｎ内に、送信するデータ量に抑える選択処理を行い、送信したデータを選択前のデータに復元可能な、またはできるだけ復元可能なデータを、メタ情報と共に記憶部６１３３に記憶すれば良い。また、データ選択処理部６１３２は、送信したデータを使用して復元が不可能な場合には、元のデータの全てを記憶部６１３３に記憶しても良い。

【0057】

一方、Ｓ５００３で導出されたデータ量が、予め指定された伝送帯域制約量を超えない場合（Ｓ５００４でＮｏの場合）、データ選択処理部６１３２は、次の処理を行う。即ち、データ選択処理部６１３２は、Ｓ５００３で導出されたデータ量と、予め指定された伝送帯域制約量との差に収まるデータを記憶部６１３３から読み出す（Ｓ５０１５）。そして、データ選択処理部６１３２は、伝送部６１２０に読み出したデータを出力する。伝送部６１２０は、ネットワークアダプタ６１１０を介して、Ｓ５０１５で読み出されたデータと、伝送帯域制約量を超えないデータ（Ｓ５００１、Ｓ５００２でデータ量が取得されたデータ）の送信を行う。

【0058】

本実施形態では、例えば、伝送部６１２０およびネットワークアダプタ６１１０は、Ｓ５０１５において、調整された前記伝送対象データを伝送した後に、調整された当該伝送対象データを元の当該伝送対象データに近づけるためのデータを伝送する。

【0059】

図６は、データ量の時間変化の一例を示す図である。具体的に図６は、前景背景分離部６１３１から出力されるデータのデータ量と、ネットワークの上流から送信されるデータのデータ量とを加えた値の時間変化の一例を示す図である。図６では、予め指定された伝送帯域制約量をＮで表す。各カメラアダプタ１２０における伝送帯域制約量Ｎを、例えば、以下の値にすることが出来る。即ち、デイジーチェーンにおける伝送量を、画像処理システム１００に設置したセンサシステム１１０の台数で割った値に、自身よりもデイジーチェーンの上流に接続されたセンサシステム１１０の台数＋１を掛けた値にすることが出来る。ただし、各カメラアダプタ１２０における伝送帯域制約量Ｎは、これに限定されない。尚、デイジーチェーンにおける伝送量とは、ネットワークに伝送することが出来る所定のデータ量であり、例えば、ネットワークに伝送することが出来る最大のデータ量である。

【0060】

各カメラアダプタ１２０から出力されるデータのデータ量が予め指定された伝送帯域制約量Ｎを超える場合、そのままデータを出力してしまうと通信帯域がデイジーチェーンの下流側で飽和してしまう可能性が高い。このため、ネットワークの下流に接続されたセンサシステム１１０ではデータを送信できない状態となる。そこで、データ選択処理部６１３２は、自身が属するカメラアダプタ１２０から出力されるデータのデータ量が伝送帯域制約量Ｎ以内に収まるよう、出力するデータを選択する。このようにしてデータ選択処理部６１３２から伝送部６１２０に出力されるデータは、データ６１０からデータ６２０に削減される。そして、データ選択処理部６１３２は、自身が属するカメラアダプタ１２０から出力されなかったデータを記憶部６１３３に記憶する。そして、データ選択処理部６１３２は、出力するデータのデータ量が予め指定された伝送帯域制約量Ｎを超えないと判定すると、この空いている帯域（図６の斜線部分）を利用して記憶部６１３３からデータを読み出し、それらのデータを一緒に送信する。

【0061】

次に、図７および図８を用いて、前述したデータ選択処理の結果としてデータベース２５０に送信されるデータの変化を、時間経過も含めて説明する。
まず、図７を用いて、データ選択処理部６１３２で導出したデータが、予め指定された伝送帯域制約量Ｎを超えるため、フレームレートを４分の１に落としてデータを送信する場合を例に挙げて、データベース２５０に送信されるデータの変化の一例を説明する。尚、本説明は、図５のＳ５００６で、Ｓ５００７の処理が選定された場合の処理の説明である。図７において、Ａ・Ｂ・Ｃ・Ｄはセンサシステム１１０を表し、ｔ１・ｔ２・ｔ３・ｔ４・ｔ５は時刻を表す。丸は時刻ｔ１〜ｔ５でカメラ１１２により撮影されたフレームのデータを表す。

【0062】

データ選択処理部６１３２は、自身が属するカメラアダプタ１２０に接続されるカメラ１１２で撮影した際に、伝送部６１２０へ出力するデータのデータ量が伝送帯域制約量Ｎを超えると判定する（Ｓ５００４のＹｅｓを参照）。そして、データ選択処理部６１３２は、図７の状態７１０の実線の丸で表すフレームデータを選択し（Ｓ５００７）、伝送部６１２０へ出力する。また、データ選択処理部６１３２は、図７の状態７１０の破線の丸で表すフレームデータを記憶部６１３３に記憶する（Ｓ５００８）。これによりデータ選択処理部６１３２から伝送部６１２０へ出力するデータのデータ量は、データ選択処理部６１３２から本来伝送部６１２０へ出力するデータのデータ量に対して４分の１に削減される。

【0063】

その後、データ選択処理部６１３２は、伝送部６１２０へ出力するデータのデータ量が伝送帯域制約量Ｎを超えない（Ｓ５００４でＮｏ）と判定すると、記憶部６１３３に記憶した破線の丸で表すフレームデータを読み出す（Ｓ５０１５）。そして、データ選択処理部６１３２は、この読み出したフレームデータを前景背景分離部６１３１から出力されたデータに加えて伝送部６１２０へ出力する。この結果、伝送部６１２０から送信されるフレームデータ（実線の丸で表されるフレームデータ）は、時間の経過と共に徐々に増える（図７の状態７１０→状態７２０→状態７３０→状態７４０を参照）。そして、最終的には全てのフレームデータが伝送部６１２０から送信される。実際には、伝送帯域に空きがあるときに送信されるフレームデータの送信が完了するまでの時間には、センサシステム１１０間でばらつきがある。図７に示す例では、データ選択処理部６１３２は、時刻ｔ１、ｔ５のフレームデータ→ｔ３のフレームデータ→ｔ２のフレームデータ→ｔ４のフレームデータの順番で、伝送部６１２０へ出力するフレームデータを選択する。このようにすれば、フレームデータを送信している途中で、送信が完了したフレームがなるべく均等となるようにすることが出来る。

【0064】

データベース２５０では、各時刻で各センサシステム１１０からの１フレームのフレームデータの受信が完了したか否かと、その時刻の全てのセンサシステム１１０のフレームデータが揃っているか否かを、状態管理テーブルで管理する。そして、データベース２５０は、バックエンドサーバ２７０からのフレームデータの要求に対して、状態管理テーブルに沿って、そのフレームデータの提供を行うか否かを決定する。このため、バックエンドサーバ２７０で生成される仮想視点画像は、撮影直後には１５ｆｐｓの画像となるが、時間が経過してデータが揃うことにより徐々にフレームレートが上がり、最終的には６０ｆｐｓの仮想視点画像になる。

【0065】

次に、図８を用いて、データ選択処理部６１３２で導出したデータが、予め指定された伝送帯域制約量Ｎを超えるため、解像度を縦横２分の１に落としてデータを送信する場合を例に挙げて、データベース２５０に送信されるデータの変化の一例を説明する。尚、本説明は、図５のＳ５００６で、Ｓ５００９の処理が選定された場合の処理の説明である。図８において、ｘ１〜ｘ５は画素のｘ座標を表し、ｙ１〜ｙ５は画素のｙ座標を表し、丸は各座標の画素データを表す。

【0066】

データ選択処理部６１３２は、自身が属するカメラアダプタ１２０に接続されるカメラ１１２で撮影した時に、伝送部６１２０へ出力するデータのデータ量が伝送帯域制約量Ｎを超えると判定する（Ｓ５００４のＹｅｓを参照）。そして、データ選択処理部６１３２は、図８の状態８１０の実線の丸で表す画素データを選択し（Ｓ５００９）、伝送部６１２０へ出力する。また、データ選択処理部６１３２は、図８の状態８１０の破線の丸で表す画素データを記憶部６１３３に記憶する（Ｓ０５０１０）。これによりデータ選択処理部６１３２から伝送部６１２０へ出力するデータのデータ量は、データ選択処理部６１３２から本来伝送部６１２０へ出力するデータのデータ量に対して４分の１に削減される。

【0067】

その後、データ選択処理部６１３２は、伝送部６１２０へ出力するデータのデータ量が伝送帯域制約量Ｎを超えない（Ｓ５００４でＮｏ）と判定すると、記憶部６１３３に記憶した破線の丸で表す画素データ読み出す（Ｓ５０１５）。そして、データ選択処理部６１３２は、この読み出した画素データを、前景背景分離部６１３１から出力されたデータに加えて伝送部６１２０へ出力する。この結果、伝送部６１２０から送信される画素データ（実線の丸で表される画素データ）は、時間の経過と共に徐々に増える（図８の状態８１０→状態８２０→状態８３０→状態８４０を参照）。そして、最終的には全ての画素データが伝送部６１２０から送信される。実際には、伝送帯域に空きがあるときに送信される画素データの送信が完了するまでの時間には、センサシステム１１０間でばらつきがある。図８に示す例では、データ選択処理部６１３２は、奇数列・奇数行の画素データ→偶数列・偶数行の画素データ→偶数列・奇数行の画素データ→奇数列・偶数行の画素データの順番で、伝送部６１２０へ出力する画素データを選択する。このようにすれば、画素データを送信している途中で、送信が完了した画素がなるべく均等となるようにすることが出来る。

【0068】

データベース２５０では、各センサシステム１１０からの各フレームの画素データの受信状況を状態管理テーブルで管理する。そして、データベース２５０は、バックエンドサーバ２７０からのフレームデータの要求に対して、不足している画素データがある場合には、状態管理テーブルに沿って必要となる画素を補完して、画素データを提供する。このため、バックエンドサーバ２７０で生成される仮想視点画像は、撮影直後には縦横の解像度が２分の１に低下しているが、時間が経過してデータが揃うことにより徐々に解像度が上がり、最終的には本来の解像度の仮想視点画像になる。

【0069】

図７および図８では、説明を分かり易くするために、データ量を４分の１に減らす場合を例に挙げて説明した。しかしながら、データを減らす量は、伝送部６１２０へ出力するデータのデータ量が、伝送帯域制約量Ｎ（カメラアダプタ１２０で送信可能なデータ量）をどのくらい超えるかによって決定される。
また、本実施形態では、デイジーチェーンで接続されたネットワーク１７０を例に挙げて説明した。しかしながら、カメラアダプタ１２０の接続形態は、デイジーチェーン接続に限定されない。例えば、スター型のネットワークでも各センサシステム１１０から出力されるデータのデータ量を制限する必要がある場合にも適用可能である。例えば、フロントエンドサーバ２３０のネットワークから入力するデータの帯域に上限がある場合や、データベース２５０で入力するデータの帯域に上限がある場合等が考えられる。この場合、上流からのデータのデータ量を帯域監視部６１２３で監視する必要がなくなるだけの違いで、前述したデイジーチェーン接続された場合と同様に、本実施形態の手法を適用することが可能である。

【0070】

また、本実施形態では、記憶部６１３３の容量が十分なものとして説明した。しかしながら、記憶部６１３３として、ある程度の容量のものを使用せざるを得ない状況になることがある。この場合、データ選択処理部６１３２は、記憶部６１３３の内容を消去して新たな画像データを格納する必要がある。このため、データ選択処理部６１３２は、例えば、タイムコードが古いものから順次消去する。ただし、容量に制限がある場合に記憶部６１３３に必要なデータを記憶するための手法は、これに限定されない。例えば、データ選択処理部６１３２は、背景画像から消去する等、画面内のデータの重要度に基づいて、記憶部６１３３から消去するデータを決定しても構わない。

【0071】

以上のように本実施形態では、データ選択処理部６１３２は、通信帯域に制約があり送信するデータを選択する必要がある場合、選択したデータを送信すると決定すると共に、選択しなかったデータを記憶部６１３３に記憶する。その後、データ選択処理部６１３２は、通信帯域に空きがあるときに、記憶部６１３３に記憶しておいたデータを送信する。従って、仮想視点画像を生成するに際し、各カメラ１１２で撮影された画像の伝送のための通信帯域が不足すること乃至は圧迫することを抑制することが出来る。また、時間の経過と共に徐々に高画質な仮想視点画像を生成することが可能となる。

【0072】

尚、本実施形態では、カメラアダプタ１２０から出力されるデータのデータ量が予め指定された伝送帯域制約量Ｎを超える場合の処理方法の選択を行う場合について説明したが、処理方法は、前述した方法に限定されない。図５に示したＳ５００７〜Ｓ５００８、Ｓ５００９〜Ｓ５０１０、Ｓ５０１１〜Ｓ５０１２、Ｓ５０１３〜Ｓ５０１４の全ての処理を選択肢とする必要はなく、何れか一つを実施しても構わない。また、処理はこれらに限定されない。

【0073】

＜第２の実施形態＞
次に、第２の実施形態を説明する。第１の実施形態では、センサシステム１１０毎に通信帯域を監視して、送信する通信帯域に空きがあるときに送信するデータを決定する場合を例に挙げて説明した。しかしながら、記憶部６１３３に記憶されたデータ容量に対して、通信帯域の空きが少ない場合には、送信するデータの優先順位を指示し、優先度の高いデータから送信したい場合がある。本実施形態では、このような場合について説明する。このように本実施形態と、第１の実施形態とは、データ選択処理部６１３２により、伝送部６１２０へ出力するデータのデータ量が伝送帯域制約量Ｎを超えない（Ｓ５００４でＮｏ）と判定される場合の処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。

【0074】

本実施形態の画像処理システムの構成の一例は、図１に示した構成と同じである。コントローラ３００は、操作者が重要であると判断したシーンを選んで決定したり、画像を自動解析して、重要であると判断したシーンを決定したりする。ここでの重要なシーンとは、例えば、サッカースタジアムに画像処理システムを適用した場合、ゴールシーンやシュートシーン等、ユーザが振り返って見たいと思うようなシーンを指す。本実施形態では、撮影時のタイムコード（開始時刻と終了時刻）でシーンを指定する場合を例に挙げて説明する。
このようにしてコントローラ３００で決定されたシーン情報が、ネットワーク３１０ａ、１８０ａ、１７０を経由してセンサシステム１１０内のデータ選択処理部６１３２に通知される。
本実施形態では、データ選択処理部６１３２が、シーン情報を取得する。

【0075】

次に、データの通信帯域に空きがある場合のデータ選択処理部６１３２の処理（図５のＳ５０１５の処理）の一例を、図９と図１０とを用いて説明する。図９は、図５のＳ５０１５の処理の一例を説明するフローチャートである。図１０は、データ量の時間変化の一例を示す図である。具体的に図１０は、前景背景分離部６１３１から出力されるデータのデータ量と、ネットワークの上流から送信されるデータのデータ量とを加えた値の時間変化の一例を示す図である。図１０では、予め指定された伝送帯域制約量をＮで表す。

【0076】

ここで、データ量が伝送帯域制約量Ｎを超える場合、データ選択処理部６１３２でデータの選択処理が行われ、この選択処理で選択されなかったデータが記憶部６１３３に記憶される。図１０では、この記憶部６１３３に記憶される期間をＤ１〜Ｄ４で表し、データの通信帯域に余裕がある期間をＥ１〜Ｅ３で表す。また、コントローラ３００は、重要なシーンを特定するためのシーン情報として、次の２つのシーン情報を指定する。まず、コントローラ３００は、シーン情報Ｐ１を指定する。シーン情報Ｐ１には、最初の重要なシーンの開始時刻ｔ１ｓおよび終了時刻ｔ１ｅが含まれる。また、コントローラ３００は、シーン情報Ｐ２を指定する。シーン情報Ｐ２には、次の重要なシーンの開始時刻ｔ２ｓおよび終了時刻ｔ２ｅが含まれる。

【0077】

期間Ｄ１（時刻ｔ０〜時刻ｔ１）、Ｄ２（時刻ｔ２〜時刻ｔ３）、Ｄ３（時刻ｔ４〜時刻ｔ５）、Ｄ４（時刻ｔ６〜時刻ｔ７）では、データ量が伝送帯域制約量Ｎを超える。このため、Ｓ５００８、Ｓ５０１０、Ｓ５０１２、Ｓ５０１４において、データ選択処理部６１３２は、時間情報を付加してデータを記憶部６１３３に記憶する。次に、データ量が伝送帯域制約量Ｎを下回った期間Ｅ１（時刻ｔ１〜時刻ｔ２）では、シーン情報がコントローラ３００から指示されていない。このため、データ選択処理部６１３２は、シーン情報がコントローラ３００から指示されていないと判定する（図９のＳ９００１でＮｏと判定される）。従って、データ選択処理部６１３２は、期間Ｄ１で記憶したデータを記憶部６１３３から読み出し、当該データを送信する（図９のＳ９００３を参照）。期間Ｄ１で記憶したデータ量と比較して、期間Ｅ１で送信できるデータ量が少ないことから、時刻ｔ２の時点ではまだ記憶部６１３３内に、期間Ｄ１に記憶したデータが残っている。次に、期間Ｄ２（時刻ｔ２〜時刻ｔ３）では、再びデータ量が伝送帯域制約量Ｎを超える。このため、データ選択処理部６１３２は、時間情報を付加してデータを記憶部６１３３に記憶する。ここで、コントローラ３００から優先して送信するためのシーン情報（開始時刻：ｔ１ｓ、終了時刻：ｔ１ｅ、シーン情報Ｐ１）が通知される。

【0078】

時刻ｔ３でデータ量が伝送帯域制約量Ｎを下回ると（Ｓ５００４でＮｏと判定されると）、データ選択処理部６１３２は、シーン情報が指示されていると判定する（図９のＳ９００１でＹｅｓと判定される）。そこで、データ選択処理部６１３２は、記憶部６１３３に記憶された順番（即ち時間的に古い順）で、期間Ｄ１に記憶されているデータではなく、シーン情報で指示されたデータを優先して記憶部６１３３から読み出す（図９のステップＳ９００２、Ｓ９００３）。具体的に、時刻ｔ１ｓ〜時刻ｔ１ｅのデータが、記憶部６１３３から読み出される。本実施形態では、データ選択処理部６１３２は、Ｓ９００２において、記憶されたデータから、データ特定情報により特定されるデータを選択する。

【0079】

シーン情報で指示されたデータの読み出しが完了した後は、データ選択処理部６１３２は、再び記憶部６１３３に記憶されているデータを、記憶部６１３３に対する記憶が行われた順番で読み出す。また、時刻ｔ７においても時刻ｔ３と同様に、データ選択処理部６１３２は、データ量が伝送帯域制約量Ｎを下回ると判定する（Ｓ５００４でＮｏと判定される）。この場合、データ選択処理部６１３２は、シーン情報で指示されたデータ（時刻ｔ２ｓ〜時刻ｔ２ｅのデータ）を優先して記憶部６１３３から読み出す（図９のステップＳ９００２、Ｓ９００３）。

【0080】

以上のように本実施形態では、データ選択処理部６１３２は、データの通信帯域に空きがある場合、コントローラ３００から指定したシーンのデータを優先して選択し、伝送部６１２０に出力する。従って、第１の実施形態で説明した効果に加え、より優先度の高いシーンの仮想視点画像をより少ない時間の遅延で生成することが可能となる。

【0081】

本実施形態では、撮影時のタイムコード（開始時刻と終了時刻）でシーンを指定する場合を例に挙げて説明した。しかしながら、シーンを指定する方法は、これに限定されず、シーンを特定することが出来ればよい。例えば、コントローラ３００は、フレーム番号を指定しても良い。また、コントローラ３００は、より重要度の高いシーンを優先して送信することが出来るように、重要なシーンを特定するためのシーン情報で特定される各シーンに対し優先度（優先順位）の情報を付加することが出来る。その他、本実施形態においても、第１の実施形態で説明した種々の変形例を採用することができる。本実施形態では、例えば、撮影時のタイムコードを用いることにより、データが得られた時刻情報の一例が実現され、フレーム番号を用いることにより、データの識別情報の一例が実現される。また、例えば、シーン情報Ｐ１、Ｐ２を用いることにより、複数のデータを特定するための情報の一例が実現される。また、例えば、シーン情報で特定される各シーンに対して付加される優先度（優先順位）の情報を用いることにより、記憶されたデータに対する優先順位を示す情報の一例が実現される。

【0082】

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【0083】

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0084】

１１０ａ〜１１０ｚ：センサシステム、１１２ａ〜１１２ｚ：カメラ、１２０ａ〜１２０ｚ：カメラアダプタ、１７０ａ〜１７０ｙ：ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】