2025-187140 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025187140

(43)【公開日】2025-12-25

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20251218BHJP

   G06T 15/20 20110101ALI20251218BHJP

   H04N 23/95 20230101ALI20251218BHJP

   H04N 23/60 20230101ALI20251218BHJP

【ＦＩ】

G06T19/00 A

G06T15/20 500

H04N23/95

H04N23/60 300

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2024095704

(22)【出願日】2024-06-13

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】田中 登馬

【テーマコード（参考）】

5B050

5C122

【Ｆターム（参考）】

5B050AA03

5B050BA09

5B050BA10

5B050BA11

5B050BA12

5B050BA13

5B050CA07

5B050CA08

5B050DA07

5B050EA04

5B050EA26

5B050FA02

5B050FA05

5B050GA08

5C122EA12

5C122GA01

5C122GA23

5C122GA24

5C122HA13

5C122HA35

(57)【要約】

【課題】 撮影状況に応じて、仮想視点画像の画質への影響を抑えつつ、仮想視点画像を生成するための撮像画像を記録するデータ量を削減することが容易ではなかった。
【解決手段】 情報処理装置１００は、仮想視点画像の生成に用いる複数の撮像装置から出力される複数の画像データを記録する記録媒体の空き容量を取得し、前記空き容量が閾値以下になった場合、特定の前記撮像装置から出力される前記画像データを前記記録媒体に記録させないための指示情報を送信する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

仮想視点画像の生成に用いる複数の撮像装置から出力される複数の画像データを記録する記録媒体の空き容量を取得する取得手段と、
前記空き容量が閾値以下になった場合、特定の前記撮像装置から出力される前記画像データを前記記録媒体に記録させないための指示情報を送信する送信手段と、
を有することを特徴とする情報処理装置。

【請求項2】

前記指示情報は、前記特定の撮像装置から生成される前記画像データを出力させない指示を示す情報であり、
前記送信手段は、前記指示情報を前記特定の撮像装置に送信することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記指示情報は、前記画像データの生成を停止させる指示を示す情報であり、
前記送信手段は、前記指示情報を前記特定の撮像装置に送信することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記指示情報は、前記特定の撮像装置から生成される前記画像データを、前記記録媒体に記録させない指示を示す情報であり、
前記送信手段は、前記指示情報を前記記録媒体に送信することを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記複数の撮像装置のうち、前記特定の撮像装置と異なる撮像装置は、前記空き容量が閾値以下になった場合でも前記画像データを出力することを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記特定の撮像装置は、前記複数の撮像装置の位置及び姿勢に基づいて決定されることを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記特定の撮像装置は、前記複数の撮像装置のうち、他の撮像装置と撮像範囲が重複している領域が大きい撮像装置であることを特徴とする請求項６に記載の情報処理装置。

【請求項8】

Ｘ－Ｙ平面上である座標と前記複数の撮像装置の座標とを結ぶ直線が成す複数の角度のうち、最大の角度である第１最大角を算出する第１算出手段と、
前記複数の撮像装置それぞれにおいて、１つの撮像装置を除き、ある座標と残りの撮像装置とを結ぶ直線が成す複数の角度のうち、最大の角度である第２最大角を算出することにより、前記複数の撮像装置それぞれを１つだけ除いた時の前記第２最大角を算出する第２算出手段と、
前記特定の撮像装置は、前記複数の撮像装置のうち、前記第２最大角が前記第１最大角より小さい角度である時に除いた撮像装置であることを特徴とする請求項６に記載の情報処理装置。

【請求項9】

前記複数の撮像装置のそれぞれにおいて、他の撮像装置と三次元座標及び姿勢の類似度を示す類似スコアを算出する算出手段と、
前記特定の撮像装置は、前記複数の撮像装置のうち、前記類似スコアが大きい撮像装置であることを特徴とする請求項６に記載の情報処理装置。

【請求項10】

前記特定の撮像装置は、複数の撮像装置であって、
前記空き容量に基づいて、前記特定の撮像装置の数を決定する決定手段を有することを特徴とする請求項１に記載の情報処理装置。

【請求項11】

仮想視点画像の生成に用いる複数の撮像装置から出力される複数の画像データを記録する記録媒体の空き容量を取得する取得工程と、
前記空き容量が閾値以下になった場合、前記複数の撮像装置のうち、特定の撮像装置に画像データを出力しない指示を送信する送信工程と、
を有することを特徴とする情報処理方法。

【請求項12】

請求項１乃至１０の何れか１項に記載の情報処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置及び情報処理方法、プログラムに関するものである。

【背景技術】

【0002】

複数の撮像装置を撮像対象の領域を囲うように異なる位置に設置して同期撮影し、当該撮影により得られた複数の撮像画像を用いて仮想視点画像を生成する技術が注目されている。高画質の仮想視点画像を生成するためには、異なる位置から撮影された多くの撮像画像を用いること、高解像度の撮像画像を用いることが望ましい。つまり、多くの撮像装置を用いることや、被写体を高解像度かつ高フレームレートで撮影することが望ましい。一方で、多くの撮像装置を用いる場合や、高解像度や高フレームレートで撮影する場合は撮像画像のデータ量が増加するため、撮影対象や撮影環境によっては記録媒体に記録できるデータ量を超えてしまう虞がある。その結果、撮像画像を記録できず、仮想視点画像が生成できなくなってしまう。このように、高画質な仮想視点画像の生成が望まれる一方、撮像画像のデータ量の削減も望まれており、両者はトレードオフの関係にある。

【0003】

特許文献１では、複数の撮像装置のうち、外部信号に対応する撮像装置を予め設定しておく。そして、外部信号を受信した際に、予め設定された撮像装置以外の撮像装置での撮影はフレームレートを低くする、あるいは撮像画像を高圧縮で記録する制御を行うことで、記録媒体に記録するデータ量を削減することが記載されている。言い換えると、データ量の削減対象となる撮像装置を予め設定しておくことが記載されている。特許文献１の記載を考慮すると、仮想視点画像の生成においても、複数の撮像装置のうち、データ量の削減対象とする撮像装置を予め設定しておくことが考えられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－１９４５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、仮想視点画像の撮影では、撮影時間が明確に定まっていない場合があり、適切な画質の仮想視点画像を維持しながらどの程度データ量を削減すればよいのか容易に判断できなかった。例えば、野球を撮影している場合、試合状況に応じて撮影時間が大きく異なる。得点があまり入らない試合では撮影時間が短く、多く得点が入る試合では撮影時間が長くなる。

【0006】

本開示は、撮影状況に応じて、仮想視点画像の画質への影響を抑えつつ、仮想視点画像を生成するための撮像画像を記録するデータ量を削減することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一態様による情報処理装置は下記の構成を有する。すなわち、
仮想視点画像の生成に用いる複数の撮像装置から出力される複数の画像データを記録する記録媒体の空き容量を取得する取得手段と、
前記空き容量が閾値以下になった場合、前記複数の撮像装置のうち、特定の撮像装置に画像データを出力しない指示を送信する送信手段と、
を有する。

【発明の効果】

【0008】

本開示によれば、撮影状況に応じて、仮想視点画像の画質への影響を抑えつつ、仮想視点画像を生成するための撮像画像を記録するデータ量を削減することができる。

【図面の簡単な説明】

【0009】

【図1】画像処理システム１の構成例を示す図である。

【図2】情報処理装置１００のハードウェア構成例を示す図である。

【図3】情報処理装置１００の構成例を示す図である。

【図4】画像処理システム１の動作フローを説明するためのフローチャートである。

【図5】実施例１に係るデータ削減の対象となる撮像装置の選択方法を示す図である。

【図6】実施例２に係るデータ削減の対象となる撮像装置の選択方法を示す図である。

【図7】実施例３に係るデータ削減の対象となる撮像装置の選択方法を示す図である。

【図8】実施例５に係る情報処理装置１００のハードウェア構成例を示す図である。

【図9】実施例５に係る情報処理装置１００の構成例を示す図である。

【図10】実施例５に係る画像処理システム１の動作フローを説明するためのフローチャートである。

【図11】実施例５に係る撮像装置と撮影される被写体のテクスチャの関係を示す図である。

【図12】実施例５に係るデータ削減の対象となる撮像装置の選択方法を示す図である。

【発明を実施するための形態】

【0010】

＜実施形態＞
本開示における情報処理装置は、仮想視点画像の生成に用いる複数の撮像装置から出力される複数の画像データを記録する記録媒体の空き容量を取得する取得手段を有する。また、前記空き容量が閾値以下になった場合、特定の前記撮像装置から出力される前記画像データを前記記録媒体に記録させないための指示情報を送信する送信手段を有する。

【0011】

また、前記指示情報が、前記特定の撮像装置から生成される前記画像データを出力させない指示を示す情報である場合、前記送信手段は、前記指示情報を前記特定の撮像装置に送信してもよい。このようにすれば、特定の撮像装置から生成される画像データを記録媒体に記録しないため、記録媒体に記録するデータ量を削減することができる。また、特定の撮像装置における画像データの生成は継続するため、必要に応じて画像データの出力を再開させることもできる。

【0012】

また、前記指示情報が、前記画像データの生成を停止させる指示を示す情報である場合、前記送信手段は、前記指示情報を前記特定の撮像装置に送信してもよい。このようにすれば、記録媒体に記録するデータ量を削減しつつ、特定の撮像装置における画像データの生成にかかるコストを削減することができる。

【0013】

また、前記指示情報が、前記特定の撮像装置から生成される前記画像データを、前記記録媒体に記録させない指示を示す情報である場合、前記送信手段は、前記指示情報を前記記録媒体に送信してもよい。このようにすれば、記録媒体に記録するデータ量を削減しつつ、画像データの伝送帯域に異常が発生していないか確認することができる。

【0014】

また、本開示の一態様では、前記複数の撮像装置のうち、前記特定の撮像装置と異なる撮像装置は、前記空き容量が閾値以下になった場合でも前記画像データを出力することを特徴とする。

【0015】

このようにすれば、空き容量が閾値以下になった場合でも、仮想視点画像の生成を継続することができる。

【0016】

また、本開示の一態様では、前記特定の撮像装置は、前記複数の撮像装置の位置及び姿勢に基づいて決定される。

【0017】

また、本開示の一態様では、前記特定の撮像装置は、前記複数の撮像装置のうち、他の撮像装置と撮像範囲が重複している領域が大きい撮像装置である。

【0018】

また、本開示の一態様では、Ｘ－Ｙ平面上である座標と前記複数の撮像装置の座標とを結ぶ直線が成す複数の角度のうち、最大の角度である第１最大角を算出する第１算出手段を有する。また、前記複数の撮像装置それぞれにおいて、１つの撮像装置を除き、ある座標と残りの撮像装置とを結ぶ直線が成す複数の角度のうち、最大の角度である第２最大角を算出する。そして、前記複数の撮像装置それぞれを１つだけ除いた時の前記第２最大角を算出する第２算出手段を有する。この場合、前記特定の撮像装置は、前記複数の撮像装置のうち、前記第２最大角が前記第１最大角より小さい角度である時に除いた撮像装置である。

【0019】

また、本開示の一態様では、前記複数の撮像装置のそれぞれにおいて、他の撮像装置と三次元座標及び姿勢の類似度を示す類似スコアを算出する算出手段を有する。そして、前記特定の撮像装置は、前記複数の撮像装置のうち、前記類似スコアが大きい撮像装置である。

【0020】

このようにすれば、記録媒体のデータ量を削減するために記録しない対象として設定される撮像画像を生成する撮像装置を設定するにあたり、仮想視点画像の画質への影響が小さい撮像装置を設定することができる。

【0021】

また、本開示の一態様は、前記特定の撮像装置は、複数の撮像装置であって、前記空き容量に基づいて、前記特定の撮像装置の数を決定する決定手段を有する。

【0022】

このようにすれば、ユーザが随時指示を行わずとも、空き容量に基づいてデータ削減の対象となる撮像装置の数を決定することができる。なお、特定の撮像装置の数は予め設定しておく。また、空き容量の閾値と特定の撮像装置の数を対応付けて記録しておく。また、空き容量の閾値と特定の撮像装置の数の組み合わせは複数設けていてもよい。その場合、空き容量が少なくないほど、特定の撮像装置の数を多くするように設定することが可能となる。

【0023】

また、本開示は、上記記載の各手段をコンピュータにより制御するためのコンピュータプログラムに関係する。

【0024】

＜実施例＞
以下、図面を参照しながら、本開示を実施するための実施例について説明する。なお、以下の実施例は本開示を限定するものではなく、また、本実施例で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明し、重複した説明は省略する。

【0025】

なお、仮想視点画像とは、ユーザが自由に仮想カメラの位置及び姿勢を操作することによって生成される画像であり、自由視点画像や任意視点画像などとも呼ばれる。また、特に断りが無い限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。

【0026】

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向き（視線方向）を示す情報である。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

【0027】

後述する画像処理システムは、撮像領域を複数の方向から撮像する複数の撮像装置を有する。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の周囲の一部にのみ設置されていてもよい。また、撮像装置の数は図に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。

【0028】

なお、本実施例における複数の撮像装置は、それぞれが独立した筐体を有し単一の視点で撮像可能なカメラであるものとする。ただしこれに限らず、２以上の撮像装置が同一の筐体内に構成されていてもよい。例えば、複数のレンズ群と複数のセンサを備え、複数視点から撮像可能な単体のカメラが、複数の撮像装置として設置されていてもよい。

【0029】

仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置によりそれぞれ異なる方向から撮像することで複数の画像（複数の撮像画像）が取得される。次に、複数の撮像画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

【0030】

前景画像とは、撮像装置により撮像されて取得された撮像画像から、オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、例えば球技であればボールなど、またコンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などである。

【0031】

背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、などである。ただし、背景は少なくとも前景となるオブジェクトとは異なる領域であり、撮像対象としては、オブジェクトと背景の他に、別の物体等が含まれていてもよい。

【0032】

仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。

【0033】

＜実施例１＞
本実施例では、画像処理システム１を用いて、データ量の削減対象と設定しても仮想視点画像の画質への影響が小さい撮像装置を特定し、特定した撮像装置のデータ記録を停止することで、仮想視点画像の記録時間を延長する例を述べる。

【0034】

図１は、本実施例に係る画像処理システム１の構成の一例を示す図である。画像処理システム１は、複数の撮像装置１０、複数の画像処理装置２０、情報処理装置１００、モデリング装置３０、データベース４０、仮想視点入力装置５０、レンダリング装置６０、表示装置７０で構成される。画像処理システム１を構成する各部は単一の装置で機能させてもよいが、例えば一部の機能を外部サーバー等の機器に負担させてもよい。具体的には、レンダリング装置６０を外部サーバーが担当し、表示装置７０をタブレット端末で担当してもよい。なお、１つの撮像装置１０と１つの画像処理装置２０を１つの組として扱ってもよいし、複数の撮像装置１０に対して１つの画像処理装置２０を１つの組として扱ってもよい。また、すべての撮像装置１０に対して１つの画像処理装置２０を有する画像処理システム１でもよい。本実施例では、１つの撮像装置１０と１つの画像処理装置２０を１つの組として扱う。

【0035】

撮像装置１０は、撮影エリア２を撮影し、撮像画像の画像データを画像処理装置２０に伝送する。複数の撮像装置１０は、撮影エリア２を囲うように設置される。複数の撮像装置１０は、撮影タイミングを同期させることで、同じ時刻において撮影エリア２を異なる位置から撮影する。同期撮影により取得される複数の撮像画像は、被写体３の三次元形状の推定に利用される。

【0036】

画像処理装置２０は、撮像装置１０から取得した画像データを伝送に適した形式に処理する。例えば、画像処理装置２０で可逆圧縮を行うことで伝送時にかかるデータ量を減らすことができる。また、画像処理装置２０が、取得した画像データのうち被写体である前景と背景とを分離し、前景のみの画像データを生成することでデータ量を削減するようにしてもよい。画像処理装置２０は、後に被写体３の三次元形状推定を行うために前景となる被写体３とそれ以外の背景を分離（前景背景分離処理）させ、前景と背景を２値で区別可能なマスク画像を生成してもよい。この際、画像処理装置２０はマスク画像と合わせて前景のみのテクスチャデータを伝送することで、三次元形状推定には影響を与えず、伝送時のデータ削減が可能となる。さらに、画像処理装置２０が前述したように各種画像データを可逆又は非可逆圧縮することによりデータ削減を行ってもよい。また、画像処理装置２０は、撮像装置１０のセンササイズやレンズの情報を含むハードウェア構成情報、焦点距離、絞り、といった撮像装置制御情報を撮像装置１０と通信することで取得する。

【0037】

モデリング装置３０は、画像処理装置２０から伝送された画像データを元に被写体の三次元形状を推定する。被写体の三次元形状の推定は、例えば視体積交差法などを用い、点群やメッシュといった三次元形状を示す形状データを生成する。なお、モデリング装置３０は、生成した三次元形状の各構成要素に対する色情報を示すテクスチャデータを生成してもよい。さらに三次元形状推定の手法によっては、追加データが発生する。本実施例では、モデリング装置３０は、形状データとテクスチャデータとを生成し、データベース４０に出力する。また、モデリング装置３０は、撮像装置１０の三次元座標、姿勢情報を取得する。例えば、撮影エリア２内にマーカーを設置し、複数の撮像装置１０で撮影する。モデリング装置３０が撮影された画像データを元に処理を行うことで、撮像装置の三次元座標や姿勢情報を取得することができる。上記処理はキャリブレーションと呼ばれる処理であり、既存の技術であるため詳細な説明は省略する。なお、ここでの撮像装置の三次元座標とは、複数の撮像装置において同じ座標系を設定した時の三次元座標である。この座標系の原点は、現実空間にある特定のオブジェクトやマーカーを原点として設定してもよい。なお、仮想視点画像の生成においては、別途生成されるスタジアム等の背景を示す３Ｄモデルである背景モデルを含む仮想空間の座標系と、複数の撮像装置のキャリブレーション時に用いた座標系を揃える。そのため、複数の撮像装置のキャリブレーションとは、現実空間における複数の撮像装置の位置及び姿勢の情報を特定する処理と言える。また、複数の撮像装置のキャリブレーションとは、複数の撮像装置の現実空間における位置及び姿勢に対応する仮想空間における位置及び姿勢を特定する処理とも言える。なお、仮想空間の座標系とキャリブレーション時に用いた座標系は厳密に一致させる必要はなく、例えば所定量のずれがあってもよい。その場合は、複数の撮像装置に基づいて生成される被写体の３Ｄモデルの位置及び姿勢を、所定量のずれを考慮して決定する。

【0038】

情報処理装置１００は、画像処理装置２０やモデリング装置３０、データベース４０の監視を担う。情報処理装置１００は単一の装置で実現してもよいが、各部の制御機能を分割し複数の装置を連携させて制御させてもよい。

【0039】

データベース４０は、モデリング装置３０が生成した形状データ及びテクスチャデータを記録媒体に記録する。また、データベース４０は、自身に搭載された記録媒体の使用状況を管理し、空き容量を示す空き容量情報を情報処理装置１００に送信する。なお、情報処理装置１００が記録媒体の空き容量を特定するための情報を提供できればよく、最大の記録容量と現在使用している使用容量とを情報処理装置１００に送信してもよい。

【0040】

仮想視点入力装置５０は、仮想視点画像を視聴するユーザが仮想視点情報を入力する。仮想視点情報には、仮想カメラの三次元座標及び姿勢情報を示す位置姿勢情報、焦点距離や絞りといった仮想的なレンズを示す情報のうち一部ないし全部を含んでいてもよい。

【0041】

レンダリング装置６０は、仮想視点入力装置５０から入力された仮想視点情報に基づいて仮想視点画像を生成する。なお、仮想視点画像を生成する処理をレンダリングと呼称する。生成された仮想視点画像は、表示装置７０に出力される。

【0042】

表示装置７０は、レンダリング装置６０が生成した仮想視点画像を表示する。これにより、ユーザが仮想視点画像を視聴可能となる。

【0043】

図２は、本実施例に係る画像処理システム１を実現可能なコンピュータのハードウェアの構成例を示す図である。情報処理装置１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記録装置２０４、表示部２０５、操作部２０６、通信Ｉ／Ｆ２０７及びバス２０８を有する。

【0044】

ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて情報処理装置１００の各機能を実現する。なお、情報処理装置１００がＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２０３は、補助記録装置２０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２０７を介して外部から供給されるデータなどを一時記録する。補助記録装置２０４は、例えばハードディスクドライブ等で構成され、画像データや音データなどの種々のデータを記録する。

【0045】

表示部２０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、生成された仮想視点画像や、ユーザが情報処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。ＣＰＵ２０１は、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部として動作する。さらに、ＲＯＭ２０２やＲＡＭ２０３の制御や、補助記録装置２０４からのデータ転送制御、バス２０８や通信Ｉ／Ｆ２０７の制御も担う。

【0046】

通信Ｉ／Ｆ２０７は、情報処理装置１００の外部の装置との通信に用いられる。例えば、情報処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２０７に接続される。また、外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２０７はアンテナを備える。バス２０８は、情報処理装置１００の各部をつないで情報を伝達する。

【0047】

本実施形態では表示部２０５、操作部２０６が情報処理装置１００の内部に存在するものとする。ただし、表示部２０５、操作部２０６の少なくとも一部が情報処理装置１００の外部に別の装置として存在していてもよい。

【0048】

図３は、情報処理装置１００の構成例を示す図である。

【0049】

録画設定取得部３０１は、画像処理装置２０及びデータベース４０から現在の録画設定を取得する。録画設定には、複数の撮像装置１０のセンササイズやレンズ等のハードウェア情報が含まれる。

【0050】

削減機器選択部３０２は、録画設定取得部３０１で取得した録画設定と撮像装置位置情報取得部３０３で取得した複数の撮像装置１０の三次元座標及び姿勢情報が入力される。そして、録画設定と複数の撮像装置１０の三次元座標及び姿勢情報とに基づいて、データ量を削減する対象である撮像装置を示す削減機器を選択する。また、削減機器選択部３０２は、削減機器として選択する撮像装置の台数を空き容量に基づいて決定する。例えば、最大の記憶容量に対する空き容量の比率を算出し、空き容量の比率が閾値以下か否かに基づいて、削減機器として選択する撮像装置の台数を決定する。空き容量が最大の時を１００％とし、空き容量が５０％以下になった場合に、削減機器として選択する撮像装置の台数を１０台と設定する。さらに、空き容量が３０％以下になった場合、削減機器として選択する撮像装置の台数を２０台と設定する。これらのように複数の閾値を設け、その閾値以下になるたびに削減機器として選択する撮像装置の台数を増加させてもよい。なお、これらの数値に限定されず、空き容量に対して設定する削減機器として選択する撮像装置の台数は、ユーザが予め任意の数値に設定できるものとする。

【0051】

選択された撮像装置１０を制御する画像処理装置２０に対して、画像データの伝送を停止するように制御することで、データベースに記録されるデータ量を削減し、残記録時間を延長させる。削減機器の選択方法については後述する。

【0052】

撮像装置位置情報取得部３０３は、複数の撮像装置１０の三次元座標情報及び姿勢情報をモデリング装置３０から取得する。

【0053】

図４は、本実施例に係る情報処理装置１００が記録データを削減する処理を示すフローチャートである。

【0054】

Ｓ４０１では、録画設定取得部３０１がデータベース４０から記録媒体の空き容量を取得する。

【0055】

Ｓ４０２では、削減機器選択部３０２がデータベース４０から取得した記録媒体の空き容量が予め設定された閾値に達したときに記録データの削減を開始する。空き容量が閾値以下の場合、Ｓ４０３に進む。空き容量が閾値より多い場合は、Ｓ４０１に進む。

【0056】

Ｓ４０３では、撮像装置位置情報取得部３０３がモデリング装置３０から複数の撮像装置１０の三次元座標及び姿勢情報を取得する。また、録画設定取得部３０１が画像処理装置２０から、複数の撮像装置１０のハードウェア情報を取得する。

【0057】

Ｓ４０４では、削減機器選択部３０２がＳ４０１で取得したデータベース４０の記録媒体の空き容量に応じて、削減対象となる撮像装置の台数と削減対象の撮像装置を選択する。

【0058】

本実施例では、削減機器選択部３０２が撮影エリア２内の単位毎に撮像装置間の角度を計算する方法を用いて、データ削減を行う１台の撮像装置を選択する。図５に４台の撮像装置を配置させる場合の上面図を示す。まずは削減機器選択部３０２が録画設定取得部３０１及び撮像装置位置情報取得部３０３から各撮像装置のセンササイズやレンズのハードウェア情報、三次元座標情報、姿勢情報を取得して画角（撮像範囲）を計算する。さらに、削減機器選択部３０２が撮影エリアを単位面積（高さ方向を考慮する場合は単位体積）に分割し、各単位を撮影している撮像装置を計算及び確認する。図５の例では、撮影エリア５０１内の単位面５０２に対して、各撮像装置５１１－５１４の計４台が撮影している。次に削減機器選択部３０２が各撮像装置５１１－５１４の座標点と単位面５０２の中心点を結ぶ直線を特定し、複数の直線が成す撮像装置間角度５２１－５２４を算出する（第１算出）。算出により、最大角度は撮像装置間角度５２４の１４３度であることが分かる。よって単位面５０２の撮像装置間の最大角度（第１最大角）は１４３度となる。削減機器選択部３０２が撮像装置間角度計算を各単位面で行うことで、撮影エリア内の各箇所において、画質影響度を評価できる。さらに、削減機器選択部３０２が画質への影響が小さい撮像装置を特定するために、各単位面に対して撮像装置を抜いた時の撮像装置間角度及び最大の角度（第２最大角）を算出する（第２算出）。図５では、各撮像装置５１１－５１４の１つずつ撮像装置を抜いた場合を考える。つまり、各撮像装置５１１－５１４のそれぞれを抜いた場合の第２最大角を算出する。この場合、前述した最大装置間角度１４３度を超えないのは、撮像装置５１３を抜いた時のみである。よって、削減機器選択部３０２は撮像装置５１３を画質への影響が小さい対象として選択する。削減機器選択部３０２は撮影エリアの各単位面に対して画質への影響が小さい撮像装置を選択し、最も多くの単位面に対して影響が小さいと判断された対象を多数決で最終的にデータ削減の対象として決定する。

【0059】

Ｓ４０５では、削減機器選択部３０２から削減対象となる撮像装置１０に接続されている画像処理装置２０に対してテクスチャ伝送を停止させるように指示を出力する。本実施例では削減機器選択部３０２が画像処理装置２０からのテクスチャデータ伝送のみを停止させ、前景背景分離の結果生成されるマスク画像データ等は伝送させる。よって、モデリング装置３０で生成される三次元形状情報には該当の撮像装置の撮影結果を一部反映させることが可能である。

【0060】

Ｓ４０６では、録画設定取得部３０１においてユーザが撮影を停止させたか確認する。ユーザが操作部２０６を介してデータベース４０への伝送停止命令を行っていた場合、削減機器選択部３０２から各画像処理装置に対してデータ伝送を停止させる。録画設定取得部３０１で停止が確認できない場合はＳ４０１に戻り、引き続き記録媒体の空き容量監視を行う。

【0061】

本実施例によれば、仮想視点画像の画質への影響を抑えつつ、記録媒体に記録される録画データ量を削減し、記録可能時間を延長させることができる。

【0062】

＜実施例２＞
本実施例では、画像処理システム１を用いて、画質への影響が小さい撮像装置を三次元座標情報と姿勢情報からスコア化し、データ記録を停止させることで、仮想視点画像の記録時間を延長する例を述べる。

【0063】

本実施例に係る画像処理システム１の構成は前述した実施例１と同様である。

【0064】

さらに、図４で示した記録データ削減フローも同様となる。

【0065】

本実施例ではＳ４０４において、三次元座標情報や姿勢の情報から画角が類似する撮像装置を判断する方法を用いて画質への影響が小さい撮像装置を選択する。この方法では三次元座標と姿勢について撮像装置の相対毎にスコア化することにより、類似の画角であるかを判断する。本実施例では減点方式で類似度をスコア比較する。また、三次元座標及び姿勢を考慮したスコアを類似スコアと呼称する。

【0066】

図６に３台の撮像装置を配置させる場合の上面図を示す。図６ではＸ－Ｙ平面上の座標・角度情報のみを示しているが、実際にはＺ（高さ）方向の座標・角度情報が含まれる。本実施例では座標及び撮像装置のパン、ヨー、チルトなどの角度が同じであればそれぞれ満点（１００点）となり、そこから減算される。よって位置と角度の合計２００点満点で類似スコアを算出する。本実施例では撮像装置間の距離が１ｍ離れるごとに５点減点、撮像装置間の角度が９度ずつ離れるごとに５点減点とする。例えば２つの撮像装置間の距離が５ｍであれば７５点、撮像装置間の角度が１７度であれば９５点とする。この場合、距離スコアと角度スコアの合計１７０点が対象撮像装置の組み合わせの類似スコアとなる。実際には各要素の重要度・影響度に応じて総合点や減点の重みを設定してよい。また、本実施例では算出された撮像装置間の距離や角度が割り切れない場合は小数点第一位を四捨五入して判定する。前述した条件の場合、撮像装置６０１－６０３は１７５点、撮像装置６０１－６０２は７５点、撮像装置６０２－６０３は７５点となる。よって、撮像装置の組み合わせのうち最も類似スコアが大きくなる撮像装置６０３をデータ削減対象とする。なお、実際にはＺ方向の姿勢情報を含むため、Ｘ－Ｙ平面上の角度とＸ－Ｚ平面の角度及びＸ－Ｙ平面の角度についてスコアを算出する。本方法では座標や姿勢の重要度を変更できるため、システムの構成や撮影目的に合わせて柔軟に設定及び変更ができるメリットがある。これにより座標・姿勢が他の撮像装置に近い個体を選択できるため、画質低下を最小限に抑えつつ、録画データの削減が可能となる。

【0067】

＜実施例３＞
本実施例では、画像処理システム１を用いて、画質への影響が小さい撮像装置を撮影範囲の重複から判断し、データ記録を停止させることで、仮想視点画像の記録時間を延長する例を述べる。

【0068】

本実施例に係る画像処理システム１の構成は前述した実施例１と同様である。

【0069】

さらに、図４で示した記録データ削減フローも同様となる。

【0070】

本実施例では、まず実施例１と同様にＳ４０３で各撮像装置のデータを取得する。次にＳ４０４で撮像装置毎の画角を算出することで他の撮像装置との画角被りが多い個体（撮像装置）を選択する。選択の一例として、図７に３台の撮像装置を配置させる場合の上面図を示す。図７は図６と同様に、実際にはＺ方向の情報が含まれる。撮像装置毎の画角を算出し、撮像装置の組み合わせ毎に画角が重なる面積（実際にはＺ方向の情報が含まれるため体積）を算出する。言い換えれば、撮像装置の組み合わせ毎に撮像範囲が重なる領域の大きさを算出する。図７の下部にそれぞれの画角が重なる領域を示している。領域の面積は撮像装置７０２＆撮像装置７０３が最も大きく、次点で撮像装置７０１＆撮像装置７０３、最も小さいのは撮像装置７０１＆撮像装置７０２である。本実施例の場合、他の撮像装置と重なる領域の組み合わせが最大となるのは撮像装置７０３である。よって、撮像装置７０３がテクスチャデータの削減対象になる。本方法では、実際の画角に基づいて相似性を検討できるため、座標や姿勢が近いが焦点距離が異なるために画角が大きく異なる撮像装置を削減対象とするリスクを避けることが出来る。これにより実際の画角が他の撮像装置と類似する個体を選択できるため、画質への影響を抑えつつ、録画データの削減が可能となる。

【0071】

＜実施例４＞
本実施例では、画像処理システム１を用いて、データ量が大きい撮像装置を判断し、データ記録を停止させることで、仮想視点画像の記録時間を延長する例を述べる。

【0072】

本実施例に係る画像処理システム１の構成は前述した実施例１と同様である。

【0073】

さらに、図４で示した記録データ削減フローも同様となる。

【0074】

本実施例ではＳ４０３において、テクスチャデータが大きい撮像装置を判別するため、録画設定取得部３０１が画像処理装置２０から前景率を取得する。前景率は、画像全体に対して被写体となる前景が写る割合である。複数の撮像装置を用いて仮想視点画像を生成するシステムでは、テクスチャ画質向上のために特定のエリアをズームして撮影する撮像装置が含まれることがある。例えば、被写体が写りやすいエリア（撮影エリアの中心）、被写体となる人物の顔がある高さ（例えば地面から１．５～２ｍ前後）などが挙げられる。該当する撮像装置はズームして撮影する都合上、前景率が高くなりやすい。そのため前背分離をしても前景領域が多く、必然的に伝送・記録されるテクスチャデータ量も相対的に大きくなってしまう。よって本実施例では、Ｓ４０４において、各撮像装置の前景率を比較することで前述した条件に該当する撮像装置を識別する。これにより前景率の高い（テクスチャデータの大きい）撮像装置をテクスチャデータの削減対象として選択する。本方法では削減する撮像装置の台数に対して、削減できるデータ量が大きいというメリットがある。また、実施例１の方法のようにＳ４０３で座標情報や姿勢情報、センササイズやレンズのハードウェア情報を前景率と合わせて取得し、Ｓ４０４で前景率の比較と各撮像装置の画角を確認することで画質への影響を抑えつつ、効果的な録画データ量削減が実現できる。

【0075】

＜実施例５＞
本実施例では、画像処理システム１を用いて、仮想視点画像に影響しない撮像装置を判断し、データ記録を停止させることで、仮想視点画像の記録時間を延長する例を述べる。

【0076】

本実施例に係る画像処理システム１の構成を図８に示す。前述した図１との構成の差異は情報処理装置８００であり、追加で仮想視点入力装置５０から仮想視点情報を取得し、テクスチャデータ削減対象の選択に利用する。また情報処理装置１００の構成を図９に示す。前述した図３との構成の差異は削減機器選択部９０２である。削減機器選択部９０２は仮想視点入力装置５０から仮想視点情報を追加で取得する。ここで示す仮想視点情報とは、少なくとも仮想視点画像を生成させる仮想空間上の撮像装置の三次元座標情報、姿勢情報である。さらに構成変更後の記録データ削減フローを図１０に示す。

【0077】

本実施例では新たに追加されるＳ１００１において、削減機器選択部９０２が、仮想視点入力装置５０から仮想視点画像の生成に利用する仮想視点情報を取得する。仮想視点画像撮像装置Ｓ４０４において、撮像装置仮想視点画像の生成に使用しない範囲を撮影している撮像装置をテクスチャデータ削減対象として選択する。図１１は仮想視点画像生成における、仮想の撮像装置と被写体の瞬間的な関係を示した図である。図１１の場合、仮想の撮像装置１１０１に対して、描画領域１１０２は生成される仮想視点画像のレンダリングに利用する範囲であり、必要なテクスチャデータである。一方で非描画領域１１０３は仮想の撮像装置１１０１からは見えない範囲であり、該当領域のテクスチャデータは生成される仮想視点画像の画質に寄与しない。よって非描画領域１１０３を撮影している撮像装置のテクスチャデータは削減しても画質が低下しない。

【0078】

本実施例に係る撮像装置の選択方法を図１２に示す。図１２は上面図であり、仮想の撮像装置１２０１及び、実際に配置されている撮像装置１２０２－１２０４が存在する。この時仮想の撮像装置１２０１の向きに対して、一定以上の角度差がある撮像装置を仮想視点画像の生成には使用しないものとして判断する。本実施例では、角度差１３５度以上の撮像装置を対象とするため、撮像装置１２０３が削減対象となる。撮像装置１２０３のデータ記録を停止させることで、記録時のデータ削減を実行できる。なお、図１２ではＸ－Ｙ平面上の角度のみを比較しているが、Ｘ－Ｚ平面やＹ－Ｚ平面の角度も合わせて比較することでさらに詳細な撮像装置の選択を行ってもよい。また、仮想の撮像装置１２０１が時間によって三次元座標や姿勢を変化させる場合、削減対象の撮像装置を適宜変化させてもよい。これにより、最終的に出力される仮想視点画像では見えない箇所を撮影している撮像装置の録画データ削減が可能となる。

【0079】

本開示は、上述の実施例の一つ以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0080】

１０ 撮像装置
２０ 画像処理装置
３０ モデリング装置
４０ データベース
１００ 情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】