特許 7581040 画像処理システム、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-01

(45)【発行日】2024-11-12

(54)【発明の名称】画像処理システム、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 11/80 20060101AFI20241105BHJP

   G06T 17/00 20060101ALI20241105BHJP

   H04N 23/60 20230101ALI20241105BHJP

【ＦＩ】

G06T11/80 A

G06T17/00

H04N23/60

【請求項の数】 13

(21)【出願番号】P 2020211474

(22)【出願日】2020-12-21

(65)【公開番号】P2022098116

(43)【公開日】2022-07-01

【審査請求日】2023-11-22

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】太田 祐矢

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０２０－１３４９７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／８０

Ｇ０６Ｔ １７／００

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

撮影装置により撮影された撮影画像から抽出される前景の領域を示す前景シルエット画像であって前記前景の３次元モデルの生成に用いられる前景シルエット画像を生成する第１の生成手段と、
前記撮影装置の状況に基づいて、前記撮影画像のうちの前記前景の領域に対応する前景画像であって仮想視点映像に含まれる前記前景の色情報の生成に用いられる前景画像、または、前記撮影画像を伝送する伝送手段とを有し、
前記撮影装置の状況は、前記撮影画像における前記前景の領域に含まれる画素の数の状況であることを特徴とする画像処理システム。

【請求項2】

前記伝送手段は、前記画素の数が第１の閾値より多い場合には前記前景画像を伝送し、前記画素の数が前記第１の閾値より少ない場合には前記撮影画像を伝送することを特徴とする請求項１に記載の画像処理システム。

【請求項3】

前記伝送手段は、前記画素の数が第２の閾値より少ない場合には前記前景画像を伝送し、前記画素の数が前記第２の閾値より多い場合には前記撮影画像を伝送することを特徴とする請求項１または２に記載の画像処理システム。

【請求項4】

前記伝送手段は、前記画素の数が所定の範囲内にある場合には前記前景画像を伝送し、前記画素の数が前記所定の範囲外である場合には前記撮影画像を伝送することを特徴とする請求項１から３のいずれか１項に記載の画像処理システム。

【請求項5】

撮影装置により撮影された撮影画像から抽出される前景の領域を示す前景シルエット画像であって前記前景の３次元モデルの生成に用いられる前景シルエット画像を生成する第１の生成手段と、
前記撮影装置の状況に基づいて、前記撮影画像のうちの前記前景の領域に対応する前景画像であって仮想視点映像に含まれる前記前景の色情報の生成に用いられる前景画像、または、前記撮影画像を伝送する伝送手段とを有し、
前記撮影装置の状況は、前記撮影画像のうちの前記前景の領域の色情報の分布と前記撮影画像のうちの背景の領域の色情報の分布との類似度の状況であることを特徴とする画像処理システム。

【請求項6】

前記伝送手段は、前記類似度が第３の閾値より低い場合には前記前景画像を伝送し、前記類似度が前記第３の閾値より高い場合には前記撮影画像を伝送することを特徴とする請求項５に記載の画像処理システム。

【請求項7】

撮影装置により撮影された撮影画像から抽出される前景の領域を示す前景シルエット画像であって前記前景の３次元モデルの生成に用いられる前景シルエット画像を生成する第１の生成手段と、
前記撮影装置の状況に基づいて、前記撮影画像のうちの前記前景の領域に対応する前景画像であって仮想視点映像に含まれる前記前景の色情報の生成に用いられる前景画像、または、前記撮影画像を伝送する伝送手段とを有し、
前記撮影装置の状況は、前記撮影装置と画角が類似する撮影装置の撮影状況であることを特徴とする画像処理システム。

【請求項8】

前記伝送手段は、前記撮影装置と画角が類似する撮影装置のうちのすべてが正常である場合には前記前景画像を伝送し、前記撮影装置と画角が類似する撮影装置のうちの一部が異常または撮影不可である場合には前記撮影画像を伝送することを特徴とする請求項７に記載の画像処理システム。

【請求項9】

撮影装置により撮影された撮影画像から抽出される前景の領域を示す前景シルエット画像であって前記前景の３次元モデルの生成に用いられる前景シルエット画像を生成する第１の生成手段と、
前記撮影装置の状況に基づいて、前記撮影画像のうちの前記前景の領域に対応する前景画像であって仮想視点映像に含まれる前記前景の色情報の生成に用いられる前景画像、または、前記撮影画像を伝送する伝送手段とを有し、
前記撮影装置の状況は、前記撮影装置の撮影領域の状況であり、
前記伝送手段は、前記撮影領域の重要度が高い場合には前記前景画像を伝送し、前記撮影領域の重要度が低い場合には、前記撮影画像を伝送することを特徴とする画像処理システム。

【請求項10】

前記前景シルエット画像に基づいて、前記３次元モデルを生成するモデル生成手段と、
前記仮想視点映像を生成する映像生成手段であって、前記３次元モデルと、伝送される前記前景画像または伝送される前記撮影画像とに基づいて、前記仮想視点映像に含まれる前記前景の色情報を生成する映像生成手段とをさらに有することを特徴とする請求項１から９のいずれか１項に記載の画像処理システム。

【請求項11】

撮影装置により撮影された撮影画像から抽出される前景の領域を示す前景シルエット画像であって前記前景の３次元モデルの生成に用いられる前景シルエット画像を生成する第１の生成手段と、
前記撮影装置の状況に基づいて、前記撮影画像のうちの前記前景の領域に対応する前景画像であって仮想視点映像に含まれる前記前景の色情報の生成に用いられる前景画像、または、前記撮影画像を伝送する伝送手段とを有し、
前記伝送手段は、前記前景画像を伝送する場合は、前記前景画像を可逆圧縮処理で圧縮して伝送し、前記撮影画像を伝送する場合は、前記撮影画像を非可逆圧縮処理で圧縮して伝送することを特徴とする画像処理システム。

【請求項12】

撮影装置により撮影された撮影画像から抽出される前景の領域を示す前景シルエット画像であって前記前景の３次元モデルの生成に用いられる前景シルエット画像を生成する第１の生成ステップと、
前記撮影装置の状況に基づいて、前記撮影画像のうちの前記前景の領域に対応する前景画像であって仮想視点映像に含まれる前記前景の色情報の生成に用いられる前景画像、または、前記撮影画像を伝送する伝送ステップとを有し、
前記撮影装置の状況は、前記撮影画像における前記前景の領域に含まれる画素の数の状況であることを特徴とする画像処理システムの画像処理方法。

【請求項13】

コンピュータを、請求項１から１１のいずれか１項に記載された画像処理システムの各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、仮想視点映像を生成するためには、被写体の周囲に複数のカメラ（以降、仮想カメラと区別するために物理カメラと称する）を配置し、それぞれの物理カメラからの画角に応じた撮影画像を取得する。次に、それぞれの物理カメラの位置関係および撮影画像を使用して、任意の仮想カメラ視点からの仮想視点映像を画像処理によって生成する。

【0003】

仮想視点映像は、実際の物理カメラの設置位置によらない仮想カメラの視点からの映像であるため、仮想カメラの視点をユーザが自由に選択することで、従来の映像にない自由な視点からの映像を生成することが可能となる。

【0004】

特許文献１は、物理カメラにおける撮影画像から被写体を抽出し、抽出した被写体の部分の画像を計算機に伝送して被写体の３次元モデルを生成する。この時、被写体以外の背景部分は、圧縮率を上げることで、伝送データ量を削減している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－２１１８２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１は、物理カメラの撮影画像をそのまま伝送する場合に対して、伝送帯域や記憶容量などの計算機リソースを節約することが可能となる。ただし、前述のように、被写体を抽出する処理のような何らかの前処理を行った結果を伝送する場合、前処理が正しく行われなかった場合に、伝送データ量として削減はできているが、本来有用なデータが失われる可能性がある。

【0007】

例えば、被写体を抽出する処理の場合は、何らかの理由で被写体の検出に失敗した場合には、検出に失敗した物理カメラからの当該被写体の映像情報が失われることになる。この場合、当該被写体の３次元モデルに色付け処理を行って仮想視点映像を生成する際に、検出に失敗した物理カメラから得られるはずであった映像情報を利用した色付けができなくなる。その結果、検出に失敗した物理カメラの画角内にのみ存在する被写体については、色を付けることができなくなってしまう。

【0008】

本発明の目的は、前景画像の品質低下を抑制することができるようにすることである。

【課題を解決するための手段】

【0009】

本発明の画像処理システムは、撮影装置により撮影された撮影画像から抽出される前景の領域を示す前景シルエット画像であって前記前景の３次元モデルの生成に用いられる前景シルエット画像を生成する第１の生成手段と、前記撮影装置の状況に基づいて、前記撮影画像のうちの前記前景の領域に対応する前景画像であって仮想視点映像に含まれる前記前景の色情報の生成に用いられる前景画像、または、前記撮影画像を伝送する伝送手段とを有し、前記撮影装置の状況は、前記撮影画像における前記前景の領域に含まれる画素の数の状況である。

【発明の効果】

【0010】

本発明によれば、前景画像の品質低下を抑制することができる。

【図面の簡単な説明】

【0011】

【図1】画像処理装置の機能構成例を示すブロック図である。

【図2】画像処理方法の流れを示す説明図である。

【図3】前景画像に対する前処理に不備が生じた場合の処理を示す説明図である。

【図4】前景画像に対する前処理に不備が生じた場合の処理を示す説明図である。

【図5】データ取得処理のフローチャートである。

【図6】物理カメラの位置関係を示す説明図である。

【図7】物理カメラの位置関係を示す説明図である。

【図8】画像処理装置のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0012】

（第１の実施形態）
図１は、第１の実施形態による画像処理装置１００の機能構成例を示すブロック図であり、図２は、画像処理装置１００の画像処理方法の流れを示す図である。画像処理装置１００は、撮像部１０１と、前景抽出部１０２と、伝送部１０３と、前景モデル生成部１０４と、保存部１０５と、出力映像生成部１０６と、撮影状態判定部１０７と、前景画像制御部１０８とを有する。

【0013】

撮像部１０１は、複数の物理カメラを有し、複数の物理カメラは、被写体を囲むように配置され、同期をとって、被写体を複数の方向から撮影する。ただし、物理カメラの台数や配置は、限定されない。撮像部１０１は、複数の物理カメラの撮影により、複数の撮影画像２０１を生成し、生成した複数の撮影画像２０１を前景抽出部１０２に出力する。

【0014】

前景抽出部１０２は、撮像部１０１の複数の物理カメラにより生成された複数の撮影画像２０１に対して、被写体を「前景」として抽出し、前景が存在する領域を示す複数の前景マスク２０２を生成する。そして、前景抽出部１０２は、複数の前景マスク２０２を伝送部１０３に出力する。伝送部１０３は、複数の撮影画像２０１に対して、複数の前景マスク２０２を用いて複数の前景画像２０４を生成する。前景画像２０４は、撮影画像２０１に対して、被写体を「前景」として抽出した画像である。

【0015】

サッカーを例にとった場合、前景画像２０４は、人物やボールが前景として抽出される。抽出された前景画像２０４の内容は、撮影画像２０１の前景の内容と同じである。また、前景マスク２０２は、撮影画像２０１のうち、前景画像２０４の人物やボールの領域の画素の値がマスク領域として「１」であり、前景画像２０４以外の領域の画素の値が「０」である２値データからなる画像である。この前景マスク２０２は、前景モデル生成部１０４がモデル生成処理をＶｉｓｕａｌＨｕｌｌなどで行う際のシルエット画像として使用される。

【0016】

なお、前景画像２０４および前景マスク２０２は、画像データとしてのフォーマットについて限定するものではない。例えば、前景画像２０４および前景マスク２０２は、画素単位のビット深度（８ビット、１０ビットなど）、画素単位の色を表現するフォーマット（ＹＵＶ４４４、ＹＵＶ４２２、ＲＧＢなど）、前景以外の領域の色、マスク部分の色を限定するものではない。また、前景画像２０４および前景マスク２０２の画像ファイル形式は、一般的なＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などである。上記の画像ファイル形式は、その他の独自の形式などでもよく、限定されない。

【0017】

前景抽出部１０２が前景を抽出する方法としては、背景差分情報を用いる方法がある。最も単純には、前景抽出部１０２は、予め、撮像部１０１により前景が存在しない状態を撮影した背景画像を記憶し、前景が存在する撮影画像２０１と背景画像との差分を算出する。そして、前景抽出部１０２は、その差分が閾値より大きい画素の位置は前景であると判定し、前景マスク２０２を生成する。前景を抽出する方法は、その他、被写体に関する画像上の特徴量や機械学習を用いる方法などでもよく、前景を抽出する方法は限定されない。

【0018】

伝送部１０３は、複数の撮影画像２０１に対して、複数の前景マスク２０２を用いて複数の前景画像２０４を生成し、複数の前景画像２０４を圧縮する。そして、伝送部１０３は、圧縮した複数の前景画像２０４および複数の前景マスク２０２を前景モデル生成部１０４に伝送する。例えば、伝送部１０３は、前景モデル生成部１０４に対して、ネットワーク接続されている。ネットワーク接続は、例えば、コンピュータネットワークで最も一般的に使用されているＥｔｈｅｒｎｅｔ（登録商標）であるが、これに限定されない。

【0019】

前景モデル生成部１０４は、伝送部１０３により伝送された複数の前景マスク２０２を使用してＶｉｓｕａｌＨｕｌｌによって３次元モデル２０３を生成する。ＶｉｓｕａｌＨｕｌｌの処理については、前述の通りである。

【0020】

保存部１０５は、前景モデル生成部１０４により生成された３次元モデル２０３と、伝送部１０３により伝送された圧縮後の複数の前景画像２０４とを保存する。保存部１０５は、ストレージデバイスに３次元モデル２０３と前景画像２０４を保存する。具体的には、保存部１０５は、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）、またはフラッシュメモリなどに３次元モデル２０３と前景画像２０４を保存する。ストレージデバイスは、単一のデバイスでなくてもよく、複数の物理デバイスの集合体でもよい。また、ストレージデバイスは、複数種類のデバイスが混在していてもよく、ネットワーク上に仮想化されたクラウド上のデバイスでもよい。

【0021】

出力映像生成部１０６は、保存部１０５により保存された圧縮後の複数の前景画像２０４を伸長する。そして、出力映像生成部１０６は、保存部１０５により保存された被写体の３次元モデル２０３に対して、伸長された複数の前景画像２０４の色情報を利用して色を付け、仮想視点映像２０５を生成する。例えば、出力映像生成部１０６は、各物理カメラと３次元モデル２０３を構成する各点との距離を表す距離画像を生成する。そして、出力映像生成部１０６は、その距離画像から、３次元モデル２０３の各点から距離が最も近い物理カメラを選択し、その物理カメラの前景画像２０４から対応する画素位置の色情報を取得して、３次元モデル２０３に色を付ける。色の付け方については、距離が近い複数の物理カメラの撮影画像２０１の色をブレンドするなどの方法を用いてもよいが、３次元モデル２０３への色付け方法は、限定されない。仮想視点映像２０５を生成する流れは、上述の通りである。

【0022】

本実施形態では、撮影状態判定部１０７は、撮像部１０１で撮影が行われている撮影状態を判定し、判定した結果を前景画像制御部１０８に出力する。前景画像制御部１０８は、撮影状態判定部１０７による撮影状態の判定結果に応じて、伝送部１０３が行う処理の制御を行う。伝送部１０３は、前景画像制御部１０８の制御に応じて、前景マスク２０２を用いた前景画像２０４または前景マスク２０２を用いない前景画像２０４を生成する。

【0023】

次に、図２を用いて説明する。撮影画像２０１は、撮像部１０１における複数の物理カメラで撮影された画像である。前景抽出部１０２は、複数の撮影画像２０１を基に、複数の前景マスク２０２を生成する。伝送部１０３は、複数の撮影画像２０１に対して、複数の前景マスク２０２を用いて複数の前景画像２０４を生成する。前景画像２０４および前景マスク２０２は、それぞれ、撮像部１０１の物理カメラの台数分生成される。前景モデル生成部１０４は、複数の前景マスク２０２を基に、３次元モデル２０３を生成する。３次元モデル２０３は、被写体の数だけ生成される。ここでは、人物が２人存在する場面であるため、３次元モデル２０３は２つ生成される。

【0024】

前景画像２０４は、伝送部１０３により圧縮される。具体的には、伝送部１０３は、撮影画像２０１に対して、前景マスク２０２を利用して、前景が存在する領域とそれ以外の領域とを区別する。ここでは、前景が存在する領域を前景領域とする。伝送部１０３は、撮影画像２０１に対して、前景領域以外の領域を単色（例えば、黒色）に変換することにより、前景画像２０４を生成する。伝送部１０３は、その前景画像２０４を圧縮することで、圧縮効率を高めている。前景画像２０４の圧縮については、画像情報を損失しないためには可逆圧縮方式が望ましいが、非可逆圧縮方式でもよい。可逆圧縮方式としては、ランレングス方式、ハフマン符号方式などがある。また、非可逆圧縮方式としては、フーリエ変換を行って周波数領域表現にした上で、人間が知覚できない領域を削除する方式がある。具体的には、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が静止画像の非可逆圧縮方式として使われる。なお、上記で述べた以外にも、可逆方式と非可逆方式ともに、圧縮方式は様々に存在するが、圧縮方式は限定されない。

【0025】

伝送部１０３は、前景画像２０４を圧縮することで、伝送データの削減が可能となる。仮想視点映像２０５は、出力映像生成部１０６によって、３次元モデル２０３に対して、前景画像２０４を用いてユーザが指定した仮想視点に応じた色付けを行った結果として生成される。

【0026】

図３は、伝送する前の前処理である前景抽出処理に失敗した場合に、どのように仮想視点映像に映像品質低下が生じるかを示す図である。複数の撮影画像３０１は、それぞれ、撮像部１０１の複数の物理カメラにより撮影された画像である。前景抽出部１０２は、撮影画像３０１に対して、前景の抽出に失敗し、ある物理カメラの前景マスク３０２を生成する場合がある。前景マスク３０２は、右側の人物の頭部分３０６が黒色となり、右側の人物の頭部分３０６については被写体が存在しないことを示す。伝送部１０３は、撮影画像３０１に対して、前景マスク３０２を用いて前景画像３０４を生成する。前景マスク３０２の頭部分３０６が黒色の場合、前景画像３０４の右側の人物の頭部分３０７は、前景が存在しない部分として扱われる。そのため、前景画像３０４の右側人物の頭部分３０７が黒色に変換されてしまい、撮影画像３０１の時点では存在していた右側の人物の頭部分３０７の画像情報が欠損してしまう。

【0027】

出力映像生成部１０６は、例えば、前景抽出に失敗した前景画像３０４の物理カメラに近い視点で、仮想視点映像３０５を生成する場合がある。その際、出力映像生成部１０６は、３次元モデル３０３に対して、前景画像３０４の右側の被写体の頭部分３０７を利用した色付けができないため、生成された仮想視点映像３０５における右側の人物の頭部分３０８に色が付かない。

【0028】

出力映像生成部１０６の色付け機能次第では、例えば、３次元モデル３０３に色が付けられない場合に、他の物理カメラの前景画像３０４の色を利用する対応が考えられる。すなわち、出力映像生成部１０６は、所望の仮想視点における画角が含まれる他の前景画像３０４を用いて色を付けることで、最終的な生成物である仮想視点映像３０５の色付けの失敗を抑制することが可能である。ただし、前景抽出に失敗した物理カメラに対応する前景画像３０４でのみ撮影される画角の範囲が存在する場合、他の物理カメラに対応する前景画像３０４の色情報を利用して補間することは不可能な場合がある。例えば、ある物理カメラの前景画像３０４でのみ撮影される画角の範囲に、被写体右側の頭部分３０６が含まれる場合には、他の物理カメラの撮影画像４０１の色情報を利用することは不可能である。

【0029】

図４は、本実施形態による撮影状態判定部１０７と前景画像制御部１０８を用いて前景抽出に失敗した場合への対応を示す図である。複数の撮影画像４０１は、それぞれ、撮像部１０１の複数の物理カメラにより撮影された画像である。前景抽出部１０２は、撮影画像４０１と、あらかじめ撮影された背景画像との差分を基に、前景マスク４０２を生成する。前景マスク４０２は、撮影画像４０１に対して、前景が存在する領域の画素値が１であり、前景が存在しない領域の画素値が０である。

【0030】

撮影状態判定部１０７は、前景抽出部１０２により生成される前景マスク４０２を基に、撮影画像４０１の撮影状態を判定する。具体的には、撮影状態判定部１０７は、前景マスク４０２の前景が存在する領域の画素数を基に、撮影状態を判定する。前景が存在する領域の画素数が、あらかじめ定められた前景存在閾値より少ない場合、撮影画像４０１に前景が存在しない状態であると考えられる。前景が存在する領域の画素数が、前述の前景存在閾値よりは多いが、あらかじめ定められた前景量判定閾値よりは少ない場合、前景の領域が撮影画像４０１の画角全体に対して小さいことを示している。

【0031】

前景の領域が撮影画像４０１の全体の画角に対して小さい場合、前景の被写体を高解像度に表現することができない状態であることを示すため、撮影難易度が高い状態であると考えられる。よって、前景が存在する領域の画素数が前景存在閾値より多く、前景量判定閾値より少ない場合、撮影状態判定部１０７は、撮影難易度が高い状態であると判定する。また、前景が存在する領域の画素数が前景量判定閾値より多い場合、撮影状態判定部１０７は、撮影難易度が低い状態であると判定する。

【0032】

また、逆に天候の影響により、前景として抽出したくない雨や雪が大量に前景として抽出されることで、前景が存在する領域の画素数が非常に多くなるケースも考えられる。この場合は、前景が存在する領域の画素数があらかじめ定められた前景飽和判定閾値よりも多い場合、撮影状態判定部１０７は、撮影難易度が高い状態であると判定する。また、前景が存在する領域の画素数があらかじめ定められた前景飽和判定閾値よりも少ない場合、撮影状態判定部１０７は、撮影難易度が低い状態であると判定する。

【0033】

また、前景が存在する領域の画素数が前景量判定閾値より多くかつ前景飽和判定閾値より少ない場合には、撮影状態判定部１０７は、撮影難易度が低い状態であると判定する。また、前景が存在する領域の画素数が前景量判定閾値より少ないまたは前景飽和判定閾値より多い場合には、撮影状態判定部１０７は、撮影難易度が低い状態であると判定する。

【0034】

なお、スポーツの試合を撮影する場合を想定すると、設置した物理カメラの画角やレンズの性能により、最大どの程度の前景の領域の画素数が存在するかは、あらかじめ算出可能である。そのあらかじめ算出された画素数を前景飽和判定閾値とすることが可能である。撮影難易度は、物理カメラごとのレンズや配置によって異なるため、それぞれの物理カメラに対して算出される。このように算出されたそれぞれの物理カメラの撮影難易度は、撮影状態判定部１０７から前景画像制御部１０８に対して出力される。

【0035】

なお、撮影難易度を算出する方法として、撮影状態判定部１０７は、前景が存在する領域の画素数を使用する方法に限定されない。撮影状態判定部１０７は、撮影画像４０１のうちの前景が存在する領域の色情報の分布と撮影画像４０１のうちの前記が存在する領域の背景画像の色情報の分布の類似度を算出し、撮影難易度を判定する。両者の色情報の分布の類似度が閾値より高い場合、撮影状態判定部１０７は、前景の色と背景の色が類似していることを示しているため、撮影難易度が高い状態であると判定する。また、両者の色情報の分布の類似度が閾値より低い場合、撮影状態判定部１０７は、撮影難易度が低い状態であると判定する。

【0036】

前景画像制御部１０８は、撮影難易度が高い状態であると判定された場合に、伝送部１０３に対して、撮影難易度が高い場合の前景画像４０４を生成するように指示を行う。また、前景画像制御部１０８は、撮影難易度が低い状態であると判定された場合に、伝送部１０３に対して、撮影難易度が低い場合の前景画像４０４を生成するように指示を行う。

【0037】

伝送部１０３は、撮影難易度が高い場合、撮影難易度が高い物理カメラの撮影画像４０１に対し、前景マスク４０２を用いず、撮影画像４０１そのものを前景画像４０４として生成し、前景画像４０４を圧縮する。また、伝送部１０３は、撮影難易度が低い場合、撮影難易度が低い物理カメラの撮影画像４０１に対して、前景マスク４０２を用いて、前景が存在しない領域を単色（例えば、黒）に変換することにより、前景画像４０４を生成し、前景画像４０４を圧縮する。

【0038】

撮影難易度が高い場合、前景画像４０４のうちの前景が存在しない領域を単色とすることで圧縮効率を向上させることができなくなるが、前景マスク４０２で欠損した右側の人物の頭部分４０６に対応する前景画像４０４の頭部分４０７の欠損を抑制できる。前景画像４０４は、物理カメラごとの撮影難易度によって、前景マスク４０２を用いた前景画像４０４を生成するか否かが決定される。その後、伝送部１０３は、全ての物理カメラの前景画像４０４に対して、前述したランレングス圧縮などの圧縮処理を実施し、圧縮した複数の前景画像４０４と複数の前景マスク４０２を前景モデル生成部１０４に伝送する。

【0039】

前景モデル生成部１０４は、伝送部１０３により伝送された複数の前景マスク４０２を基に、３次元モデル４０３を生成する。保存部１０５は、前景モデル生成部１０４により生成された３次元モデル４０３と、伝送部１０３により伝送された圧縮後の複数の前景画像４０４とを保存する。

【0040】

出力映像生成部１０６は、保存部１０５により保存された圧縮後の複数の前景画像４０４を伸長する。そして、出力映像生成部１０６は、保存部１０５により保存された被写体の３次元モデル４０３に対して、ユーザが指定した仮想視点に応じて、伸長された複数の前景画像４０４の色情報を利用して色を付けることにより、仮想視点映像４０５を生成する。この場合、出力映像生成部１０６は、前景マスク４０２で欠損した右側の人物の頭部分４０６に対応する前景画像４０４の頭部分４０７についても色付けが可能となり、最終的な仮想視点映像４０５の品質低下が生じることを抑制可能となる。

【0041】

図５は、画像処理装置１００の画像処理方法を示すフローチャートである。まず、ステップＳ５０１では、撮像部１０１は、複数の物理カメラの撮影処理により、複数の撮影画像４０１を生成する。前景抽出部１０２は、前景マスク生成部として機能し、複数の物理カメラにより撮影された複数の撮影画像４０１に対して、それぞれ、前景が存在する領域を示す複数の前景マスク４０２を生成する。具体的には、前景抽出部１０２は、複数の物理カメラごとに、撮像部１０１により生成された複数の撮影画像４０１と、あらかじめ撮影された複数の背景画像との差分を基に、複数の前景マスク４０２を生成する。

【0042】

次に、ステップＳ５０２では、撮影状態判定部１０７は、複数の物理カメラごとに、複数の前景マスク４０２の前景が存在する領域の画素数等を基に、複数の物理カメラの撮影難易度の高低を判定する。

【0043】

次に、ステップＳ５０３では、画像処理装置１００は、複数の物理カメラに対して、物理カメラの数だけのループ処理を順次行う処理を開始する。

【0044】

次に、ステップＳ５０４では、前景画像制御部１０８は、物理カメラごとに、対象の物理カメラの撮影画像４０１の撮影難易度が閾値より低いか否かを判定する。前景画像制御部１０８は、撮影画像４０１の撮影難易度が閾値より低い場合、その旨を伝送部１０３に指示し、ステップＳ５０５に進む。また、前景画像制御部１０８は、撮影画像４０１の撮影難易度が閾値より高い場合、その旨を伝送部１０３に指示し、伝送部１０３は、対象の物理カメラの撮影画像４０１そのものを対象の物理カメラの前景画像４０４として生成し、ステップＳ５０６に進む。

【0045】

ステップＳ５０５では、伝送部１０３は、対象の物理カメラの前景マスク４０２を基に、対象の物理カメラの撮影画像４０１のうちの前景が存在する領域の画像を、対象の物理カメラの前景画像４０４として生成する。具体的には、伝送部１０３は、対象の物理カメラの撮影画像４０１に対して、対象の物理カメラの前景マスク４０２の前景が存在しない領域の画素値を単色に変換することにより、対象の物理カメラの前景画像４０４を生成し、ステップＳ５０６に進む。

【0046】

ステップＳ５０６では、伝送部１０３は、対象の物理カメラの前景画像４０４を圧縮（例えば、ランレングス圧縮）し、ステップＳ５０３のループ処理に戻り、次の対象の物理カメラに対する処理を繰り返す。

【0047】

なお、ステップＳ５０６では、伝送部１０３は、対象の物理カメラの撮影難易度の高低に応じて、対象の物理カメラの前景画像４０４に対して、異なる方式の圧縮処理を行ってもよい。例えば、伝送部１０３は、対象の物理カメラの撮影難易度が低い場合、前景画像４０４が単色の領域を含むので、対象の物理カメラの前景画像４０４に対して、ランレングス圧縮処理を行うことにより、圧縮効率を向上させることができる。また、伝送部１０３は、対象の物理カメラの撮影難易度が高い場合、前景画像４０４が撮影画像４０１と同じであるので、対象の物理カメラの前景画像４０４に対して、非可逆圧縮処理を行うことにより、圧縮効率の低下を抑制することができる。非可逆圧縮処理は、伝送部１０３から前景モデル生成部１０４に対しての伝送帯域が不足する場合や、保存部１０５が圧縮後の前景画像４０４を保存するための容量をさらに節約したい場合に有効である。

【0048】

本実施形態によれば、画像処理装置１００は、物理カメラの撮影画像４０１に対して、前景抽出部１０２の処理を失敗するような場合についても、最終的に得られる仮想視点映像に与える映像品質低下を抑制することが可能となる。

【0049】

（第２の実施形態）
第２の実施形態では、第１の実施形態で述べた撮影状態判定部１０７での撮影状態の判定方法が異なる実施形態について説明する。第２の実施形態による画像処理装置１００は、第１の実施形態による画像処理装置１００に対して、同様の構成を有するが、図１で示した撮影状態判定部１０７の処理が異なる。

【0050】

図６は、サッカーフィールド６０１におけるサッカーの試合を撮影している状態を示す図である。図６を用いて、撮影状態判定部１０７での処理を説明する。撮像部１０１は、複数存在する物理カメラの中で、撮影している画角６０５、６０６および６０７が類似している物理カメラ６０２、６０３および６０４を有する。なお、画角６０５～６０７が類似しているか否かは、各物理カメラ６０２～６０４を設置した際の画像の内容からユーザが目視で判断し、あらかじめ規定されている。なお、画角６０５～６０７が類似しているか否かは、目視以外の方法として、各物理カメラ６０２～６０４の設置位置や姿勢を校正するキャリブレーション結果としてのカメラパラメータにおける設置位置や画角範囲の情報から判定してもよい。その他、各物理カメラ６０２～６０４で撮影している撮影画像４０１上において物理カメラ６０２～６０４間で対応付けられる特徴点の数などを基に、画角６０５～６０７が類似しているか否かを判定してもよい。画角６０５～６０７が類似しているか否かの判定方法は、限定されない。

【0051】

物理カメラ６０２は、画角６０５の範囲を撮影している。物理カメラ６０３は、画角６０６の範囲を撮影している。物理カメラ６０４は、画角６０７の範囲を撮影している。この時、撮影状態判定部１０７は、撮像部１０１に存在する物理カメラ６０２～６０４から撮影状態を判定するための情報を取得する。撮影状態を判定するための情報は、撮影状態情報であり、具体的には、正常、異常、撮影不可の３つの値を有する。

【0052】

図６の場合、物理カメラ６０２および物理カメラ６０４は、撮影状態情報として、撮影不可を撮影状態判定部１０７に出力する。物理カメラ６０３は、撮影状態情報として、正常を撮影状態判定部１０７に出力する。この時、物理カメラ６０３の画角６０６をカバー可能な、画角が類似した他の物理カメラが存在しない状態になっており、物理カメラ６０３の画像情報の欠損を避けたい状況であると考えられる。この時、撮影状態判定部１０７は、物理カメラ６０３の撮影難易度が高い状態であると判定し、前景画像制御部１０８に撮影難易度を出力する。

【0053】

撮影状態判定部１０７は、複数の物理カメラのうちの画角６０５～６０７が類似している物理カメラ６０２～６０４の撮影画像４０１の正常、異常または撮影不可の情報に応じて、撮影難易度の高低を判定する。例えば、撮影状態判定部１０７は、物理カメラ６０２～６０４のうちのすべての物理カメラの撮影画像４０１が正常である場合には、撮影難易度が低い状態であると判定する。また、撮影状態判定部１０７は、物理カメラ６０２～６０４のうちの一部の物理カメラの撮影画像４０１が異常または撮影不可である場合には、撮影難易度が高い状態であると判定する。

【0054】

前景画像制御部１０８は、第１の実施形態と同様に、撮影難易度が高いと判定された場合には、伝送部１０３に対して、撮影難易度が高い場合の処理を行うように指示する。撮影難易度が高い場合の伝送部１０３の処理は、第１の実施形態に記載の内容と同様である。

【0055】

なお、撮像部１０１が撮影状態判定部１０７に出力する撮影状態情報は、撮影画像４０１そのものでもよい。この場合、撮影状態判定部１０７は、撮影画像４０１を解析し、撮影画像４０１の撮影が正常に実施されているか否かを判定する。例えば、撮影状態判定部１０７は、現在のフレームの撮影画像４０１と時間方向に１フレーム前の撮影画像４０１とを比較し、被写体の動きでは想定されないような、急激な撮影画像４０１の内容の変化があった場合は、撮影状態情報として、異常であると判定する。具体的には、撮影状態判定部１０７は、物理カメラの前面が鳥や応援の旗などによって覆われた場合や、物理カメラの撮像センサの異常により色味の異常な変化やノイズの発生が生じた場合などの場合、撮影状態情報として、異常であると判定する。また、撮影状態判定部１０７は、物理カメラから撮影画像４０１がそもそも得られない状態の場合、撮影状態情報として、撮影不可であると判定可能である。以上のように、撮影状態判定部１０７は、撮影画像４０１を基に、撮影画像４０１の正常、異常または撮影不可の情報を判定することができる。

【0056】

撮影状態判定部１０７は、撮像部１０１の物理カメラ６０２～６０４における画角６０５～６０７の類似関係を、物理カメラ６０２～６０４の設置時に確定し、あらかじめテーブルのような形式で格納していてもよい。撮像部１０１の物理カメラ６０２～６０４が撮影中に画角を変化させる場合、画角変化の都度、画角６０５～６０７の類似関係を決定し直す必要がある。

【0057】

なお、各物理カメラの撮影難易度をユーザが指定してもよい。また、ユーザが撮影難易度を指定する場合、全ての物理カメラに対して撮影難易度を指定するのではなく、任意の台数の物理カメラの撮影難易度のみを指定し、残りの物理カメラの撮影難易度は、撮影状態判定部１０７が上述した方法で判定してもよい。画像処理装置１００が撮影難易度を検知できないが、ユーザが認識した何らかの理由により撮影難易度を指定したい場合に、ユーザが撮影難易度を指定する方法が有効である。

【0058】

本実施形態によれば、画像処理装置１００は、物理カメラの撮影状態によって、画像情報の欠損が生じた際に、影響が大きい場合について、最終的に得られる仮想視点映像に与える映像品質低下を抑制することが可能となる。

【0059】

（第３の実施形態）
第３の実施形態は、第１の実施形態に対して、撮影状態判定部１０７の撮影状態の判定方法が異なる。第３の実施形態による画像処理装置１００は、第１の実施形態による画像処理装置１００に対して、同様の構成を有するが、図１の撮影状態判定部１０７の処理が異なる。

【0060】

図７は、サッカーフィールド７０１におけるサッカーの試合を撮影している状態を示す図である。図７を用いて、撮影状態判定部１０７の処理を説明する。サッカーフィールド７０１に対し、画角７０２の物理カメラと画角７０３の物理カメラが設置されている。この時、画角７０２は、ゴール前の映像を撮影可能な画角である。画角７０３は、センターライン位置であり、かつサイドラインに寄った部分の画角である。試合中の映像の中でも、特に視聴者の注目度が高く、重要視される映像は、ゴールシーンなどの映像であり、ゴール前の画角の映像が重要であると考えられる。ここで、撮影重要度は、物理カメラが撮影している画角の重要度に応じて、高いまたは低いが設定される。この撮影重要度は、撮像部１０１の各物理カメラから撮影状態判定部１０７に出力される。画角７０２の物理カメラの撮影重要度は、高い。画角７０３の物理カメラの撮影重要度は、低い。

【0061】

撮影状態判定部１０７は、各物理カメラの撮影画像４０１の撮影重要度を前景画像制御部１０８に出力する。前景画像制御部１０８は、撮影重要度が高い物理カメラの撮影画像４０１に対しては、撮影画像４０１そのものを前景画像４０４にするように、伝送部１０３に指示する。前景画像制御部１０８は、撮影重要度が低い物理カメラの撮影画像４０１に対しては、前景が存在しない領域を単色に変換することにより、前景画像４０４を生成するように、伝送部１０３に指示する。伝送部１０３の処理は、第１の実施形態と同様である。画像処理装置１００は、撮影される映像の重要度が高い物理カメラの撮影画像４０１に対して、前景抽出部１０２の処理の結果によらず、映像情報が欠損する状況を抑制することが可能となる。

【0062】

また、撮像部１０１の物理カメラの撮影する画角が変化する場合、その都度、撮影状態判定部１０７は、撮影画像４０１を持ちに、撮影画像４０１の撮影重要度を判定する。具体的には、撮影状態判定部１０７は、サッカーフィールド７０１に対して、あらかじめ撮影重要度が高い領域を定義しておき、各物理カメラの撮影画像４０１に対して、撮影重要度が高い領域が含まれる場合は、その撮影画像４０１の撮影重要度が高いと判定する。

【0063】

本実施形態によれば、画像処理装置１００は、物理カメラの撮影対象に対する撮影重要度を考慮した前景画像４０４を生成することにより、最終的に得られる仮想視点映像に与える映像品質低下を抑制することが可能となる。

【0064】

また、上述の実施形態のいずれにおいても、前景画像４０４は、撮影画像４０１の解像度がそのまま維持されているが、前景画像４０４を領域分割してもよい。例えば、撮影画像４０１のうちの前景が存在する画素に外接する矩形部分のみを前景画像として、領域分割する場合について説明する。この時、前景画像４０４が領域分割されて２つの矩形の画像となった場合に、画像処理装置１００は、矩形単位の前景画像のそれぞれに対して上述の実施形態における処理を行えばよい。

【0065】

このように、領域を分割した前景画像４０４として扱うことで、より細やかな対応が可能となる。具体的には、物理カメラの解像度単位で前景画像４０４を扱っていた場合、画像処理装置１００は、物理カメラ単位で前景画像４０４の処理を制御することになる。これに対し、前景画像４０４を領域分割して扱う場合、画像処理装置１００は、物理カメラ単位より細かな矩形単位で、前景画像４０４の生成を制御することが可能となる。

【0066】

図８は、上記の各実施形態に係る前景抽出部１０２、伝送部１０３、前景モデル生成部１０４、出力映像生成部１０６、撮影状態判定部１０７および前景画像制御部１０８に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

【0067】

ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行う。加えて、ＣＰＵ８０１は、コンピュータプログラムを実行することにより、上記の各実施形態に係る前景抽出部１０２、伝送部１０３、前景モデル生成部１０４、出力映像生成部１０６、撮影状態判定部１０７、および前景画像制御部１０８が行う各処理を実行する。

【0068】

ＲＡＭ８０２は、外部記憶装置８０４からロードされたコンピュータプログラムおよびデータ、または、Ｉ／Ｆ（インターフェース）８０５を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ８０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。ＲＯＭ８０３には、コンピュータの設定データや、ブートプログラムなどが格納されている。

【0069】

外部記憶装置８０４は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置８０４には、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ８０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置８０４には、処理対象としての各画像データが保存されていても良い。

【0070】

外部記憶装置８０４に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って、適宜、ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。

【0071】

Ｉ／Ｆ８０５には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができる。コンピュータは、このＩ／Ｆ８０５を介して、様々な情報を取得したり、送出したりすることができる。バス８０６は、上述の各部を繋ぐバスである。なお、図１の保存部１０５は、外部記憶装置８０４であってもよいし、Ｉ／Ｆ８０５経由による外部ネットワーク経由の記憶装置であってもよい。上述の構成からなる作動は、前述の実施形態で説明した作動を、ＣＰＵ８０１が中心となってその制御を行う。

【0072】

なお、第１のコンピュータが、前景抽出部１０２、伝送部１０３、撮影状態判定部１０７および前景画像制御部１０８を実現し、第２のコンピュータが、前景モデル生成部１０４および出力映像生成部１０６を実現してもよい。その場合、第１のコンピュータと第２のコンピュータは、それぞれ、図８の構成を有し、Ｉ／Ｆ８０５を介してネットワーク接続される。

【0073】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0074】

なお、上記実施形態は、何れも本発明を実施するにあたっての具体例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0075】

１０１ 撮像部、１０２ 前景抽出部、１０３ 伝送部、１０４ 前景モデル生成部、１０５ 保存部、１０６ 出力映像生成部、１０７ 撮影状態判定部、１０８ 前景画像制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】