特許 7045964 画像処理装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-24

(45)【発行日】2022-04-01

(54)【発明の名称】画像処理装置、方法及びプログラム

(51)【国際特許分類】

   G06T 7/593 20170101AFI20220325BHJP

   G06T 17/10 20060101ALI20220325BHJP

   G06T 7/00 20170101ALI20220325BHJP

   G01C 15/00 20060101ALI20220325BHJP

   G01B 11/00 20060101ALI20220325BHJP

【ＦＩ】

G06T7/593

G06T17/10

G06T7/00 C

G01C15/00 101

G01B11/00 H

【請求項の数】 13

(21)【出願番号】P 2018161868

(22)【出願日】2018-08-30

(65)【公開番号】P2020035218

(43)【公開日】2020-03-05

【審査請求日】2020-07-06

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】野中 敬介

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１６－００４００７（ＪＰ，Ａ）

【文献】高野橋 健太，外４名，残像を利用したボールの３次元軌跡の計測，情報処理学会論文誌 第４８巻 Ｎｏ．ＳＩＧ１（ＣＶＩＭ１７），日本，社団法人情報処理学会，2007年，第48巻

【文献】野中 敬介，外１名，スポーツ映像解析及びその表現方法としての自由視点映像生成の紹介，電子情報通信学会誌 第１００巻 第１０号，日本，一般社団法人電子情報通信学会，2017年，第100巻

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １７／５０

Ｇ０１Ｂ １１／００

Ｇ０１Ｃ １５／００

(57)【特許請求の範囲】

【請求項1】

多視点画像の各画像に視体積交差法を適用して被写体の３次元モデルを生成する生成部を備える画像処理装置であって、
前記生成部は、被写体の速度の大きい空間に関しては視体積交差法の交差判定を緩和したうえで前記３次元モデルを生成し、
前記多視点画像の各画像において速度場を推定する推定部をさらに備え、
前記生成部は、前記各画像において推定された速度場から判定される、被写体の速度の大きい空間に関しては視体積交差法の交差判定を緩和したうえで前記３次元モデルを生成し、
前記多視点画像の各画像より前景と背景とを区別したマスクを抽出したうえでさらに、前景を前記推定した速度場に応じて膨張させるように当該マスクを加工する抽出部をさらに備え、
前記生成部では、当該加工されたマスクを対象として視体積交差法を適用して被写体の３次元モデルを生成することを特徴とする画像処理装置。

【請求項2】

前記推定部はさらに、各画像において前記推定した速度場が大きいと判定される高速領域を求め、各画像の当該高速領域に対して視体積交差法を適用することで前記被写体の速度の大きい空間を判定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記推定部では、多視点画像の各画像のうち一部の画像のみの高速領域によって得られる視体積交差法の交差判定から３次元モデルを得るようにすることで、前記被写体の速度の大きい空間を判定することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記推定部では、オプティカルフローの算出により、または、物体追跡による動きベクトルの算出により、前記速度場を推定することを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。

【請求項5】

前記抽出部では、前景のうち前記推定した速度場が大きいと判定される領域に近いものを膨張させるように前記抽出したマスクを加工することを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。

【請求項6】

前記推定部では、前記多視点画像の各画像の２次元画像情報に基づく速度場を求めたうえでさらに、各画像に付随する奥行情報に基づき、奥行がより遠方のものほど２次元画像情報に基づく速度場の値がより大きくなるように補正することで、前記推定する速度場を得ることを特徴とする請求項１ないし５のいずれかに記載の画像処理装置。

【請求項7】

前記生成部では、多視点画像の各画像のうち一部の画像のみの前景によって得られる交差判定から３次元モデルを得るようにすることで、前記視体積交差法の交差判定を緩和することを特徴とする請求項１ないし６のいずれかに記載の画像処理装置。

【請求項8】

多視点画像の各画像に視体積交差法を適用して被写体の３次元モデルを生成する生成部を備える画像処理装置であって、
前記多視点画像の各画像において速度場を推定する推定部と、
前記多視点画像の各画像より前景と背景とを区別したマスクを抽出したうえでさらに、前景を前記推定した速度場に応じて膨張させるように当該マスクを加工する抽出部と、をさらに備え、
前記生成部では、当該加工されたマスクを対象として視体積交差法を適用して被写体の３次元モデルを生成することを特徴とする画像処理装置。

【請求項9】

前記生成した３次元モデルに基づき、指定される仮想視点に対応する前記多視点画像の自由視点画像を合成する合成部をさらに備えることを特徴とする請求項１ないし８のいずれかに記載の画像処理装置。

【請求項10】

多視点画像の各画像に視体積交差法を適用して被写体の３次元モデルを生成する生成段階を備える、コンピュータによって実行される画像処理方法であって、
前記生成段階では、被写体の速度の大きい空間に関しては視体積交差法の交差判定を緩和したうえで前記３次元モデルを生成し、
前記多視点画像の各画像において速度場を推定する推定段階をさらに備え、
前記生成段階は、前記各画像において推定された速度場から判定される、被写体の速度の大きい空間に関しては視体積交差法の交差判定を緩和したうえで前記３次元モデルを生成し、
前記多視点画像の各画像より前景と背景とを区別したマスクを抽出したうえでさらに、前景を前記推定した速度場に応じて膨張させるように当該マスクを加工する抽出段階をさらに備え、
前記生成段階では、当該加工されたマスクを対象として視体積交差法を適用して被写体の３次元モデルを生成することを特徴とする画像処理方法。

【請求項11】

多視点画像の各画像に視体積交差法を適用して被写体の３次元モデルを生成する生成段階を備える、コンピュータによって実行される画像処理方法であって、
前記多視点画像の各画像において速度場を推定する推定段階と、
前記多視点画像の各画像より前景と背景とを区別したマスクを抽出したうえでさらに、前景を前記推定した速度場に応じて膨張させるように当該マスクを加工する抽出段階と、をさらに備え、
前記生成段階では、当該加工されたマスクを対象として視体積交差法を適用して被写体の３次元モデルを生成することを特徴とする画像処理方法。

【請求項12】

多視点画像の各画像に視体積交差法を適用して被写体の３次元モデルを生成する生成部を備える画像処理装置としてコンピュータを機能させる画像処理プログラムであって、
前記生成部は、被写体の速度の大きい空間に関しては視体積交差法の交差判定を緩和したうえで前記３次元モデルを生成し、
前記画像処理装置は、
前記多視点画像の各画像において速度場を推定する推定部をさらに備え、
前記生成部は、前記各画像において推定された速度場から判定される、被写体の速度の大きい空間に関しては視体積交差法の交差判定を緩和したうえで前記３次元モデルを生成し、
前記多視点画像の各画像より前景と背景とを区別したマスクを抽出したうえでさらに、前景を前記推定した速度場に応じて膨張させるように当該マスクを加工する抽出部をさらに備え、
前記生成部では、当該加工されたマスクを対象として視体積交差法を適用して被写体の３次元モデルを生成することを特徴とする画像処理プログラム。

【請求項13】

多視点画像の各画像に視体積交差法を適用して被写体の３次元モデルを生成する生成部を備える画像処理装置としてコンピュータを機能させる画像処理プログラムであって、
前記画像処理装置は、
前記多視点画像の各画像において速度場を推定する推定部と、
前記多視点画像の各画像より前景と背景とを区別したマスクを抽出したうえでさらに、前景を前記推定した速度場に応じて膨張させるように当該マスクを加工する抽出部と、をさらに備え、
前記生成部では、当該加工されたマスクを対象として視体積交差法を適用して被写体の３次元モデルを生成することを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多視点映像における時刻同期に関して一定精度内でのズレが存在しうることを許容したうえで、高速に動く物体を適切にモデル化することが可能な画像処理装置、方法及びプログラムに関する。

【背景技術】

【0002】

従来、スポーツシーンなどを対象として、カメラで撮影されていない自由な視点からの映像（以下、自由視点映像）を生成する技術が提案されている。この技術は複数のカメラで撮影された映像を基に、それらの配置されていない仮想的な視点の映像を合成し、その結果を画面上に表示することでさまざまな視点での映像観賞を可能とするものである。

【0003】

ここで、自由視点映像合成技術のうち、視体積交差法と呼ばれる原理を利用して、被写体の3次元コンピュータグラフィクス（3DCG）モデルを生成することで高品質な自由視点映像を合成する既存技術が存在する（非特許文献１）。この方式では、複数のカメラから得られる被写体の概形情報を3次元空間に逆投影し、それらを膨大な数の点群データに記述し、被写体の概形を精緻に再現するものである。あらかじめ生成された被写体の3DCGモデルを入力として、仮想視点の位置を決めてディスプレイ上にレンダリングすることで、自由視点映像が生成される。この他に、点群データを介さずに仮想的な平面群を用いて視体積交差法を実現する技術が提案されている（特許文献１）。

【0004】

以上のように、複数のカメラ映像から被写体を3DCGモデル化し、任意の視点の仮想映像を合成する発明は複数提案されているが、それらの多くが視体積交差法の原理に則っていることがわかる。

【先行技術文献】

【特許文献】

【0005】

【文献】特願2017-167472号

【非特許文献】

【0006】

【文献】Laurentini, A. "The Visual Hull Concept for Silhouette Based Image Understanding."IEEE PAMI, 16,2 (1994), 150-162

【発明の概要】

【発明が解決しようとする課題】

【0007】

多様なシーンにおける被写体の3DCGモデル化を可能とする視体積交差法であるが、その適用には「（１）原則、被写体を全てのカメラで捉えていること」、「（２）正確なカメラキャリブレーションができていること」、「（３）複数のカメラ間において時刻同期が取れていること」、といった３つの前提条件が存在する。ここで、（１）、（２）の条件については、カメラの設置時の位置調整やキャリブレーション用マーカーの配置といった比較的簡易な解決策を講じることが可能である。

【0008】

一方で、（３）の時刻同期については、被写体シーンによっては厳密なものが求められる。例えば、被写体人物がゆっくりと動く場合は、前後のフレーム間での映像の変化が少ないため、数フレームの同期ずれが起こった場合でも品質劣化を起こすことはない。しかしながら、野球のボールなど高速に動く物体をモデル化する際には、1フレームのズレが実空間での数十cmのズレに相当するため、視体積の交差する箇所のズレによって不適切な形状が得られる等の大きな品質劣化に繋がる。あるいはさらに、当該ズレがさらに大きい場合には全カメラによる視体積が交差する箇所が消失してしまい、モデル化自体が行われないという問題も起こりうる。

【0009】

この問題を時刻同期の精度を高めて解決するには、Genlockなどの同期用の信号を受ける専用機材が必要であるが、一般に高額なものとなる。またその場合でも、カメラから映像信号を送るケーブル長の違いや映像処理側のサーバプログラムの処理順によって、1フレーム程度のズレは起こりうるため、完全に解決することは難しく、これらのズレを許容するように映像処理側で対策を行う必要がある。しかしながら、従来技術においてはこのような対策は提供されていなかった。

【0010】

上記のような従来技術の課題に鑑み、本発明は、多視点映像における時刻同期に関して一定精度内でのズレが存在しうることを許容したうえで、高速に動く物体を適切にモデル化することが可能な画像処理装置、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するため、本発明は、多視点画像の各画像に視体積交差法を適用して被写体の３次元モデルを生成する生成部を備える画像処理装置であって、前記生成部は、被写体の速度の大きい空間に関しては視体積交差法の交差判定を緩和したうえで前記３次元モデルを生成することを第一の特徴とする。また、本発明は、多視点画像の各画像に視体積交差法を適用して被写体の３次元モデルを生成する生成部を備える画像処理装置であって、前記多視点画像の各画像において速度場を推定する推定部と、前記多視点画像の各画像より前景と背景とを区別したマスクを抽出したうえでさらに、前景を前記推定した速度場に応じて膨張させるように当該マスクを加工する抽出部と、をさらに備え、前記生成部では、当該加工されたマスクを対象として視体積交差法を適用して被写体の３次元モデルを生成することを第二の特徴とする。また、当該第一及び第二の特徴に係る装置に対応する方法及びプログラムであることを特徴とする。

【発明の効果】

【0012】

本発明の第一の特徴によれば、被写体の速度の大きい空間に関しては視体積交差法の交差判定を緩和することにより、多視点映像における時刻同期に関して一定精度内でのズレが存在する場合であっても、高速に動く物体を適切にモデル化することが可能となる。本発明の第二の特徴によれば、被写体の速度が大きいことが想定される前景に関してはその前景を膨張させて加工したマスクを利用して視体積交差法を適用することにより、多視点映像における時刻同期に関して一定精度内でのズレが存在する場合であっても、高速に動く物体を適切にモデル化することが可能となる。

【図面の簡単な説明】

【0013】

【図1】一実施形態に係る画像処理装置の機能ブロック図である。

【図2】抽出部での処理の模式例を示す図である。

【図3】抽出部での処理の模式例を示す図である。

【発明を実施するための形態】

【0014】

図１は、一実施形態に係る画像処理装置の機能ブロック図である。図示する通り、画像処理装置10は、推定部1、生成部2、合成部3、抽出部4及び校正部5を備える。ここで、生成部2は判定部21及び交差部22を備える。

【0015】

図示する通り、画像処理装置10はその全体的な動作として、多視点映像の各時刻t（t=1,2, …）の多視点画像Pi(t)（i=1,2, …, N；すなわち、iは全N台ある中から当該画像Pi(t)を撮影するカメラCiを指定するインデクスである。）を推定部1、合成部3、抽出部4及び校正部5において読み込み、生成部2において時刻tにおける多視点画像内の被写体の３次元モデルMD(t)を生成したうえで、ユーザ指定等により与えられる時刻tの仮想視点VP(t)での自由視点画像FR(t)を合成部3において合成することにより、各時刻tでの自由視点画像FR(t)として自由視点映像を合成することができる。

【0016】

ここで、入力される各カメラCiの多視点画像Pi(t)の時刻t（=t_[i]とする）とは、対応する多視点映像を所定の映像撮影システム等により得た際に、各カメラCi間において所定精度内で同期しているものとして、時系列上のフレーム番号として付与された時刻t_[i]である。従って例えば、カメラC1の画像P1(t_[1])に付与されている時刻t_[1]と、カメラC2の画像P2(t_[2])に付与されている時刻t_[2]との間には、現実に撮影された時刻に関して所定精度内において時刻ズレが存在しうる。例えば、時刻t_[1],t_[2]をフレーム番号ではなく現実に撮影された時刻として見ると、1フレーム分のズレがあり「t_[1]=t_[2]+1」という関係が成立していることがありうる。また、当該ズレは一般には必ずしも整数単位フレーム分ではなく、小数単位フレーム分となりうるものである。

【0017】

本発明によればこのようにフレーム番号としての時刻tに所定精度内のズレがある場合であっても、多視点映像に撮影されている高速移動する被写体を適切に３次元モデル化し、高速移動する被写体に関しても当該ズレにより大きく品質を損なうことなく一定品質を確保した自由視点映像を生成することが可能である。

【0018】

なお、上記説明のように実際の撮影時刻という観点からは所定精度内でのズレが存在しうることを前提に、以下では各カメラCiの画像Pi(t)に共通付与された時系列上でのフレーム番号として「時刻t」を用いるものとする。また、特に時刻tに言及する必要がない場合、例えばいずれの時刻tであっても共通の処理等に関して説明する場合に関しては、特に時刻tに言及せずに説明を行うものとする。例えば、カメラCiの時刻tの画像Pi(t)に関して、単に画像Piとして説明を行うものとする。

【0019】

図１にも示される通り、画像処理装置10の各部の概略的な処理内容と、各部の間の処理の連携（各部間でのデータの授受）とはそれぞれ以下の通りである。

【0020】

推定部1は多視点画像における各カメラCiの画像Piに関して速度場Viを推定し、当該速度場Vi（又は当該速度場Viから定まる画像Pi内での高速領域Ri）を判定部21へと出力する。推定部1は一実施形態ではさらに、当該推定した速度場Vi（又は高速領域Ri）をさらに抽出部4へと出力するようにしてもよい。

【0021】

判定部21は推定部1から得た各画像Piの速度場Vi（又は高速領域Ri）より、後段側の処理部である交差部22において実施する視体積交差法における交差判定を緩和すべき空間領域としての緩和領域を判定し、当該判定した緩和領域を交差部22へと出力する。

【0022】

交差部22は、校正部5より得られる校正データ（各カメラCiのカメラパラメータ）を用いて、抽出部4により得られる各画像PiのマスクMSiを対象として視体積交差法を適用することにより、多視点画像に撮影されている被写体の３次元モデルを得て、当該３次元モデルを合成部3へと出力する。当該生成する際に、交差部22では判定部21から得た緩和領域に関しては視体積交差法における交差判定の条件を緩和したうえで、被写体の３次元モデルを生成する。

【0023】

判定部21及び交差部22を備えて構成される生成部2は以上のようにして、画像処理装置10に入力された多視点画像（より正確には、当該多視点画像が抽出部4を経てマスクとなったもの）に対して視体積交差法を適用することで多視点画像の被写体の３次元モデルを生成するものである。そして、一実施形態において生成部2では当該生成する際に、推定部1から得られる速度場（又は高速領域）に基づき、３次元空間内において被写体の速度が大きいと考えられる領域を定めたうえで、当該領域に関しては視体積交差法における交差判定を緩和することにより、被写体が高速な場合であっても一定品質を確保した３次元モデルを得ることができる。

【0024】

一実施形態ではさらに、推定部1から得た速度場（又は高速領域）を考慮することにより抽出部4において高速な被写体に関してはマスクを通常のものより拡張して得るようにしたうえで、当該拡張されたマスクに対して生成部2において視体積交差法を適用することにより、被写体が高速な場合であっても一定品質を確保した３次元モデルを得ることができる。なお、後述するように、判定部21を省略して、すなわち、緩和領域を用いることなく、抽出部4による拡張されたマスクのみを用いて交差部22において視体積交差法を適用する一実施形態も可能であり、同じく、被写体が高速な場合であっても一定品質を確保した３次元モデルを得ることができる。

【0025】

合成部3は、生成部2から得た３次元モデルと、ユーザ指定等により与えられる仮想視点と、校正部5から得られる校正データ（各カメラCiのカメラパラメータ）と、画像処理装置10への入力としての多視点画像と、を用いて、当該仮想視点における自由視点画像を合成する。

【0026】

抽出部4は多視点画像における各カメラCiの画像PiよりマスクMSiを抽出して交差部22へと出力する。一実施形態ではさらに、抽出部4では推定部1から得られる速度場（又は高速領域）を利用して、高速な被写体に該当しうる箇所に関しては領域を拡張（膨張）したものとして、マスクMSiを抽出するようにしてもよい。

【0027】

校正部5は、一実施形態において多視点画像における各カメラCiの画像Piより各カメラのカメラパラメータを校正データとして算出し、当該算出した校正データを交差部22及び合成部3へと出力する。

【0028】

以上、図１に示す画像処理装置10の各部の処理内容の概略及び各部間でのデータ授受に関して説明した。以下、当該各部の個別の処理内容の詳細に関して説明する。

【0029】

＜校正部5＞
校正部5は、既存手法としてのカメラキャリブレーションを行うものであり、時刻tにおいて撮影されている映像（画像Pi(t)）のフィールドの特徴的な点（例えばスポーツ映像の場合であればコートの白線の交点など）と実際の実空間上のフィールド上の点との対応付けを行いカメラパラメータ（外部パラメータ及び内部パラメータ）として算出する。例えば、入力される多視点映像が一般的なスポーツ映像である場合は、コートのサイズが規格化されているため、画像平面上の点が実空間上（世界座標系）のどの座標に対応するかを容易に計算することが可能である。

【0030】

このカメラキャリブレーションは、手動のほか、任意の既存の自動キャリブレーション手法を用いても行うことができる。例えば、手動の方法としては画面上の白線の交点をユーザ操作により選択し、あらかじめ測定されたフィールドモデルとの対応付けをとることで、カメラパラメータを推定できる。なお、画面に歪みがある場合は先に内部パラメータを推定しておけばよい。

【0031】

固定カメラでの撮影を前提とした場合、すなわち、多視点映像の各カメラCiが固定されて撮影を行っている場合は、本カメラキャリブレーションの機能は映像生成の最初（最初の時刻t=1）に一度のみ行えばよい。あるいは、当該行ったものを固定的なパラメータとして与えておくことで、校正部5の処理を省略してもよい。また、移動カメラを前提とした場合、すなわち、多視点映像の各カメラCiが移動しながら撮影を行っている場合は、前述の任意の既存の自動キャリブレーション機能（フィールド上の特徴点等をマーカーとして利用する手法）により毎フレーム処理（各時刻tでの処理）を行うようにすればよい。

【0032】

＜推定部1＞
後段側の交差部22において被写体の速度に応じた最終的な視体積交差法のパラメータを設定することを可能とすべく、推定部1では、カメラ画像Pi上の物体の速度を速度場Viとして算出する。この速度の算出には、オプティカルフローと呼ばれる、画像上の速度ベクトルマップを推定する公知の技術を利用することができる。この処理により得られたマップ（速度場Vi）からさらに、しきい値処理により速度が速い領域（高速度領域）とそうでない領域（低速度領域）に分割したマップとして、高速領域Ri（高速領域に該当しない領域として低速領域の情報をも含む）を得るようにしてもよい。ここで、この領域は必ずしも2段階に分けられる必要はなく、段階的な閾値を設定することにより任意段階数の領域に分けるようにしてもよい。

【0033】

推定部1ではオプティカルフロー以外にも、画像Pi上の物体の動きベクトルを推定する任意の既存技術を用いるようにしてよい。例えば、物体追跡の技術を応用することで、対象の物体のフレーム間の動きベクトルを算出し、その大小に応じて高低速度領域を分割するようにしてよい。

【0034】

ここで、画像上の動きベクトルの大小はカメラと物体の距離に応じて変化することに注意されたい。すなわち、遠く離れた物体であれば高速に動いていても画像上ではあまり動かない。例えば、ある画像Piではある物体がカメラCiから遠くに位置するため画像上で低速となるが、別の画像Pj（j≠i）では同物体がカメラCjから近く位置しており、同物体の実際の高速な速度を反映して画像上でも高速となる場合がありうる。このような場合に、遠方となっている画像Piにおいて画像上の見かけの速度は低速であっても、３次元空間内での実際の高速な速度が反映された速度場を得られるようにすることが望ましい。

【0035】

従って、一実施形態において推定部1では、画像上のみでの動きベクトルとして求めた速度場をさらに加工して、実際の３次元空間での速度場を推定したものとしての速度場を求め、閾値判定の対象とするようにしてもよい。例えば、画素位置(x,y)で指定される画像上のみで求めた速度場(v_x(x,y), v_y(x,y))に対して、その深度マップd(x,y)を乗じることで遠方ほど値が大きくなるようにすることで３次元空間での大きさを簡略的に推定した速度場(d(x,y)*v_x(x,y), d(x,y)*v_y(x,y))を求めるようにしてよい。（なお、深度マップd(x,y)をさらに所定関数f（増加関数）に引数として与えた値f(d(x,y))を速度場(v_x(x,y), v_y(x,y))に乗じてもよい。）深度マップd(x,y)に関しては、任意の既存手法（例えば、あるカメラCiの画像Piと別のカメラCjの画像Pjとの間での点対応を行ったうえでのステレオマッチング）で動的に求めてもよいし、各カメラCiが固定位置で撮影している場合には固定的なマップとして事前に与えておくようにしてもよい。（ここで、被写体となる物体の位置は多視点映像におけるフィールド平面内から高さ方向に大きく乖離することはないという前提のもとで、当該フィールド平面を表現したマップとして、固定的なマップを与えておくことができる。）

【0036】

＜判定部21＞
判定部21は、推定部1にて求まったカメラCiごとの高速領域Riを用いて、次の交差部22において実際に視体積交差法による判定をする際の、当該判定を緩和する領域を算出する。一実施形態では、以下の式(1),(2)のようにcone(Ri)の積集合（全てのcone(Ri)の共通部分）として算出される領域を緩和領域Mn（n=1, …,C：ここでCは緩和領域の総数）とする。式(1)においてcone(Ri)は、カメラCiのカメラ中心と画像Pi内の高速領域Riの境界上の各点とを通る直線によって構成される3D空間内の錐体である。

【0037】

【数1】

【0038】

なお、式(1)により緩和領域の全体Mを求めて、当該全体Mが複数（C個でC≧2の場合）の領域（連結領域）で構成されている場合にさらに式(2)により個別の緩和領域Mnを求めるようにすればよい。式(1)で積集合として緩和領域全体Mを求める手法は交差部22における視体積交差法と同様の手法を用いればよい。式(2)による個別の連結領域Mnへの分解も、任意の既存手法を用いればよい。

【0039】

上記の一実施形態は、すべてのカメラCi(i=1,2, …, N)において高速領域として判定された3D空間上の共通領域をMとして用いている。別の一実施形態では、式(1)の代わりに、錐体cone(Ri)のうち所定数k個以上（1≦k＜N）の領域が通過する（存在する）として判定された場合において、その領域をMとしてもよい。この場合、交差部22における視体積交差法と同様の手法に各錐体cone(Ri)の通過数（存在数）の空間(X,Y,Z)内の分布を重複度r(X,Y,Z)として求め、重複度r(X,Y,Z)≧kとなるような領域をMとして、式(1)の別実施形態として求めるようにすればよい。（なお、重複度r(X,Y,Z)=Nとなる領域が式(1)の領域Mである。）

【0040】

＜抽出部4＞
抽出部4は、フレーム（各画像Pi）ごとの被写体（動物体）の形状を0,1の2値マスクMSiとして得るものである。得られた2値マスク画像MSiは交差部22に入力され、被写体の3DCGモデル形状の生成に利用される。

【0041】

ここで、2値マスクを得るための方法として、既存技術である背景差分法を利用する。この技術では、あらかじめ被写体のいない映像またはその平均値などの統計情報を背景統計情報として登録し、背景統計情報と対象時刻のカメラ映像との差分をとり、それに対してしきい値処理を行うことで被写体領域を抽出する。

【0042】

本発明の一実施形態においてはさらに、この背景差分による被写体マスクの抽出において、前述の推定部1で得た速度場Vi（及びこれに基づく高速領域Ri）の情報を利用するようにしてもよい。高速に動く物体は多くの場合、既存手法の背景差分をそのまま適用すると、モーションブラーを伴うため実際の大きさより小さく抽出される（または多少の位置ずれを起こす）ことも想定される。そこで、推定部1において画像Pi内の高速と判定された領域Riを利用して、上記の問題を解決することができる。説明のため、既存手法の背景差分で画像Piから抽出されるマスクをマスクmsiとする。

【0043】

すなわち、抽出部4で得るマスクMSiは、一実施形態では既存手法の背景差分によるものをそのまま採用（MSi=msi）してもよいが、別の一実施形態ではさらに、当該msiをさらに加工することで、モーションブラー等に対処したものとしてもよい。

【0044】

具体的には、推定部1において高速と判定された画像領域の2値マスクmsiに対して、モルフォロジー処理を行いa_iピクセルだけ膨張させることで、過小に抽出された2値マスクが、実際の物体の大きさを包含するように修正を行うことで、最終的な2値マスクMSiを得る。ここで、画像Piの2値マスクmsi（一般に1以上の連結領域で構成される）の各領域に対して、高速領域Riとの距離が所定閾値以下となるような領域を、膨張させる対象とすればよい。従って、高速領域Riとの重複がある領域（距離がゼロとなる領域）に関しては膨張させる対象とすることができる。

【0045】

ここで、膨張させるピクセル数a_iについては、想定される物体のフレームごとの速度v=p₁-p₂=(X₁-X₂,Y₁-Y₂,Z₁-Z₂),（p₁,p₂はそれぞれ前後のフレームの物体の空間座標を示す）とカメラパラメータによって決定される。具体的には、各画像Piに関して、以下の式(3)のように画面内おいて1フレーム間で動く画面上の動きベクトルb_i=(x,y)を算出する。
b_i=H_ip₁- H_ip₂ (3)

【0046】

ここでH_iは校正部5にて算出されたカメラCiに関するカメラパラメータより求められるワールド座標系(X,Y,Z)からカメラCiの画像平面の座標系(x,y)へホモグラフィ行列である。ここから、a_i≦|b_i|を満たすように、すなわちベクトルb_iの絶対値よりもピクセル数a_iが小さくなる又は等しいような所定値として、a_iを設定すればよい。

【0047】

なお、各画像Piについて想定される高速な速度v（3D空間内の方向の違いを含めて複数あってもよい）を予め与えておき、上記の式(3)の計算を予め行っておくことで、各画像Piについての膨張させるピクセル数a_iを定数として用意しておいてもよい。なお、以上の説明では各画像Piにおける膨張させるピクセル数a_i（及び対応する閾値を与えるベクトルb_i）として、当該画像Pi内のある１つのマスク領域（近傍に高速領域があるマスク領域）に関して膨張処理を行うことを暗に前提としていた。このような近傍に高速領域があるマスク領域が画像Pi内に２つ以上ある場合には、当該領域ごとにピクセル数a_i及びベクトルb_iを設定して、以上と同様にすればよい。

【0048】

図２及び図３は、抽出部4での処理の模式例を示す図である。図２では、ある時刻のあるカメラの画像Pについて、既存手法の背景差分により前景F1（野球のピッチャー）と、前景F2（当該ピッチャーが投げたボール）と、当該前景F1,F2以外の領域として背景Bと、が得られたことが示されている。一実施形態では、当該前景F1,F2をそのままマスクとしてよい。図３は、図２の例に対してピクセル数a_iだけ膨張させたマスクを利用する例を示している。図３では、前景F2（高速移動するボールの領域）の近辺が高速領域Rとして検出されていることにより前景F2が膨張の対象となり、膨張させた前景F20が得られる。一方、図３にて前景F1（高速移動はしないピッチャーの領域）はその近辺に高速領域は存在しないので膨張の対象とはされない。以上のように、図３の例では、前景F1及び膨張させた前景F20がマスクとして利用されることとなる。

【0049】

＜交差部22＞
交差部22では、3DCGモデルの形状を生成する。ここで、基本的な処理フローは任意の既存の視体積交差法（例えば前掲の特許公報１や非特許公報１のもの）に則り、例えば3D空間上のボクセル集合として、あるいはポリゴンモデルとして、3D CGモデル形状を求めればよい。本発明においては特に、判定部21において緩和領域として判定された3D空間上の領域については、交差部22において既存の視体積交差法を適用する際のモデル形状生成の判定を変更する。

【0050】

一般に、視体積交差法はすべてのカメラの被写体形状情報（本明細書では2値マスク画像）の積集合を取ることで、3DCGモデルの形状を得る。そのため、複数のカメラ2値マスクのうち1つでも欠損領域を含む場合、その3DCGモデル形状も欠損する。この欠損は、時刻同期ズレなどでも起こり、被写体の動きが速い場合は被写体自体が消失することも起こりうる。

【0051】

これに対して本発明では、緩和領域においては、すべてのカメラ（前述の通りN個）における2値マスクの積を取るのではなく、そのうちm個以上のカメラにおいて1（前景）となっている場合は、被写体モデルに含まれると判定する。ここで、当該閾値mは、1≦m＜Nとすればよい。一実施形態としてm=kとしてもよい。このことにより、いくつかのカメラにおいて誤った時刻同期またはマスク抽出などが行われた場合においても、その他多数のカメラの情報を信頼することで、被写体の消失などを防ぐことができる。また、特に重要であるカメラについては、優先的にm個のカメラに含めることも可能である。

【0052】

＜合成部3＞
合成部3では、交差部22にて得られた3DCGモデルの形状に応じて最終的な仮想視点からの映像を合成する。当該合成は、任意の既存手法に則って実施すればよい。ユーザ入力等によって与えられた仮想視点の位置座標に応じて、その近傍のカメラテクスチャを利用して被写体3Dモデルの色情報を決定する。また3DCGモデル化されていない被写体以外の背景等については、あらかじめ制作しておいたスタジオムのCGモデルなどを利用し、上記3DCGモデルと重畳することで最終的な合成映像を得る。

【0053】

なお、交差部22にて得られた3DCGモデルのうち、緩和領域に関しては、2値マスクが1（前景）となっているm個以上のカメラの画像のテクスチャを利用して、合成部3では合成映像を得るようにすればよい。この際、前景となっているm個以上のカメラ画像のうち、例えば仮想視点の位置座標からはカメラ位置が逆向きにある等により合成に利用することが不適切と判断されるものは、そのテクスチャを利用しないようにしてもよい。前景となっているm個以上の各カメラ画像のテクスチャを利用するか否かの判断は、合成に利用する既存手法に即して実施すればよい。

【0054】

以上、本発明によれば、多視点画像に撮影されている被写体の速度に応じて、視体積交差法の判定条件を適応的に変更することで、高速に動く物体の合成が可能となる。以下、本発明における追加・変形実施形態その他に関して補足説明を行う。

【0055】

（１）多視点映像上に所定シーンが撮影されていることが事前に既知であり、当該所定シーンにおいて高速物体が現れうる3D空間の領域の情報が予め既知である場合は、推定部1による速度場Vi（及び高速領域Ri）の推定を利用することなく、判定部21において当該予め既知の3次元空間内の領域を緩和領域として交差部22へと出力すればよい。

【0056】

例えば図２や図３の例のように野球のピッチャーの投球シーンであることが（例えば映像に付与された番組情報などによって）事前に既知であり、投げられたボールのみが高速物体となることが事前に既知である場合、当該投げられたボールが通過しうる所定範囲（野球のピッチャーとキャッチャーとの間の所定範囲）を判定部21において固定的に緩和領域として出力してよい。

【0057】

（２）抽出部4において各画像Piに対して抽出するマスクMSiにおいては、前景となっている領域（ピクセル数a_iだけ膨張させた場合も含む）のそれぞれの、各画像間での対応関係（画像Piのどの前景領域が別の画像Pjのどの前景領域に対応するかの関係）を与えておき、交差部22においては当該対応関係にある前景をそれぞれ対象として視体積交差法を適用するようにしてもよい。各画像間での対応関係を与える手法には任意の既存手法を用いてよく、例えば、画像特徴量などに基づく画像認識を各画像の各領域に適用してもよいし、当該画像認識の後に各領域を追跡することで領域のID（識別子）を保持する処理を行うようにしてもよい。

【0058】

（３）前述の通り、画像処理装置10において判定部21を省略する実施形態（緩和領域の情報を利用しない実施形態）も可能である。この場合、推定部1では各画像Piの速度場Viを推定して抽出部4へと出力し、抽出部4では速度場Viに基づいて、高速物体に対応すると考えられる前景をピクセル数a_iだけ膨張させる処理を行えばよい。そして、交差部22においては、緩和領域の情報は用いることなく、抽出部4により膨張させた処理を行ったマスクMSiを利用して、既存手法の視体積交差法を適用すればよい。

【0059】

（４）本発明は、コンピュータを画像処理装置10として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが画像処理装置10の各部の機能に対応する命令を実行することとなる。また、当該コンピュータはさらに、CPUよりも並列処理を高速実施可能なGPU（グラフィック処理装置）を備え、CPUに代えて画像処理装置10の全部又は任意の一部分の機能を当該GPUにおいてプログラムを読み込んで実行するようにしてもよい。

【符号の説明】

【0060】

10…画像処理装置、1…推定部、2…生成部、21…判定部、22…交差部、3…合成部、4…抽出部、5…校正部

【図1】

【図2】

【図3】