特許 7508230 画像処理装置、画像処理システム、撮像装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-21

(45)【発行日】2024-07-01

(54)【発明の名称】画像処理装置、画像処理システム、撮像装置および画像処理方法

(51)【国際特許分類】

   G06T 15/50 20110101AFI20240624BHJP

   G06T 5/00 20240101ALI20240624BHJP

【ＦＩ】

G06T15/50

G06T5/00 700

【請求項の数】 18

(21)【出願番号】P 2020012469

(22)【出願日】2020-01-29

(65)【公開番号】P2021117884

(43)【公開日】2021-08-10

【審査請求日】2023-01-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】楠美 祐一

(72)【発明者】

【氏名】井田 義明

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特開２０１９－１６８８６２（ＪＰ，Ａ）

【文献】特開２０１３－０１２０８７（ＪＰ，Ａ）

【文献】特開２０１６－０９５５７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／５０

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

被写体を撮像して得られる入力画像を用いて算出される前記被写体の第１の法線情報及び反射率情報を取得する第１の取得手段と、
前記反射率情報を用いて第１の補正情報を取得する第２の取得手段と、
前記入力画像と前記第１の法線情報とを用いて対象領域を検出する検出手段と、
前記対象領域における前記第１の補正情報を補正することで第２の補正情報を取得する補正手段と、
前記入力画像に基づいて得られる第１の画像と前記第１の法線情報と前記第２の補正情報とを用いて第２の画像を生成する生成手段とを有することを特徴とする画像処理装置。

【請求項2】

前記補正手段は、前記対象領域における前記第１の法線情報及び前記第１の補正情報をそれぞれ補正することで第２の法線情報及び前記第２の補正情報を取得し、
前記生成手段は、前記第１の画像と前記第２の法線情報と前記第２の補正情報とを用いて前記第２の画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記生成手段は、前記第２の法線情報を用いてゲインマップを取得し、前記第１の画像と前記ゲインマップと前記第２の補正情報とを用いて前記第２の画像を生成することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記入力画像は、互いに異なる複数の光源位置で前記被写体を撮像して得られた複数の画像であり、
前記第１の画像は、前記入力画像の少なくとも１つの画像に基づいて生成された画像であることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

前記第１の画像は、前記入力画像のうち同一座標の輝度値が最大の画像であることを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記検出手段は、
前記入力画像の撮像が行われた光源条件と前記第１の法線情報と前記反射率情報とを用いて仮画像を生成し、
前記仮画像と前記入力画像とを用いて前記対象領域を検出することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。

【請求項7】

前記補正手段は、
前記入力画像を用いてガイド画像を取得し、
前記ガイド画像のうち前記対象領域に対応する対象画素とは異なる参照画素の前記第１の法線情報と前記反射率情報とを用いて、前記対象領域における前記第１の法線情報と前記第１の補正情報とを補正することで、前記第２の法線情報と前記第２の補正情報とを取得することを特徴とする請求項２に記載の画像処理装置。

【請求項8】

前記補正手段は、前記ガイド画像における前記対象画素とそれ以外の画素との色差または輝度差を用いて前記参照画素を選択することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記補正手段は、前記ガイド画像における輝度値を用いて前記参照画素を選択することを特徴とする請求項７または８に記載の画像処理装置。

【請求項10】

前記入力画像は、互いに異なる複数の光源位置で前記被写体を撮像して得られた複数の画像であり、
前記ガイド画像は、前記入力画像の少なくとも１つの画像に基づいて生成された画像であることを特徴とする請求項７から９のいずれか一項に記載の画像処理装置。

【請求項11】

前記ガイド画像は、前記入力画像のうち同一座標の輝度値が最大の画像であることを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記ガイド画像は、前記入力画像のうち前記対象画素の輝度値が最大の画像であることを特徴とする請求項１０に記載の画像処理装置。

【請求項13】

前記補正手段は、
前記対象領域における前記第１の法線情報と前記第１の補正情報とを前記対象領域に対応する対象画素とは異なる参照画素の前記第１の法線情報と前記反射率情報とを用いて補正することで、前記第２の法線情報と前記第２の補正情報とを取得し、
前記第１の法線情報を取得する方法とは異なる方法で取得された前記被写体の形状に関する情報または前記被写体の意味的領域分割マップを用いて前記参照画素を選択することを特徴とする請求項２、３、７から１２のいずれか一項に記載の画像処理装置。

【請求項14】

被写体を撮像する撮像手段と、
請求項１から１３のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。

【請求項15】

被写体に互いに異なる複数の位置から照明光を順次照射する照明手段と、
請求項１から１３のいずれか一項に記載の画像処理装置とを有することを特徴とする画像処理システム。

【請求項16】

被写体を撮像する撮像手段をさらに有することを特徴とする請求項１５に記載の画像処理システム。

【請求項17】

被写体を撮像して得られる入力画像を用いて算出される前記被写体の第１の法線情報及び反射率情報を取得するステップと、
前記反射率情報を用いて第１の補正情報を取得するステップと、
前記入力画像と前記第１の法線情報とを用いて対象領域を検出するステップと、
前記対象領域における前記第１の補正情報を補正することで第２の補正情報を取得するステップと、
前記入力画像に基づいて得られる第１の画像と前記第１の法線情報と前記第２の補正情報とを用いて第２の画像を生成するステップとを有することを特徴とする画像処理方法。

【請求項18】

コンピュータに、請求項１７に記載の画像処理方法に従う処理を実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像により取得された被写体の法線情報や反射率情報を用いて画像を生成する技術に関する。

【背景技術】

【0002】

被写体を撮像して得られた画像から被写体の法線情報や反射率情報を取得し、これらの情報を用いて、被写体の見えを変更したレンダリング画像を生成することが可能である。特許文献１には、照度差ステレオ法が開示されている。照度差ステレオ法は、複数の光源位置での被写体の輝度情報とランバート拡散反射モデル等を用いて仮定した反射特性とから、被写体の法線情報および反射率情報を取得する方法である。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１２２１５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ただし、実際の被写体の反射特性が、照度差ステレオ法において仮定した反射特性と異なると、取得された法線情報や反射率情報に誤差が生じ、その結果、レンダリング画像にも誤差が生じる。例えば、金属や透明体等の拡散反射が少ない被写体の法線情報や反射率情報に大きな誤差が生じる。このため、取得した法線情報や反射率情報において誤差が大きい対象領域をその周囲の情報を用いて補正することが望ましい。

【0005】

しかしながら、反射率情報はレンダリング画像の元となる構造を含むため、反射率情報に対して補正を行うと、対象領域の構造が失われて良好なレンダリング画像を生成することができなくなる。

【0006】

本発明は、良好なレンダリング画像を生成可能な画像処理装置等を提供する。

【課題を解決するための手段】

【0007】

本発明の一側面としての画像処理装置は、被写体を撮像して得られる入力画像を用いて算出される被写体の第１の法線情報及び反射率情報を取得する第１の取得手段と、反射率情報を用いて、第１の補正情報を取得する第２の取得手段と、入力画像と第１の法線情報とを用いて対象領域を検出する検出手段と、対象領域における第１の補正情報を補正することで第２の補正情報を取得する補正手段と、入力画像に基づいて得られる第１の画像と第１の法線情報と第２の補正情報とを用いて第２の画像を生成する生成手段とを有することを特徴とする。
また、本発明の他の一側面としての画像処理装置は、被写体を撮像して得られる入力画像を用いて算出される被写体の反射率情報及び第１の法線情報を取得する第１の取得手段と、反射率情報に基づいて第１の補正情報を取得する第２の取得手段と、入力画像と第１の法線情報とに基づいて対象領域を検出する検出手段と、入力画像と第１の補正情報と対象領域とに基づいてレンダリング画像を生成する生成手段とを有することを特徴とする。
なお、上記画像処理装置を有する撮像装置も、本発明の他の一側面を構成する。また、被写体に互いに異なる複数の位置から照明光を順次照射する光源手段と、上記画像処理装置とを有することを画像処理システムも、本発明の他の一側面を構成する。

【0008】

また、本発明の他の一側面としての画像処理方法は、被写体を撮像して得られる入力画像を用いて算出される被写体の第１の法線情報及び反射率情報を取得するステップと、反射率情報を用いて第１の補正情報を取得するステップと、入力画像と第１の法線情報とを用いて対象領域を検出するステップと、対象領域における第１の補正情報を補正することで第２の補正情報を取得するステップと、入力画像に基づいて得られる第１の画像と第１の法線情報と第２の補正情報とを用いて第２の画像を生成するステップとを有することを特徴とする。なお、コンピュータに上記画像処理方法に従う処理を実行させることをコンピュータプログラムも、本発明の他の一側面を構成する。

【発明の効果】

【0009】

本発明は、良好なレンダリング画像を生成することができる。

【図面の簡単な説明】

【0010】

【図1】実施例１である撮像装置の外観図。

【図2A】実施例１の撮像装置の構成を示すブロック図。

【図2B】実施例１における画像処理システムの構成を示すブロック図。

【図3】実施例１における画像処理方法を示すフローチャート。

【図4】実施例１における画像処理方法（ステップＳ１０１～Ｓ１０４）を説明する図。

【図5】実施例１における画像処理方法（ステップＳ１０６）を説明する図。

【図6】実施例１における画像処理方法（ステップＳ１０６）を説明する別の図。

【図7】実施例１における画像処理方法（ステップＳ１０７）を説明する図。

【図8】実施例２における画像処理システムの外観図。

【図9】Ｔｏｒｒａｎｃｅ－Ｓｐａｒｒｏｗモデルを説明する図。

【発明を実施するための形態】

【0011】

以下、本発明の実施例について図面を参照しながら説明する。
まず具体的な実施例の説明に先立って、照度差ステレオ法による被写体の法線情報を取得する方法について説明する。照度差ステレオ法は、被写体の面法線と被写体からの光源の方向とに基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから被写体の面法線の情報である法線情報を算出する方法である。反射特性は、所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合に、ランバートの余弦則に従うランバート反射モデルを用いて近似する。図９は、Ｔｏｒｒａｎｃｅ－Ｓｐａｒｒｏｗモデルを示している。

【0012】

図９に示されるように、鏡面反射成分は、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。

【0013】

以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρｄ、入射光の強さをＥ、物体から光源への方向（光源方向）を示す単位ベクトル(光源方向ベクトル)を太字のｓ、物体の単位面法線ベクトルを太字のｎとする。このとき、輝度値ｉは、ランバートの余弦則より、以下の式（１）のように表される。

【0014】

【数1】

【0015】

ここで、異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ１、ｓ２、…、ｓＭ、光源ベクトルの各成分の輝度値をｉ１、ｉ２、・・・ｉＭとすると、式（１）は以下の式（２）のように表される。

【0016】

【数2】

【0017】

式（２）において、左辺はＭ行１列の輝度ベクトル、右辺の［ｓ１Ｔ、…ｓＭＴ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ－１を用いることにより、Ｅρｄｎは以下の式（３）のように表される。

【0018】

【数3】

【0019】

式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρｄとの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρｄは積の形でのみ条件式に現れるため、Ｅρｄを１つの変数とすると、式（３）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。
なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ１～ｓ３を選択する必要がある。すなわち、成分ｓ３を成分ｓ１、ｓ２に対して線形独立に選択することが好ましい。

【0020】

Ｍ＞３の場合、求める未知変数より多い条件式が得られる。このため、任意に選択した３つの条件式から、Ｍ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ－Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出すればよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。

【0021】

光源ベクトルの各成分の輝度値のうち、陰影や輝度飽和により正確な値を取得できない輝度値を使用して単位面法線ベクトルｎを算出した場合、正確な法線ベクトルを算出することが困難となる。したがって、陰影や輝度飽和により正確な値が取得できなかった輝度値は使用せずに単位面法線ベクトルｎを算出してもよい。すなわち、Ｍ＝ｍの光源ベクトルｓｍで得られた輝度値ｉｍが陰影や輝度飽和である場合、光源ベクトルｓｍおよび輝度値ｉｍを式（３）から除外して単位面法線ベクトルｎを算出する。除外する輝度値は所定の閾値に基づく判定により決定すればよい。
ただし、上述したように少なくとも３つの輝度情報が必要である。被写体の反射特性をランバート反射モデルとは異なるモデルで仮定すると、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。この場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。

【0022】

またＭ＞３の場合、３以上Ｍ－１以下の複数の条件式が得られるため、単位面法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルｎの連続性を条件として用いることができる。単位面法線ベクトルｎを撮像装置の１画素ごとに算出する場合、画素（ｘ，ｙ）での単位面法線ベクトルをｎ（ｘ，ｙ）とし、ｎ（ｘ－１，ｙ）が既知であれば、以下の式（４）で表される評価関数が最小となる解を選択すればよい。

【0023】

【数4】

【0024】

また、ｎ（ｘ＋１，ｙ）やｎ（ｘ，ｙ±１）も既知であれば、以下の式（５）が最小となる解を選択すればよい。

【0025】

【数5】

【0026】

既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、以下の式（６）で示されるように、式（５）の全画素での総和が最小となるように解を選択してもよい。

【0027】

【数6】

【0028】

なお、最近傍以外の画素での面法線を用いることや、注目する画素位置からの距離に応じて重み付けした評価関数を用いてもよい。また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。

【0029】

また、鏡面反射モデルでは、光源ベクトルを太字のｓ、物体からカメラへの方向の単位ベクトル（カメラの視線ベクトル）を太字のｖとすると、以下の式（７）が成り立つ。

【0030】

【数7】

【0031】

式（７）で表されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば、単位面法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。

【0032】

以上の照度差ステレオ法によって単位面法線ベクトルｎおよび反射率ρ（＝Ｅρｄ）を取得すると、式（１）に対して任意の光源ベクトルｓを与えることにより、任意の光源下での輝度値ｉを算出することができる。すなわち、任意の光源下での見えを再現したレンダリング画像を生成することが可能となる。式（１）ではランバート拡散反射でのレンダリング画像を生成するが、その他の拡散反射特性やそれに加えて鏡面反射特性でのレンダリング画像を生成することもできる。

【実施例1】

【0033】

図１および図２Ａを参照して、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１の外観を示している。図２Ａは、撮像装置１の構成を示している。

【0034】

撮像装置１は、レンダリング処理を行ってレンダリング画像（リライティング画像）を生成する。図１に示されるように、撮像装置１は、被写体を撮像する撮像部（撮像手段）１００および光源部２００を有する。図２Ａに示されるように、撮像部１００は、撮像光学系１０１および撮像素子１０２を有する。本実施例において、光源部２００は８つの光源２００ａ～２００ｈを有する。ただし、照度差ステレオ法を実施する際に必要な光源は少なくとも３つであるため、入力画像を取得するために少なくとも３つ以上の光源を備えていればよい。

【0035】

また本実施例においては、撮像部１００を構成する撮像光学系の光軸ＯＡから等距離の位置に同心円状に８つの光源２００ａ～２００ｈを等間隔で配置している。ただし、他の配置であってもよい。さらに本実施例において、光源部２００は、撮像装置１に内蔵されているが、撮像装置１に着脱可能に取り付けられてもよい。

【0036】

撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。すなわち撮像素子１０２は、撮像光学系１０１により形成された被写体の像（光学像）を光電変換し、アナログ電気信号を生成する。

【0037】

Ａ／Ｄコンバータ１０３は、撮像素子１０２の光電変換により生成されたアナログ信号をデジタル信号に変換し、デジタル信号を画像処理部１０４に出力する。

【0038】

画像処理部（画像処理装置）１０４は、Ａ／Ｄコンバータ１０３から入力されたデジタル信号に対して各種画像処理を行う。また画像処理部１０４は、被写体の法線情報および反射率情報を算出（取得）し、任意の光源下でのレンダリング画像を生成する。画像処理部１０４は、入力画像取得部１０４ａ、被写体情報取得部１０４ｂ、第１レンダリング部１０４ｃ、領域検出部１０４ｄ、補正係数取得部１０４ｅ、補正部１０４ｆおよび第２レンダリング部１０４ｇを有する。被写体情報取得部１０４ｂが第１の取得手段に、第１レンダリング部１０４ｃおよび領域検出部１０４ｄが検出手段に、補正係数取得部１０４ｅが第２の取得手段に、補正部１０４ｆが補正手段に、第２レンダリング部１０４ｇが生成手段に相当する。

【0039】

画像処理部１０４により生成されたレンダリング画像としての出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を表示部（ディスプレイ）１０５に表示してもよい。本実施例において、入力画像取得部１０４ａ、被写体情報取得部１０４ｂ、第１レンダリング部１０４ｃ、領域検出部１０４ｄ、補正係数取得部１０４ｅ、補正部１０４ｆおよび第２レンダリング部１０４ｇは撮像装置１に内蔵されている。ただし、これらの少なくとも一部を撮像装置１とは別に設けてもよい。例えば、入力画像取得部１０４ａ、被写体情報取得部１０４ｂ、第１レンダリング部１０４ｃ、領域検出部１０４ｄ、補正係数取得部１０４ｅ、補正部１０４ｆおよび第２レンダリング部１０４ｇをパーソナルコンピュータに設けてもよい。

【0040】

情報入力部１０８は、ユーザにより選択された撮像条件（絞り値、露出時間および焦点距離等）をシステムコントローラ１１０に供給する。撮像制御部１０７は、システムコントローラ１１０からの情報に基づいて、ユーザが選択した撮像条件で撮像を行うことで画像を取得する。照射光源制御部１０６は、システムコントローラ１１０からの制御指示に応じて光源部２００の発光状態を制御する。情報入力部１０８は、ユーザにより選択された光源条件（光源位置、光源強度および光源色等）をシステムコントローラ１１０に供給する。画像処理部１０４は、システムコントローラ１１０からの情報に基づいて、ユーザが選択した光源条件でレンダリング画像を生成する。

【0041】

なお、本実施例における撮像光学系１０１は、撮像装置１と一体的に構成されているが、撮像装置１の本体に対して着脱（交換）可能であってもよい。

【0042】

次に、図３から図７を参照して、本実施例におけるレンダリング処理（画像処理方法）について説明する。図３は、レンダリング処理を示すフローチャートである。本実施例のレンダリング処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータプログラムとしての処理プログラムに従って実行される。なお、処理プログラムは、コンピュータにより読み取り可能な記憶媒体（システムコントローラ１１０の内部メモリ等）に記憶されている。

【0043】

図４は、レンダリング処理のうち図３のステップＳ１０１～Ｓ１０４を説明する図である。ステップＳ１０１～Ｓ１０４は、法線情報における誤差が大きい対象領域（エラー領域）を検出するステップである。図５、図６および図７は、レンダリング処理のうち図３のステップＳ１０６～Ｓ１０７を説明する図である。ステップＳ１０６～Ｓ１０８は、取得した法線情報および反射率補正係数を補正し、補正した法線情報と反射率補正係数を用いることで高品位なレンダリング画像を生成するステップである。

【0044】

まず、図３のステップＳ１０１において、入力画像取得部１０４ａは、互いに異なる複数の光源位置で撮像部１００により被写体を撮像することで得られる複数の入力画像１２０を取得する。複数の入力画像１２０は、それぞれ異なる位置に配置された複数の光源（例えば８つの光源２００ａ～２００ｈ）からの照明光を被写体に順次照射して撮像を行うことで取得することができる。また、複数の入力画像１２０は、単一の光源の位置を変更しながら該光源からの照明光を被写体に順次照射して撮像を行うことで取得してもよい。図４に示すように、本実施例の入力画像１２０は、被写体として、拡散特性を有する拡散板１２０ａと金属板１２０ｂとを含む。

【0045】

また、次に説明するステップＳ１０２にてランバート反射等の拡散反射モデルを仮定した照度差ステレオ法で法線情報を取得する場合に、複数の入力画像として、撮像画像から鏡面反射成分を除去した複数の拡散反射画像を用いてもよい。撮像画像から鏡面反射成分を除去した拡散反射画像を取得するために、２色性反射モデルを用いた手法等の種々の手法を用いることができる。

【0046】

続いてステップＳ１０２において、被写体情報取得部１０４ｂは、第１の法線情報と反射率情報を取得する。具体的には、被写体情報取得部１０４ｂは、複数の入力画像１２０を用いて、被写体の各部の単位面法線ベクトル（以下、単に面法線という）ｎの情報である第１の法線情報と被写体の各部の反射率ρの情報である反射率情報とを含む被写体情報１２１を取得する。面法線ｎと反射率ρは、照度差ステレオ法を用いて、光源位置による輝度情報の変化に基づいて算出することができる。なお本実施例では、被写体情報取得部１０４ｂが第１の法線情報と反射率情報を算出するが、他の装置が算出した第１の法線情報や反射率情報を取得してもよい。また被写体情報取得部１０４ｂは、ステップＳ１０１にて取得した複数の入力画像１２０とは異なる光源条件での撮像により取得された画像を用いて第１の法線情報と反射率情報を算出してもよい。

【0047】

入力画像１２０中の拡散板１２０ａについては、被写体の反射特性を拡散反射と仮定した照度差ステレオ法で第１の法線情報と反射率情報を取得することが可能である。一方、金属板１２０ｂについては、第１の法線情報と反射率情報に大きな誤差（エラー）が生じる。
なお、入力画像として、元の入力画像１２０を縮小した画像を用いて第１の法線情報と反射率情報を取得するようにしてもよい。入力画像を縮小した画像を用いる場合には、以降の処理においても入力画像を縮小した画像を用いる。

【0048】

続いてステップＳ１０３において、第１レンダリング部１０４ｃは、第１の法線情報および反射率情報と、複数の入力画像１２０が撮像された際の複数の光源条件のうち少なくとも１つである第１の光源条件とに基づいて、入力画像１２０を再現した第１の仮レンダリング画像（仮画像）を生成する。第１の仮レンダリング画像１２２は、入力画像１２０が撮像されたときの光源条件と同一の光源条件でレンダリングされた画像である。

【0049】

第１の仮レンダリング画像１２２は、ステップＳ１０２にて第１の法線情報や反射率情報を算出する際に仮定した反射特性を用いてレンダリング処理により生成される。ランバート拡散を仮定して第１の法線情報や反射率情報を算出した場合は、第１レンダリング部１０４ｃは、前述した式（１）に従って複数の第１の仮レンダリング画像を生成することができる。なお、第１の仮レンダリング画像１２２は、複数の入力画像１２０のうち一部の入力画像に対応する仮レンダリング画像または複数の入力画像１２０の全ての入力画像に対応する複数の仮レンダリング画像のいずれであってもよい。

【0050】

なお、「仮レンダリング画像」とは、本実施例の処理において最終的に生成される出力画像であるレンダリング画像（第２の画像）とは異なるレンダリング画像である。すなわち、仮レンダリング画像は、後述するように、被写体の材質によって破綻した（低品位の）レンダリング画像領域を含み得る。

【0051】

続いてステップＳ１０４において、領域検出部１０４ｄは、ステップＳ１０１で取得された入力画像１２０とステップＳ１０３で生成された第１の仮レンダリング画像１２２とを用いて、第１の法線情報および反射率情報における対象領域としてのエラー領域を検出し、さらに該エラー領域の分布を示すエラー領域マップ１２４を検出する。エラー領域は、面法線や反射率の誤差が周囲と比べて大きい領域である。前述したように、照度差ステレオ法で法線情報や反射率情報を算出した場合、仮定した反射特性とは異なる反射特性の被写体については面法線エラーや反射率エラーが生じる。

【0052】

エラーが生じた面法線や反射率を用いてレンダリング画像を生成すると、レンダリング画像にもエラーが生じる。特に、拡散反射モデルを仮定した照度差ステレオ法で金属板１２０ｂの面法線や反射率を算出すると、大きな誤差が生じる。この場合、取得した面法線を用いて第１の仮レンダリング画像１２２を生成すると、該第１の仮レンダリング画像１２２における金属板１２０ｂに対応する斜線領域１２２ｂにおいて高品位なレンダリング画像を生成することができない。

【0053】

そこで領域検出部１０４ｄは、ステップＳ１０１にて取得された入力画像１２０とステップＳ１０３にて生成された第１の仮レンダリング画像１２２との差分（差分画像）１２３に基づいて、エラー領域を検出する。例えば入力画像１２０のうちの１つと、該入力画像１２０の撮像時の光源条件を再現した第１の仮レンダリング画像１２２との差分１２３が大きい領域は、照度差ステレオ法で仮定した反射特性とは異なる反射特性の被写体である可能性が高い。

【0054】

具体的には、領域検出部１０４ｄは、入力画像１２０と第１の仮レンダリング画像１２２との差分１２３が所定の閾値以上である領域をエラー領域として検出する。好ましくは、領域検出部１０４ｄは、差分１２３を反射率ρで除した正規化差分に基づいてエラー領域を決定する。また領域検出部１０４ｄは、差分１２３を入力画像１２０または複数の入力画像１２０の平均値の画像もしくは中央値の画像等、入力画像１２０に基づく画像で除した正規化差分に基づいてエラー領域を決定してもよい。差分１２３を反射率ρや入力画像１２０に基づく画像で除することにより、算出した差分１２３から明るさの影響を低減（好ましくは除外）することができる。

【0055】

また領域検出部１０４ｄは、複数の入力画像１２０と複数の第１の仮レンダリング画像１２２との複数の差分１２３のうち最大値である最大差分または複数の差分１２３の平均値である平均差分に基づいて、エラー領域を決定してもよい。好ましくは、領域検出部１０４ｄは、最大差分や平均差分を反射率ρで除した正規化最大差分または正規化平均差分に基づいてエラー領域を決定してもよい。さらに領域検出部１０４ｄは、最大差分や平均差分を、入力画像１２０または複数の入力画像１２０の平均値の画像もしくは中央値の画像等、入力画像に基づく画像で除した正規化最大差分や正規化平均差分に基づいてエラー領域を決定してもよい。

【0056】

また、法線情報を用いたレンダリング処理では、光が遮られて発生する影を再現することができない。したがって、差分１２３ａ中に示されるように、入力画像１２０と第１の仮レンダリング画像１２２との差分１２３をとった際に入力画像１２０における影領域１２０ｃにおいて差分１２３ｃが大きくなる。このため、領域検出部１０４ｄは、差分１２３ｃに関して、面法線ｎや反射率ρが正確であってもエラー領域と検出する可能性がある。
そこで、第１の法線情報に加えて形状情報を用いて、影を再現したレンダリング画像を生成することが好ましい。形状情報がない場合は、入力画像１２０における影領域１２０ｃを検出し、差分１２３ｂに示されるように検出した影領域においては差分をとらないようにすることが好ましい。入力画像１２０における影領域１２０ｃは、輝度値が所定の閾値以下である領域として検出することができる。

【0057】

また、入力画像１２０と第１の仮レンダリング画像１２２との差分とその符号とからエラー領域を検出してもよい。例えば、入力画像１２０における影領域１２０ｃでは、入力画像１２０から第１の仮レンダリング画像１２２を引いた値が負となるため、負の差分領域はエラー領域として検出しないようにする。

【0058】

領域検出部１０４ｄは、差分１２３ｂに対して閾値処理を行うことにより、検出されたエラー領域のうち黒く表示される領域を最終的なエラー領域として取得することができる。本実施例において、領域検出部１０４ｄは入力画像１２０と第１の仮レンダリング画像１２２との差分１２３に基づいてエラー領域を検出するが、他の方法を用いてもよい。例えば、複数の入力画像１２０における輝度値をフィッティングすることで面法線ｎを取得し、得られたフィッティング誤差をエラー領域を検出する際の差分として用いてもよい。

【0059】

続いてステップＳ１０５において、補正係数取得部１０４ｅは、ステップＳ１０２にて取得した反射率情報を用いて反射率補正係数（第１の補正情報）を取得する。反射率情報は、レンダリング画像の元となる構造を含む。このため、反射率情報のエラー領域に対して後述するような補正を行ってレンダリング画像を生成すると、画像としての構造が崩れやすい。したがって、反射率情報そのものを補正するのではなく、例えば、ベース画像（第１の画像）を反射率情報に変換するための反射率補正係数（第１の補正情報）を補正することが好ましい。つまり、ベース画像×反射率補正係数＝反射率情報とするときの反射率補正係数におけるエラー領域を補正する。

【0060】

ベース画像は、レンダリング画像を生成する際にベースとして用いる画像であって、例えば複数の入力画像１２０のうちの１つの画像であってもよいし、複数の入力画像１２０の平均値等を示す１つの画像であってもよい。好ましくは、ベース画像は、複数の入力画像１２０のうち同一座標の輝度値が最大の画像である最大輝度値画像とするとよい。最大輝度値画像には影が含まれにくいため、反射率補正係数を取得するのに適しているだけでなく、後述するガイド画像として用いるのにも適している。

【0061】

反射率補正係数は、反射率情報／ベース画像で生成することができる。ベース画像が画像の構造を含むため、反射率補正係数を大きく補正したとしても、ベース画像×反射率補正係数で取得できる反射率情報における構造は保たれる。なお、ステップＳ１０５は、ステップＳ１０２～ステップＳ１０６までの間であればどの段階で行ってもよい。
続いてステップＳ１０６およびステップＳ１０７において、補正部１０４ｆは、第１の法線情報と反射率補正係数におけるエラー領域に対して補正処理を行う。まずステップＳ１０６において、補正部１０４ｆは、ステップＳ１０４にて検出されたエラー領域に基づいて参照画素を選択する。参照画素は、後述するステップＳ１０７にてエラー領域内のエラー画素（対象画素）の法線情報と反射率補正係数を補正するために用いられる画素であり、エラー画素の周囲から選択される。

【0062】

図５および図６は、ステップＳ１０６における参照画素の選択方法を示している。ここでは、第１の法線情報と反射率補正係数（図７に符号１２７を付す）におけるエラー画素を中心とした７×７画素の範囲に着目して説明する。

【0063】

図５において、エラー領域マップ１２４は、着目範囲におけるエラー領域１２４ａの分布を示す。エラー領域マップ１２４において、エラー領域（エラー画素）１２４ａは黒く示されている。補正部１０４ｆは、エラー領域１２４ａの周囲の画素を参照画素として選択する。図５において、参照領域マップ１２５は、着目範囲において選択された参照画素の領域を示す。参照領域マップ１２５において、参照画素は斜線で示されている。

【0064】

このように、補正部１０４ｆは、エラー領域１２４ａの分布に基づいて、エラー領域１２４ａ外の領域の画素を参照画素として選択する。自然なレンダリング画像が得られるように法線情報と反射率補正係数の補正を行うには、エラー領域１２４ａ外の参照画素を用いてエラー領域１２４ａの法線情報と反射率補正係数を補正する必要があるためである。

【0065】

図６に示すように、補正部１０４ｆは、エラー領域マップ１２４とガイド画像１２６とに基づいて参照画素を選択してもよい。ガイド画像とは、参照画素を選択する際に用いられる被写体に関する画像である。ガイド画像は、ベース画像と同様に、複数の入力画像１２０のうちの１つの画像であってもよいし、複数の入力画像１２０の平均値等を示す１つの画像であってもよい。また好ましくは、複数の入力画像１２０のうち同一座標の輝度値が最大である最大輝度値画像であってもよいし、複数の入力画像１２０のうち複数の同一座標における大きい輝度値を平均化した画像を用いてもよい。さらに、エラー画素ごとにガイド画像を変更してもよい。例えば、複数の入力画像１２０のうちエラー画素が最大輝度値を有する入力画像を選択して用いてもよい。また、前述したように、ガイド画像１２６として、ベース画像を用いてもよい。

【0066】

図６は、エラー領域マップ１２４に基づいて選択された参照画素（斜線で示す）１２５ａと、ガイド画像１２６に基づいて選択された参照画素（斜線で示す）１２５ｂとの共通画素を含む領域を参照領域マップ１２５とすることを示している。

【0067】

参照画素１２５ｂは、例えば、ガイド画像１２６におけるエラー画素と該エラー画素を中心とする７×７画素の着目範囲内の他の画素との色差に基づいて選択される。具体的には、ガイド画像１２６におけるエラー画素とその周辺の画素との色差が閾値としての所定の色差以下である画素を参照画素１２５ｂとして選択することができる。所定の色差としては、ＬＡＢ色空間におけるユークリッド距離を色差としたときの丁度可知差異（just noticeable difference：例えば２．３）を用いればよい。ただし、所定の色差として他の色差を用いてもよい。なお、ガイド画像１２６におけるＲＧＢ間の相互の信号値の比（輝度比）を色差として用いてもよい。

【0068】

また、参照画素１２５ｂは、ガイド画像１２６におけるエラー画素とその周辺の画素との輝度差に基づいて選択されてもよい。具体的には、ガイド画像１２６におけるエラー画素とその周辺の画素との輝度差が閾値としての所定の輝度差以下である画素を参照画素１２５ｂとして選択することができる。

【0069】

また、ガイド画像１２６に影や輝度飽和等が存在して法線情報や反射率補正係数の補正が困難になる場合がある。この場合は、ガイド画像１２６の輝度値に基づいて参照画素を選択してもよい。具体的には、ガイド画像１２６において輝度値とその閾値とに基づいて参照画素を選択することができる。影の影響を除外するには、ガイド画像１２６において輝度値が閾値以上である画素を参照画素として選択する。輝度飽和の影響を除外するには、ガイド画像１２６において輝度値が閾値よりも小さい画素を参照画素として選択すればよい。

【0070】

参照画素の選択に際しては、第１の法線情報の取得方法とは異なる方法で取得された被写体の形状に関する情報を用いてもよい。被写体の形状に関する情報としては、例えば、撮像位置から被写体までの距離情報や、被写体の凹凸（高さ）に関する情報である。距離情報や凹凸に関する情報は、レーザ光を用いた三角測量や２眼ステレオ等の種々の距離計測手法を用いて取得すればよい。また、被写体の形状に関する情報として、第１の法線情報の取得方法とは異なる方法で取得された法線情報を用いてもよい。これらの被写体の形状に関する情報におけるエラー画素に対応する位置とその周辺の位置との形状差を比較することによって、参照画素を選択することができる。具体的には、エラー画素に対応する位置とその周辺の位置との形状差が閾値以下である位置に対応する画素を参照画素として選択する。

【0071】

さらに参照画素の選択に際して、被写体の意味的領域分割マップ（セグメンテーションマップ）を用いてもよい。例えば、意味的領域分割マップにおけるエラー画素に対応する位置の周辺に、エラー画素に対応する位置と同じ意味を持つ領域がある場合には、該領域に対応する画素を参照画素として選択することができる。なお、意味的領域分割マップは、種々の手法を用いて取得することができる。このとき、被写体ごとまたはその素材ごとに領域が分割されていることが好ましい。なお、上述した種々の参照画素の選択方法を複数、組み合わせて用いてもよい。

【0072】

上述したように参照画素を選択することで、より自然なレンダリング画像が得られるように第１の法線情報と反射率補正係数１２７とを補正することができる。なお、本実施例では、エラー画素を中心とする７×７画素の着目範囲において参照画素を選択したが、これは例に過ぎず、様々なサイズや形状の着目範囲を用いることができる。

【0073】

続いて、図３のステップＳ１０７において、補正部１０４ｆは、図７に示すように、第１の法線情報と反射率補正係数１２７におけるステップＳ１０６で得られた参照領域マップ１２５に基づいて、エラー画素の法線情報と反射率補正係数１２７を補正する。具体的には、エラー画素の法線情報と反射率補正係数の補正は、参照画素１２７ｅｘの法線情報と反射率補正係数とを用いて行われる。複数の参照画素が存在する場合には、参照画素１２７ｅｘの法線情報の平均値と反射率補正係数の平均値を、エラー画素の法線情報と反射率補正係数とすればよい。

【0074】

続いて補正部１０４ｆは、ステップＳ１０６およびステップＳ１０７の処理をエラー領域の全てのエラー画素に対して行ったか否かを判定する。まだ全てのエラー画素に対する補正が完了していない場合はステップＳ１０６に戻って残りのエラー画素に対する補正を行う。この際、前回のステップＳ１０６とステップＳ１０７で補正されたエラー画素を参照画素として用いてもよい。

【0075】

一方、エラー領域の全てに対する補正が完了した場合はステップＳ１０８に進む。これにより補正部１０４ｆは、面法線と反射率の誤差が低減された高品位なレンダリング画像を生成するために必要な、補正された法線情報（第２の法線情報）と反射率補正係数（第２の補正情報）１２９とを取得する。なお、法線情報と反射率補正係数の補正は、上述した方法に限らず、種々のインペインティング手法を用いて行ってもよい。

【0076】

ステップＳ１０８では、第２レンダリング部１０４ｇは、補正された第２の法線情報と反射率補正係数を用いて、面法線と反射率の誤差が低減された高品位なレンダリング画像（第２の画像）を生成する。例えば、ユーザによって選択された光源条件（光源位置、光源強度、光源色等）におけるレンダリング画像を生成する。レンダリング画像においては、ステップＳ１０２での第１の法線情報の算出において仮定した反射特性を用いなくてもよく、他の拡散反射特性や、それに加えた鏡面反射特性でのレンダリング画像を生成してもよい。

【0077】

また、前述したベース画像にゲインマップを適用することでレンダリング画像を生成するようにしてもよい。ゲインマップは、補正された第２の法線情報と光源条件とに基づいて取得する。第２レンダリング部１０４ｇは、反射率を１（または定数）としたときの第２の仮レンダリング画像をゲインマップとして取得してもよい。さらに、ベース画像に補正された反射率補正係数を適用し、さらにゲインマップを適用することで高品位なレンダリング画像を生成することができる。ステップＳ１０２において入力画像を縮小した画像を用いて第１の法線情報を取得した場合には、第１の法線情報、ゲインマップ、反射率情報および反射率補正係数のいずれかを拡大、すなわち（１／縮小率）倍して用いてもよい。ベース画像にゲインマップを適用する場合には、ベース画像として縮小していない入力画像に基づいた画像を用いることが好ましい。

【0078】

また、法線情報、ゲインマップ、反射率情報および反射率補正係数のいずれかに対してノイズ低減処理を行った後にレンダリング画像を生成するようにしてもよい。好ましくは、法線情報、ゲインマップおよび反射率補正係数のいずれかに対してノイズ低減処理を行うとよい。画像の構造を含むレンダリング画像や反射率情報に対してノイズ低減処理を行うと画像の構造に劣化が生じるが、法線情報、ゲインマップおよび反射率補正係数のいずれかに対してノイズ低減処理を行う場合には、レンダリング画像の構造を保つことができる。

【0079】

本実施例では、照度差ステレオ法を用いて第１の法線情報を取得し、該第１の法線情報を補正して得られた第２の法線情報を用いてレンダリング画像を取得する場合について説明した。しかし、照度差ステレオ法とは異なる方法で高精度な第１の法線情報が取得できる場合には、該第１の法線情報を第２の法線情報として用いてもよい。

【0080】

また本実施例では、撮像装置１を用いて被写体の面法線を算出してレンダリング画像を生成する場合について説明したが、例えば図２Ｂに構成を示した、撮像装置１とは異なる画像処理システム２を用いてレンダリング画像を生成してもよい。画像処理システム２は、画像処理装置５００、撮像部５０１および光源部（光源手段）５０２を有する。画像処理装置５００は、図２Ａに示した画像処理部１０４と同様に、入力画像取得部５００ａ、被写体情報取得部５００ｂ、第１レンダリング部５００ｃ、領域検出部５００ｄ、補正係数取得部５００ｅ、補正部５００ｆおよび第２レンダリング部５００ｇを有する。

【0081】

この画像処理システム２を用いてレンダリング画像を生成する場合は、まず入力画像取得部５００ａは、互いに異なる複数の光源位置で被写体の撮像を行うことで複数の入力画像１２０を取得する。続いて、被写体情報取得部５００ｂは、複数の入力画像１２０を用いて被写体の第１の法線情報と反射率情報を算出する。そして第１レンダリング部５００ｃは、取得した第１の法線情報と反射率情報と入力画像１２０の撮像時における光源条件に基づいて第１の仮レンダリング画像１２２を生成する。さらに領域検出部５００ｄは、取得した入力画像１２０と第１の仮レンダリング画像１２２とに基づいて、エラー領域１２４を検出する。

【0082】

補正係数取得部５００ｅは、反射率情報を用いて反射率補正係数（第１の補正情報）を取得する。補正部５００ｆは、第１の法線情報と反射率補正係数におけるエラー領域に対して補正処理を行い、それぞれ補正された第２の法線情報と反射率補正係数１２９を取得する。そして、第２レンダリング部５００ｇは、第２の法線情報と反射率補正係数１２９を用いてレンダリング画像（第２の画像）を生成する。

【0083】

なお、撮像部５０１と光源部５０２はそれぞれ、個別の装置であってもよい。また、光源部５０２は撮像部５０１に内蔵されていてもよい。

【0084】

本実施例によれば、高品位なレンダリング画像を生成することができる。

【実施例2】

【0085】

次に、図８を参照して、本発明の実施例２について説明する。実施例１では、光源部を内蔵した撮像装置について説明したが、本実施例では撮像装置と光源ユニット（光源手段）とから構成される画像処理システムについて説明する。
画像処理システム３は、被写体３０３を撮像する撮像装置３０１と、複数の光源ユニット３０２とを備える。撮像装置３０１は、実施例１と同様の撮像装置であるが、光源部を内蔵しなくてもよい。

【0086】

光源ユニット３０２は、撮像装置３０１と有線または無線で接続され、撮像装置３０１からの情報に基づいて制御されることが好ましい。また、照度差ステレオ法では少なくとも３つの光源を順次照射して撮像を行うことにより取得された画像が必要であるが、単一の光源ユニットを少なくとも互いに異なる３つの位置に移動可能とすればよい。

【0087】

なお、光源ユニット３０２が自動で位置を変更できない場合や光源ユニット３０２が撮像装置３０１により制御できない場合は、撮像装置３０１の表示部に表示される光源位置に移動するようにユーザが光源ユニット３０２の位置を調整するようにしてもよい。
本実施例におけるレンダリング処理は、実施例１で説明したレンダリング処理と同様であるため、詳細な説明は省略する。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0088】

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

【符号の説明】

【0089】

１０４ 画像処理部（画像処理装置）
１０４ｂ 被写体情報取得部
１０４ｃ 第１レンダリング部
１０４ｄ 領域検出部
１０４ｅ 補正係数取得部
１０４ｆ 補正部
１０４ｇ 第２レンダリング部

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】