特開 2022-186023 画像処理装置、撮像装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186023

(43)【公開日】2022-12-15

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 15/60 20060101AFI20221208BHJP

   H04N 5/232 20060101ALI20221208BHJP

   H04N 5/225 20060101ALI20221208BHJP

【ＦＩ】

G06T15/60

H04N5/232 290

H04N5/225 300

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2021094028

(22)【出願日】2021-06-04

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】石橋 拓也

【テーマコード（参考）】

5B080

5C122

【Ｆターム（参考）】

5B080BA00

5B080CA00

5B080FA00

5B080GA06

5B080GA21

5C122DA30

5C122EA42

5C122EA61

5C122FA04

5C122FH10

5C122FH14

5C122FH18

5C122FH22

5C122FH24

5C122HA13

5C122HA35

5C122HA88

5C122HB01

5C122HB06

5C122HB10

(57)【要約】

【課題】主被写体がその他の被写体に適切な影を生成することが可能な仮想光源の方向を設定可能な画像処理装置を提供する。
【解決手段】画像処理装置１００は、被写体の形状情報を取得する形状取得部１０５と、被写体の影を生成する第１の領域を検出する第１の領域検出部１０６と、影が投影される第２の領域を検出する第２の領域検出部１０７と、形状情報、第１の領域および第２の領域に基づいて、第１の領域が第２の領域へ影を投影する仮想光源の方向を決定する仮想光源方向設定部１０８と、形状情報および決定された仮想光源の方向に基づいて、影が付与された画像を生成する画像生成部１０９と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

被写体の形状情報を取得する形状取得手段と、
被写体の影を生成する第１の領域を検出する第１の領域検出手段と、
前記影が投影される第２の領域を検出する第２の領域検出手段と、
前記形状情報、前記第１の領域および前記第２の領域に基づいて、前記第１の領域が前記第２の領域へ前記影を投影する仮想光源の方向を設定する方向設定手段と、
前記形状情報および設定された前記仮想光源の方向に基づいて、前記影が付与された画像を生成する画像生成手段と、を有することを特徴とする画像処理装置。

【請求項2】

前記形状情報は、被写体の距離情報または被写体の法線情報を含むことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記形状情報は、前記距離情報の信頼度または前記法線情報の信頼度を含むことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記形状取得手段は、前記第２の領域において前記距離情報の信頼度または前記法線情報の信頼度が低い領域が前記影を投影する領域から除外されるように仮想光源の方向を設定することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記第１の領域検出手段は、画像の像高の中心付近の領域から前記第１の領域を検出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第１の領域検出手段は、ピント位置近傍の領域から前記第１の領域を検出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項7】

前記第２の領域検出手段は、前記形状情報に基づいて前記第２の領域を検出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記第２の領域検出手段は、前記形状情報に含まれる被写体の法線情報から被写体の面法線のヒストグラムを算出し、前記ヒストグラムの度数が最も高い面法線を持つ領域を前記第２の領域として検出することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記第２の領域検出手段は、被写体の距離情報から算出した前記形状情報が、一定方向に連続的に変化する領域を前記第２の領域として検出することを特徴とする請求項７に記載の画像処理装置。

【請求項10】

前記第１の領域検出手段および前記第２の領域検出手段は、画像認識によって前記第１の領域および前記第２の領域を検出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。

【請求項11】

前記第１の領域と前記第２の領域は、互いに排他となる領域であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記方向設定手段は、前記第１の領域の代表値と前記第２の領域の形状情報に基づいて、前記第１の領域が前記第２の領域へ影を投影することができるように仮想光源の方向を設定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。

【請求項13】

前記方向設定手段は、デフォーカス量から算出される有効測距範囲に基づいて前記仮想光源の方向を設定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。

【請求項14】

前記方向設定手段は、ユーザにより指定された仮想光源の概略方向に応じて、前記仮想光源の方向を設定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。

【請求項15】

前記画像生成手段は、前記形状情報および複数の仮想光源の方向に基づいて前記影が付与された画像を生成することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。

【請求項16】

請求項１乃至１５のいずれか１項に記載の画像処理装置と、撮像光学系の異なる瞳領域を通過する光束をそれぞれ受光して複数の画像を撮像する撮像手段を備える撮像装置であって、
前記形状取得手段は、前記複数の画像から得られるデフォーカス量または像ずれ量から被写体の距離情報を算出することを特徴とする撮像装置。

【請求項17】

画像に影を付与する画像処理方法であって、
被写体の形状情報を取得する形状取得工程と、
被写体の影を生成する第１の領域を検出する第１の領域検出工程と、
前記影が投影される第２の領域を検出する第２の領域検出工程と、
前記形状情報、前記第１の領域および前記第２の領域に基づいて、前記第１の領域が前記第２の領域へ前記影を投影する仮想光源の方向を設定する方向設定工程と、
前記形状情報および設定された前記仮想光源の方向に基づいて、前記影が付与された画像を生成する画像生成工程と、を有することを特徴とする画像処理方法。

【請求項18】

請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

画像処理によって陰影を付与した陰影付与画像を生成するリライティング処理（影付処理）と呼ばれる画像処理がある。リライティング処理では、例えば、仮想光源を設定し、設定した仮想光源の方向と被写体の形状情報を用いて仮想光源が生成する陰影の領域を算出し、算出した領域に陰影を付与することで陰影付与画像を生成する。特許文献１は、設定した仮想光源と人物の顔との間に遮蔽物がある場合にリライティング処理により人物の顔に不要な影が付かないように、人物と遮蔽物の位置関係に基づいて仮想光源の位置を設定する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１０１６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、人物の顔が遮蔽物の影となることは回避できるが、それだけではユーザが所望する適切な影を生成することができない恐れがある。リライティング処理において適切な影を生成するためには、適切な仮想光源の方向を自動で決定することが求められる。

【0005】

本発明は、主被写体がその他の被写体に適切な影を生成することが可能な仮想光源の方向を設定可能な撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の画像処理装置は、被写体の形状情報を取得する形状取得手段と、被写体の影を生成する第１の領域を検出する第１の領域検出手段と、前記影が投影される第２の領域を検出する第２の領域検出手段と、前記形状情報、前記第１の領域および前記第２の領域に基づいて、前記第１の領域が前記第２の領域へ前記影を投影する仮想光源の方向を設定する方向設定手段と、前記形状情報および設定された前記仮想光源の方向に基づいて、前記影が付与された画像を生成する画像生成手段と、を有する。

【発明の効果】

【0007】

本発明によれば、主被写体がその他の被写体に適切な影を生成することが可能な仮想光源の方向を設定することができる。

【図面の簡単な説明】

【0008】

【図1】撮像装置全体の構成を説明する図である。

【図2】撮像部および撮像光学系について説明する図である。

【図3】リライティング処理を示すフローチャートである。

【図4】形状情報取得方法を示すフローチャートである。

【図5】距離情報の算出方法を示すフローチャートである。

【図6】微小ブロックについて説明する図である。

【図7】像ずれ量と相関値の関係を説明する図である。

【図8】仮想光源の方向の決定方法を示すフローチャートである。

【図9】仮想光源の方向の決定方法を説明する図である。

【図10】ユーザが指定した仮想光源の概略方向に基づいた仮想光源の方向の決定方法を説明する図である。

【図11】単光源で画像生成する方法を説明する図である。

【図12】複数光源で画像生成する方法を説明する図である。

【発明を実施するための形態】

【0009】

（第１実施形態）
図１は、撮像装置全体の構成を説明する図である。撮像装置１１０は、画像処理装置１００、撮像部１１２を備える。また、撮像装置１１０にはレンズ装置１１１が着脱可能に接続されている。本実施形態の画像処理装置１００は、取得した画像に対する画像処理として、陰影を付与した陰影付与画像を生成するリライティング処理を実行する。画像処理装置１００は、制御部１０１、メモリ１０２、パラメータ設定部１０３、画像取得部１０４、形状情報取得部１０５、第１の領域検出部１０６、第２の領域検出部１０７、仮想光源方向設定部１０８、画像生成部１０９を備える。

【0010】

レンズ装置１１１は、撮像光学系を有する。撮像光学系は、ズームレンズやフォーカスレンズなどの複数のレンズ１１９、絞り、シャッタを備え、被写体の光学像を撮像素子に結像させる。撮像部１１２は、被写体を撮像する。被写体は、画像処理装置１００が画像処理を行う対象である。撮像部１１２は、例えばＣＭＯＳやＣＣＤといった光電変換素子を有する撮像素子であり、光学像に応じた出力信号（アナログ信号）を出力する。なお、本実施形態では撮像装置１１０にレンズ装置１１１が着脱可能に接続されている例を説明するが、撮像装置１１０とレンズ装置１１１が一体となった撮像装置であってもよい。

【0011】

制御部１０１は、画像処理装置１００を含む撮像装置１１０全体の動作を制御する。制御部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備える。ＣＰＵが、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリに記憶されたプログラムを実行することで、撮像装置１１０の機能や後述する各種処理が実現される。

【0012】

撮像部１１２が出力した画像（以下、画像情報ともいう）は、画像取得部１０４に供給される。画像取得部１０４は、撮像部１１２で撮像した画像、または撮像装置１１０以外で撮像された画像を取得し、メモリ１０２に保存する。メモリ１０２は、画像を保存する。また、メモリ１０２は、各モジュールでの処理に必要な情報の読み出しと各モジュールでの処理結果の保存を行う。パラメータ設定部１０３は、ユーザからの撮影や画像処理などに関する各パラメータの設定を受け付け、ユーザによって入力された各パラメータ情報をメモリ１０２に保存する。後述するユーザにより指定される仮想光源の概略方向もパラメータ設定部１０３がユーザからその指定を受け付ける。

【0013】

形状情報取得部１０５は、撮像部１１２で撮像した画像から形状情報を算出して取得する形状取得手段である。また、形状情報取得部１０５は、算出した形状情報、または、ユーザによって画像処理装置１００へ入力された形状情報を取得する。形状情報取得部１０５は、取得した形状情報をメモリ１０２に保存する。

【0014】

第１の領域検出部１０６は、画像情報、形状情報、第２の領域情報の少なくとも１つ以上の情報から第１の領域を検出する。本実施形態において第１の領域は、リライティング処理で影を発生させる被写体、すなわちリライティング処理により影を生成する領域である。第１の領域検出部１０６は、検出した第１の領域の情報をメモリ１０２に保存する。第２の領域検出部１０７は、画像情報、形状情報、第１の領域情報の少なくとも１つ以上の情報から第２の領域を検出する。本実施形態において第２の領域は、リライティング処理により第１の領域の影が投影（付与）される領域である。第２の領域検出部１０７は、検出した第２の領域の情報をメモリ１０２に保存する。

【0015】

仮想光源方向設定部１０８は、第１の領域、第２の領域および形状情報に基づいて、リライティング処理を行う際の仮想光源の方向を設定する。仮想光源方向設定部１０８は、設定した仮想光源の方向の情報をメモリ１０２に保存する。画像生成部１０９は、仮想光源方向と形状情報に基づいて算出した陰影を画像へ付与した陰影付与画像を生成する。画像生成部１０９は、生成した陰影付与画像をメモリ１０２に保存する。このように本実施形態では、仮想光源が陰影を生成する被写体の領域（第１の領域）を算出し、算出した床面などの領域（第２の領域）に陰影を付与することで陰影付与画像を生成する。

【0016】

図２は、撮像部１１２および撮像光学系について説明する図である。図２（Ａ）は、撮像部１１２である撮像素子の構成を示す図である。撮像素子には、画素１１５が二次元的に規則的に配列されている。１つの画素１１５は、１つのマイクロレンズ１１４と、一対の光電変換部（光電変換部１１６Ａおよび光電変換部１１６Ｂ）を有する。一対の光電変換部は、１つのマイクロレンズ１１４を介して撮像光学系の異なる瞳領域を通過する光束を受光する。各光電変換部によって受光された光束から複数の視点画像（一対の視点画像）が生成される。以下では、光電変換部１１６Ａで撮像された視点画像をＡ像、光電変換部１１６Ｂで撮像された視点画像をＢ像と呼ぶ。また、Ａ像とＢ像を合成した画像をＡ＋Ｂ像とする。撮像部１１２の各画素が一対の光電変換部を有することにより、撮像光学系の異なる瞳領域を通過する光束に基づく一対の画像データ（Ａ像、Ｂ像）を取得することが可能である。Ａ像およびＢ像の視差に基づいて、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数等のパラメータを用いることにより、被写体と撮像装置１１０との距離情報を算出することが可能である。

【0017】

図２（Ｂ）に、レンズ装置１１１が有する撮像光学系の構成を示す図である。撮像部１１２は、物体１１８から発せられた光をレンズ１１９により結像面１２０で結像し、撮像素子のセンサ面１２１で受光する。撮像部１１２は、光電変換を行い、光学像に応じた画像（アナログ信号）を出力する。本実施形態では、以上のように構成された撮像装置１１０において、被写体に適切な影を付加することが可能な仮想光源の方向を設定してリライティング処理を行う。

【0018】

図３は、リライティング処理を示すフローチャートである。ステップＳ３０１において、パラメータ設定部１０３は、リライティング処理に関するパラメータの取得を行う。パラメータ設定部１０３は、パラメータとして少なくとも下記の（ａ）～（ｄ）の情報を取得する。
（ａ）撮像装置から被写体のピント位置までの距離
（ｂ）一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数
（ｃ）撮像装置のレンズにおける像側主点からセンサ面までの距離
（ｄ）撮像装置の焦点距離
パラメータ設定部１０３は、これらのパラメータをメモリ１０２から取得してもよいし、撮像装置１１０内の各モジュールから取得してもよい。

【0019】

ステップＳ３０２において、画像取得部１０４は、画像の取得を行う。画像取得部１０４は、撮像装置１１０で撮影した画像を撮像部１１２から取得してもよいし、予め撮像された保存された画像をメモリ１０２から取得してもよい。ステップＳ３０３において、形状情報取得部１０５は、形状情報の取得を行う。ここで形状情報は、被写体の形状に関する情報である。具体的には、本実施形態における形状情報は、被写体の形状の位置を点群で示した形状の位置情報、点群における局所領域の面の傾きを示す法線情報、位置情報と法線情報の信頼度情報を含む情報である。形状の位置情報は、撮像装置１１０から被写体までの距離情報から取得することが可能である。局所領域の面の傾きとは、局所領域の形状における変位量や面法線等の情報である。

【0020】

形状情報の取得処理の詳細について、図４を用いて説明する。図４はステップＳ３０３に示される形状情報取得処理を示すフローチャートである。形状情報取得処理では、距離情報、法線情報、信頼度情報をそれぞれ取得する。

【0021】

（距離情報取得処理）
まず、ステップＳ４０１において、形状情報取得部１０５は、撮像装置１１０から被写体までの距離情報の算出を行う。例えば、形状情報取得部１０５は、複数の視点信号間の視差から相関演算等によって像ずれ量を算出してデフォーカス量に換算する。そして、デフォーカス量に基づいて距離情報を算出することができる。距離情報の算出処理の詳細については、図５を用いて説明する。

【0022】

図５は、距離情報の取得処理を示すフローチャートである。ステップＳ５０１において、形状情報取得部１０５は、ステップＳ３０２で取得した画像から複数の画像（視点画像、瞳分割画像）を生成する。本実施形態では複数の画像として一対の画像を生成する。一対の画像は、例えば、光電変換部１１６Ａから出力されたＡ像画像および光電変換部１１６Ｂから出力されたＢ像画像である。なお、一対の画像は、影部がなるべく少ない画像が好ましい。これは、影部はコントラストが低くなり、ステレオマッチングによる視差算出精度が低下してしまうためである。影部が少ない画像は、全発光や発光なし等の照明条件下で撮像することにより取得することが可能である。また、また、撮像装置１１０が発光部を有する場合に、発光部の投影系に格子状などのパターンを配置し被写体にパターンを投影した画像を撮影することで、テクスチャがない被写体にパターンをつけることができ、視差算出精度を高めることができる。

【0023】

ステップＳ５０２において、形状情報取得部１０５は、一対の画像データそれぞれに対して微小ブロックを設定する。本実施形態では、ステップＳ５０１で生成したＡ像とＢ像に対して同じ大きさの微小ブロックを設定する。微小ブロックは一般にテンプレートマッチングを行う際に設定されるウィンドウと同義である。微小ブロックの設定について図６を用いて説明する。

【0024】

図６は、微小ブロックについて説明する図である。図６（Ａ）は、ステップＳ５０２で設定される微小ブロックについて説明する図である。着目画素６０４のデフォーカス量を算出するために、Ａ像６０１には着目画素６０４を中心とする微小ブロック６０３が、Ｂ像６０２には微小ブロック６０３と同じ大きさの微小ブロック６０５が設定される。このように、本実施形態では画素ごとに微小ブロックの中心となる着目画素を設定し、着目画素を中心とした微小ブロックを設定する。図６（Ｂ）は、微小ブロックの形状について説明する図である。微小ブロック６０３が着目画素６０４を中心とする９画素分の大きさであったのに対し、微小ブロック６０６は着目画素６０４を中心とする２５画素分の大きさである。このように、設定する微小ブロック大きさは変更することが可能である。

【0025】

ステップＳ５０３において、形状情報取得部１０５は、像ずれ量を算出する。形状情報取得部１０５は、ステップＳ５０２で設定した微小ブロックにおいて相関演算処理を行い、各点の像ずれ量を算出する。相関演算では、微小ブロックにおける一対の画素データをそれぞれＥ、Ｆと一般化して表現する。例えば、Ａ像に対応するデータ系列Ｅに対してＢ像に対応するデータ系列Ｆを相対的にずらしながら、下記の数式（１）によりこの２つのデータ列間のずらし量ｋにおける相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）―Ｆ（ｎ＋ｋ）｜・・・（１）
数式（１）において、Ｃ（ｋ）はデータ系列の番数ｎについて計算される。ずらし量ｋは整数であり、画像データのデータ間隔を単位とした相対的なシフト量である。なお、ずらし量ｋはステレオマッチング法における視差量と同義である。

【0026】

数式（１）の演算結果の例について図７を用いて説明する。図７は、像ずれ量と相関値の関係を説明する図である。図７では、横軸が像ずれ量、縦軸が相関量を表している。また、相関量Ｃ（ｋ）はずらし量ｋにおける離散的な相関量を、相関量Ｃ（ｘ）は像ずれ量ｘによる連続的な相関量を表している。図７では、一対のデータ系列の相関が高い像ずれ量において、相関量Ｃ（ｋ）が最小になる。

【0027】

連続的な相関量Ｃ（ｘ）が最小となる像ずれ量ｘは、例えば、下記の数式（２）～（５）による３点内挿の手法を用いて算出される。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ・・・（２）
Ｃ（ｘ）＝Ｃ（ｋｊ）－｜Ｄ｜・・・（３）
Ｄ＝｛Ｃ（ｋｊ－１）－Ｃ（ｋｊ＋１）｝／２・・・（４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）－Ｃ（ｋｊ），Ｃ（ｋｊ－１）－Ｃ（ｋｊ）｝
・・・（５）
ここで、ｋｊは離散的な相関量Ｃ（ｋ）が最小となるｋである。数式（２）で求めたシフト量ｘを一対の画像データにおける像ずれ量とする。なお、像ずれ量ｘの単位はｐｉｘｅｌとする。

【0028】

ステップＳ５０４において、形状情報取得部１０５は、像ずれ量をデフォーカス量に換算する。デフォーカス量は、その大きさが被写体像の結像面１２０からセンサ面１２１までの距離を表す。具体的には、形状情報取得部１０５は、デフォーカス量ＤＥＦを、数式（２）で求めた像ずれ量ｘに基づいて下記の数式（６）で求めることができる。
ＤＥＦ＝ＫＸ・ｘ・・・（６）
数式（６）においてＫＸは、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。このように、着目画素位置を１画素ずつずらしながらステップＳ５０２～ステップＳ５０４の処理を繰り返すことで、各画素位置のデフォーカス量を算出することができる。

【0029】

ステップＳ５０５において、形状情報取得部１０５は、ステップＳ５０４で算出したデフォーカス量に基づいて、撮像装置１１０のセンサ面１２１から被写体までの距離ｚを算出する。距離ｚは、下記の数式（７）～（８）で算出できる。
ｄｉｓｔ＝１／（１／（ｄｉｓｔ＿ｄ＋ＤＥＦ）－１／ｆ）・・・（７）
ｚ＝ｌｅｎｇｔｈ－ｄｉｓｔ・・・（８）
ｄｉｓｔはピント位置から被写体までの距離、ｄｉｓｔ＿ｄは撮像装置１１０の撮像部１１２のレンズにおける像側主点からセンサ面１２１までの距離、ｆは焦点距離、ｌｅｎｇｔｈは撮像装置１１０のセンサ面１２１からピント位置までの距離を示す。ピント位置は、合焦位置に相当する。なお、本実施形態において形状情報取得部１０５は数式（６）～数式（８）を用いて像ずれ量ｘから各点における距離ｚを算出する例を説明したがこれに限られるものではなく、その他の算出方法で各点における距離ｚを算出してもよい。

【0030】

撮像装置１１０のセンサ面１２１からピント位置までの距離ｌｅｎｇｔｈは、例えば、不図示のレーザ測距手段により、測定することが可能である。また、撮影時のレンズ位置とピント位置の関係をデータテーブルとして有することで、撮影時のレンズ位置に対応したピント位置までの距離を推定することが可能である。レンズ位置とピント位置の関係を示すデータテーブルにより、撮像装置１１０のセンサ面１２１からピント位置までの距離を測距する手間を低減できる。

【0031】

以上により、複数の画像から得られるデフォーカス量または像ずれ量から、撮像装置１１０のセンサ面１２１から被写体までの距離ｚを算出することができる。このように、１枚の画像から一対の画像データを生成する方法によって情報を算出できることから、撮像装置は複眼である必要はなく、単眼のカメラでよいため、撮像装置の構成を簡易にすることができる。さらに、複数のカメラを設置する際のキャリブレーション処理も簡易、または不要とすることができる。また、ステップＳ５０１において撮像装置１１０で撮像した画像情報から画像処理装置１００が距離ｚを算出する例を説明したが、これに限られるものではない。例えば、ステレオカメラによって距離ｚを算出することも可能である。また、これらの距離ｚの算出を撮像装置１１０の外部装置で行い、外部装置で算出された距離ｚを画像処理装置１００が取得することも可能である。被写体までの距離情報を画像から算出するのではなく、ＬｉＤＡＲのような装置で取得するようにしてもよい。なお、Ｓ４０１で算出する撮像装置１１０と被写体との距離情報は、センサ面１２１からの距離を例に説明したが、これに限定されるものではなく、撮像装置１１０のレンズ先端から等の任意の位置からの距離でもよい。

【0032】

（法線情報取得処理）
図４の説明に戻る。ステップＳ４０２において、形状情報取得部１０５は、法線情報の取得を行う。法線情報は局所領域の面の傾きである。局所領域の面の傾きは、取得した距離情報を面内方向に微分して変位量を算出する方法や、照度差ステレオ法によって面法線を算出する方法で取得することが可能である。本実施形態では一例として、面法線を局所領域の面の傾き、すなわち奉先情報として使用する。

【0033】

（信頼度情報取得処理）
ステップＳ４０３において、形状情報取得部１０５は、信頼度情報の取得を行う。信頼度は、信頼度の評価値を決定することによって算出できる。信頼度は、距離情報と法線情報のそれぞれに対して取得することが可能である。

【0034】

距離情報の信頼度について説明する。距離情報の信頼度とは、取得した距離情報が使用できるかを判断する情報である。信頼度が低い場合は算出された距離情報の確からしさも低くなる。信頼度を評価値として算出して数値化し、評価値と閾値を比較することで、信頼度の高低を評価することが可能となる。信頼度の評価値は、例えば、画像の輝度、画像のコントラスト、距離情報取得時のデフォーカス量などから算出することができる。画像の輝度、画像のコントラスト、距離情報取得時のデフォーカス量などから算出される評価値によって得られる信頼度は、１枚の画像から一対の画像データを生成してデフォーカス量を算出することによって距離情報を取得する方法に対して適応可能である。一方、距離情報をＬｉＤＡＲのような装置で取得する場合、反射して帰ってきたレーザの信号の振幅が規定値より低い場合、その距離情報の信頼度の評価値を下げるなどの方法が考えられる。このように、距離情報の取得方法によって距離情報の信頼度の評価値を算出するための評価項目を変えることが可能である。

【0035】

まず、画像の輝度の評価値について説明する。本実施形態において距離情報を取得する場合に、一対の画像から像ずれ量を算出しているが、画像の信号が明る過ぎる、または暗すぎる領域については像ずれ量の算出精度は低下する。画像の輝度を表現する際の輝度の中央値をＬｍ、評価する画素の輝度Ｌｐとすると、輝度の評価値Ｌは下記の数式（９）によって求めることができる。
Ｌ＝－｜Ｌｍ－Ｌｐ｜・・・（９）
数式（９）のように評価値Ｌを設定することで、輝度を表現する際の輝度の中央値から画素の輝度が離れるにしたがって輝度の評価値Ｌを小さくすることが可能である。輝度の評価値Ｌにより、画像の輝度による距離情報の信頼度への影響を考慮することができる。

【0036】

次に、画像のコントラストの評価値について説明する。本実施形態において距離情報を取得する場合に、一対の画像から像ずれ量を算出していが、画像の信号のコントラストが低い領域は相関量Ｃ（ｋ）から最小値を求める精度が低下する。画像のコントラストを各画素とその周辺の輝度から輝度の分散を算出し、分散をコントラストの評価値Ｂとすることで画像のコントラストの評価値を算出することができる。コントラストの評価値Ｂにより、画像のコントラストによる距離情報の信頼度への影響を考慮することができる。

【0037】

最後に、デフォーカス量の評価値について説明する。デフォーカス量から距離情報を算出することができるが、デフォーカス量の絶対値が大きくなるにしたがって画像のボケが大きくなることから測距精度が低下する。すなわち、デフォーカス量の絶対値が大きくなるにしたがって信頼度の評価値が低下する。数式（６）で算出したデフォーカス量ＤＥＦについて、デフォーカス量の評価値をＤとすると、数式（１０）によってデフォーカス量の評価値Ｄを求めることができる。
Ｄ＝｜ＤＥＦ｜・・・（１０）
デフォーカス量の評価値Ｄにより、距離情報取得時のデフォーカス量による距離情報の信頼度への影響を考慮することができる。

【0038】

距離情報の信頼度の評価値をＭとすると、信頼度の評価値Ｍは、画像の輝度の評価値、画像のコントラストの評価値、距離情報取得時のデフォーカス量の評価値に基づいて、下記の数式（１１）により求めることができる。
Ｍ＝Ｌ＋Ｂ＋Ｄ・・・（１１）
形状情報取得部１０５は、距離情報の信頼度の評価値Ｍを各画素で求める。そして、形状情報取得部１０５は各画素の評価値Ｍを任意の閾値と比較することで、各画素での距離情報の信頼度の高低を判定する。形状情報取得部１０５は、距離情報の信頼度の評価値Ｍが閾値未満であれば低信頼の距離情報と判定し、距離情報の信頼度の評価値Ｍが閾値以上であれば高信頼の距離情報と判定する。

【0039】

次に、法線情報の信頼度について説明する。法線情報の信頼度とは、取得した法線情報が使用できるかを判断するための情報である。法線情報の信頼度の算出方法としては、例えば、照度差ステレオ法によって法線情報を算出する際に撮影した画像を利用する方法がある。照度差ステレオ法は、光源方向を変えて被写体に光を照射したシーンの画像を複数枚撮影し、各光源方向で撮影した被写体の明るさの比から被写体表面の面法線を算出する方法である。光源方向を変えて複数回の撮影を行う際、被写体とカメラの位置関係が固定され、かつ、発光時の光源方向が既知である必要がある。そのため、複数枚撮影中に被写体またはカメラが動いてしまった場合や、外部から強い光が入ってきてしまった場合は、それを検出し、法線算出に使用しないように処理する。このとき、撮影された画像の枚数と実際に算出に使用された画像の枚数との比を算出し、使用された画像の枚数が少ない場合は信頼度が低くなるようにする。撮影された画像の枚数をＧｎ、実際に法線情報の算出に使用された画像の枚数をＲｎとして使用枚数に関する評価値をＣｎとすると信頼度の評価値Ｃｎは数式（１２）より求めることができる。
Ｃｎ＝Ｒｎ／Ｇｎ・・・（１２）

【0040】

また、注目画素の輝度が飽和している画像の枚数が閾値以上の場合に、注目画素の信頼度が低くなるようにする。注目画素の輝度が飽和している画像の枚数をＬｎとして、飽和している画像の枚数に関する評価値をＨとすると、信頼度の評価値Ｈは数式（１３）より求めることができる。
Ｈ＝Ｌｎ／Ｇｎ・・・（１３）
そして、法線情報の信頼度の評価値をＮとすると、信頼度の評価値Ｎは数式（１４）より求めることができる。
Ｎ＝Ｃｎ×Ｈ・・・（１４）

【0041】

形状情報取得部１０５は、各画素の法線情報の信頼度の評価値Ｎを求る。そして形状情報取得部１０５は、任意の閾値を設け法線情報の信頼度の評価値Ｎと比較することで各画素での法線情報の信頼度を求める。形状情報取得部１０５は、法線情報の信頼度の評価値Ｎが閾値未満であれば低信頼の法線情報と判定し、法線情報の信頼度の評価値Ｎが閾値以上であれば高信頼の法線情報と判定する。

【0042】

また、距離情報の信頼度と法線情報の信頼度の両方を評価した評価値Ｒは数式（１５）より求めることができる。
Ｒ＝Ｍ×Ｎ・・・（１５）
形状情報取得部１０５は、評価値Ｒに対して任意の閾値を設け評価値Ｒにと比較することで各画素での信頼度を求めることができる。形状情報取得部１０５は、評価値Ｒが閾値未満であれば低信頼と判定し、評価値Ｒが閾値以上であれば高信頼と判定する。

【0043】

以上のように算出した信頼度に基づき、本実施形態における画像処理の範囲を制限することで、より精度の高い形状情報による影付与画像を得ることが可能である。また、後述のステップＳ３０４で説明する領域検出で使用する距離情報、法線情報に対してそれぞれの信頼度を利用することにより領域の検出精度を高めることが可能である。また、信頼度が低い距離情報や法線情報を周囲の信頼度が高い距離情報や法線情報によって穴埋め補間処理を行うことによって距離情報や法線情報を補間することも可能である。

【0044】

（領域検出）
図３の説明に戻る。ステップＳ３０４において、第１の領域検出部１０６および第２の領域検出部１０７は、領域検出を行う。第１の領域検出部１０６は、影を生成する第１の領域を検出する。第２の領域検出部１０７は、影が投影される第２の領域の２つの領域を検出する。

【0045】

まず、影を生成する第１の領域の検出について説明する。ここでは、第１の領域検出部１０６が行う第１の領域の検出について２つの検出方法を説明する。１つ目の第１の領域の検出方法は、取得した画像の画角内の像高中心付近の領域を第１の領域とする方法である。像高中心付近の領域を第１の領域とすることで、ユーザが画像の中心に置いた被写体が影を生成する領域となるように第１の領域を設定することが可能である。これにより、特に複雑な処理を行わずに、第１の領域を設定することが可能である。

【0046】

２つ目の第１の領域の検出方法は、ピント（合焦位置）近傍の領域を第１の領域とする方法である。ピント位置近傍の領域を第１の領域とすることで、ユーザがピントを合わせた被写体が影を生成する領域となるように第１の領域を設定することが可能である。ピント位置近傍の領域であることを判断する方法の例として、３つの方法を説明する。第１の方法は、数式（６）で算出したデフォーカス量ＤＥＦを参照する方法である。デフォーカス量ＤＥＦに対して閾値を設定し、閾値以下の領域をピント位置近傍の領域とする。第２の方法は、コントラストに基づく方法である。ピント位置近傍の領域は一般に画像のボケが少ないことから、その他の領域よりコントラストが強くなる。そのため、画像内の局所的なコントラストを評価して閾値と比較し、閾値以上の領域をピント位置近傍の領域とする。第３の方法は、画像撮影時のＡＦ枠の位置情報を用いる方法である。撮影時のＡＦ枠の領域をピント位置近傍の領域とする。第２の方法または第３の方法では、デフォーカス量ＤＥＦを算出することなくピント位置近傍の領域を検出することができる。

【0047】

第１の領域の検出方法は、上記の２つの方法を独立で行ってもよいし、各方法を組み合わせることによって検出することも可能である。例えば、１つ目の第１の領域の検出方法と２つ目の第１の領域の検出方法を組み合わせることによって、像高中心付近の領域でかつ、コントラストが高い領域を第１の領域として検出できるため、第１の領域の検出精度を高めることができる。また、また、説明した３つの検出方法以外の方法により、被写体領域を第１の領域として検出してもよい。

【0048】

次に、影が投影される第２の領域の検出について説明する。ここでは、第２の領域検出部１０７が行う第２の領域の検出について２つの検出方法を説明する。１つ目の第２の領域の検出方法は、取得した法線情報から第２の領域を検出する方法である。一般に影を投影したい領域は床面や地面である。そのため、法線情報から算出した面法線によって床面を検出して第２の領域とする。具体的には、第２の領域検出部１０７は、ステップＳ３０３で取得した法線情報に基づいて画像の画角内全体の面法線の方向のヒストグラムを取り、ヒストグラムの度数が最も高い面法線の領域を第２の領域とする。これにより、特に画角内で床面が多くを占めるシーンにおいて床面を面法線によって検出することができるため、床面を第２の領域として検出することができる。

【0049】

２つ目の第２の領域の検出方法は、取得した距離情報から第２の領域を検出する方法である。一般に影を投影したい領域は床面や地面である。床面では距離情報から算出した形状情報が一定方向に連続的に変化する。そのため、第２の領域検出部１０７は、ステップＳ３０３で取得した距離情報から算出した形状情報がある範囲で一定方向に連続的に変化している領域を第２の領域として検出する。以上、第２の領域の検出方法について２つの検出方法について説明した。第２の領域の検出方法は上記の２つの方法を独立で行ってもよいし、各方法を組み合わせることによって検出することも可能である。また、説明した２つの検出方法以外の方法により、床面を第２の領域として検出してもよい。

【0050】

また、第１の領域および第２の領域をそれぞれの排他の領域として検出することで、第１の領域および第２の領域の検出精度を高めることが可能である。例えば、第１の領域の候補を第２の領域ではない領域とすることが可能である。これにより、第２の領域を検出すればそれ以外の領域が第１の領域の候補の領域となり、第１の領域の候補が限定されるため、第１の領域を算出する計算コストを低減できる。

【0051】

また、第１の領域および第２の領域について、画像認識を行うことによって両領域を検出することが可能である。画像認識を行った結果、例えば床面を検出した場合はその領域を第２の領域とする。そして、床面以外の領域において認識された被写体の領域を第１の領域とする。画像認識により、認識した被写体に基づいて領域を検出できるため、像高中心付近やピント近傍の領域などで検出するよりもより高精度な領域検出が可能である。また、画像認識による領域の検出は、先に説明した第１の領域検出方法および第２の領域検出方法による領域の検出と組み合わせて行うことも可能である。例えば、床と認識した領域の面法線のヒストグラムを算出し、ヒストグラムの度数の高い面法線の領域を床として再検出することにより、画像認識に失敗して検出できなかった床を検出することが可能である。

【0052】

ステップＳ３０４の第１の領域および第２の領域の検出においてステップＳ３０３で取得した距離情報または法線情報を利用する場合、これらの信頼度情報に基づいて利用する情報を限定するようにしてもよい。例えば、距離情報の信頼度を閾値と比較して、信頼度が閾値より低い距離情報は、領域検出に利用しないようにする。領域検出で使用する距離情報、法線情報に対してそれぞれの信頼度を利用することにより領域の検出精度を高めることが可能である。

【0053】

（仮想光源の方向決定処理）
ステップＳ３０５において、仮想光源方向設定部１０８は、仮想光源の方向を決定する。仮想光源は面光源であり、決定した仮想光源の方向から被写体に対して平行光が照射される。本実施形態における仮想光源の位置は、極座標系において動径を無限とした場合の偏角を方向として求められる。そのため、本実施形態では、仮想光源の位置ではなく仮想光源の方向を決定する。仮想光源の方向を自動で決定することによって、ユーザが仮想光源と被写体の離れ量や仮想光源の光量及び光線方向を調整することなく、画角内の主被写体がその他の被写体に適切な影を生成することが可能である。

【0054】

仮想光源の方向の決定方法については、図８～図１０を用いて説明する。図８は、ステップＳ３０５の仮想光源の方向決定処理の一例を示すフローチャートである。図９は、仮想光源の方向の決定方法を説明する図である。図９では、撮像装置１１０が撮像した画像の横方向をｘ方向、縦方向をｙ方向、奥行方向をｚ方向とする。

【0055】

図９（Ａ）は、ｘ方向から見たときの撮像装置１１０と各被写体との位置関係を示す図である。ｘ方向の値は、画像の横方向において、画像の左端から右端へ行くにつれて大きな値をとる。ｙ方向の値は、画像の縦方向において、画像の上端から下端へ行くにつれて大きな値をとる。ｚ方向の値は、手前側の奥行値から奥側の奥行値へ行くにつれて大きな値をとる。領域９０１は第１の領域として検出された領域であり、領域９０２は第２の領域として検出された領域である。

【0056】

ステップＳ８０１において、仮想光源方向設定部１０８は、ステップＳ３０４で検出した第１の領域の代表値を算出する。仮想光源方向設定部１０８は、例えば、第１の領域のｘ、ｙ、ｚ座標値の平均値から算出することによって第１の領域の代表値を算出する。また、ピント位置が第１の領域に含まれている場合は、仮想光源方向設定部１０８は、ピント位置のｘ、ｙ、ｚ座標値を第１の領域の代表値としてもよい。また、仮想光源方向設定部１０８は、第１の領域の重心点を第１の領域の代表値としてもよい。

【0057】

ステップＳ８０２において、仮想光源方向設定部１０８は、第２の領域においてｚ方向の値が最も小さい点とステップＳ８０１で算出した第１の領域の代表値とを結ぶ直線を算出する。例えば、図９（Ａ）において、第１の領域の代表値９０３と第２の領域においてｚ方向の値が最も小さい点である第２の領域で最もカメラから近い点９０４を結ぶことにより、直線９０５を求めることが可能である。

【0058】

ステップＳ８０３において、仮想光源方向設定部１０８は、第２の領域においてｚ方向の値が最も大きい点と第１の領域の代表値とを結ぶ直線を求める。図９（Ａ）において、第１の領域の代表値９０３と、第２の領域でｚ方向の値が最も大きい点である第２の領域で最もカメラから遠い点９０６を結ぶことにより、直線９０７を求めることが可能である。

【0059】

ステップＳ８０４において、仮想光源方向設定部１０８は、ステップＳ８０２で算出した直線９０５およびステップＳ８０３で算出した直線９０７によって限定される方向を仮想光源の方向として決定する。図９（Ａ）において、方向９０８は、直線９０５および直線９０７によって限定される仮想光源の方向である。

【0060】

ステップＳ８０１からステップＳ８０４によって、ｘ方向から見たときのｙ方向、ｚ方向によって定義される２次のｙｚ空間における仮想光源の方向を限定した。同様にして、ｙ方向から見たときのｘｚ空間における仮想光源の方向を限定することが可能である。仮想光源方向設定部１０８は、限定した仮想光源の方向の範囲内に仮想光源を設定することで、第１の領域が第２の領域へ影を付与することが保証される仮想光源の方向を設定する。このように、限定された仮想光源の方向の範囲内で自動に仮想光源の方向を設定することで、第１の領域が第２の領域へ影を投影する画像を簡易に得ることができる。

【0061】

次に、デフォーカス量（有効測距範囲）を用いて仮想光源の方向を決定する例について説明する。仮想光源の方向の決定処理において、ステップＳ５０４で算出したデフォーカス量に応じた有効測距範囲を用いて仮想光源の方向の決定を行うことも可能である。図９（Ｂ）は、有効測距範囲を用いた仮想光源の方向の決定方法について説明する図である。図９（Ｂ）は、図９（Ａ）と同様にｘ方向から見たときの撮像装置１１０と各被写体との位置関係を示す。直線９０９は、撮像装置１１０からピント位置までの距離を示す。ピント位置からｘｙ方向のピント面を求め、ｘｙ方向のピント面をｘ方向から見たときのピント面を直線９１０とする。

【0062】

ステップＳ５０４で算出したデフォーカス量の絶対値が大きくなるにしたがって画像のボケが大きくなり、測距精度が低下する。そこで、デフォーカス量に対して閾値を設けることにより、閾値以上のデフォーカス量を持つ第２の領域に影が投影されないように仮想光源の方向を限定する。直線９１１および直線９１２は、直線９１０から閾値分離れたデフォーカス量を持つ面をｘ方向から見たときの直線である。仮想光源方向設定部１０８は、この各直線が第２の領域と交わる各点と第１の領域の形状の代表値９０３を結ぶ各直線を求める。

【0063】

具体的には、撮像装置１１０に近い直線９１１が第２の領域と交わる点９１３は、第２の領域において有効測距範囲の中で最も撮像装置１１０から近い点９１３である。仮想光源方向設定部１０８は、第１の領域の形状の代表値９０３と第２の領域の点９１３を結ぶことにより、直線９１４を求める。撮像装置１１０から遠い直線９１２が第２の領域と交わる点９１５は、第２の領域において有効測距範囲の中で最も撮像装置１１０から遠い点９１５である。仮想光源方向設定部１０８は、第１の領域の形状の代表値９０３と第２の領域の点９１５を結ぶことにより、直線９１６を求める。直線９１４および直線９１６に基づいてステップＳ８０４と同様の処理を行うことにより、仮想光源方向設定部１０８は、直線９１４および直線９１６により限定される仮想光源の方向９１７を設定することが可能である。仮想光源方向設定部１０８は、限定した仮想光源の方向の範囲内に仮想光源を設定することで、第１の領域が第２の領域へ影を付与することが保証される仮想光源の方向を設定する。このように、このように、デフォーカス量（有効測距範囲）に基づいて仮想光源の方向の範囲を限定することで、リライティング処理の精度を高めることが可能である。

【0064】

また、仮想光源方向設定部１０８は、仮想光源の方向の決定処理において、ステップＳ４０３で取得した信頼度情報に基づいて、信頼度の低い第２の領域には影が付かないように仮想光源の方向の範囲を限定するようにしてもよい。閾値より信頼度の低い第２の領域を影を付ける領域から除外することで、より精度の高い影付与画像を得ることが可能である。なお、仮想光源の方向の決定処理において利用される信頼度情報は、距離情報の信頼度の評価値Ｍまたは法線情報の信頼度の評価値Ｎでもよいし、距離情報の信頼度と法線情報の信頼度の両方を評価した評価値Ｒでもよい。

【0065】

次に、ユーザから仮想光源の概略方向の指定を受けた場合の、仮想光源の方向の決定処理について説明する。本実施形態では、ユーザが指定した仮想光源の概略方向に基づいて仮想光源の方向を決定することが可能である。ユーザが指定可能な仮想光源の概略方向は、例えば被写体に対して仮想光源からの光が「順光／逆光／トップライト」であるか、撮像装置１１０から見て仮想光源の方向が被写体の「右側／中央／左側」であるか等である。

【0066】

ユーザが指定した仮想光源の概略方向に基づいた仮想光源の方向の決定方法について、図１０を用いて説明する。図１０は、ユーザが指定した仮想光源の概略方向に基づいた仮想光源の方向の決定方法を説明する図である。図１０では、図９と同様に撮像装置１１０が撮像した画像の横方向をｘ方向、縦方向をｙ方向、奥行方向をｚ方向とする。

【0067】

図１０（Ａ）は、ｚ方向から見たときの各被写体の位置関係において、ユーザが仮想光源の概略方向として「逆光、右側」を指定した場合の仮想光源の方向を説明した図である。仮想光源の光が被写体「逆光」となるためには、撮像装置１１０に対して被写体である領域９０１よりも奥側に仮想光源の方向を設定する必要がある。また、仮想光源の方向が「右側」となるためには、被写体である第１の領域９０１よりも右側に仮想光源の方向を設定する必要がある。本実施形態では、第１の領域９０１の形状の代表値９０３と撮像装置１１０を結ぶ直線９２１を境として、ユーザが指定した仮想光源の方向の「右側」を直線９２１より右側の領域、ユーザが指定した仮想光源の方向の「左側」を直線９２１より左側の領域とする。したがって、ユーザが仮想光源の概略方向として「逆光、右側」を指定した場合、仮想光源は領域９０１よりも奥側かつ右側に設定される。

【0068】

さらに、ユーザが指定した「逆光、右側」という概略方向に仮想光源がある場合、仮想光源による被写体の影は被写体の左側手前に付与される。そのため、仮想光源方向設定部１０８は、ユーザが仮想光源の概略方向として指定した「逆光、右側」に対して、画角内の第２の領域９０２における左側手前の点９１８を選択する。仮想光源方向設定部１０８は、選択した点９１８と第１の領域の代表値９０３とを結ぶ直線９１９を求める。そして、仮想光源方向設定部１０８は、直線９１９と直線９２１により限定される仮想光源の方向９２０を決定する。このように、仮想光源の方向を直線９１９によって限定することで、ユーザが指定した仮想光源の概略方向において第１の領域が第２の領域に影を投影することができる仮想光源の方向を決定することが可能である。

【0069】

なお、ユーザが指定する仮想光源の概略方向は「逆光、右側」以外にも「順光、中央」やなども設定することができ、「逆光、右側」の場合と同様に仮想光源の方向を決定することが可能である。このように、ユーザが指定した仮想光源の概略方向に基づいて仮想光源の方向を決定することにより、ユーザが希望する方向からの陰影付与画像を生成することが可能である。

【0070】

ユーザが指定した仮想光源の概略方向がトップライトであった場合について、図１０（Ｂ）を用いて説明する。図１０（Ｂ）は、ｘ方向から見たときの撮像装置１１０と各被写体の位置関係を説明する図である。仮想光源の概略方向がトップライトである場合は、仮想光源方向設定部１０８は、第１の領域として検出した領域９０１の代表値９０３から第２の領域９０２に対して垂直方向にとった直線９２２上を仮想光源の方向として決定する。被写体である第１の領域９０１におけるトップライトの方向は被写体が置かれている床等の面（第２の領域９０２）に対して垂直な方向であり、第２の領域９０２の方向はステップＳ３０３で取得した法線情報から算出できる。このように、ユーザにより指定された仮想光源の概略方向がトップライトの場合であっても仮想光源の方向を決定することが可能である。これにより、ユーザが希望するトップライトの方向からの陰影付与画像を生成することができる。なお、本実施形態では、ユーザが仮想光源の概略方向を指示する例について説明したが、これに限られるものではなく、例えばリライティング処理により付与される影の方向をユーザが指定するようにしてもよい。

【0071】

図３の説明に戻る。ステップＳ３０６において、画像生成部１０９は、ステップＳ３０５で決定した仮想光源の方向とステップＳ３０３取得した形状情報に基づいて、画像に対して被写体の陰影を付与する画像処理（リライティング処理）を行い、陰影付与画像を生成する。陰影付与画像の生成の方法について図１１を用いて説明する。

【0072】

図１１は、決定した仮想光源の方向に基づいて画像に被写体の陰影を付与する方法を説明する図である。仮想光源１１０１は、ステップＳ３０５で限定した仮想光源の方向から一意に設定した仮想光源の方向を示す。画像生成部１０９は、第１の領域である被写体１１０３の形状情報と仮想光源１１０１の方向から、影１１０２を生成し画像上の第２の領域に付与する。形状情報と仮想光源の方向に基づいて影を生成する方法としては、例えばレイトレーシング法やシャドーマップ法等があり、これらの方法を利用することで、影を付与した画像を生成することができる。このようにして影を付与することで、第１の領域が第２の領域に影を投影した陰影付与画像を生成することが可能である。さらに、第１の領域の法線情報と仮想光源１１０１の方向を利用することで第１の領域に陰を付与することも可能である。

【0073】

陰影付与画像を生成する場合に、複数の仮想光源の方向を設定することで複数の仮想光源による陰影付与画像を生成することも可能である。複数の仮想光源によって陰影付与画像を生成する方法について、図１２を用いて説明する。図１２は、複数の仮想光源の方向に応じて画像に被写体の陰影を付与する方法を説明する図である。仮想光源はステップＳ３０５で限定した仮想光源の方向の範囲内であればいくつでも設定することが可能である。図１２では、３つの仮想光源（仮想光源１２０１～仮想光源１２０３）が設定された例について説明する。

【0074】

各仮想光源によって生成される被写体１１０３の影１２０４は、仮想光源が１つの場合と同様に、レイトレーシング法やシャドーマップ法を用いることで生成することが可能である。また、仮想光源が１つの場合と同様に、第１の領域の法線情報と各仮想光源の方向を利用することで、第１の領域である被写体１１０３自体に各仮想光源による陰を付与することも可能である。このように陰と影を付与することで、複数の仮想光源の場合でも陰影付与画像を生成することが可能である。

【0075】

以上のように、本実施形態によれば、第１の領域の影を第２の領域に付与できる仮想光源の方向を限定することで、主被写体がその他の被写体に適切な影を生成することが可能な仮想光源の方向を設定することができる。

【0076】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0077】

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【符号の説明】

【0078】

１００ 画像処理装置
１０１ 制御部
１０２ メモリ
１０３ パラメータ設定部
１０４ 画像取得部
１０５ 形状情報取得図
１０６ 第１の領域検出部
１０７ 第２の領域検出部
１０８ 仮想光源方向設定部
１０９ 画像生成部
１１０ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】