特許 7565762 情報処理装置、撮像装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】情報処理装置、撮像装置、制御方法及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241004BHJP

   G06T 5/00 20240101ALI20241004BHJP

【ＦＩ】

H04N23/60 500

G06T5/00

【請求項の数】 14

(21)【出願番号】P 2020190565

(22)【出願日】2020-11-16

(65)【公開番号】P2022079381

(43)【公開日】2022-05-26

【審査請求日】2023-11-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】池西 俊介

【審査官】岡田 弘

(56)【参考文献】

【文献】特開２０１６－０７２６９２（ＪＰ，Ａ）

【文献】特開２０１８－０１０４９８（ＪＰ，Ａ）

【文献】特開２０２１－１０８０２３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｇ０６Ｔ １／００－１／４０

Ｇ０６Ｔ ３／００－５／９４

Ｇ０６Ｔ １１／６０－１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００－１９／２０

Ｇ０６Ｔ １１／００－１１／４０

Ｇ０６Ｔ １５／００－１７／００

Ｇ０６Ｔ １７／１０－１７／３０

Ｇ０３Ｂ ３５／００－３７／０６

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

撮像画像に含まれる対象被写体の像に適用するリライティング処理について、仮想光源の設定を行う情報処理装置であって、
前記対象被写体の正面を基準として定められた、該対象被写体と仮想光源の相対的な位置関係を示す相対関係情報を取得する第１の取得手段と、
前記撮像画像について、被撮像方向に対する前記対象被写体の向きの情報を取得する第２の取得手段と、
前記第１の取得手段により取得された前記相対関係情報と、前記第２の取得手段により取得された前記対象被写体の向きの情報とに基づいて、前記リライティング処理についての仮想光源の暫定的な配置位置を設定する設定手段と、
前記暫定的な配置位置に仮想光源を設定して行われる前記リライティング処理の有効性を判定する判定手段と、
前記判定手段による判定結果に基づいて、前記リライティング処理を行う仮想光源の配置位置を、前記暫定的な配置位置とするか、前記暫定的な配置位置とは異なる配置位置に変更するかを制御する制御手段と、
を有することを特徴とする情報処理装置。

【請求項2】

前記制御手段は、
前記判定手段により前記有効性が所定の基準を満たすと判定された場合に、前記リライティング処理を行う仮想光源の配置位置を前記暫定的な配置位置に決定するよう前記設定手段を制御し、
前記判定手段により前記有効性が前記所定の基準に満たないと判定された場合に、前記リライティング処理を行う仮想光源の配置位置を前記暫定的な配置位置から前記異なる配置位置に変更させるよう前記設定手段を制御する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記判定手段は、前記暫定的な配置位置の前記被撮像方向における位置に基づいて、前記有効性を判定することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記判定手段は、前記暫定的な配置位置が、前記被撮像方向において所定の位置よりも前記撮像画像を撮像した撮像装置から遠離した位置にある場合に、前記有効性が前記所定の基準に満たないと判定することを特徴とする請求項２または３に記載の情報処理装置。

【請求項5】

前記判定手段は、前記暫定的な配置位置が、前記被撮像方向において前記対象被写体よりも前記撮像画像を撮像した撮像装置から遠離した位置にある場合に、前記有効性が前記所定の基準に満たないと判定することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記判定手段は、前記暫定的な配置位置が、前記対象被写体の正面を基準とする所定の方位角の範囲にある場合に、前記有効性が前記所定の基準に満たないと判定することを特徴とする請求項２または３に記載の情報処理装置。

【請求項7】

前記相対関係情報は、異なる撮像画像に対して適用される前記リライティング処理における、前記対象被写体と仮想光源の相対的な位置関係を示しており、
前記情報処理装置は、前記異なる撮像画像について、被撮像方向に対する前記対象被写体の向きの情報を取得する第３の取得手段をさらに有し、
前記判定手段は、前記第２の取得手段により取得された前記対象被写体の向きの情報と、前記第３の取得手段により取得された前記対象被写体の向きの情報とに基づいて、前記有効性を判定する
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項8】

前記暫定的な配置位置と前記異なる配置位置のそれぞれについて、前記リライティング処理の適用により生じる照明効果を定量化する定量化手段をさらに有し、
前記判定手段は、前記定量化手段により定量化された各配置位置の照明効果に基づいて、前記有効性を判定する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項9】

前記判定手段は、
前記暫定的な配置位置の照明効果が前記異なる配置位置の照明効果よりも大きい場合に前記有効性が高いと判定し、
前記暫定的な配置位置の照明効果が前記異なる配置位置の照明効果よりも小さい場合に前記有効性が低いと判定し、
前記制御手段は、
前記判定手段により前記有効性が高いと判定された場合に、前記リライティング処理を行う仮想光源の配置位置を前記暫定的な配置位置に決定するよう前記設定手段を制御し、
前記判定手段により前記有効性が低いと判定された場合に、前記リライティング処理を行う仮想光源の配置位置を前記暫定的な配置位置から前記異なる配置位置に変更するよう前記設定手段を制御する
ことを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記撮像画像における環境光の方向を推定する推定手段をさらに有し、
前記制御手段は、前記異なる配置位置から前記対象被写体に向かう方向と前記推定手段により推定された環境光の方向との類似度が閾値を上回る場合には、前記リライティング処理を行う仮想光源の配置位置を前記異なる配置位置に変更しないよう前記設定手段を制御する
ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。

【請求項11】

前記撮像画像として一連の撮像画像群が選択される場合に、各撮像画像が撮像された撮像シーンを特定する特定手段をさらに有し、
前記制御手段は、前記一連の撮像画像群のうちの同一の撮像シーンで撮像された撮像画像群について、前記リライティング処理を行う仮想光源の配置位置と前記対象被写体との相対的な位置関係が保持されるよう前記設定手段を制御する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。

【請求項12】

撮像を行い撮像画像を出力する撮像手段と、
請求項１乃至１１のいずれか１項に記載の情報処理装置と、
前記情報処理装置により設定された前記リライティング処理を行う仮想光源の配置位置の設定で、前記リライティング処理を実行する実行手段と、
を有することを特徴とする撮像装置。

【請求項13】

撮像画像に含まれる対象被写体の像に適用するリライティング処理について、仮想光源の設定を行う情報処理装置の制御方法であって、
前記対象被写体の正面を基準として定められた、該対象被写体と仮想光源の相対的な位置関係を示す相対関係情報を取得する第１の取得工程と、
前記撮像画像について、被撮像方向に対する前記対象被写体の向きの情報を取得する第２の取得工程と、
前記第１の取得工程において取得された前記相対関係情報と、前記第２の取得工程において取得された前記対象被写体の向きの情報とに基づいて、前記リライティング処理についての仮想光源の暫定的な配置位置を設定する設定工程と、
前記暫定的な配置位置に仮想光源を設定して行われる前記リライティング処理の有効性を判定する判定工程と、
前記判定工程における判定結果に基づいて、前記リライティング処理を行う仮想光源の配置位置を、前記暫定的な配置位置とするか、前記暫定的な配置位置とは異なる配置位置に変更するかを制御する制御工程と、
を有することを特徴とする制御方法。

【請求項14】

コンピュータを、請求項１乃至１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、撮像装置、制御方法及びプログラムに関し、特に仮想光源を配置した効果を撮像画像に付す技術に関する。

【背景技術】

【0002】

撮像画像に表れる被写体の像に対して、仮想光源を配置した３次元的な照明効果を付すことで、違和感なく暗部の明るさを補正する技術（以下、リライティング処理として言及）が知られている。このようなリライティング処理は、仮想光源の３次元的な配置位置（光源位置）をユーザが指定する運用が考えられるが、適用対象の撮像画像が多数ある場合、それぞれに対してユーザが光源位置を設定することは現実的ではない。特許文献１には、１つの撮像画像に対するリライティング処理において適用した被写体と仮想光源の相対的な位置関係を、他の撮像画像に対するリライティング処理においても採用することで、設定の簡略化を実現する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－０１０４９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、撮像の構図や被写体のポージングは撮像画像間で種々の態様をとり得るものであり、特定の撮像画像について採用されたものと同様の相対位置関係を示す仮想光源を転用しても、好適な照明効果が得られない可能性があった。

【0005】

本発明は、リライティング処理によって好適な照明効果が実現される仮想光源の配置を行う情報処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

前述の目的を達成するために、本発明の情報処理装置は、撮像画像に含まれる対象被写体の像に適用するリライティング処理について、仮想光源の設定を行う情報処理装置であって、対象被写体の正面を基準として定められた、該対象被写体と仮想光源の相対的な位置関係を示す相対関係情報を取得する第１の取得手段と、撮像画像について、被撮像方向に対する対象被写体の向きの情報を取得する第２の取得手段と、第１の取得手段により取得された相対関係情報と、第２の取得手段により取得された対象被写体の向きの情報とに基づいて、リライティング処理についての仮想光源の暫定的な配置位置を設定する設定手段と、暫定的な配置位置に仮想光源を設定して行われるリライティング処理の有効性を判定する判定手段と、判定手段による判定結果に基づいて、リライティング処理を行う仮想光源の配置位置を、暫定的な配置位置とするか、暫定的な配置位置とは異なる配置位置に変更するかを制御する制御手段と、を有することを特徴とする。

【発明の効果】

【0007】

このような構成により本発明によれば、リライティング処理によって好適な照明効果が実現される仮想光源の配置を行うことが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態及び変形例に係るデジタルカメラ１００の機能構成を示したブロック図

【図2】本発明の実施形態及び変形例に係る画像処理部１０６のモジュール構成を示したブロック図

【図3】本発明の実施形態１に係る画像処理部１０６により実現される生成処理を例示したフローチャート

【図4】本発明の実施形態及び変形例の生成処理に係る、仮想光源の配置位置の設定を説明するための図

【図5】本発明の実施形態及び変形例の生成処理に係る、仮想光源の配置位置の設定を説明するための別の図

【図6】本発明の実施形態及び変形例の生成処理に係る、仮想光源の配置位置の設定を説明するためのさらに別の図

【図7】本発明の実施形態２に係る画像処理部１０６により実現される生成処理を例示したフローチャート

【発明を実施するための形態】

【0009】

［実施形態１］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

以下に説明する一実施形態は、撮像装置の一例としての、撮像画像に対してリライティング処理を適用可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像画像に対して行われるリライティング処理について、仮想光源の条件を設定することが可能な任意の機器に適用可能である。

【0011】

《デジタルカメラ１００の構成》
図１は、本実施形態に係るデジタルカメラ１００の機能構成を示したブロック図である。

【0012】

制御部１０１は、例えばマイクロコンピュータやＣＰＵ等の演算装置であり、デジタルカメラ１００が有する各ブロックの動作を制御する。より詳しくは、制御部１０１は、記録媒体１０２に記録されている各ブロックの動作プログラムを読み出し、メモリ１０３に展開して実行することで、各ブロックの動作を制御する。

【0013】

記録媒体１０２は、例えば不揮発性メモリ等の、データの恒久的な保持及び書き換えが可能に構成された記録装置である。記録媒体１０２は、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記録する。また記録媒体１０２は、撮像画像及び該撮像画像に対応付けられた関連データ、画像処理が適用されることで生成された画像データを記録する、メモリカード等のデジタルカメラ１００から着脱可能な記録装置を含むものであってもよい。

【0014】

一方、メモリ１０３は、例えば揮発性メモリ等の、データの一時的な記憶が可能に構成された記録装置であり、デジタルカメラ１００が有する各ブロックの動作の制御プログラムの展開領域として機能する。またメモリ１０３は、各ブロックの動作により出力された中間データの一時的な記憶領域としても用いられる。本実施形態では、制御部１０１と後述の画像処理部１０６が、メモリ１０３をワークメモリとして使用するものとする。

【0015】

撮像部１０４は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子である。撮像部１０４は、不図示の撮像光学系により撮像素子の撮像面に結像された光学像を光電変換してアナログ画像信号を得る。また撮像部１０４は、得られたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、デジタル画像データ（以下、単に撮像画像として言及）を出力する。

【0016】

構成部１０５は、撮像部１０４により撮像が行われた撮像範囲に含まれる被写体について、デジタルカメラ１００との距離（撮像方向における距離）の分布を示した距離マップを構成する。距離マップは、例えば撮像画像と同様の画素構造を有する二次元情報であり、各画素に、撮像画像の対応画素の被写体までの距離の情報が格納された情報であってよい。構成部１０５は、例えばデジタルカメラ１００に設けられた外界センサの出力に基づいて、撮像画像に対応する距離マップを構成してもよいし、視差を有する関係にある複数の撮像画像についてステレオマッチングを行うことで距離マップを構成してもよい。あるいは、構成部１０５は、その他の手法により撮像時の被写体の距離分布を取得し、距離マップを構成するものであってもよい。構成部１０５により構成された距離マップは、該当の撮像画像に対応付けられて、記録媒体１０２に記録されるものとする。

【0017】

距離マップは、該距離マップが対応付けられた撮像画像に対するリライティング処理において、少なくとも処理対象の被写体（以下、対象被写体として言及）の３次元形状を把握するために参照される。なお、本実施形態では、対象被写体の３次元形状の把握が距離マップに基づいて行われるものとして説明するが、本発明の実施はこれに限られるものではなく、他の情報に基づいて行われるものであってもよいことは言うまでもない。

【0018】

画像処理部１０６は、撮像画像に対してリライティング処理を含む種々の画像処理を適用する。より詳しくは、画像処理部１０６は、メモリ１０３に展開された撮像画像に対して画像処理を適用し、処理後の画像データを記録媒体１０２に書き出して記録する。画像処理部１０６により行われる画像処理は、例えば、ホワイトバランス調整、色補間、縮小／拡大等の撮像画像の記録時に行われる処理を始め、その他の処理を含むものであってよい。

【0019】

表示制御部１０７は、表示部１１０を介した情報提示を制御する。表示部１１０は、例えばＬＣＤ等の表示装置であり、デジタルカメラ１００の使用時に係る種々の情報表示を行う。表示制御部１０７は、デジタルカメラ１００が撮像モードで動作している場合には、撮像部１０４により出力された撮像画像を表示（スルー表示）することで、デジタルビューファインダの機能を実現する。また表示制御部１０７は、デジタルカメラ１００が閲覧モードで動作している場合には、記録媒体１０２に記録されている撮像画像や、画像処理の適用によって得られた画像の表示を実現する。

【0020】

操作入力部１０８は、例えばレリーズスイッチ、設定ボタン、モード設定ダイアル等のユーザインタフェースを含み、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号をシステム制御部１０１に出力する。また表示部１１０がタッチパネルセンサを備える態様においては、操作入力部１０８は、表示部１１０に対してなされたタッチ操作を検出するインタフェースとしても機能する。

【0021】

本実施形態ではハードウェアとしてデジタルカメラ１００が有する各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。即ち、本発明は、本実施形態で例示するような撮像装置に組み込まれた回路（画像処理部１０６）により実現される態様に限らず、汎用ＰＣ等の情報処理装置において、対応するアプリケーションプログラムが実行されることで実現される態様も含む。

【0022】

《リライティング処理に係る機能構成》
続いて、本実施形態の画像処理部１０６により実現されるリライティング処理に係る機能構成について説明する。

【0023】

本実施形態に係るリライティング処理は、基本的には、対象被写体の正面を基準とする一定の相対位置に配置された仮想光源に基づいた、固定的な照明効果を付すことができる機能である。即ち、画像処理部１０６の該当機能は、撮像画像について対象被写体の位置及び向きが定まれば、仮想空間内の一定の位置に仮想光源を配置してリライティング処理を適用できる。換言すれば、該機能は、適用対象として選択された複数の撮像画像のそれぞれについて個別の仮想光源の設定を要さず、例えば、うち１つの撮像画像について設定された仮想光源の相対的な位置関係等を承継して設定することができる。

【0024】

一方で、このような設定方法では、対象被写体の向きによっては仮想光源により照明される面が撮像画像に表れていない、または、表れていたとしても小さい等、好適な照明効果が付与された出力画像を得られない可能性がある。従って、本実施形態の画像処理部１０６では、予め定められた相対位置関係に基づいて仮想光源の配置位置を設定した場合のリライティング処理の有効性を判定し、該判定結果に基づき、必要に応じて仮想光源の配置位置の変更（再設定）を行う。

【0025】

なお、以下の説明では、リライティング処理に係り、対象被写体の形状を示すモデル（もしくはポイントクラウド）と仮想光源とを仮想的に配置する３次元空間について、対象被写体を原点とする２種類の直交座標系が定義されるものとする。

【0026】

１つの直交座標系は、撮像時の対象被写体とデジタルカメラ１００との位置関係を基準に定められるものであり、本明細書において「絶対座標系」として言及される。絶対座標系は、対象被写体とデジタルカメラ１００とを結ぶ軸をｚ軸とし、対象被写体の位置の該ｚ軸に直交する平面において、現実世界（撮像環境）の鉛直方向に対応する軸をｙ軸、ｙ軸と直交する軸をｘ軸として構成される。ここで、現実世界の鉛直方向に対応する軸は、鉛直方向を示すベクトルをｚ軸に直交する平面に射影して形成される、該直交点を通る軸である。そして、ｚ軸は対象被写体からデジタルカメラ１００に向かう方向を、ｙ軸は鉛直上向き方向を、ｘ軸は撮像方向から見て右方向を、それぞれ正とする所謂右手系に構成されているものとする。また絶対座標系のｚ軸の正の方向は、一つの側面では対象被写体から見たデジタルカメラ１００の方向を指しており、以下、対象被写体の被撮像方向としても言及する。

【0027】

もう１つの直交座標系は、対象被写体の向き（姿勢）を基準に定められるものであり、本明細書において「相対座標系」として言及される。相対座標系は、対象被写体の正面方向に向かう軸をｚ軸とし、対象被写体の位置の該ｚ軸に直交する平面において、対象被写体について定義された上方向に対応する軸をｙ軸、ｙ軸と直交する軸をｘ軸として構成される。そして、ｚ軸は正面方向を、ｙ軸は上向き方向を、ｘ軸は対象被写体の正面から見て右方向を、それぞれ正とする右手系に構成されているものとする。

【0028】

また、両座標系において任意の方向は軸周りの回転角で規定されるものとし、ｘ軸周りの回転角はｘ軸の正の方向に見て反時計回りを正の回転方向とし、ｙ軸周りの回転角はｙ軸の正の方向に見て時計回りを正の回転方向とする符号を付して表される。本実施形態では絶対座標系における対象被写体からデジタルカメラ１００に向かう方向、及び相対座標系における対象被写体の正面方向をｚ軸とするため、ｘ軸周りの回転がピッチ角（以下、仰俯角）を示し、ｙ軸周りの回転がヨー角度（以下、方位角）を示す。

【0029】

図２は、本実施形態のリライティング処理について、画像処理部１０６が実現するモジュール構成を示したブロック図である。図２は、リライティング処理の実行により実現される機能を便宜的にモジュールに分離して示したものであり、画像処理部１０６の回路構成において、これらのモジュールが個別のマイクロチップやプロセッサに分離されることを限定するものではない。

【0030】

読込モジュール２０１は、リライティング処理の適用対象である撮像画像、及び該撮像画像に対応付けられた距離マップを記録媒体１０２から読み込む。読込モジュール２０１は、読み込んだ情報を作業用メモリ２０８に展開する。上述したように、本実施形態のリライティング処理の適用対象は複数の撮像画像であってよく、読込モジュール２０１は適用対象の全ての撮像画像について処理が完了するまで、順に該当の撮像画像を読み込む動作を行う。

【0031】

また読込モジュール２０１は、適用対象の一連の撮像画像群について暫定的に設定される仮想光源の配置位置の特定に用いられる情報である相対関係情報を取得し、作業用メモリ２０８に展開する。本実施形態では相対関係情報は、暫定的に設定される仮想光源について、対象被写体との距離、及び対象被写体の正面方向に対する角度（相対座標系における方位角及び仰俯角）の情報を含んで構成されているものとして説明する。換言すれば、本実施形態の相対関係情報は、相対座標系における仮想光源の配置位置の極座標表現（動径及び２種類の偏角）を含んで構成される。相対関係情報は、例えばリライティング処理の実行に先立ってユーザによりなされた数値入力等に基づいて構成されるものであってもよいし、プリセットの照明条件のうちの選択操作がなされた照明条件に基づいて構成されるものであってもよい。なお、暫定的に設定される仮想光源とは、撮像画像のそれぞれに適用するリライティング処理についての初期設定の仮想光源であり、後述の判定モジュール２０４の判定結果によってはそのまま処理に採用される。

【0032】

検出モジュール２０２は、作業用メモリ２０８に展開された適用対象の撮像画像に含まれる対象被写体の像を検出する。対象被写体の像の検出は、画像解析によって特定パターンを抽出することにより行われるものであってもよいし、該撮像画像の撮像時に行われた検出結果が存在する場合には、該検出結果を参照して行われるものであってもよい。あるいは、ユーザにより対象被写体の選択に係る操作入力がなされた場合には、該選択内容に基づいて、検出モジュール２０２は対象被写体の像を特定すればよい。以下では、検出モジュール２０２は、人物の顔を対象被写体として検出するものとして説明するが、本発明の実施はこれに限られるものではなく、その他の種類の被写体を対象被写体としてもよいことは容易に理解されよう。

【0033】

また検出モジュール２０２は、検出した対象被写体について、該対象被写体の向き（対象被写体（人物の顔）の正面方向）を導出する。ここで、対象被写体の向きは、絶対座標系を基準に定められるものであり、対象被写体の正面方向を示すベクトルの、ｘｚ平面への射影ベクトルとｚ軸がなす角度（方位角）と、ｙｚ平面への射影ベクトルとｚ軸がなす角度（仰俯角）で表現されるものとする。即ち、対象被写体がデジタルカメラ１００と正対している状態で撮像された場合（被撮像方向が対象被写体の正面方向と一致する場合）には、方位角０度、仰俯角０度となる。また、それ以外の状態で撮像された場合には、それぞれｚ軸からのずれ角に符号が付された状態で表現される。対象被写体の向きは、例えば適用対象の撮像画像の画像解析や、撮像画像に対応付けられた距離マップに基づいて得られる法線情報を参照して導出されるものであってよい。

【0034】

設定モジュール２０３は、対象被写体のリライティング処理に用いられる仮想光源について、各種パラメータの設定を行う。仮想光源のパラメータは、仮想光源の配置位置に加え、仮想光源の種類、色温度、強度等を含むものであってよい。以下の説明では、本実施形態に係る仮想光源の有効性の判定の説明を簡潔にするため、仮想光源は全方向を照射する点光源として説明する。設定モジュール２０３は、検出モジュール２０２により導出された該対象被写体の向きの情報と相対関係情報とに基づいて、１体の対象被写体に対する暫定的な仮想光源の配置位置（初期設定位置）を絶対座標系の座標値として導出する。

【0035】

判定モジュール２０４は、行われるリライティング処理について、その有効性を判定する。本実施形態では、判定モジュール２０４の判定の対象となるリライティング処理は、初期設定位置に仮想光源を配置して行われるリライティング処理である。判定モジュール２０４は、得られた判定結果の情報を変更モジュール２０５に出力する。

【0036】

変更モジュール２０５は、入力された判定結果に応じて、設定モジュール２０３に仮想光源の設定を変更させるか否かの制御を行う。より詳しくは、変更モジュール２０５は、初期設定位置に仮想光源を配置して行われるリライティング処理の有効性が所定の基準を満たさないと判定された場合には、仮想光源の配置位置の再設定を設定モジュール２０３に行わせる。反対に、変更モジュール２０５は、該リライティング処理の有効性が所定の基準を満たすと判定された場合には、初期設定位置を仮想光源の最終的な配置位置として決定させる。

【0037】

リライティングモジュール２０６は、設定モジュール２０３により設定された仮想光源の設定にてリライティング処理を実行することで、適用対象の撮像画像に含まれる対象被写体の像に照明効果を付す。リライティングモジュール２０６で適用されるリライティング処理は、対象被写体の像が表れる領域の各画素について、仮想光源によって照明効果が付与された後の画素値を導出して置き換えることにより行われるものであってよい。ここで、本実施形態のリライティング処理は、対象被写体の暗部の明るさを引き上げることを目的とするものであり、仮想光源により照射された光は対象被写体の表面において拡散反射（全方向に均一に反射）する照明効果を実現するものとする。この場合、任意の画素に対する照明効果は、対象被写体の形状を展開した３次元空間における、該画素に対応する面の法線と仮想光源から該面に向かうベクトルとがなす角θの余弦（内積）に比例し、仮想光源と該面までの距離Ｄの２乗に反比例して表れる。従って、例えば処理対象の画素が画素値（Ｒin, Ｇin, Ｂin）である場合、適用後の画素値（Ｒout, Ｇout, Ｂout）は

で表せる。ここで、Ａはｃｏｓθに応じて変化する係数、（Ｒv, Ｇv, Ｂv）は仮想光源について定義された光源反射色、Ｍは適用後の画素値を正規化するための正規化係数である。しかしながら、本発明の実施に際してリライティング処理の演算式はこれに限られるものではなく、他の演算式を用いて導出されるものであってよい。

【0038】

書出モジュール２０７は、リライティングモジュール２０６によるリライティング処理が適用されて得られた画像（結果画像）を、記録媒体１０２に書き出して記録させる。結果画像の書き出しに際し、書出モジュール２０７は、適用されたリライティング処理における仮想光源の設定の情報を記録後に参照可能なよう、結果画像に対応付けてもよい。

【0039】

《生成処理》
以下、このようなモジュール構成をもつ本実施形態の画像処理部１０６で実現される、特定の被写体に対してリライティング処理を適用した結果画像を生成する生成処理の内容について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出してメモリ１０３に展開して実行することにより、画像処理部１０６に行わせることができる。本生成処理は、例えば適用対象として複数の撮像画像が選択され、該複数の撮像画像について仮想光源の初期設定位置の情報の入力により相対関係情報が構成された際に開始されるものとして説明する。即ち、本フローチャートに係る生成処理の実行に先立って、相対関係情報は作業用メモリ２０８に格納されている。

【0040】

Ｓ３０１で、読込モジュール２０１は、適用対象の複数の撮像画像のうちのリライティング処理を未適用の撮像画像を特定し、処理対象の撮像画像（対象画像）として読み込んで作業用メモリ２０８に展開する。

【0041】

Ｓ３０２で、検出モジュール２０２は、対象画像について対象被写体の像を検出する。本実施形態では発明の理解を容易ならしめるべく、各撮像画像には１体の対象被写体の像のみが表れているものとして説明するが、本発明の実施はこれに限られるものではない。複数体の対象被写体の像が表れている場合には、例えば、対象画像中を占める画素数が最も多い像のものを対象被写体の像としてもよいし、いずれの対象被写体にリライティング処理を適用するかの選択をユーザに要求してもよい。あるいは、対象被写体が人物である場合には、人物の認識を行い、予め選択された人物に該当する像のみを検出するものとしてもよい。

【0042】

また、本ステップにおいて検出モジュール２０２は、検出した対象被写体の向きを導出する。上述したように、対象被写体の向きの導出には、対象画像に対応付けられた距離マップの情報が参照されてもよい。

【0043】

Ｓ３０３で、設定モジュール２０３は、仮想光源の初期設定を行う。当該初期設定は、仮想光源の配置位置を初期設定位置に仮設定することを含み、設定モジュール２０３は、相対関係情報に基づいて仮想光源の絶対座標系の座標値を導出する。ここで、相対関係情報において、対象被写体の正面方向に対して方位角α、仰俯角β、距離Ｄの位置から照明することが規定される場合、初期設定位置の相対座標系の座標値（light_x, light_y, light_z）は、

となる。そして設定モジュール２０３は、Ｓ３０２において検出された対象被写体の向きに基づく回転行列を用いて相対座標系から絶対座標系への座標変換を行い、仮想光源の絶対座標系の座標値を得る。

【0044】

Ｓ３０４で、判定モジュール２０４は、Ｓ３０３において設定された仮想光源によるリライティング処理について有効性を判定する。本実施形態では、有効性の判定に係る演算を簡略化すべく、判定モジュール２０４は、初期設定位置がいずれの位置にあるかに基づいて、行われるリライティング処理の有効性が所定の基準を満たすか否かを判定する。より詳しくは、判定モジュール２０４は、仮想光源の初期設定位置が絶対座標系において対象被写体とどのような配置関係となるかに基づいて、該初期設定位置の仮想光源に基づくリライティング処理の有効性の判定を行う。

【0045】

ここで、仮想光源が対象被写体よりも手前（デジタルカメラ１００側）に配置される場合には、仮想光源から照射された光は、結果画像に表れる対象被写体の面（前面）で主に反射されることになる。故に、結果画像に表れる、照明効果が付与される（明るさ補正がなされる）画素の数という観点では、該仮想光源について行われるリライティング処理は有効性が高いと言える。一方で、仮想光源がデジタルカメラ１００から見て対象被写体よりも遠離した位置に配置される場合には、仮想光源から照射された光は、結果画像に表れない対象被写体の面（背面）で主に反射されることになる。故に、該仮想光源について行われるリライティング処理は有効性が高いとは言い難い。従って、本実施形態の判定モジュール２０４は、仮想光源が対象被写体よりも奥、即ち、初期設定位置の絶対座標系におけるｚ座標が負の値であるか否かにより有効性の判定を行うものとする。より詳しくは、判定モジュール２０４は、初期設定位置の絶対座標系におけるｚ座標が負の値である場合には、行われるリライティング処理の有効性が所定の基準を満たさないと判定し、０以上である場合には所定の基準を満たすと判定する。

【0046】

本判定の具体例として、対象被写体である人物の顔に対して、方位角－６０度の方向から照明することを相対関係情報が規定している態様について、図を参照して説明する。例えば、図４（ａ）に示されるように、対象被写体４００がデジタルカメラ１００に対して左方（＋４５度の方位）を向いた状態で対象画像が撮像された場合、絶対座標系のｘｚ空間では、図４（ｂ）のような状態で対象被写体と正面方向が規定される。そして、相対関係情報に基づいて定義される仮想光源の初期設定位置４０１は、図４（ｃ）に示されるように、同ｘｚ空間においてｚ軸に対して－１５度をなす位置となる。この場合、絶対座標系において初期設定位置は対象被写体よりも手前、即ち、対象被写体よりもデジタルカメラ１００寄りの位置となるため、判定モジュール２０４は、該仮想光源に係るリライティング処理の有効性が所定の基準を満たすと判定する。

【0047】

一方、例えば図５（ａ）に示されるように、対象被写体５００がデジタルカメラ１００に対して右方（－４５度の方位）を向いた状態で対象画像が撮像された場合、絶対座標系のｘｚ空間では、図５（ｂ）のような状態で対象被写体と正面方向が定義される。そして相対関係情報に基づいて定義される仮想光源の初期設定位置５０１は、図５（ｃ）に示されるように、同ｘｚ空間においてｚ軸に対して－１０５度をなす位置となる。この場合、絶対座標系において初期設定位置は対象被写体よりも奥、即ち、対象被写体よりもデジタルカメラ１００から遠離した位置となるため、判定モジュール２０４は、該仮想光源に係るリライティング処理の有効性が所定の基準を満たさないと判定する。

【0048】

なお、本実施形態では絶対座標系と相対座標系が共通の位置に原点を有するものとしているため、図４及び図５を用いて例示した態様では、単純に角度の加減のみに基づいて判定が可能であったが、本発明の実施はこのような態様に限定されるものではない。即ち、相対座標系の原点が絶対座標系と異なって規定される場合には、仮想光源と対象被写体との距離も考慮して、判定が行われることは言うまでもない。

【0049】

Ｓ３０５で、変更モジュール２０５は、Ｓ３０４においてなされた判定結果に基づいて、仮想光源の配置位置を変更するか否かを判断する。変更モジュール２０５は、初期設定位置に配置した仮想光源に係るリライティング処理の有効性が所定の基準を満たすとの判定結果であった場合には、仮想光源の配置位置を変更しないと判断して処理をＳ３０８に移す。即ち、この場合、設定モジュール２０３は、変更モジュール２０５からその旨の情報を受信し、リライティングモジュール２０６が行うリライティング処理について、仮想光源の配置位置を初期設定位置に決定（本設定）する。また変更モジュール２０５は、初期設定位置に配置した仮想光源に係るリライティング処理の有効性が所定の基準を満たさないとの判定結果であった場合には、仮想光源の配置位置を変更すると判断して処理をＳ３０６に移す。

【0050】

Ｓ３０６で、変更モジュール２０５は、対象被写体が面対称形状を有する被写体であるか否かを判断する。本実施形態では、人物の顔を対象被写体として検出するため、顔の正中線を通る面を対称面として、対象被写体は面対称形状を有しているものとして扱い、変更モジュール２０５は処理をＳ３０７に移す。なお、人物の顔以外の被写体を対象被写体とする態様においても、事前に形状の対称性が判明している被写体については、検出された被写体がいずれの種別に該当するかに基づいて本ステップの判断を行ってもよい。あるいは、距離マップに基づいて３次元形状を構成し、該３次元形状に基づいて対称性の有無の判断を行うものであってもよい。このとき、変更モジュール２０５は、対象被写体が面対称形状を有する被写体ではないと判断した場合は、設定モジュール２０３に仮想光源の配置位置を初期設定位置で決定させ、処理をＳ３０８に移す。

【0051】

Ｓ３０７で、変更モジュール２０５は、新たな仮想光源の配置位置を導出し、設定モジュール２０３に設定させる。本実施形態では、変更モジュール２０５は、対象被写体の形状に係る対称面を介して、初期設定位置と面対称になる位置を新たな仮想光源の配置位置として導出する。例えば、対象被写体と初期設定位置とが図５（ｃ）で示した態様にある場合、変更モジュール２０５は、図６（ａ）に示される対称関係の位置６０１を新たな仮想光源の配置位置として導出する。換言すれば、新たな仮想光源の配置位置は、相対座標系において、初期配置位置の３次元座標を導出する演算式において、方位角の正負を反転させて得られる座標になる。設定モジュール２０３は、変更モジュール２０５から変更指示とともに新たな仮想光源の配置位置の情報を受信すると、該情報に基づいて仮想光源の設定を更新し、配置位置を変更して本設定を完了する。

【0052】

Ｓ３０８で、リライティングモジュール２０６は、設定モジュール２０３により設定された仮想光源に基づいて対象被写体にリライティング処理を適用し、結果画像を生成する。本ステップで行われるリライティング処理は、Ｓ３０７において仮想光源の位置の再設定がなされている場合には変更後の仮想光源に基づいて行われ、なされていない場合にはＳ３０３において設定された仮想光源に基づいて行われる。

【0053】

Ｓ３０９で、書出モジュール２０７は、リライティングモジュール２０６により生成された結果画像を記録媒体１０２に書き出す。このとき、書出モジュール２０７は、生成に際して用いられた仮想光源の設定の情報を、該結果情報に関連付けて記録させる。

【0054】

Ｓ３１０で、読込モジュール２０１は、適用対象の複数の撮像画像に、リライティング処理を未適用の撮像画像が存在するか否かを判断する。読込モジュール２０１は、未適用の撮像画像が存在すると判断した場合は処理をＳ３０１に戻し、存在しないと判断した場合は本生成処理を完了する。

【0055】

以上説明したように、本実施形態の撮像装置によれば、リライティング処理において、好適な照明効果を実現するよう仮想光源を配置することができる。より詳しくは、対象被写体に対して一定の相対関係を示す位置に仮想光源を設定してリライティング処理を適用する態様において、有効性が所定の基準を満たさないと判定される場合に、適応的に光源位置を再設定してリライティング処理を実行できる。

【0056】

なお、本実施形態では、１つの対象画像に対して１体の対象被写体の像を特定してリライティング処理を行う態様について説明したが、複数体の対象被写体の像を検出し、その各々について仮想光源の設定・判定及びリライティング処理を行うものとしてもよい。

【0057】

［変形例１］
上述した実施形態１では、仮想光源の初期設定位置が、対象被写体とデジタルカメラ１００とを結ぶ軸を含む座標系において対象被写体よりも奥となる場合に、リライティング処理の有効性が所定の基準を満たされないと判定する態様について説明した。しかしながら、本発明の実施はこれに限られるものではなく、所定の基準を満たされるか否かの判定は、初期設定位置の深度値（絶対座標系におけるｚ座標の値）と、０ではない予め定められた閾値との比較によりなされるものであってもよい。即ち、初期設定位置の深度値が閾値を上回る場合は所定の基準が満たされると判定し、閾値を下回る場合は所定の基準が満たされないと判定するものとしてもよい。

【0058】

例えば、図５に例示した態様において、仮想光源と対象被写体との距離が１０であれば、初期設定位置の絶対座標（light_x’, light_y’, light_z’）は

となる。ここで、閾値がｚ＝－５に設定される態様では、変更モジュール２０５は設定モジュール２０３に配置位置の変更を行わせないため、リライティングモジュール２０６によるリライティング処理は初期設定位置に基づいて実行される。

【0059】

［変形例２］
上述した実施形態１及び変形例１では、リライティング処理の有効性が所定の基準を満たすか否かの判定を、初期設定位置のｚ座標に基づいて行うものとして説明したが、本発明の実施はこれに限られるものではない。有効性の判定は、絶対座標系における初期設定位置を示すベクトルの方位角に基づいて行われるものであってもよい。判定モジュール２０４は、－１８０度～＋１８０度の範囲で定められる方位角の絶対値が、例えば１２０度を上回る場合にリライティング処理の有効性が所定の基準を満たさないものとして判定してもよい。この場合、図５に例示した態様では、初期設定位置を示すベクトルの方位角は－１０５度であるため、判定モジュール２０４は、リライティング処理の有効性が所定の基準を満たすと判定する。なお、本変形例では方位角の絶対値について閾値を設ける態様について説明したが、予め定められた方位角の範囲について、所定の基準が満たされない、または所定の基準が満たされることを定める態様であってもよい。

【0060】

［変形例３］
上述した実施形態及び変形例では、リライティング処理の有効性が所定の基準を満たすか否かの判定を、相対関係情報により定まる仮想光源の初期設定位置の絶対座標を導出した上で行うものとして説明したが、本発明の実施はこれに限られるものではない。他の撮像画像に係るリライティング処理に用いられた仮想光源の設定に基づいて相対関係情報が構成され、これを用いて対象画像についての仮想光源の初期設定が行われる場合、両画像における対象被写体の向きに基づいて上記判定を行うものとしてもよい。

【0061】

例えば、前者の画像において対象被写体が図４（ａ）に示したようにデジタルカメラ１００の左方を向いており、後者の画像においては図５（ａ）に示したように右方を向いている態様を例に説明する。この場合、前者の画像の前面（デジタルカメラ１００に向いている面）を好適に照明するよう仮想光源が設定されたとすると、該照明される面が表れにくい後者の画像に、同様の相対関係の仮想光源を設定したとしても好適な結果画像が得られない可能性がある。故に、判定モジュール２０４は、例えば、前者の画像における対象被写体の方位角と後者の画像における対象被写体の方位角の正負が異なる場合に、リライティング処理の有効性が所定の基準を満たさないと判定するものとしてもよい。

【0062】

［実施形態２］
上述した実施形態及び変形例では、最終的な仮想光源の配置位置が決定した後にリライティング処理を実行して結果画像を記録する態様について説明したが、本発明の実施はこれに限られるものではない。例えば、仮想光源の配置位置の決定に際して、位置の異なる複数種類の仮想光源のそれぞれについてリライティング処理を適用して得られる画像（以下、試行画像として言及し、結果画像と峻別する）を生成し、最終的な仮想光源の配置位置を決定してもよい。

【0063】

《生成処理》
以下、本実施形態の画像処理部１０６で実現される、特定の被写体に対してリライティング処理を適用した結果画像を生成する生成処理の内容について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出してメモリ１０３に展開して実行することにより、画像処理部１０６に行わせることができる。本生成処理は、例えば適用対象として複数の撮像画像が選択され、該複数の撮像画像について仮想光源の初期設定位置の情報の入力により相対関係情報が構成された際に開始されるものとして説明する。

【0064】

なお、本実施形態の生成処理の説明において、実施形態１の生成処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下では、本実施形態固有の処理を行うステップについてのみ説明する。また実施形態１と同様に、検出モジュール２０２により検出される対象被写体は人物の顔であるものとし、顔の正中線を通る面を対称面とする面対称形状を有しているものとして説明する。

【0065】

Ｓ３０２において対象被写体の像の検出と対象被写体の向きの導出がなされると、設定モジュール２０３はＳ７０１で、２種類の仮想光源の配置位置を仮設定（本設定の比較候補として設定）する。ここで、本ステップにおいて設定される２種類の配置位置は、１種類は相対関係情報に基づく配置位置（初期設定位置）であり、もう１種類は対象被写体の対称面を介して初期設定位置と面対称になる配置位置（以下、候補位置として言及）である。

【0066】

Ｓ７０２で、リライティングモジュール２０６は、対象画像に対して、仮想光源を初期設定位置と候補位置のそれぞれに配置したリライティング処理を適用し、２種類の試行画像を生成する。

【0067】

Ｓ７０３で、判定モジュール２０４は、Ｓ７０２において生成された２種類の試行画像に基づいて、初期設定位置と候補位置のいずれに仮想光源を配置した方がリライティング処理の有効性が高いか否かを判定する。ここで、リライティング処理の有効性の高さは、例えば明るさの補正量（対象画像の画素値からの変化量）の総和により定量化されるものであってもよいし、補正量が閾値以上である画素の総数により定量化されるものであってもよい。即ち、本ステップにおいて判定モジュール２０４は、２種類の試行画像について、付与された照明効果を定量化して比較を行うことで、初期設定位置と候補位置のいずれに仮想光源を配置した方がリライティング処理の有効性が高いかを判定する。判定モジュール２０４は、初期設定位置に仮想光源を配置した方がリライティング処理の有効性が高いと判定した場合は処理をＳ７０４に移し、候補位置に仮想光源を配置した方がリライティング処理の有効性が高いと判定した場合は処理をＳ７０５に移す。

【0068】

なお、本実施形態では、照明効果の付与量を基準に有効性の判定を行うものとして説明するが、本発明の実施はこれに限られるものではない。例えば、試行画像における輝度変化の連続性等に基づいて、より自然な表現となる試行画像を有効性が高いものとして判定する等、その他の基準を採用するものであってもよい。

【0069】

Ｓ７０４で、書出モジュール２０７は、リライティングモジュール２０６により生成された試行画像のうちの、仮想光源を初期設定位置に配置したリライティング処理により得られた試行画像を、結果画像として記録媒体１０２に書き出す。このとき、書出モジュール２０７は、生成に際して用いられた仮想光源の設定の情報（配置位置が初期設定位置であることを含む）を、該結果情報に関連付けて記録させる。

【0070】

一方、Ｓ７０３において候補位置に仮想光源を配置した方がリライティング処理の有効性が高いと判定した場合は、書出モジュール２０７はＳ７０５で、候補位置に係るリライティング処理により得られた試行画像を、結果画像として記録媒体１０２に書き出す。このとき、書出モジュール２０７は、生成に際して用いられた仮想光源の設定の情報（配置位置が候補位置であることを含む）を、該結果情報に関連付けて記録させる。

【0071】

このようにすることで、試行画像ベースでリライティング処理の有効性を判定し、より好適な態様の結果画像を出力することができる。なお、本実施形態では、判定に先立って初期設定位置と候補位置のそれぞれについて、書き出し品質のリライティング処理を実行して２種類の試行画像を得た上で判定を行う態様について説明したが、本発明の実施はこれに限られるものではない。例えば、判定用には対象被写体の一部の領域に限定してリライティング処理を適用して得られた画像を用いる、あるいは、画像の生成をせずとも、画素値の演算結果（あるいは、正規化前の値）のみを用いて判定を行う等に変形が可能である。

【0072】

［変形例４］
上述した実施形態２では、２種類の仮想光源の配置位置のそれぞれについて照明効果を定量化することでリライティング処理の有効性を判定するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、初期設定位置の仮想光源についてのみ照明効果を定量化し、その値が所定の閾値に満たないのであれば、変更モジュール２０５が仮想光源の配置位置を変更するよう構成されていてもよい。即ち、仮想光源の変更後の配置位置についての照明効果の評価を行わずに、設定変更を行うものとしてもよい。

【0073】

［変形例５］
上述した実施形態及び変形例では、初期設定位置とは異なる仮想光源の配置位置を、対称面を介して初期設定位置と面対称となる位置に決定する態様について説明したが、本発明の実施はこれに限られるものではない。面対称となる位置に仮想光源を配置する場合、相対関係情報によっては対象被写体と仮想光源との位置関係が極端に変化し得るため、対象被写体の意図しない部位に照明効果が付された結果画像が出力される可能性もある。このため、初期設定位置とは異なる仮想光源の配置位置は、絶対座標系におけるｘ座標の正負は初期設定位置と同一になるように決定してもよい。例えば、仮想光源の初期設定位置が図５（ｃ）の５０１である場合は、図６（ｂ）に示されるように、対象被写体と仮想光源との距離は維持したまま、対象被写体の正面方向に対する方位角を変更することでｚ座標が０以上となるように決定してもよい。図６（ｂ）の例では、ｚ座標が０となるよう方位角を変更した位置６０２（方位角を＋１５度した位置：方位角が－９０度の位置）に配置位置が決定されている。あるいは、単純に初期設定位置の絶対座標のｚ座標値を０にすることで、簡易的に対象被写体よりも奥にならない位置に決定してもよい。

【0074】

［変形例６］
上述した実施形態及び変形例では、初期設定位置とは異なる仮想光源の配置位置を予め定められた手法で導出するものとして説明したが、本発明の実施はこれに限られるものではない。該異なる仮想光源の配置位置は、例えば対象被写体の形状や対象画像における陰影の分布等に基づいて、初期設定位置に配置する場合よりもリライティング処理の有効性が高くなると推定される配置位置を特定することで、決定されるものであってもよい。

【0075】

［変形例７］
ところで、相対関係情報に基づかない位置に仮想光源を配置した場合、該仮想光源により照射される対象被写体の方向が、対象画像の撮像時の環境光の方向と重複する可能性がある。本来、リライティング処理の適用によって暗部の明るさの引き上げが期待されるところ、既に環境光により照明されている対象被写体の部位に対してリライティング処理でさらに照明効果を付与した場合、結果画像はユーザが所望しない態様となり得る。故に、変更モジュール２０５は、仮想光源の配置位置を初期設定位置から変更する際に、対象画像について環境光の方向を取得し、変更後の仮想光源から対象被写体に向かう方向と環境光の方向の類似度が閾値を上回る場合には変更を行わないよう制御してもよい。

【0076】

［変形例８］
上述した実施形態及び変形例では、適用対象の複数の撮像画像について、まず共通の相対関係情報に基づいて仮想光源の配置位置（初期設定位置）を設定した上で、判定モジュール２０４の判定結果に応じて適応的に配置位置の変更を行う方式について説明した。当該方式は、例えば複数の静止画像に対して一括でリライティング処理を適用する態様において、設定操作を簡略化する観点で好適である。一方で、動画に対してリライティング処理を適用する、即ち、該動画を構成する一連のフレームの画像を適用対象とする態様では、フレーム間で仮想光源の設定が異なった場合に、鑑賞者に煩雑な印象を与えうる出力（動画）となり得る。あるいは、動画に限らず、同一の撮像シーンで撮像された複数の撮像画像に対して、仮想光源の配置位置を異ならせたリライティング処理を適用して結果画像を生成した場合、これらを一時に閲覧する際に鑑賞者に違和感を与えうる。

【0077】

このため、適用対象の複数の撮像画像のうちの、同一の撮像シーンを撮像している撮像画像については、共通の仮想光源の配置位置を設定する、即ち、対象被写体と仮想光源の相対関係を保持するよう制御が行われてもよい。例えば動画に対して生成処理を実行する場合、同一の撮像シーンで撮像されたフレーム区間については、該区間の先頭フレームの画像のリライティング処理に採用された仮想光源の設定を保持するよう、変更モジュール２０５の動作が制御されてもよい。

【0078】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0079】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0080】

１００：デジタルカメラ、１０１：制御部、１０２：記録媒体、１０３：メモリ、１０４：撮像部、１０６：画像処理部、２０１：読込モジュール、２０２：検出モジュール、２０３：設定モジュール、２０４：判定モジュール、２０５：変更モジュール、２０６：リライティングモジュール、２０７：書出モジュール、２０８：作業用メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】