知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-18
(45)【発行日】2024-01-26
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20240119BHJP
G06T 7/00 20170101ALI20240119BHJP
【ＦＩ】
G06T1/00 340A
G06T7/00 660A
【請求項の数】
20
(21)【出願番号】P 2019184741
(22)【出願日】2019-10-07
(65)【公開番号】P2020126582
(43)【公開日】2020-08-20
【審査請求日】2022-09-30
(31)【優先権主張番号】P 2019020147
(32)【優先日】2019-02-06
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】中田 有一
【審査官】鈴木 肇
(56)【参考文献】
【文献】特開２０１８－０１０４９７（ＪＰ，Ａ）
【文献】特開２０１７－２０４６７３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０３３０４３４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／００８４０６８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ５／５０
Ｇ０６Ｔ ７／００ － ７／９０
Ｈ０４Ｎ ５／２２２－ ５／２５７
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０ －２３／７６
Ｈ０４Ｎ ２３／９０ －２３／９５９
Ｇ０１Ｂ １１／００ －１１／３０
(57)【特許請求の範囲】
【請求項1】
画像を表す画像データを取得する第１取得手段と、前記画像データに対応する距離情報を取得する第２取得手段と、
前記画像に前記距離情報に応じたライティング効果を付与する際に前記画像に付与可能なライティング効果の候補を、前記距離情報の精度に基づいて決定する決定手段と、
を有することを特徴とする情報処理装置。
【請求項2】
前記距離情報の精度を判定する判定手段をさらに有し、前記決定手段は、前記判定手段による判定の結果に基づいて、前記画像に付与可能なライティング効果の候補を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記判定手段は、前記距離情報に基づいて、前記距離情報の精度を判定することを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記判定手段は、前記画像における被写体に対応する領域について、前記距離情報の精度を判定することを特徴とする請求項３に記載の情報処理装置。
【請求項5】
前記判定手段は、前記画像から前記被写体の顔の凹凸が特定できるか否かに応じて、前記距離情報の精度を判定することを特徴とする請求項４に記載の情報処理装置。
【請求項6】
前記判定手段は、前記距離情報を取得するために用いる撮像手段に関する情報に基づいて、前記距離情報の精度を判定することを特徴とする請求項２に記載の情報処理装置。
【請求項7】
前記判定手段は、前記距離情報を取得するための撮像手段が距離情報を取得する機能を有するか否かに基づいて、前記距離情報の精度を判定することを特徴とする請求項６に記載の情報処理装置。
【請求項8】
前記機能は、被写体に光を投影することにより距離情報を取得する機能であることを特徴とする請求項７に記載の情報処理装置。
【請求項9】
前記判定手段は、前記画像データを得るための撮像におけるフォーカスの位置に基づいて、前記距離情報の精度を判定することを特徴とする請求項２に記載の情報処理装置。
【請求項10】
前記判定手段は、前記画像データを得るために撮像されたシーンに基づいて、前記距離情報の精度を判定することを特徴とする請求項２に記載の情報処理装置。
【請求項11】
前記判定手段は、前記シーンに人物が含まれるか否かに基づいて、前記距離情報の精度を判定することを特徴とする請求項１０に記載の情報処理装置。
【請求項12】
前記判定手段は、前記シーンに動いている被写体の一時的な状態が含まれているか否かに基づいて、前記距離情報の精度を判定することを特徴とする請求項１０又は請求項１１に記載の情報処理装置。
【請求項13】
前記判定手段は、前記画像に含まれる人物に対応する情報に基づいて、前記距離情報の精度を判定することを特徴とする請求項２に記載の情報処理装置。
【請求項14】
人物を特定する人物情報を取得する第３取得手段をさらに有し、前記判定手段は、前記画像から人物の顔に対応する領域を抽出し、抽出した前記領域における前記顔と、前記人物情報が特定する人物の顔と、の類似度に基づいて、前記距離情報の精度を判定することを特徴とする請求項１３に記載の情報処理装置。
【請求項15】
前記画像に付与可能なライティング効果の候補を提示する提示手段を制御する制御手段をさらに有し、前記制御手段は、前記画像に付与可能なライティング効果を表すアイコンを表示手段に表示することを特徴とする請求項１乃至請求項１４のいずれか一項に記載の情報処理装置。
【請求項16】
前記制御手段は、前記ライティング効果が付与された前記画像に、前記アイコンを重畳して前記表示手段に表示することを特徴とする請求項１５に記載の情報処理装置。
【請求項17】
前記画像に付与可能なライティング効果の候補を提示する提示手段を制御する制御手段をさらに有し、前記制御手段は、前記画像に付与可能なライティング効果の候補を、表示手段においてライティング効果を調整可能な範囲を示すことにより提示することを特徴とする請求項１乃至請求項１４のいずれか一項に記載の情報処理装置。
【請求項18】
前記制御手段は、前記ライティング効果を調整可能な範囲を、ユーザのタッチが検出されることにより移動するスライダーを前記表示手段に表示することにより提示することを特徴とする請求項１７に記載の情報処理装置。
【請求項19】
コンピュータを請求項１乃至請求項１８のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項20】
画像を表す画像データを取得する第１取得ステップと、前記画像データに対応する距離情報を取得する第２取得ステップと、
前記画像に前記距離情報に応じたライティング効果を付与する際に前記画像に付与可能なライティング効果の候補を、前記距離情報の精度に基づいて決定する決定ステップと、を有することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想光源に応じた効果を画像に付与する情報処理技術に関する。
【背景技術】
【0002】
従来、画像内の物体に対して仮想光源から光が照射されたような効果（以下、ライティング効果と呼ぶ）を付与する画像処理技術が知られている。特許文献１は、被写体の三次元情報に基づいてライティング効果を画像に付与する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－１１７０２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１においては、被写体の距離情報の精度によっては所望のライティング効果を画像に付与することができない場合がある。
【0005】
本発明は上記課題を鑑みてなされたものであり、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定するための情報処理を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明に係る情報処理装置は、画像を表す画像データを取得する第１取得手段と、前記画像データに対応する距離情報を取得する第２取得手段と、前記画像に前記距離情報に応じたライティング効果を付与する際に前記画像に付与可能なライティング効果の候補を、前記距離情報の精度に基づいて決定する決定手段と、を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
【図面の簡単な説明】
【0008】
【図1】情報処理装置のハードウェア構成を示す図
【図2】情報処理装置の外観を示す図
【図3】情報処理装置の論理構成を示す図
【図4】情報処理装置が実行する処理を示すフローチャート
【図5】ライティング効果リストを設定する処理を示すフローチャート
【図6】距離情報の精度を判定する処理の概要を示す図
【図7】ライティング効果リストに加えるライティング効果の例を示す図
【図8】画像にライティング効果を付与する処理を示すフローチャート
【図9】顔距離画像データ及び法線画像データの例を示す図
【図10】ライティング効果を示すアイコンの例を示す図
【図11】画像にライティング効果を付与する際の表示画像の例を示す図
【図12】画像にライティング効果を付与する際の表示画像の例を示す図
【図13】ライティング効果リストを設定する処理を示すフローチャート
【図14】ライティング効果リストを設定する処理を示すフローチャート
【図15】ライティング効果リストを設定する処理を示すフローチャート
【図16】人物情報の例を示す図
【図17】ライティング効果リストを設定する処理を示すフローチャート
【図18】情報処理装置が実行する処理を示すフローチャート
【図19】画像にライティング効果を付与する際の表示画像の例を示す図
【図20】情報処理装置の論理構成を示す図
【図21】情報処理装置が実行する処理を示すフローチャート
【図22】調整可能パラメータを設定する処理を示すフローチャート
【図23】調整可能パラメータの設定例を示す図
【図24】画像にライティング効果を付与する処理を示すフローチャート
【図25】画像にライティング効果を付与する際の表示画像の例を示す図
【図26】情報処理装置が実行する処理を示すフローチャート
【図27】画像にライティング効果を付与する際の表示画像の例を示す図
【図28】ライティング効果リストを設定する処理を示すフローチャート
【図29】画像にライティング効果を付与する際の表示画像の例を示す図
【発明を実施するための形態】
【0009】
以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【0010】
［第１実施形態］
＜距離情報に応じた画像へのライティング効果付与＞
被写体の距離情報に応じて画像にライティング効果を付与する際に、近くの被写体ほど明るく照らすようなライティング効果を付与するためには、距離情報が、被写体と背景との前後関係が判別できる程度の精度を有している必要がある。また、被写体に対して任意の角度から光源からの光が当たっているように見せるライティング効果を付与するためには、距離情報が、被写体の顔の凹凸が判別できる程度の精度を有している必要がある。このように、ライティング効果によって距離情報に求められる精度がある。しかし、距離情報が所望のライティング効果を付与するのに十分な精度ではない場合には、所望のライティング効果が得られない場合があった。そこで、本実施形態においては、ライティング効果を画像に付与する際に用いる距離情報の精度に応じて、画像に付与するのに適したライティング効果の候補をユーザに提示する。これにより、ユーザは、画像に対応して取得した距離情報に適したライティング効果を選択することができる。その結果、本実施形態においては、距離情報の精度に応じて付与可能なライティング効果とユーザが意図するライティング効果とが一致しないことによって、ユーザが意図していないライティング効果が画像に付与されることを抑制することができる。
＜距離情報に応じた画像へのライティング効果付与＞
被写体の距離情報に応じて画像にライティング効果を付与する際に、近くの被写体ほど明るく照らすようなライティング効果を付与するためには、距離情報が、被写体と背景との前後関係が判別できる程度の精度を有している必要がある。また、被写体に対して任意の角度から光源からの光が当たっているように見せるライティング効果を付与するためには、距離情報が、被写体の顔の凹凸が判別できる程度の精度を有している必要がある。このように、ライティング効果によって距離情報に求められる精度がある。しかし、距離情報が所望のライティング効果を付与するのに十分な精度ではない場合には、所望のライティング効果が得られない場合があった。そこで、本実施形態においては、ライティング効果を画像に付与する際に用いる距離情報の精度に応じて、画像に付与するのに適したライティング効果の候補をユーザに提示する。これにより、ユーザは、画像に対応して取得した距離情報に適したライティング効果を選択することができる。その結果、本実施形態においては、距離情報の精度に応じて付与可能なライティング効果とユーザが意図するライティング効果とが一致しないことによって、ユーザが意図していないライティング効果が画像に付与されることを抑制することができる。
【0011】
＜情報処理装置１のハードウェア構成＞
図１（ａ）は、情報処理装置１のハードウェア構成の一例を示す図である。情報処理装置１は、スマートフォンやタブレットＰＣ（パーソナルコンピュータ）等の通信機能及び撮像機能を備えた機器により実現される。情報処理装置１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、入出力インタフェース（Ｉ／Ｆ）１０４と、タッチパネルディスプレイ１０５と、撮像部１０６と、通信Ｉ／Ｆ１０７と、を有する。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、記憶装置１１０などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２や記憶装置１１０などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。入出力Ｉ／Ｆ１０４には、シリアルバス１０９を介して、記憶装置１１０が接続される。記憶装置１１０は、ＨＤＤ（ハードディスクドライブ）である。タッチパネルディスプレイ１０５は、画像の表示を行うディスプレイと、指などの指示体によるタッチの位置を検出するタッチパネルと、が一体となった入出力部である。撮像部１０６は、撮像対象の画像を取得する撮像部である。
図１（ａ）は、情報処理装置１のハードウェア構成の一例を示す図である。情報処理装置１は、スマートフォンやタブレットＰＣ（パーソナルコンピュータ）等の通信機能及び撮像機能を備えた機器により実現される。情報処理装置１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、入出力インタフェース（Ｉ／Ｆ）１０４と、タッチパネルディスプレイ１０５と、撮像部１０６と、通信Ｉ／Ｆ１０７と、を有する。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、記憶装置１１０などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２や記憶装置１１０などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。入出力Ｉ／Ｆ１０４には、シリアルバス１０９を介して、記憶装置１１０が接続される。記憶装置１１０は、ＨＤＤ（ハードディスクドライブ）である。タッチパネルディスプレイ１０５は、画像の表示を行うディスプレイと、指などの指示体によるタッチの位置を検出するタッチパネルと、が一体となった入出力部である。撮像部１０６は、撮像対象の画像を取得する撮像部である。
【0012】
図２に本実施形態における情報処理装置１の外観の一例を示す。図２（ａ）に、情報処理装置１のタッチパネルディスプレイ１０５を有する面（以下、ディスプレイ面と呼ぶ）を示し、図２（ｂ）に、情報処理装置１のディスプレイ面と反対の面（以下、背面と呼ぶ）を示す。本実施形態における撮像部１０６は、情報処理装置１の背面に備えられるメインカメラ２０２及び情報処理装置１のディスプレイ面に備えられるインカメラ２０１である。インカメラ２０１は、ディスプレイ（表示画面）を閲覧しようとするユーザの顔を撮像可能な位置及び方向に設置されている。通信Ｉ／Ｆ１０７は、他の情報処理装置や通信機器、記憶装置等との間で、有線又は無線による双方向の通信を行う。本実施形態における通信Ｉ／Ｆ１０７は、無線ＬＡＮ（ローカルエリアネットワーク）を介して通信相手とのデータの送受信が可能である。また、通信Ｉ／Ｆ１０７は、他の通信機器との間では、直接の通信以外に、中継装置を介した間接的な通信も可能である。
【0013】
＜情報処理装置１の論理構成＞
情報処理装置１の論理構成例を説明する。図３は、本実施形態における情報処理装置１の論理構成を示すブロック図である。情報処理装置１は、ＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３をワークメモリとして実行することによって、図３に示す論理構成として機能する。尚、以下に示す処理の全てが必ずしもＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように情報処理装置１が構成されていてもよい。
情報処理装置１の論理構成例を説明する。図３は、本実施形態における情報処理装置１の論理構成を示すブロック図である。情報処理装置１は、ＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３をワークメモリとして実行することによって、図３に示す論理構成として機能する。尚、以下に示す処理の全てが必ずしもＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように情報処理装置１が構成されていてもよい。
【0014】
情報処理装置１は、画像データ取得部３０１と、ライティング効果リスト決定部３０２と、ライティング効果選択部３０３と、ライティング処理部３０４と、画像表示制御部３０５と、ライティング効果表示制御部３０６と、を有する。画像データ取得部３０１は、入出力部３０９から取得したユーザからの指示に基づいて、撮像部３０８又は記憶部３０７から画像データを取得する。画像データ取得部３０１が取得する画像データは、ライティング効果を付与する対象のカラー画像を表すカラー画像データと、カラー画像に対応する距離情報を有する距離画像データと、の２種類の画像データである。ここで、記憶部３０７の機能は、例えば、記憶装置１１０により実現され、撮像部３０８の機能は撮像部１０６により実現され、入出力部３０９の機能はタッチパネルディスプレイ１０５により実現される。
【0015】
カラー画像データは、各画素に、Ｒ（レッド）値、Ｇ（グリーン）値、Ｂ（ブルー）値を有するカラー画像を表す画像データである。カラー画像データは、撮像部３０８を用いて物体を撮像することによって生成される。距離画像データは、各画素に、撮像部３０８から撮像対象の物体までの距離値を有する距離画像を表す画像データである。距離画像データは、異なる複数の位置から物体を撮像して得られる複数のカラー画像データに基づいて生成される。例えば、並べて配置された２つのカメラを用いて物体を撮像して得られる画像データや、１つのカメラの位置を移動させながら物体を複数回撮像して得られる画像データに基づいて、公知のステレオマッチングにより距離画像データを生成することができる。また、赤外光を物体に照射する赤外発光部と、物体において反射した赤外光を受光する受光部と、を含む距離取得装置を利用することにより距離画像データを生成してもよい。具体的には、赤外発光部が照射した赤外光が物体において反射し、受光部が受光するまでの時間に基づいて、カメラから物体までの距離値を導出することができる。尚、距離画像データ等の距離情報を生成する方法は、上述した方法に限られない。例えば、物体に対応する三次元モデルデータを、カラー画像データに基づいて物体にフィッティングすることによって、物体の距離情報を生成してもよい。尚、画像データ取得部３０１が取得する各画像データが表す画像は、互いの同一画素位置の画素値が物体上の同一位置に対応しているものとする。
【0016】
ライティング効果リスト決定部３０２は、距離画像データが有する距離情報の精度（以下、距離精度と呼ぶ）を判定し、距離精度に応じて有効なライティング効果を含むリスト（以下、ライティング効果リストと呼ぶ）を決定する。本実施形態におけるライティング効果リスト決定部３０２は、予め付与可能なライティング効果として４つの異なるライティング効果を保持している。ただし、距離情報の精度によってはライティング効果を実現できない場合がある。そこで、ライティング効果リスト決定部３０２は、予め付与可能なライティング効果のうち、距離精度に応じて処理対象とする画像に有効なライティング効果を選択する。ここで、ライティング効果リスト決定部３０２は、最小で２、最大で４のライティング効果を選択することにより、ライティング効果リストを作成する。ライティング効果選択部３０３は、入出力部３０９から取得したユーザ操作に基づいて、ライティング効果リストに含まれるライティング効果から１つのライティング効果を選択する。ライティング処理部３０４は、選択されたライティング効果をカラー画像に付与するため、カラー画像に対してライティング処理を実行することによりカラー画像を補正する。また、ライティング処理部３０４は、入出力部３０９から取得したユーザ操作に基づいて、記憶部３０７にライティング効果が付与された画像を表す画像データを記録する。
【0017】
画像表示制御部３０５は、入出力部３０９を表示部として用いて、ライティング効果が付与された画像を入出力部３０９に表示する。ライティング効果表示制御部３０６は、ライティング効果リストに含まれるライティング効果に対応するアイコンを入出力部３０９に表示する。
【0018】
＜情報処理装置１が実行する処理＞
図４は、情報処理装置１が実行する処理を示すフローチャートである。本実施形態においては、距離画像データに基づいて設定された距離精度に応じて、カラー画像に適用可能なライティング効果を提示する。以下、各ステップ（工程）は符号の前にＳをつけて表す。
図４は、情報処理装置１が実行する処理を示すフローチャートである。本実施形態においては、距離画像データに基づいて設定された距離精度に応じて、カラー画像に適用可能なライティング効果を提示する。以下、各ステップ（工程）は符号の前にＳをつけて表す。
【0019】
Ｓ４０１において、画像データ取得部３０１は、入出力部３０９から取得したユーザ操作に基づいて、記憶部３０７からカラー画像データ及び距離画像データを取得する。ここで、記憶部３０７は、上述した方法によって予め生成されたカラー画像データ及び距離画像データを保持しているものとする。Ｓ４０２において、ライティング効果リスト決定部３０２は、距離画像データに基づいて設定した距離精度に応じて、有効なライティング効果を含むライティング効果リストを決定する。尚、ライティング効果リストを決定する処理の詳細については後述する。
【0020】
Ｓ４０３において、ライティング効果選択部３０３は、入出力部３０９から取得したユーザ操作に基づいて、ライティング効果リストに含まれるライティング効果から１つのライティング効果を選択する。また、ユーザ操作に基づいて、被写体に光を照射する仮想光源の向きなどのライティングパラメータを設定する。ユーザ操作によりライティング効果が選択されていない場合は、初期状態として予め定められたライティング効果を選択する。Ｓ４０４において、ライティング処理部３０４は、選択されたライティング効果に基づいて、カラー画像を補正する。以下、補正されたカラー画像を補正画像と呼び、補正画像を表す画像データを補正画像データと呼ぶ。尚、カラー画像を補正する処理の詳細は後述する。
【0021】
Ｓ４０５において、画像表示制御部３０５は、補正画像を入出力部３０９に表示する。Ｓ４０６において、ライティング効果表示制御部３０６は、ライティング効果リストに含まれるライティング効果を入出力部３０９に表示する。尚、ライティング効果の表示については後に詳述する。Ｓ４０７において、ライティング処理部３０４は、入出力部３０９から取得したユーザ操作に基づいて、補正画像データを記憶部３０７に記録するか否かを判定する。補正画像データを記録する操作が検出された場合はＳ４０９に進み、補正画像データを記録する操作が検出されない場合はＳ４０８に進む。Ｓ４０８において、ライティング処理部３０４は、入出力部３０９から取得したユーザ操作に基づいて、ライティング効果を付与するカラー画像を変更するか否かを判定する。カラー画像を変更する操作が検出された場合はＳ４０１に進み、カラー画像を変更する操作が検出されない場合はＳ４０３に進む。Ｓ４０９において、ライティング処理部３０４は、記憶部３０７に補正画像データを記録し、処理を終了する。
【0022】
＜ライティング効果リストを決定する処理（Ｓ４０２）＞
Ｓ４０２における、ライティング効果リストを決定する処理について説明する。図５は、ライティング効果リストを決定する処理を示すフローチャートである。ライティング効果リスト決定部３０２は、カラー画像において被写体の顔に対応する顔領域を抽出し、距離画像における顔領域に対応する距離値に基づいて距離精度を設定する。ライティング効果リスト決定部３０２は、設定した距離精度に基づいて、ライティング効果リストに含めるライティング効果を決定する。
Ｓ４０２における、ライティング効果リストを決定する処理について説明する。図５は、ライティング効果リストを決定する処理を示すフローチャートである。ライティング効果リスト決定部３０２は、カラー画像において被写体の顔に対応する顔領域を抽出し、距離画像における顔領域に対応する距離値に基づいて距離精度を設定する。ライティング効果リスト決定部３０２は、設定した距離精度に基づいて、ライティング効果リストに含めるライティング効果を決定する。
【0023】
Ｓ５０１において、ライティング効果リスト決定部３０２は、カラー画像から顔領域を抽出する。図６（ａ）に顔領域の例を示す。顔領域６０１の抽出には、例えば、テンプレートマッチングや、Ｈａａｒ－Ｌｉｋｅ特徴量を用いたアルゴリズムなど、公知の方法を利用することができる。Ｓ５０２において、ライティング効果リスト決定部３０２は、距離画像において、顔領域に対応する距離情報の精度を判定する。具体的に、ライティング効果リスト決定部３０２は、カラー画像に対応する距離画像から顔領域における距離値を取得する。顔領域内に予め定められた値よりも大きな値を示す距離値を有する画素が所定の数以上含まれる場合は、距離精度が低いと判定し、Ｓ５０３に進む。顔領域内に予め定められた値よりも大きな値を示す距離値を有する画素が所定の数未満しか含まれない場合は、距離精度が高いと判定し、Ｓ５０４に進む。尚、本実施形態においては、予め定められた値よりも大きな値を示す距離値を有する画素を、カラー画像における背景に対応する画素とみなす。
【0024】
Ｓ５０３において、ライティング効果リスト決定部３０２は、距離精度を「低」に設定する。図６（ｂ）に距離精度が「低」と判定される距離画像の例を示す。図６（ｂ）の距離画像においては、顔領域６０１内の画素は全て背景を示す距離値を有する。Ｓ５０４において、ライティング効果リスト決定部３０２は、顔領域に凹凸があるか否かを判定する。具体的に、ライティング効果リスト決定部３０２は、顔領域内の画素が有する距離値の分散が所定の値未満であるか否かを判定する。この判定により、被写体の顔における細かい凹凸の情報を距離画像が有しているか否かに応じて、距離情報の精度を判定することができる。顔領域内の画素が有する距離値の分散（ばらつき）が所定の値未満である場合は凹凸がないと判定し、Ｓ５０５に進む。顔領域内の画素が有する距離値の分散が所定の値以上である場合は凹凸があると判定し、Ｓ５０６に進む。
【0025】
Ｓ５０５において、ライティング効果リスト決定部３０２は、距離精度を「中」に設定する。図６（ｃ）に距離精度が「中」と判定される距離画像の例を示す。図６（ｃ）の距離画像においては、顔領域６０１内の画素は全て同じ距離値である。Ｓ５０６において、ライティング効果リスト決定部３０２は、距離精度を「高」に設定する。図６（ｄ）に距離精度が「高」と判定される距離画像の例を示す。図６（ｄ）の距離画像においては、顔領域６０１内の画素は被写体の顔の形状に応じて様々な距離値を有する。
【0026】
Ｓ５０７において、ライティング効果リスト決定部３０２は、距離精度に基づいて、ライティング効果リストに含めるライティング効果を決定する。図７に、距離精度に基づくライティング効果の設定方法の例を示す。本実施形態においては、「ＯＦＦ」、「顔を強調」、「被写体を強調」、「光源の位置を指定」の４種類のライティング効果からライティング効果リストへ加えるライティング効果を距離精度に基づいて決定する。本実施形態においては、距離精度が高いほど多くのライティング効果をライティング効果リストに加える。具体的に、距離精度が「低」である場合は、前景と背景とを識別できる精度の距離情報が得られていない、又は、距離情報自体が存在しない場合である。この場合、前景と背景との識別（ｍ単位）が必要な「被写体を強調」と、顔の目や鼻などの凹凸の識別（ｃｍ単位）が必要な「光源の位置を指定」と、は適したライティング効果ではない。一方で、「顔を強調」は、カラー画像における顔の検出により得られる情報から実現できるライティングである。このため、距離精度が「低」である場合は、「ＯＦＦ」、「顔を強調」が有効なライティング効果としてライティング効果リストに加えられる。距離精度が「中」である場合は、顔の目や鼻などの凹凸の識別（ｃｍ単位）まではできないが、前景と背景との識別（ｍ単位）が可能な距離情報が得られている場合である。よって、距離精度が「中」である場合は、「光源の位置を指定」を除く、「ＯＦＦ」、「顔を強調」、「被写体を強調」が有効なライティング効果としてライティング効果リストに加えられる。距離精度が「高」である場合は、顔の目や鼻などの凹凸の識別（ｃｍ単位）ができる精度の距離情報が得られている場合であるため、上述した４種類全てのライティング効果がライティング効果リストに加えられる。つまり、ライティング効果リスト決定部３０２は、距離精度が「低」の場合は、「ＯＦＦ」、「顔を強調」をライティング効果リストに加える。距離精度が「中」の場合は、「ＯＦＦ」、「顔を強調」、「被写体を強調」をライティング効果リストに加える。距離精度が「高」の場合は、「ＯＦＦ」、「顔を強調」、「被写体を強調」、「光源の位置を指定」をライティング効果リストに加える。この処理により、距離精度に応じて決まる有効なライティング効果から、カラー画像に付与するライティング効果を選択することができる。
【0027】
＜カラー画像を補正する処理（Ｓ４０４）＞
Ｓ４０４における、カラー画像を補正する処理について説明する。図８は、カラー画像を補正する処理を示すフローチャートである。ライティング処理部３０４は、距離画像データに基づいて法線画像データを生成する。ライティング処理部３０４は、距離画像データ及び法線画像データに基づいて、カラー画像を補正する。
Ｓ４０４における、カラー画像を補正する処理について説明する。図８は、カラー画像を補正する処理を示すフローチャートである。ライティング処理部３０４は、距離画像データに基づいて法線画像データを生成する。ライティング処理部３０４は、距離画像データ及び法線画像データに基づいて、カラー画像を補正する。
【0028】
Ｓ８０１において、ライティング処理部３０４は、距離画像データに基づいて、顔距離画像データを生成する。顔距離画像データは、顔領域に対応する領域を前景領域、その他の領域を背景領域とする距離画像データである。本実施形態において、ライティング処理部３０４は、距離画像データが表す距離画像において、顔領域を含む楕円領域を設定する。設定した楕円領域の内部の画素に前景を示す距離値、それ以外の画素に背景を示す距離値を有する距離画像を表す距離画像データを、顔距離画像データとして生成する。図９（ａ）に顔距離画像データの例を示す。Ｓ８０２において、ライティング処理部３０４は、Ｓ４０２において設定された距離精度を判定する。距離精度が「高」の場合はＳ８０３に進み、それ以外の場合はＳ８０４に進む。
【0029】
Ｓ８０３において、ライティング処理部３０４は、距離画像データに基づいて法線画像データを生成する。法線画像データは、各画素に、被写体の表面における法線ベクトルを有する法線画像を表す画像データである。具体的に、ライティング処理部３０４は、距離画像の画素の二次元座標値と、画素に保持されている距離値と、に基づいて、画素毎に三次元座標値を導出する。導出した三次元座標値に基づいて、画素毎に対応する法線ベクトルを導出する。法線ベクトルの導出方法としては、三次元座標値から導出した勾配に基づいて導出する方法や、画素毎に平面を当てはめてその垂線を法線ベクトルとする方法などを利用できる。
【0030】
本実施形態におけるライティング処理部３０４は、注目画素の近傍領域に対応する近似平面を導出し、近似平面に垂直なベクトルを注目画素の法線ベクトルとして導出する。その手順を以下に述べる。法線ベクトルを導出する注目画素及びその近傍画素の三次元座標値をそれぞれ（ｘ０，ｙ０，ｚ０）、・・・、（ｘｎ－１，ｙｎ－１，ｚｎ－１）とする。尚、ｘ座標値は距離画像の水平方向の二次元座標値に基づいて導出し、ｙ座標値は距離画像の垂直方向の二次元座標値に基づいて導出する。また、ｚ座標値は距離画像の画素値に基づいて導出する。注目画素の座標値及び近傍画素の座標値に対して平面ａｘ＋ｂｙ＋ｃ＝ｚを当てはめる。具体的には、ｚ軸方向の距離値を利用し、式（１）に示す関数Ｅが最小になるようなａ、ｂ、ｃを導出する。
Ｅ＝Σｉ（ａｘｉ＋ｂｙｉ＋ｃ－ｚｉ）２・・・式（１）
Ｅ＝Σｉ（ａｘｉ＋ｂｙｉ＋ｃ－ｚｉ）２・・・式（１）
【0031】
ａ、ｂ、ｃは式（２）に従って導出する。
【0032】
【数1】
【0033】
また、平面ａｘ＋ｂｙ＋ｃ＝ｚに垂直なベクトルｎ＝（ｎｘ，ｎｙ，ｎｚ）は式（３）に従って導出する。
【0034】
【数2】
【0035】
式（３）に従って導出したベクトルｎ＝（ｎｘ，ｎｙ，ｎｚ）を、注目画素に対応する法線ベクトルとする。同様の処理を距離画像の各画素において行うことによって、法線画像データを生成する。法線画像データは、画素（ｉ，ｊ）に法線ベクトル（ｎｘ（ｉ，ｊ），ｎｙ（ｉ，ｊ），ｎｚ（ｉ，ｊ））を有する法線画像を表す画像データである。生成した法線画像データが表す法線画像の例を図９（ｂ）に示す。
【0036】
Ｓ８０４において、ライティング処理部３０４は、簡易的に法線画像データを生成する。本実施形態におけるライティング処理部３０４は、全ての画素が法線ベクトルｎ＝（０，０，１）を有する法線画像を表す法線画像データを生成する。図９（ｃ）に簡易的に生成した法線画像データの例を示す。尚、予め生成しておいた法線画像データを記憶部３０７などから取得してもよい。Ｓ８０５において、ライティング処理部３０４は、Ｓ４０３において選択されたライティング効果を判定する。選択されたライティング効果が「ＯＦＦ」の場合はＳ８０６に進む。選択されたライティング効果が「顔を強調」の場合はＳ８０７に進む。選択されたライティング効果が「被写体を強調」の場合はＳ８０８に進む。選択されたライティング効果が「光源の位置を指定」の場合はＳ８０９に進む。
【0037】
Ｓ８０６において、ライティング処理部３０４は、カラー画像を補正せずにそのままカラー画像データを画像表示制御部３０５に出力する。尚、出力されたカラー画像データは、補正画像データとして扱う。Ｓ８０７において、ライティング処理部３０４は、顔距離画像データと法線画像データとに基づいて、カラー画像を補正する。Ｓ８０７においては、後述するカラー画像を補正する処理により、カラー画像に顔を強調するライティング効果を適用する。また、ライティング処理部３０４は、補正されたカラー画像を表す補正画像データを画像表示制御部３０５に出力する。
【0038】
Ｓ８０８において、ライティング処理部３０４は、距離画像データと法線画像データとに基づいて、カラー画像を補正する。Ｓ８０８においては、後述するカラー画像を補正する処理により、カラー画像に背景を暗くし前景の被写体を強調するライティング効果を適用する。また、ライティング処理部３０４は、補正されたカラー画像を表す補正画像データを画像表示制御部３０５に出力する。Ｓ８０９において、ライティング処理部３０４は、距離画像データと法線画像データとに基づいて、カラー画像を補正する。Ｓ８０９においては、後述するカラー画像を補正する処理により、カラー画像にユーザに指定された光源の位置に応じたライティング効果を適用する。また、ライティング処理部３０４は、補正されたカラー画像を表す補正画像データを画像表示制御部３０５に出力する。
【0039】
＜カラー画像を補正する処理（Ｓ８０７、Ｓ８０８、Ｓ８０９）＞
Ｓ８０７、Ｓ８０８、Ｓ８０９における、カラー画像を補正する処理について説明する。ライティング処理部３０４は、カラー画像に付与するライティング効果に応じて、補正に用いるパラメータを切り替える。これにより、同一の処理手順を用いて、所望の方向から光を当てたように陰影をつけることにより立体感を強調するライティング効果や、背景を暗くすることにより前景の被写体に光を当てたように強調するライティング効果を被写体に付与する。以下、具体的な処理手順の例を述べる。まず、ライティング処理部３０４は、式（４）に従って、カラー画像の背景の明るさを補正する。カラー画像の画素値をＩ、背景の明るさが補正されたカラー画像の画素値をＩ’とする。
Ｉ’＝（１－β）Ｉ＋βＤ（ｄ）Ｉ・・・式（４）
Ｓ８０７、Ｓ８０８、Ｓ８０９における、カラー画像を補正する処理について説明する。ライティング処理部３０４は、カラー画像に付与するライティング効果に応じて、補正に用いるパラメータを切り替える。これにより、同一の処理手順を用いて、所望の方向から光を当てたように陰影をつけることにより立体感を強調するライティング効果や、背景を暗くすることにより前景の被写体に光を当てたように強調するライティング効果を被写体に付与する。以下、具体的な処理手順の例を述べる。まず、ライティング処理部３０４は、式（４）に従って、カラー画像の背景の明るさを補正する。カラー画像の画素値をＩ、背景の明るさが補正されたカラー画像の画素値をＩ’とする。
Ｉ’＝（１－β）Ｉ＋βＤ（ｄ）Ｉ・・・式（４）
【0040】
ここで、βは背景の暗さを調整するためのパラメータ、Ｄは距離画像の画素値（距離値）ｄに基づく関数である。Ｄは距離値ｄが大きくなるほど値が小さくなるような関数であり、値は０から１の間の値となる。つまり、Ｄは前景を示す距離値に対して大きな値となり、背景を示す距離値に対して小さな値となる。βは０から１の値が設定されるものとし、βが１に近いほどカラー画像の背景が暗くなるように補正される。式（４）に従い補正することにより、距離値ｄが大きく、Ｄが１未満となった画素のみパラメータβに応じて暗くすることができる。
【0041】
続いて、式（５）に従い、背景の明るさが補正されたカラー画像に対して、距離画像データ及び法線画像データに応じた陰影を加える。陰影が加えられたカラー画像の画素値をＩ’’とする。
Ｉ’’＝Ｉ’＋αＤ（ｄ）Ｈ（ｎ，Ｌ）Ｉ’・・・式（５）
Ｉ’’＝Ｉ’＋αＤ（ｄ）Ｈ（ｎ，Ｌ）Ｉ’・・・式（５）
【0042】
ここで、αは光源の明るさを調整するためのパラメータ、Ｌは被写体から仮想的な光源への向きを示す光源ベクトルである。また、Ｈは法線画像の画素値（法線ベクトル）ｎと光ベクトルＬとに基づく関数である。Ｈは法線ベクトルｎと光源ベクトルＬとのなす角度が小さいほど大きな値となるような関数であり、値は０から１の間の値となる。例えば、Ｈは式（６）のように設定することができる。
【0043】
【数3】
【0044】
Ｓ８０７、Ｓ８０８、Ｓ８０９においては、選択されたライティング効果に応じて上記のパラメータを変更する。
【0045】
Ｓ８０７において、ライティング処理部３０４は、Ｄを顔距離画像の距離値に基づいて設定する。これにより、顔領域を強調することができる。Ｓ８０８において、ライティング処理部３０４は、Ｄを距離画像の距離値に基づいて設定する。また、βを１より小さな値に設定する。これにより、背景を暗くし前景の被写体を強調することができる。Ｓ８０９において、ライティング処理部３０４は、Ｄを距離画像の距離値に基づいて設定する。また、光源ベクトルＬを含むパラメータをユーザ操作に基づいて設定する。光源ベクトルＬは、例えば、ユーザ操作に基づいて設定した被写体に対する上下方向の回転角と左右方向の回転角とに基づいて、三次元ベクトルを導出することにより得られる。これにより、ユーザにより指定された光源の位置に応じたライティング効果をカラー画像に付与することができる。
【0046】
＜ライティング効果を表示する処理（Ｓ４０６）＞
Ｓ４０６における、ライティング効果の候補を表示する処理について説明する。図１０は、本実施形態におけるライティング効果（「ＯＦＦ」、「顔を強調」、「被写体を強調」、「光源の位置を指定」）に対応するアイコンの例である。ライティング効果表示制御部３０６は、ライティング効果リストに含まれるライティング効果群に基づいて、各ライティング効果に対応するアイコンを表示する。図１１にライティング効果の表示例を示す。ライティング効果表示制御部３０６は、ライティング効果に対応するアイコンを表示する。距離精度が「低」の場合は、図１１（ａ）のように「ＯＦＦ」、「顔を強調」に対応するアイコンを表示する。距離精度が「中」の場合は、図１１（ｂ）のように「ＯＦＦ」、「顔を強調」、「被写体を強調」に対応するアイコンを表示する。距離精度が「高」の場合は、図１１（ｃ）のように「ＯＦＦ」、「顔を強調」、「被写体を強調」、「光源の位置を指定」に対応するアイコンを表示する。選択されているライティング効果のアイコンは、枠で囲んだり色を変えたりするなどして、選択されていない他のライティング効果のアイコンと区別できるように表示する。
Ｓ４０６における、ライティング効果の候補を表示する処理について説明する。図１０は、本実施形態におけるライティング効果（「ＯＦＦ」、「顔を強調」、「被写体を強調」、「光源の位置を指定」）に対応するアイコンの例である。ライティング効果表示制御部３０６は、ライティング効果リストに含まれるライティング効果群に基づいて、各ライティング効果に対応するアイコンを表示する。図１１にライティング効果の表示例を示す。ライティング効果表示制御部３０６は、ライティング効果に対応するアイコンを表示する。距離精度が「低」の場合は、図１１（ａ）のように「ＯＦＦ」、「顔を強調」に対応するアイコンを表示する。距離精度が「中」の場合は、図１１（ｂ）のように「ＯＦＦ」、「顔を強調」、「被写体を強調」に対応するアイコンを表示する。距離精度が「高」の場合は、図１１（ｃ）のように「ＯＦＦ」、「顔を強調」、「被写体を強調」、「光源の位置を指定」に対応するアイコンを表示する。選択されているライティング効果のアイコンは、枠で囲んだり色を変えたりするなどして、選択されていない他のライティング効果のアイコンと区別できるように表示する。
【0047】
図１１は、「ＯＦＦ」のライティング効果が選択されている場合の例を示している。その他のライティング効果が選択されている場合の例を図１２に示す。図１２（ａ）は「顔を強調」が選択された場合の表示画像の例である。この場合、顔領域が強調された補正画像を表示する。図１２（ｂ）は「被写体を強調」が選択された場合の表示画像の例である。この場合、背景が暗くなり被写体が強調された補正画像を表示する。図１２（ｃ）は「光源の位置を指定」が選択された場合の表示画像の例である。この場合は、ユーザにより指定されたライティングパラメータに応じた補正画像を表示する。また、ライティングパラメータを調整するためのスライダーなどを補正画像に重畳して表示する。本実施形態においては、光源の位置を調整するためのスライダーと、光源の明るさを調整するためのスライダーと、が表示される。ここで表示されるスライダーは、ユーザのタッチが検出されることにより移動する。
【0048】
＜第１実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、画像を表す画像データと、画像データに対応する距離情報と、を取得する。画像に距離情報に応じたライティング効果を付与する際に画像に付与可能なライティング効果の候補を、距離情報の精度に基づいて決定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。また、このユーザへの提示により、距離情報の精度に応じて付与可能なライティング効果とユーザが意図するライティング効果とが一致しないことによって、ユーザが意図していないライティング効果が画像に付与されることを抑制することができる。
以上説明したように、本実施形態における情報処理装置は、画像を表す画像データと、画像データに対応する距離情報と、を取得する。画像に距離情報に応じたライティング効果を付与する際に画像に付与可能なライティング効果の候補を、距離情報の精度に基づいて決定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。また、このユーザへの提示により、距離情報の精度に応じて付与可能なライティング効果とユーザが意図するライティング効果とが一致しないことによって、ユーザが意図していないライティング効果が画像に付与されることを抑制することができる。
【0049】
＜変形例＞
本実施形態においては、Ｓ５０２において背景を示す距離値を有する画素を所定の数以上含む場合に距離精度が低いと判定したが、カラー画像データに対応する距離画像データが存在しない場合も距離精度が低いと判定するようにしてもよい。
本実施形態においては、Ｓ５０２において背景を示す距離値を有する画素を所定の数以上含む場合に距離精度が低いと判定したが、カラー画像データに対応する距離画像データが存在しない場合も距離精度が低いと判定するようにしてもよい。
【0050】
また、本実施形態における情報処理装置１は、画像表示制御部３０５が画像の表示を制御し、ライティング効果表示制御部３０６が有効なライティング効果の表示を制御したが、表示制御部は１つであってもよい。この場合は、情報処理装置１が有する１つの表示制御部が画像の表示と有効なライティング効果の表示との両方を制御する。
【0051】
また、本実施形態においては、有効なライティング効果を入出力部３０９に表示することによってユーザに提示したが、有効なライティング効果を提示する方法は上記の例に限られない。例えば、音を利用してユーザに有効なライティング効果を提示してもよい。この場合、図１０に示す４つのアイコンが入出力部３０９に表示される。アイコンに対するタッチが検出された際に、タッチされたアイコンがライティング効果リストに含まれる有効なライティング効果を示すアイコンでない場合は警告音等を出力するようにしてもよい。
【0052】
また、本実施形態においては、ライティング効果リストを決定する処理において距離精度を３段階に分けて設定したが、２段階でも４段階以上でもよい。
【0053】
また、本実施形態においては、距離精度を顔領域の距離値に基づいて判定したが、顔領域以外の距離値に基づいて距離精度を判定してもよい。例えば、別途抽出した人物領域の距離値に基づいて判定してもよいし、顔領域に加えて顔領域の下部の領域の距離値に基づいて距離精度を判定してもよい。また、距離精度の判定に利用する領域は、入出力部３０９を介してユーザにより指定された領域であってもよい。
【0054】
［第２実施形態］
第１実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、画像データにタグ情報として付与された撮像装置情報に基づいて距離精度を設定する。尚、本実施形態における情報処理装置１のハードウェア構成は、図１（ｂ）に示すものであるとする。すなわち、本実施形態においては、情報処理装置１には撮像部は内臓されておらず、画像データは外部から取得するものとする。情報処理装置１の論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
第１実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、画像データにタグ情報として付与された撮像装置情報に基づいて距離精度を設定する。尚、本実施形態における情報処理装置１のハードウェア構成は、図１（ｂ）に示すものであるとする。すなわち、本実施形態においては、情報処理装置１には撮像部は内臓されておらず、画像データは外部から取得するものとする。情報処理装置１の論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
【0055】
＜情報処理装置１が実行する処理＞
本実施形態は、第１実施形態と比較して、Ｓ４０２におけるライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部３０２は、画像データに付与された撮像装置情報に基づいて、距離精度を判定する。尚、撮像装置情報には、撮像装置名、撮像装置が距離情報を取得可能か否か、距離情報の取得方法などが含まれるものとする。また、距離情報を取得するために被写体に光を投影する撮像装置は、他の撮像装置と比べて、最も高精度に距離情報を取得できるものとする。その他の方法により距離情報を取得する撮像装置は、その次に精度の高い距離情報を取得することができるものとする。距離情報を取得できない撮像装置を用いた場合が最も距離情報の精度が低いものとする。以下、ライティング効果リストを決定する処理の詳細について説明する。
本実施形態は、第１実施形態と比較して、Ｓ４０２におけるライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部３０２は、画像データに付与された撮像装置情報に基づいて、距離精度を判定する。尚、撮像装置情報には、撮像装置名、撮像装置が距離情報を取得可能か否か、距離情報の取得方法などが含まれるものとする。また、距離情報を取得するために被写体に光を投影する撮像装置は、他の撮像装置と比べて、最も高精度に距離情報を取得できるものとする。その他の方法により距離情報を取得する撮像装置は、その次に精度の高い距離情報を取得することができるものとする。距離情報を取得できない撮像装置を用いた場合が最も距離情報の精度が低いものとする。以下、ライティング効果リストを決定する処理の詳細について説明する。
【0056】
＜ライティング効果リストを決定する処理（Ｓ４０２）＞
図１３は、ライティング効果リストを決定する処理を示すフローチャートである。Ｓ１３０１において、ライティング効果リスト決定部３０２は、カラー画像データのタグ情報から撮像装置情報を取得する。撮像装置情報は、カラー画像データと距離画像データとを生成するために用いた撮像装置を特定する情報である。本実施形態においては、情報処理装置１が撮像部１０６を有しているため、情報処理装置１を撮像装置として扱う。Ｓ１３０２において、ライティング効果リスト決定部３０２は、撮像装置情報に基づいて、撮像装置が距離情報を取得できるか否かを判定する。撮像装置が距離情報を取得できる場合はＳ１３０４に進み、撮像装置が距離情報を取得できない場合はＳ１３０３に進む。
図１３は、ライティング効果リストを決定する処理を示すフローチャートである。Ｓ１３０１において、ライティング効果リスト決定部３０２は、カラー画像データのタグ情報から撮像装置情報を取得する。撮像装置情報は、カラー画像データと距離画像データとを生成するために用いた撮像装置を特定する情報である。本実施形態においては、情報処理装置１が撮像部１０６を有しているため、情報処理装置１を撮像装置として扱う。Ｓ１３０２において、ライティング効果リスト決定部３０２は、撮像装置情報に基づいて、撮像装置が距離情報を取得できるか否かを判定する。撮像装置が距離情報を取得できる場合はＳ１３０４に進み、撮像装置が距離情報を取得できない場合はＳ１３０３に進む。
【0057】
Ｓ１３０３において、ライティング効果リスト決定部３０２は、距離精度を「低」に設定する。Ｓ１３０４において、ライティング効果リスト決定部３０２は、撮像装置が距離情報を取得するために被写体に光を投影するか否かを判定する。撮像装置が被写体に光を投影しない場合はＳ１３０５に進み、撮像装置が被写体に光を投影する場合はＳ１３０６に進む。距離情報を取得するために被写体に光を投影する撮像装置の例としては、被写体に投影した特定のパターンを撮像し、パターンの変形量に基づいて距離を計測するカメラや、被写体に照射した光の飛行時間に基づいて距離を計測するカメラなどがある。距離情報を取得するために被写体に光を投影しない撮像装置の例としては、視差に基づいて距離情報を取得するカメラがある。
【0058】
Ｓ１３０５において、ライティング効果リスト決定部３０２は、距離精度を「中」に設定する。Ｓ１３０６において、ライティング効果リスト決定部３０２は、距離精度を「高」に設定する。Ｓ１３０７において、ライティング効果リスト決定部３０２は、距離精度に基づいて、ライティング効果リストに含めるライティング効果を決定する。Ｓ１３０７の処理は、第１実施形態におけるＳ５０７の処理と同等であるため説明を省略する。
【0059】
＜第２実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、画像データに対応する撮像装置が距離情報を取得する機能を有するか否かに基づいて、距離情報の精度を判定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
以上説明したように、本実施形態における情報処理装置は、画像データに対応する撮像装置が距離情報を取得する機能を有するか否かに基づいて、距離情報の精度を判定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
【0060】
＜変形例＞
本実施形態においては、被写体に光を投影するか否かに応じて距離精度を判定したが、複数のカメラで撮像するか否かに応じて距離精度を判定してもよい。この場合、１つのカメラで撮像する場合よりも、複数のカメラで撮像する場合に距離精度が高くなるように設定する。図２８は、ライティング効果リストを決定する処理を示すフローチャートである。図１３と比較して、Ｓ２８０４が異なる。Ｓ２８０４において、ライティング効果リスト決定部３０２は、撮像装置が複数のカメラで被写体を撮像するか否かを判定する。１つのカメラで撮像する場合はＳ２８０５に進み、複数のカメラで撮像する場合はＳ２８０６に進む。１つのカメラで撮像する場合、レンズによるボケの大きさに基づいて距離情報を取得する方法や、撮像画像における被写体の認識結果に基づいて距離情報を取得する方法などが知られている。複数のカメラで撮像する場合、ボケの大きさや被写体の認識結果に加えてカメラ位置の違いによる視差情報に基づいて距離情報を取得することができる。このため、１つのカメラで撮像する場合よりも、複数のカメラで撮像する場合の方が精度の高い距離情報を取得できる。
本実施形態においては、被写体に光を投影するか否かに応じて距離精度を判定したが、複数のカメラで撮像するか否かに応じて距離精度を判定してもよい。この場合、１つのカメラで撮像する場合よりも、複数のカメラで撮像する場合に距離精度が高くなるように設定する。図２８は、ライティング効果リストを決定する処理を示すフローチャートである。図１３と比較して、Ｓ２８０４が異なる。Ｓ２８０４において、ライティング効果リスト決定部３０２は、撮像装置が複数のカメラで被写体を撮像するか否かを判定する。１つのカメラで撮像する場合はＳ２８０５に進み、複数のカメラで撮像する場合はＳ２８０６に進む。１つのカメラで撮像する場合、レンズによるボケの大きさに基づいて距離情報を取得する方法や、撮像画像における被写体の認識結果に基づいて距離情報を取得する方法などが知られている。複数のカメラで撮像する場合、ボケの大きさや被写体の認識結果に加えてカメラ位置の違いによる視差情報に基づいて距離情報を取得することができる。このため、１つのカメラで撮像する場合よりも、複数のカメラで撮像する場合の方が精度の高い距離情報を取得できる。
【0061】
また、本実施形態においては、距離情報を取得できるか否かと距離情報の取得方法とに応じて距離精度を設定したが、撮像装置名に応じて距離精度を設定してもよい。この場合、予め撮像装置名と距離精度との対応関係を保持するテーブルを作成しておく。カラー画像データに対応する撮像装置名と、予め作成しておいたテーブルと、に基づいて、距離精度を設定すればよい。
【0062】
また、本実施形態においては、情報処理装置１が図１（ｂ）のハードウェア構成であると説明した。しかしながら、情報処理装置１が図１（ａ）に示すハードウェア構成であっても、本実施形態を適用することができる。特に、情報処理装置１が撮像部１０６を用いて複数の算出方法により複数の異なる距離情報を取得できる場合がある。この場合、画像データにタグ情報として距離情報の取得方法を保存しておくことにより、ライティング効果リスト決定部３０２は、本実施形態において説明したように、ライティング効果リストを決定することができる。
【0063】
［第３実施形態］
第１実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、撮像部１０６から、撮像の際にフォーカスを合わせた被写体の位置までの距離（以下、被写体距離と呼ぶ）に基づいて距離精度を設定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
第１実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、撮像部１０６から、撮像の際にフォーカスを合わせた被写体の位置までの距離（以下、被写体距離と呼ぶ）に基づいて距離精度を設定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
【0064】
＜情報処理装置１が実行する処理＞
本実施形態は、第１実施形態と比較して、Ｓ４０２におけるライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部３０２は、カラー画像データに対応する被写体距離情報に基づいて、距離精度を判定する。尚、被写体距離情報は、撮像部１０６から、撮像の際にフォーカスを合わせた被写体の位置までの距離値を表す情報である。ライティング効果リスト決定部３０２は、被写体距離が小さいほど距離精度が高いと判定する。具体的には、被写体距離を予め定められた値Ｌ１、Ｌ２（Ｌ１＞Ｌ２）と比較することにより、距離精度を判定する。以下、ライティング効果リストを決定する処理の詳細について説明する。
本実施形態は、第１実施形態と比較して、Ｓ４０２におけるライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部３０２は、カラー画像データに対応する被写体距離情報に基づいて、距離精度を判定する。尚、被写体距離情報は、撮像部１０６から、撮像の際にフォーカスを合わせた被写体の位置までの距離値を表す情報である。ライティング効果リスト決定部３０２は、被写体距離が小さいほど距離精度が高いと判定する。具体的には、被写体距離を予め定められた値Ｌ１、Ｌ２（Ｌ１＞Ｌ２）と比較することにより、距離精度を判定する。以下、ライティング効果リストを決定する処理の詳細について説明する。
【0065】
＜ライティング効果リストを決定する処理（Ｓ４０２）＞
図１４は、ライティング効果リストを決定する処理を示すフローチャートである。Ｓ１４０１において、ライティング効果リスト決定部３０２は、カラー画像データのタグ情報から被写体距離情報を取得する。Ｓ１４０２において、ライティング効果リスト決定部３０２は、被写体距離がＬ１以上であるか否かを判定する。被写体距離がＬ１以上であると判定した場合はＳ１４０３に進み、被写体距離がＬ１未満であると判定した場合はＳ１４０４に進む。Ｓ１４０３において、ライティング効果リスト決定部３０２は、距離精度を「低」に設定する。
図１４は、ライティング効果リストを決定する処理を示すフローチャートである。Ｓ１４０１において、ライティング効果リスト決定部３０２は、カラー画像データのタグ情報から被写体距離情報を取得する。Ｓ１４０２において、ライティング効果リスト決定部３０２は、被写体距離がＬ１以上であるか否かを判定する。被写体距離がＬ１以上であると判定した場合はＳ１４０３に進み、被写体距離がＬ１未満であると判定した場合はＳ１４０４に進む。Ｓ１４０３において、ライティング効果リスト決定部３０２は、距離精度を「低」に設定する。
【0066】
Ｓ１４０４において、ライティング効果リスト決定部３０２は、被写体距離がＬ２以上であるか否かを判定する。被写体距離がＬ２以上であると判定した場合はＳ１４０５に進み、被写体距離がＬ２未満であると判定した場合はＳ１４０６に進む。Ｓ１４０５において、ライティング効果リスト決定部３０２は、距離精度を「中」に設定する。Ｓ１４０６において、ライティング効果リスト決定部３０２は、距離精度を「高」に設定する。Ｓ１４０７において、ライティング効果リスト決定部３０２は、距離精度に基づいて、ライティング効果リストに含めるライティング効果を決定する。Ｓ１４０７の処理は、第１実施形態におけるＳ５０７の処理と同等であるため説明を省略する。
【0067】
＜第３実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、画像データに対応する被写体距離情報に基づいて、距離情報の精度を判定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
以上説明したように、本実施形態における情報処理装置は、画像データに対応する被写体距離情報に基づいて、距離情報の精度を判定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
【0068】
［第４実施形態］
第１実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、撮像されたシーンに基づいて距離精度を設定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
第１実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、撮像されたシーンに基づいて距離精度を設定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
【0069】
＜情報処理装置１が実行する処理＞
本実施形態は、第１実施形態と比較して、Ｓ４０２のライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部３０２は、カラー画像データを得るための撮像の際に撮像されたシーンに基づいて、距離精度を判定する。ライティング効果リスト決定部３０２は、人物の有無と動きの有無とに応じて撮像シーンを判定する。本実施形態においては、ライティング効果を付与する対象を人物とするため、人物を含まないシーンは最も距離精度が低いものとする。また、人物を含む動きのないシーンを最も距離精度が高いものとする。また、人物を含む動きのあるシーンを次に距離精度が高いものとする。以下、ライティング効果リストを決定する処理の詳細について説明する。
本実施形態は、第１実施形態と比較して、Ｓ４０２のライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部３０２は、カラー画像データを得るための撮像の際に撮像されたシーンに基づいて、距離精度を判定する。ライティング効果リスト決定部３０２は、人物の有無と動きの有無とに応じて撮像シーンを判定する。本実施形態においては、ライティング効果を付与する対象を人物とするため、人物を含まないシーンは最も距離精度が低いものとする。また、人物を含む動きのないシーンを最も距離精度が高いものとする。また、人物を含む動きのあるシーンを次に距離精度が高いものとする。以下、ライティング効果リストを決定する処理の詳細について説明する。
【0070】
＜ライティング効果リストを決定する処理（Ｓ４０２）＞
図１５は、ライティング効果リストを決定する処理を示すフローチャートである。Ｓ１５０１において、ライティング効果リスト決定部３０２は、カラー画像データに基づいて、撮像シーンの判定を行う。具体的に、ライティング効果リスト決定部３０２は、カラー画像に人物が含まれているか否かの判定と、カラー画像に動きのあるシーンが含まれているか否かと、を判定する。人物の有無の判定は、カラー画像から検出された顔領域の数に基づいて行う。顔領域の数が１つ以上ある場合はカラー画像に人物が含まれていると判定し、顔領域が検出されない場合はカラー画像に人物が含まれていないと判定する。顔領域の検出は、第１実施形態におけるＳ５０１の処理と同じ方法を利用する。動きの有無の判定は、カラー画像における、被写体に対応する領域の高周波成分の強度に基づいて行う。高周波成分の強度が予め定められた値以上である場合に動きがないと判定し、高周波成分の強度が予め定められた値未満である場合に動きがあると判定する。高周波成分の強度は、ラプラシアンフィルタ等のエッジ抽出フィルタ適用後のカラー画像における画素値の絶対値の総和とする。尚、高周波成分の強度は、カラー画像に公知のＦＦＴを適用することにより導出される周波数空間におけるパワースペクトルであってもよい。また、動きの有無の判定は、ライティング効果を付与する対象のカラー画像を得るための撮像の直前あるいは直後に撮像を行い、対象のカラー画像と直前又は直後の撮像に対応するカラー画像との差分の大きさに基づいて判定してもよい。この場合は、差分が予め定められた値以下である場合に動きがないと判定し、差分が予め定められた値より大きい場合に動きがあると判定すればよい。
図１５は、ライティング効果リストを決定する処理を示すフローチャートである。Ｓ１５０１において、ライティング効果リスト決定部３０２は、カラー画像データに基づいて、撮像シーンの判定を行う。具体的に、ライティング効果リスト決定部３０２は、カラー画像に人物が含まれているか否かの判定と、カラー画像に動きのあるシーンが含まれているか否かと、を判定する。人物の有無の判定は、カラー画像から検出された顔領域の数に基づいて行う。顔領域の数が１つ以上ある場合はカラー画像に人物が含まれていると判定し、顔領域が検出されない場合はカラー画像に人物が含まれていないと判定する。顔領域の検出は、第１実施形態におけるＳ５０１の処理と同じ方法を利用する。動きの有無の判定は、カラー画像における、被写体に対応する領域の高周波成分の強度に基づいて行う。高周波成分の強度が予め定められた値以上である場合に動きがないと判定し、高周波成分の強度が予め定められた値未満である場合に動きがあると判定する。高周波成分の強度は、ラプラシアンフィルタ等のエッジ抽出フィルタ適用後のカラー画像における画素値の絶対値の総和とする。尚、高周波成分の強度は、カラー画像に公知のＦＦＴを適用することにより導出される周波数空間におけるパワースペクトルであってもよい。また、動きの有無の判定は、ライティング効果を付与する対象のカラー画像を得るための撮像の直前あるいは直後に撮像を行い、対象のカラー画像と直前又は直後の撮像に対応するカラー画像との差分の大きさに基づいて判定してもよい。この場合は、差分が予め定められた値以下である場合に動きがないと判定し、差分が予め定められた値より大きい場合に動きがあると判定すればよい。
【0071】
Ｓ１５０２において、ライティング効果リスト決定部３０２は、人物の有無に関する判定の結果を取得する。カラー画像に人物が含まれていないと判定された場合はＳ１５０３に進み、カラー画像に人物が含まれていると判定された場合はＳ１５０４に進む。Ｓ１５０３において、ライティング効果リスト決定部３０２は、距離精度を「低」に設定する。Ｓ１５０４において、ライティング効果リスト決定部３０２は、動きの有無に関する判定の結果を取得する。カラー画像に動きのあるシーンが含まれていると判定された場合はＳ１５０５に進み、カラー画像に動きのあるシーンが含まれていないと判定された場合はＳ１５０６に進む。
【0072】
Ｓ１５０５において、ライティング効果リスト決定部３０２は、距離精度を「中」に設定する。Ｓ１５０６において、ライティング効果リスト決定部３０２は、距離精度を「高」に設定する。Ｓ１５０７において、ライティング効果リスト決定部３０２は、距離精度に基づいて、ライティング効果リストに含めるライティング効果を決定する。Ｓ１５０７の処理は、第１実施形態におけるＳ５０７の処理と同等であるため説明を省略する。
【0073】
＜第４実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、撮像シーンに基づいて、距離精度を設定する。具体的には、カラー画像に人物が含まれているか否かや、カラー画像に動いている被写体の一時的な状態が含まれているか否かに基づいて、距離精度を設定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
以上説明したように、本実施形態における情報処理装置は、撮像シーンに基づいて、距離精度を設定する。具体的には、カラー画像に人物が含まれているか否かや、カラー画像に動いている被写体の一時的な状態が含まれているか否かに基づいて、距離精度を設定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
【0074】
［第５実施形態］
第１実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、予め設定された人物情報に基づいて距離精度を設定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
第１実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、予め設定された人物情報に基づいて距離精度を設定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
【0075】
＜情報処理装置１が実行する処理＞
本実施形態は、第１実施形態と比較して、Ｓ４０２のライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部３０２は、距離画像データに基づいて距離精度を設定した後、予め設定された人物情報に基づいて距離精度を更新する。尚、人物情報には、人物名、人物画像データ、人物距離画像データ、人物距離精度が含まれているものとする。人物情報の例を図１６に示す。人物画像データは、少なくとも人物の顔を含む画像を表す画像データであり、対応する人物の顔領域が設定されている。人物距離画像データは、人物画像データに対応する距離画像データである。人物距離精度は、人物距離画像データが有する距離情報の精度を表しており、上述した距離精度と同様に「高」、「中」、「低」のいずれかに設定される。尚、複数の人物それぞれに対応する人物情報を予め設定できるものとする。以下、ライティング効果リストを決定する処理の詳細について説明する。
本実施形態は、第１実施形態と比較して、Ｓ４０２のライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部３０２は、距離画像データに基づいて距離精度を設定した後、予め設定された人物情報に基づいて距離精度を更新する。尚、人物情報には、人物名、人物画像データ、人物距離画像データ、人物距離精度が含まれているものとする。人物情報の例を図１６に示す。人物画像データは、少なくとも人物の顔を含む画像を表す画像データであり、対応する人物の顔領域が設定されている。人物距離画像データは、人物画像データに対応する距離画像データである。人物距離精度は、人物距離画像データが有する距離情報の精度を表しており、上述した距離精度と同様に「高」、「中」、「低」のいずれかに設定される。尚、複数の人物それぞれに対応する人物情報を予め設定できるものとする。以下、ライティング効果リストを決定する処理の詳細について説明する。
【0076】
＜ライティング効果リストを決定する処理（Ｓ４０２）＞
図１７は、ライティング効果リストを決定する処理を示すフローチャートである。Ｓ１７０１において、ライティング効果リスト決定部３０２は、距離画像データに基づいて、距離精度を設定する。Ｓ１７０１の処理は、第１実施形態におけるＳ５０１からＳ５０６までの処理と同等であるため説明を省略する。
図１７は、ライティング効果リストを決定する処理を示すフローチャートである。Ｓ１７０１において、ライティング効果リスト決定部３０２は、距離画像データに基づいて、距離精度を設定する。Ｓ１７０１の処理は、第１実施形態におけるＳ５０１からＳ５０６までの処理と同等であるため説明を省略する。
【0077】
Ｓ１７０２において、ライティング効果リスト決定部３０２は、カラー画像に含まれる人物の判定を行う。まず、ライティング効果リスト決定部３０２は、カラー画像から顔領域を抽出する。抽出した顔領域における人物の顔と、予め設定された人物情報が表す人物の顔と、の類似度を導出し、最も類似度の高い顔を表す人物情報を選択する。類似度は、カラー画像から抽出した顔領域と、人物画像データが表す人物画像における顔領域と、の差分に基づいて導出する。選択された人物情報の類似度が所定の値以上である場合は、カラー画像における被写体に、選択された人物情報を対応付ける。選択された人物情報の類似度が所定の値未満である場合は、カラー画像における被写体に対応する人物情報はないと判定する。また、カラー画像から顔領域が抽出されない場合も、カラー画像における被写体に対応する人物情報はないと判定する。
【0078】
Ｓ１７０３において、ライティング効果リスト決定部３０２は、カラー画像における被写体に人物情報が対応付けられているか否かを判定する。カラー画像における被写体に人物情報が対応付けられている場合はＳ１７０４に進み、カラー画像における被写体に人物情報が対応付けられていない場合はＳ１７０８に進む。Ｓ１７０４において、ライティング効果リスト決定部３０２は、人物情報に含まれる人物距離精度と、Ｓ１７０１において設定された距離精度と、を比較する。Ｓ１７０１において設定された距離精度よりも人物距離精度の方が低い場合はＳ１７０５に進み、Ｓ１７０１において設定された距離精度よりも人物距離精度の方が高い場合はＳ１７０６に進む。
【0079】
Ｓ１７０５において、ライティング効果リスト決定部３０２は、人物情報に含まれる人物画像データ、人物距離画像データ、人物距離精度を更新する。人物画像データはカラー画像データに基づいて更新する。顔領域に基づいてカラー画像を人物画像に合わせて変形することにより、変形したカラー画像を表す画像データを新たな人物画像データとする。人物距離画像データは距離画像データに基づいて更新する。距離画像をカラー画像と同様に変形することにより、変形した距離画像を表す画像データを新たな人物距離画像データとする。人物距離精度は、Ｓ１７０１において設定された距離精度に更新する。以上のように人物情報を更新することにより、人物情報に含まれる距離精度を高めることができる。
【0080】
Ｓ１７０６において、ライティング効果リスト決定部３０２は、人物距離画像データに基づいて、距離画像データを補正する。まず、ライティング効果リスト決定部３０２は、人物画像をカラー画像に合わせて変形するためのパラメータを導出する。導出したパラメータに基づいて、人物距離画像を距離画像に合わせて変形する。ここで導出するパラメータは、人物画像とカラー画像とから抽出した特徴点に基づいた射影変換パラメータである。変形した人物距離画像を表す画像データを新たな距離画像データとする。Ｓ１７０７において、ライティング効果リスト決定部３０２は、距離精度を人物距離精度の値に更新する。Ｓ１７０８において、ライティング効果リスト決定部３０２は、距離精度に基づいて、ライティング効果リストに含めるライティング効果を決定する。Ｓ１７０８の処理は、第１実施形態におけるＳ５０７の処理と同等であるため説明を省略する。
【0081】
＜第５実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、予め設定された人物情報に基づいて、距離精度を設定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
以上説明したように、本実施形態における情報処理装置は、予め設定された人物情報に基づいて、距離精度を設定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
【0082】
＜変形例＞
本実施形態においては、Ｓ１７０５において人物情報の更新を行ったが、Ｓ１７０５の処理を省略してもよい。
本実施形態においては、Ｓ１７０５において人物情報の更新を行ったが、Ｓ１７０５の処理を省略してもよい。
【0083】
また、本実施形態においては、Ｓ１７０６において人物距離画像を変形し、変形した人物距離画像を新たな距離画像としたが、変形した人物距離画像と距離画像とを合成して新たな距離画像としてもよい。
【0084】
また、Ｓ１７０６において、人物距離画像の距離値を距離画像の距離値に基づいて補正した後に、人物距離画像を変形してもよい。例えば、人物距離画像の顔領域における距離値の平均値と、距離画像の顔領域における距離値の平均値と、の差が小さくなる、又は、一致するように人物距離画像の距離値を補正してもよい。
【0085】
［第６実施形態］
本実施形態においては、ユーザ操作に基づいて撮像方法を設定する。また、設定された撮像方法に基づいてライティング効果リストを決定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
本実施形態においては、ユーザ操作に基づいて撮像方法を設定する。また、設定された撮像方法に基づいてライティング効果リストを決定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
【0086】
＜情報処理装置１が実行する処理＞
本実施形態においては、カラー画像データを得るための撮像における撮像方法に基づいて、距離精度を設定する。図１８は、本実施形態において情報処理装置１が実行する処理を示すフローチャートである。Ｓ１８０１において、画像データ取得部３０１は、入出力部３０９から取得したユーザ操作に基づいて、画像データを取得するための撮像方法を設定する。本実施形態においては、情報処理装置１のディスプレイ面に備えられるインカメラ２０１と、情報処理装置１の背面に備えられるメインカメラ２０２と、のどちらで撮像を行うかを選択する。尚、本実施形態において、インカメラ２０１は距離情報を取得できない単眼カメラとする。また、メインカメラ２０２は視差情報に基づいて距離画像データを取得できるカメラとする。
本実施形態においては、カラー画像データを得るための撮像における撮像方法に基づいて、距離精度を設定する。図１８は、本実施形態において情報処理装置１が実行する処理を示すフローチャートである。Ｓ１８０１において、画像データ取得部３０１は、入出力部３０９から取得したユーザ操作に基づいて、画像データを取得するための撮像方法を設定する。本実施形態においては、情報処理装置１のディスプレイ面に備えられるインカメラ２０１と、情報処理装置１の背面に備えられるメインカメラ２０２と、のどちらで撮像を行うかを選択する。尚、本実施形態において、インカメラ２０１は距離情報を取得できない単眼カメラとする。また、メインカメラ２０２は視差情報に基づいて距離画像データを取得できるカメラとする。
【0087】
Ｓ１８０２において、画像データ取得部３０１は、設定されたカメラから画像データを取得する。Ｓ１８０３において、ライティング効果リスト決定部３０２は、撮像方法に基づいて、距離精度を設定する。また、ライティング効果リスト決定部３０２は、距離精度に基づいて、有効なライティング効果を含むライティング効果リストを決定する。距離精度の設定方法は、第２実施形態において説明した内容と同様に行うことができる。例えば、撮像に用いるカメラをインカメラ２０１に設定した場合、インカメラ２０１は距離情報を取得できないため、距離精度は「低」と判定される。また、撮像に用いるカメラをメインカメラ２０２に設定した場合、メインカメラ２０２は視差に基づいて距離画像データを取得するため、距離精度は「中」と判定される。
【0088】
Ｓ１８０４において、ライティング効果選択部３０３は、入出力部３０９から取得したユーザ操作に基づいて、ライティング効果リストに含まれるライティング効果から１つのライティング効果を選択する。また、ライティング効果選択部３０３は、ライティング効果を選択後に、ユーザ操作に基づいて仮想光源の位置などのパラメータを設定する。ユーザ操作によりライティング効果が選択されていない場合は、初期状態として予め定められたライティング効果を選択する。Ｓ１８０５において、ライティング処理部３０４は、選択されたライティング効果をカラー画像に付与する。ライティング効果をカラー画像に付与する処理は、第１実施形態におけるＳ４０４の処理と同様である。
【0089】
Ｓ１８０６において、画像表示制御部３０５は、補正画像を入出力部３０９に表示する。Ｓ１８０７において、ライティング効果表示制御部３０６は、ライティング効果リストに含まれるライティング効果を入出力部３０９に表示する。画像表示制御部３０５により表示される表示画像の例を図１９に示す。図１９（ａ）は、撮像に用いるカメラとしてメインカメラ２０２を選択した場合の表示画像の例である。この場合、距離精度「中」に応じたアイコンが表示される。図１９（ｂ）は撮像に用いるカメラとしてインカメラ２０１を選択した場合の表示画像の例である。この場合、距離精度「低」に応じたアイコンが表示される。尚、カメラ切り替え操作を表すアイコン１９０１がユーザにより選択されることによって撮像方法を変更することができる。
【0090】
Ｓ１８０８において、ライティング処理部３０４は、入出力部３０９から取得したユーザ操作に基づいて、補正画像データを記憶部３０７に記録するか否かを判定する。補正画像データを記録する操作が検出された場合はＳ１８１０に進み、補正画像データを記録する操作が検出されない場合はＳ１８０９に進む。Ｓ１８０９において、ライティング処理部３０４は、入出力部３０９から取得したユーザ操作に基づいて、撮像方法を変更するか否かを判定する。撮像方法を変更する操作が検出された場合はＳ１８０１に進み、撮像方法を変更する操作が検出されない場合はＳ１８０２に進む。Ｓ１８１０において、ライティング処理部３０４は、記憶部３０７に補正画像データを記録し、処理を終了する。
【0091】
＜第６実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、カラー画像データを得るための撮像における撮像方法に基づいて、距離精度を設定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
以上説明したように、本実施形態における情報処理装置は、カラー画像データを得るための撮像における撮像方法に基づいて、距離精度を設定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
【0092】
＜変形例＞
本実施形態においては、インカメラ２０１を距離情報を取得できないカメラとし、メインカメラ２０２を視差情報に基づいて距離画像データを取得するカメラとしたが、カメラの組み合わせはこれに限られない。距離情報を取得するために被写体に光を投影するカメラをインカメラ２０１もしくはメインカメラ２０２としてもよい。あるいは、３つ以上のカメラを切り替えるようにしてもよい。
本実施形態においては、インカメラ２０１を距離情報を取得できないカメラとし、メインカメラ２０２を視差情報に基づいて距離画像データを取得するカメラとしたが、カメラの組み合わせはこれに限られない。距離情報を取得するために被写体に光を投影するカメラをインカメラ２０１もしくはメインカメラ２０２としてもよい。あるいは、３つ以上のカメラを切り替えるようにしてもよい。
【0093】
また、本実施形態においては、撮像方法としてインカメラ２０１とメインカメラ２０２とのどちらを使用するかに応じてライティング効果リストを決定したが、メインカメラ２０２使用時の撮像モードに応じてライティング効果リストを決定してもよい。本実施形態においては、メインカメラ２０２は視差情報に基づいて距離画像データを取得できるカメラであり、メインカメラ２０２として複数のカメラを備えている。さらに、メインカメラ２０２使用時の撮像モードとして、１つのカメラで撮像し距離情報を取得可能な単眼撮像モードと、複数のカメラで撮像し距離情報を取得可能な多眼撮像モードとを備えるものとする。この場合、Ｓ１８０３において、ライティング効果リスト決定部３０２は、撮像モードに応じて距離精度を設定する。また、ライティング効果リスト決定部３０２は、距離精度に基づいて、有効なライティング効果を含むライティング効果リストを決定する。距離精度の設定方法は、第２実施形態において図２８を用いて説明した内容と同様に行うことができる。例えば、撮像モードが単眼撮像モードの場合は、距離情報を取得可能であるが複数のカメラで撮像をしないため、距離精度は「中」と判定される。また、撮像モードが多眼撮像モードの場合は、距離情報を取得可能であり、複数のカメラで撮像をするため、距離精度は「高」と判定される。図２９（ａ）は、撮像モードとして単眼撮像モードを選択した場合の表示画像の例である。この場合、距離精度「中」に応じたアイコンが表示される。図２９（ｂ）は撮像モードとして多眼撮像モードを選択した場合の表示画像の例である。この場合、距離精度「高」に応じたアイコンが表示される。尚、カメラ切り替え操作を表すアイコン２９０１がユーザにより選択されることによって撮像方法を変更することができる。撮像モード切り替え操作を表すアイコン２９０２がユーザにより選択されることによって撮像モードを変更することができる。尚、本実施形態において、インカメラ２０１は距離情報を取得できない単眼カメラとしたが、メインカメラ２０２と同様に視差情報に基づいて距離画像データを取得できるカメラとし、撮像モードを切り替えられるようにしてもよい。また、撮像モードとして１つのカメラで撮像し距離情報を取得しない撮像モードを備えてもよい。
【0094】
［第７実施形態］
上述した実施形態おいては、ユーザ操作に基づいて選択されたライティング効果に応じてライティング効果をカラー画像に付与した。本実施形態においては、ライティング効果をカラー画像に付与する処理において用いるパラメータ（以下、ライティングパラメータと呼ぶ）をユーザ操作に基づいて設定する。尚、本実施形態における情報処理装置１のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
上述した実施形態おいては、ユーザ操作に基づいて選択されたライティング効果に応じてライティング効果をカラー画像に付与した。本実施形態においては、ライティング効果をカラー画像に付与する処理において用いるパラメータ（以下、ライティングパラメータと呼ぶ）をユーザ操作に基づいて設定する。尚、本実施形態における情報処理装置１のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
【0095】
＜情報処理装置１の論理構成＞
図２０は、本実施形態における情報処理装置１の論理構成を示すブロック図である。情報処理装置１は、ＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３をワークメモリとして実行することによって、図２０に示す論理構成として機能する。尚、以下に示す処理の全てが必ずしもＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように情報処理装置１が構成されていてもよい。
図２０は、本実施形態における情報処理装置１の論理構成を示すブロック図である。情報処理装置１は、ＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３をワークメモリとして実行することによって、図２０に示す論理構成として機能する。尚、以下に示す処理の全てが必ずしもＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように情報処理装置１が構成されていてもよい。
【0096】
情報処理装置１は、画像データ取得部２００１と、パラメータ調整範囲設定部２００２と、ライティングパラメータ設定部２００３と、ライティング処理部２００４と、画像表示制御部２００５と、インタフェース表示制御部２００６と、を有する。画像データ取得部２００１は、入出力部２００９から取得したユーザ操作に基づいて、撮像部２００８又は記憶部２００７からカラー画像データと距離画像データとを取得する。ここで、記憶部２００７の機能は、例えば、記憶装置１１０により実現され、撮像部２００８の機能は撮像部１０６により実現され、入出力部２００９の機能はタッチパネルディスプレイ１０５により実現される。パラメータ調整範囲設定部２００２は、画像データに基づいて判定した距離精度に応じて、調整可能なライティングパラメータを設定する。
【0097】
ライティングパラメータ設定部２００３は、入出力部２００９から取得したユーザ操作に基づいて、ライティングパラメータを設定する。ライティング処理部２００４は、設定されたライティングパラメータに基づいて、ライティング効果をカラー画像に付与する。また、ライティング処理部２００４は、入出力部２００９から取得したユーザ操作に基づいて、記憶部２００７に補正画像データを記録する。
【0098】
画像表示制御部２００５は、補正画像を入出力部２００９に表示する。インタフェース表示制御部２００６は、ライティングパラメータを調整するためのスライダーやボタンなどのインタフェースを入出力部２００９に表示する。
【0099】
＜情報処理装置１が実行する処理＞
本実施形態においては、距離画像データに基づいて、ライティングパラメータの調整範囲を設定する。さらに、ユーザ操作に基づいて設定したライティングパラメータに応じて、カラー画像にライティング効果を付与する。図２１は、本実施形態において情報処理装置１が実行する処理を示すフローチャートである。
本実施形態においては、距離画像データに基づいて、ライティングパラメータの調整範囲を設定する。さらに、ユーザ操作に基づいて設定したライティングパラメータに応じて、カラー画像にライティング効果を付与する。図２１は、本実施形態において情報処理装置１が実行する処理を示すフローチャートである。
【0100】
Ｓ２１０１において、画像データ取得部２００１は、入出力部２００９から取得したユーザ操作に基づいて、記憶部２００７からカラー画像データと距離画像データとを取得する。Ｓ２１０２において、パラメータ調整範囲設定部２００２は、距離画像データに基づいて、距離精度を設定する。また、パラメータ調整範囲設定部２００２は、設定した距離精度に基づいて、ライティングパラメータの調整範囲を設定する。ライティングパラメータの調整範囲を設定する処理の詳細については後述する。
【0101】
Ｓ２１０３において、ライティングパラメータ設定部２００３は、入出力部２００９から取得したユーザ操作に基づいて、ライティングパラメータを設定する。ユーザ操作が行われない場合は、予め定められた値をライティングパラメータとして設定する。Ｓ２１０４において、ライティング処理部２００４は、設定されたライティングパラメータに基づいて、カラー画像を補正する。カラー画像を補正する処理の詳細は後述する。
【0102】
Ｓ２１０５において、画像表示制御部２００５は、補正画像を入出力部２００９に表示する。Ｓ２１０６において、インタフェース表示制御部２００６は、ライティングパラメータを調整するためのスライダーやボタンなどのインタフェースを入出力部２００９に表示する。インタフェースの表示については後に詳述する。Ｓ２１０７において、入出力部２００９から取得したユーザ操作に基づいて、補正画像データを記憶部２００７に記録するか否かを判定する。補正画像データを記録する操作が検出された場合はＳ２１０９に進み、補正画像データを記録する操作が検出されない場合はＳ２１０８に進む。
【0103】
Ｓ２１０８において、ライティング処理部２００４は、入出力部２００９から取得したユーザ操作に基づいて、ライティング効果を付与するカラー画像を変更するか否かを判定する。カラー画像を変更する操作が検出された場合はＳ２１０１に進み、カラー画像を変更する操作が検出されない場合はＳ２１０３に進む。Ｓ２１０９において、ライティング処理部２００４は、記憶部２００７に補正画像データを記録し、処理を終了する。
【0104】
＜ライティングパラメータの調整範囲を設定する処理（Ｓ２１０２）＞
図２２は、ライティングパラメータの調整範囲を設定する処理を示すフローチャートである。Ｓ２２０１において、パラメータ調整範囲設定部２００２は、距離画像データに基づいて、距離精度を設定する。Ｓ２２０１の処理は、第１実施形態におけるＳ５０１からＳ５０６までの処理と同等であるため説明を省略する。
図２２は、ライティングパラメータの調整範囲を設定する処理を示すフローチャートである。Ｓ２２０１において、パラメータ調整範囲設定部２００２は、距離画像データに基づいて、距離精度を設定する。Ｓ２２０１の処理は、第１実施形態におけるＳ５０１からＳ５０６までの処理と同等であるため説明を省略する。
【0105】
Ｓ２２０２において、パラメータ調整範囲設定部２００２は、距離精度に基づいて、ライティングパラメータの調整範囲を設定する。図２３（ａ）に、距離精度に基づくライティングパラメータの設定方法の例を示す。本実施形態においては、ライティングパラメータとして、ライティング効果を付与するか否かを示すＯＮ／ＯＦＦ、仮想光源の明るさ、仮想光源の位置にそれぞれ対応するパラメータを扱う。パラメータ調整範囲設定部２００２は、距離精度に応じてライティングパラメータをユーザが調整できるように設定する。具体的には、距離精度が高いほどユーザが調整できるパラメータを増やすように設定する。例えば、距離精度が「低」の場合は、ＯＮ／ＯＦＦのみを調整可能にする。距離精度が「中」の場合は、ＯＮ／ＯＦＦ、光源の明るさを調整可能にする。距離精度が「高」の場合は、ＯＮ／ＯＦＦ、光源の明るさ、光源の位置を調整可能にする。
【0106】
＜カラー画像を補正する処理（Ｓ２１０４）＞
図２４は、カラー画像を補正する処理を示すフローチャートである。Ｓ２４０１において、ライティング処理部２００４は、Ｓ２１０２において設定された距離精度を判定する。距離精度が「高」である場合はＳ２４０２に進み、距離精度が「高」である場合はＳ２４０２に進み、距離精度が「中」、「低」である場合はＳ２４０３に進む。Ｓ２４０２において、ライティング処理部２００４は、距離画像データに基づいて、法線画像データを生成する。Ｓ２４０２の処理は、第１実施形態におけるＳ８０３の処理と同等であるため説明を省略する。
図２４は、カラー画像を補正する処理を示すフローチャートである。Ｓ２４０１において、ライティング処理部２００４は、Ｓ２１０２において設定された距離精度を判定する。距離精度が「高」である場合はＳ２４０２に進み、距離精度が「高」である場合はＳ２４０２に進み、距離精度が「中」、「低」である場合はＳ２４０３に進む。Ｓ２４０２において、ライティング処理部２００４は、距離画像データに基づいて、法線画像データを生成する。Ｓ２４０２の処理は、第１実施形態におけるＳ８０３の処理と同等であるため説明を省略する。
【0107】
Ｓ２４０３において、ライティング処理部２００４は、簡易的に法線画像データを生成する。Ｓ２４０３の処理は、第１実施形態におけるＳ８０４の処理と同等であるため説明を省略する。Ｓ２４０４において、ライティング処理部２００４は、Ｓ２１０３において設定されたライティングパラメータに基づいて、カラー画像を補正する。ライティング処理部３０４は、式（７）に従って、カラー画像に対して、距離画像データ及び法線画像データに応じた陰影を加える。カラー画像の画素値をＩ、陰影が加えられたカラー画像の画素値をＩ’’とする。
Ｉ’’＝Ｉ＋ｗαＤ（ｄ）Ｈ（ｎ，Ｌ）Ｉ・・・式（７）
Ｉ’’＝Ｉ＋ｗαＤ（ｄ）Ｈ（ｎ，Ｌ）Ｉ・・・式（７）
【0108】
ここで、ｗはライティング効果のＯＮ／ＯＦＦに対応するパラメータであり、ＯＮの場合はｗ＝１、ＯＦＦの場合はｗ＝０とする。αは光源の明るさに対応するパラメータであり、ユーザ操作に応じて値を設定する。Ｌは被写体から仮想的な光源への向きを示す光源ベクトルに対応するパラメータであり、光源の位置に関するユーザ操作に応じて値を設定する。Ｄ（ｄ）、Ｈ（ｎ，Ｌ）、ｎについては第１実施形態と同様である。
【0109】
＜インタフェースの表示（Ｓ２１０６）＞
ここでは、Ｓ２１０６におけるインタフェースの表示について説明する。図２５にインタフェースの表示例を示す。本実施形態において、インタフェース表示制御部２００６は、ライティングパラメータを調整するためのスライダーやボタンを補正画像に重畳して表示する。距離精度が「低」の場合は、図２５（ａ）のように、ライティング効果のＯＮ／ＯＦＦを切り替えるボタンを表示する。距離精度が「中」の場合は、図２５（ｂ）のように、ＯＮ／ＯＦＦを切り替えるボタンと、光源の明るさを調整するためのスライダーと、を表示する。距離精度が「高」の場合は、図２５（ｃ）のように、ＯＮ／ＯＦＦを切り替えるボタンと、明るさを調整するスライダーと、光源の位置を調整するためのスライダーと、を表示する。入出力部２００９に表示されたインタフェースに対するユーザ操作により、ライティングパラメータを調整することができる。
ここでは、Ｓ２１０６におけるインタフェースの表示について説明する。図２５にインタフェースの表示例を示す。本実施形態において、インタフェース表示制御部２００６は、ライティングパラメータを調整するためのスライダーやボタンを補正画像に重畳して表示する。距離精度が「低」の場合は、図２５（ａ）のように、ライティング効果のＯＮ／ＯＦＦを切り替えるボタンを表示する。距離精度が「中」の場合は、図２５（ｂ）のように、ＯＮ／ＯＦＦを切り替えるボタンと、光源の明るさを調整するためのスライダーと、を表示する。距離精度が「高」の場合は、図２５（ｃ）のように、ＯＮ／ＯＦＦを切り替えるボタンと、明るさを調整するスライダーと、光源の位置を調整するためのスライダーと、を表示する。入出力部２００９に表示されたインタフェースに対するユーザ操作により、ライティングパラメータを調整することができる。
【0110】
＜第７実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、距離精度に基づいて、ライティングパラメータの調整範囲を設定する。このように、距離精度に応じてライティングパラメータの調整範囲を制限することにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
以上説明したように、本実施形態における情報処理装置は、距離精度に基づいて、ライティングパラメータの調整範囲を設定する。このように、距離精度に応じてライティングパラメータの調整範囲を制限することにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
【0111】
＜変形例＞
本実施形態においては、距離精度に応じて調整可能なパラメータの数を変えたが、距離精度に応じてパラメータの調整可能範囲を変えてもよい。例えば、距離精度に応じて光源の位置の調整範囲を切り替えてもよい。図２３（ｂ）に、距離精度に基づくライティングパラメータの設定方法の例を示す。また、距離精度が「中」の場合の表示画像の例を図２５（ｄ）に示す。この例においては、距離精度が「中」の場合は、光源の位置を狭い範囲において調整できるように設定する。図２５（ｄ）に示す距離精度が「中」の場合の表示画像は、図２５（ｃ）に示す距離精度が「高」の場合の表示画像よりも、光源の位置を調整するためのスライダーの可動範囲が狭くなっている。
本実施形態においては、距離精度に応じて調整可能なパラメータの数を変えたが、距離精度に応じてパラメータの調整可能範囲を変えてもよい。例えば、距離精度に応じて光源の位置の調整範囲を切り替えてもよい。図２３（ｂ）に、距離精度に基づくライティングパラメータの設定方法の例を示す。また、距離精度が「中」の場合の表示画像の例を図２５（ｄ）に示す。この例においては、距離精度が「中」の場合は、光源の位置を狭い範囲において調整できるように設定する。図２５（ｄ）に示す距離精度が「中」の場合の表示画像は、図２５（ｃ）に示す距離精度が「高」の場合の表示画像よりも、光源の位置を調整するためのスライダーの可動範囲が狭くなっている。
【0112】
また、本実施形態においては、距離画像データに基づいて距離精度を判定したが、判定方法には上述した実施形態における別の方法を利用してもよい。
【0113】
［第８実施形態］
第７実施形態おいては、距離精度に基づいて、ライティングパラメータの調整範囲を設定した。本実施形態においては、撮像方法に基づいて、ライティングパラメータの調整範囲を設定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第７実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第７実施形態とで異なる部分を主に説明する。尚、第７実施形態と同一の構成については、同一の符号を付して説明する。
第７実施形態おいては、距離精度に基づいて、ライティングパラメータの調整範囲を設定した。本実施形態においては、撮像方法に基づいて、ライティングパラメータの調整範囲を設定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第７実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第７実施形態とで異なる部分を主に説明する。尚、第７実施形態と同一の構成については、同一の符号を付して説明する。
【0114】
＜情報処理装置１が実行する処理＞
図２６は、本実施形態において情報処理装置１が実行する処理を示すフローチャートである。Ｓ２６０１において、画像データ取得部２００１は、入出力部２００９から取得したユーザ操作に基づいて、画像データを取得するための撮像方法を設定する。本実施形態においては、情報処理装置１のディスプレイ面に備えられるインカメラ２０１と、情報処理装置１の背面に備えられるメインカメラ２０２と、のどちらで撮像を行うかを選択する。尚、本実施形態において、インカメラ２０１は距離情報を取得できない単眼カメラとする。また、メインカメラ２０２は視差情報に基づいて距離画像データを取得できるカメラとする。
図２６は、本実施形態において情報処理装置１が実行する処理を示すフローチャートである。Ｓ２６０１において、画像データ取得部２００１は、入出力部２００９から取得したユーザ操作に基づいて、画像データを取得するための撮像方法を設定する。本実施形態においては、情報処理装置１のディスプレイ面に備えられるインカメラ２０１と、情報処理装置１の背面に備えられるメインカメラ２０２と、のどちらで撮像を行うかを選択する。尚、本実施形態において、インカメラ２０１は距離情報を取得できない単眼カメラとする。また、メインカメラ２０２は視差情報に基づいて距離画像データを取得できるカメラとする。
【0115】
Ｓ２６０２において、画像データ取得部３０１は、設定されたカメラから画像データを取得する。Ｓ２６０３において、パラメータ調整範囲設定部２００２は、撮像方法に基づいて、距離精度を設定し、設定した距離精度に基づいて、ライティングパラメータの調整範囲を設定する。撮像方法に基づく距離精度の設定方法は第６実施形態と同等であるため説明を省略する。また、ライティングパラメータの調整範囲の設定方法は第７実施形態と同等であるため説明を省略する。Ｓ２６０４において、ライティングパラメータ設定部２００３は、入出力部２００９から取得したユーザ操作に基づいて、ライティングパラメータを設定する。ユーザ操作が行われていない場合は、予め定められた値をライティングパラメータとして設定する。
【0116】
Ｓ２６０５において、ライティング処理部２００４は、設定されたライティングパラメータに基づいて、カラー画像を補正する。カラー画像を補正する処理は第７実施形態と同等であるため説明を省略する。Ｓ２６０６において、画像表示制御部２００５は、補正画像を入出力部２００９に表示する。
【0117】
Ｓ２６０７において、インタフェース表示制御部２００６は、ライティングパラメータを調整するためのインタフェースを表示する。表示画像の例を図２７に示す。図２７（ａ）は、撮像するカメラとしてメインカメラ２０２を選択した場合の表示画像の例である。この場合、距離精度「中」に応じたインタフェースが表示される。図２７（ｂ）は、撮像するカメラとしてインカメラ２０１を選択した場合の表示画像の例である。この場合、距離精度「低」に応じたインタフェースが表示される。尚、カメラ切り替え操作を表すアイコン２７０１がユーザにより選択されることによって、撮像方法を変更する。
【0118】
Ｓ２６０８において、ライティング処理部２００４は、入出力部２００９から取得したユーザ操作に基づいて、補正画像データを記憶部２００７に記録するか否かを判定する。補正画像データを記録する操作が検出された場合はＳ２６１０に進み、補正画像データを記録する操作が検出されない場合はＳ２６０９に進む。Ｓ２６０９において、ライティング処理部２００４は、入出力部２００９から取得したユーザ操作に基づいて、撮像方法を変更するか否かを判定する。撮像方法を変更する操作が検出された場合はＳ２６０１に進み、撮像方法を変更する操作が検出されない場合はＳ２６０２に進む。Ｓ２６１０において、ライティング処理部３０４は、記憶部２００７に補正画像データを記録し、処理を終了する。
【0119】
＜第８実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、カラー画像データを得るための撮像における撮像方法に基づいて、ライティングパラメータの調整範囲を設定する。このように、撮像方法に応じてライティングパラメータの調整範囲を制限することにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
以上説明したように、本実施形態における情報処理装置は、カラー画像データを得るための撮像における撮像方法に基づいて、ライティングパラメータの調整範囲を設定する。このように、撮像方法に応じてライティングパラメータの調整範囲を制限することにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
【0120】
＜変形例＞
本実施形態においては、インカメラ２０１を距離情報を取得できないカメラとし、メインカメラ２０２を視差情報に基づいて距離画像データを取得するカメラとしたが、カメラの組み合わせはこれに限られない。距離情報を取得するために被写体に光を投影するカメラをインカメラ２０１もしくはメインカメラ２０２としてもよい。あるいは、３つ以上のカメラを切り替えるようにしてもよい。
本実施形態においては、インカメラ２０１を距離情報を取得できないカメラとし、メインカメラ２０２を視差情報に基づいて距離画像データを取得するカメラとしたが、カメラの組み合わせはこれに限られない。距離情報を取得するために被写体に光を投影するカメラをインカメラ２０１もしくはメインカメラ２０２としてもよい。あるいは、３つ以上のカメラを切り替えるようにしてもよい。
【0121】
［その他の実施形態］
上述した実施形態において、情報処理装置１のハードウェア構成は、図１（ａ）に示した構成であったが、情報処理装置１のハードウェア構成は上記の例に限られない。例えば、情報処理装置１のハードウェア構成は、図１（ｂ）に示す構成であってもよい。情報処理装置１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＶＣ（ビデオカード）１１１と、汎用Ｉ／Ｆ１１４と、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１１８と、を有する。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、記憶装置１１０などに格納されたＯＳや各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。汎用Ｉ／Ｆ１１４には、シリアルバス１１５を介して、マウスやキーボードなどの入力デバイス１１６や撮像装置１１７が接続される。ＳＡＴＡＩ／Ｆ１１８には、シリアルバス１１９を介して、記憶装置１１０が接続される。ＶＣ１１１には、シリアルバス１１２を介して、ディスプレイ１１３が接続される。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインタフェース）をディスプレイ１１３に表示し、入力デバイス１１６を介して得られたユーザの指示を表す入力情報を受信する。図１（ｂ）に示す情報処理装置１は、例えば、デスクトップ型のＰＣによって実現される。尚、情報処理装置１は、撮像装置１１７と一体となったデジタルカメラや、ディスプレイ１１３と一体となったＰＣなどによっても実現される。
上述した実施形態において、情報処理装置１のハードウェア構成は、図１（ａ）に示した構成であったが、情報処理装置１のハードウェア構成は上記の例に限られない。例えば、情報処理装置１のハードウェア構成は、図１（ｂ）に示す構成であってもよい。情報処理装置１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＶＣ（ビデオカード）１１１と、汎用Ｉ／Ｆ１１４と、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１１８と、を有する。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、記憶装置１１０などに格納されたＯＳや各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。汎用Ｉ／Ｆ１１４には、シリアルバス１１５を介して、マウスやキーボードなどの入力デバイス１１６や撮像装置１１７が接続される。ＳＡＴＡＩ／Ｆ１１８には、シリアルバス１１９を介して、記憶装置１１０が接続される。ＶＣ１１１には、シリアルバス１１２を介して、ディスプレイ１１３が接続される。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインタフェース）をディスプレイ１１３に表示し、入力デバイス１１６を介して得られたユーザの指示を表す入力情報を受信する。図１（ｂ）に示す情報処理装置１は、例えば、デスクトップ型のＰＣによって実現される。尚、情報処理装置１は、撮像装置１１７と一体となったデジタルカメラや、ディスプレイ１１３と一体となったＰＣなどによっても実現される。
【0122】
また、上述した実施形態においては、情報処理装置１は撮像部１０６としてメインカメラ２０２とインカメラ２０１との２つのカメラを有していたが、撮像部１０６は上記の例に限られない。例えば、情報処理装置１は、メインカメラ２０２のみであってもよい。
【0123】
また、上述した実施形態においては、ライティング効果を付与する対象の画像はカラー画像としたが、グレースケール画像であってもよい。
【0124】
また、上述した実施形態における記憶装置１１０はＨＤＤであったが、記憶装置１１０は上記の例に限られない。例えば、ＳＳＤ（ソリッドステートドライブ）であってもよい。また、記憶装置１１０は、メディア（記録媒体）と、当該メディアへのアクセスを行うための外部記憶ドライブとによっても実現される。メディアには、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリなどを用いることができる。
【0125】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0126】
１ 情報処理装置
３０１ 画像データ取得部
３０２ ライティング効果リスト決定部
３０１ 画像データ取得部
３０２ ライティング効果リスト決定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】