特開 2023-184093 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023184093

(43)【公開日】2023-12-28

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/90 20170101AFI20231221BHJP

   G06T 7/00 20170101ALI20231221BHJP

   G06V 10/82 20220101ALI20231221BHJP

【ＦＩ】

G06T7/90 D

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2022098026

(22)【出願日】2022-06-17

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】三原 基

(72)【発明者】

【氏名】森内 優介

(72)【発明者】

【氏名】上森 丈士

(72)【発明者】

【氏名】孫 楽公

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA02

5L096FA15

5L096GA40

5L096HA11

5L096KA04

(57)【要約】

【課題】入力画像を物体色画像と陰影画像に高精度に分離できるようにする。
【解決手段】画像処理装置は、入力画像の特徴量に基づいて、入力画像に含まれる物体の色成分を画素値として持つ物体色画像を推定する物体色推定部と、入力画像の特徴量に基づいて、入力画像の陰影成分を画素値として持つ陰影画像を推定する陰影推定部とを備える。陰影推定部は、入力画像の陰影成分が取りうる色空間を、所定の色条件で決定される色空間に制限して陰影画像を推定する。本開示の技術は、例えば、入力画像を物体色画像と陰影画像に分離する画像処理装置等に適用できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力画像の特徴量に基づいて、前記入力画像に含まれる物体の色成分を画素値として持つ物体色画像を推定する物体色推定部と、
前記入力画像の特徴量に基づいて、前記入力画像の陰影成分を画素値として持つ陰影画像を推定する陰影推定部と
を備え、
前記陰影推定部は、前記入力画像の陰影成分が取りうる色空間を、所定の色条件で決定される色空間に制限して前記陰影画像を推定する
画像処理装置。

【請求項2】

前記所定の色条件としてN個（N＞１）の基底色が与えられ、
前記陰影推定部は、前記入力画像の陰影成分が取りうる色空間を、前記N個の基底色で表現される色空間に制限して前記陰影画像を推定する
請求項１に記載の画像処理装置。

【請求項3】

前記陰影推定部は、
所定の基底色に対応する陰影画像を生成するN個の陰影画像生成部と、
前記N個の陰影画像生成部により生成されたN個の基底色の陰影画像を合成する陰影合成部と
を有する
請求項２に記載の画像処理装置。

【請求項4】

前記陰影画像生成部は、
前記入力画像の特徴量に基づいて陰影強度画像を推定する陰影強度画像推定部と、
前記所定の基底色を色パラメータに変換する色パラメータ変換部と
を有する
請求項３に記載の画像処理装置。

【請求項5】

前記基底色は、色温度で与えられる
請求項２に記載の画像処理装置。

【請求項6】

前記基底色は、ｘｙ色度図上のｘｙ座標値で与えられる
請求項２に記載の画像処理装置。

【請求項7】

前記基底色は、RGBの色パラメータで与えられる
請求項２に記載の画像処理装置。

【請求項8】

前記所定の色条件で決定される色空間は、CIE昼光モデルに従う空間である
請求項１に記載の画像処理装置。

【請求項9】

前記所定の色条件として、前記CIE昼光モデルの基底関数が与えられる
請求項８に記載の画像処理装置。

【請求項10】

前記陰影推定部は、
前記CIE昼光モデルの第１の基底関数の係数を格納した第１の係数画像を推定する第１の係数画像推定部と、
前記CIE昼光モデルの第２の基底関数の係数を格納した第２の係数画像を推定する第２の係数画像推定部と、
前記CIE昼光モデルの第３の基底関数の係数を格納した第３の係数画像を推定する第３の係数画像推定部と
前記第１の係数画像ないし前記第３の係数画像を合成し、陰影の分光分布画像を生成する合成部と
前記陰影の分光分布画像を、Ｒ，Ｇ，Ｂの分光感度関数で畳み込むことにより、前記陰影画像に変換する分光感度適用部と
を有する
請求項９に記載の画像処理装置。

【請求項11】

前記所定の色条件は、前記入力画像の撮影時刻である
請求項１に記載の画像処理装置。

【請求項12】

前記撮影時刻に応じて、直達光に対応する色パラメータと、大域光に対応する色パラメータとに変換され、
前記直達光に対応する色パラメータを用いた第１の色の陰影画像を生成する第１の陰影画像生成部と、
前記大域光に対応する色パラメータを用いた第２の色の陰影画像を生成する第２の陰影画像生成部と、
前記第１の色の陰影画像と前記第２の色の陰影画像を合成する陰影合成部と
を有する
請求項１１に記載の画像処理装置。

【請求項13】

前記入力画像の特徴量を抽出する特徴量抽出部をさらに備える
請求項１に記載の画像処理装置。

【請求項14】

前記物体色推定部で推定された前記物体色画像を前記入力画像として前記特徴量抽出部に再度入力する処理が、所定の終了条件を満たすまで繰り返し実行される
請求項１３に記載の画像処理装置。

【請求項15】

前記物体色推定部で推定された前記物体色画像と、前記陰影推定部で推定された前記陰影画像とを用いて、陰影強度が調整された陰影処理画像を生成する陰影処理部をさらに備え、
前記陰影処理画像を前記入力画像として前記特徴量抽出部に再度入力する処理が、所定の終了条件を満たすまで繰り返し実行される
請求項１３に記載の画像処理装置。

【請求項16】

前記陰影推定部は、
前記所定の色条件に対応する色の陰影画像を生成するN個（N＞１）の陰影画像生成部と、
ユーザの選択指示にしたがい、前記N個の陰影画像生成部により生成されたN枚の色の陰影画像の少なくとも１つを選択して合成する陰影合成部と
を有し、
前記陰影合成部により合成された画像と、前記物体色推定部により推定された物体色画像とが合成される
請求項１に記載の画像処理装置。

【請求項17】

前記物体色推定部と前記陰影推定部には、学習処理により求められたパラメータを用いたCNN予測器が用いられる
請求項１に記載の画像処理装置。

【請求項18】

画像処理装置が、
入力画像の特徴量に基づいて、前記入力画像に含まれる物体の色成分を画素値として持つ物体色画像を推定し、
前記入力画像の特徴量に基づいて、前記入力画像の陰影成分を画素値として持つ陰影画像を推定し、
前記陰影画像は、前記入力画像の陰影成分が取りうる色空間を、所定の色条件で決定される色空間に制限して推定される
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置および画像処理方法に関し、特に、入力画像を物体色画像と陰影画像に高精度に分離できるようにした画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

入力画像を、物体色画像（反射率画像などとも呼ばれる。）と陰影画像に分離する固有画像分解技術がある。例えば非特許文献１には、畳み込みニューラルネットワーク（Convolutional Neural Network、以下、CNNと称する。）を用いて、物体色画像と陰影画像を推定する技術が開示されている。非特許文献２では、陰影画像をグレースケールで推定することで、物体色画像と陰影画像に分離する技術が開示されている。

【0003】

特許文献１には、画像の完全拡散成分を推定し、さらに補正を行うことにより物体色を得た後で、同じく推定した陰影やスペキュラーを、補正した物体色に適用することで、画質の改善を行う方法が開示されている。特許文献１では、完全拡散成分は光源色の成分を含んでいるため、被写体の分光情報をCIE昼光モデルなどに基づき推定した後に、完全拡散成分から光源色の影響を取り除き、物体色が復元されている。また、特許文献２のように、動画のエンコーディングにおいて圧縮率を向上させるための手段として、物体色画像の動画と、陰影画像の動画の分離を行うものもある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６００４４８１号公報

【特許文献2】米国特許第１０６５９７８７号明細書

【非特許文献】

【0005】

【非特許文献1】Narihira et al., Direct Intrinsics: Learning Albedo-Shading Decomposition by Convolutional Regression, CVPR 2015

【非特許文献2】Fan et al., Revisiting Deep Intrinsic Image Decompositions, CVPR 2018

【発明の概要】

【発明が解決しようとする課題】

【0006】

固有画像分解は、本質的に、１枚の入力画像から、物体色と陰影の２変数を求める不良設定問題であり、解は一意に定まらない。そのため、特許文献１では、対象物体が顔であって、対象物体の色が概ね既知であると仮定したり、非特許文献２では、白色光のみを仮定することで陰影画像をグレースケールで推定している。入力画像を物体色画像と陰影画像に分離する技術は、依然として改善の余地があり、物体色画像と陰影画像の分離を高精度に行う技術が期待されている。

【0007】

本開示は、このような状況に鑑みてなされたものであり、入力画像を物体色画像と陰影画像に高精度に分離できるようにするものである。

【課題を解決するための手段】

【0008】

本開示の一側面の画像処理装置は、入力画像の特徴量に基づいて、前記入力画像に含まれる物体の色成分を画素値として持つ物体色画像を推定する物体色推定部と、前記入力画像の特徴量に基づいて、前記入力画像の陰影成分を画素値として持つ陰影画像を推定する陰影推定部とを備え、前記陰影推定部は、前記入力画像の陰影成分が取りうる色空間を、所定の色条件で決定される色空間に制限して前記陰影画像を推定する。

【0009】

本開示の一側面の画像処理方法は、画像処理装置が、入力画像の特徴量に基づいて、前記入力画像に含まれる物体の色成分を画素値として持つ物体色画像を推定し、前記入力画像の特徴量に基づいて、前記入力画像の陰影成分を画素値として持つ陰影画像を推定し、前記陰影画像は、前記入力画像の陰影成分が取りうる色空間を、所定の色条件で決定される色空間に制限して推定される。

【0010】

本開示の一側面においては、入力画像の特徴量に基づいて、前記入力画像に含まれる物体の色成分を画素値として持つ物体色画像が推定され、前記入力画像の特徴量に基づいて、前記入力画像の陰影成分を画素値として持つ陰影画像が推定される。前記陰影画像は、前記入力画像の陰影成分が取りうる色空間を、所定の色条件で決定される色空間に制限して推定される。

【0011】

なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

【0012】

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

【図面の簡単な説明】

【0013】

【図1】本開示の画像処理装置の第１実施の形態の構成例を示すブロック図である。

【図2】ｘｙ色度図上で黒体放射軌跡を示す図である。

【図3】図１の陰影推定部の第１構成例を示すブロック図である。

【図4】N=2の場合の第１構成例に係る陰影推定部の構成例を示すブロック図である。

【図5】CNN予測器の構成を説明する図である。

【図6】N=3の場合の設定例を説明する図である。

【図7】第１構成例に係る陰影推定部における基底色の他の指定例を説明する図である。

【図8】第１構成例に係る陰影推定部における基底色の他の指定例を説明する図である。

【図9】N個の基底の色で表現される色空間の設定方法を説明する図である。

【図10】CIE昼光モデルの基底関数を説明する図である。

【図11】図１の陰影推定部の第２構成例を示すブロック図である。

【図12】図１の陰影推定部の第３構成例を示すブロック図である。

【図13】直達光と大域光のモデルを説明する図である。

【図14】教師データの構成例を説明する図である。

【図15】第１実施の形態の画像処理装置による物体色陰影分離処理を説明するフローチャートである。

【図16】本開示の画像処理装置の第２実施の形態の構成例を示すブロック図である。

【図17】第２実施の形態の画像処理装置による物体色陰影分離処理を説明するフローチャートである。

【図18】終了条件の例を説明する図である。

【図19】本開示の画像処理装置の第３実施の形態の構成例を示すブロック図である。

【図20】第３実施の形態の画像処理装置による物体色陰影分離処理を説明するフローチャートである。

【図21】カスケード構造とした第３実施の形態に係る画像処理装置の構成例を示すブロック図である。

【図22】CNN予測器のパラメータを学習する学習装置の構成例を示すブロック図である。

【図23】本開示の画像処理装置の第４実施の形態の構成例を示すブロック図である。

【図24】図２３の陰影推定部の詳細構成例を示すブロック図である。

【図25】図２３の陰影推定部の処理を説明する図である。

【図26】本開示の技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0014】

以下、添付図面を参照しながら、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．画像処理装置の第１実施の形態
２．陰影推定部の第１構成例
３．陰影推定部の第２構成例
４．陰影推定部の第３構成例
５．教師データの構成例
６．第１実施の形態の物体色陰影分離処理
７．画像処理装置の第２実施の形態
８．第２実施の形態の物体色陰影分離処理
９．画像処理装置の第３実施の形態
１０．第３実施の形態の物体色陰影分離処理
１１．学習装置の構成例
１２．画像処理装置の第４実施の形態
１３．コンピュータの構成例

【0015】

＜１．画像処理装置の第１実施の形態＞
図１は、本開示の画像処理装置の第１実施の形態の構成例を示すブロック図である。

【0016】

図１の画像処理装置１は、カラー画像である入力画像を、物体色画像と陰影画像に分離して出力する装置である。物体色画像とは、物体の色成分（反射率成分）を画素値として持つ画像であり、陰影画像は、光源（照明）等による陰影成分を画素値として持つ画像である。

【0017】

画像処理装置１は、特徴量抽出部１１、物体色推定部１２、陰影推定部１３、及び、色条件設定部１４を備える。

【0018】

特徴量抽出部１１は、入力画像の特徴量を抽出し、物体色推定部１２及び陰影推定部１３へ供給する。物体色推定部１２は、特徴量抽出部１１から供給される入力画像の特徴量に基づいて、入力画像に含まれる物体の色成分（反射率成分）を画素値として持つ物体色画像を推定して出力する。陰影推定部１３は、特徴量抽出部１１から供給される入力画像の特徴量に基づいて、入力画像の陰影成分を画素値として持つ陰影画像を推定して出力する。色条件設定部１４は、陰影画像を推定する際の色条件を設定し、陰影推定部１３に供給する。色条件の設定は、例えば、ユーザが指定した色条件に従って行われる。

【0019】

画像処理装置１は、陰影推定部１３において、陰影成分が取りうる解空間としての色空間を、すべてのRGB空間から、所定の色条件で決定される色空間へと制限して陰影画像を推定する点を特徴としている。例えば、自然界の光源色は黒体放射に従うことが多いため、推定される陰影色が黒体放射色に近くなるような制約が色条件設定部１４において色条件として与えられる。

【0020】

図２は、光の色を（ｘ，ｙ）の平面座標で表したｘｙ色度図を示している。

【0021】

黒体放射色は、図２に示されるように、ｘｙ色度図上で曲線状の黒体放射軌跡として表される。非特許文献“Design of advanced color: Temperature control system for HDTV applications, Journal of the Korean Physical Society”によれば、黒体放射軌跡は３次スプラインで近似可能である。

【0022】

画像処理装置１は、入力画像において観測されたシーンの照明色が、いくつかの基底となる色（以下、基底色とも称する。）の線形和で表されるものと仮定し、その和を最終的な陰影画像として推定する。複数の基底色で表現される色空間の基底の数（基底数）Nを２とし、色温度T₁＝３０００ケルビンと、T₂＝８０００ケルビンを基底とすると、それぞれの基底色で表される陰影画像を加算して得られる陰影画像が取りうる色空間は、図２に示されるように、色温度T₁＝３０００とT₂＝８０００の２つの基底色を端点とするような線分で表される。すなわち、陰影画像に出現する色は、基底数N=２の場合はｘｙ色度図上で２つの基底色を表す点どうしを結んだ直線状に必ず存在する。基底数N＞２の場合は、ｘｙ色度図上でN角形の内部に存在することになる。このように、複数の基底色で表現される色空間を、黒体放射色を表す色空間を近似する空間とすることにより、陰影画像の色を安定的に推定することができ、入力画像からの物体色画像と陰影画像の高精度な分離を実現する。

【0023】

＜２．陰影推定部の第１構成例＞
図３は、陰影推定部１３の第１構成例を示すブロック図である。

【0024】

第１構成例に係る陰影推定部１３は、第１の陰影画像生成部３１－１ないし第Nの陰影画像生成部３１－Nと、陰影合成部３２とを備える。陰影画像生成部３１の個数に対応するNは、１より大きい整数であり、陰影画像の色空間を規定する基底数に対応する。

【0025】

第１の陰影画像生成部３１－１ないし第Nの陰影画像生成部３１－Nそれぞれは、色条件設定部１４から色条件として供給される基底色が異なるが、同一の陰影画像生成部３１の構成であり、供給される基底色を用いて同一の処理を行う。陰影画像生成部３１の詳細説明は図４を参照して後述するが、陰影画像生成部３１は、陰影強度推定部４１と、色パラメータ変換部４２と、乗算部４３とを備え、所定の基底色に対応する陰影画像を生成する。

【0026】

第１の陰影画像生成部３１－１は、色条件設定部１４から供給される第１の基底の色に対応する第１の陰影画像（第１の色の陰影画像）を生成する。第２の陰影画像生成部３１－２（不図示）は、色条件設定部１４から供給される第２の基底の色に対応する第２の陰影画像（第２の色の陰影画像）を生成する。以下同様に、第Nの陰影画像生成部３１－Nは、色条件設定部１４から供給される第Nの基底の色に対応する第Nの陰影画像（第Nの色の陰影画像）を生成する。第１の色の陰影画像ないし第Nの色の陰影画像それぞれは、Ｒ，Ｇ、及びＢの３チャンネルの陰影画像となる。

【0027】

陰影合成部３２は、第１の陰影画像生成部３１－１ないし第Nの陰影画像生成部３１－Nそれぞれから供給される第１の色の陰影画像ないし第Nの色の陰影画像を合成することにより、陰影画像を生成（推定）して出力する。陰影画像の合成は、具体的には、Ｒ，Ｇ、及びＢのチャンネルごとに第１の色の陰影画像ないし第Nの色の陰影画像の対応画素を線形加算することによって行われる。出力となる陰影画像は、Ｒ，Ｇ、及びＢの３チャンネルのカラーで表現される。

【0028】

図４は、基底の選び方として、基底数Nを２（N=2）とし、図２に示したように、第１の基底として色温度T₁＝３０００ケルビン、第２の基底として色温度T₂＝８０００ケルビンが色条件設定部１４から供給される場合の第１構成例に係る陰影推定部１３の構成例を示している。

【0029】

第１の陰影画像生成部３１－１は、第１の陰影強度推定部４１－１、第１の色パラメータ変換部４２－１、及び、乗算部４３－１を有している。第１の陰影強度推定部４１－１には、特徴量抽出部１１で抽出された入力画像の特徴量が供給される。第１の色パラメータ変換部４２－１には、色条件設定部１４から、第１の基底として色温度T₁＝３０００ケルビンが色条件として供給される。

【0030】

第１の陰影強度推定部４１－１は、特徴量抽出部１１で抽出された入力画像の特徴量に基づいて、色条件設定部１４から供給される基底色に対応した１チャンネルの陰影成分の強度画像（以下、陰影強度画像と称する。）を推定する。推定された陰影強度画像は、乗算部４３－１に供給される。

【0031】

第１の色パラメータ変換部４２－１は、色条件設定部１４から供給される色温度T₁＝３０００を、第１の色パラメータに変換する。第１の色パラメータは、Ｒ(Red)，Ｇ(Green)、及びＢ(Blue)の３チャンネルの色パラメータ[ｇ_R(T₁),g_G(T₁),ｇ_B(T₁)]で表現される。変換されることにより生成された３チャンネルの色パラメータ[ｇ_R(T₁),g_G(T₁),ｇ_B(T₁)]は、乗算部４３－１に供給される。

【0032】

乗算部４３－１は、第１の陰影強度推定部４１－１で推定された１チャンネルの陰影強度画像に、Ｒ，Ｇ、またはＢの各チャンネルの色パラメータ[ｇ_R(T₁),g_G(T₁),ｇ_B(T₁)]を乗算することにより、第１の色パラメータで色が表現される第１の色の陰影画像を生成する。乗算部４３－１は、生成して得られた第１の色の陰影画像を、陰影合成部３２へ供給する。第１の色の陰影画像は、Ｒ，Ｇ、及びＢの３チャンネルの陰影画像となる。

【0033】

第２の陰影画像生成部３１－２は、第２の陰影強度推定部４１－２、第２の色パラメータ変換部４２－２、及び、乗算部４３－２を有している。第２の陰影強度推定部４１－２には、特徴量抽出部１１で抽出された入力画像の特徴量が供給される。第２の色パラメータ変換部４２－２には、色条件設定部１４から、第２の基底として色温度T₂＝８０００ケルビンが色条件として供給される。

【0034】

第２の陰影強度推定部４１－２は、特徴量抽出部１１で抽出された入力画像の特徴量に基づいて、色条件設定部１４から供給される基底色に対応した１チャンネルの陰影強度画像を推定する。推定された陰影強度画像は、乗算部４３－２に供給される。

【0035】

第２の色パラメータ変換部４２－２は、色条件設定部１４から供給される色温度T_２＝８０００を、第２の色パラメータに変換する。第２の色パラメータは、Ｒ，Ｇ、及びＢの３チャンネルの色パラメータ[ｇ_R(T₂),g_G(T₂),ｇ_B(T₂)]で表現される。変換されることにより生成された３チャンネルの色パラメータ[ｇ_R(T₂),g_G(T₂),ｇ_B(T₂)]は、乗算部４３－２に供給される。

【0036】

乗算部４３－２は、第２の陰影強度推定部４１－２で推定された１チャンネルの陰影強度画像に、Ｒ，Ｇ、またはＢの各チャンネルの色パラメータ[ｇ_R(T₂),g_G(T₂),ｇ_B(T₂)]を乗算することにより、第２の色パラメータで色が表現される第２の色の陰影画像を生成する。乗算部４３－２は、生成して得られた第２の色の陰影画像を、陰影合成部３２へ供給する。第２の色の陰影画像は、Ｒ，Ｇ、及びＢの３チャンネルの陰影画像となる。

【0037】

陰影合成部３２は、第１の陰影画像生成部３１－１から供給される第１の色の陰影画像と、第２の陰影画像生成部３１－２から供給される第２の色の陰影画像とを合成することにより、陰影画像を生成（推定）して出力する。

【0038】

第ｎの色パラメータ変換部４２－ｎ（ｎ＝１または２）が行う、色温度T_nから色パラメータ[ｇ_R(T_n),g_G(T_n),ｇ_B(T_n)]への変換について説明する。色パラメータ[ｇ_R(T_n),g_G(T_n),ｇ_B(T_n)]とは、いわゆるRGB値であり、Ｒ，Ｇ、及びＢそれぞれの色の強さの比率を表す。色温度T_nから色パラメータ[ｇ_R(T_n),g_G(T_n),ｇ_B(T_n)]への変換には、例えば、Planckの式やWeinのモデルを利用して求めることができる。以下では、Weinのモデルを利用した変換について説明する。

【0039】

Weinのモデルは、色温度がT_nであるとき、波長λにおいて黒体から発せられるエネルギI(λ, T_n)の関係を示したものであり、以下の式（１）で表すことができる。

【0040】

【数1】

【0041】

式（１）において、hはプランク定数を表し、例えばh=6.626×10^-34である。kはボルツマン定数であり、例えばk=1.3806×10^-23である。cは光速を表す定数であり、例えばc =2.9979×10⁸である。

【0042】

入力画像の取得にRGBの画素を備えるカメラを利用するとき、R,G,Bそれぞれのセンサ分光感度を、各色が近似的に、波長λ_R,λ_G,λ_Bにのみ狭帯域の波長感度を持つものとし、色温度がT_nであるときの波長λ_R,λ_G,λ_Bでのエネルギは、I(λ_R, T_n), I(λ_G, T_n), I(λ_B, T_n)で得られる。ここで、色パラメータｇ(T_n)＝[ｇ_R(T_n),g_G(T_n),ｇ_B(T_n)]は、g_G(T_n)を1とする場合、すなわち、陰影強度推定部４１から得られる1チャンネルの陰影強度画像が、R,G,Bの３チャンネルのうちのGチャンネルに相当するものとする場合、ｇ_R(T_n) , ｇ_B(T_n)は、

【数2】

によって得られる。λ_Rまたはλ_Bのどちらかをλ_Cとすると、色パラメータｇ_C(T_n) ＝｛λ_Cに対応するｇ_R(T_n)またはｇ_B(T_n)｝は、式（２）と解くことができる。

【数3】

【0043】

この色パラメータｇ(T_n)＝[ｇ_R(T_n),g_G(T_n),ｇ_B(T_n)]を、陰影強度推定部４１で得られた１チャンネルの陰影強度画像と乗算することで、色温度がT_nであるときの第nの色の陰影画像を生成することができる。

【0044】

＜CNN予測器の構成例＞
図５に示されるように、画像処理装置１は、特徴量抽出部１１と、物体色推定部１２と、陰影推定部１３の第１の陰影強度推定部４１－１ないし第Nの陰影強度推定部４１－Nを、CNNを用いたCNN予測器により実現することができる。CNN予測器は、所定の入力画像が入力された場合に、１枚の物体色画像と、基底数Nに応じたNチャンネルの陰影強度画像を出力するように学習される。CNN予測器により推定されたNチャンネル（N枚）の陰影強度画像は、第１の陰影強度推定部４１－１ないし第Nの陰影強度推定部４１－Nへ１チャンネルずつ供給される。

【0045】

CNN予測器の学習処理では、物体色推定部１２から得られる物体色画像と、陰影推定部１３から得られる陰影画像が、それぞれ、教師となる物体色画像と陰影画像に近づくように、CNN予測器のパラメータが最適化される。CNN予測器の後段の第１の色パラメータ変換部４２－１ないし第Nの色パラメータ変換部４２－N、乗算部４３－１ないし４３－N、及び、陰影合成部３２の演算もすべて微分可能であるため、誤差逆伝搬によるパラメータの最適化が可能である。学習処理により、例えば、第１の陰影強度推定部４１－１から出力される１チャンネルの陰影強度画像は、第１の基底色に対応するように学習され、第Nの陰影強度推定部４１－Nから出力される１チャンネルの陰影強度画像は、第Nの基底色に対応するように学習される。

【0046】

基底数Nを２（N=2）として、第１の基底を色温度T₁＝３０００ケルビン、第２の基底を色温度T₂＝８０００ケルビンとした場合、陰影画像が取り得る色空間は、図２に示したように、第１の基底である色温度T₁＝３０００ケルビンの点と、第２の基底である色温度T₂＝８０００ケルビンの点どうしを結んだ直線状の色となり、曲線状の黒体放射軌跡を近似した陰影画像となる。

【0047】

例えば、基底数Nを３（N=3）として、第１の基底の色温度T₁＝３０００ケルビンと、第２の基底の色温度T₂＝８０００ケルビンに加え、(x, y) = (0.33, 0.33)で表される無彩色を第３の基底とすると、陰影画像が取り得る色空間は、図６に示されるように、第１の基底ないし第３の基底それぞれを頂点とする三角形の内部の色となり、曲線状の黒体放射軌跡を近似した陰影画像となる。

【0048】

＜基底色の他の指定例＞
上述した例では、色条件設定部１４において、色条件として、色温度T_n（ｎ＝1,2,・・・,N）が指定され、第１の陰影画像生成部３１－ｎの第ｎの色パラメータ変換部４２－ｎに供給される構成とした。

【0049】

しかしながら、色条件の指定の方法は、この例に限定されず、その他の指定方法を採用してもよい。例えば、図７に示されるように、ｘｙ色度図上のｘｙ座標値で、基底色を指定するようにしてもよい。あるいはまた、図８に示されるように、上述したＲ，Ｇ、及びＢの３チャンネルの色パラメータ[ｇ_R(T_n),g_G(T_n),ｇ_B(T_n)]を直接、基底色として指定してもよい。色パラメータ[ｇ_R(T_n),g_G(T_n),ｇ_B(T_n)]を直接、基底色として指定する場合、第ｎの色パラメータ変換部４２－ｎは省略される。

【0050】

以上の第１構成例に係る陰影推定部１３によれば、陰影画像が取り得る色空間をN個の基底の色で表現される色空間へ制限することで、陰影画像を安定的に推定することができ、入力画像からの物体色画像と陰影画像の高精度な分離を実現する。

【0051】

上述した例では、陰影成分が取りうる解空間（色空間）を、すべてのRGB空間から、N個の基底の色で表現される色空間へと制約を設け、陰影画像を推定したが、この解空間は、実際の画像のｘｙ色度分布から設定してもよい。具体的には、図９に示されるように、陰影のデータセット、光源色のデータセット等の画像データセット６１から、ｘｙ色度図上における光源色の分布を求め、その分布を取り囲むような凸包が解空間となるようにN個の基底を設定してもよい。

【0052】

＜３．陰影推定部の第２構成例＞
次に、陰影推定部１３の第２構成例について説明する。

【0053】

上述した第１構成例では、陰影成分が取りうる解空間を、ｘｙ色度図上におけるN個の基底の色で表現される色空間へと制約を設けたが、第２構成例では、CIE昼光モデルに従うように制約が設けられる。

【0054】

CIE昼光モデルは、非特許文献“Deane B. Judd, David L. Macadam, and Gunter Wyszecki. Spectral distribution of typical daylight as a function of correlated color temperature. J. Opt. Soc. Am, 54(8):1031-1040, 1964.”によれば、波長λの分光分布I_CIE(λ)として、以下の式（３）のように表すことができる。
I_CIE(λ)＝M₁I₁(λ)＋M₂I₂(λ)＋M₃I₃(λ) ・・・・・・・（３）

【0055】

式（３）において、I₁(λ)，I₂(λ)，I₃(λ)は、実測に基づく昼光色を表現するための基底関数であり、図１０のように表現される。M₁，M₂，M₃は、光源色を指定するための係数（パラメータ）を表す。

【0056】

図１１は、陰影推定部１３の第２構成例を示すブロック図である。

【0057】

第２構成例に係る陰影推定部１３は、第１の陰影画像生成部３１－１ないし第３の陰影画像生成部３１－３と、陰影合成部３２とを備える。第１の陰影画像生成部３１－１ないし第３の陰影画像生成部３１－３それぞれは、係数画像推定部８１を有する同一の構成とされており、色条件設定部１４から色条件として供給される基底関数が異なるが、供給される基底関数を用いて同一の処理を行う。第１の陰影画像生成部３１－１ないし第３の陰影画像生成部３１－３は、それぞれ、基底関数I₁(λ)，I₂(λ)，I₃(λ)に対応する。陰影合成部３２は、スペクトル合成部９１と、カメラ分光感度適用部９２とを有する。

【0058】

第１の陰影画像生成部３１－１は、第１の係数画像推定部８１－１を有する。第１の係数画像推定部８１－１には、特徴量抽出部１１で抽出された入力画像の特徴量と、色条件設定部１４から、色条件としての基底関数I₁(λ)が供給される。

【0059】

第１の陰影画像生成部３１－１は、入力画像の特徴量と基底関数I₁(λ)とから、基底関数I₁(λ)の係数M₁を画素ごとに格納した第１の係数画像を推定し、スペクトル合成部９１に供給する。

【0060】

第２の陰影画像生成部３１－２は、第２の係数画像推定部８１－２を有する。第２の係数画像推定部８１－２には、特徴量抽出部１１で抽出された入力画像の特徴量と、色条件設定部１４から、色条件としての基底関数I₂(λ)が供給される。

【0061】

第２の陰影画像生成部３１－２は、入力画像の特徴量と基底関数I₂(λ)とから、基底関数I₂(λ)の係数M₂を画素ごとに格納した第２の係数画像を推定し、スペクトル合成部９１に供給する。

【0062】

第３の陰影画像生成部３１－３は、第３の係数画像推定部８１－３を有する。第３の係数画像推定部８１－３には、特徴量抽出部１１で抽出された入力画像の特徴量と、色条件設定部１４から、色条件としての基底関数I₃(λ)が供給される。

【0063】

第３の陰影画像生成部３１－３は、入力画像の特徴量と基底関数I₃(λ)とから、基底関数I₃(λ)の係数M₃を画素ごとに格納した第３の係数画像を推定し、スペクトル合成部９１に供給する。

【0064】

スペクトル合成部９１は、第１の係数画像ないし第３の係数画像の画素毎に式（３）の演算を行うことにより、CIE昼光モデルにおける波長λの分光分布I_CIE(λ)を画素毎に算出する。スペクトル合成部９１は、算出結果として、第１の係数画像ないし第３の係数画像を合成した、陰影の分光分布画像を、カメラ分光感度適用部９２へ供給する。

【0065】

カメラ分光感度適用部９２は、陰影の分光分布画像を、それぞれ、入力画像を撮影したカメラのＲ，Ｇ，Ｂの分光感度関数で畳み込むことにより、Ｒ，Ｇ、及びＢの３チャンネルの陰影画像に変換する。

【0066】

カメラ分光感度適用部９２は、変換することにより生成されたＲ，Ｇ、及びＢの３チャンネルの陰影画像を、陰影合成部３２が推定した陰影画像として出力する。

【0067】

以上の第２構成例に係る陰影推定部１３によれば、陰影画像がCIE昼光モデルに従うように制約を設けることで、陰影画像を安定的に推定することができ、入力画像からの物体色画像と陰影画像の高精度な分離を実現する。

【0068】

＜４．陰影推定部の第３構成例＞
次に、陰影推定部１３の第３構成例について説明する。

【0069】

上述した第１構成例では、陰影成分が取りうる解空間を、ｘｙ色度図上におけるN個の基底色で表現される色空間へと制約を設けた。第３構成例では、入力画像が屋外で撮影された画像である場合を想定し、入力画像が撮影された時刻（撮影時刻）に応じたモデルを設定して陰影成分を推定する構成が採用される。

【0070】

屋外において光源色は、主に太陽光源から物体に直接照明される直達光と、雲や周囲環境での多重反射を経た後に物体に照明される大域光の２つに分けられる。直達光は、主に日なたで観測され、大域光は、主に日陰で観測される。

【0071】

第３構成例では、第１構成例でN個とされていた陰影画像生成部３１の個数が、直達光と大域光に対応する２個に限定される。直達光に対応する色パラメータｇ(T₁)＝[ｇ_R(T₁),g_G(T₁),ｇ_B(T₁)]を用いた第１の色の陰影画像と、大域光に対応する色パラメータｇ(T₂)＝[ｇ_R(T₂),g_G(T₂),ｇ_B(T₂)]を用いた第２の色の陰影画像とが生成され、合成されることにより、Ｒ，Ｇ、及びＢの３チャンネルの陰影画像が生成される。

【0072】

図１２は、陰影推定部１３の第３構成例を示すブロック図である。

【0073】

第３構成例に係る陰影推定部１３は、第１の陰影画像生成部３１－１及び第２の陰影画像生成部３１－２と、陰影合成部３２とを備える。第１の陰影画像生成部３１－１は、第１の陰影強度推定部４１－１、第１の色パラメータ変換部１０１－１、及び、乗算部４３－１を有している。第２の陰影画像生成部３１－２は、第２の陰影強度推定部４１－２、第２の色パラメータ変換部１０１－２、及び、乗算部４３－２を有している。

【0074】

第３構成例に係る陰影推定部１３は、図３に示した第１構成例と比較して、陰影画像生成部３１の個数が２個に限定されている点、色パラメータ変換部４２が色パラメータ変換部１０１に変更されている点が異なり、それ以外の構成は共通する。

【0075】

第１の陰影画像生成部３１－１は、直達光に対応する第１の色の陰影画像を生成し、陰影合成部３２へ供給する。第２の陰影画像生成部３１－２は、大域光に対応する第２の色の陰影画像を生成し、陰影合成部３２へ供給する。

【0076】

第１の色パラメータ変換部１０１－１及び第２の色パラメータ変換部１０１－２には、色条件として、撮影時刻が、色条件設定部１４から供給される。

【0077】

第１の色パラメータ変換部１０１－１は、供給される撮影時刻を、直達光に対応する色パラメータｇ(T₁)＝[ｇ_R(T₁),g_G(T₁),ｇ_B(T₁)]に変換する。第２の色パラメータ変換部１０１－２は、供給される撮影時刻を、大域光に対応する色パラメータｇ(T₂)＝[ｇ_R(T₂),g_G(T₂),ｇ_B(T₂)]に変換する。

【0078】

例えば、“Seo et al., Real-time adaptable and coherent rendering for outdoor augmented reality, EURASIP Journal on Image and Video Processing, 2018.”に開示されているように、太陽光からなる直達光の分光分布は時刻によって変化するが、その軌跡は、単峰性の関数で近似できることが知られている。そこで、利用を想定するシーンで事前に直達光と大域光の時刻ごとの光源色を計測した学習データを作成し、学習データに基づいて、図１３に示されるように、直達光と大域光のそれぞれについて、撮影時刻と色温度の関係を記述した正規分布や２次以上の関数を生成し、生成された関数が第１の色パラメータ変換部１０１－１及び第２の色パラメータ変換部１０１－２に格納される。正規分布や２次以上の関数で記述された撮影時刻と色温度の関係は、微分可能な関数であるため、CNNに組み込んで学習することができる。

【0079】

例えば午前９時から午後５時までの範囲をM等分し、時刻x∈[0,M]での直達光の色温度T_dが、式（４）の正規分布T_d (x; A_d, μ_d, σ_d ² )でモデル化される。

【数4】

【0080】

時刻xで計測した光源色の系列が{T_x}であるとき、T_d (x; A_d, μ_d, σ_d ² )におけるパラメータA_d, μ_d, σ_d ² は、対数空間上で、式（５）で表される、{T_x}とT_d (x; A_d, μ_d, σ_d ² )との二乗誤差 Jを最小化するようなA_d_min, μ_d_min, σ_d ²_minとして得ることができる。

【数5】

【0081】

以上より、撮影時刻が供給されると、直達光の色温度T_dを確定することができるので、第１構成例と同様に、色温度T_dに対応した色パラメータｇ(T₁)＝[ｇ_R(T₁),g_G(T₁),ｇ_B(T₁)]を生成することができる。大域光についても同様に、大域光の色温度T_iが、正規分布T_i (x; A_i, μ_i, σ_i ² )でモデル化され、撮影時刻の大域光の色温度T_iに対応した色パラメータｇ(T₂)＝[ｇ_R(T₂),g_G(T₂),ｇ_B(T₂)]を生成することができる。

【0082】

以上の第３構成例に係る陰影推定部１３によれば、陰影画像が直達光のモデルと、大域光のモデルに従うように制約を設けることで、陰影画像を安定的に推定することができ、入力画像からの物体色画像と陰影画像の高精度な分離を実現する。

【0083】

＜５．教師データの構成例＞
上述した第１構成例ないし第３構成例において、CNN予測器の学習処理では、陰影推定部１３が最終的に出力する陰影画像を教師画像と比較して、損失関数を最小化するようなCNN予測器のパラメータを学習することとしたが、図１４に示されるように、陰影合成部３２が合成する前の第１の色の陰影画像ないし第Nの色の陰影画像を、教師画像と比較して、損失関数を最小化するCNN予測器のパラメータを学習してもよい。第１の色の陰影画像ないし第Nの色の陰影画像の教師画像は、例えば、CG(Computer Graphics)などで生成することができる。

【0084】

＜６．第１実施の形態の物体色陰影分離処理＞
次に、図１５のフローチャートを参照して、第１実施の形態の画像処理装置１による物体色陰影分離処理について説明する。図１５では、陰影推定部１３が図３に示した第１構成例である場合の物体色陰影分離処理について説明する。この物体色陰影分離処理は、例えば画像処理装置１に入力画像が供給されたとき開始される。

【0085】

初めに、ステップＳ１において、特徴量抽出部１１は、入力画像の特徴量を抽出し、物体色推定部１２及び陰影推定部１３へ供給する。

【0086】

ステップＳ２において、物体色推定部１２は、特徴量抽出部１１から供給された入力画像の特徴量に基づいて、入力画像に含まれる物体の色成分（反射率成分）を画素値として持つ物体色画像を推定して出力する。

【0087】

ステップＳ３において、第ｎの陰影強度推定部４１－ｎ（ｎ＝１，２，３，・・・，N）は、特徴量抽出部１１で抽出された入力画像の特徴量に基づいて、色条件設定部１４から供給された第ｎの基底色に対応した１チャンネルの陰影強度画像を推定し、乗算部４３－ｎに出力する。第１の陰影強度推定部４１－１ないし第Nの陰影強度推定部４１－Nは、１チャンネルの陰影強度画像を推定する処理を並行して同時に実行することができる。

【0088】

ステップＳ４において、第ｎの色パラメータ変換部４２－ｎは、色条件設定部１４から供給された色温度T_nを、第ｎの色パラメータに変換する。第ｎの色パラメータは、Ｒ，Ｇ、及びＢの３チャンネルの色パラメータｇ(T_n)＝[ｇ_R(T_n),g_G(T_n),ｇ_B(T_n)]で表現される。変換されることにより生成された３チャンネルの色パラメータ[ｇ_R(T_n),g_G(T_n),ｇ_B(T_n)]は、乗算部４３－ｎに供給される。第１の色パラメータ変換部４２－１ないし第Nの色パラメータ変換部４２－Nは、色パラメータｇ(T_n)の変換処理を並行して同時に実行することができる。

【0089】

ステップＳ５において、乗算部４３－ｎは、第ｎの陰影強度推定部４１－ｎで推定された１チャンネルの陰影強度画像に、Ｒ，Ｇ、またはＢの各チャンネルの色パラメータ[ｇ_R(T_n),g_G(T_n),ｇ_B(T_n)]を乗算することにより、第ｎの色パラメータで色が表現される第ｎの色の陰影画像を生成する。乗算部４３－１ないし乗算部４３－Nは、乗算により第１の色の陰影画像ないし第Nの色の陰影画像を生成する処理を並行して同時に実行することができる。生成された第１の色の陰影画像ないし第Nの色の陰影画像は、陰影合成部３２へ供給される。

【0090】

ステップＳ６において、陰影合成部３２は、第１の色の陰影画像ないし第Nの色の陰影画像を合成することにより、陰影画像を生成して出力する。

【0091】

物体色画像を推定して出力するステップＳ２の処理と、陰影画像を生成して出力するステップＳ３ないしＳ６の処理は、並行して同時に実行することができる。

【0092】

物体色画像と陰影画像が生成して、画像処理装置１から出力されると、図１５の物体色陰影分離処理は終了する。

【0093】

陰影推定部１３が図３に示した第１構成例である場合の物体色陰影分離処理は、以上のように実行される。陰影推定部１３が図１１に示した第２構成例である場合、ステップＳ３ないしＳ５の処理が、第１の係数画像推定部８１－１ないし第３の係数画像推定部８１－３の処理に置き換えられ、ステップＳ６の処理が、スペクトル合成部９１とカメラ分光感度適用部９２の処理に置き換えられる。陰影推定部１３が図１２に示した第３構成例である場合、ステップＳ４の処理が、第１の色パラメータ変換部１０１－１及び第２の色パラメータ変換部１０１－２の処理に置き換えられる。

【0094】

第１実施の形態に係る画像処理装置１によれば、陰影成分が取りうる解空間を、すべてのRGB空間から、所定のモデルの色空間へ制限することにより、陰影画像を安定的に推定することができる。これにより、物体色画像と陰影画像の分離をより高精度に実現し、より良い分離がなされた物体色画像と陰影画像を出力することができる。

【0095】

＜７．画像処理装置の第２実施の形態＞
図１６は、本開示の画像処理装置の第２実施の形態の構成例を示すブロック図である。

【0096】

図１６の第２実施の形態は、物体色推定部１２が出力する物体色画像が、特徴量抽出部１１の入力へ戻されるように構成されている点で、上述した第１実施の形態と相違し、その他の構成は共通する。

【0097】

上述した第１実施の形態においても、１枚の入力画像から、物体色と陰影の２変数を求める不良設定問題であることには変わりがないため、物体色と陰影の分離が不十分である場合があり得る。

【0098】

第２実施の形態に係る画像処理装置１では、物体色推定部１２が出力する物体色画像が、予め決定した所定の終了条件を満たしているか否かが判定される。所定の終了条件を満たしていない場合には、物体色推定部１２が推定した物体色画像は、物体色画像と陰影画像の分離が不十分で、物体色画像に陰影が残存している画像であるとして、再度、特徴量抽出部１１へ入力される。そして、所定の終了条件を満たしていると判定された場合の物体色画像と陰影画像が、最終的な物体色画像と陰影画像として画像処理装置１から出力される。所定の終了条件を満たすまで物体色画像と陰影画像の分離を繰り返し実行することで、物体色画像と陰影画像の分離をより高精度に実行することができ、より良い分離がなされた物体色画像と陰影画像を出力することができる。

【0099】

所定の終了条件としては、例えば、繰り返し回数を予め設定しておき、繰り返し回数が、設定した回数に到達した場合、所定の終了条件を満たしていると判定することができる。

【0100】

＜８．第２実施の形態の物体色陰影分離処理＞
図１７のフローチャートを参照して、第２実施の形態の画像処理装置１による物体色陰影分離処理について説明する。この物体色陰影分離処理は、例えば画像処理装置１に入力画像が供給されたとき開始される。

【0101】

初めに、ステップＳ５１において、特徴量抽出部１１、物体色推定部１２、及び、陰影推定部１３は、入力画像を、物体色画像と陰影画像に分離する処理を実行する。このステップＳ５１の具体的処理は、物体色画像と陰影画像に分離する１回の分離処理に相当し、第１実施の形態における図１５の物体色陰影分離処理と同じである。

【0102】

ステップＳ５２において、物体色推定部１２は、予め設定された終了条件を満たしているかを判定する。ステップＳ５２で、予め設定された終了条件を満たしていないと判定された場合、処理はステップＳ５３へ進み、物体色推定部１２は、推定した物体色画像を、入力画像として特徴量抽出部１１へ入力する。ステップＳ５３の後、処理はステップＳ５１へ戻る。

【0103】

一方、ステップＳ５２で、予め設定された終了条件を満たしていると判定された場合、処理はステップＳ５４へ進み、物体色推定部１２は、推定した物体色画像を出力する。また、ステップＳ５４において、陰影推定部１３は、推定した陰影画像を出力する。

【0104】

物体色画像と陰影画像が画像処理装置１から出力されると、図１７の物体色陰影分離処理は終了する。

【0105】

図１８は、終了条件のその他の例を説明する図である。

【0106】

例えば、図１８のAに示されるように、特徴量抽出部１１へ入力した入力画像と、物体色推定部１２が推定した物体色画像との二乗平均平方根誤差（RMSE）等で算出される画像誤差が、予め決定した設定値よりも小さいことを、終了条件とすることができる。画像誤差が予め決定した設定値よりも小さくなった場合に、終了条件を満たしていると判定され、物体色推定部１２は、推定した物体色画像を出力し、陰影推定部１３は、推定した陰影画像を出力する。

【0107】

あるいはまた、図１８のBに示されるように、物体色推定部１２が、物体色画像を推定する処理をQ回（Q＞１）実行したとして、（Q-1）回目の入力画像と物体色推定部１２が出力した物体色画像との画像誤差と、Q回目の入力画像と物体色推定部１２が出力した物体色画像との画像誤差との差分が、予め決定した設定値よりも小さいことを、終了条件とすることができる。画像誤差の差分が予め決定した設定値よりも小さくなった場合に、終了条件を満たしていると判定され、物体色推定部１２は、推定した物体色画像を出力し、陰影推定部１３は、推定した陰影画像を出力する。

【0108】

＜９．画像処理装置の第３実施の形態＞
図１９は、本開示の画像処理装置の第３実施の形態の構成例を示すブロック図である。

【0109】

図１９に示される第３実施の形態に係る画像処理装置１は、陰影処理部１７１が新たに追加されている点で、上述した第１実施の形態と相違し、その他の構成は共通する。陰影処理部１７１は、陰影強度調整部１８１と、画像合成部１８２とを有する。

【0110】

陰影強度調整部１８１には、陰影推定部１３により推定された陰影画像が供給される。陰影強度調整部１８１は、陰影画像の陰影強度を調整する陰影強度調整処理を行う。具体的には、陰影強度調整部１８１は、供給される陰影画像の輝度値に対してべき乗変換を行うことにより、陰影のコントラストを低下させる低コントラスト処理を行う。例えば、陰影強度調整部１８１は、低コントラスト処理後の輝度値を、指数ｐ＝0.9などとして[輝度値]^ｐにより求め、低コントラスト陰影画像を生成する。陰影強度調整部１８１は、生成した低コントラスト陰影画像を、画像合成部１８２へ供給する。

【0111】

画像合成部１８２には、陰影強度調整部１８１から、低コントラスト陰影画像が供給されるとともに、物体色推定部１２で推定された物体色画像が供給される。画像合成部１８２は、低コントラスト陰影画像と物体色画像の対応画素を乗算することにより、入力画像と比べて陰影の効果が弱まった画像（以下、陰影処理画像と称する。）を生成する。生成された陰影処理画像は、再度、入力画像として、特徴量抽出部１１へ入力される。第２実施の形態と同様に、陰影強度が調整された陰影処理画像を、入力画像として特徴量抽出部１１へ入力する処理が、所定の終了条件を満たしていると判定されるまで繰り返し実行される。

【0112】

第３実施の形態に係る画像処理装置１によれば、入力画像と物体色画像との間の変化量が小さくなるため、再帰的な処理を行う上述の第２実施の形態と同様の効果が期待できる。すなわち、物体色画像と陰影画像の分離をより高精度に実行することができ、より良い分離がなされた物体色画像と陰影画像を出力することができる。

【0113】

＜１０．第３実施の形態の物体色陰影分離処理＞
図２０のフローチャートを参照して、第３実施の形態の画像処理装置１による物体色陰影分離処理について説明する。この物体色陰影分離処理は、例えば画像処理装置１に入力画像が供給されたとき開始される。

【0114】

初めに、ステップＳ７１において、特徴量抽出部１１、物体色推定部１２、及び、陰影推定部１３は、入力画像を、物体色画像と陰影画像に分離する処理を実行する。このステップＳ７１の具体的処理は、物体色画像と陰影画像に分離する１回の分離処理に相当し、第１実施の形態における図１５の物体色陰影分離処理と同じである。ただし、陰影推定部１３により推定された陰影画像は陰影強度調整部１８１に供給され、物体色推定部１２で推定された物体色画像は画像合成部１８２に供給される点が異なる。

【0115】

ステップＳ７２において、物体色推定部１２は、予め設定された終了条件を満たしているかを判定する。ステップＳ７２で、予め設定された終了条件を満たしていないと判定された場合、処理はステップＳ７３へ進む。

【0116】

ステップＳ７３において、陰影処理部１７１は、推定された物体色画像と陰影画像から、入力画像と比べて陰影の効果が弱まった陰影処理画像を生成し、入力画像として特徴量抽出部１１へ入力する。より具体的には、陰影強度調整部１８１が、陰影推定部１３により推定された陰影画像に対して陰影強度調整処理を行うことで低コントラスト陰影画像を生成し、画像合成部１８２へ供給する。画像合成部１８２が、低コントラスト陰影画像と物体色画像の対応画素を乗算することにより陰影処理画像を生成する。画像合成部１８２により生成された陰影処理画像が、入力画像として特徴量抽出部１１へ入力され、処理はステップＳ７１へ戻る。

【0117】

一方、ステップＳ７２で、予め設定された終了条件を満たしていると判定された場合、処理はステップＳ７４へ進み、物体色推定部１２は、推定した物体色画像を出力する。また、ステップＳ７４において、陰影推定部１３は、推定した陰影画像を出力する。

【0118】

物体色画像と陰影画像が画像処理装置１から出力されると、図２０の物体色陰影分離処理は終了する。

【0119】

＜カスケード構造の構成例＞
図１９に示した第３実施の形態に係る画像処理装置１は、特徴量抽出部１１、物体色推定部１２、及び、陰影推定部１３を１つずつ備え、物体色推定部１２と陰影推定部１３で推定された物体色画像と陰影画像を、同一の特徴量抽出部１１に再度入力させ、再帰的に処理する構成である。

【0120】

しかしながら、図２１に示されるように、特徴量抽出部１１、物体色推定部１２、及び、陰影推定部１３を２段備え、前段の特徴量抽出部１１A、物体色推定部１２A、及び、陰影推定部１３Aによる推定結果を、後段の特徴量抽出部１１B、物体色推定部１２B、及び、陰影推定部１３Bに入力させて物体色陰影分離処理を繰り返し実行する構成としてもよい。図２１の画像処理装置１は、前段の特徴量抽出部１１A、物体色推定部１２A、及び、陰影推定部１３Aと、後段の特徴量抽出部１１B、物体色推定部１２B、及び、陰影推定部１３Bとの間に、陰影処理部１７１を設けた構成とされている。この画像処理装置１は２段のカスケード構造とした例であるが、３段以上のカスケード構造としても勿論よい。

【0121】

＜１１．学習装置の構成例＞
図２２は、CNN予測器のパラメータを学習する学習装置の構成例を示すブロック図である。

【0122】

図２２に示される学習装置１９０は、特徴量抽出部１９１、物体色推定部１９２、陰影推定部１９３、及び、色条件設定部１９４を備える。特徴量抽出部１９１、物体色推定部１９２、陰影推定部１９３、及び、色条件設定部１９４の詳細構成は、それぞれ、特徴量抽出部１１、物体色推定部１２、陰影推定部１３、及び、色条件設定部１４と同様であるので、詳細説明は省略する。

【0123】

学習装置１９０による学習処理では、学習データとして、入力画像と、その入力画像に対応する教師画像としての物体色画像と陰影画像が多数用意され、誤差逆伝搬により、CNN予測器のパラメータが算出される。

【0124】

図１６に示した第２実施の形態に係る画像処理装置１と、図１９に示した第３実施の形態に係る画像処理装置１のような、再帰による高精度な物体色画像と陰影画像の分離を行う場合には、上述した陰影処理部１７１を学習時にも利用して、予め用意した入力画像に対して陰影を薄く処理した入力画像と、反射率を下げた物体色画像、陰影を薄くした陰影画像とのセットを学習データとしてさらに追加することで、物体色画像と陰影画像の分離をより高精度に行うパラメータを算出することができる。

【0125】

＜１２．画像処理装置の第４実施の形態＞
図２３は、本開示の画像処理装置の第４実施の形態の構成例を示すブロック図である。

【0126】

図２３に示される第４実施の形態に係る画像処理装置１は、特徴量抽出部１１、物体色推定部１２、陰影推定部２０１、ユーザ設定部２０２、及び、画像合成部２０３を備える。

【0127】

上述した第１実施の形態と比較すると、第４実施の形態に係る画像処理装置１は、第１実施の形態の陰影推定部１３と色条件設定部１４が、陰影推定部２０１とユーザ設定部２０２に置き換えられるとともに、画像合成部２０３が新たに追加されている。

【0128】

陰影推定部２０１は、第１実施の形態の陰影推定部１３と同様に、ユーザ設定部２０２から色条件として供給される第１ないし第Nの基底色に対応する、第１ないし第Nの色の陰影画像を、中間生成物として生成する。第１実施の形態の陰影推定部１３は、中間生成物として生成された第１ないし第Nの色の陰影画像の全てを合成して、陰影画像を生成するが、陰影推定部２０１は、ユーザ設定部２０２からの選択指示に従い、第１ないし第Nの色の陰影画像の少なくとも１つを選択する。陰影推定部２０１は、中間生成物として生成された第１ないし第Nの色の陰影画像のうち、選択された画像のみを用いて、ユーザの意図が反映された陰影画像を生成し、画像合成部２０３に供給する。

【0129】

ユーザ設定部２０２は、第１実施の形態と同様に、陰影推定部２０１に対して色条件を設定する。また、ユーザ設定部２０２は、陰影推定部２０１において中間生成物として生成された第１ないし第Nの色の陰影画像の一部を選択するユーザの選択指示を受け付け、陰影推定部２０１に供給する。

【0130】

画像合成部２０３は、物体色推定部１２から供給される物体色画像と、陰影推定部２０１から供給される、ユーザの意図が反映された陰影画像の対応画素とを乗算することにより、光源が編集された画像を生成する。生成された画像は、画像処理装置１の外部へ出力される。

【0131】

図２４は、図２３の陰影推定部２０１の詳細構成例を示すブロック図である。ただし、図２４の陰影推定部２０１は、簡単のため、基底数Nを２（N=2）とした構成例とされている。

【0132】

陰影推定部２０１は、第１実施の形態において基底数Nを２とした図４の陰影推定部１３と比べて、陰影合成部３２に代えて、陰影合成部２３２とされている点を除いて、図４の陰影推定部１３と共通する。

【0133】

陰影合成部２３２には、ユーザ設定部２０２から、第１の陰影画像生成部３１－１から供給される第１の色の陰影画像と、第２の陰影画像生成部３１－２から供給される第２の色の陰影画像のどちらを選択するかを示す選択指示が供給される。

【0134】

陰影合成部２３２は、ユーザ設定部２０２からの選択指示に従い、第１の色の陰影画像と第２の色の陰影画像の一方を選択し、画像合成部２０３（図２３）へ供給する。

【0135】

図２５は、陰影推定部２０１の処理を説明する図である。

【0136】

入力画像には、光源１と光源２による陰影が含まれている。第１の陰影画像生成部３１－１は、入力画像から得られた特徴量に基づいて、光源１による陰影を含む画像である第１の色の陰影画像を生成する。第２の陰影画像生成部３１－２は、入力画像から得られた特徴量に基づいて、光源２による陰影を含む画像である第２の色の陰影画像を生成する。

【0137】

ユーザが、光源２の影響を排除した画像を生成したい場合、ユーザ設定部２０２において、第１の色の陰影画像を選択し、第２の色の陰影画像を削除する選択指示を行う。この操作により、陰影合成部２３２は、ユーザの意図が反映された陰影画像として、第１の色の陰影画像のみを選択して出力する。

【0138】

なお、図２４及び図２５は、基底数Nを２とした例であるため、第１の色の陰影画像と第２の色の陰影画像の一方を選択し、他方を非選択として、選択した一方を出力するのみであるが、基底数Nが３以上であり、複数の色の陰影画像が選択された場合には、陰影合成部２３２は、第１実施の形態の陰影合成部３２のように、選択された複数の色の陰影画像を合成して出力する。

【0139】

図２３の画像合成部２０３では、物体色推定部１２から供給される物体色画像と、光源２の影響を排除した陰影画像とを合成するので、画像処理装置１から出力される画像は、光源２の影響を排除した、第１の基底色のみで照明された画像となる。

【0140】

第４実施の形態に係る画像処理装置１によれば、上述した第１実施の形態において中間生成物とされていた第１ないし第Nの色の陰影画像を取捨選択できるようにしたことで、ユーザが光源分離や光源の編集を行うことが可能となる。

【0141】

＜１３．コンピュータの構成例＞
上述した画像処理装置１および学習装置１９０が行う一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

【0142】

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0143】

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

【0144】

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

【0145】

入力部５０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部５０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部５０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

【0146】

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

【0147】

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0148】

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

【0149】

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

【0150】

本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0151】

例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

【0152】

例えば、本開示の技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0153】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0154】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0155】

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

【0156】

なお、本開示の技術は、以下の構成を取ることができる。
（１）
入力画像の特徴量に基づいて、前記入力画像に含まれる物体の色成分を画素値として持つ物体色画像を推定する物体色推定部と、
前記入力画像の特徴量に基づいて、前記入力画像の陰影成分を画素値として持つ陰影画像を推定する陰影推定部と
を備え、
前記陰影推定部は、前記入力画像の陰影成分が取りうる色空間を、所定の色条件で決定される色空間に制限して前記陰影画像を推定する
画像処理装置。
（２）
前記所定の色条件としてN個（N＞１）の基底色が与えられ、
前記陰影推定部は、前記入力画像の陰影成分が取りうる色空間を、前記N個の基底色で表現される色空間に制限して前記陰影画像を推定する
前記（１）に記載の画像処理装置。
（３）
前記陰影推定部は、
所定の基底色に対応する陰影画像を生成するN個の陰影画像生成部と、
前記N個の陰影画像生成部により生成されたN個の基底色の陰影画像を合成する陰影合成部と
を有する
前記（２）に記載の画像処理装置。
（４）
前記陰影画像生成部は、
前記入力画像の特徴量に基づいて陰影強度画像を推定する陰影強度画像推定部と、
前記所定の基底色を色パラメータに変換する色パラメータ変換部と
を有する
前記（３）に記載の画像処理装置。
（５）
前記基底色は、色温度で与えられる
前記（２）ないし（４）のいずれかに記載の画像処理装置。
（６）
前記基底色は、ｘｙ色度図上のｘｙ座標値で与えられる
前記（２）ないし（４）のいずれかに記載の画像処理装置。
（７）
前記基底色は、RGBの色パラメータで与えられる
前記（２）ないし（４）のいずれかに記載の画像処理装置。
（８）
前記所定の色条件で決定される色空間は、CIE昼光モデルに従う空間である
前記（１）に記載の画像処理装置。
（９）
前記所定の色条件として、前記CIE昼光モデルの基底関数が与えられる
前記（８）に記載の画像処理装置。
（１０）
前記陰影推定部は、
前記CIE昼光モデルの第１の基底関数の係数を格納した第１の係数画像を推定する第１の係数画像推定部と、
前記CIE昼光モデルの第２の基底関数の係数を格納した第２の係数画像を推定する第２の係数画像推定部と、
前記CIE昼光モデルの第３の基底関数の係数を格納した第３の係数画像を推定する第３の係数画像推定部と
前記第１の係数画像ないし前記第３の係数画像を合成し、陰影の分光分布画像を生成する合成部と
前記陰影の分光分布画像を、Ｒ，Ｇ，Ｂの分光感度関数で畳み込むことにより、前記陰影画像に変換する分光感度適用部と
を有する
前記（９）に記載の画像処理装置。
（１１）
前記所定の色条件は、前記入力画像の撮影時刻である
前記（１）に記載の画像処理装置。
（１２）
前記撮影時刻に応じて、直達光に対応する色パラメータと、大域光に対応する色パラメータとに変換され、
前記直達光に対応する色パラメータを用いた第１の色の陰影画像を生成する第１の陰影画像生成部と、
前記大域光に対応する色パラメータを用いた第２の色の陰影画像を生成する第２の陰影画像生成部と、
前記第１の色の陰影画像と前記第２の色の陰影画像を合成する陰影合成部と
を有する
前記（１１）に記載の画像処理装置。
（１３）
前記入力画像の特徴量を抽出する特徴量抽出部をさらに備える
前記（１）ないし（１２）のいずれかに記載の画像処理装置。
（１４）
前記物体色推定部で推定された前記物体色画像を前記入力画像として前記特徴量抽出部に再度入力する処理が、所定の終了条件を満たすまで繰り返し実行される
前記（１３）に記載の画像処理装置。
（１５）
前記物体色推定部で推定された前記物体色画像と、前記陰影推定部で推定された前記陰影画像とを用いて、陰影強度が調整された陰影処理画像を生成する陰影処理部をさらに備え、
前記陰影処理画像を前記入力画像として前記特徴量抽出部に再度入力する処理が、所定の終了条件を満たすまで繰り返し実行される
前記（１３）に記載の画像処理装置。
（１６）
前記陰影推定部は、
前記所定の色条件に対応する色の陰影画像を生成するN個（N＞１）の陰影画像生成部と、
ユーザの選択指示にしたがい、前記N個の陰影画像生成部により生成されたN枚の色の陰影画像の少なくとも１つを選択して合成する陰影合成部と
を有し、
前記陰影合成部により合成された画像と、前記物体色推定部により推定された物体色画像とが合成される
前記（１）に記載の画像処理装置。
（１７）
前記物体色推定部と前記陰影推定部には、学習処理により求められたパラメータを用いたCNN予測器が用いられる
前記（１）ないし（１６）のいずれかに記載の画像処理装置。
（１８）
画像処理装置が、
入力画像の特徴量に基づいて、前記入力画像に含まれる物体の色成分を画素値として持つ物体色画像を推定し、
前記入力画像の特徴量に基づいて、前記入力画像の陰影成分を画素値として持つ陰影画像を推定し、
前記陰影画像は、前記入力画像の陰影成分が取りうる色空間を、所定の色条件で決定される色空間に制限して推定される
画像処理方法。

【符号の説明】

【0157】

１ 画像処理装置， １１ 特徴量抽出部， １２ 物体色推定部， １３ 陰影推定部， １４ 色条件設定部， ３１ 陰影画像生成部， ３１－１ないし３１－N 第１ないし第Nの陰影画像生成部， ３２ 陰影合成部， ４１－１ないし４１－N 第１ないし第Nの陰影強度推定部， ４２－１ないし４２－N 第１ないし第Nの色パラメータ変換部， ４３－１ないし４３－N 乗算部， ６１ 画像データセット， ８１－１ないし８１－３ 第１ないし第３の係数画像推定部， ９１ スペクトル合成部， ９２ カメラ分光感度適用部， １０１ 色パラメータ変換部， １０１－１ 第１の色パラメータ変換部， １０１－２ 第２の色パラメータ変換部， １７１ 陰影処理部， １８１ 陰影強度調整部， １８２ 画像合成部， １９０ 学習装置， １９１ 特徴量抽出部， １９２ 物体色推定部， １９３ 陰影推定部， １９４ 色条件設定部， ２０１ 陰影推定部， ２０２ ユーザ設定部， ２０３ 画像合成部， ２３２ 陰影合成部， ５０１ CPU， ５０２ ROM， ５０３ RAM， ５０６ 入力部， ５０７ 出力部， ５０８ 記憶部， ５０９ 通信部， ５１０ ドライブ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】