特許第6254922号(P6254922)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
特許6254922照明光色推定装置、照明光色推定方法及び照明光色推定プログラム
<>
  • 特許6254922-照明光色推定装置、照明光色推定方法及び照明光色推定プログラム 図000013
  • 特許6254922-照明光色推定装置、照明光色推定方法及び照明光色推定プログラム 図000014
  • 特許6254922-照明光色推定装置、照明光色推定方法及び照明光色推定プログラム 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6254922
(24)【登録日】2017年12月8日
(45)【発行日】2017年12月27日
(54)【発明の名称】照明光色推定装置、照明光色推定方法及び照明光色推定プログラム
(51)【国際特許分類】
   G06T 7/90 20170101AFI20171218BHJP
   G06T 1/00 20060101ALI20171218BHJP
   H04N 9/04 20060101ALI20171218BHJP
   H04N 9/64 20060101ALI20171218BHJP
【FI】
   G06T7/90 D
   G06T1/00 510
   H04N9/04 B
   H04N9/64 Z
【請求項の数】3
【全頁数】11
(21)【出願番号】特願2014-210598(P2014-210598)
(22)【出願日】2014年10月15日
(65)【公開番号】特開2016-81219(P2016-81219A)
(43)【公開日】2016年5月16日
【審査請求日】2017年1月6日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】特許業務法人 志賀国際特許事務所
(72)【発明者】
【氏名】川村 春美
(72)【発明者】
【氏名】松本 鮎美
(72)【発明者】
【氏名】小島 明
【審査官】 村松 貴士
(56)【参考文献】
【文献】 特開2014−7449(JP,A)
【文献】 特開2012−28973(JP,A)
【文献】 特開2004−5566(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06T 7/00 − 7/90
H04N 9/00 − 9/11
H04N 9/44 − 9/78
(57)【特許請求の範囲】
【請求項1】
2種類の照明光が照射された被写体を撮像した画像から照明光色を推定する照明光色推定装置であって、
前記画像において同一被写体における同一分光反射率をもつ色領域を複数選択し、該色領域の平均の色を求める色領域選択部と、
前記色領域の平均の色を機器に依存しない色空間の色に変換する色空間変換部と、
前記機器に依存しない色空間の色に変換した結果から、各色領域に照射する2種類の照明光の比率を推定し、該比率から前記照明光色を推定する照明光色計算部と
を備えることを特徴とする照明光色推定装置。
【請求項2】
2種類の照明光が照射された被写体を撮像した画像から照明光色を推定する照明光色推定装置が行う照明光色推定方法であって、
前記画像において同一被写体における同一分光反射率をもつ色領域を複数選択し、該色領域の平均の色を求める色領域選択ステップと、
前記色領域の平均の色を機器に依存しない色空間の色に変換する色空間変換ステップと、
前記機器に依存しない色空間の色に変換した結果から、各色領域に照射する2種類の照明光の比率を推定し、該比率から前記照明光色を推定する照明光色計算ステップと
を有することを特徴とする照明光色推定方法。
【請求項3】
コンピュータを、請求項1に記載の照明光色推定装置として機能させるための照明光色推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像に写っている環境の照明光の色を推定する照明光色推定装置、照明光色推定方法及び照明光色推定プログラムに関する。
【背景技術】
【0002】
画像における画素値(R、G、B)は、以下の(1)式に示されるように、照明光(E(λ):分光分布)と物体の色(ρ(λ):分光反射率)の両方の情報を含んでいる。そのため、入力機器によって入力された画像の画素値は、入力機器の分光感度特性と、分光分布と分光反射率との積分で表される。RGBそれぞれの分光感度特性は、r ̄(λ)、g ̄(λ)、b ̄(λ)( ̄は文字の上に付く)として表す。
【数1】
【0003】
照明光や物体の色を計算する関連技術では、照明光や物体の色に関する性質に基づいて計算する手法がある。例えば、画像中の鏡面反射成分を利用する手法や、画像中の無彩色領域を利用する手法や、シーン中の物体の色に関する仮定を利用する手法等がある。鏡面反射成分を利用する技術(例えば、非特許文献1参照)では、誘電体からの反射光成分のうち鏡面反射成分が照明光の色を表すことを利用して照明光の色を推定する。
【0004】
一方、無彩色領域を利用する手法(例えば、特許文献1、2参照)は、無彩色の領域からの反射光の色が照明光の色を反映していることを利用している。具体的には、事前に様々な照明光の下での白色(紙、色票)の画像から無彩色領域の色変化を求めておき、画像中の無彩色領域に近い色を、事前に求めた無彩色領域の色の中から探索し、その平均を照明光の色として推定する。また、シーン中の物体の色の平均が灰色(無彩色)であると仮定することによって、シーン中の反射光の色を照明光色として推定する手法(例えば、非特許文献2参照)もある。
【0005】
前述の各関連技術は、シーン中に含まれる照明光色が1種類である場合を前提としているが、実際の環境ではシーン中に2種類以上の異なる照明光が存在し、さらにその強度比率は空間的に変動する場合が少なくない。従来、シーン中に2種類の照明光が存在する場合の画像から、それぞれの照明光色を推定する手法(例えば、非特許文献3参照)が提案されている。この手法では、画像の局所的な領域では照明光色が1種類であると仮定し、局所領域毎に上述したような1種類の照明光を対象とした既存の推定手法(非特許文献2等)を適用し照明光色の推定を行う。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−50651号公報
【特許文献2】特開2002−290988号公報
【非特許文献】
【0007】
【非特許文献1】G.J.Klinker, S.A.Shafer, T.Kanade, ”Using a color reflection model to separate highlights from object color”, Proceedings of the First International Conference on Computer Vision, pp.145-150 (1987).
【非特許文献2】R.Gershon and A.D.Jepson,”The Computation of Color Constant Descriptors in Chromatic Images”, Color Research and Application, Vol.14, No.6, pp.325-334 (1989).
【非特許文献3】Arjan Gijsenij, Rui Lu, Theo Gevers, “Color Constancy for Multiple Light Sources”, IEEE Trans. on Image Processing Vol.21, No.2, pp.697-707 (2012).
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、前述した関連手法には以下のような課題がある。すなわち、シーン中に複数の照明光が存在し、どの局所領域にも2種類の照明光色が影響している場合には、照明光色が推定できないという問題がある。
【0009】
本発明は、このような事情に鑑みてなされたもので、シーン中に含まれる照明光の種類が既知である場合に、画像中の各領域に放射する照明光の色を推定することができる照明光色推定装置、照明光色推定方法及び照明光色推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明は、2種類の照明光が照射された被写体を撮像した画像から照明光色を推定する照明光色推定装置であって、前記画像において同一被写体における同一分光反射率をもつ色領域を複数選択し、該色領域の平均の色を求める色領域選択部と、前記色領域の平均の色を機器に依存しない色空間の色に変換する色空間変換部と、前記機器に依存しない色空間の色に変換した結果から、各色領域に照射する2種類の照明光の比率を推定し、該比率から前記照明光色を推定する照明光色計算部とを備えることを特徴とする。
【0011】
本発明は、2種類の照明光が照射された被写体を撮像した画像から照明光色を推定する照明光色推定装置が行う照明光色推定方法であって、前記画像において同一被写体における同一分光反射率をもつ色領域を複数選択し、該色領域の平均の色を求める色領域選択ステップと、前記色領域の平均の色を機器に依存しない色空間の色に変換する色空間変換ステップと、前記機器に依存しない色空間の色に変換した結果から、各色領域に照射する2種類の照明光の比率を推定し、該比率から前記照明光色を推定する照明光色計算ステップとを有することを特徴とする。
【0012】
本発明は、コンピュータを、前記照明光色推定装置として機能させるための照明光色推定プログラムである。
【発明の効果】
【0013】
本発明によれば、2種類の照明光が存在するシーンの画像から、画像中の各領域において照射する各照明光色の比率を推定することによってその領域に照射している照明光色の推定が可能になるという効果が得られる。
【図面の簡単な説明】
【0014】
図1】本発明の一実施形態による照明光色推定装置の構成を示すブロック図である。
図2】照明光のパラメータと色空間との変換処理を示す説明図である。
図3図1に示す照明光色推定装置10の処理動作を示すフローチャートである。
【発明を実施するための形態】
【0015】
以下、図面を参照して、本発明の一実施形態による照明光色推定装置を説明する。図1は同実施形態の構成を示すブロック図である。照明光色推定装置10は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備える。照明光色推定装置10は、照明光色推定プログラムを実行することによって、画像入力部101、データ蓄積部102、色領域選択部103、色空間変換部104、照明光色計算部105を備える装置として機能する。以下の説明では、画像は、R(赤)、G(緑)、B(青)の三成分から構成される。なお、画像は、HSVやYCbCr、CIELAB等色空間の値を画素値とする画像であってもよい。
【0016】
被写体21は、1種類以上の物体である。照明A22および照明B23は、被写体21に対して光を照射する照明であり、シーン中にそれぞれ複数個存在しても構わない。
【0017】
画像入力部101は、照明A22および照明B23により照明された被写体21を撮像したカラー画像(以下、単に「画像」という。)を入力する。画像入力部101は、画像を照明光色推定装置10に入力可能であればどのような構成であってもよい。例えば、画像入力部101は、撮像素子を備え、画像を撮像する構成であってもよい。また、画像入力部101は、スキャナとして構成され、画像をスキャンして照明光色推定装置10に入力してもよい。また、画像入力部101は、カメラによって撮像された画像を照明光色推定装置10に入力するためのインターフェースとして構成されてもよい。
【0018】
データ蓄積部102は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。データ蓄積部102は、画像入力部101によって入力された画像を記憶する。また、データ蓄積部102は、色領域選択部103、色空間変換部104、照明光色計算部105における各処理で得られた画像や途中の処理結果も一時記憶する。この場合、データ蓄積部102は、コンピュータにおけるメモリに相当する。
【0019】
色領域選択部103は、画像入力部101によって入力された画像に対し、同一物体上で同一の分光反射率をもつ色領域を複数選択し、得られた各領域の平均の色をデータ蓄積部102に記憶する。ここで選択する色領域は、2種類の照明光色の割合が異なるように同一物体領域の中で離れた位置から選択する。この選択は、ユーザが適切な色領域を選択することによって行う。
【0020】
色空間変換部104は、色領域選択部103で得られた各色領域の平均の色に対し、画像を撮像した装置の機器特性を取り除いた色情報に変換し、データ蓄積部102に記憶する。色情報の変換に用いられるパラメータは、画像入力部101に応じて予め設定されている。以下の説明における色情報は、CIE(国際照明委員会)で規定されたXYZ三刺激値とする。ただし、色情報は、機器特性に依存しない色空間(例えば、CIELABやCIELUV)で表現されたものであればどのようなものでも構わない。
【0021】
照明光色計算部105は、同一物体領域から選択された2種類の色領域の色から2種類の照明光比率を計算することによって、色領域における照明光色を推定する。
【0022】
以下、色領域選択部103により得られた各領域の平均の色から照明光色を計算する仕組みを説明する。分光反射率ρ(λ)の物体領域上に照射する2種類の照明光の分光分布をそれぞれ、E(λ)、E(λ)とし、CIE等色関数をx ̄(λ)、y ̄(λ)、z ̄(λ)( ̄は文字の上に付く)とすると、物体領域からの反射光(X,Y,Z)は、2照明光の割合をt、sとして以下のように表される。以下の(2)式において、λの右下にある数値は可視光(400〜700nm)の範囲での分光特性を、例えば10nmおきにサンプリングした際の波長を位置を示すインデックスである。
【数2】
【0023】
ここで、色領域選択部103において選択された領域の平均の色を、色空間変換部104により機器特性に依存しない色空間に変換した結果をそれぞれP(X,Y,Z)、P(X,Y,Z)とする。(2)式より、P,Pの違いは、物体の分光反射率が同じであることから、(t,s)の組合せの違いのみである。即ち、以下の式のように、等色関数、分光反射率および照明光の分光特性の関数で表される行列Tを成分とする3行2列の行列で表される。
【数3】
ただし、i=1,2である。
【0024】
(3)式における行列Tは、tとsからなる2次元平面をXYZ成分で構成される3次元空間の平面に変換するとみなすことができる。以下、行列Tのk行j列の成分をTkjで表す。また、(3)式に示す関係を図2に示す。図2は2種類の照明光の割合を表すパラメータt、sの組合せで表現される2次元空間がXYZ三刺激値を軸とする3次元空間上の平面に行列Tで変換される様子を示したものである。この平面は(2)式より物体の分光反射率によって一意に決定されるものであり、かつ、原点を通るという特徴をもつ。この平面が決定できれば、行列Tを求めることができるため、結果的にパラメータt、s、即ち、2種類の照明光の比率を取得することが可能となる。
【0025】
一般に3次元空間上の平面は、平面に含まれる3点があれば決定することができる。上述の特性((3)式)より、この平面は原点を含むことから、2点、即ち、PとPを用いて平面の方程式を決定することができる。平面の方程式は、法線ベクトルを(a,b,c)として、以下の関係を満たす。なお、ここで得られる法線ベクトルは方向のみの成分をもち、大きさが1になるように正規化するがベクトルサイズを1に固定する必要はない。分光反射率が同一の領域であれば、照明光色の比率が異なる場合でもその領域からの反射光は全てこの平面上にのることになる。
【数4】
【0026】
次に、上記で得られた平面の法線ベクトルを用いて、変換行列Tの成分を求める。(3)式において (t,s)=(1,0)の場合および(t,s)=(0,1)の場合に得られる(X,Y,Z)も(4)式の関係を満たすことから、(5)式の関係が成立する。
【数5】
【0027】
ここで、Tkj成分において分光反射率ρは基底関数sの線形和で表現されるという性質があるので((6)式)、(5)式に適用すると、(7)式に示すように3変数の式に変形することが可能である。
【数6】
【数7】
【0028】
ただし、u(λ)は分光反射率の基底関数であり、σは係数である。mは基底の個数であり、通常、3〜7個までが用いられるが、ここではm=3とする。基底関数は個数が多いほど、分光反射率の表現精度が高くなることが知られているが、通常は画像として入力される情報が3次元(RGB等)であることからm=3とする場合が多く、参考文献1では表現精度は99%以上であることが報告されている。
参考文献1:「Jozef Cohen, "Dependency of the spectral reflectance curves of the Munsell color chips", Psychonomic Science Vol.1, pp.369-370 (1964)」
【0029】
(7)式において、A,B,C(i=1,2)は以下の通りである。
【数8】
【0030】
(7)式より、σ、σ、σの相対的な関係が得られる。以下、kをスケール係数とし、(σ,σ,σ)=(k,kα,kα)とおき、(6)式に基づいて分光反射率を計算し、(3)式を変形する。
【数9】
ただし、i=1,2である。
【0031】
(9)式よりt’およびs’が得られることになり、これらの比率が照明光Aおよび照明光Bの比率に対応する。この結果を用いて、各領域に照射する照明光の分光分布E(λ)を得ることができる。
【数10】
ただし、i=1,2である。
【0032】
なお、t^およびs^(^は文字の上に付く)は、(9)式で得られた結果であるt’、s’を互いの比率を変えずにスカラー倍(k倍)したものである。
【0033】
次に、図3を参照して、図1に示す照明光色推定装置10の処理動作を説明する。図3は、図1に示す照明光色推定装置10の処理動作を示すフローチャートである。まず、画像入力部101は、照明光を推定すべき画像を入力し(ステップS1)、入力した画像をデータ蓄積部102に記憶する。
【0034】
次に、色領域選択部103は、同一の物体領域における同一の分光反射率をもつ領域の中から2か所の領域を選択し、平均の色を計算する。ここでは、入力画像における画素値がRGBの3成分から構成されるとし、平均の色は成分毎に計算する(ステップS2)。色領域選択部103は計算結果をデータ蓄積部102に記憶する。
【0035】
次に、色空間変換部104は、色領域選択部103で選択された各色領域の平均の色に対し、機器特性に依存しない色空間内の色に変換する(ステップS3)。ここで機器特性に依存しない色とは、CIE(国際照明委員会)規定のXYZ三刺激値やCIELAB、CIELUV等の色空間を指す。
【0036】
次に、照明光色計算部105では、機器特性に依存しない色空間に変換後の2領域の平均色を用いて2種類の照明光の比率を計算することにより、その領域に照射する照明光色を推定する(ステップS4)。照明光の比率の計算にあたっては、(4)式に基づいて2領域の色がXYZ空間において構成する平面の法線(a,b,c)を計算し、物体の分光反射率の基底(図3に示す分光反射率データ)と、2種類の照明光の分光特性(図3に示す照明光データ)を(6)式、(7)式、(8)式に代入することによって基底関数の係数(σ,σ,σ)を取得し、式(9)により2種類の照明光の比率である(t’、s’)を計算する。得られた比率を用いて、(10)式に基づいて照明光色を得る。
【0037】
なお、前述した説明においては、同一分光反射率の領域を2か所選択しているが、3か所以上選択することにより、(4)式で計算する平面の法線計算の精度を上げることができる。さらには、同一分光反射率の領域を選択してその平均の色を計算する代わりに、同一分光反射率を有する領域に含まれる各画素値をそのまま利用しても構わない。その場合には、各画素についてその位置毎に照射する照明光色を求めることができる。
【0038】
また基底関数は参考文献1記載のものに限定せず、他文献で提案されている基底関数を用いても構わない。
【0039】
また、本実施形態によって得られた照明光の推定結果を用いて、照明光色の影響を受けない画像に変換することも可能である。その場合には、同一分光反射率の領域毎に、照明光色の影響を除去した色を計算後、色空間変換部104にて、出力デバイス(モニタ等)の特性に合わせた色空間(例えばRGB等)に変換する。照明光色の影響を除去した色(Xnew,Ynew,Znew)を得るには以下のように、対象領域の色(Xori,Yori,Zori)に対して、色成分毎に推定された照明光色(Xest,Yest,Zest)で割った結果として求める。
【数11】
【0040】
さらに、本実施形態においては、画像中に指定した同一分光反射率をもつ2領域における照明光の比率を推定することによってその領域における照明光色を推定することを主眼としているが、照明光色計算部105(ステップS4)では、分光反射率の基底関数の係数を求めており、指定した領域の分光反射率も推定できるという副次的効果もある。なお、基底関数の係数σから分光反射率を得るには(6)式を用いて計算する。
【0041】
以上説明したように、2種類の照明光が存在するシーンの画像から、画像中の各領域において照射する各照明光色の比率を推定することによってその領域に照射している照明光色の推定が可能になる。
【0042】
前述した実施形態における照明光色推定装置10をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
【0043】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【0044】
シーン中に含まれる照明光の種類が既知である場合に、画像中の各領域に放射する照明光の比率を求めることが不可欠な用途に適用できる。
【符号の説明】
【0045】
10…照明光色推定装置、101…画像入力部、102…データ蓄積部、103…色領域選択部、104…色空間変換部、105…照明色計算部、21…被写体、22…照明A、23・・・照明B
図1
図2
図3