特許 6409088 画像処理方法および画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6409088

(24)【登録日】2018年9月28日

(45)【発行日】2018年10月17日

(54)【発明の名称】画像処理方法および画像処理装置

(51)【国際特許分類】

   G01N 21/21 20060101AFI20181004BHJP

   G06T 1/00 20060101ALI20181004BHJP

【ＦＩ】

   G01N21/21 Z

   G06T1/00 400H

【請求項の数】21

【全頁数】46

(21)【出願番号】特願2017-74535(P2017-74535)

(22)【出願日】2017年4月4日

(65)【公開番号】特開2017-201303(P2017-201303A)

(43)【公開日】2017年11月9日

【審査請求日】2017年4月4日

(31)【優先権主張番号】特願2016-91832(P2016-91832)

(32)【優先日】2016年4月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】川端 優

(72)【発明者】

【氏名】中野 貴司

(72)【発明者】

【氏名】夏秋 和弘

(72)【発明者】

【氏名】瀧本 貴博

(72)【発明者】

【氏名】山崎 信夫

(72)【発明者】

【氏名】本田 大輔

(72)【発明者】

【氏名】玉井 幸夫

【審査官】 塚本 丈二

(56)【参考文献】

【文献】 国際公開第２００７／０２９４４６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００７／０１１０２８５（ＵＳ，Ａ１）

【文献】 特開平１１−２０３４７８（ＪＰ，Ａ）

【文献】 特表昭６２−５０１８８９（ＪＰ，Ａ）

【文献】 米国特許第０４６４１３４９（ＵＳ，Ａ）

【文献】 国際公開第２００９／０１９８８７（ＷＯ，Ａ１）

【文献】 国際公開第２００４／０９０８１４（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００５／０２２６４７０（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１５／００４２７７６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／００−２１／０１

Ｇ０１Ｎ ２１／１７−２１／６１

Ｇ０６Ｔ １／００、７／００、

Ａ６１Ｂ ５／１０

(57)【特許請求の範囲】

【請求項1】

主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を１つの画素ユニットとし、前記画素ユニットが二次元的に配列された撮像素子によって、当該撮像素子における、被写体の実効的な放射輝度値である実効放射輝度値を当該被写体から取得する輝度値情報取得ステップと、
前記被写体から取得した実効放射輝度値を用いて前記被写体の像を含む撮像画像を生成する画像生成ステップとを含み、
前記画像生成ステップにおいて、前記被写体の少なくとも一部に対応する前記画素ユニットごとに、当該画素ユニットに含まれる複数の画素の実効放射輝度値から、前記被写体の表面での正反射光成分の少なくとも一部を除去し、得られた輝度値を有する単位領域の集合としての前記撮像画像を生成し、
前記輝度値情報取得ステップにおいて取得した前記実効放射輝度値に含まれる、前記被写体の表面での正反射光成分が所定の強度以下であるか否かを判定する映り込み判定ステップと、
前記映り込み判定ステップにおいて、前記被写体の表面での正反射光成分が所定の強度以下であると判定された場合に、前記被写体に対して偏光を照射した状態で前記実効放射輝度値を取得する輝度値情報再取得ステップとをさらに含み、
前記輝度値情報再取得ステップが実行された場合には、前記画像生成ステップにおいて、前記輝度値情報再取得ステップにて取得した前記実効放射輝度値に含まれる、前記被写体の表面での正反射光成分の少なくとも一部を除去することを特徴とする画像処理方法。

【請求項2】

前記画像生成ステップにおいて、前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値のうちの最小値を、前記単位領域のそれぞれの輝度値として決定することを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記画像生成ステップにおいて、
前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値に基づいて、当該画素ユニットにおいて取り得る実効放射輝度値の最小値を推定し、
推定した前記最小値から、前記単位領域のそれぞれの輝度値を決定することを特徴とする請求項１に記載の画像処理方法。

【請求項4】

前記画像生成ステップにおいて、前記画素ユニットのそれぞれに含まれる前記複数の画素の前記実効放射輝度値に対して、前記偏光素子の主軸方向の角度を変数とする三角関数または多項式を適用することにより、前記最小値を推定することを特徴とする請求項３に記載の画像処理方法。

【請求項5】

前記画像生成ステップにおいて、
前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値に基づいて、当該画素ユニットにおける実効放射輝度値の最大値および最小値を特定し、
特定した前記最大値および前記最小値と、当該画素ユニットに対応する前記被写体の表面における、フレネルの法則に基づいて算出されるＳ偏光成分の反射率に対するＰ偏光成分の反射率の比率とを用いて、前記画素ユニットのそれぞれにおける拡散反射光成分を算出し、上記拡散反射光成分を前記単位領域のそれぞれの輝度値として決定することを特徴とする請求項１に記載の画像処理方法。

【請求項6】

前記画像生成ステップにおいて、
前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値に基づいて、当該画素ユニットにおける実効放射輝度値の最大値および最小値を特定し、
特定した前記最大値から前記最小値を減じることにより第１正反射光成分を算出し、
算出した前記第１正反射光成分と、当該画素ユニットに対応する前記被写体の表面における、フレネルの法則に基づいて算出されるＳ偏光成分の反射率に対するＰ偏光成分の反射率の比率と、を用いて第２正反射光成分を算出し、
特定した前記最大値から前記第１および第２正反射光成分を減じた値を、前記単位領域のそれぞれの輝度値として決定することを特徴とする請求項１に記載の画像処理方法。

【請求項7】

主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を１つの画素ユニットとし、前記画素ユニットが二次元的に配列された撮像素子によって、当該撮像素子における、被写体の実効的な放射輝度値である実効放射輝度値を当該被写体から取得する輝度値情報取得ステップと、
前記被写体から取得した実効放射輝度値を用いて前記被写体の像を含む撮像画像を生成する画像生成ステップとを含み、
前記画像生成ステップにおいて、前記被写体の少なくとも一部に対応する前記画素ユニットごとに、当該画素ユニットに含まれる複数の画素の実効放射輝度値から、前記被写体の表面での正反射光成分の少なくとも一部を除去し、得られた輝度値を有する単位領域の集合としての前記撮像画像を生成し、
前記画像生成ステップにおいて、前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値のうちの最小値を、前記単位領域のそれぞれの輝度値として決定することを特徴とする画像処理方法。

【請求項8】

主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を１つの画素ユニットとし、前記画素ユニットが二次元的に配列された撮像素子によって、当該撮像素子における、被写体の実効的な放射輝度値である実効放射輝度値を当該被写体から取得する輝度値情報取得ステップと、
前記被写体から取得した実効放射輝度値を用いて前記被写体の像を含む撮像画像を生成する画像生成ステップとを含み、
前記画像生成ステップにおいて、前記被写体の少なくとも一部に対応する前記画素ユニットごとに、当該画素ユニットに含まれる複数の画素の実効放射輝度値から、前記被写体の表面での正反射光成分の少なくとも一部を除去し、得られた輝度値を有する単位領域の集合としての前記撮像画像を生成し、
前記画像生成ステップにおいて、
前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値に基づいて、当該画素ユニットにおいて取り得る実効放射輝度値の最小値を推定し、
推定した前記最小値を、前記単位領域のそれぞれの輝度値として決定することを特徴とする画像処理方法。

【請求項9】

主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を１つの画素ユニットとし、該画素ユニットが二次元的に配列された撮像素子によって撮影された被写体の画像を取得するステップと、
前記撮像素子における前記画素ユニットの二次元的位置と対応する前記被写体上の位置により決まる前記被写体への入射角に依存したＳ偏光の輝度分布を、前記撮像素子の出力を用いて算出するステップと、
を有し、
前記Ｓ偏光の輝度分布を算出するときに、前記画素ユニットに含まれる画素の輝度値の最大値から最小値を減算することで、当該画素ユニットにおけるＳ偏光の輝度値を算出することを特徴とする画像処理方法。

【請求項10】

前記撮像素子の出力から求めた前記画像の輝度分布から、前記Ｓ偏光の輝度分布を減算するステップをさらに含むことを特徴とする請求項９に記載の画像処理方法。

【請求項11】

前記Ｓ偏光の輝度分布から、フレネルの法則により、前記被写体への入射角に依存したＰ偏光の輝度分布を算出するステップをさらに含むことを特徴とする請求項９または１０に記載の画像処理方法。

【請求項12】

前記画像の輝度分布から、前記Ｓ偏光の輝度分布および前記Ｐ偏光の輝度分布を減算するステップをさらに含むことを特徴とする請求項１１に記載の画像処理方法。

【請求項13】

主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を１つの画素ユニットとし、前記画素ユニットが二次元的に配列された撮像素子を備える画像処理装置であって、
前記撮像素子によって当該撮像素子における被写体の実効的な放射輝度値である実効放射輝度値を当該被写体から取得する輝度値情報取得部と、
前記被写体から取得した実効放射輝度値を用いて前記被写体の像を含む撮像画像を生成する画像生成部とを含み、
前記画像生成部は、前記被写体の少なくとも一部に対応する前記画素ユニットごとに、当該画素ユニットに含まれる複数の画素の実効放射輝度値から、前記被写体の表面での正反射光成分の少なくとも一部を除去し、得られた輝度値を有する単位領域の集合としての前記撮像画像を生成し、
前記輝度値情報取得部が取得した前記実効放射輝度値に含まれる、前記被写体の表面での正反射光成分が所定の強度以下であるか否かを判定する映り込み判定部と、
前記被写体の表面での正反射光成分が所定の強度以下であると前記映り込み判定部が判定した場合に、前記被写体に対して偏光が照射された状態で前記実効放射輝度値を取得する輝度値情報再取得部とをさらに含み、
前記輝度値情報再取得部が被写体の実効放射輝度値を取得した場合には、前記画像生成部は、前記輝度値情報再取得部が取得した前記実効放射輝度値に含まれる、前記被写体の表面での正反射光成分の少なくとも一部を除去することを特徴とする画像処理装置。

【請求項14】

前記画像生成部は、前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値のうちの最小値を、前記単位領域のそれぞれの輝度値として決定することを特徴とする請求項１３に記載の画像処理装置。

【請求項15】

前記画像生成部は、
前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値に基づいて、当該画素ユニットにおいて取り得る実効放射輝度値の最小値を推定し、
推定した前記最小値から前記単位領域のそれぞれの輝度値を決定することを特徴とする請求項１３に記載の画像処理装置。

【請求項16】

前記画像生成部は、前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値に対して、前記偏光素子の主軸方向の角度を変数とする三角関数または多項式を適用することにより、前記最小値を推定することを特徴とする請求項１５に記載の画像処理装置。

【請求項17】

前記画像生成部は、
前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値に基づいて、当該画素ユニットにおける実効放射輝度値の最大値および最小値を特定し、
特定した前記最大値および前記最小値と、当該画素ユニットに対応する前記被写体の表面における、フレネルの法則に基づいて算出されるＳ偏光成分の反射率に対するＰ偏光成分の反射率の比率とを用いて、前記画素ユニットのそれぞれにおける拡散反射光成分を算出し、上記拡散反射光成分を前記単位領域のそれぞれの輝度値として決定することを特徴とする請求項１３に記載の画像処理装置。

【請求項18】

前記画像生成部は、
前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値に基づいて、当該画素ユニットにおける実効放射輝度値の最大値および最小値を特定し、
特定した前記最大値から前記最小値を減じることにより第１正反射光成分を算出し、
算出した前記第１正反射光成分と、当該画素ユニットに対応する前記被写体の表面における、フレネルの法則の式に基づいて算出されるＳ偏光成分の反射率に対するＰ偏光成分の反射率の比率を用いて第２正反射光成分を算出し、
特定した前記最大値から前記第１および第２正反射光成分を減じた値を、前記単位領域のそれぞれの輝度値として決定することを特徴とする請求項１３に記載の画像処理装置。

【請求項19】

主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を１つの画素ユニットとし、前記画素ユニットが二次元的に配列された撮像素子を備える画像処理装置であって、
前記撮像素子によって当該撮像素子における被写体の実効的な放射輝度値である実効放射輝度値を当該被写体から取得する輝度値情報取得部と、
前記被写体から取得した実効放射輝度値を用いて前記被写体の像を含む撮像画像を生成する画像生成部とを含み、
前記画像生成部は、前記被写体の少なくとも一部に対応する前記画素ユニットごとに、当該画素ユニットに含まれる複数の画素の実効放射輝度値から、前記被写体の表面での正反射光成分の少なくとも一部を除去し、得られた輝度値を有する単位領域の集合としての前記撮像画像を生成し、
前記画像生成部は、前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値のうちの最小値を、前記単位領域のそれぞれの輝度値として決定することを特徴とする画像処理装置。

【請求項20】

主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を１つの画素ユニットとし、前記画素ユニットが二次元的に配列された撮像素子を備える画像処理装置であって、
前記撮像素子によって当該撮像素子における被写体の実効的な放射輝度値である実効放射輝度値を当該被写体から取得する輝度値情報取得部と、
前記被写体から取得した実効放射輝度値を用いて前記被写体の像を含む撮像画像を生成する画像生成部とを含み、
前記画像生成部は、前記被写体の少なくとも一部に対応する前記画素ユニットごとに、当該画素ユニットに含まれる複数の画素の実効放射輝度値から、前記被写体の表面での正反射光成分の少なくとも一部を除去し、得られた輝度値を有する単位領域の集合としての前記撮像画像を生成し、
前記画像生成部は、
前記画素ユニットのそれぞれに含まれる前記複数の画素の実効放射輝度値に基づいて、当該画素ユニットにおいて取り得る実効放射輝度値の最小値を推定し、
推定した前記最小値を、前記単位領域のそれぞれの輝度値として決定することを特徴とする画像処理装置。

【請求項21】

前記被写体の一部が虹彩であり、前記画像生成部が生成した撮像画像に基づいて本人認証を行う認証部をさらに備えることを特徴とする請求項１３〜２０のいずれか１項に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

以下の開示は、虹彩認証に用いる画像に対する処理を行う画像処理方法、画像処理装置および画像処理プログラムに関する。

【背景技術】

【0002】

近年、被写体を撮影した画像において、被写体からの反射光に含まれる拡散反射成分と鏡面反射成分とを分離する技術が開発されている。これは、画像処理アルゴリズムの多くは拡散反射を前提としており、鏡面反射は画像処理アルゴリズムの性能低下の要因となり得るためである。上記２つの反射成分を分離する技術の一例が、特許文献１に開示されている。

【0003】

特許文献１には、下記（１）〜（５）の工程を含む画像処理方法が開示されている。
（１）任意の照明下で、主軸方向が互いに異なる偏光素子を通してカメラにより被写体の複数の画像を撮影する。
（２）撮影した複数の画像の、鏡面反射が生じている画素群について、画素毎に、被写体の法線ベクトルと視線ベクトルとから入射面を特定する。
（３）上記画素毎に、被写体の法線ベクトルと視線ベクトルとから入射角を特定する。
（４）入射面及び入射角の両方が類似している画素同士をクラスタリングして画素集合を形成する。
（５）画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分を分離する。

【0004】

特許文献１の画像処理方法によれば、一般の照明環境においても拡散反射成分と鏡面反射成分を分離することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第３９５５６１６号公報（２００７年５月１１日登録）

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１には、被写体からの反射光に含まれる正反射光成分を低減しして虹彩認証を行うことについての開示は無い。

【0007】

本開示の一態様は、正反射光成分を低減することが可能な画像処理方法等を実現することを目的とする。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、本開示の一態様に係る画像処理方法は、主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を１つの画素ユニットとし、前記画素ユニットが二次元的に配列された撮像素子によって、当該撮像素子における被写体の実効的な放射輝度値である実効放射輝度値を当該被写体から取得する輝度値情報取得ステップと、前記被写体から取得した実効放射輝度値を用いて前記被写体の像を含む撮像画像を生成する画像生成ステップとを含み、前記画像生成ステップにおいて、前記被写体の少なくとも一部に対応する前記画素ユニットごとに、当該画素ユニットに含まれる複数の画素の実効放射輝度値から、前記被写体の表面での正反射光成分の少なくとも一部を除去し、得られた輝度値を有する単位領域の集合としての前記撮像画像を生成する。

【0009】

また、本開示の一態様に係る画像処理方法は、主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を１つの画素ユニットとし、該画素ユニットが二次元的に配列された撮像素子によって撮影された被写体の画像を取得するステップと、前記撮像素子における前記画素ユニットの二次元的位置と対応する前記被写体上の位置により決まる前記被写体への入射角に依存したＳ偏光の輝度分布を、前記撮像素子の出力を用いて算出するステップと、を含む。

【0010】

また、本開示の一態様に係る画像処理装置は、主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を１つの画素ユニットとし、前記画素ユニットが二次元的に配列された撮像素子を備える画像処理装置であって、前記撮像素子によって当該撮像素子における被写体の実効的な放射輝度値である実効放射輝度値を当該被写体から取得する輝度値情報取得部と、前記被写体から取得した実効放射輝度値を用いて前記被写体の像を含む撮像画像を生成する画像生成部とを含み、前記画像生成部は、前記被写体の少なくとも一部に対応する前記画素ユニットごとに、当該画素ユニットに含まれる複数の画素の実効放射輝度値から、前記被写体の表面での正反射光成分の少なくとも一部を除去し、得られた輝度値を有する単位領域の集合としての前記撮像画像を生成する。

【発明の効果】

【0011】

本開示の一態様に係る画像処理方法および画像処理装置によれば、正反射光成分を低減することが可能な画像処理方法等を実現することができる。

【図面の簡単な説明】

【0012】

【図1】本実施形態の画像処理方法における処理の流れの一例を示すフローチャートである。

【図2】画像処理装置の概要を説明するための図である。

【図3】画像処理装置における画像処理の概要を説明するための図である。

【図4】本実施形態の画像処理装置を備える携帯情報端末の構成を示すブロック図である。

【図5】（ａ）および（ｂ）は、カメラが備える集積偏光子の別の例を示す図である。

【図6】画像処理装置における処理に用いる値について説明するための図である。

【図7】偏光角に対する、画素において受光される光の受光強度を示すグラフである。

【図8】入射角に対するＳ偏光およびＰ偏光の反射係数を示すグラフである。

【図9】本実施形態の画像処理方法における処理の流れの、別の例を示すフローチャートである。

【図10】（ａ）および（ｂ）はいずれも、本実施形態の画像処理方法における処理の流れの、さらに別の例を示すフローチャートである。

【図11】ゴムボールへの光の入射角に対する、Ｓ偏光の反射強度を示すグラフである。

【図12】本実施形態の画像処理装置による画像処理の実験結果を示す画像の概略を示す図である。

【図13】実施形態３の画像処理装置の構成を示すブロック図である。

【図14】実施形態３の画像処理装置における処理の流れを示すフローチャートである。

【図15】実施形態４の画像処理装置を備える電子情報機器の構成を示すブロック図である。

【図16】実施形態４の画像処理装置における処理の流れを示すフローチャートである。

【図17】単位領域における画素の輝度値の例を示すグラフである。

【図18】実施形態５の画像処理装置を備える電子情報機器の構成を示すブロック図である。

【図19】実施形態５の画像処理装置における処理の流れを示すフローチャートである。

【図20】単位領域における画素の輝度値の例を示すグラフである。

【図21】式（５−１）に含まれるパラメータを示すグラフである。

【図22】（ａ）は、ルックアップテーブルの例を示す図であり、（ｂ）は、最小輝度値推定部が作成するテーブルの例を示す図であり、（ｃ）は、輝度値の信号強度の例を示す図であり、（ｄ）は、（ｃ）に示した信号強度の例、および最小輝度値推定部が推定した輝度値を示す信号強度の例を示すグラフである。

【図23】実施形態６の画像処理装置を備える電子情報機器の構成を示すブロック図である。

【図24】実施形態６の画像処理装置における処理の流れを示すフローチャートである。

【図25】画素ユニットに含まれる画素の実効放射輝度値、当該画素ユニットに含まれる画素が取り得る実効放射輝度値の推定値、および拡散光成分の推定値の例を示すグラフであって、（ａ）は眼球への入射角が３０°である光が眼球で反射された反射光が入射する画素ユニットのグラフであり、（ｂ）は眼球への入射角が２０°である光が眼球で反射された反射光が入射する画素ユニットのグラフであり、（ｃ）は眼球への入射角が１０°である光が眼球で反射された反射光が入射する画素ユニットのグラフである。

【図26】実施形態８の画像処理装置を備える電子情報機器の構成を示すブロック図である。

【図27】実施形態８の画像処理装置における処理の流れを示すフローチャートである。

【図28】画素ユニットの配置を示す図であり、（ａ）は、９つの画素からなる画素ユニットが互いに重ならないように配置された状態を示す図であり、（ｂ）は、４つの画素からなる画素ユニットが互いに重ならないように配置された状態を示す図であり、（ｃ）は、９つの画素からなる画素ユニットが部分的に重なるように配置された状態を示す図であり、（ｄ）は、４つの画素からなる画素ユニットが部分的に重なるように配置された状態を示す図である。

【図29】実施形態６の画像処理と他の画像処理とを並行して実行する画像処理装置における処理の流れを示すフローチャートである。

【図30】被写体が両目の眼球を含む場合について説明するための図である。

【発明を実施するための形態】

【0013】

〔実施形態１〕
以下、本発明の実施形態１について、詳細に説明する。本実施形態の画像処理装置は、人間の眼球の、虹彩の画像に基づいて認証を行う装置である。

【0014】

（画像処理装置１０の概要）
まず、画像処理装置１０の概要について説明する。図２は、画像処理装置１０の概要を説明するための図である。画像処理装置１０は、被写体を撮影した画像に対して画像処理を行うものである。具体的には、画像処理装置１０は、被写体からの反射光に含まれる拡散反射成分と鏡面反射成分とを分離する処理を行う。画像処理装置１０は、本実施形態では携帯情報端末１に搭載されている。

【0015】

携帯情報端末１は、例えば、ユーザの眼球Ｅ（被写体）の画像について上記２つの反射成分を分離し、当該分離した画像を用いて当該ユーザの虹彩認証を行うことが可能な端末であり、図２に示すように、上述した画像処理装置１０とカメラ２０とを備えている。画像処理装置１０の詳細については後述する。なお、本発明の一態様における被写体は眼球に限定されず、映り込みが発生する可能性のある被写体であればどのようなものでもよい。

【0016】

カメラ２０は、ユーザ操作に基づいて被写体を撮影する。本実施形態では、図２に示すように、カメラ２０はユーザの眼球Ｅを撮影して、眼球Ｅの画像を取得する。また、カメラ２０は、主として、集積偏光子２１と受光素子２２（撮像素子）（図３参照）と備えており、カメラ２０に光が入射する方向から見て、集積偏光子２１および受光素子２２の順に積層されている。

【0017】

集積偏光子２１は、複数の偏光素子から構成され、複数の偏光素子の主軸方向は異なる。本実施形態では、集積偏光子２１は、１画素につき１つの偏光素子が対応している。そして本実施形態では、図２に示すように、隣接する９つの画素にそれぞれ対応する９つの偏光素子２１ａ〜２１ｉを備えている。具体的には、９つの偏光素子２１ａ〜２１ｉは、各画素において、それぞれ０°、２０°、４０°、６０°、８０°、１００°、１２０°、１４０°および１６０°の偏光角を有する。

【0018】

受光素子２２は、上記９つの偏光素子２１ａ〜２１ｉと対応付けられた複数の画素を1つの画素ユニットとし、当該画素ユニットが二次元的に配列された構成を有する。

【0019】

携帯情報端末１においてユーザの虹彩認証を行う場合、カメラ２０によってユーザの眼球Ｅが撮影される。図２に示すように、ユーザの眼球Ｅに外光または室内光が照射されると、当該光は眼球Ｅの表面において反射され、反射光Ｌｒがカメラ２０に入射することになる。

【0020】

カメラ２０は、ユーザの眼球Ｅに外光（太陽光）または室内光が照射され、虹彩において当該外光または室内光を反射した反射光Ｌｒを取得することにより、ユーザの虹彩の像を含む画像を取得し、携帯情報端末１は、当該虹彩の像を解析することによりユーザ認証を行う。一方、ユーザの視界に物体Ｏが存在する場合、図２に示すように、外光または室内光の影響により物体Ｏが眼球Ｅに映り込み、眼球Ｅには映り込み像Ｉｒが形成される。すなわち、物体Ｏに照射され、物体Ｏで反射した外光または室内光が眼球Ｅに照射されることにより、眼球Ｅに映り込み像Ｉｒが形成される。そして、カメラ２０は、この映り込み像Ｉｒにおいて外光または室内光を反射した反射光Ｌｒを取得することにより、映り込み像Ｉｒを含む画像を取得する。携帯情報端末１は、取得した虹彩の像および映り込み像Ｉｒを含む画像から映り込み像Ｉｒを除去する処理を行わなければ、虹彩の画像解析において映り込み像Ｉｒの影響を受けてしまい、正確な虹彩認証ができない可能性がある。

【0021】

特に、太陽光の照射下においてはユーザの眼球Ｅに強い映り込みが生じるため、屋外での正確な虹彩認証は困難を伴う。太陽光の強度よりも高い強度を有する光をユーザの眼球Ｅに照射することで、虹彩認証における太陽光の影響を低減することはできるが、このような強度の高い光を眼球Ｅまたは肌に照射した場合には、眼球Ｅまたは肌の状態が悪化してしまう可能性がある。

【0022】

本実施形態の携帯情報端末１は、集積偏光子２１と画像処理装置１０とを備えることにより、上記のような強度の高い光を眼球Ｅに照射することなく、虹彩の画像解析における上記映り込み像Ｉｒの影響を低減し、正確な虹彩認証を行うことを可能とする。

【0023】

次に、上記影響を低減するための画像処理装置１０における処理の概要について、図３を用いて説明する。図３は、画像処理装置１０における画像処理の概要を説明するための図である。なお、図３では、集積偏光子２１の図示を簡略化している。

【0024】

図３に示す例では、太陽光の照射下において、虹彩認証のためにユーザの眼球Ｅの撮影を行っている。また、ユーザの眼球Ｅには物体Ｏの映り込み像Ｉｒが形成されている。

【0025】

虹彩認証を行うために、カメラ２０によってユーザの眼球Ｅが撮影されると、ユーザの眼球Ｅからの反射光Ｌｒは、集積偏光子２１を介して受光素子２２によって受光される。

【0026】

ここで一般に、画像処理に用いる像を形成する光（ここでは、認証処理に用いられる虹彩を示す反射光Ｌｒ）の強度は、そのほとんどが拡散反射成分から構成される。本実施形態では、当該光は、認証処理において必要となる眼球Ｅ（具体的には虹彩）の表面を示す表面情報を示すものとして処理される。一方、上記画像処理において除去すべきノイズとなる像を形成する光（ここでは、認証処理に悪影響を与える物体Ｏを示す反射光Ｌｒ）の強度は、そのほとんどが鏡面反射成分から構成される。この鏡面反射成分は、Ｓ偏光光源成分（Ｓ偏光成分）とＰ偏光光源成分（Ｐ偏光成分）とを含む。

【0027】

図３では、映り込み像Ｉｒおよび虹彩を含む眼球Ｅが撮影されているので、上記３種類の反射成分を含む反射光Ｌｒが集積偏光子２１を介して受光素子２２によって受光される。したがって、受光素子２２が受光した反射光ＬｒからＳ偏光成分およびＰ偏光成分を除去する必要がある。

【0028】

本実施形態では、受光素子２２が受光した反射光Ｌｒに対してデジタル変換処理を行い、デジタル信号化された反射光Ｌｒに対して、Ｓ偏光成分およびＰ偏光成分を除去する処理（Ｓ波Ｐ波除去）が行われる。これにより、図３に示すように、認証処理において必要となる眼球Ｅの画像から、映り込み像Ｉｒが除去される。携帯情報端末１は、この映り込み像Ｉｒが除去された画像（すなわち、眼球Ｅの虹彩の像のみを含む画像）についてコード化を行うことにより、認証用の眼球Ｅのデータを生成する。これにより、携帯情報端末１は、正確な虹彩認証を行うことができる。

【0029】

なお、更に精度良く虹彩認証を行うために、Ｓ偏光成分およびＰ偏光成分を除去する処理後に、既知の独立成分分析（Independent Component Analysis;ＩＣＡ）処理が行われてもよい。

【0030】

（携帯情報端末１の構成）
図４は、本実施形態の画像処理方法を実行する画像処理装置１０を備える携帯情報端末１の構成を示すブロック図である。図４に示すように、携帯情報端末１は、画像処理装置１０と、カメラ２０と、カメラ２０からユーザの眼球Ｅの表面の各点までの距離を測定して後述するＳ偏光算出部１２へ送信するする測距装置３０と、を備える。

【0031】

なお、本実施形態では、画像処理装置１０、カメラ２０および測距装置３０を一体に備える携帯情報端末１を例に挙げて説明するが、これらの部材は一体に設けられている必要は無い。すなわち、画像処理装置１０が、当該画像処理装置１０とは別装置であるカメラ２０から撮像された画像を取得でき、かつ、当該画像処理装置１０とは別装置である測距装置３０から測定された上記距離を取得できればよい。

【0032】

本実施形態のカメラ２０は、画素としてＣＣＤ（Charge Coupled Device）を用いている。なお、カメラ２０は、画素としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いるものであってもよい。

【0033】

図５の（ａ）および（ｂ）は、カメラ２０が備える集積偏光子の別の例を示す図である。本実施形態のカメラ２０は、図２において説明した通り、９種の偏光素子２１ａ〜２１ｉを備える集積偏光子２１を備える。しかし、本発明の一態様において用いられるカメラは、例えば図５の（ａ）に示すような、４種の偏光素子２１ｊ、２１ｋ、２１ｌ（エル）および２１ｍを備える集積偏光子２１Ａを備えていてもよい。また、本発明の一態様において用いられるカメラは、例えば図５の（ｂ）に示すような、２種の偏光素子２１ｎおよび２１ｏを備える集積偏光子２１Ｂを備えていてもよい。

【0034】

（画像処理装置１０）
画像処理装置１０は、黒目検出部１１と、Ｓ偏光算出部１２と、Ｐ偏光算出部１３と、拡散光算出部１４と、認証部１５と、を備える。

【0035】

黒目検出部１１は、カメラ２０が撮影した画像を取得し、当該画像に含まれる、ユーザの黒目に対応する領域を特定する。黒目検出部１１における処理は、例えば虹彩の画像による認証の分野においては公知であるため、本明細書では説明を省略する。

【0036】

Ｓ偏光算出部１２は、画像に含まれるＳ偏光の輝度分布を算出する。Ｓ偏光算出部１２による処理については後述する。

【0037】

Ｐ偏光算出部１３は、画像に含まれるＰ偏光の輝度分布を算出する。Ｐ偏光算出部１３は、Ｓ偏光の輝度分布、およびフレネルの法則に基づいて、Ｐ偏光の輝度分布を算出する。

【0038】

拡散光算出部１４は、画像に含まれる拡散光の輝度分布を算出する。具体的には、拡散光算出部１４は、各画素の輝度値から、当該画素におけるＳ偏光およびＰ偏光の輝度値を減算する。上記減算処理により、Ｓ偏光およびＰ偏光の成分が除去された、拡散光の成分のみの画像を得ることができる。

【0039】

認証部１５は、拡散光のみの画像に含まれる虹彩の画像を用いて、ユーザの認証を行う。認証部１５における、虹彩による認証は公知技術であるため、本明細書では説明を省略する。

【0040】

（Ｓ偏光算出部１２における処理）
図６は、画像処理装置における処理に用いる値について説明するための図である。以下の説明においては、各数値を以下のように規定する。
・Ｒ：カメラ２０のレンズから眼球Ｅの中心までの距離
・ｒ：眼球Ｅの半径
・θ：眼球Ｅへの光の入射角（（ｉ）光が入射した眼球上の位置Ｐと眼球の中心とを結ぶ直線Ｌ１（第１の仮想線）と、（ｉｉ）当該位置Ｐとカメラ２０のレンズの中心とを結ぶ直線Ｌ２（第２の仮想線）と、がなす角）
・φ：（ｉ）カメラ２０のレンズの中心と眼球Ｅの中心とを結ぶ直線と、（ｉｉ）上記直線Ｌ１と、がなす角
Ｓ偏光算出部１２は、画素ユニットの二次元的位置に対応する眼球Ｅ上の位置Ｐにより決まる入射角θに依存したＳ偏光の輝度分布を、受光素子２２の画素の輝度値（出力）を用いて算出する。Ｓ偏光算出部１２における処理について、以下に説明する。

【0041】

（Ｓ偏光算出部１２による第１の処理）
まず、Ｓ偏光算出部１２は、入射角θがブリュースター角になる眼球上の点（以下、必要に応じて「ブリュースター点」と記す）に対応する、受光素子２２における画素を特定する。具体的には、以下の式（１−１）に基づいて角度φを算出する。式（１−２）は、式（１−１）を変形したものである。

【0042】

【数1】

【0043】

【数2】

【0044】

式（１−１）および（１−２）において、Ｒは測距装置３０により測定される。より正確には、測距装置３０は、カメラ２０のレンズから眼球Ｅの表面までの距離、すなわちＲからｒを引いた距離を測定する。人体における眼球の場合、ｒの値は７．４ｍｍでほぼ一定である。したがって、測距装置３０による測定データからＲを算出することができる。さらに、眼球の角膜の屈折率ｎが１．３７６であることから、本実施形態ではブリュースター角（＝θ）は５３．１°であるものとする。これらの数値から、Ｓ偏光算出部１２は、式（１−１）または（１−２）を用いて角度φを算出できる。

【0045】

ここで、カメラ２０と眼球Ｅの中心とを結ぶ直線上に存在する、眼球Ｅの表面に対応する画素は、眼球Ｅの領域内でもっともカメラに近い画素である。当該画素の位置と上記距離から、眼球Ｅの画像における、ブリュースター点に対応する画素を特定することができる。なお、ブリュースター点に対応する画素は、画像中で複数特定される。

【0046】

次に、Ｓ偏光算出部１２は、カメラ２０の受光素子２２に含まれる、特定した各々の画素を含む画素ユニットを特定する。画素ユニットは、複数の偏光素子と対応付けられている一群の画素である。本実施形態では、画素ユニットは、主軸方向が互いに異なる９つの偏光素子と対応付けられている。その画素ユニットが、カメラ２０の受光素子２２に二次元的に配列されている。図６において、眼球上の位置Ｐとカメラ２０のレンズの中心とを結ぶ直線Ｌ２上の、受光素子２２における画素ユニットの二次元的位置において、当該位置Ｐに入射された光を受ける。

【0047】

次に、Ｓ偏光算出部１２は、特定した画素ユニットに含まれる画素の輝度値の最大値から最小値を減算することで、ブリュースター点におけるＳ偏光の輝度値を算出する。このとき、例えば特定した全ての画素ユニットについて画素の輝度値の最大値から最小値を減算した差の平均値をブリュースター点におけるＳ偏光の輝度値としてもよい。または、任意の画素ユニットについてのみ画素の輝度値の最大値から最小値を減算し、算出された差をブリュースター点におけるＳ偏光の輝度値としてもよい。

【0048】

図７は、偏光角（主軸方向の角度）に対する、画素において受光される光の受光強度を示すグラフである。図７に示すグラフにおいて、横軸は偏光角であり、縦軸は受光強度である。上記受光強度は、認証処理に必要となる虹彩像を示す拡散反射成分（ｋ−ｔｅｒｍ）と、認証処理においてノイズとなる外光の映り込み像Ｉｒを示す鏡面反射成分とを含む。鏡面反射成分は、上述したように、Ｓ偏光成分（ｆ−ｔｅｒｍ）とＰ偏光成分（ｇ−ｔｅｒｍ）とを含む。Ｓ偏光成分は、略余弦関数（ｃｏｓ（θ＋ψ）（ψは任意の定数））または略正弦関数を形成する。

【0049】

拡散反射成分は、偏光角によらず一定である。したがって、図７に示すグラフにおける、偏光角に対する受光強度の変動は、鏡面反射成分、特にＳ偏光成分の変動である。

【0050】

図８は、入射角θに対するＳ偏光およびＰ偏光の反射係数（フレネルの法則）を示すグラフである。図８に示すグラフにおいて、横軸は眼球Ｅへの光の入射角θ（図６参照）であり、縦軸は反射係数である。反射係数とは、反射強度を示す相対的な値である。また、眼球ＥにおけるＳ偏光およびＰ偏光の反射強度は、画素におけるそれぞれの受光強度と１対１に対応する。また、以下の式（２−１）および（２−２）は、眼球Ｅへの光の入射角θと、反射光に含まれるＳ偏光およびＰ偏光の反射係数との関係を示す式である。式（２−１）および（２−２）において、上述した通りｎ＝１．３７６である。

【0051】

【数3】

【0052】

【数4】

【0053】

図８に示すように、Ｐ偏光の反射係数は、入射角θがブリュースター角近傍である場合においてほぼ０になる。すなわち、ブリュースター点に対応する画素を含む画素ユニットに含まれる画素においては、偏光角に対する受光強度の変動は、Ｓ偏光の変動であるとみなすことができる。

【0054】

Ｓ偏光の強度は、偏光角の変動に対して正弦関数的な変化を示すことが知られている。したがって、特定した画素ユニットに含まれる画素の輝度値の最大値から最小値を減算することで、当該画素ユニットにおけるＳ偏光の反射強度（振幅）を求めることができる。

【0055】

その後、Ｓ偏光算出部１２は、ブリュースター角におけるＳ偏光の反射係数および反射強度、ならびにブリュースター点に対応する画素ユニット以外におけるＳ偏光の反射係数から、特定した画素ユニット以外の画素ユニットにおけるＳ偏光の反射強度を算出する。具体的には、ブリュースター角におけるＳ偏光の反射係数と反射強度との比率を算出し、当該比率を用いてブリュースター角以外の入射角θにおける反射係数に対応する反射強度を算出する。すなわち、Ｓ偏光算出部１２は、入射角θがブリュースター角である画素におけるＳ偏光の輝度値を起点とし、ブリュースター角以外の入射角θにおけるＳ偏光の輝度値を算出する。

【0056】

なお、画像内における眼球Ｅの領域において外光の映り込みが発生していない場合、各画素の輝度値は鏡面反射成分を含まない。この場合、画素ユニット内における画素ごとの輝度値は、Ｓ偏光成分を含まないため、偏光角に対して正弦関数的な変化を示さない。

【0057】

そこで、本発明の一態様に係る画像処理装置は、Ｓ偏光算出部１２による処理の前に、画素ユニット内における画素ごとの輝度値が偏光角に対して正弦関数的な変化を示すか否かを判定する映り込み判定部をさらに備えてもよい。映り込み判定部による判定の対象となる画素ユニットは、画像処理装置の製造者が任意に設定すればよい。

【0058】

画素ユニット内における画素ごとの輝度値が偏光角に対して正弦関数的な変化を示さない場合には、眼球Ｅへの外光の映り込みが発生していないと考えられる。この場合、画像処理装置１０は、Ｓ偏光およびＰ偏光の算出を行わず、各画素ユニットに含まれる画素の内で最小の輝度値を拡散反射成分の輝度値として、認証部１５における認証を行ってよい。

【0059】

（Ｓ偏光算出部１２における第２の処理）
上述したブリュースター点に対応する画素は、画像における黒目の領域の外周に位置することが多い。このため、ユーザの目の開き具合、または撮影の角度などによっては、ブリュースター点に対応する画素が上記黒目の領域に含まれないことがある。

【0060】

このような場合には、上記第１の処理を正常に行うことができないため、虹彩による認証は失敗する。そこで、Ｓ偏光算出部１２は、上述した第１の処理により生成された虹彩画像による認証が失敗した場合には、ブリュースター角に対応する画素が受光素子２２上の眼球Ｅの領域に含まれていなかったものとして、以下に説明する第２の処理を行う。

【0061】

第２の処理では、画素ユニットに含まれる画素の輝度値の最大値から最小値を減算することでＳ偏光の輝度値を算出することを、受光素子２２に含まれる複数の画素ユニットについて繰り返す。そして、特定した各々の画素ユニットに含まれる画素の輝度値の最大値から最小値を減算することで、当該画素ユニットにおけるＳ偏光の輝度値を算出する。その後、式（２−１）を用いて各画素ユニットに対応する入射角θとＳ偏光の輝度値との関係についてフィッティングを行い、ｎの値を算出する。

【0062】

なお、本実施形態の画像処理装置においては、Ｓ偏光算出部１２は、上述した第１の処理と第２の処理とのうち、どちらを先に行ってもよい。また、どちらか一方の処理だけを行ってもよい。

【0063】

（Ｐ偏光算出部１３における処理）
図８、式（２−１）および（２−２）に示すとおり、フレネルの法則により、Ｓ偏光とＰ偏光との強度比は、入射角θに応じて決まっている。このため、Ｓ偏光算出部１２が上述した第１の処理を行った場合には、Ｐ偏光算出部１３は上述した通り、Ｓ偏光の輝度分布、およびフレネルの法則に基づいて、Ｐ偏光の輝度分布を算出することができる。

【0064】

また、Ｓ偏光算出部１２が上述した第２の処理を行った場合には、ｎの値が算出されている。したがってＰ偏光算出部１３は、上述した式（２−２）によりＰ偏光の強度を算出することができる。

【0065】

（画像処理装置１０による第１の処理）
図１は、本実施形態の画像処理方法における処理の流れの一例を示すフローチャートである。

【0066】

まず、カメラ２０が、ユーザの眼球Ｅを含む画像を撮影するとともに、測距装置３０が、カメラ２０から眼球Ｅまでの距離を測定する（Ｓ１）。画像処理装置１０は、当該画像および距離を示すデータを取得する。そしてまず、撮影された画像に対し、黒目検出部１１が黒目領域を検出する処理を実行する（Ｓ２）。

【0067】

次に、Ｓ偏光算出部１２は、検出された黒目領域において、カメラ２０へ向けて反射される光の入射角θがブリュースター角である点における、Ｓ偏光の輝度値を算出する（ＳＡ１）。さらにＳ偏光算出部１２は、ステップＳＡ１で算出したＳ偏光の輝度値およびフレネルの法則に基づき、カメラ２０へ向けて反射される光の入射角θがブリュースター角以外の角度である点における、Ｓ偏光の輝度値（輝度分布）を算出する（ＳＡ２）。

【0068】

その後、Ｐ偏光算出部１３は、ステップＳＡ１およびＳＡ２で算出したＳ偏光の輝度分布、およびフレネルの法則に基づいて、Ｐ偏光の輝度値（輝度分布）を算出する（ＳＡ３）。さらに、拡散光算出部１４は、Ｓ偏光の輝度分布およびＰ偏光の輝度分布に基づいて、拡散光の輝度分布を算出する（ＳＡ４）。

【0069】

ステップＳＡ４により得られた拡散光の輝度分布を示す画像（拡散光の画像と称することもある）を用いて、認証部１５が認証を行う（ＳＡ５）。その後、認証部１５は、拡散光の画像によりユーザを認証できたか否か判定する（Ｓ３）。認証できた場合（Ｓ３、Ｙ）、画像処理装置１０は画像処理を終了する。

【0070】

一方、認証できなかった場合（Ｓ３、Ｎ）、画像処理装置１０は、認証の精度を向上させるため、ステップＳＡ１〜ＳＡ５とは異なる処理により、再度ユーザの認証を試みる。具体的には、まずＳ偏光算出部１２は、検出された黒目領域内の各画素ユニットについてＳ偏光輝度値を算出する（ＳＢ１）。次に、Ｐ偏光算出部１３は、ステップＳＢ１において算出したＳ偏光輝度値に基づいて、Ｐ偏光輝度値を算出する（ＳＢ２）。そして、拡散光算出部１４は、Ｓ偏光輝度値およびＰ偏光輝度値に基づいて、拡散光輝度値を算出する（ＳＢ３）。ステップＳＢ３により得られた拡散光の画像を用いて、認証部１５が認証を行う（ＳＢ４）。なお、ステップＳＢ４において認証が失敗した場合には、認証部１５は、認証が失敗したことを、例えば携帯情報端末１が備える表示部（不図示）等を介してユーザに報知する。

【0071】

なお、図１に示したフローチャートにおける処理のうち、ステップＳＡ１〜ＳＡ４の処理が、上述したＳ偏光算出部１２における第１の処理に当たる。また、ステップＳＢ１〜ＳＢ３の処理が、上述したＳ偏光算出部１２における第２の処理に当たる。

【0072】

（画像処理装置１０による第２の処理）
図９は、本実施形態の画像処理方法における処理の流れの、別の例を示すフローチャートである。図９に示す処理によれば、図１に示す処理と比較して高速にユーザの認証を行うことを期待できる。

【0073】

図９に示す処理ではまず、図１に示した例と同様に、ステップＳ１およびＳ２が実行される。次に、画像処理装置１０は、ステップＳＡ１より先にステップＳＢ１〜ＳＢ４による認証を実行する。その後、認証部１５がユーザを認証できたか否か判定する（Ｓ３）。認証できなかった場合（Ｓ３、Ｎ）には、画像処理装置１０は、ステップＳＡ１〜ＳＡ５による認証を実行する。

【0074】

ステップＳＢ１〜ＳＢ４による認証は、ステップＳＡ１〜ＳＡ５による認証と比較して短時間で処理を行うことができる。したがって、図９に示す処理によれば、ステップＳＢ１〜ＳＢ４によりユーザの認証ができる場合には、図１に示す処理と比較して高速にユーザの認証を行うことができる。

【0075】

（画像処理装置１０による第３の処理）
図１０の（ａ）は、本実施形態の画像処理方法における処理の流れの、さらに別の例を示すフローチャートである。図１０の（ａ）に示す処理によれば、図１および図９に示す処理と比較して信頼度が低下する代わりに、図１０に示す処理よりさらに高速にユーザの認証を行うことができる。

【0076】

図１０の（ａ）に示す処理では、図９に示した処理と同様、画像処理装置１０は、ステップＳ１およびＳ２の後に、ステップＳＢ１〜ＳＢ４による認証を実行する。その後、認証部１５は、ステップＳ３の判定を行わない。

【0077】

図１０の（ａ）に示す処理によれば、仮にステップＳＡ１〜ＳＡ５による認証を行えば認証に成功する場合であっても、ステップＳＢ１〜ＳＢ４による認証に失敗すれば認証自体が失敗となるため、認証の信頼度が低下する。一方で、ユーザは、撮影した画像による認証の成否を迅速に知ることができる。

【0078】

（画像処理装置１０による第４の処理）
図１０の（ｂ）は、本実施形態の画像処理方法における処理の流れの、さらに別の例を示すフローチャートである。図１０の（ｂ）に示す処理は、図１０の（ａ）に示す処理と比較して、ステップＳＢ２が省略されている点で異なる。すなわち、図１０の（ｂ）に示す処理によれば、画像処理装置１０はＳ偏光のみを除去し、Ｐ偏光を除去しない。したがって、
図１０の（ｂ）に示す処理によれば、ステップＳＢ４において、認証部１５は、映り込み像ＩｒのＰ偏光成分が除去されていない画像を用いて認証を行う。このため、図１０の（ａ）に示す処理と比較して、認証の信頼度がさらに低下する代わりに、処理速度をさらに高速化することができる。

【0079】

（実験例１）
上述したＳ偏光算出部１２による第２の処理によって、画像処理装置１０により画像内に映り込んだノイズとなる像（映り込み像）の除去を行うことができる理由について、ゴムボールを用いた実験例により以下に説明する。実験に用いたカメラ２０はＣＣＤセンサーを用いたカメラであり、画素数は１９００×９００（約１３０万画素）である。カメラ２０が備える集積偏光子は、偏光角が互いに異なる４種類の偏光素子を有する。以下の説明では、４種類の偏光素子の偏光角について、それぞれ０°、４５°、９０°、および１３５°とする。

【0080】

偏光素子の製造方法は以下のとおりである。まず、ＣＣＤセンサーを構成するフォトダイオードの上にＳｉＯ_２層間膜を介して膜厚４０ｎｍのＡｌＣｕを成膜し、３００ｎｍピッチで１５０ｎｍのスリット（ＡｌＣｕが存在しない帯状の領域）をドライエッチングにより形成する。その後、膜厚５０ｎｍのＳｉＯ_２および膜厚４０ｎｍのＡｌＣｕを順に成膜し、新たなＡｌＣｕに、先に成膜したＡｌＣｕと互い違いになるようにスリットを形成する。

【0081】

ゴムボールの直径は１０ｃｍであり、パターン像として表面に「Ｇ」の文字が書かれている。それぞれの図の基となった写真においては、パターン像と重なる位置に映り込みが発生していた。ゴムボールとカメラ２０のレンズとの間の距離は３０ｃｍ〜５０ｃｍである。

【0082】

偏光角４５°の偏光により形成された画像においては、パターン像は比較的明瞭であった。一方、偏光角０°および９０°の偏光により形成された画像においては、パターン像が不明瞭であった。偏光角１３５°の偏光により形成された画像においては、パターン像がさらに不明瞭であった。すなわち、この集積偏光子では、４つの偏光素子を透過した光において、偏光角４５°の偏光素子を透過した光の輝度が最も高く、偏光角１３５°の偏光素子を透過した光の輝度が最も低い。そのため、下記の実測値には、これらの２つの光の輝度の差を算出した結果を用いている。

【0083】

図１１は、ゴムボールへの光の入射角に対する、Ｓ偏光の反射係数を示すグラフである。図１１において、横軸はゴムボールからの光が入射する各画素における、ゴムボールの半径に対する、ゴムボールの中心からの光が入射する画素から当該画素までの距離の比であり、ゴムボールへの光の入射角に対応する値である。また、縦軸は、Ｓ偏光の反射係数である。

【0084】

図１１において、各データ点は実測値である。一方、実線は式（２−１）を用いた、ゴムボールの屈折率（ｎ＝２．２）における、反射係数の理論値を示すグラフである。Ｓ偏光算出部１２による実測値は、理論値と合致している。さらに、上述した式（２−２）と、フィッティングにより算出したｎの値から、入射角θに対するＰ偏光の輝度分布を求めることができる。

【0085】

以上の通り、本実験では、主軸方向が互いに異なる４つの偏光素子を通して撮影した画像に基づいて、画像に含まれるＳ偏光成分およびＰ偏光成分を算出することができる。元の画像からＳ偏光成分を減算することで、元の画像よりパターン像が明確になった画像を得ることができる。また、元の画像からＳ偏光成分およびＰ偏光成分の両方を減算することで、パターン像がさらに明確になった画像を得ることができる。

【0086】

なお、実際にユーザが携帯情報端末１により目の画像を撮影する場合には、眼球Ｅが画像の中心からずれることが考えられる。眼球Ｅが画像の中心からずれている場合には、式（１−１）および（１−２）に示したような簡単な関係は成り立たない。

【0087】

このような場合には、入射角がブリュースター角である画素の位置を特定することで、上記のずれを判定することができる。

【0088】

具体的には、各画素ユニットにおける画素の輝度の、偏光角への依存性を算出する。上述した通り、ブリュースター角に対応する画素ユニットにおいてはＰ偏光成分が０となるため、当該画素ユニットの輝度に占めるＳ偏光成分の比率が大きくなる。その結果、当該画素ユニットに含まれる画素の輝度は、偏光角に依存しての変動が大きくなる。

【0089】

したがって、偏光角に対する依存性が特に大きい画素ユニットを、ブリュースター角に対応する画素であるとみなすことができる。そして、ブリュースター角に対応する画素の位置から、カメラ２０の位置のズレを判定することができる。

【0090】

（実験例２）
図１２は、本実施形態の画像処理装置による画像処理の実験結果を示す画像の概略を示す図である。本実験では、互いに異なる７種類の偏光角を有する偏光素子を備える集積偏光子を用いた。また、本実験では、上述したフローチャートにおける、ステップＳＢ１〜ＳＢ３によって画像処理を行った。

【0091】

本実験に用いた画像は、画像処理前には、図１２において矢印の前に示すように、黒目領域への外光の映り込み像Ｉｒを含んでいた。これに対し、画像処理後には、図１２において矢印の後に示すように、黒目領域への外光の映り込み像Ｉｒが除去されていた。

【0092】

（画像処理装置１０の効果）
発明者は、本願発明に先駆けて、様々な条件下での従来の虹彩認証システムによる認証の実験を行った。実験においては、スマートフォンのカメラにより撮影を行った。スマートフォンの位置は眼球に対して「正面」および「下」の２種類とした。また、目の開き具合を、スマートフォンの位置が「正面」の場合には「大」、「中」および「小」の３種類とし、スマートフォンの位置が「下」の場合には「中」の１種類とした。

【0093】

撮影環境は「屋内」および「屋外」の２種類とした。「屋内」についてはさらに「窓なし」、「窓あり（日陰）」、「窓あり（直射日光）」および「暗室」の４種類に分けた。また、「屋外」についてはさらに「晴天（逆光線）」、「晴天（順光線）」および「晴天（側光線）」の４種類に分類した。なお、「逆光線」とは、太陽光がカメラと逆の側から被写体に入射することを意味する。また、「順光線」とは、太陽光がカメラと同じ側に入射することを意味する。また、「側光線」とは、太陽光がカメラの側方から被写体に入射することを意味する。

【0094】

それぞれの条件で１０回ずつ認証実験を行った結果を以下に説明する。スマートフォンの位置が「正面」である場合、目の開き具合が「中」以上であれば、「屋内」では「窓あり（直射日光）」以外では認証の失敗はなかった。一方で、「窓あり（直射日光）」では、認証はほとんど成功しなかった。また、目の開き具合が「小」である場合には、いずれの環境においても認証はほとんど成功しなかった。

【0095】

一方、スマートフォンの位置が「下」である場合には、「屋内」では「窓あり（直射日光）」以外では認証の失敗はなかった。さらに、「窓あり（直射日光）」における失敗もわずかであった。

【0096】

このように、屋内では、窓からの直射日光が当たる場所でなければ、目の開き具合が小さくなければ認証の失敗はほとんどなかった。

【0097】

しかし、「屋外」においては、スマートフォンの位置が「正面」であった場合、認証は全く成功しなかった。スマートフォンの位置が「下」であった場合には、「晴天（側光線）」では問題なく認証が行えたものの、「晴天（逆光線）」および「晴天（順光線）」においては認証の成功回数は半分以下であった。

【0098】

以上説明したように、従来の虹彩認証システムによる認証は、屋外では成功しにくいという問題があった。これは、上述した通り、眼球への外光などの映り込みが原因である。

【0099】

特許文献１には、鏡面反射成分の輝度分布を求めることにより、上記反射成分を分離すること、ひいては被写体である眼球に映り込んだ他の物体の像を除去して虹彩認証を行うことについての開示は無い。また、上記物体の像を除去する処理以外の虹彩認証のための処理を行うことについての開示は無い。

【0100】

本実施形態の画像処理装置によれば、Ｓ偏光算出部１２によって入射角θに依存したＳ偏光成分の輝度分布を求めることにより、眼球の画像に含まれる映り込み像Ｉｒに起因したＳ偏光成分を算出し、除去することができる。また、本実施形態の画像処理装置によれば、Ｓ偏光成分に基づいて映り込み像Ｉｒに起因したＰ偏光成分を算出し、除去することができる。

【0101】

すなわち、本実施形態の画像処理装置によれば、眼球への外光の映り込みを除去することができる。外光の映り込みを除去した画像により虹彩認証を行うことで、環境を問わず、かつ精度の高い認証を行うことができる。

【0102】

また、特許文献１の画像処理方法では、上述の（５）の処理において拡散反射成分および鏡面反射成分を分離するために、上述の（１）〜（４）の処理を行う必要がある。そのため、特許文献１の画像処理方法では、上記２つの反射成分を分離するためのアルゴリズムが複雑化し、その結果、画像処理の演算速度が低下する可能性がある。本実施形態の画像処理装置１０においては、上述のとおり、上記（１）〜（４）の処理を行うことなく、上記２つの反射成分を分離することが可能である。したがって、特許文献１の画像処理方法に比べ、画像処理の演算速度を向上させることができる。

【0103】

〔実施形態２〕
本発明の実施形態２について、図４および図５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

【0104】

実施形態１のカメラ２０は、集積偏光子２１として９つの偏光素子２１ａ〜２１ｉを有している。一方、図５の（ａ）に示すように、本実施形態のカメラ２０は、隣接する４つの画素にそれぞれ対応する４つの偏光素子２１ｊ〜２１ｍを有する集積偏光子２１Ａを備えている。４つの偏光素子２１ｊ、２１ｋ、２１ｌおよび２１ｍは、各画素において、１３５°、９０°、４５°、０°の偏光角を有する。このように、本実施形態では、集積偏光子２１の代わりに集積偏光子２１Ａを用いる。この場合も、実施形態１と同様、図１、図９および図１０に示すステップＳＡ１およびＳＢ１においてＳ偏光輝度値の算出を行うことができる。すなわち、実施形態１と同様、反射光Ｌｒから鏡面反射成分を除去することができる。

【0105】

ただし、本実施形態の集積偏光子２１Ａは、４つの偏光素子２１ｊ〜２１ｍとその数が実施形態１よりも少ない。

【0106】

一般に、集積偏光子の偏光角と画素が受ける反射光Ｌｒの受光強度との特性において、当該受光強度は略正弦関数または略余弦関数を形成する。実施形態１では、１つの画素ユニットにおいて、９つの偏光素子２１ａ〜２１ｉにおける反射光Ｌｒの受光強度を取得している。そのため、図７に示すように、上記特性における受光強度が示す波形を、上記略正弦関数または略余弦関数にフィッティングさせることができる。したがって、例えば図１に示すステップＳＡ１で用いられる、１つの画素ユニットにおける受光強度の最大値（最大輝度値）および最小値（最小輝度値）は、当該画素ユニットにおける最大輝度値および最小輝度値と略一致している可能性が高い。

【0107】

一方、本実施形態では、補間して上記略正弦関数または略余弦関数にフィッティングさせるが、実施形態１よりも、フィッティングの精度が低下し、上記最大輝度値および最小輝度値から離れてしまう可能性がある。

【0108】

しかしながら、本実施形態では、集積偏光子２１Ａに対応する１つの画素ユニットが４つの画素で構成されている。すなわち、実施形態１よりも集積偏光子２１Ａの数が多くなる。そのため、例えばブリュースター角に対応する画素を、実施形態１よりも細分化して取得することが可能となる。すなわち、当該画素をより精度良く特定することが可能となる。

【0109】

このように、本実施形態では、実施形態１と比較し、フィッティングの精度が低下する可能性があるものの、ブリュースター角に対応する画素を精度良く特定することができる。したがって、虹彩認証を行ったときの精度を検証することにより、実施形態１の集積偏光子２１、および本実施形態の集積偏光子２１Ａのいずれを用いるかを決定すればよい。

【0110】

なお、上記検証を行うことで、集積偏光子２１Ａの代わりに、図５の（ｂ）に示す集積偏光子２１Ｂ（偏光角が９０°である偏光素子２１ｎと偏光角が０°である偏光素子２１ｏとを２つずつ備える）を使用してもよい。また、偏光角、および１つの画素ユニットに対応する偏光素子の数は、上記検証に応じて適宜変更可能である。

【0111】

〔実施形態３〕
本発明の実施形態３について図１３および図１４に基づいて説明すれば、以下のとおりである。虹彩画像を用いた認証においては、眼球Ｅの偽造物を用いることにより、ユーザ本人になりすまして認証を行うケースが考えられる。したがって、このなりすましを防止することを検討する必要がある。

【0112】

図１３は、本実施形態の画像処理装置１０Ａを備える携帯情報端末１Ａの構成を示すブロック図である。図１３に示すように、画像処理装置１０Ａは、画像処理装置１０と比較して、認証部１５がなりすまし判定部１５ａを備える点で相違する。

【0113】

一般に、生体の眼の角膜の屈折率はｎ＝１．３７６である。一方、眼の偽造物の場合には、生体の眼を構成する成分とその素材が異なるゆえ、屈折率が生体の眼とは異なる。なりすまし判定部１５ａは、この違いを利用して、眼が生体であるか偽造物であるかを判定する。

【0114】

具体的には、なりすまし判定部１５ａは、ステップＳＢ１においてＳ偏光算出部１２が算出したｎの値を参照する。ｎの値が１．３７６と同一かそれに近い値（すなわち所定の範囲内、例えば±５％以内の値）であれば、なりすまし判定部１５ａは撮影された画像について、生体の眼球Ｅであると判定する。一方、算出されたｎの値が１．３７６から離れた値（すなわち所定の範囲外、例えば±５％を超えて離れた値）であれば、なりすまし判定部１５ａは撮影された画像について、眼球Ｅの偽造物であると判定する。

【0115】

図１４は、画像処理装置１０Ａにおける処理の流れを示すフローチャートである。図１４に示すように、画像処理装置１０Ａにおける処理は、図１に示す処理と比較して、ステップＳＢ３とステップＳＢ４との間にステップＳＢ５が実行される点においてのみ異なる。

【0116】

ステップＳＢ５において、なりすまし判定部１５ａは、ステップＳＢ１においてＳ偏光算出部１２が算出したｎの値が所定の範囲内であるか判定する。所定の範囲内である場合（ＳＢ５、Ｙ）、なりすまし判定部１５ａは、撮影された画像が生体の眼球Ｅであると判定し、ＳＢ４の処理を行う。一方、所定の範囲内でない場合（ＳＢ５、Ｎ）、なりすまし判定部１５ａは、撮影された画像が眼球Ｅの偽造物であると判定し、ＳＢ４の処理を行うことなく認証を終了する。

【0117】

以上の通り、本実施形態に係る画像処理方法によれば、Ｓ偏光算出部１２によって入射角θに依存したＳ偏光成分の輝度分布を求めることにより、当該Ｓ偏光の輝度分布を、被写体が眼球なのか、偽造物であるかの判別に利用することができる。

【0118】

なお、なりすまし判定部１５ａは、ステップＳＢ２においてＰ偏光算出部１３により算出されたＰ偏光成分の輝度分布について、輝度値が最小となる角度をブリュースター角とみなしてもよい。そして、当該角度が５３．１°に近い値であるか否かによって、生体の眼球Ｅであるか、眼球Ｅの偽造物であるかを判定してもよい。すなわち、なりすまし判定部１５ａは、上記角度が、生体の眼球Ｅであると推定されるブリュースター角を含む所定の範囲内にあるか否かに基づいて、上記判定を行ってもよい。

【0119】

また、図９および図１０の処理においても、ステップＳＢ３とステップＳＢ４との間にステップＳＢ５を実行することで、上記判別を行うことができる。

【0120】

（変形例）
偽造物によるなりすましを防止する別の方法について、以下に説明する。

【0121】

屈折率が生体の眼球Ｅとは異なる偽造物に対して、ブリュースター角を５３．１°として映り込み除去を行った場合、当該偽造物への外光などの映り込みが適切には除去されない。したがって、外光などの映り込みが存在する場合には、屈折率の算出を行わなくても、当該映り込みによって虹彩パターンが変化し、認証に失敗する可能性が高い。

【0122】

しかし、例えば暗室など、映り込みが発生しない環境で認証を行った場合、虹彩パターンが変化せず、認証に成功する虞がある。

【0123】

そこで、偽造物によるなりすましを防止する方法として、眼球Ｅに映り込みを意図的に発生させるための光源を画像処理装置に備えてもよい。発生した映り込み（光源の像）は、生体の眼球Ｅであれば、画像処理装置により適切に除去されるため、認証に影響しない。一方、眼球Ｅの偽造物であれば、画像処理装置は当該映り込みを除去できないため、認証に失敗する。なお、このような光源が発する光の強度は、映り込みが発生しさえすればよい。したがって、例えば人体に悪影響を及ぼすような高い強度である必要はない。

【0124】

〔実施形態４〕
本発明の実施形態４について図１５〜図１７に基づいて説明すれば、以下のとおりである。

【0125】

図１５は、本実施形態に係る画像処理装置１０Ｂを備える電子情報機器２の構成を示すブロック図である。図１５に示すように、電子情報機器２は、画像処理装置１０Ｂ、カメラ２０、および記憶部９０を備える。また、画像処理装置１０Ｂは、輝度値情報取得部１６、最小輝度値選択部１７（画像生成部）、黒目検出部１１、および認証部１５を備える。

【0126】

輝度値情報取得部１６は、カメラ２０が備える撮像素子によって、当該撮像素子における、被写体の実効的な放射輝度値である実効放射輝度値を当該被写体から取得する。具体的には、輝度値情報取得部１６は、カメラ２０が備える撮像素子の画素のそれぞれにおいて被写体で反射された光を受光したときの当該光の強度を、各画素における実効放射輝度値として取得する。なお、本実施形態および以後の実施形態において、「被写体」は、片目の眼球Ｅまたは両目の眼球Ｅのいずれであってもよく、また眼球Ｅの周囲の物体を含んでいてもよい。

【0127】

最小輝度値選択部１７は、被写体の黒目から取得した実効放射輝度値を用いて、黒目の像を含む撮像画像を生成する。具体的には、最小輝度値選択部１７は、被写体の黒目に対応する画素ユニットごとに、当該画素ユニットに含まれる複数の画素の実効放射輝度値から、被写体の黒目の表面での正反射光成分の少なくとも一部を除去し、得られた輝度値を有する単位領域の集合としての撮像画像を生成する。また、上述した拡散光算出部１４、並びに後述する最小輝度値推定部１７Ａおよび拡散反射光成分算出部１８も同様である。

【0128】

より具体的には、本実施形態の最小輝度値選択部１７は、画素ユニットに含まれる複数の画素の実効放射輝度値のうちの最小値を、当該画素ユニットに対応する単位領域における輝度値として決定する。被写体の黒目に対応する画素ユニットは、予め黒目検出部１１により特定される。単位領域とは、カメラ２０が備える画素ユニットのそれぞれに対応する、被写体の画像における領域である。

【0129】

本実施形態および後述の実施形態では、映り込み像を形成する反射光の成分を正反射光成分と称する。正反射光成分は、画素に対応して設けられた偏光素子の主軸方向に依存する成分を含む。画素ユニットにおける実効放射輝度値の最小値は、当該画素ユニットにおいて、偏光素子の主軸方向に依存する成分が最もよく除去された実効放射輝度値であるといえる。したがって、最小輝度値選択部１７は、画素ユニットにおける実効放射輝度値の最小値を単位領域の輝度値として決定することで、被写体の角膜の表面での正反射光成分の少なくとも一部を除去し、得られた輝度値を有する単位領域の集合としての撮像画像を生成する。

【0130】

記憶部９０は、画像処理装置１０Ｂが実行する処理に必要な情報を格納する記憶装置である。なお、電子情報機器２は記憶部９０を備えず、電子情報機器２の外部に設けられた記憶装置と通信可能に構成されていてもよい。

【0131】

図１６は、画像処理装置１０Ｂにおける処理を示すフローチャートである。画像処理装置１０Ｂにおいては、まず、輝度値情報取得部１６は、カメラ２０により、黒目を含む被写体の実効放射輝度値を取得する（ＳＣ１、輝度値情報取得ステップ）。次に、黒目検出部１１は、実効放射輝度値から黒目領域を検出する（ＳＣ１１）。最小輝度値選択部１７は、黒目検出部１１が検出した黒目領域を、画像処理を実行する範囲として決定する（Ｓ１２）。最小輝度値選択部１７は、黒目領域内の画素ユニットに含まれる複数の画素の実効放射輝度値のうちの最小値を、当該画素ユニットに対応する単位領域の輝度値として決定することで、角膜の表面での正反射光成分の少なくとも一部を除去する（ＳＣ２、画像生成ステップ）。さらに最小輝度値選択部１７は、ステップＳＣ２において決定した輝度値を有する単位領域の集合としての撮像画像を生成する（ＳＣ３、画像生成ステップ）。

【0132】

黒目検出部１１は、最小輝度値選択部１７が生成した撮像画像に対して黒目領域を検出する処理を実行する（ＳＣ４）。黒目検出部１１は、ステップＳＣ１１における黒目領域の検出結果を、そのままステップＳＣ４における検出結果として用いてもよい。認証部１５は、検出された黒目領域を用いて、本人認証を行う（ＳＣ５）。その後、認証部１５は、ユーザを認証できたか否か判定する（ＳＣ６）。認証できた場合（ＳＣ６でＹ）、画像処理装置１０Ｂは処理を終了する。認証できなかった場合（ＳＣ６でＮ）、黒目検出部１１は、再度黒目領域の検出を行う。

【0133】

ステップＳＣ６でＮとなった場合、黒目検出部１１がユーザの黒目領域を正しく検出できていない可能性がある。そこで、ステップＳＣ６でＮとなった後のステップＳＣ４では、黒目検出部１１は、検出する黒目領域を前回のステップＳＣ４において検出した黒目領域とは異ならせることが好ましい。黒目領域を異ならせる方法の具体例としては、黒目領域の径を拡大または縮小することが挙げられる。このように、登録されているユーザの眼球のコードと撮像した眼球Ｅのコードとのハミングディスタンスが最小となるように、黒目検出部１１による黒目領域の検出処理にフィードバックをかけることが好ましい。

【0134】

図１７は、画素ユニットにおける画素の実効放射輝度値の例を示すグラフである。図１７に示すグラフにおいては、横軸がカメラ２０の画素ユニットに含まれる各画素に対応する偏光素子の主軸の角度、縦軸が画素ユニットにおける画素の実効放射輝度値を示す。図１７に示す例では、画素ユニットは９つの画素を含み、それぞれの画素は主軸方向が１０°を起点として２０°ずつ異なる９つの偏光素子に対応する。

【0135】

図１７に示す例では、画素ユニットにおける画素の実効放射輝度値は、対応する偏光素子の主軸方向が９０°である画素において最小値を取り、対応する偏光素子の主軸方向が１７０°である画素において最大値を取る。この場合、最小輝度値選択部１７は、主軸方向が９０°である偏光素子に対応する画素の実効放射輝度値を、当該画素ユニットに対応する単位領域の輝度値として選択する。

【0136】

画像処理装置１０Ｂにおいては、画素ユニットのそれぞれに含まれる画素の実効放射輝度値のうちの最小値を、当該画素ユニットに対応する単位領域の輝度値として決定する。これにより、複雑な計算処理を必要とせず、単位領域の輝度値を簡易に決定し、撮像画像を生成することができる。

【0137】

なお、画像処理装置１０Ｂは、上述したフローチャートのステップのうち、ステップＳＣ１１・ＳＣ１２を省略してもよい。この場合、最小輝度値選択部１７は、全ての画素ユニットのそれぞれについて、対応する単位領域の輝度値を決定すればよい。また、後述する実施形態５の画像処理装置１０Ｃも、ステップＳＣ１１・ＳＣ１２を省略してもよい。ただし、後述する実施形態６〜８の画像処理装置１０Ｄ・１０Ｅは、ステップＳＣ１１・ＳＣ１２を省略できない。また、処理速度の観点からは、黒目領域に対応する画素ユニットについてのみ、当該画素ユニットに対応する単位領域の輝度値を決定する方が好ましいため、画像処理装置１０Ｂ・１０ＣにおいてもステップＳＣ１１・ＳＣ１２を実行することが好ましい。

【0138】

また、実施形態４および５の画像処理装置１０Ｂ・１０Ｃは、ステップＳＣ２の前に黒目ではなく別の領域、例えば黒目より所定の範囲だけ広い領域、または眼球Ｅ全体に対応する領域などを特定する処理を行ってもよい。この場合、最小輝度値選択部１７または最小輝度値推定部１７Ａ（実施形態５参照）は、特定した上記領域について画像処理を実行すればよい。すなわち、画像処理装置１０Ｂ・１０Ｃは、被写体の少なくとも黒目（少なくとも一部）に対応する画素ユニットに含まれる複数の画素の実効放射輝度値に基づいて、当該画素ユニットに対応する単位領域における輝度値を決定すればよい。

【0139】

〔実施形態５〕
本発明の実施形態５について図１８〜図２０に基づいて説明すれば、以下のとおりである。

【0140】

図１８は、本実施形態に係る画像処理装置１０Ｃを備える電子情報機器２の構成を示すブロック図である。図１８に示すように、画像処理装置１０Ｃは、最小輝度値選択部１７の代わりに最小輝度値推定部１７Ａ（画像生成部）を備える点で画像処理装置１０Ｂと相違し、その他の点で画像処理装置１０Ｂと一致する。

【0141】

最小輝度値推定部１７Ａは、画素ユニットのそれぞれに含まれる複数の画素の実効放射輝度値に基づいて、当該画素ユニットにおいて取り得る実効放射輝度値の最小値を推定する。最小値の具体的な推定方法の例については後述する。

【0142】

さらに最小輝度値推定部１７Ａは、推定した実効放射輝度値の最小値から、単位領域の輝度値を決定する。ここで、最小輝度値推定部１７Ａは、推定した最小値を単位領域の輝度値としてもよく、推定した輝度値について所定の計算を行って算出される値を単位領域の輝度値としてもよい。例えば最小輝度値推定部１７Ａは、推定した実効放射輝度値の最小値に所定の値を加算、減算、乗算または除算した値を単位領域の輝度値としてもよい。

【0143】

図１９は、画像処理装置１０Ｃにおける処理を示すフローチャートである。画像処理装置１０Ｃにおける処理は、ステップＳＣ２の代わりにステップＳＣ７（画像生成ステップ）が実行される点を除いて、画像処理装置１０Ｂにおける処理と同じである。ステップＳＣ７において、最小輝度値推定部１７Ａは、眼球Ｅに対応する画素ユニットのそれぞれについて、取り得る実効放射輝度値の最小値を推定する。

【0144】

図２０は、画素ユニットにおける画素の実効放射輝度値の例を示すグラフである。図２０に示すグラフにおいては、横軸が画素ユニットに含まれる画素に対応する偏光素子の主軸の角度、縦軸が実効放射輝度値を示す。図２０に示す例では、画素ユニットは、主軸方向が１０°を起点として４５°ずつ異なる４つの偏光素子に対応する４つの画素を含む。

【0145】

図２０に示す例では、画素ユニットに含まれる画素が取得する実効放射輝度値は、対応する偏光素子の主軸方向が１００°である画素において最も小さくなる。しかし、主軸方向と実効放射輝度値との関係が、例えば図２０に破線で示される関数である場合、画素ユニットに含まれる画素は、当該画素に対応する偏光素子の主軸方向次第で、より小さい実効放射輝度値を取り得るといえる。この場合において、画素ユニットにおける画素の実際の実効放射輝度値の最小値を単位領域の輝度値として決定した場合、当該輝度値には偏光素子の主軸方向に依存する正反射光成分が残った状態となる。画像処理装置１０Ｃは、画素ユニットが取り得る実効放射輝度値の最小値を最小輝度値推定部１７Ａにより推定することで、画像処理装置１０Ｂが生成する撮像画像と比較して、正反射光成分の少ない撮像画像を生成することができる。

【0146】

以下に示す例では、最小輝度値推定部１７Ａは、画素ユニットのそれぞれに含まれる複数の画素の実効放射輝度値に対して、当該画素に対応する偏光素子の主軸方向の角度を変数とする三角関数を適用することにより、前記最小値を推定する。したがって、最小輝度値推定部１７Ａは、三角関数の最小値により単位領域が取り得る輝度値の最小値を推定することができる。

【0147】

（第１の推定方法）
最小輝度値推定部１７Ａによる、単位領域における輝度値の最小値の推定方法の一例を以下に説明する。ある画素ユニットに含まれる各画素の実効放射輝度値をＹとした場合、Ｙは以下の式（５−１）により表せるものと仮定する。
Ｙ＝Ａsin（２ｘ＋Ｂ）＋Ｃ （５−１）
ここで、ＡおよびＢはそれぞれ画素ユニットに固有の定数である。ｘは画素に対応する偏光素子の主軸の角度である。また、画素ユニットに含まれる画素に対応する偏光素子の主軸方向が等角度間隔である場合、Ｃは画素ユニットに含まれる各画素の実効放射輝度値の平均Ｅ（Ｙ）と一致する。

【0148】

Ｙの２乗平均をＥ（Ｙ^２）とすると、Ｅ（Ｙ^２）は以下の式（５−２）により表される。
Ｅ（Ｙ^２）＝Ａ^２×Ｅ（sin^２（２ｘ＋Ｂ））＋２Ａ×Ｅ（Ｃ）×Ｅ（sin（２ｘ＋Ｂ））＋（Ｅ（Ｃ^２）） （５−２）
ここで、ウォリスの公式から、以下の式（５−３）および（５−４）が成り立つ。
Ｅ（sin^２（２ｘ＋Ｂ））＝１／２ （５−３）
Ｅ（sin（２ｘ＋Ｂ））＝１／π （５−４）
したがって、式（５−２）を以下の式（５−５）のように変形できる。
Ｅ（Ｙ^２）＝Ａ^２／２＋２Ａ×Ｅ（Ｃ）／π＋（Ｅ（Ｃ^２）） （５−５）
Ｅ（Ｙ^２）は画素ユニットに含まれる各画素の実効放射輝度値の２乗平均と等しいため、Ｅ（Ｃ）を各画素の実効放射輝度値の最小値、Ｅ（Ｃ^２）を各画素の実効放射輝度値の最小値の二乗値に近似し、式（５−５）をＡについて解くことで、Ａの値を算出することができる。

【0149】

式（５−５）を解いて算出したＡの値、および式（５−１）から、Ｙが取り得る値の最小値Ｙｍｉｎを、以下の式（５−６）により求めることができる。
Ｙｍｉｎ＝Ｅ（Ｙ）−Ａ （５−６）
したがって、最小輝度値推定部１７Ａは、上記の式（５−５）および（５−６）の計算だけで、画素ユニットに含まれる画素の実効放射輝度値が取り有る最小値を推定することができる。

【0150】

図２１は、式（５−１）に含まれるパラメータを示すグラフである。図２１に示すグラフにおいて、横軸はカメラ２０の画素ユニットにおける偏光素子の主軸の角度、縦軸は画素ユニットにおける画素の実効放射輝度値を示す。図２１に示す例では、画素ユニットは、主軸方向が１０°を起点として４５°ずつ異なる４つの偏光素子に対応する４つの画素を含む。

【0151】

図２１に示すように、式（５−１）におけるＣの値は、画素ユニットの画素の実効放射輝度値の中央値であり、画素ユニット内の画素の実効放射輝度値の平均値と略等しい。また、式（５−１）におけるＡの値は、上記平均値と、単位領域内の画素が取り得る輝度の最小値との差である。また、式（５−１）におけるＢの値は、横軸方向におけるグラフの位置を決定する値である。すなわち、Ｂの値が変動すると、グラフ全体が横軸に平行にシフトする。Ｂの値はＹｍｉｎに影響しないため、第１の推定方法ではＢの値を算出しない。

【0152】

（第２の推定方法）
最小輝度値推定部１７Ａによる、単位領域における輝度値の最小値の推定方法の第２の推定方法を以下に説明する。第２の推定方法においても、ある画素ユニットに含まれる各画素の実効放射輝度値Ｙは上記の式（５−１）により表せるものと仮定する。

【0153】

第２の推定方法では、ｘの値とsin２ｘの値との対応関係を示すルックアップテーブルが、予め記憶部９０に格納されている。最小輝度値推定部１７Ａは、上記の式（５−１）におけるＡの初期値を以下の（ｉ）および（ｉｉ）の平均に設定し、上記ルックアップテーブルを参照して、ｘの値に対応するＹのテーブルを作成する。
（ｉ）画素ユニットに含まれる各画素の実効放射輝度値の最大値と平均値との差
（ｉｉ）画素ユニットに含まれる各画素の実効放射輝度値の平均値と最小値との差
作成したテーブルにおけるｘとＹとの対応関係は、式（５−１）におけるＢの値を変化させることでシフトさせることができる。

【0154】

次に最小輝度値推定部１７Ａは、作成したテーブルと画素ユニットに含まれる各画素の実効放射輝度値とを比較する。最小輝度値推定部１７Ａは、Ｂの値を変化させ、画素ユニットに含まれる各画素の実効放射輝度値と、当該各画素に対応する偏光素子の角度におけるテーブルの値との差の合計が最小になるようにする。最小輝度値推定部１７Ａは、テーブルの値と実効放射輝度値との差が最小である場合における、各画素の実効放射輝度値に対するテーブルの値と各画素の実効放射輝度値との差の比率の平均が所定の比率以下であれば、Ａの値が適切であると推定する。この場合、最小輝度値推定部１７Ａは、上記式（５−６）により最小値を推定する。上記所定の比率は、好ましくは１０％であり、より好ましくは５％であり、さらに好ましくは１％である。

【0155】

テーブルの値と実効放射輝度値との差が所定の比率以下でない場合には、最小輝度値推定部１７Ａは、式（５−１）におけるＡの値を上述した初期値から変化させて同様の比較を行う。

【0156】

図２２の（ａ）は、ルックアップテーブルの例を示す図である。図２２の（ｂ）は、最小輝度値推定部１７Ａが作成するテーブルの例を示す図である。図２２の（ｃ）は、実効放射輝度値を示す信号強度の例を示す図である。図２２の（ｄ）は、図２２の（ｃ）に示した信号強度の例、および最小輝度値推定部１７Ａが推定した実効放射輝度値を示す信号強度の例を示すグラフである。

【0157】

図２２の（ｄ）に示すグラフにおいて、横軸はカメラ２０の画素ユニットにおける偏光素子の主軸の角度、縦軸は画素ユニットにおける画素の実効放射輝度値を示す信号強度を示す。図２２の（ｄ）に示す例では、画素ユニットは、主軸方向が０°を起点として４５°ずつ異なる４つの偏光素子に対応する４つの画素を備える。また、図２２の（ｄ）に示す例は、光が空気（屈折率ｎ１＝１．０）と角膜（屈折率ｎ２＝１．３７６）との界面に、入射角１５°で入射した場合のものである。

【0158】

記憶部９０には、図２２の（ａ）に示すようなルックアップテーブルが予め格納されている。最小輝度値推定部１７Ａは、式（５−１）におけるＡの値を上述したとおりに設定し、図２２の（ｂ）に示すようなＹのテーブルを作成する。さらに最小輝度値推定部１７Ａは、図２２の（ｃ）に示すような、画素ユニットに含まれる画素の実効放射輝度値のそれぞれに最も近い値をＹのテーブルから抽出する。抽出した値、および、当該値に対応する偏光子の主軸方向は、図２２の（ｄ）において「＊」で示されている。一方、画素ユニットに含まれる各画素の実際の実効放射輝度値、および各画素に対応する偏光子の主軸方向は、図２２の（ｄ）において「○」で示されている。

【0159】

図２２の（ｄ）において、０°近傍および９０°近傍の「＊」の位置は、「○」の位置とよく合致している一方、６５°近傍および１５５°近傍の「＊」の位置は、４５°および１３５°における「○」の位置から大きく外れている。このため、上記の比率は、１０％より大きくなる。この場合、最小輝度値推定部１７Ａは、式（５−１）におけるＡの値を変化させて再度Ｙのテーブルを作成し、実際の実効放射輝度値のそれぞれに最も近い値をＹのテーブルから抽出し、同様の比較を行う。

【0160】

（他の推定方法）
最小輝度値推定部１７Ａは、上述した第１及び第２の推定方法以外の推定方法によって、画素ユニット内の画素が取り得る実効放射輝度値の最小値を推定してもよい。例えば最小輝度値推定部１７Ａは、画素ユニットのそれぞれに含まれる複数の画素の実効放射輝度値に対して、当該画素に対応する偏光素子の主軸方向の角度を変数とする多項式を適用することで上記最小値を推定してもよい。この場合、多項式の例としては、三角関数をテイラー展開した多項式が挙げられる。テイラー展開によれば、sinｘおよびcosｘは、それぞれ以下の式（５−７）および（５−８）のように表すことができる。

【0161】

【数5】

【0162】

【数6】

【0163】

式（５−７）および（５−８）において、ｘは偏光素子の主軸方向であり、ｎは任意の整数である。ｎは３以上であることが好ましい。

【0164】

また、例えば最小輝度値推定部１７Ａは、任意の補間法によって画素ユニットに含まれる各画素の実効放射輝度値を示す関数を推定し、当該関数を用いて上記最小値を推定してもよい。補間法の例としては、スプライン補間、多項式補間、三角関数補間、またはキュービック補間などが挙げられる。

【0165】

〔実施形態６〕
本発明の実施形態６について図２３〜図２５に基づいて説明すれば、以下のとおりである。

【0166】

図２３は、本実施形態に係る画像処理装置１０Ｄを備える電子情報機器２の構成を示すブロック図である。図２３に示すように、画像処理装置１０Ｄは、最小輝度値選択部１７の代わりに拡散反射光成分算出部１８（画像生成部）を備える点で、画像処理装置１０Ｂと相違する。

【0167】

拡散反射光成分算出部１８は、画素ユニットのそれぞれにおける実効放射輝度値の最大値Ｉｏｕｔｍａｘおよび最小値Ｉｏｕｔｍｉｎを特定する。さらに拡散反射光成分算出部１８は、以下の式（６−１）により、画素ユニットのそれぞれにおける拡散反射光成分Ｉｋを算出する。
Ｉｋ＝（Ｉｏｕｔｍｉｎ−ａ×Ｉｏｕｔｍａｘ）／（１−ａ） （６−１）
ここで、ＩｏｕｔｍｉｎおよびＩｏｕｔｍａｘはそれぞれ、画素ユニットに含まれる画素の実効放射輝度値の最小値および最大値である。ＩｏｕｔｍｉｎおよびＩｏｕｔｍａｘは、実施形態５と同様にして推定した値であってもよく、実際の画素の実効放射輝度値であってもよい。

【0168】

また、式（６−１）におけるａは、Ｓ偏光成分の反射率に対するＰ偏光成分の反射率の比率である。上述した通り、ａは、眼球Ｅへの光の入射角に依存する。カメラ２０のレンズから眼球Ｅの中心までの距離Ｒと、眼球Ｅの半径ｒとにより、眼球Ｅの画像上の各点における上記入射角を算出することができる。本実施形態では、眼球Ｅにピントが合った場合における距離Ｒが予め記憶部９０に記憶され、拡散反射光成分算出部１８は当該距離Ｒを用いて上記入射角、およびａを算出する。

【0169】

距離Ｒの求め方は、具体的には以下の通りである。カメラ２０が固定焦点レンズのカメラである場合、ユーザが電子情報機器２を手に持って画面を見る場合にユーザの顔に焦点が合うように設計されている。この場合において、カメラ２０が撮像する画像の所定の範囲に眼球Ｅの画像が含まれるように、ユーザが自身の目を含む領域を撮像した場合に、カメラ２０のレンズと眼球Ｅとの距離Ｒがカメラ２０のレンズの焦点距離と略等しくなる。また、カメラ２０がオートフォーカス機能を有する場合、眼球Ｅが結像する２種類のレンズ間距離を求め、ベッセル法を用いて距離Ｒを算出することができる。また、カメラ２０が２つの撮像素子を備え、異なる位置から複数の画像を同時に撮像可能なカメラである場合、それぞれの撮像素子が撮像した画像から、三角測量により距離Ｒを算出することができる。

【0170】

ここで、入射角が小さい場合、Ｓ偏光成分とＰ偏光成分との反射率の差は数１０％程度と小さい。このため、画素間またはショット間でのバラツキの影響で、ａの値を正しく算出できず、式（６−１）における計算結果がＩｋ≦０となる（拡散反射光成分が消失する）場合がある。

【0171】

この場合、ａの値を、実際の入射角より大きい角度に対応するａの値に変えて、式（６−１）による計算を実行すればよい。例えば、実際の入射角より所定の角度（例えば１０°）ずつ大きい角度に対応するａの値について順に式（６−１）による計算を再度実行すればよい。ただし、この場合には、映り込み像の除去の精度は低下する。このような、ａの値を変化させての再計算は、例えば認証部１５による認証が失敗した場合に実行されてよい。また、このような再計算において、ａの値を、実際の入射角より大きい角度に対応する値に変える代わりに、実際の半径ｒまたは距離Ｒより小さい半径または距離に対応する値に変えてもよい。

【0172】

また、距離Ｒについて、予め想定した値を用いて上記入射角およびａを算出してもよい。例えば電子情報機器２がスマートフォンであれば、ユーザは電子情報機器２を手に持った状態で認証を行うことが想定される。その場合、距離Ｒは２０ｃｍ〜３０ｃｍ程度と予想される。したがって、測距装置などにより実際に距離Ｒを測定しなくても、予想される距離Ｒを用いて上記入射角を算出できる。

【0173】

この場合、距離Ｒは複数種類用意されていてもよい。つまり、複数種類のＲごとに入射角およびａを算出し、さらに拡散反射光成分Ｉｋを算出して認証を実行してもよい。上記の例であれば、画像処理装置１０Ｄは、距離Ｒを２０ｃｍとした場合および３０ｃｍとした場合のそれぞれについて認証を実行してもよく、さらに距離Ｒを２５ｃｍとした場合について認証を実行してもよい。

【0174】

式（６−１）について、以下に説明する。画素ユニットに含まれる画素の実効放射輝度値には、拡散反射光成分および正反射光成分が含まれる。本実施形態では、正反射光成分は、第１正反射光成分と、第２正反射光成分とを含むものとする。また、本実施形態では、第１正反射光成分および第２正反射光成分がともに、偏光素子の主軸方向に依存する成分を有するものとする。この場合、第１正反射光成分Ｉｓおよび第２正反射光成分Ｉｐはそれぞれ以下の式（６−２）および（６−３）により表される。
Ｉｓ＝Ｉｓ０＋Ｉｓ０×cos２ｘ （６−２）
Ｉｐ＝Ｉｐ０＋Ｉｐ０×cos２（ｘ−π／２） （６−３）
ここで、Ｉｓ０およびＩｐ０はそれぞれ、第１正反射光成分および第２正反射光成分の、偏光素子の主軸方向に依存しない成分である。また、第２正反射光成分の位相は第１正反射光成分の位相より９０°遅れているため、式（６−３）においてはｘからπ／２が減算される。なお、式（６−２）および（６−３）において、cos関数をsin関数に置き換えてもよい。

【0175】

画素ユニットに含まれる画素の実効放射輝度値Ｉｏｕｔは、以下の式（６−４）により表される。
Ｉｏｕｔ＝Ｉｋ＋Ｉｓ＋Ｉｐ＝Ｉｋ＋Ｉｓ０＋Ｉｐ０＋（Ｉｓ０−Ｉｐ０）cos２ｘ （６−４）
Ｉｏｕｔは、cos２ｘ＝１で最大となり、cos２ｘ＝−１で最小となる。したがって、式（６−１）におけるＩｏｕｔｍａｘおよびＩｏｕｔｍｉｎは、それぞれ以下の式（６−５）および（６−６）で表される。
Ｉｏｕｔｍａｘ＝Ｉｋ＋２×Ｉｓ０ （６−５）
Ｉｏｕｔｍｉｎ＝Ｉｋ＋２×Ｉｐ０ （６−６）
また、フレネルの法則から、Ｉｓ０とＩｐ０との関係は以下の式（６−７）で表される。
Ｉｐ０＝ａ×Ｉｓ０ （６−７）
したがって、式（６−６）に式（６−７）を代入することで、以下の式（６−８）が得られる。
Ｉｏｕｔｍｉｎ＝Ｉｋ＋２×ａ×Ｉｓ０ （６−８）
式（６−５）および（６−８）からなる連立方程式を、Ｉｋについて解くことで、式（６−１）が得られる。

【0176】

図２４は、画像処理装置１０Ｄにおける処理を示すフローチャートである。画像処理装置１０Ｄにおける処理は、ステップＳＣ２の代わりにステップＳＣ８（画像生成ステップ）が実行される点を除いて、画像処理装置１０Ｂにおける処理と同じである。ステップＳＣ８において、拡散反射光成分算出部１８は、式（６−１）により画素ユニットのそれぞれについて拡散反射光成分Ｉｋを算出し、算出した値を画素ユニットに対応する単位領域の輝度値として決定する。

【0177】

また、上述した、ａの値を変更しての再計算について、例えば以下のように実行されてよい。すなわち、映り込み像が除去された眼球の画像のコードと、登録されているコードとのハミングディスタンスに、認証に用いられる閾値（以下、認証閾値と記す）より大きい閾値（以下、分岐閾値と記す）が設けられる。図２４のステップＳＣ６において、上記ハミングディスタンスが分岐閾値以上であれば、拡散反射光成分算出部１８がステップＳＣ８の処理を再度実行する。このときに、上述した、ａの値を変更しての再計算が実行される。一方、ステップＳＣ６において、上記ハミングディスタンスが認証閾値以上かつ分岐閾値未満であれば、黒目検出部１１がステップＳＣ４の処理を再度実行する。なお、上記ハミングディスタンスが認証閾値未満であれば認証に成功する。

【0178】

以上の通り、本実施形態の拡散反射光成分算出部１８は、画素ユニットのそれぞれに含まれる複数の画素の実効放射輝度値に基づいて、当該画素ユニットにおける実効放射輝度値の最大値および最小値を特定する。拡散反射光成分算出部１８は、特定した最大値および最小値と、当該画素ユニットに対応する眼球Ｅの表面における、Ｓ偏光成分の反射率に対するＰ偏光成分の反射率の比率ａとを用いて、当該画素ユニットにおける拡散反射光成分Ｉｋを算出する。さらに拡散反射光成分算出部１８は、算出した拡散反射光成分を、画素ユニットに対応する単位領域の輝度値として決定する。これにより、画像処理装置１０Ｄは、反射光成分の少なくとも一部が除去された拡散反射光成分を、単位領域のそれぞれの輝度値として決定することができる。

【0179】

図２５は、画素ユニットに含まれる画素の実効放射輝度値、当該画素ユニット含まれる画素が取り得る実効放射輝度値の推定値、および拡散光成分の推定値の例を示すグラフである。図２５の（ａ）は、眼球Ｅへの入射角が３０°である光が眼球Ｅで反射された反射光が入射する画素ユニットのグラフである。図２５の（ｂ）は、眼球Ｅへの入射角が２０°である光が眼球Ｅで反射された反射光が入射する画素ユニットのグラフである。図２５の（ｃ）は、眼球Ｅへの入射角が１０°である光が眼球Ｅで反射された反射光が入射する画素ユニットのグラフである。図２５の（ａ）〜（ｃ）に示すグラフにおいて、横軸は画素ユニットに含まれる画素のそれぞれに対応する偏光素子の主軸方向であり、縦軸は画素の実効放射輝度値である。また、図２５に示す例においては、空気の屈折率を１．０、眼球Ｅの角膜の屈折率を１．３７６としている。

【0180】

まず、図２５の（ａ）に示す、眼球Ｅへの入射角が３０°である光の反射光に対応する画素ユニットについて考える。このとき、Ｉｏｕｔｍａｘ＝１として実効放射輝度値を規格化すると、Ｉｏｕｔｍｉｎ＝０．６０となった。また、入射角が３０°である光の反射光においては、ａ＝０．４０である。

【0181】

この場合、拡散反射光成分Ｉｋは式（６−１）を用いて以下のとおり算出される。
Ｉｋ＝（Ｉｏｕｔｍｉｎ−ａ×Ｉｏｕｔｍａｘ）／（１−ａ）
＝（０．６０−０．４０×１．０）／（１．０−０．４０）
≒０．３３
次に、図２５の（ｂ）に示す、眼球Ｅへの入射角が２０°である光の反射光に対応する画素ユニットについて考える。このとき、Ｉｏｕｔｍａｘ＝１として実効放射輝度値を規格化すると、Ｉｏｕｔｍｉｎ＝０．７９となった。また、入射角が２０°である光の反射光においては、ａ＝０．６８８である。

【0182】

この場合、拡散反射光成分Ｉｋは式（６−１）を用いて以下のとおり算出される。
Ｉｋ＝（Ｉｏｕｔｍｉｎ−ａ×Ｉｏｕｔｍａｘ）／（１−ａ）
＝（０．７９−０．６８８×１．０）／（１．０−０．６８８）
≒０．３３
次に、図２５の（ｃ）に示す、眼球Ｅへの入射角が１０°である光の反射光に対応する画素ユニットについて考える。このとき、Ｉｏｕｔｍａｘ＝１として実効放射輝度値を規格化すると、Ｉｏｕｔｍｉｎ＝０．９４となった。また、入射角が２０°である光の反射光においては、ａ＝０．９１である。

【0183】

この場合、拡散反射光成分Ｉｋは式（６−１）を用いて以下のとおり算出される。
Ｉｋ＝（Ｉｏｕｔｍｉｎ−ａ×Ｉｏｕｔｍａｘ）／（１−ａ）
＝（０．９４−０．９１×１．０）／（１．０−０．９１）
≒０．３３
したがって、図２５に示す例では、眼球Ｅへの光の入射角が１０°、２０°、および３０°のいずれの場合においても、拡散反射光成分Ｉｋは、Ｉｏｕｔｍａｘ＝１として規格化した場合において０．３３となる。いずれの角度でもＩｋの値が略一致していることから、上記のＩｋの値は正しいと考えられる。

【0184】

〔実施形態７〕
本発明の実施形態７について以下に説明する。本実施形態の画像処理装置は、拡散反射光成分算出部１８による処理の内容を除いて画像処理装置１０Ｄの構成と同様であるため、ブロック図およびフローチャートの図示を省略する。

【0185】

本実施形態の拡散反射光成分算出部１８は、以下の式（７−１）により、画素ユニットのそれぞれにおける拡散反射光成分Ｉｋを算出する。
Ｉｋ＝Ｉｏｕｔｍｉｎ−Ｉｐ （７−１）
式（７−１）について、以下に説明する。

【0186】

本実施形態では、第１正反射光成分Ｉｓは偏光素子の主軸方向に依存する成分を有する一方で、第２正反射光成分Ｉｐは偏光素子の主軸方向に依存しないものとする。具体的には、本実施形態では、拡散反射光成分算出部１８はＩｓを以下の式（７−２）により算出する。
Ｉｓ＝Ｉｏｕｔｍａｘ−Ｉｏｕｔｍｉｎ （７−２）
また、Ｉｋは以下の式（７−３）で表される。
Ｉｋ＝Ｉｏｕｔｍａｘ−（Ｉｓ＋Ｉｐ） （７−３）
式（７−２）を用いて式（７−３）を変形することで、以下の式（７−４）が得られる。
Ｉｋ＝Ｉｏｕｔｍｉｎ−Ｉｐ （７−４）
Ｉｐは、式（６−７）を用いて算出することができる値である。したがって、拡散反射光成分算出部１８は、式（７−４）および（６−７）により拡散反射光成分Ｉｋを算出できる。

【0187】

以上の通り、本実施形態の拡散反射光成分算出部１８は、２種類の正反射光成分を算出し、算出した正反射光成分を、画素ユニットに含まれる画素の実効放射輝度値の最大値から減じた値を、当該画素ユニットに対応する単位領域の輝度値に決定する。拡散反射光成分算出部１８がこのような処理を実行する場合にも、画像処理装置１０Ｄは、正反射光成分の少なくとも一部が除去された拡散反射光成分を、単位領域のそれぞれの輝度値として決定することができる。

【0188】

〔実施形態８〕
本発明の実施形態８について図２６および図２７に基づいて説明すれば、以下のとおりである。

【0189】

図２６は、本実施形態の画像処理装置１０Ｅを備える電子情報機器３の構成を示すブロック図である。図２６に示すように、電子情報機器３は、画像処理装置１０Ｄの代わりに画像処理装置１０Ｅを備える点、および偏光照射部４０を備える点で、実施形態７の電子情報機器２と相違する。

【0190】

偏光照射部４０は、被写体に対して偏光を照射する。例えば偏光照射部４０は、ＬＥＤなどの光源と、特定の方向の偏光だけを透過させる偏光フィルタとを備えていてよい。

【0191】

画像処理装置１０Ｅは、映り込み有無判定部１９を備える点で画像処理装置１０Ｄと相違する。映り込み有無判定部１９は、被写体の表面での正反射光成分が所定の強度以下であるか否かを判定する。換言すれば、映り込み有無判定部１９は、被写体に映り込みが発生しているか否かを判定する。

【0192】

映り込み有無判定部１９は、被写体に映り込みが発生していないと判定した場合には、偏光照射部４０により被写体に対して偏光を照射する。またこのとき、輝度値情報取得部１６（輝度値情報再取得部）は、偏光照射部４０が被写体に偏光を照射した状態で、被写体の実効放射輝度値を再度取得する。

【0193】

本実施形態では、映り込み有無判定部１９は、眼球Ｅに対応する画素ユニットのそれぞれについて、実効放射輝度値の最大値に対する最小値の比を算出する。さらに、映り込み有無判定部１９は、眼球Ｅに対応する画素ユニット全体での上記比の平均を算出し、当該平均が所定の値以上であれば映り込みが発生していないと判定し、所定の値未満であれば映り込みが発生していると判定する。

【0194】

被写体への光の入射角が小さいと、当該入射角に対応する画素ユニットに含まれる画素の実効放射輝度値の、最大値に対する最小値の比率が大きくなる。上記所定の値は、被写体への入射角として想定される最小の角度における、実効放射輝度値の最大値に対する最小値の比率であってよい。具体的には、上記所定の値は、例えば０．９４であってよい。この値は、眼球Ｅへの入射角が１０°である光の反射光について、フレネルの法則を用いて算出した実効放射輝度値の最大値に対する最小値の比率である。

【0195】

図２７は、画像処理装置１０Ｅにおける処理を示すフローチャートである。図２７に示すように、画像処理装置１０Ｅにおいては、輝度値情報取得部１６が被写体の実効放射輝度値を取得した（ＳＣ１）後、映り込み有無判定部１９が、映り込みが発生しているか否かを判定する（ＳＤ１、映り込み判定ステップ）。映り込みが発生している場合（ＳＤ１でＹ）、画像処理装置１０Ｅは、画像処理装置１０Ｂと同様に、ステップＳＣ２以降の処理を行う。

【0196】

一方、映り込みが発生していない場合（ＳＤ１でＮ）、輝度値情報取得部１６は、偏光照射部４０から被写体に対して偏光を照射した状態で、被写体の実効放射輝度値を再度取得する（ＳＤ２、輝度値情報再取得ステップ）。この場合、画像処理装置１０Ｅは、ステップＳＤ２において取得した被写体の実効放射輝度値を用いてステップＳＣ２以降の処理を行う。

【0197】

画像処理装置１０Ｅにおいては、眼球Ｅに映り込みが発生していない場合に、偏光照射部４０により映り込みを発生させた状態で、輝度値情報取得部１６が眼球Ｅを含む被写体の実効放射輝度値を取得する。拡散反射光成分算出部１８は、輝度値情報取得部１６が取得した実効放射輝度値から、フレネルの法則により算出される比率ａを用いて正反射光成分を除去して撮像画像を生成し、認証を行う。したがって、眼球Ｅが本物の眼球とは異なる物質、具体的には角膜の屈折率（ｎ＝１．３７６）とは異なる屈折率を有する物質により形成された偽造物である場合に、個人認証が失敗しやすくなる。

【0198】

なお、電子情報機器３は、必ずしも偏光照射部４０を備える必要はない。例えば、電子情報機器３と無線または有線により通信可能に接続された別の装置が偏光照射部４０を備えていてもよい。また、上述した処理ではステップＳＣ１およびＳＤ２のいずれにおいても、輝度値情報取得部１６が被写体の実効放射輝度値を取得した。しかし、ステップＳＤ２において被写体の実効放射輝度値を取得する機能ブロック（輝度値情報再取得部）は、輝度値情報取得部１６とは異なっていてもよい。

【0199】

また、上述したとおり、画像処理装置１０Ｅは、映り込み有無判定部１９を備える点で画像処理装置１０Ｄと相違する。換言すれば、画像処理装置１０Ｅは、画像処理装置１０Ｄに映り込み有無判定部１９が追加された構成を有する。しかし、本実施形態の画像処理装置は、フレネルの法則を用いる他の画像処理装置、例えば画像処理装置１０・１０Ａに映り込み有無判定部１９が追加された構成を有していてもよい。

【0200】

〔実施形態９〕
本発明の一態様に係る画像処理装置は、上述した処理のうち、２つ以上の処理を実行してもよい。

【0201】

例えば、本発明の一態様に係る画像処理装置は、実施形態１、２、４〜７で説明した画像処理のうち１つを実行し、認証に失敗した場合には、実行した画像処理、または実行した画像処理以外の他の画像処理を実行して再度認証を行ってもよい。再度の認証によっても認証に失敗した場合、画像処理装置は被写体の実効放射輝度分布を再度取得、または被写体の画像を再度撮影し、さらに必要があれば被写体までの距離を再度測定してもよい。また、画像処理装置は、さらに他の画像処理を並行または順行で実行し、被写体の実効放射輝度分布を複数回取得、または被写体の画像を撮影しても認証に成功しない場合には、当該他の画像処理により生成した撮像画像により認証を行ってもよい。

【0202】

また、上述した各実施形態においては、認証が失敗した場合に、黒目検出部１１により検出する黒目の範囲を変更して再度認証を行った。しかし、本発明の一態様に係る画像処理装置は、認証に１回以上失敗した場合に、輝度値情報取得部１６が再度被写体の実効放射輝度値を取得（撮影）するように構成されていてもよい。また、画像処理装置は、他の画像処理を並行または順行で実行し、被写体の実効放射輝度分布を複数回取得しても認証に成功しない場合には、当該他の画像処理により生成した撮像画像により認証を行ってもよい。

【0203】

また、本発明の一態様に係る画像処理装置は、実施形態６の画像処理と他の実施形態（すなわち実施形態１、２、４、５、または７のいずれか１つ以上）の画像処理とを並行して実行してもよい。

【0204】

図２９は、実施形態６の画像処理と他の画像処理とを並行して実行する画像処理装置における処理の流れを示すフローチャートである。図２９に示す処理において、ステップＳＣ１、ＳＣ５およびＳＣ６の処理は、上述した実施形態で説明したものと同じであるため、ここでは詳細には説明しない。

【0205】

図２９に示す処理においては、画像処理装置は、被写体の輝度値情報を取得（ＳＣ１）した後、実施形態６の画像処理により各単位領域の輝度値が決定された第１の除去後画像の生成（ＳＤ１）と、他の実施形態の画像処理により各単位領域の輝度値が決定された第２の除去後画像の生成（ＳＤ２）とを並行して行う。その後、画像処理装置は、第１の除去後画像の各単位領域について、輝度値が所定の閾値以上であるか判定する（ＳＤ３）。輝度値が閾値以上である場合（ＳＤ３でＹ）、当該単位領域の輝度値は変更されない。一方、輝度値が閾値以上でない場合（ＳＤ３でＮ）、当該単位領域の輝度値は、第２の除去画像における対応する位置の単位領域の輝度値に変更される。画像処理装置は、全ての単位領域に対してステップＳＤ３の判定を実行し、判定結果に応じてステップＳＤ４の処理を実行した後、得られた画像を用いて認証を行う（ＳＣ５）。さらに画像処理装置は、認証できたか否かの判定を行い（ＳＣ６）、認証できた場合（ＳＣ６でＹ）には処理を終了し、できなかった場合（ＳＣ６でＮ）には再度ステップＳＤ１に戻り、第１の除去後画像を再度生成する。具体的には、ステップＳＣ６でＮの場合、画像処理装置は、図２４に示すステップＳＣ１１以降の処理を再度実行する。なお、ステップＳＣ６でＮの場合、ステップＳＤ１だけに戻り、第１の除去後画像を再度生成するのではなく、ステップＳＤ１およびＳＤ２の両方に戻り、第１の除去後画像および第２の除去後画像の両方を再度生成してもよい。

【0206】

上述したとおり、実施形態６の画像処理においては、眼球への光の入射角が小さい単位領域において、拡散反射光成分が消失する虞がある。そこで、この画像処理装置は、実施形態６の画像処理によって各単位領域の輝度値を決定した後、各単位領域の輝度値が所定の閾値以上であるか否かを判定する。輝度値が上記閾値以上の単位領域については、当該輝度値をそのまま採用する。一方、輝度値が上記閾値以上でない単位領域については、上記他の実施形態の画像処理による輝度値を当該単位領域の輝度値として採用する。これにより、この画像処理装置は、拡散反射光成分の消失を防止できる。

【0207】

〔付記事項〕
通常、「鏡面反射光」との語は、視点（例えばユーザの目、または撮像素子など）の方向に出射される可視光についてのみ用いられる。しかし本明細書では、「鏡面反射光」との語について、視点の方向に出射される可視光の他に、赤外光も含む概念を表わす用語として使用している。

【0208】

また、上述した実施形態１〜３においては、画像処理装置１０などが携帯情報端末１などに搭載されているものとして説明を行っている。しかし、これらの実施形態に係る画像処理装置１０などについても、他の実施形態に係る画像処理装置１０Ｂなどと同様、携帯情報端末１などとは異なる電子情報機器２などに搭載されてもよい。電子情報機器２・３は、上述したスマートフォンの他、個人認証機能を有するインターフォンまたは自動車のドアなどであってもよい。

【0209】

また、上述した実施形態１〜３においては、Ｓ偏光算出部１２は、測距装置３０が測定した、カメラ２０のレンズから眼球Ｅの表面までの距離を用いて画素に対応する眼球Ｅへの光の入射角を特定した。しかし、Ｓ偏光算出部１２は、例えば眼球Ｅにピントが合った状態における眼球Ｅの画像の大きさに基づいて上記距離を算出し、当該距離を用いて画素に対応する眼球Ｅへの光の入射角を特定してもよい。また、例えばＳ偏光算出部１２は、カメラ２０のレンズから眼球Ｅの表面までの距離（例えば携帯情報端末１がスマートフォンである場合、２０ｃｍ〜３０ｃｍ）を予め想定し、想定した距離を用いて画素に対応する眼球Ｅへの光の入射角を特定してもよい。この場合には、上記距離を複数想定し、それぞれの距離を用いて画素に対応する眼球Ｅへの光の入射角を特定して映り込み除去を行ってもよい。また、この場合には、携帯情報端末１は、必ずしも測距装置３０を備える必要はない。

【0210】

また、図３を参照しての説明においては、映り込み像について、「除去する」との記載がある。さらに図３自体にも、「Ｓ波Ｐ波除去」との記載がある。しかし、本発明の一態様においては、画像処理装置は必ずしも映り込み像を完全に除去する必要はなく、映り込み像を形成する正反射光成分の少なくとも一部を除去、すなわち映り込みを低減できればよい。

【0211】

また、図２８は、カメラ２０における画素ユニットの配置を示す図である。図２８の（ａ）は、９つの画素からなる画素ユニットが互いに重ならないように配置された状態を示す図である。図２８の（ｂ）は、４つの画素からなる画素ユニットが互いに重ならないように配置された状態を示す図である。図２８の（ｃ）は、９つの画素からなる画素ユニットが部分的に重なるように配置された状態を示す図である。図２８の（ｄ）は、４つの画素からなる画素ユニットが部分的に重なるように配置された状態を示す図である。図２８の（ａ）〜（ｄ）においては、点線で囲まれた領域、破線で囲まれた領域、および一点鎖線で囲まれた領域が、それぞれ別個の画素ユニットを示す。

【0212】

上述した各実施形態では、カメラ２０において、１つの画素は１つの画素ユニットにのみ含まれていた。換言すれば、図２８の（ａ）および（ｂ）に示すように、画素ユニット同士は互いに重ならないように配置されていた。しかし、本発明の一態様においては、１つの画素が２つ以上の画素ユニットに含まれていてもよい。すなわち、図２８の（ｃ）および（ｄ）に示すように、画素ユニットが部分的に重なるように配置されていてもよい。

【0213】

画素ユニットが部分的に重なり合っている場合、画素ユニットが重なり合っていない場合と比較して、画素ユニットの数が多くなる。したがって、画素ユニットが部分的に重なり合っている場合、正反射光成分を、より多く除去することが期待できる。

【0214】

また、１つの画素ユニットに含まれる画素に対応する偏光素子の、主軸方向の種類は、多ければ多いだけ、正反射光成分を適切に除去することができる。しかし、１種類の主軸方向に対応して少なくとも１つの画素が必要になるため、主軸方向の種類が多いと、画素ユニットに含まれる画素の数が増大する。

【0215】

画素ユニットに含まれる画素の数が増大すると、図２８の（ａ）および（ｂ）に示すように、画素ユニットが互いに重ならないように配置される場合に、撮像画像の解像度が低下するという問題が生じる。実用的には、１つの画素ユニットに含まれる画素に対応する偏光素子の、主軸方向の種類は、２種類以上かつ９種類以下であることが好ましい。

【0216】

また、上述した各実施形態において、画像処理装置１０、１０Ａ〜１０Ｅは、黒目領域を特定する黒目検出部１１を備えていた。しかし、画像処理装置１０、１０Ａ〜１０Ｅは、黒目検出部１１の代わりに、ユーザの角膜、虹彩または瞳孔領域を特定する、角膜・虹彩・瞳孔検出部を備えていてもよい。虹彩・瞳孔検出部が角膜、虹彩または瞳孔領域を特定する処理は、黒目検出部１１が黒目領域を検出する処理と同様であり、虹彩認証などの分野において既知である。角膜・虹彩・瞳孔検出部は、特定した角膜、虹彩または瞳孔領域に対応する画素の位置情報を、実施形態に応じて、最小輝度値選択部１７・１７Ａまたは拡散反射光成分算出部１８、および認証部１５などに送信する。画像処理装置１０、１０Ａ〜１０Ｅが備える他のブロックにおける処理は、上述した各実施形態において説明した処理と同様である。

【0217】

黒目検出部１１（または角膜・虹彩・瞳孔検出部）が黒目領域（または角膜、虹彩または瞳孔領域）を検出する処理の例について、以下に簡潔に説明する。まず、黒目検出部１１（または角膜・虹彩・瞳孔検出部）は、撮像素子の各画素が取得した実効放射輝度値に対して、先鋭化、エッジ検出、および２値化を行う。エッジ検出には、例えばｓｏｂｅｌフィルタを用いることができる。また、２値化には、例えば移動平均法または部分画像分割法を用いることができる。黒目検出部１１（または角膜・虹彩・瞳孔検出部）は、２値化された実効放射輝度値に対してＨｏｕｇｈ変換を行い、円形の領域を黒目（または角膜・虹彩・瞳孔領域）として検出する。

【0218】

また、上述した各実施形態においては、半径ｒを眼球Ｅの半径として説明した。しかし、半径ｒは、角膜の曲率半径であってもよい。

【0219】

また、実施形態１において被写体が両目の眼球Ｅを含む場合について、以下に説明する。この場合において、各数値を以下のように規定する。
・Ｒｄ：２つの眼球Ｅの中心同士を結ぶ線分の中間点とカメラ２０のレンズとの間の距離
・Ｒ１：一方の眼球Ｅの中心とカメラ２０のレンズとの間の距離
・Ｌ：一方の眼球Ｅの中心と上記中間点との間の距離
ここでは、Ｒｄについては測距装置３０により測定される既知の値であり、Ｒ１については測距装置３０により直接測定できないものとする。また、Ｌの算出方法については後述する。なお、Ｒｄについては、必ずしも測距装置３０によって測定する必要はなく、実施形態６で説明したＲと同様、カメラ２０のみを用いた算出方法により算出してもよい。

【0220】

図３０は、被写体が両目の眼球Ｅを含む場合について説明するための図である。この場合、Ｒ１の値は次の式（１０−１）により算出できる。
Ｒ１＝sqrt（Ｒｄ^２＋（Ｌ／２）^２） （１０−１）
ここで、sqrt（Ｒｄ^２＋（Ｌ／２）^２）はＲｄ^２＋（Ｌ／２）^２の平方根を示す。上述した式（１−１）および（１−２）におけるＲにＲ１を代入し、Ｒ１を式（１０−１）により算出することで、実施形態１の画像処理装置１０において、被写体が両目の眼球Ｅである場合の処理が可能となる。

【0221】

Ｌの算出方法について以下に説明する。Ｌの算出に当たって、各数値を以下のように規定する。
・α：眼球Ｅの中心に対して、角膜の中心と端部とがなす角
・Ｈ１：画像における、一方の眼球Ｅの角膜の半径の画素数
・Ｈ２：画像における、両方の眼球Ｅの角膜の中心間の距離の画素数
これらの値のうち、αは、半径ｒの円において一般に角膜が占める割合から、例えば３５°とすることができる。なお、αの値は別の値、例えば２０°以上５０°以下の範囲内の任意の値であってもよい。また、Ｈ１およびＨ２は画像から求めることができる。

【0222】

この場合、Ｌの値は次の式（１０−２）により算出できる。
Ｌ＝Ｈ２×（ｒ×sinα）／Ｈ１ （１０−２）
式（１０−２）により算出したＬの値を式（１０−１）に代入することでＲ１の値を算出できる。

【0223】

また、上述した各実施形態においては、角膜の屈折率をｎ＝１．３７６として説明した。しかし、角膜の屈折率の値は上記の例に限らず、例えば１．３３５、１．３３７、１．３３７５、１．３７、または１．３８としてもよく、さらに別の値としてもよい。

【0224】

〔ソフトウェアによる実現例〕
画像処理装置１０、１０Ａ〜１０Ｅは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

【0225】

後者の場合、画像処理装置１０、１０Ａ〜１０Ｅは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0226】

〔まとめ〕
本発明の態様１に係る画像処理方法は、主軸方向が互いに異なる複数の偏光素子（２１ａ〜２１ｏ）と対応付けられた複数の画素を１つの画素ユニットとし、該画素ユニットが二次元的に配列された撮像素子（受光素子２２）によって撮影された被写体（眼球Ｅ）の画像を取得するステップ（Ｓ１）と、前記撮像素子における前記画素ユニットの二次元的位置と対応する前記被写体上の位置により決まる前記被写体への入射角（θ）に依存したＳ偏光の輝度分布を、前記撮像素子の出力を用いて算出するステップ（ＳＡ１、ＳＡ２、ＳＢ１）と、を有する。

【0227】

上記の方法によれば、例えば被写体を眼球とした場合、その眼球を撮影するときの眼球への入射角は、眼球上の位置によって決まる。すなわち、眼球上の位置と眼球の中心とを結ぶ第１の仮想線（図６に示す直線Ｌ１）と、眼球上の上記位置と上記撮像素子を備えるカメラのレンズの中心とを結ぶ第２の仮想線（図６に示す直線Ｌ２）とを考えた場合、第１の仮想線と第２の仮想線とがなす角度が、眼球への入射角となる。

【0228】

一方、撮像素子には、主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を単位とする画素ユニットが二次元的に配列されている。眼球上の位置と、その位置における眼球への入射角と、撮像素子における画素ユニットの二次元的位置とは対応している。また、画素ユニットは、主軸方向が互いに異なる複数の偏光素子と対応付けられているから、画素ユニットを構成する複数の画素の出力は、眼球からの反射光に含まれる偏光の眼球上の分布状態によって変化する。特に、主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素の出力には、Ｓ偏光の輝度が反映されている。すなわち、撮像素子の出力には、眼球からの反射光に含まれるＳ偏光の眼球上の分布状態が反映されている。したがって、眼球への入射角に依存したＳ偏光の輝度分布を、前記撮像素子の出力を用いて算出することができる。

【0229】

こうして求めたＳ偏光の輝度分布は、生体の眼球と眼球の模造品とで異なる分布を示す。これにより、例えば眼球の模造品を被写体として撮影した場合、そのＳ偏光の輝度分布は眼球の分布と異なるため、被写体は眼球ではないと判定することができる。したがって、態様１の画像処理方法は、例えば、被写体が眼球なのか、眼球ではないのかの判別に利用することができる。

【0230】

また、上記のように算出したＳ偏光の輝度分布は、例えば、外光の影響により眼球に映り込んだ物体の像を除去することにも利用することができる。

【0231】

したがって、態様１の画像処理方法によれば、虹彩認証の精度を向上させることができる。

【0232】

本発明の態様２に係る画像処理方法は、上記態様１において、前記画像の輝度分布から、前記Ｓ偏光の輝度分布を減算するステップをさらに含むことが好ましい。

【0233】

上記の方法において、眼球に景色または人物のような他の物体が映り込んだ場合、眼球からの反射光のうち、他の物体に対応した反射光は、主に鏡面反射光であり、この鏡面反射光に上記Ｓ偏光が含まれている。したがって、上記の方法によれば、眼球の画像の輝度分布からＳ偏光の輝度分布を減算することによって、眼球に映り込んだ不要なノイズ画像を減らすことができる。

【0234】

本発明の態様３に係る画像処理方法は、上記態様１または２において、前記Ｓ偏光の輝度分布から、フレネルの法則により、前記被写体への入射角に依存したＰ偏光の輝度分布を算出するステップをさらに含むことが好ましい。

【0235】

上記の方法において、眼球に他の物体が映り込んだ場合における眼球からの上記鏡面反射光には、Ｓ偏光だけではなくＰ偏光も含まれていることが多い。Ｐ偏光の輝度分布もまた、生体の眼球と眼球の模造品とで異なる分布を示す。したがって、上記の方法によれば、例えば、被写体が眼球なのか、眼球ではないのかの判別の精度を高めることができる。

【0236】

本発明の態様４に係る画像処理方法は、上記態様３において、前記画像の輝度分布から、前記Ｓ偏光の輝度分布および前記Ｐ偏光の輝度分布を減算するステップをさらに含むことが好ましい。

【0237】

上記の方法によれば、眼球の画像の輝度分布からＳ偏光の輝度分布およびＰ偏光の輝度分布を減算することによって、眼球に映り込んだ不要なノイズ画像をさらに減らすことができる。

【0238】

本発明の態様５に係る画像処理方法は、上記態様１から４のいずれかにおいて、前記Ｓ偏光の輝度分布を算出するステップにおいて、前記入射角をブリュースター角とした場合に、ブリュースター角に対応する前記画素ユニットを特定し、特定した画素ユニットに含まれる画素の輝度値の最大値から最小値を減算することでブリュースター角におけるＳ偏光の輝度値を算出し、フレネルの法則により、前記ブリュースター角におけるＳ偏光の輝度値を起点とし、ブリュースター角以外の入射角におけるＳ偏光の輝度値を算出することが好ましい。

【0239】

上記の方法において、ブリュースター角では、鏡面反射光にＰ偏光がほとんど含まれず、主にＳ偏光が含まれることがわかっている。したがって、ブリュースター角に対応する画素ユニットを構成する複数の画素の出力、すなわち輝度値には、主軸方向が互いに異なる複数の偏光素子に対するＳ偏光の透過率の変化が反映されている。このため、その輝度値の最大値から最小値を減算することでブリュースター角におけるＳ偏光の輝度値を算出することができる。

【0240】

眼球において、入射角に対するＳ偏光の輝度分布を表す関数は、フレネルの法則に従っており既知なので、ブリュースター角におけるＳ偏光の輝度値を算出できれば、ブリュースター角以外の入射角におけるＳ偏光の輝度値を理論に基づいて算出することができる。

【0241】

本発明の態様６に係る画像処理方法は、上記態様１から５のいずれかにおいて、前記画素ユニットに含まれる画素の輝度値の最大値から最小値を減算することでＳ偏光の輝度値を算出するステップを、前記撮像素子に含まれる複数の画素ユニットについて繰り返し、算出したＳ偏光の輝度値の各々を、複数の画素ユニットに対応する前記入射角と対応づけることによって、前記Ｓ偏光の輝度分布を算出することが好ましい。

【0242】

上記の方法によれば、既に説明したとおり、画素ユニットに含まれる画素の輝度値の最大値から最小値を減算することでＳ偏光の輝度値を算出することができる。このステップを撮像素子に含まれる複数の画素ユニットについて繰り返し、算出したＳ偏光の輝度値の各々を、複数の画素ユニットに対応する入射角と対応づけることによって、前記Ｓ偏光の輝度分布を実測値に基づいて算出することができる。

【0243】

なお、Ｓ偏光の輝度分布を実測値に基づいて算出する本態様の方法は、Ｓ偏光の輝度分布を理論に基づいて算出する前記態様の方法がうまく行かない場合に実行してもよい。

【0244】

本発明の態様７に係る画像処理装置（１０）は、主軸方向が互いに異なる複数の偏光素子と対応付けられた複数の画素を１つの画素ユニットとし、該画素ユニットが二次元的に配列された撮像素子（受光素子２２）により撮影された被写体（眼球Ｅ）の画像について、前記画素ユニットの二次元的位置と対応する前記被写体上の位置により決まる前記被写体への入射角に依存したＳ偏光の輝度分布を、前記撮像素子の出力を用いて算出するＳ偏光算出部（１２）を備える。

【0245】

上記の構成によれば、態様１と同様の効果を奏する。

【0246】

本発明の態様８に係る画像処理プログラムは、上記態様７の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、上記Ｓ偏光算出部としてコンピュータを機能させるための画像処理プログラムである。

【0247】

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の一態様の範疇に入る。

【0248】

本発明の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0249】

１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ 画像処理装置
１５ 認証部
１６ 輝度値情報取得部
１７ 最小輝度値選択部（画像生成部）
１７Ａ 最小輝度値推定部（画像生成部）
１８ 拡散反射光成分算出部（画像生成部）
１９ 映り込み有無判定部
４０ 偏光照射部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】