特許 7468660 撮像システム、撮像方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】撮像システム、撮像方法、及びコンピュータプログラム

(51)【国際特許分類】

   G06V 40/18 20220101AFI20240409BHJP

   G06T 7/00 20170101ALI20240409BHJP

   H04N 23/76 20230101ALI20240409BHJP

   H04N 23/743 20230101ALI20240409BHJP

【ＦＩ】

G06V40/18

G06T7/00 510D

H04N23/76

H04N23/743

【請求項の数】 10

(21)【出願番号】P 2022536076

(86)(22)【出願日】2020-07-16

(86)【国際出願番号】 JP2020027722

(87)【国際公開番号】W WO2022014020

(87)【国際公開日】2022-01-20

【審査請求日】2023-01-05

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】塚田 正人

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１１－１６５０３１（ＪＰ，Ａ）

【文献】特開２００３－２６３６２９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ４０／１８

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ２３／７６

Ｈ０４Ｎ ２３／７４３

(57)【特許請求の範囲】

【請求項1】

観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像する撮像手段と、
前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得する取得手段と、
前記第１情報に基づいて、前記反射の影響が小さくなるように前記第２情報を補正する補正手段と
を備えることを特徴とする撮像システム。

【請求項2】

前記目領域に照明光を照射する照射手段を更に備えることを特徴とする請求項１に記載の撮像システム。

【請求項3】

前記第１情報及び補正された前記第２情報から、前記対象者の虹彩特徴を含む虹彩画像を生成する生成手段を更に備えることを特徴とする請求項１又は２に記載の撮像システム。

【請求項4】

前記撮像手段は、２つ以上の異なる輝度レンジで前記画像を複数撮像し、
前記取得手段は、前記第１情報及び前記第２情報の各々を、異なる輝度レンジで撮像された前記画像から取得する
ことを特徴とする請求項１から３のいずれか１項に記載の撮像システム。

【請求項5】

前記取得手段は、異なる輝度レンジで撮像された前記画像から前記第２の領域の画素値が飽和していない非飽和画像を選択し、前記非飽和画像から前記第２情報を取得することを特徴とする請求項４に記載の撮像システム。

【請求項6】

前記補正手段は、前記第２の領域の画素値の平均値から前記第１の領域の画素値の平均値に基づく値を差し引くことで、前記第２情報を補正することを特徴とする請求項１から５のいずれか一項に記載の撮像システム。

【請求項7】

前記虹彩画像及び前記虹彩画像の認証処理に用いる登録画像の少なくとも一方を表示する表示手段を更に備えることを特徴とする請求項３のいずれか一項に記載の撮像システム。

【請求項8】

前記表示手段は、前記虹彩画像と、前記撮像手段で撮像された前記画像とを、同時に又は相互に切り替えて表示することを特徴とする請求項７に記載の撮像システム。

【請求項9】

観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像し、
前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得し、
前記第１情報に基づいて、前記反射の影響が小さくなるように前記第２情報を補正する
ことを特徴とする撮像方法。

【請求項10】

観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像し、
前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得し、
前記第１情報に基づいて、前記反射の影響が小さくなるように前記第２情報を補正する
ようにコンピュータを動作させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、対象者の目領域を撮像する撮像システム、撮像方法、及びコンピュータプログラムの技術分野に関する。

【背景技術】

【0002】

この種のシステムとして、対象者の目周辺に光を照射して、虹彩画像を撮像するものが知られている。例えば特許文献１では、眼球へ一の入射角で光を照射して撮影を行い、撮影画像が良好でないと判断した場合に、順次異なる入射角で光を照射する技術が開示されている。また、虹彩画像を撮像する際に、眼鏡等による光の反射を考慮する技術も提案されている（例えば、特許文献２から４参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１０－００５１９５号公報

【文献】特開２００１－１６７２８４号公報

【文献】特開２００８－２７６３２８号公報

【文献】特開２０１５－１１２１５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

対象者が眼鏡を装着している場合、眼鏡のレンズにおいて照明光の反射が発生し、反射が生じた領域の虹彩特徴を取得できなくなるおそれがある。上述した各引用文献は、このような問題点に関する議論が不十分であり、改善の余地がある。

【0005】

この開示は、上述した課題を解決することが可能な撮像システム、撮像方法、及びコンピュータプログラムを提供することを課題とする。

【課題を解決するための手段】

【0006】

この開示の撮像システムの一の態様は、観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像する撮像手段と、前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得する取得手段と、前記第１情報に基づいて、前記反射の影響が小さくなるように前記第２情報を補正する補正手段とを備える。

【0007】

この開示の撮像方法の一の態様は、観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像し、前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得し、前記第１情報に基づいて、前記反射の影響が小さくなるように前記第２情報を補正する。

【0008】

この開示のコンピュータプログラムの一の態様は、観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像し、前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得し、前記第１情報に基づいて、前記反射の影響が小さくなるように前記第２情報を補正するようにコンピュータを動作させる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る撮像システムのハードウェア構成を示すブロック図である。

【図2】第１実施形態に係る撮像システムの機能的構成を示すブロック図である。

【図3】第１実施形態に係る撮像システムの変形例に係る機能的構成を示すブロック図である。

【図4】眼鏡レンズにおいて光反射が生じている場合の撮像例を示す図である。

【図5】対象者の虹彩で反射する光及び眼鏡レンズで反射する光の経路を示す概念図である。

【図6】第１実施形態に係る撮像システムの動作の流れを示すフローチャートである。

【図7】第１実施形態に係る撮像システムの機能的構成を示すブロック図である。

【図8】第２実施形態に係る撮像システムの動作の流れを示すフローチャートである。

【図9】第３実施形態に係る撮像システムの動作の流れを示すフローチャートである。

【図10】異なる輝度レンジで撮像される複数の画像の一例を示す図である。

【図11】第１の領域及び第２の領域において観測される光量の一例を示すグラフである。

【図12】第１の領域の画素値の平均値及び第２の領域の画素値の平均値を算出する方法を示す概念図である。

【図13】第１の領域の画素値の平均値と第２の領域の画素値の平均値との差分を示すグラフである。

【図14】画素値の平均値を用いて補正した後の画素値の一例を示すグラフである。

【図15】第５実施形態に係る撮像システムの機能的構成を示すブロック図である。

【図16】第５実施形態に係る撮像システムにおける表示例を示す図（その１）である。

【図17】第５実施形態に係る撮像システムにおける表示例を示す図（その２）である。

【図18】第５実施形態に係る撮像システムにおける表示例を示す図（その３）である。

【図19】第６実施形態に係る撮像システムの機能的構成を示すブロック図である。

【図20】第６実施形態に係る撮像システムの動作の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、撮像システム、撮像方法、及びコンピュータプログラムの実施形態について説明する。

【0011】

＜第１実施形態＞
第１実施形態に係る撮像システムについて、図１から図６を参照して説明する。

【0012】

（ハードウェア構成）
まず、図１を参照しながら、第１実施形態に係る撮像システムのハードウェア構成について説明する。図１は、第１実施形態に係る撮像システムのハードウェア構成を示すブロック図である。

【0013】

図１に示すように、第１実施形態に係る撮像システム１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。撮像システム１０は更に、入力装置１５と、出力装置１６とを備えていてもよい。プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。

【0014】

プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、撮像システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、対象者の虹彩画像を処理するための機能ブロックが実現される。また、プロセッサ１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のうち一つを用いてもよいし、複数を並列で用いてもよい。

【0015】

ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）であってもよい。

【0016】

ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）であってもよい。

【0017】

記憶装置１４は、撮像システム１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。

【0018】

入力装置１５は、撮像システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。

【0019】

出力装置１６は、撮像システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、撮像システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。

【0020】

（機能的構成）
次に、図２を参照しながら、第１実施形態に係る撮像システム１０の機能的構成について説明する。図２は、第１実施形態に係る撮像システムの機能的構成を示すブロック図である。

【0021】

図２に示すように、第１実施形態に係る撮像システム１０は、対象者Ｐの画像（特に、虹彩を含む目周辺の画像）を撮像可能に構成されている。撮像システム１０は、例えば対象者Ｐの虹彩認証を実行するシステムの一部として構成されていてもよい。撮像システム１０は、撮像部１１０と、照射部１２０と、計算部１３０とを備えている。

【0022】

撮像部１１０は、例えば対象者Ｐを撮像可能な位置に配置されたカメラとして構成されている。撮像部１１０は、対象者Ｐの虹彩の特徴（以下、適宜「虹彩特徴」と称する）を捉えることが可能な解像度を有している。撮像部１１０は、目領域付近からの反射光を飽和することなく撮像可能なダイナミックレンジを有するイメージセンサを有している。より具体的には、撮像部１１０は、対象者Ｐが掛けている眼鏡のレンズ面で光反射が生じた場合であっても、光の反射を含まない領域（以下、適宜「第１の領域」と称する）と、光の反射を含む領域（以下、適宜「第２の領域」と称する）との両方で画素値が飽和しないダイナミックレンジを有するイメージセンサを有している。このようなイメージセンサの一例として、非特許文献１に示すイメージセンサを利用することができる。

【0023】

【文献】M. Murata et al., “A High Near-Infrared Sensitivity Over 70-dB SNR CMOS Image Sensor With Lateral Overflow Integration Trench Capacitor,” IEEE TRANSACTIONS ON ELECTRON DEVICES, pp. 1-7, 2020.

【0024】

なお、撮像部１１０が撮像を行う際には、対象者Ｐの虹彩特徴を画像として効果的に捉えられるように、露光、シャッタースピード、及びゲイン等が適宜調整される。撮像部１１０で撮像された対象者Ｐの目領域の画像は、計算部１３０に出力される構成となっている。

【0025】

照射部１２０は、撮像部１１０が対象者Ｐの画像を撮像する際に、対象者Ｐに向けて照明光を照射する。照射部１２０の照射タイミングは、撮像部１１０の撮像タイミングと同期されていてもよい。なお、照射部１２０の数は１つに限られず、複数の照射部１２０が備えられていてもよい。この場合、複数の照射部１２０は、それぞれ同時に照明光を照射してもよいし、状況に応じて一部の照射部１２０から照明光が照射されるようにしてもよい。複数の照射部１２０を備える場合、それらは二次元的に（即ち、同一平面上にあるように）配置されてもよいし、三次元的に配置されていてもよい。

【0026】

計算部１３０は、撮像部１１０で撮像された画像に対して各種処理を実行可能に構成されている。計算部１３０は、例えば図１のプロセッサ１１の一部として構成されればよい。計算部１３０は、その機能を実現するための処理ブロックとして、取得部１３１及び補正部１３２を備えている。

【0027】

取得部１３１は、撮像部１１０で撮像された画像から、虹彩に関する情報を取得可能に構成されている。取得部１３１は特に、第１の領域（即ち、眼鏡レンズによる光の反射を含まない領域）に関する第１情報、及び第２の領域（即ち、眼鏡レンズによる光の反射を含む領域）に関する第２情報を取得可能に構成されている。第１情報及び第２情報は、例えば画素値として取得される。なお、眼鏡レンズにおける光反射が生じていない場合、取得部１３１は、第１情報のみを取得するようにしてもよい。取得部１３１で取得された第１情報及び第２情報は、補正部１３２に出力される構成となっている。

【0028】

補正部１３２は、第１情報に基づいて、第２情報を補正可能に構成されている。より具体的には、補正部１３２は、第２情報に含まれる眼鏡レンズにおける光反射の影響が小さくなるように（好ましくはゼロとなるように）、第２情報を補正する。

【0029】

（変形例）
次に、図３を参照しながら、第１実施形態に係る撮像システム１０の変形例について説明する。図３は、第１実施形態に係る撮像システムの変形例に係る機能的構成を示すブロック図である。なお、図３では、図２で示した構成要素と同様のものに、同一の参照符号を付している。

【0030】

図３に示すように、変形例に係る撮像システム１０は、撮像部１１０と、計算部１３０とを備えている。即ち、撮像システム１０は、必ずしも照射部１２０を備えずともよい。この場合、対象者Ｐに対しては、システム外部の照明（例えば、蛍光灯等）からの光、或いは自然光等が照射されればよい。

【0031】

（眼鏡レンズによる光反射の影響）
次に、眼鏡レンズにおいて発生する光反射が画像に与える影響について、図４を参照して説明する。図４は、眼鏡レンズにおいて光反射が生じている場合の撮像例を示す図である。

【0032】

図４に示すように、対象者Ｐが眼鏡を掛けている場合、照射部１２０から照射された照明光が眼鏡レンズで反射することで、撮像部１１０で撮像される画像に影響が及ぶおそれがある。具体的には、光反射の影響を受ける第２の領域が、対象者Ｐの虹彩の領域と重なってしまい、虹彩特徴を適切に取得できなくなるおそれがある。特に、イメージセンサのダイナミックレンジが狭い（例えば、５０ｄB程度）場合、眼鏡レンズにおける反射の影響を受ける第２の領域の画素値は飽和してしまい、虹彩特徴が全く取得できない可能性もある。このような状況を回避するために、本実施形態に係る撮像システム１０は、すでに説明したように、反射光を飽和することなく撮像可能なダイナミックレンジを有するイメージセンサを有している。

【0033】

（反射する光の経路）
次に、照射部１２０から照射された照明光が、撮像部１１０に到達するまでの経路について、図５を参照して具体的に説明する。図５は、対象者の虹彩で反射する光及び眼鏡レンズで反射する光の経路を示す概念図である。

【0034】

図５に示すように、照射部１２０から照射された照明光は、眼鏡レンズ２００の表面又は裏面で反射して撮像部１１０へ向かう反射光Ａの成分と、対象者Ｐの虹彩Ｅで反射して撮像部１１０へ向かう反射光Ｂの成分とに分かれる。ここで、第１の領域からの反射光は反射光Ｂを含むものである。一方で、第２の領域からの反射光は、反射光Ａ及び反射光Ｂの両方を含むものである。よって、第２の領域に関する第２情報に対して、反射光Ａの成分に由来するものを分離するような補正を行うことができれば、眼鏡レンズ２００における反射の影響を小さくすることができる。

【0035】

（動作の流れ）
次に、図６を参照しながら、第１実施形態に係る撮像システム１０の動作の流れについて説明する。図６は、第１実施形態に係る撮像システムの動作の流れを示すフローチャートである。

【0036】

図６に示すように、第１実施形態に係る撮像システム１０が動作する際には、まず撮像部１１０が対象者Ｐの目領域の画像を撮像する（ステップＳ１０１）。

【0037】

続いて、取得部１３１が第１情報及び第２情報を取得して、第２の領域が存在しているか否かを判定する（ステップＳ１０２）。言い換えれば、眼鏡レンズ２００による光の反射を含む領域があるか否かを判定する。第２の領域が存在するか否かは、例えば局所的に光量が大きくなっている部分が存在するか否かによって判定することができる。

【0038】

第２の領域が存在していない場合（ステップＳ１０２：ＮＯ）、第１の領域のみが存在することになるため、光反射の影響を考慮する必要はない。よって、この場合には、一連の処理が終了する。

【0039】

一方、第２の領域が存在している場合（ステップＳ１０２：ＹＥＳ）、そのままでは第２の領域における虹彩特徴を取得することが難しい。よって、この場合には、補正部１３２が、第１情報に基づいて第２情報を補正する（ステップＳ１０４）。なお、ここでの具体的な補正方法については、後述する第４実施形態において詳しく説明する。

【0040】

（技術的効果）
次に、第１実施形態に係る撮像システム１０によって得られる技術的効果について説明する。

【0041】

図１から図６で説明したように、第１実施形態に係る撮像システム１０では、眼鏡レンズ２００による光の反射を含む第２情報が、補正部１３２によって補正される。この結果、眼鏡レンズ２００における反射の影響を小さくすることができ、第２の領域についても対象者Ｐの虹彩特徴を取得することができる。

【0042】

＜第２実施形態＞
第２実施形態に係る撮像システム１０について、図７及び図８を参照して説明する。なお、第２実施形態は、上述した第１実施形態と比べて一部の構成及び動作が異なるのみであり、例えばハードウェア構成については第１実施形態（図１参照）と同一であってよい。このため、以下では、第１実施形態と重複する部分については適宜説明を省略するものとする。

【0043】

図７に示すように、第２実施形態に係る撮像システム１０は、撮像部１１０と、照射部１２０と、計算部１３０とを備えている。そして特に、第２実施形態に係る計算部１３０は、取得部１３１、補正部１３２、及び生成部１３３を備えている。即ち、第２実施形態に係る計算部１３０は、第１実施形態の構成に加えて、生成部１３３を更に備えて構成されている。

【0044】

生成部１３３は、取得部１３１で取得された第１情報、及び補正部１３２で補正された第２情報から、対象者Ｐの虹彩特徴を含む虹彩画像を生成可能に構成されている。例えば、生成部１３３は、第１情報に含まれる虹彩情報（即ち、もともと光反射の影響を受けずに取得された虹彩情報）と、補正された第２情報に含まれる虹彩情報（即ち、補正によって光反射の影響が小さくなったことで得られた虹彩情報）とを用いて、対象者Ｐの虹彩画像を生成する。生成部１３３は、生成した虹彩画像を出力する機能を有していてもよい。

【0045】

（動作の流れ）
次に、図８を参照しながら、第１実施形態に係る撮像システム１０の動作の流れについて説明する。図８は、第２実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図８では、図６で示した処理と同様の処理に同一の符号を付している。

【0046】

図８に示すように、第２実施形態に係る撮像システム１０が動作する際には、まず撮像部１１０が対象者Ｐの目領域の画像を撮像する（ステップＳ１０１）。そして、取得部１３１が第１情報及び第２情報を取得して、第２の領域が存在しているか否かを判定する（ステップＳ１０２）。

【0047】

第２の領域が存在していない場合（ステップＳ１０２：ＮＯ）、第１の領域のみが存在することになるため、光反射の影響を考慮する必要はない。よって、この場合には、生成部１３３が、第１の領域に関する第１情報から虹彩画像を生成する（ステップＳ１０３）。

【0048】

一方、第２の領域が存在している場合（ステップＳ１０２：ＹＥＳ）、そのままでは第２の領域における虹彩特徴を取得することが難しい。よって、この場合には、補正部１３２が、第１情報に基づいて第２情報を補正する（ステップＳ１０４）。その後、生成部１３３が、第１情報及び補正された第２情報から虹彩画像を生成する（ステップＳ１０５）。

【0049】

（技術的効果）
次に、第２実施形態に係る撮像システム１０によって得られる技術的効果について説明する。

【0050】

図７及び図８で説明したように、第２実施形態に係る撮像システム１０では、第１情報及び補正された第２情報から虹彩画像が生成される。よって、眼鏡レンズ２００による光の反射が生じた場合であっても、適切に虹彩画像を生成することができる。このような技術的効果は、例えば正確な虹彩特徴が要求される虹彩認証を実行する際に顕著に発揮される。これにより、例えば対象者Ｐが眼鏡を外す手間が省けたり、或いは撮像のやり直しのリスクが低減されたりして、虹彩画像を撮像する際の利便性が大きく向上する。

【0051】

＜第３実施形態＞
第３実施形態に係る撮像システム１０について、図９を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と比べて一部の動作が異なるのみであり、その構成について第１及び第２実施形態（図１、図２、図３、及び図７参照）と同一であってよい。このため、以下では、第１及び第２実施形態と重複する部分については適宜説明を省略するものとする。

【0052】

（動作の流れ）
まず、図９を参照しながら、第３実施形態に係る撮像システム１０の動作の流れについて説明する。図９は、第３実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図９では、図６及び図８で示した処理と同様の処理に同一の符号を付している。

【0053】

図９に示すように、第３実施形態に係る撮像システム１０が動作する際には、まず撮像部１１０が、対象者Ｐの目領域の画像を、２つ以上の異なる輝度レンジで複数枚撮像する（ステップＳ２０１）。例えば、２つの輝度レンジで画像を撮像する場合、撮像部１１０は、比較的低い輝度レンジで画像を１枚撮像し、比較的高い輝度レンジで画像を１枚撮像すればよい。

【0054】

続いて、取得部１３１が一の画像から第１情報及び第２情報を取得して、第２の領域が存在しているか否かを判定する（ステップＳ１０２）。一の画像は、第１情報から適切に虹彩特徴を取得できる輝度レンジで撮像された画像（例えば、輝度レンジが最も低い画像）であることが好ましい。

【0055】

第２の領域が存在していない場合（ステップＳ１０２：ＮＯ）、第１の領域のみが存在することになるため、生成部１３３が、一の画像から取得した第１情報から虹彩画像を生成する（ステップＳ１０３）。

【0056】

一方、第２の領域が存在している場合（ステップＳ１０２：ＹＥＳ）、取得部１３１が、他の画像（即ち、一の画像とは輝度レンジが異なる画像）から第２情報を取得する（ステップＳ２０２）。他の画像は、第２の領域の虹彩特徴を多少なりとも取得できるような画像（例えば、一の画像よりも輝度レンジが高い画像）であることが好ましい。

【0057】

その後、補正部１３２が、第１情報に基づいて第２情報を補正する（ステップＳ１０４）。そして、生成部１３３が、第１情報及び補正された第２情報から虹彩画像を生成する（ステップＳ１０５）。

【0058】

（技術的効果）
次に、第３実施形態に係る撮像システム１０によって得られる技術的効果について説明する。

【0059】

図９で説明したように、第３実施形態に係る撮像システム１０では、２つ以上の輝度レンジで撮像された複数の画像を用いて、対象者Ｐの虹彩画像が生成される。ここで仮に、輝度レンジが固定されている場合、その輝度レンジで撮像した画像からは、第１の領域及び第２の領域の両方の虹彩特徴を取得できない可能性がある。しかるに本実施形態では、２つ以上の輝度レンジで撮像された複数の画像を利用するため、それぞれの画像から第１情報及び第２情報を別々に取得できる。よって、より適切に対象者Ｐの虹彩画像を生成することができる。

【0060】

（変形例）
ここで、図１０を参照しながら、第３実施形態に係る撮像システム１０の変形例について説明する。図１０は、異なる輝度レンジで撮像される複数の画像の一例を示す図である。

【0061】

図１０に示すように、変形例に係る撮像システム１０では、撮像部１１０が５つの異なる輝度レンジで対象者Ｐの画像を撮像する。この例では、輝度レンジが最も小さい低輝度画像からは、第１の領域に関する虹彩特徴が取得できる一方で、第２の領域に関する虹彩特徴が取得できない。具体的には、低輝度画像では第２の領域の画素値が飽和してしまっている（各画像のビット深度が８ビットの場合、飽和状態の画素値は２５５となる）。

【0062】

このような場合、取得部１３１は、第２の領域の画素値が飽和していない非飽和画像から第２の領域に関する第２情報を取得する。具体的には、輝度レンジが最も大きい最高輝度画像から第２情報を取得する。最高輝度画像は、図１０を見ても分かるように、第２の領域以外の周辺部分については飽和しているが、第２の領域については飽和しておらず、第２情報として虹彩特徴が取得できる。

【0063】

このように、低輝度画像において第２の領域の画素値が飽和している場合であっても、第２の領域が飽和していない画像から第２情報を取得するようにすれば、適切に虹彩画像を生成することができる。なお、上述した例では、最高輝度画像から第２情報を取得する例について説明したが、中～高輝度画像群においても第２の領域の画素値が飽和していない場合には、そこから第２情報を取得してもよい。

【0064】

＜第４実施形態＞
第４実施形態に係る撮像システム１０について、図１１から図１４を参照して説明する。なお、第４実施形態は、上述した第１から第３実施形態における第２情報の具体的な補正方法（即ち、補正部１３２の具体的な動作例）について説明する形態であり、その構成や動作の流れについては第１実施形態（図１、図２及び図５参照）、第２実施形態（図８参照）、又は第３実施形態（図９参照）と同一であってよい。このため、以下では、すでに説明した部分と重複する部分については適宜説明を省略するものとする。

【0065】

（第１の領域及び第２の領域の光量）
まず、図１１を参照しながら、第１の領域及び第２の領域における反射光の光量について説明する。図１１は、第１の領域及び第２の領域において観測される光量の一例を示すグラフである。このグラフは、図中の第１の領域及び第２の領域を跨ぐ太線部分を横方向（即ち、Ｘ軸方向）に走査して得られる値をプロットしたものである。

【0066】

図１１に示すように、眼鏡レンズ２００で光反射が発生していない第１の領域における観測光の光量が比較的少なくなるため、画素値が小さくなる。一方で、眼鏡レンズ２００で光反射が発生している第２の領域では、観測光の光量が多くなるため、画素値が大きくなる。

【0067】

ここで、虹彩で反射した反射光（即ち、図４の反射光Ｂ）については、虹彩が有する視覚特徴により、その光量が変動する。一方、眼鏡レンズ２００で反射した反射光（即ち、図４の反射光Ａ）については、眼鏡レンズ２００に模様などの視覚特徴がないため、その光量がほぼ均一となる。この特徴の違いを利用することで、反射光Ａの成分と反射光Ｂの成分とを分離する（言い換えれば、反射光Ａの成分だけを取り除く）補正が行える。

【0068】

（画素値の補正）
次に、図１２から図１４を参照しながら、画素値の補正方法について説明する。図１２は、第１の領域の画素値の平均値及び第２の領域の画素値の平均値を算出する方法を示す概念図である。図１３は、第１の領域の画素値の平均値と第２の領域の画素値の平均値との差分を示すグラフである。図１４は、画素値の平均値を用いて補正した後の画素値の一例を示すグラフである。

【0069】

図１２において、実線で囲まれた領域は、虹彩領域の画素値（即ち、第１の領域の画素値）を表している。また、点線で囲まれた領域は、眼鏡レンズ２００の光反射の影響を受けた領域の画素値（即ち、第２の領域の画素値）を示している。なお、第１の領域と第２の領域とは、画素値が大きく異なる特性を利用することで、容易に判定することが可能である。

【0070】

第４実施形態に係る撮像システム１０では、補正部１３２が第１の領域の画素値の平均値Ｏ（バー：Ｏにオーバーライン）ｉを計算する。また補正部１３２は、第２の領域の画素値の平均値Ｏ（バー）ｇを計算する。ここで平均値Ｏ（バー）ｉは、虹彩で反射された光（即ち、図４の反射光Ｂ）の平均値を表している。平均値Ｏ（バー）ｇは、虹彩で反射された光と眼鏡レンズ２００で反射された光の和（即ち、図４の反射光ＡとＢの和）の和の平均値を表している。よって、反射光Ａの平均値Ｏ（バー）ａは、下記の式（１）を用いて算出できる。

【0071】

【数1】

【0072】

また、所定のマージンを考慮した係数αを利用して、下記の式（２）のように算出することもできる。

【0073】

【数2】

【0074】

ここでのαは、実験により統計的に求められる値でもよいし、ユーザが任意に設定できる値でもよい。なお、後述する第５実施形態のように、生成される虹彩画像を表示可能な構成を有する場合、表示画面上でαの値を調整できるようにし、調整の度に虹彩画像の表示を更新するようにしてもよい。

【0075】

図１３に示すように、眼鏡レンズ２００で反射された反射光Ａの平均値Ｏ（バー）ａは、平均値Ｏ（バー）ｉを示す直線と平均値Ｏ（バー）ｇを示す直線との間との長さとしてグラフ上に表すことができる。なお、平均値Ｏ（バー）ａを求める際は、図１２に示した画像上の１ライン上だけなく、複数ラインを用いてそれぞれの領域の画素値の平均値を求めてもよい。

【0076】

補正部１３２は、第２の領域の画像上の座標位置（ｘ，ｙ）における画素値Ｏｇ（ｘ，ｙ）から、第１の領域の画素値Ｏｉ（ｘ，ｙ）を計算する（下記の式（３）参照）。

【0077】

【数3】

【0078】

以上の手順に従うことにより、図１４に示すように、第２領域の画素値から眼鏡レンズ２００における反射光の影響を取り除いた画素値Ｏｉ（ｘ，ｙ）が計算される。眼鏡レンズ２００からの反射光の影響を受けている全ての画素について画素値Ｏｉ（ｘ，ｙ）を求めることで、対象者Ｐの目の虹彩の視覚特徴を捉えた虹彩画像を生成することができる。

【0079】

＜第５実施形態＞
第５実施形態に係る撮像システム１０について、図１５から図１８を参照して説明する。なお、第５実施形態は、上述した第１から第４実施形態と比べて一部の構成が異なるのみで、ハードウェア構成や動作の流れ等については第１実施形態（図１、図２及び図５参照）、第２実施形態（図７及び図８参照）、又は第３実施形態（図９参照）と同一であってよい。このため、以下では、すでに説明した部分と重複する部分については適宜説明を省略するものとする。

【0080】

（機能的構成）
まず、図１５を参照しながら、第５実施形態に係る撮像システム１０の機能的構成について説明する。図１５は、第５実施形態に係る撮像システムの機能的構成を示すブロック図である。なお、図１２では、図２で示した構成要素と同様のものに同一の符号を付している。

【0081】

図１５に示すように、第５実施形態に係る撮像システム１０は、撮像部１１０と、照射部１２０と、計算部１３０と、表示部１４０とを備えている。即ち、第５実施形態に係る撮像システム１０は、第１実施形態の構成（図２参照）に加えて、表示部１４０を更に備えて構成されている。

【0082】

表示部１４０は、例えばディスプレイを有するモニタとして構成されている。表示部１４０は、図１に示す出力装置１６の一部として構成されてもよい。表示部１４０は、生成部１３３で生成された虹彩画像、及び虹彩画像を用いた認証処理用の登録画像の少なくとも一方を表示可能に構成されている。

【0083】

（表示例）
次に、第５実施形態に係る撮像システム１０の表示例について、図１６から図１８を参照して説明する。なお、以下で説明する第１表示例から第３表示例については、適宜組み合わせて利用することも可能である。

【0084】

（第１表示例）
図１６を参照しながら、第１表示例について説明する。図１６は、第５実施形態に係る撮像システムにおける表示例を示す図（その１）である。

【0085】

図１６（ａ）に示すように、表示部１４０は、登録画像と虹彩画像とを並べて表示してもよい。このとき、表示部１４０は、登録画像及び虹彩画像の表示／非表示を切り替え可能な態様で表示を行ってもよい。具体的には、各画像の下に表示／非表示を切り替えるためのボタンを表示してもよい。この場合、登録画像を非表示にするボタンを押すと、図１６（ｂ）に示すように、登録画像が消え、虹彩画像のみが表示される。なお、いずれか一方の画像のみを表示する場合には、表示する画像を拡大して中央に表示するようにしてもよい。

【0086】

（第２表示例）
図１７を参照しながら、第２表示例について説明する。図１７は、第５実施形態に係る撮像システムにおける表示例を示す図（その２）である。

【0087】

図１７（ａ）に示すように、表示部１４０は、虹彩画像の補正あり／なしを切り替え可能な態様で表示を行ってもよい。具体的には、虹彩画像の下に補正あり／なしを切り替えるためのボタンを表示してもよい。この場合、補正なしにするボタンを押すと、図１７（ｂ）に示すように、虹彩画像が補正前の状態（即ち、補正部１３２による補正が実行されていない撮像時の状態）で表示される。このようにすれば、虹彩画像のどの部分がどのように補正されているのかを知ることが可能である。なお、補正前の虹彩画像と、補正後の虹彩画像とを同時に表示するようにしてもよい。

【0088】

（第３表示例）
図１８を参照しながら、第３表示例について説明する。図１８は、第５実施形態に係る撮像システムにおける表示例を示す図（その３）である。

【0089】

図１８（ａ）に示すように、表示部１４０は、補正した箇所（言い換えれば、第２領域に相当する箇所）の強調表示ＯＮ／ＯＦＦを切り替え可能な態様で表示を行ってもよい。具体的には、登録画像及び虹彩画像の下に強調表示ＯＮ／ＯＦＦを切り替えるためのボタンを表示してもよい。この場合、登録画像及び虹彩画像の両方の強調表示がＯＮとなるようにボタンを押すと、図１８（ｂ）に示すように、登録画像及び虹彩画像の第２領域に相当する箇所が枠で囲まれて表示される。このようにすれば、虹彩画像のどの部分が補正されているのかを知ることが可能である。なお、枠で囲う表示は強調表示の一例であり、その他の態様（例えば、色や濃度の変更、或いは点滅等）で強調表示を行ってもよい。

【0090】

＜第６実施形態＞
第６実施形態に係る撮像システム１０について、図１９及び図２０を参照して説明する。なお、第６実施形態は、上述した第１から第５実施形態と比べて一部の構成及び動作が異なるのみであり、例えばハードウェア構成については第１実施形態（図１参照）と同一であってよい。このため、以下では、すでに説明した部分と重複する部分については適宜説明を省略するものとする。

【0091】

図１９に示すように、第６実施形態に係る撮像システム１０は、撮像部１１０と、計算部１３０とを備えている。そして特に、第６実施形態に係る計算部１３０は、取得部１３１と、眼鏡検知部１３４とを備えている。即ち、第６実施形態に係る計算部１３０は、上述した各実施形態の補正部１３２に代えて、眼鏡検知部１３４を備えて構成されている。

【0092】

眼鏡検知部１３４は、取得部１３１で取得された第１情報及び第２情報に基づいて、対象者Ｐが眼鏡を掛けていることを検知可能に構成されている。例えば、眼鏡検知部１３４は、取得部１３１で第１情報及び第２情報の両方が取得された場合、対象者Ｐが眼鏡を掛けていることを検知する。一方で、取得部１３１で第１情報のみが取得された場合、対象者Ｐが眼鏡を掛けていることを検知しない。

【0093】

（動作の流れ）
次に、図２０を参照しながら、第６実施形態に係る撮像システム１０の動作の流れについて説明する。図２０は、第６実施形態に係る撮像システムの動作の流れを示すフローチャートである。

【0094】

図８に示すように、第６実施形態に係る撮像システム１０が動作する際には、まず撮像部１１０が対象者Ｐの目領域の画像を撮像する（ステップＳ５０１）。そして、取得部１３１が第１情報及び第２情報を取得する（ステップＳ５０２）。

【0095】

続いて、眼鏡検知部１３４が、取得部１３１の取得結果（即ち、第１情報及び第２情報）に基づいて、眼鏡検知処理を実行する（ステップＳ５０３）。眼鏡検知部１３４は、対象者Ｐが眼鏡を掛けていることを検知した場合、その情報をディスプレイ等に出力するようにしてもよい。

【0096】

（技術的効果）
次に、第６実施形態に係る撮像システム１０によって得られる技術的効果について説明する。

【0097】

図１９及び図２０で説明したように、第６実施形態に係る撮像システム１０では、取得部１３１の取得結果（具体的には、眼鏡による光の反射を含まない第１情報、及び眼鏡による光の反射を含む第２情報）に基づいて、眼鏡を掛けていることが検知される。よって、対象者Ｐを撮像した画像から、対象者Ｐが眼鏡を掛けているか否かを適切に判定することが可能である。

【0098】

＜付記＞
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。

【0099】

（付記１）
付記１に記載の撮像システムは、観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像する撮像手段と、前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得する取得手段と、前記第１情報に基づいて、前記反射の影響が小さくなるように前記第２情報を補正する補正手段とを備える撮像システムである。

【0100】

（付記２）
付記２に記載の撮像システムは、前記目領域に照明光を照射する照射手段を更に備えることを特徴とする付記１に記載の撮像システムである。

【0101】

（付記３）
付記３に記載の撮像システムは、前記第１情報及び補正された前記第２情報から、前記対象者の虹彩特徴を含む虹彩画像を生成する生成手段を更に備えることを特徴とする付記１又は２に記載の撮像システムである。

【0102】

（付記４）
付記４に記載の撮像システムは、前記撮像手段は、２つ以上の異なる輝度レンジで前記画像を複数撮像し、前記取得手段は、前記第１情報及び前記第２情報の各々を、異なる輝度レンジで撮像された前記画像から取得することを特徴とする付記１から３のいずれか１項に記載の撮像システムである。

【0103】

（付記５）
付記５に記載の撮像システムは、前記取得手段は、異なる輝度レンジで撮像された前記画像から前記第２の領域の画素値が飽和していない非飽和画像を選択し、前記非飽和画像から前記第２情報を取得することを特徴とする付記４に記載の撮像システムである。

【0104】

（付記６）
付記６に記載の撮像システムは、前記推定手段は、前記補正手段は、前記第２の領域の画素値の平均値から前記第１の領域の画素値の平均値に基づく値を差し引くことで、前記第２情報を補正することを特徴とする付記１から５のいずれか一項に記載の撮像システムである。

【0105】

（付記７）
付記７に記載の撮像システムは、前記虹彩画像及び前記虹彩画像の認証処理に用いる登録画像の少なくとも一方を表示する表示手段を更に備えることを特徴とする付記１から６のいずれか一項に記載の撮像システムである。

【0106】

（付記８）
付記８に記載の撮像システムは、前記表示手段は、前記虹彩画像と、前記撮像手段で撮像された前記画像とを、同時に又は相互に切り替えて表示することを特徴とする付記７に記載の撮像システムである。

【0107】

（付記９）
付記９に記載の撮像システムは、前記表示手段は、前記虹彩画像における前記第２の領域に該当する部分、及び前記登録画像における前記第２の領域に該当する部分の少なくとも一方を強調表示することを特徴とする付記７又は８に記載の撮像システムである。

【0108】

（付記１０）
付記１０に記載の撮像システムは、前記表示手段は、前記強調表示の有無を切り替え可能であることを特徴とする付記９に記載の撮像システムである。

【0109】

（付記１１）
付記１１に記載の撮像方法は、観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像し、前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得し、前記第１情報に基づいて、前記反射の影響が小さくなるように前記第２情報を補正することを特徴とする撮像方法である。

【0110】

（付記１２）
付記１２に記載のコンピュータプログラムは、観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像し、前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得し、前記第１情報に基づいて、前記反射の影響が小さくなるように前記第２情報を補正するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。

【0111】

（付記１３）
付記１３に記載の撮像システムは、観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像する撮像手段と、前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得する取得手段と、前記取得手段の取得結果に基づき、前記対象者の眼鏡を検知する検知手段とを備えることを特徴とする撮像システムである。

【0112】

（付記１４）
付記１４に記載の撮像方法は、観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像し、前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得し、前記取得手段の取得結果に基づき、前記対象者の眼鏡を検知することを特徴とする撮像システムである。

【0113】

（付記１５）
付記１５に記載のコンピュータプログラムは、観観測光を飽和することなく撮像可能なイメージセンサを用いて、対象者の目領域の画像を撮像し、前記画像から、前記対象者の眼鏡レンズによる光の反射を含まない第１の領域に関する第１情報、及び前記光の反射を含む第２の領域に関する第２情報を取得し、前記取得手段の取得結果に基づき、前記対象者の眼鏡を検知するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。

【0114】

（付記１６）
付記１６に記載の記録媒体は、付記１２又は１５に記載のコンピュータプログラムが記録されていることを特徴とする記録媒体である。

【0115】

この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮像システム、撮像方法、及びコンピュータプログラムもまたこの開示の技術思想に含まれる。

【符号の説明】

【0116】

１０ 撮像システム
１１ プロセッサ
１１０ 撮像部
１１１ レンズ
１１２ イメージセンサ
１２０ 照射部
１３０ 計算部
１３１ 取得部
１３２ 補正部
１３３ 生成部
１３４ 眼鏡検知部
１４０ 表示部
２００ 眼鏡レンズ
Ｐ 対象者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】