特許 7468746 画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】画像処理システム

(51)【国際特許分類】

   A61B 5/1171 20160101AFI20240409BHJP

   G06T 7/00 20170101ALI20240409BHJP

   G06V 40/18 20220101ALI20240409BHJP

   H04N 23/60 20230101ALI20240409BHJP

   H04N 23/56 20230101ALI20240409BHJP

【ＦＩ】

A61B5/1171 300

G06T7/00 510D

G06V40/18

H04N23/60 100

H04N23/56

【請求項の数】 6

(21)【出願番号】P 2023074482

(22)【出願日】2023-04-28

(62)【分割の表示】P 2021501882の分割

【原出願日】2020-02-12

(65)【公開番号】P2023106426

(43)【公開日】2023-08-01

【審査請求日】2023-04-28

(31)【優先権主張番号】P 2019026941

(32)【優先日】2019-02-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】蝶野 慶一

(72)【発明者】

【氏名】荻野 有加

(72)【発明者】

【氏名】塚田 正人

【審査官】右▲高▼ 孝幸

(56)【参考文献】

【文献】特開２００３－０５０９９５（ＪＰ，Ａ）

【文献】特表２０１７－５１７１６５（ＪＰ，Ａ）

【文献】国際公開第２００９／０１６８４６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／１１７１

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ４０／１８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／５６

(57)【特許請求の範囲】

【請求項1】

虹彩撮像手段と、
前記虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段と、
被験者の次のまばたきが発生する期間と、前記被験者が前記虹彩撮像手段の合焦位置を通過する期間とが重なる場合、前記合焦位置と、前記被験者が次のまばたきをする位置とを異ならせるように、前記虹彩撮像手段を制御する制御手段とを備える画像処理システム。

【請求項2】

前記制御手段は、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記合焦位置が、前記次のまばたきが発生する期間における前記被験者の位置以外の位置になるように前記虹彩撮像手段を制御する請求項１に記載の画像処理システム。

【請求項3】

前記制御手段は、前記被験者の前回のまばたき時刻、まばたき間隔時間、及びまばたき継続時間に基づいて、次のまばたきが発生する期間を予測する請求項１又は２に記載の画像処理システム。

【請求項4】

前記制御手段は、前記被験者の位置及び移動速度に基づいて、前記合焦位置を通過する期間を予測する請求項３に記載の画像処理システム。

【請求項5】

前記被験者に光を照らす照明手段を備え、
前記制御手段は、前記照明手段の光の照射を制御する請求項４に記載の画像処理システム。

【請求項6】

前記制御手段は、前記照明手段の点灯周期を前記虹彩撮像手段のフレームレートと同期させる請求項５に記載の画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、方法、システム、及びコンピュータ可読媒体に関し、特に虹彩を用いる認証の用途に用いられ得る画像処理装置、方法、システム、及びコンピュータ可読媒体に関する。

【背景技術】

【0002】

虹彩を用いる生体認証が知られている。この生体認証では、撮像装置を用いて被験者の虹彩が撮像され、撮像された虹彩のパターンから特徴量が抽出される。被験者を認証する場合、抽出された特徴量とあらかじめデータベースに登録された特徴量とが照合され、照合スコアに基づいて合否が判断される。一方、認証対象の被験者を登録する場合、抽出された特徴量がデータベースに追加される。

【0003】

非特許文献１に記載されるように、瞳孔を取り囲むドーナツ型の組織である虹彩は、非常に複雑なパターンで、人それぞれに固有のものとなる。また、虹彩の撮像においては、被験者の目に近赤外光が照射される。

【0004】

非特許文献２に記載されるように、虹彩の撮像においては、虹彩の半径を１００画素から１４０画素で表現できる解像度で虹彩映像が撮像される。また、被験者の目に照射される近赤外光の波長は７００ｎｍから９００ｎｍとなる。

【先行技術文献】

【非特許文献】

【0005】

【文献】細矢、「虹彩による認証システムについて」、生体医工学44(1), page33-39, 2006

【文献】Daugman, "How Iris Recognition Works," https://www.cl.cam.ac.uk/~jgd1000/irisrecog.pdf

【発明の概要】

【発明が解決しようとする課題】

【0006】

虹彩の直径は約１ｃｍであり、その半径を１００画素で表現しようとすると、５０μｍ粒度となる。このように、虹彩のパターンは微細なため、被験者と撮像手段との距離が長い、撮像する視野が広い、及び被験者が移動するなど条件で、認証や照合できる品質で虹彩パターンを撮像することが困難である。

【0007】

本開示は、上記事情に鑑み、認証や照合できる品質で虹彩パターンを撮像することが可能な画像処理装置、方法、システム、及びコンピュータ可読媒体を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本開示は、第１の態様として、同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段と、前記虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段と、被験者を誘導するための誘導手段と、前記被験者に光を照らす照明手段と、前記全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、前記誘導手段の映像及び音声の少なくとも一方の提示、及び、前記照明手段の光の照射のうち少なくとも１つを制御する制御手段とを備え、前記制御手段は、更に、前記被験者の次のまばたきが発生する期間、及び、前記被験者が前記虹彩撮像手段の合焦位置を通過する期間を予測し、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記合焦位置と、前記被験者が次の瞬きをする位置とを異ならせるように、前記誘導手段及び前記虹彩撮像手段の少なくとも一方を制御する画像処理システムを提供する。

【0009】

本開示は、第２の態様として、移動する被験者の次のまばたきが発生する期間、及び、前記被験者の虹彩を撮像するための虹彩撮像手段の合焦位置を前記被験者が通過する期間を予測し、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記合焦位置で被験者がまばたきをしないように、前記被験者を誘導するための誘導手段を制御する制御手段を備える画像処理装置を提供する。

【0010】

本開示は、第３の態様として、移動する被験者の次のまばたきが発生する期間、及び、前記被験者の虹彩を撮像するための虹彩撮像手段の合焦位置を前記被験者が通過する期間を予測し、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記合焦位置が、前記次のまばたきが発生する期間における前記被験者の位置以外の位置になるように前記虹彩撮像手段を制御する制御手段を備える画像処理装置を提供する。

【0011】

本開示は、第４の態様として、同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、被験者を誘導するための誘導手段の映像及び音声の少なくとも一方の提示、及び、前記被験者に光を照らす照明手段の光の照射のうち少なくとも１つを実施する画像処理方法を提供する。

【0012】

本開示は、第５の態様として、移動する被験者の次のまばたきが発生する期間を予測し、前記被験者の虹彩を撮像するための虹彩撮像手段の合焦位置を前記被験者が通過する期間を予測し、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なるか否かを判断し、重なると判断した場合、前記合焦位置と、前記被験者が次の瞬きをする位置とを異ならせるように、前記被験者の誘導、及び前記虹彩撮像手段の制御の少なくとも一方を実施する画像処理方法を提供する。

【0013】

本開示は、第６の態様として、同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、被験者を誘導するための誘導手段の映像及び音声の少なくとも一方の提示、及び、前記被験者に光を照らす照明手段の光の照射のうち少なくとも１つを実施する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体を提供する。

【0014】

本開示は、第７の態様として、移動する被験者の次のまばたきが発生する期間を予測し、前記被験者の虹彩を撮像するための虹彩撮像手段の合焦位置を前記被験者が通過する期間を予測し、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なるか否かを判断し、重なると判断した場合、前記合焦位置と、前記被験者が次の瞬きをする位置とを異ならせるように、前記被験者の誘導、及び前記虹彩撮像手段の制御の少なくとも一方を実施する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体を提供する。

【発明の効果】

【0015】

本開示に係る画像処理装置、方法、システム、及びコンピュータ可読媒体は、認証や照合できる品質で虹彩パターンを撮像することができる。

【図面の簡単な説明】

【0016】

【図1】本開示の第１実施形態に係る画像処理システムを示すブロック図。

【図2】虹彩撮像制御の様子を示す図。

【図3】画像処理システムにおける動作手順を示すフローチャート。

【図4】本開示の第２実施形態に係る画像処理システムにおける動作手順を示すフローチャート。

【図5】コンピュータ装置の構成例を示すブロック図。

【発明を実施するための形態】

【0017】

本開示の実施の形態の説明に先立ち、課題を定量化する。以下では、Automated border control systems（ＡＢＣ）の運用条件などで想定される下記の条件を例として説明する。被験者と撮像手段の距離（被験者とゲートの間の距離）は２ｍであり、水平視野、すなわち被験者１人の両目をカバーできる水平方向の範囲は０．２ｍであるとする。また、垂直視野、すなわち、典型的には男性である背の高い被験者の目から、典型的には女性である背の低い被験者の目までカバーできる垂直方向の範囲は０．４ｍであるとする。また、ゲートに対する被験者の歩行速度（移動速度）は、成人のゆっくりとした歩行速度の平均値、例えば１ｍ／ｓであるとする。

【0018】

上記運用条件で、画素ピッチ５μｍのイメージセンサ、絞りＦ２で焦点距離２００ｍｍのレンズが用いられることを仮定すると、撮像手段には、後述するように、３２Ｍ画素の高解像度と１００ｆｐｓ（frame per second）の高フレームレートの両方が要求される。

【0019】

解像度について、撮像装置から２ｍ離れた位置において水平０．２ｍの視野を確保するためには、撮像装置には水平方向に４０００画素（０．２［ｍ］÷５０［μｍ］＝４０００）が必要となる。また、撮像装置から２ｍ離れた位置において垂直０．４ｍの視野を確保するためには、撮像装置には垂直方向に８０００画素（０．４［ｍ］÷５０［μｍ］＝８０００）が必要となる。結果として、撮像装置には３２Ｍ画素の解像度が要求される。

【0020】

一方、上記レンズが用いられる場合で、許容錯乱円径が０．０３ｍｍの場合、２ｍ先に確保できる被写界深度は約１ｃｍとなる。被験者の歩行速度が１ｍ／ｓの場合、被験者が被写体深度１ｃｍを通過する時間は１［ｃｍ］÷１００［ｃｍ／ｓ］＝０．０１秒である。この場合、歩行する被験者の虹彩が合焦した瞬間０．０１秒を捉えるためには、撮像装置には１００ｆｐｓ（１［秒］÷１００［ｆｐｓ］＝０．０１秒の時間分解能）の性能が要求される。

【0021】

３２Ｍ画素の高解像度と１００ｆｐｓの高フレームレートを１台で満たせる撮像機器は普及品では存在しない。このため、上記運用条件にて、認証や照合できる品質で虹彩パターンを撮像することが困難である。以上で、課題の定量化の説明を終了する。

【0022】

以下、図面を参照しつつ、本開示の実施の形態を説明する。図１は、本開示の第１実施形態に係る画像処理システムを示す。画像処理システムは、全体撮像器１００、誘導器２００、照明器３００、虹彩撮像器４０１～４０４、及び制御器５００を有する。なお、図１では、虹彩撮像器の数を４台としているが、虹彩撮像器の台数は特に限定されない。虹彩撮像器の数は、カバーしたい視野範囲や、利用できる虹彩撮像器の解像度などに応じて、適宜設定され得る。

【0023】

全体撮像器（全体撮像手段）１００は、背の高い被験者から背の低い被験者までの全体をカバーできるように、広い視野範囲で被験者を撮像する。全体撮像器１００は、被験者を顔で認証できる解像度を備えていてもよい。

【0024】

制御器（制御手段）５００は、全体撮像器１００から供給される全体映像を監視し、誘導器（誘導手段）２００、照明器（照明手段）３００、及び複数の虹彩撮像器（虹彩撮像手段）４０１～４０４を制御する。制御器５００の機能は、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。制御器５００は、全体撮像器１００から供給される全体映像、又は外部入力に基づいて被験者に対する生体認証の開始を判断する。

【0025】

制御器５００が実施する制御は、誘導制御、照明制御、及び虹彩撮像制御を含む。制御器５００は、誘導制御では、被験者を誘導するための誘導制御情報を誘導器２００に供給する。誘導器２００は、誘導制御情報に基づいて被験者を誘導する。誘導器２００は、例えばディスプレイやスピーカなどを含む。誘導器２００は、例えば、生体認証を開始することを提示するための映像や音声をディスプレイやスピーカで提示する。また、誘導器２００は、虹彩撮像器に被験者の視線を誘導させるための映像や音声などをディスプレイやスピーカで提示する。

【0026】

制御器５００は、照明制御では、被験者に照明光を照射するための照明制御情報を照明器３００に供給する。照明器３００は、照明制御情報に基づいて被験者に光（例えば近赤外光）を照射する。照明器３００は、光源であるＬＥＤ（Light Emitting Diode）や同期信号発生器を含む。照明器３００から被験者に照射される光量は、ＬＥＤへの供給電流値、ＬＥＤの点灯時間、及び点灯周期で決定される、照明制御情報は、これらの数値を含む。ＬＥＤを常時点灯させない場合、ＬＥＤの点灯周期は、複数の虹彩撮像器４０１～４０４のフレームレートと同期される。

【0027】

制御器５００は、虹彩撮像制御では、全体撮像器１００から供給される全体映像に基づいて、複数の虹彩撮像器４０１～４０４のうち、被験者の目を含む領域を好適に撮像できる虹彩撮像器を決定する。また、制御器５００は、決定した虹彩撮像器内で高速に読み出す注視領域の垂直位置を決定する。

【0028】

図２は、虹彩撮像制御の様子を示す図である。図２を用いて、虹彩撮像制御の詳細を説明する。ここでは、虹彩撮像器４０１～４０４に、１２Ｍ画素（水平４０００画素、垂直３０００画素）かつ６０ｆｐｓの汎用カメラが使用される場合を想定する。そのようなカメラは、産業用カメラなどで普及品となりつつある。虹彩で認証できる粒度の５０μｍで撮像する場合、各虹彩撮像器の水平視野と垂直視野はそれぞれ０．２ｍ（４０００×５０［μｍ］＝０．２［ｍ］）と０．１５ｍ（３０００×５０［μｍ］＝０．１５［ｍ］）となる。

【0029】

複数の虹彩撮像器４０１～４０４は、垂直方向に互いに積み重ねられるように配置される。このとき、複数の虹彩撮像器４０１～４０４のそれぞれは、隣接する虹彩撮像器との間で映像領域が一部重複するように配置される。虹彩撮像器４０１～４０４は、例えば隣接する虹彩撮像器間で、映像領域が２．５ｃｍ重複するように配置される。その場合、２ｍ先の合焦位置にて、４台で水平０．２ｍと垂直０．４５ｍ（（０．１５－０．０２５）＋（０．１５－０．０２５－０．０２５）＋（０．１５－０．０２５－０．０２５）＋（０．１５－０．０２５）ｍ）の視野を確保できる。つまり、水平０．２ｍと垂直０．４ｍの要求視野を確保できる。なお、図面と上述した説明により、各虹彩撮像器は同じ視野範囲であり、互いに異なる位置に配置されることが分かる。

【0030】

各虹彩撮像器のフレームレートが６０ｆｐｓである場合、そのままでは要求フレームレート１００ｆｐｓを満たせない。ここで、産業用カメラなどでは、注視領域モードがある。注視領域モードでは、画面全体ではなく、注視領域として設定された部分領域のみが読み出される。このような注視領域モードを利用することで、フレームレートを高めることができる。

【0031】

制御器５００は、任意の虹彩撮像器に注視領域を設定し、その虹彩撮像器から注視領域の画像を読み出す。図２の例では、画面半分の水平４０００画素、垂直１５００画素の部分領域が注視領域として設定される例が示されている。この場合、１フレームあたりの画素数が全体の１／２となるため、全画面を読み出す場合のフレームレート６０ｆｐｓの２倍の１２０ｆｐｓにフレームレートを高めることができる。ただし、部分領域の水平視野と垂直視野は、それぞれ０．２ｍと０．７５ｍとなる。なお、人の両目は水平方向に並ぶ。このため、注視領域モードにおいては、両目を撮像できるように、水平ではなく垂直の画素数を削減することが好ましい。

【0032】

上記した隣接する虹彩撮像器で映像領域が重複する範囲で目領域が撮像されない条件では、目領域を撮像する虹彩撮像器は４台の虹彩撮像器４０１～４０４のうちの何れか１台のみとなる。また、１２０ｆｐｓで読み出させる条件は、その虹彩撮像器内の部分領域となる。制御器５００は、複数の虹彩撮像器４０１～４０４のうち目領域を好適に撮像できる虹彩撮像器を推定し、その虹彩撮像器内で高速に読み出す注視領域の垂直位置を推定する。

【0033】

上記推定は、次に示す方法で実現できる。全体撮像器１００は、被験者を顔で認証できる解像度を有しており、制御器５００は、全体撮像器１００で撮像された全体映像における被験者の目位置を導出する。制御器５００は、全体撮像器１００と各虹彩撮像器のカメラパラメータと配置関係とを用いて、全体映像における被験者の目位置に対応する虹彩撮像器と、その撮像器内で存在する目位置を導出する。注視領域モードを利用することで、水平０．２ｍ及び垂直０．４ｍよりも広い視野と１００ｆｐｓより高い時間分解能とを、汎用カメラを用いて実現できる。

【0034】

なお、上記した注視領域モードで垂直位置を変更すると、撮像開始までに遅延が発生する。このため、上記の推定においては、被験者が虹彩撮像器の合焦位置である２ｍ先よりも先、例えば３ｍ先で撮像される映像を用いればよい。３ｍ先の被験者を顔で認証できる解像度は２Ｍ画素程度のカメラでも実現可能であり、全体撮像器１００には、虹彩撮像カメラより低いスペックのカメラを利用できる。

【0035】

制御器５００は、上述した虹彩撮像制御に基づいて、虹彩撮像器４０１～４０４のそれぞれに虹彩撮像情報を供給する。制御器５００は、被験者の目領域をうつす虹彩撮像器には、注視領域の垂直位置を含む虹彩撮像情報を供給する。制御器５００は、その他の虹彩撮像器については、任意の虹彩撮像情報を供給してもよい。制御器５００は、例えば虹彩映像の総データ量を削減する目的で、虹彩映像の供給停止の情報を含む虹彩撮像情報をその他の虹彩撮像器に供給してもよい。

【0036】

虹彩撮像器４０１～４０４は、それぞれ、制御器５００から供給される虹彩撮像情報に基づいて、虹彩映像を制御器５００に供給する。このとき、虹彩撮像器４０１～４０４は、虹彩撮像情報を用いて制御器５００から設定された注視領域の画像（虹彩映像）を、制御器５００に出力する。虹彩撮像器４０１～４０４は、注視領域の虹彩映像に対して非可逆圧縮を適用し、圧縮した虹彩映像を制御器５００に出力してもよい。例えば、虹彩撮像器４０１～４０４は、量子化（画素ごとに圧縮）、予測符号化と量子化（複数の画素の組で圧縮）、又は変換符号化と量子化との組み合わせ（複数の画素の組で圧縮）を用いて、注視領域の虹彩映像を圧縮する。制御器５００は、虹彩撮像器４０１～４０４から供給される虹彩映像を用いて、背景技術で述べた認証や登録を行う。制御器５００は、次の被験者が存在する場合、あるいは、認証や登録に失敗した場合、次の処理に戻る。

【0037】

続いて、動作手順を説明する。図３は、画像処理システムにおける動作手順を示す。制御器５００は、誘導制御を行い、誘導器２００を用いて被験者を誘導する（ステップＳ１００１）。制御器５００は、照明制御を行い、照明器３００を用いて被験者に赤外光を照射する（ステップＳ１００２）。制御器５００は、上述した虹彩撮像制御を行い、複数の虹彩撮像器４０１～４０４を用いて撮像された虹彩の画像（虹彩映像）を取得する（ステップＳ１００３）。ステップＳ１００３で取得された虹彩映像は、虹彩認証や登録のために使用される。ステップＳ１００３では、制御器５００は、上述したように、ある被験者に対して虹彩撮像器４０１～４０４の全てから虹彩映像を得る必要はない。制御器５００は、被験者の目領域を撮像している虹彩撮像器から、虹彩映像を取得する。

【0038】

制御器５００は、ステップＳ１００３で取得した虹彩映像を用いて虹彩認証を行い、或いは虹彩映像を登録する（ステップＳ１００４）。制御器５００は、次の被験者がいるか否か、或いは再認証若しくは再登録を行うか否かを判断する（ステップＳ１００５）。次の被験者がいる場合、又は再認証若しくは再登録を行うと判断された場合、処理はステップＳ１００１に戻り、誘導制御から処理が実施される。

【0039】

なお、本実施形態の全体撮像器１００が顔で認証できる解像度を備えており、被験者を顔認証するため特徴量をデータベースに保有しており、かつ、被験者を虹彩認証するための特徴量をデータベースに保有してない場合、本開示に係る装置は、顔認証に基づいて被験者を特定し、抽出したその虹彩の特徴量をデータベースに登録する用途にも使用できる。また、本開示に係る装置は、虹彩撮像制御で得られる目位置情報、又は、虹彩撮像器で得られた虹彩映像を認証若しくは登録する際に得られる目位置情報に基づいて被験者の身長情報を推定し、データベースに登録する用途にも使用できる。さらに、本開示に係る装置は、推定した身長情報を用いて、複数の虹彩撮像器から目領域を好適に撮像できる虹彩撮像器と同撮像器内で高速に読み出す注視領域の垂直位置の決定や校正に用いることができる。

【0040】

本実施形態では、要求される０．２ｍ×０．４ｍの視野に対応する高解像度と時間分解能０．０１秒に相当する高フレームレートの性能を、汎用カメラの組み合わせで達成できる。結果として、被験者と撮像手段の距離が長い、撮像する視野が広い、及び被験者が移動する条件で、認証や照合できる品質で虹彩パターンを撮像することを容易にした。

【0041】

次いで、本開示の第２実施形態を説明する。本実施形態に係る画像処理システムの構成は、図１に示される第１実施形態における画像処理システムの構成と同様でよい。本実施形態において、制御器５００は、被験者の次のまばたきの発生期間、及び被験者が虹彩撮像器の合焦位置（２ｍ先）を通過する期間をそれぞれ予測する。制御器５００は、それらの期間が重なる場合、合焦位置でまばたきが起きないように誘導器２００を制御する。本実施形態において、制御器５００は、まばたきに関連した画像処理方法（制御方法）を実施する画像処理装置（制御装置）としても機能する。他の点は、第１実施形態と同様でよい。

【0042】

ここで、まばたきは生理現象のため、被験者努力でもコントロールが難しく、虹彩撮像器４０１～４０４の合焦位置でまばたきが発生する可能性がある。人のまばたきは１分間に平均で２０回（間隔時間３秒）、１回あたり０．２秒（継続時間０．２秒）であり、目が開いている時間率は約９３．３％となる。単純計算をすると、まばたきに起因する認証や登録のやり直し確率は６．６％あり、１００人あたり約７人は認証や登録をやり直すことになる。

【0043】

制御器５００は、全体撮像器１００の全体映像の目領域を解析することにより、被験者が目を閉じているか否かの情報を取得できる。また、制御器５００は、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ（ＴｏＦ）などの測距機能を有する全体撮像器１００を利用することにより、被験者との距離情報を取得できる。制御器５００は、距離情報を時系列で解析することにより、被験者の位置情報だけでなく、被験者の歩行速度の情報を取得できる。

【0044】

続いて、以後の説明のため、被験者が目を閉じているか否かの情報、被験者の位置情報、被験者の歩行速度、まばたきの間隔時間、まばたきの継続時間、合焦位置の情報、及び合焦範囲の情報を以下のように定義する。

【0045】

被験者が時刻ｔで目を閉じているか否かの情報をｂ（ｔ）とする。ここでは、ｂ（ｔ）＝１は、被験者が目を閉じていることを示すとする。また、ｂ（ｔ）＝０は、被験者が目を開いていることを示すとする。ｂ（ｔ）＝１はまばたきに対応し、ｂ（ｔ）＝０は非まばたきに対応する。

【0046】

被験者の時刻ｔでの位置情報、すなわち、全体撮像器１００から被験者までの距離をｄ（ｔ）［ｍ］とする。被験者の平均の歩行速度をｖ［ｍ／ｓ］とする。まばたきの間隔時間をｂ＿ｉ＿ｔ［ｓ］とする。まばたきの継続時間をｂ＿ｐ＿ｔ［ｓ］とする。合焦位置の情報、すなわち、虹彩撮像器４０１～４０４から合焦位置までの距離をｄｆ［ｍ］とする。合焦範囲の情報をｄｏｆ［ｍ］とする。以上で、それぞれの情報の定義を終了する。

【0047】

制御器５００は、被験者の次のまばたきの発生期間を以下で予測できる（以後、次回まばたき期間予測とも呼ぶ）。制御器５００は、現在の時刻ｔｃからｂ＿ｉ＿ｔ秒前までの期間（ｔｃ－ｂ＿ｉ＿ｔ≦ｔ≦ｔｃ）で、ｂ（ｔ）＝１となる最後の時刻ｔｂｌａｓｔを探す。制御器５００は、ｔｂｌａｓｔにｂ＿ｉ＿ｔを加えてｂ＿ｐ＿ｔを減じた値を、次のまばたきの発生開始時刻ｔｂｎｅｘｔ（＝ｔｂｌａｓｔ＋ｂ＿ｉ＿ｔ－ｂ＿ｐ＿ｔ）とする。制御器５００は、次のまばたきの発生開始時刻ｔｂｎｅｘｔから、ｔｂｎｅｘｔ＋ｂ＿ｐ＿ｔまでの時刻（ｔｂｎｅｘｔ≦ｔ≦ｔｂｎｅｘｔ＋ｂ＿ｐ＿ｔ）を、次のまばたきの発生期間と予測する。

【0048】

制御器５００は、被験者が合焦位置を通過する期間を以下で予測できる（以後、合焦位置通過期間予測とも呼ぶ）。制御器５００は、時刻ｔにおいて距離ｄ（ｔ）にいる被験者が合焦位置に辿り着く時刻ｔａを計算する。時刻ｔａは、距離ｄ（ｔ）から距離ｄｆを減じて歩行速度ｖで割った時間を時刻ｔに加えた時刻で計算できる。つまり、ｔａ＝ｔ＋（ｄ（ｔ）－ｄｆ）÷ｖである。制御器５００は、時刻ｔａから、時刻ｔａに被験者が合焦範囲を通過する時間を加えた時刻までの期間（ｔａ≦ｔ≦ｔａ＋（ｄｏｆ÷ｖ））を、被験者が合焦位置を通過する期間と予測する。

【0049】

制御器５００は、上記のようにして導出した被験者の次のまばたき発生期間と、被験者が合焦位置を通過する期間とが重なるか否かを判断する。制御器５００は、次のまばたき発生期間と合焦位置を通過する期間とが重なる場合、合焦位置でまばたきが起きないように誘導器２００を用いて被験者を誘導する（以後、まばたき回避誘導制御とも呼ぶ）。

【0050】

制御器５００は、まばたき回避誘導制御では、例えば、被験者が合焦位置にたどり着く時刻を遅延させるように、誘導器２００を制御する。その場合、制御器５００は、誘導器２００に、被験者を「遅く歩かせる」あるいは「立ち止まらせる」ための映像や音声などをディスプレイやスピーカを用いて提示させる。被験者が、誘導に従って歩行速度を低下させ、或いは一時的に立ち止まることで、被験者が合焦位置に辿り着く時刻が遅延し、合焦位置でのまばたきを回避できる可能性を高めることができる。

【0051】

制御器５００は、まばたき回避誘導制御では、被験者が合焦位置にたどり着く時刻を早めるように、誘導器２００を制御してもよい。その場合、制御器５００は、誘導器２００に、被験者を「速く歩かせる」ための映像や音声などをディスプレイやスピーカを用いて提示させてもよい。被験者が、誘導に従って歩行速度を上げることで、被験者が合焦位置に辿り着く時刻が早まり、合焦位置でのまばたきを回避できる可能性を高めることができる。

【0052】

制御器５００は、まばたき回避誘導制御では、被験者にまばたきさせるように、誘導器２００を制御してもよい。例えば、ｂ（ｔ）を長時間記憶できない場合、制御器５００は、時刻ｔａからまばたきの継続時間を減じた時刻までに被験者に「まばたきをさせる」ための映像や音声などをディスプレイやスピーカで提示させてもよい。その場合、合焦位置を通過する前に被験者に一度まばたきをさせることで、被験者が合焦位置を通過する期間にまばたきが起きないようにすることができる。さらには、虹彩撮像手段が合焦位置を動かす機能を有する場合、制御器５００は、次のまばたきの発生期間以外で合焦するように合焦位置を動かしてもよい。合焦位置を動かす機能は、例えば虹彩撮像器が備える液体レンズなどのピント位置を制御する手段を駆動することで実現できる。

【0053】

続いて、動作手順を説明する。図４は、画像処理システムにおける動作手順を示す。制御器５００は、上述した次回まばたき期間予測を行う（ステップＳ２００１）。また、制御器５００は、制御器５００は上述した合焦位置通過期間予測を行う（ステップＳ２００２）。制御器５００は、ステップＳ２００１で予測した次回まばたき期間と、ステップＳ２００２で予測した合焦位置通過期間とが重なるか否かを判断する（ステップＳ２００３）。制御器５００は、ステップＳ２００３で期間が重なると判断した場合、制御器５００は上述したまばたき回避誘導制を行い、誘導器２００を用いて被験者を誘導する（ステップＳ２００４）。

【0054】

制御器５００は、第１実施形態で説明した誘導制御を行い、誘導器２００を用いて被験者を誘導する（ステップＳ２００５）。制御器５００は、照明制御を行い、照明器３００を用いて被験者に赤外光を照射する（ステップＳ２００６）。制御器５００は、虹彩撮像制御を行い、複数の虹彩撮像器４０１～４０４を用いて撮像された虹彩の画像（虹彩映像）を取得する（ステップＳ２００７）。ステップＳ２００７では、制御器５００は、第１実施形態で説明したように、ある被験者に対して虹彩撮像器４０１～４０４の全てから虹彩映像を得る必要はない。制御器５００は、被験者の目領域を撮像している虹彩撮像器から、虹彩映像を取得する。

【0055】

制御器５００は、ステップＳ２００７で取得した虹彩映像を用いて虹彩認証を行い、或いは虹彩映像を登録する（ステップＳ２００８）。制御器５００は、次の被験者がいるか否か、或いは再認証若しくは再登録を行うか否かを判断する（ステップＳ２００９）。次の被験者がいる場合、又は再認証若しくは再登録を行うと判断された場合、処理はステップＳ２００１に戻り、次回まばたき期間予測から処理が実施される。ステップＳ２００５～Ｓ２００９は、図３のステップＳ１００１～１００５と同様でよい。

【0056】

本実施形態では、制御器５００は、被験者の次のまばたき期間を予測する。また、制御器５００は、被験者が虹彩撮像器の合焦位置を通過する期間を予測する。制御器５００は、次のまばたき期間と合焦位置を通過する期間とが重なる場合は、まばたき回避誘導制を行い、誘導器２００を用いて被験者を誘導する。このようにすることで、被験者が合焦位置でまばたきすることを回避できる可能性が高まり、まばたきに起因する認証や登録のやり直し率を低減できる。

【0057】

なお、図２では、水平４０００画素×垂直１５００画素の部分領域が注視領域として設定される例を示したが、本開示はこれには限定されない。注視領域の形状は矩形には限定されず、また注視領域の数も１つには限定されない。制御器５００は、例えば全体撮像器１００で撮像された全体映像（俯瞰映像）から被験者の右目及び左目の位置を導出し、右目の位置に対応した注視領域と、左目の位置に対応した注視領域とを虹彩撮像器に設定してもよい。その場合、虹彩撮像器は、右目の虹彩映像、及び左目の虹彩映像を制御器５００に供給する。注視領域の形状は、矩形であってもよいし、楕円形であってもよい。制御器５００は、俯瞰映像に代えて、虹彩撮像器が撮像した虹彩映像に基づいて被験者の右目及び左目の位置を導出してもよい。例えば、制御器５００は、図２に示される部分領域を一旦注視領域として設定し、その注視領域の映像から右目及び左目の位置を導出してもよい。その場合、制御器５００は、導出した右目及び左目の位置に基づいて、右目の位置に対応した部分領域と、左目の位置に対応した部分領域とを、それぞれ注視領域として虹彩撮像器に設定してもよい。

【0058】

上記各実施形態において、制御器５００は、コンピュータ装置として構成され得る。図５は、制御器５００に用いられ得る情報処理装置（コンピュータ装置）の構成例を示す。情報処理装置６００は、制御部（ＣＰＵ：Central Processing Unit）６１０、記憶部６２０、ＲＯＭ（Read Only Memory）６３０、ＲＡＭ（Random Access Memory）６４０、通信インタフェース（ＩＦ：Interface）６５０、及びユーザインタフェース６６０を有する。

【0059】

通信インタフェース６５０は、有線通信手段又は無線通信手段などを介して、情報処理装置６００と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース６６０は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース６６０は、キーボード、マウス、及びタッチパネルなどの入力部を含む。

【0060】

記憶部６２０は、各種のデータを保持できる補助記憶装置である。記憶部６２０は、必ずしも情報処理装置６００の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介して情報処理装置６００に接続されたクラウドストレージであってもよい。ＲＯＭ６３０は、不揮発性の記憶装置である。ＲＯＭ６３０には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ＣＰＵ６１０が実行するプログラムは、記憶部６２０又はＲＯＭ６３０に格納され得る。

【0061】

上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、情報処理装置６００に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0062】

ＲＡＭ６４０は、揮発性の記憶装置である。ＲＡＭ６４０には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ６４０は、データなどを一時的に格納する内部バッファとして用いられ得る。ＣＰＵ６１０は、記憶部６２０又はＲＯＭ６３０に格納されたプログラムをＲＡＭ６４０に展開し、実行する。ＣＰＵ６１０がプログラムを実行することで、例えば誘導制御、照明制御、及び虹彩撮像制御を含む各種制御が実行される。また、ＣＰＵ６１０がプログラムを実行することで、まばたきに関連した画像処理方法を含む各種処理が実行される。

【0063】

以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。

【0064】

例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

【0065】

［付記１］
同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段と、
前記虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段と、
被験者を誘導するための誘導手段と、
前記被験者に光を照らす照明手段と、
前記全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、前記誘導手段の映像及び音声の少なくとも一方の提示、及び、前記照明手段の光の照射のうち少なくとも１つを制御する制御手段とを備え、
前記制御手段は、更に、前記被験者の次のまばたきが発生する期間、及び、前記被験者が前記虹彩撮像手段の合焦位置を通過する期間を予測し、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記合焦位置と、前記被験者が次の瞬きをする位置とを異ならせるように、前記誘導手段及び前記虹彩撮像手段の少なくとも一方を制御する画像処理システム。

【0066】

［付記２］
前記制御手段は、前記複数の虹彩撮像手段の画像の読み出しを実施し、
前記制御手段は、前記複数の虹彩撮像手段の画像の読み出しでは、前記全体撮像手段で撮像された映像に基づいて、前記複数の虹彩撮像手段のうち前記被験者の目を撮像できる虹彩撮像手段を特定し、該特定した虹彩撮像手段に前記被験者の目の位置を含む注視領域を設定し、前記特定した虹彩撮像手段から前記注視領域の映像を取得する付記１に記載の画像処理システム。

【0067】

［付記３］
前記制御手段は、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記合焦位置で被験者がまばたきをしないように前記誘導手段を制御する付記１又は２に記載の画像処理システム。

【0068】

［付記４］
前記制御手段は、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記合焦位置が、前記次のまばたきが発生する期間における前記被験者の位置以外の位置になるように前記虹彩撮像手段を制御する付記１又は２に記載の画像処理システム。

【0069】

［付記５］
前記制御手段は、前記被験者の前回のまばたき時刻、まばたき間隔時間、及びまばたき継続時間に基づいて、次のまばたきが発生する期間を予測する付記３又は４に記載の画像処理システム。

【0070】

［付記６］
前記制御手段は、前記被験者の位置及び移動速度に基づいて、前記合焦位置を通過する期間を予測する付記３から５何れか１つに記載の画像処理システム。

【0071】

［付記７］
移動する被験者の次のまばたきが発生する期間、及び、前記被験者の虹彩を撮像するための虹彩撮像手段の合焦位置を前記被験者が通過する期間を予測し、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記合焦位置で被験者がまばたきをしないように、前記被験者を誘導するための誘導手段を制御する制御手段を備える画像処理装置。

【0072】

［付記８］
前記制御手段は、前記被験者の前回のまばたき時刻、まばたき間隔時間、及びまばたき継続時間に基づいて、次のまばたきが発生する期間を予測する付記７に記載の画像処理装置。

【0073】

［付記９］
前記制御手段は、前記被験者の位置及び移動速度に基づいて、前記合焦位置を通過する期間を予測する付記７又は８に記載の画像処理装置。

【0074】

［付記１０］
前記制御手段は、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記被験者が前記合焦位置に到達する時刻を遅らせるように前記誘導手段を制御する付記７から９何れか１つに記載の画像処理装置。

【0075】

［付記１１］
前記制御手段は、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記被験者が前記合焦位置に到達する時刻を早めるように前記誘導手段を制御する付記７から９何れか１つに記載の画像処理装置。

【0076】

［付記１２］
前記制御手段は、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記被験者にまばたきさせるように前記誘導手段を制御する付記７から９何れか１つに記載の画像処理装置。

【0077】

［付記１３］
移動する被験者の次のまばたきが発生する期間、及び、前記被験者の虹彩を撮像するための虹彩撮像手段の合焦位置を前記被験者が通過する期間を予測し、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なる場合、前記合焦位置が、前記次のまばたきが発生する期間における前記被験者の位置以外の位置になるように前記虹彩撮像手段を制御する制御手段を備える画像処理装置。

【0078】

［付記１４］
前記制御手段は、前記被験者の前回のまばたき時刻、まばたき間隔時間、及びまばたき継続時間に基づいて、次のまばたきが発生する期間を予測する付記１３に記載の画像処理装置。

【0079】

［付記１５］
前記制御手段は、前記被験者の位置及び移動速度に基づいて、前記合焦位置を通過する期間を予測する付記１３又は１４に記載の画像処理装置。

【0080】

［付記１６］
同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、被験者を誘導するための誘導手段の映像及び音声の少なくとも一方の提示、及び、前記被験者に光を照らす照明手段の光の照射のうち少なくとも１つを実施する画像処理方法。

【0081】

［付記１７］
前記被験者の虹彩を撮像するための虹彩撮像手段の合焦位置を前記被験者が通過する期間を予測し、
前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なるか否かを判断し、
重なると判断した場合、前記合焦位置と、前記被験者が次の瞬きをする位置とを異ならせるように、前記被験者の誘導、及び前記虹彩撮像手段の制御の少なくとも一方を実施する画像処理方法。

【0082】

［付記１８］
前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なると判断した場合、前記合焦位置で前記被験者がまばたきしないように、前記被験者を誘導する次の瞬きをする位置とを異ならせるように、前記被験者を誘導する付記１７に記載の画像処理方法。

【0083】

［付記１９］
前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なると判断した場合、前記合焦位置が、前記次のまばたきが発生する期間における前記被験者の位置以外の位置になるように前記虹彩撮像手段を制御する付記１７又は１８に記載の画像処理方法。

【0084】

［付記２０］
同じ視野範囲で互いに異なる位置に配置される複数の虹彩撮像手段の視野範囲より広い視野範囲で撮像する全体撮像手段の画像を用いて、前記複数の虹彩撮像手段の画像の読み出し、被験者を誘導するための誘導手段の映像及び音声の少なくとも一方の提示、及び、前記被験者に光を照らす照明手段の光の照射のうち少なくとも１つを実施する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。

【0085】

［付記２１］
移動する被験者の次のまばたきが発生する期間を予測し、
前記被験者の虹彩を撮像するための虹彩撮像手段の合焦位置を前記被験者が通過する期間を予測し、
前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なるか否かを判断し、
重なると判断した場合、前記合焦位置と、前記被験者が次の瞬きをする位置とを異ならせるように、前記被験者の誘導、及び前記虹彩撮像手段の制御の少なくとも一方を実施する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。

【0086】

［付記２２］
前記プログラムは、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なると判断した場合、前記合焦位置で前記被験者が瞬きしないように、前記被験者を誘導する処理をコンピュータに実行させる付記２１に記載の非一時的なコンピュータ可読媒体。

【0087】

［付記２３］
前記プログラムは、前記次のまばたきが発生する期間と前記合焦位置を通過する期間とが重なると判断した場合、前記合焦位置が、前記次のまばたきが発生する期間における前記被験者の位置以外の位置になるように前記虹彩撮像手段を制御する処理をコンピュータに実行させる付記２１又は２２に記載の非一時的なコンピュータ可読媒体。

【0088】

この出願は、２０１９年２月１８日に出願された日本出願特願２０１９－０２６９４１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0089】

１００：全体撮像器
２００：誘導器
３００：照明器
４０１～４０４：虹彩撮像器
５００：制御器
６００：情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】