特許 7666823 検出システム、検出方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-14

(45)【発行日】2025-04-22

(54)【発明の名称】検出システム、検出方法、及びコンピュータプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20250415BHJP

【ＦＩ】

G06T7/60 200C

【請求項の数】 14

(21)【出願番号】P 2022550069

(86)(22)【出願日】2020-09-15

(86)【国際出願番号】 JP2020034900

(87)【国際公開番号】W WO2022059066

(87)【国際公開日】2022-03-24

【審査請求日】2023-02-20

【審判番号】

【審判請求日】2024-03-13

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(72)【発明者】

【氏名】戸泉 貴裕

(72)【発明者】

【氏名】高橋 巧一

【合議体】

【審判長】廣川 浩

【審判官】河合 弘明

【審判官】本郷 彰

(56)【参考文献】

【文献】特開２００３－１３２３５５号公報（ＪＰ，Ａ）

【文献】特開２００６－１７２２０９号公報（ＪＰ，Ａ）

【文献】特開２００８－１５２６０８号公報（ＪＰ，Ａ）

【文献】特開２０１８－１２４７３３号公報（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 7/60

G06T 7/00

(57)【特許請求の範囲】

【請求項1】

生体を含む画像を取得する取得手段と、
前記画像から、前記生体における虹彩及び瞳孔の少なくとも一方に対応する特徴図形と、前記生体におけるまぶたに対応する特徴点とを、複合ターゲットとして同時に検出する検出手段と、
を備えることを特徴とする検出システム。

【請求項2】

前記画像から、前記特徴図形と、前記特徴点とを複合ターゲットとして同時に検出するように、ニューラルネットワークで構成された検出モデルを学習する学習手段を更に備え、
前記検出手段は、前記学習手段によって学習された前記検出モデルを用いて、前記特徴図形及び前記特徴点を同時に検出することを特徴とする請求項１に記載の検出システム。

【請求項3】

前記学習手段は、前記画像から、前記特徴図形と、前記特徴点とを複合ターゲットとして同時に検出するように、前記特徴図形と前記特徴点との相対的な位置関係の分布に関する情報を用いてニューラルネットワークで構成された検出モデルを学習することを特徴とする請求項２に記載の検出システム。

【請求項4】

前記特徴図形と、前記特徴点とに基づいて、前記生体に対する虹彩認証処理を実行する虹彩認証手段を更に備えることを特徴とする請求項１から請求項３のいずれか一項に記載の検出システム。

【請求項5】

前記特徴図形と、前記特徴点とに基づいて、前記生体の視線を推定する視線推定処理を実行する視線推定手段を更に備えることを特徴とする請求項１から請求項４のいずれか一項に記載の検出システム。

【請求項6】

前記視線推定手段は、前記特徴図形と、前記特徴点との相対的な位置関係に基づいて、前記生体の視線を推定することを特徴とする請求項５に記載の検出システム。

【請求項7】

前記特徴点を用いて、前記画像の回転角を推定する回転角推定手段と、
前記特徴図形の中心を回転軸として、前記画像を前記回転角だけ回転する画像回転手段と
を更に備えることを特徴とする請求項１から６のいずれか一項に記載の検出システム。

【請求項8】

前記特徴点及び前記特徴図形の各々を識別可能な表示態様で表示する表示手段を更に備えることを特徴とする請求項１から７のいずれか一項に記載の検出システム。

【請求項9】

生体を含む画像を取得し、
前記画像から、前記生体における虹彩及び瞳孔の少なくとも一方に対応する特徴図形と、前記生体におけるまぶたに対応する特徴点とを、複合ターゲットとして同時に検出する
ことを特徴とする検出方法。

【請求項10】

前記画像から、前記特徴図形と、前記特徴点とを複合ターゲットとして同時に検出するように、ニューラルネットワークで構成された検出モデルを学習し、
前記検出モデルを用いて、前記特徴図形及び前記特徴点を同時に検出することを特徴とする請求項９に記載の検出方法。

【請求項11】

前記画像から、前記特徴図形と、前記特徴点とを複合ターゲットとして同時に検出するように、前記特徴図形と前記特徴点との相対的な位置関係の分布に関する情報を用いてニューラルネットワークで構成された検出モデルを学習することを特徴とする請求項１０に記載の検出方法。

【請求項12】

生体を含む画像を取得し、
前記画像から、前記生体における虹彩及び瞳孔の少なくとも一方に対応する特徴図形と、前記生体におけるまぶたに対応する特徴点とを、複合ターゲットとして同時に検出する
ようにコンピュータを動作させることを特徴とするコンピュータプログラム。

【請求項13】

前記画像から、前記特徴図形と、前記特徴点とを複合ターゲットとして同時に検出するように、ニューラルネットワークで構成された検出モデルを学習し、
前記検出モデルを用いて、前記特徴図形及び前記特徴点を同時に検出することを特徴とする請求項１２に記載のコンピュータプログラム。

【請求項14】

前記画像から、前記特徴図形と、前記特徴点とを複合ターゲットとして同時に検出するように、前記特徴図形と前記特徴点との相対的な位置関係の分布に関する情報を用いてニューラルネットワークで構成された検出モデルを学習することを特徴とする請求項１３に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、画像から生体の一部を検出する検出システム、検出方法、及びコンピュータプログラムの技術分野に関する。

【背景技術】

【0002】

この種のシステムとして、画像から生体の目周辺の部位を検出するものが知られている。例えば特許文献１では、画像から瞳孔円及び虹彩円を検出することが開示されている。特許文献２では、画像から顔を検出し、その顔の位置情報から目を検出することが開示されている。特許文献３では、顔画像から特徴点を抽出することが開示されている。特許文献４では、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）の中から円形の領域を検出し、虹彩の候補となる複数の領域を検出することが検出されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－３１７１０２号公報

【文献】特開２００７－２１３３７７号公報

【文献】特開２０１４－０７５０９８号公報

【文献】特開２０１８－０４５４３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像を入力とする検出では、特徴点や特徴図形を検出する方法が考えられる。しかしながら、上述した各引用文献では、特徴点及び特徴図形の両方を検出することについては言及されておらず、改善の余地がある。

【0005】

この開示は、上述した課題を解決することが可能な検出システム、検出方法、及びコンピュータプログラムを提供することを課題とする。

【課題を解決するための手段】

【0006】

この開示の検出システムの一の態様は、生体を含む画像を取得する取得手段と、前記画像から前記生体における略円形の第１部分に対応する特徴図形を検出すると共に、前記生体における前記第１部分周辺の第２部分に対応する特徴点を検出する検出手段と
を備える。

【0007】

この開示の検出方法の一の態様は、生体を含む画像を取得し、前記画像から前記生体における略円形の第１部分に対応する特徴図形を検出すると共に、前記生体における前記第１部分周辺の第２部分に対応する特徴点を検出する。

【0008】

この開示のコンピュータプログラムの一の態様は、生体を含む画像を取得し、前記画像から前記生体における略円形の第１部分に対応する特徴図形を検出すると共に、前記生体における前記第１部分周辺の第２部分に対応する特徴点を検出するコンピュータを動作させる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る検出システムのハードウェア構成を示すブロック図である。

【図2】第１実施形態に係る検出システムの機能的構成を示すブロック図である。

【図3】第１実施形態に係る検出システムの動作の流れを示すフローチャートである。

【図4】第１実施形態に係る検出システムで検出される特徴図形の一例を示す図である。

【図5】第２実施形態に係る検出システムの機能的構成を示すブロック図である。

【図6】第２実施形態に係る検出システムの動作の流れを示すフローチャートである。

【図7】第２実施形態に係る検出システムによる特徴図形及び特徴点の検出例を示す図である。

【図8】第３実施形態に係る検出システムの機能的構成を示すブロック図である。

【図9】第３実施形態に係る検出システムの動作の流れを示すフローチャートである。

【図10】第４実施形態に係る検出システムによる視線推定方法の一例を示す図である。

【図11】第５実施形態に係る検出システムの機能的構成を示すブロック図である。

【図12】第５実施形態に係る検出システムの動作の流れを示すフローチャートである。

【図13】第５実施形態に係る検出システムによる具体的な動作例を示す図である。

【図14】第６実施形態に係る検出システムの機能的構成を示すブロック図である。

【図15】第６実施形態に係る検出システムの動作の流れを示すフローチャートである。

【図16】表示部における特徴点及び特徴図形の表示例を示す図（その１）である。

【図17】表示部における特徴点及び特徴図形の表示例を示す図（その２）である。

【図18】表示部における特徴点及び特徴図形の表示例を示す図（その３）である。

【図19】表示部における特徴点及び特徴図形の表示例を示す図（その４）である。

【図20】表示部における特徴点及び特徴図形の表示例を示す図（その５）である。

【図21】第７実施形態に係る検出システムの機能的構成を示すブロック図である。

【図22】第７実施形態に係る検出システムの動作の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、検出システム、検出方法、及びコンピュータプログラムの実施形態について説明する。

【0011】

＜第１実施形態＞
第１実施形態に係る検出システムについて、図１から図４を参照して説明する。

【0012】

（ハードウェア構成）
まず、図１を参照しながら、第１実施形態に係る検出システムのハードウェア構成について説明する。図１は、第１実施形態に係る検出システムのハードウェア構成を示すブロック図である。

【0013】

図１に示すように、第１実施形態に係る検出システム１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。検出システム１０は更に、入力装置１５と、出力装置１６とを備えていてもよい。プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。

【0014】

プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、検出システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、画像から生体の一部を検出するための機能ブロックが実現される。また、プロセッサ１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のうち一つを用いてもよいし、複数を並列で用いてもよい。

【0015】

ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）であってもよい。

【0016】

ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）であってもよい。

【0017】

記憶装置１４は、検出システム１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。

【0018】

入力装置１５は、検出システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。

【0019】

出力装置１６は、検出システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、検出システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。

【0020】

（機能的構成）
次に、図２を参照しながら、第１実施形態に係る検出システム１０の機能的構成について説明する。図２は、第１実施形態に係る検出システムの機能的構成を示すブロック図である。

【0021】

図２において、第１実施形態に係る検出システム１０は、画像から生体の一部を検出するものとして構成されている。検出システム１０は、その機能を実現するための処理ブロックとして、或いは物理的な処理回路として、画像取得部１１０と、検出部１２０とを備えている。画像取得部１１０及び検出部１２０は、例えば上述したプロセッサ１１（図１参照）により実現することができる。

【0022】

画像取得部１１０は、検出システム１０に対して入力された画像（即ち、検出対象である画像）を取得可能に構成されている。画像取得部１１０は、取得した画像を蓄積する蓄積部を備えていてもよい。画像取得部１１０で取得された画像に関する情報は、検出部１２０に出力される構成となっている。

【0023】

検出部１２０は、画像取得部１１０で取得された画像から、生体の一部を検出可能に構成されている。具体的には、検出部１１０は、生体の第１部分に対応する特徴図形と、生体の第２部分に対応する特徴点とを検出可能に構成されている。なお、ここでの「第１部分」は、生体における略円形の形状を有する部分である。一方、「第２部分」は、生体における第１部分周辺に位置する部分である。なお、生体のどの部分を第１部分とし、どの部分を第２部分とするかは、事前に設定しておけばよい。この場合、第１部分として種類の異なる複数の部分が設定されてもよいし、第２部分として種類の異なる複数の部分が設定されてもよい。検出部１２０は、検出した特徴点及び特徴図形に関する情報を出力する機能を有していてもよい。

【0024】

（動作の流れ）
次に、図３を参照しながら、第１実施形態に係る検出システム１０の動作の流れについて説明する。図３は、第１実施形態に係る検出システムの動作の流れを示すフローチャートである。

【0025】

図３に示すように、第１実施形態に係る検出システム１０が動作する際には、まず画像取得部１１０が画像を取得する（ステップＳ１０１）。

【0026】

続いて、検出部１２０が、画像取得部１１０が取得した画像から第１部分に対応する特徴図形を検出する（ステップＳ１０２）。検出部１２０は更に、画像取得部１１０が取得した画像から第２部分に対応する特徴点を検出する（ステップＳ１０３）。検出した特徴図形及び特徴点は、座標や数式等によって表すことができる。なお、ステップＳ１０２及びＳ１０３の処理は、互いに前後して実行されてもよいし、同時に並行して実行されてもよい。即ち、第１部分に対応する特徴図形及び第２部分に対応する特徴点については、検出の順番が限定されるものではなく、特徴図形及び特徴点を同時に検出するようにしてもよい。

【0027】

（特徴図形の具体例）
次に、図４を参照しながら、第１実施形態に係る検出システム１０で検出される特徴図形の具体例について説明する。図４は、第１実施形態に係る検出システムで検出される特徴図形の一例を示す図である。

【0028】

図４に示すように、第１実施形態に係る検出システム１０では、検出部１２０が、第２部分に対応する特徴図形として、円（楕円を含む）を検出する。検出部１２０が検出する円は、正円の他、縦長楕円、横長楕円、斜め楕円（即ち、任意の角度で回転された楕円）を含んでいてよい。なお、実際にどのような円を検出するかは、事前に設定しておけばよい。例えば、検出しようとする生体の部分に応じた形状を設定しておけばよい。また、検出部１２０は、一部が欠けた円や一部が隠れた円を検出可能に構成されてもよい。

【0029】

（技術的効果）
次に、第１実施形態に係る検出システム１０によって得られる技術的効果について説明する。

【0030】

図１から図３で説明したように、第１実施形態に係る検出システム１０では、画像から第１部分に対応する特徴図形、及び第２部分に対応する特徴点が検出される。即ち、第１部分と第２部分とが異なる方法により検出される。これにより、生体を撮像した画像から、形状の特徴が異なる第１部分と第２部分とをそれぞれ適切に検出することが可能となる。。

【0031】

＜第２実施形態＞
第２実施形態に係る検出システム１０について、図５から図７を参照して説明する。なお、第２実施形態は、上述した第１実施形態と一部の構成及び動作が異なるのみであり、例えばハードウェア構成については、第１実施形態（図１参照）と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

【0032】

（機能的構成）
まず、図５を参照しながら、第２実施形態に係る検出システム１０の機能的構成について説明する。図５は、第２実施形態に係る検出システムの機能的構成を示すブロック図である。なお、図５では、図２で示した構成要素と同様の要素に同一の符号を付している。

【0033】

図５に示すように、第２実施形態に係る検出システム１０は、その機能を実現するための処理ブロックとして、或いは物理的な処理回路として、画像取得部１１０と、検出部１２０と、虹彩認証部１３０とを備えている。即ち、第２実施形態に係る検出システム１０は、第１実施形態の構成要素（図２参照）に加えて、虹彩認証部１３０を更に備えて構成されている。なお、虹彩認証部１３０は、例えば上述したプロセッサ１１（図１参照）により実現することができる。

【0034】

虹彩認証部１３０は、検出部１２０で検出された特徴点及び特徴図形を用いて、虹彩認証を実行することが可能に構成されている。虹彩認証部１３０は、例えば、第１部分の一例であるまぶたに対応する特徴点、及び第２部分の一例である虹彩及び瞳孔に対応する特徴図形（図７参照）に基づいて虹彩領域を特定し、その虹彩領域を用いた虹彩認証処理を実行可能に構成されている虹彩認証部１３０は、虹彩認証の結果を出力する機能を有していてもよい。また、虹彩認証部１３０は、虹彩認証処理の一部をシステム外部で実行する（例えば、外部サーバーやクラウド等で実行する）ように構成されてもよい。

【0035】

（動作の流れ）
次に、図６を参照しながら、第２実施形態に係る検出システム１０の動作の流れについて説明する。図６は、第２実施形態に係る検出システムの動作の流れを示すフローチャートである。なお、図６では、図３で示した処理と同様の処理に同一の符号を付している。

【0036】

図６に示すように、第２実施形態に係る検出システム１０が動作する際には、まず画像取得部１１０が画像を取得する（ステップＳ１０１）。その後、検出部１２０が、画像取得部１１０が取得した画像から第１部分に対応する特徴図形を検出する（ステップＳ１０２）。検出部１２０は更に、画像取得部１１０が取得した画像から第２部分に対応する特徴点を検出する（ステップＳ１０３）。

【0037】

続いて、虹彩認証部１３０が、まぶたに対応する特徴点からまぶた領域（即ち、まぶたが存在する領域）を特定し、まぶた領域のマスクを生成する（ステップＳ２０１）。まぶた領域のマスクは、虹彩認証に不要な（言い換えれば、虹彩情報を有しない）まぶた領域を取り除くために用いる。その後、虹彩認証部１３０は、虹彩及び瞳孔に対応する特徴図形から虹彩領域（即ち、虹彩情報が得られる領域）を特定し、虹彩領域を用いた虹彩認証を実行する（ステップＳ２０２）。なお、虹彩認証の具体的な処理内容については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。
（目周辺の検出例）
次に、図７を参照しながら、第２実施形態に係る検出システム１０による特徴図形及び特徴点の検出について説明する。図７は、第２実施形態に係る検出システムによる特徴図形及び特徴点の検出例を示す図である。

【0038】

図７に示すように、第２実施形態に係る検出システム１０では、「虹彩及び瞳孔」が第１部分として検出され、「まぶた」が第２部分として検出される。

【0039】

検出部１２０は、虹彩に対応する円と、瞳孔に対応する円とを検出する。なお、検出部１２０は、虹彩に対応する円及び瞳孔に対応する円のうち、いずれか一方のみを検出するようにしてもよい。虹彩や瞳孔については、その形状が円に近いため、略円の特徴図形として検出するのに適している。仮に、虹彩や瞳孔を特徴点（例えば、円周上の点）で検出しようとすると、点の個数や位置はシステム設計に依存し、そのまま検出精度に影響することになる。しかしながら、虹彩や瞳孔を円として検出すれば、虹彩や瞳孔の位置を円の式として決定することができる。円の式は一意的に決まるため、システム設計に依存せず、検出精度に影響与えない。このような点からも、虹彩は円での検出に適していると言える。

【0040】

また、検出部１２０は、まぶたの位置（輪郭）を示す複数の特徴点を検出する。図に示す例では、検出部１２０は、目頭及び目尻に対応する２つの特徴点と、上まぶたに対応する３つの特徴点と、下まぶたに対応する３つの特徴点とを検出している。なお、上述した特徴点の数はあくまで一例であり、これより少ない特徴点を検出するようにしてもよいし、これより多い特徴点を検出するようにしてもよい。まぶたは、生体における個体差が比較的大きく、例えば一重まぶたや二重まぶた、ツリ目やタレ目等、個人による形状の差が大きい。よって、特徴図形としてではなく、特徴点として検出するのに適している。なお、まぶたについては、その形状には個人差があるものの、虹彩や瞳孔の周辺に位置していることは共通している。よって、特徴図形と合わせて検出すれば、特徴点として比較的容易に検出することが可能である。

【0041】

（技術的効果）
次に、第２実施形態に係る検出システム１０によって得られる技術的効果について説明する。

【0042】

図５から図７で説明したように、第２実施形態に係る検出システム１０では、検出された特徴図形及び特徴点を用いて虹彩認証が実行される。本実施形態では特に、目周辺に存在する複数の部分が適切に検出されているため、虹彩認証を適切に実行することが可能である。なお、図５に示す例では、目頭と目尻の座標と、虹彩及び瞳孔の円の半径がわかっているため、目頭から目尻までの距離と、２つの円の半径との差分との比率を、虹彩認証におけるデータ照合や重み付けしてもよい。

【0043】

＜第３実施形態＞
第３実施形態に係る検出システム１０について、図８及び図９を参照して説明する。なお、第３実施形態は、上述した各実施形態と一部の構成及び動作が異なるのみであり、例えばハードウェア構成については、第１実施形態（図１参照）と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

【0044】

（機能的構成）
まず、図８を参照しながら、第３実施形態に係る検出システム１０の機能的構成について説明する。図８は、第３実施形態に係る検出システムの機能的構成を示すブロック図である。なお、図８では、図２及び図５で示した構成要素と同様の要素に同一の符号を付している。

【0045】

図８に示すように、第５実施形態に係る検出システム１０は、その機能を実現するための処理ブロックとして、或いは物理的な処理回路として、画像取得部１１０と、検出部１２０と、視線推定部１４０とを備えている。即ち、第３実施形態に係る検出システム１０は、第１実施形態の構成要素（図２参照）に加えて、視線推定部１４０を更に備えて構成されている。なお、視線推定部１４０は、例えば上述したプロセッサ１１（図１参照）により実現することができる。

【0046】

視線推定部１４０は、検出部１２０で検出された特徴点及び特徴図形を用いて、視線方向推定を実行することが可能に構成されている。具体的には、視線推定部１４０は、第２実施形態で説明した「まぶたに対応する特徴点」及び「虹彩及び瞳孔に対応する特徴図形」（図７参照）に基づいて、視線方向を推定する処理を実行可能に構成されている。なお、まぶたに対応する特徴点、及び虹彩及び瞳孔に対応する特徴図形は、第２実施形態で説明したように検出すればよい。視線推定部１４０は、視線推定の結果を出力する機能を有していてもよい。また、視線推定部１４０は、視線推定処理の一部をシステム外部で実行する（例えば、外部サーバーやクラウド等で実行する）ように構成されてもよい。

【0047】

（動作の流れ）
次に、図９を参照しながら、第３実施形態に係る検出システム１０の動作の流れについて説明する。図９は、第３実施形態に係る検出システムの動作の流れを示すフローチャートである。なお、図９では、図３及び図６で示した処理と同様の処理に同一の符号を付している。

【0048】

図９に示すように、第３実施形態に係る検出システム１０が動作する際には、まず画像取得部１１０が画像を取得する（ステップＳ１０１）。その後、検出部１２０が、画像取得部１１０が取得した画像から第１部分に対応する特徴図形を検出する（ステップＳ１０２）。検出部１２０は更に、画像取得部１１０が取得した画像から第２部分に対応する特徴点を検出する（ステップＳ１０３）。

【0049】

続いて、視線推定部１４０が、特徴図形及び特徴点に基づいて視線方向を推定する（ステップＳ３０１）。なお、視線方向推定の具体的な処理内容については、後述する第４実施形態において詳しく説明する。

【0050】

（技術的効果）
次に、第３実施形態に係る検出システム１０によって得られる技術的効果について説明する。

【0051】

図８及び図９で説明したように、第３実施形態に係る検出システム１０では、検出された特徴図形及び特徴点を用いて視線推定が実行される。本実施形態では特に、視線方向を推定するのに用いる部分（例えば、目周辺の各部分）が適切に検出されているため、視線方向を適切に推定することが可能である。

【0052】

＜第４実施形態＞
第４実施形態に係る検出システム１０について、図１０を参照して説明する。なお、第４実施形態は、上述した第３実施形態のより具体的な構成（即ち、視線方向の具体的な推定方法）を示すものであり、その構成や動作の流れについては第３実施形態（図８及び図９参照）と同一であってよい。このため、以下では、すでに説明した部分と重複する部分について適宜説明を省略するものとする。

【0053】

（相対位置の算出）
図１０を参照しながら、第４実施形態に係る検出システム１０による視線方向の推定方法について説明する。図１０は、第４実施形態に係る検出システムによる視線推定方法の一例を示す図である。

【0054】

図１０に示すように、第４実施形態に係る検出システム１０では、まぶたに対応する特徴点と、虹彩及び瞳孔に対応する特徴図形とを用いて、視線方向を推定する。なお、まぶたに対応する特徴点、及び虹彩及び瞳孔に対応する特徴図形は、第２実施形態（図７参照）で説明したように検出すればよい。

【0055】

図中の特徴点１及び特徴点２は、それぞれ目頭及び目尻に対応する特徴点である。また、特徴点３及び特徴点４は、特徴点１及び特徴点２の中線上のまぶたと交差する点である。このため、特徴点１から４は、顔の向きが変わらなければ、眼球がどの向きを向いても同じ位置となる。なお、眼球の向きが変わった場合は、虹彩及び瞳孔に対応する特徴図形である円５及び円６が移動する。よって、各特徴点から特定できるまぶたの位置と、各特徴図形から特定できる虹彩及び瞳孔の位置との相対関係を用いれば、眼球の向き（即ち、視線方向）を推定することができる。

【0056】

視線を推定するには、まぶたの位置と眼球の位置との相対関係と、現在どの位置を見ているかとの関連性を予め求めておけばよい。この関連性は、関数として計算されるものであってもよいし、テーブルとして作成されてもよい。

【0057】

視線方向を計算する際には、まず虹彩に対応する円６を用いて画像を正規化する。次に、特徴点１及び特徴点２をつないだ線と、特徴点３及び特徴点４をつないだ線との交点を原点とし、この原点からｘ、ｙ方向に何画素離れているかという情報から、まぶたと眼球との相対的な位置関係を計算する。そして、計算したまぶたと眼球との位置関係を利用して、視線方向を推定する。

【0058】

（技術的効果）
次に、第４実施形態に係る検出システム１０によって得られる技術的効果について説明する。

【0059】

図１０で説明したように、第４実施形態に係る検出システム１０では、まぶたと眼球との位置関係から視線方向が推定される。本実施形態では特に、まぶたに対応する特徴点、及び虹彩及び瞳孔に対応する特徴図形から、これらの相対的な位置関係を適切に算出できるため、視線方向を適切に推定することが可能である。

【0060】

＜第５実施形態＞
第５実施形態に係る検出システム１０について、図１１から図１３を参照して説明する。なお、第５実施形態は、上述した各実施形態と一部の構成及び動作が異なるのみであり、例えばハードウェア構成については、第１実施形態（図１参照）と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

【0061】

（機能的構成）
まず、図１１を参照しながら、第５実施形態に係る検出システム１０の機能的構成について説明する。図１１は、第４実施形態に係る検出システムの機能的構成を示すブロック図である。なお、図１１では、図２、図５及び図８で示した構成要素と同様の要素に同一の符号を付している。

【0062】

図１１に示すように、第５実施形態に係る検出システム１０は、その機能を実現するための処理ブロックとして、或いは物理的な処理回路として、画像取得部１１０と、検出部１２０と、回転角推定部１５０と、画像回転部１６０とを備えている。即ち、第５実施形態に係る検出システム１０は、第１実施形態の構成要素（図２参照）に加えて、回転角推定部１５０及び画像回転部１６０を更に備えて構成されている。なお、回転角推定部１５０及び画像回転部１６０は、例えば上述したプロセッサ１１（図１参照）により実現することができる。

【0063】

回転角推定部１５０は、検出部１２０で検出された特徴点に基づいて、画像取得部１１０で取得された画像の回転角（即ち、傾き）を推定することが可能である。例えば、第２実施形態等で示したように、まぶたの特徴点が検出されている場合（図７等参照）、画像取得部１１０は、検出されたまぶたの傾きから画像の回転角を推定する。なお、回転角推定部１５０は、検出部１２０で検出された特徴点に加えて、特徴図形を考慮して画像の回転角を推定するようにしてもよい。例えば、第２実施形態等で示したように、まぶたの特徴点、及び虹彩又は瞳孔の特徴図形が検出されている場合（図７等参照）、画像取得部１１０は、検出されたまぶたと、虹彩及び瞳孔との位置関係から画像の回転角を推定するようにしてもよい。

【0064】

画像回転部１６０は、回転角推定部１５０で推定された回転角に基づいて、画像取得部１１０で取得された画像を回転可能に構成されている。即ち、画像回転部１６０は、推定された回転角に基づいて、画像の傾き補正を実行可能に構成されている。画像回転部１６０は、回転した画像を補正後の画像として記憶する機能を有していてもよい。

【0065】

（動作の流れ）
次に、図１２を参照しながら、第５実施形態に係る検出システム１０の動作の流れについて説明する。図１２は、第５実施形態に係る検出システムの動作の流れを示すフローチャートである。なお、図１２では、図３、図６及び図９で示した処理と同様の処理に同一の符号を付している。

【0066】

図１２に示すように、第５実施形態に係る検出システム１０が動作する際には、まず画像取得部１１０が画像を取得する（ステップＳ１０１）。その後、検出部１２０が、画像取得部１１０が取得した画像から第１部分に対応する特徴図形を検出する（ステップＳ１０２）。検出部１２０は更に、画像取得部１１０が取得した画像から第２部分に対応する特徴点を検出する（ステップＳ１０３）。

【0067】

続いて、回転角推定部１５０が、検出された特徴点に基づいて画像の回転角を推定する（ステップＳ４０１）。そして、画像回転部１６０が、推定された回転角に応じて画像を回転させる（ステップＳ４０２）。画像回転部１６０は特に、特徴図形として検出された略円の中心を回転軸として画像を回転させる。

【0068】

（具体的な動作例）
次に、図１３を参照しながら、第５実施形態に係る検出システム１０による具体的な動作例（即ち、画像を回転させる動作例）について説明する。図１３は、第５実施形態に係る検出システムによる具体的な動作例を示す図である。

【0069】

図１３に示すように、第５実施形態に係る検出システム１０では、まぶたの特徴点から画像の回転角を推定する。図に示す例では、画像が左側に（反時計回りに）傾いていることが分かる。なお、回転角の数値、例えば、予め設定した通常時の特徴点の位置と、今回検出された特徴点の位置とを比較することで算出することができる。ただし、特徴点に基づいた回転角の推定手法については、適宜既存の技術を採用することが可能である。

【0070】

続いて、画像回転部１６０は、推定された回転角だけ画像を回転させる。図に示す例では、画像回転部１６０は、画像を右側（時計回りに）回転させる。そして特に、画像回転部１６０は、特徴図形として検出されている虹彩又は瞳孔に対応する円の中心を回転軸として、画像を回転させる。なお、特徴図形が複数検出されている場合（例えば、両目の虹彩又は瞳孔が検出されている場合）、画像回転部１６０は、いずれか一方の特徴図形の中心を回転軸として、画像を回転させればよい。
（技術的効果）
次に、第５実施形態に係る検出システム１０によって得られる技術的効果について説明する。

【0071】

図１１から図１３で説明したように、第５実施形態に係る検出システム１０では、検出された特徴点に基づいて画像の回転角が推定され、特徴図形の中心を回転軸として画像が回転される。このようにすれば、画像取得部１１０で取得された画像が傾いている場合であっても、その傾きを適切に補正することができる。なお、回転後の画像は、例えば第３実施形態で説明した虹彩認証や、第４実施形態で説明した視線推定に用いることもできる。この場合、画像の回転によって傾きが補正されているため、虹彩認証や視線推定をより高い精度で実行することが可能となる。

【0072】

＜第６実施形態＞
第６実施形態に係る検出システム１０について、図１４から図２０を参照して説明する。なお、第６実施形態は、上述した各実施形態と一部の構成及び動作が異なるのみであり、例えばハードウェア構成については、第１実施形態（図１参照）と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

【0073】

（機能的構成）
まず、図１４を参照しながら、第６実施形態に係る検出システム１０の機能的構成について説明する。図１４は、第６実施形態に係る検出システムの機能的構成を示すブロック図である。なお、図１４では、図２、図５、図８及び図１１で示した構成要素と同様の要素に同一の符号を付している。

【0074】

図１４に示すように、第６実施形態に係る検出システム１０は、その機能を実現するための処理ブロックとして、或いは物理的な処理回路として、画像取得部１１０と、検出部１２０と、表示部１７０とを備えている。即ち、第６実施形態に係る検出システム１０は、第１実施形態の構成要素（図２参照）に加えて、表示部１７０を更に備えて構成されている。

【0075】

表示部１７０は、例えばディスプレイを有するモニタとして構成されている。表示部１７０は、図１に示す出力装置１６の一部として構成されてもよい。表示部１７０は、検出部１２０で検出される特徴図形および特徴点に関する情報を表示可能に構成されている。表示部１７０は、例えばシステムユーザーの操作等により、その表示態様を変更可能に構成されていてもよい。

【0076】

（動作の流れ）
次に、図１５を参照しながら、第６実施形態に係る検出システム１０の動作の流れについて説明する。図１５は、第７実施形態に係る検出システムの動作の流れを示すフローチャートである。なお、図１５では、図３、図６、図９及び図１２で示した処理と同様の処理に同一の符号を付している。

【0077】

図１５に示すように、第６実施形態に係る検出システム１０が動作する際には、まず画像取得部１１０が画像を取得する（ステップＳ１０１）。その後、検出部１２０が、画像取得部１１０が取得した画像から第１部分に対応する特徴図形を検出する（ステップＳ１０２）。検出部１２０は更に、画像取得部１１０が取得した画像から第２部分に対応する特徴点を検出する（ステップＳ１０３）。

【0078】

続いて、表示部１７０が、検出した特徴図形及び特徴点に関する情報を表示する（ステップＳ５０１）。表示部１７０は、特徴図形及び特徴点に直接関係する情報だけでなく、特徴図形及び特徴点から推定できる情報等を表示してもよい。

【0079】

（表示例）
次に、第６実施形態に係る検出システム１０の表示例について、図１６から図２０を参照して説明する。なお、以下で説明する各表示例については、適宜組み合わせて利用してもよい。

【0080】

（第１表示例）
図１６を参照しながら、第１表示例について説明する。図１６は、表示部における特徴点及び特徴図形の表示例を示す図（その１）である。

【0081】

図１６に示すように、表示部１７０は、画像に特徴図形及び特徴点を重ねて描画したものを表示してもよい。この場合、表示部１７０は、特徴図形のみ、或いは特徴点のみを表示するようにしてもよい。表示部１７０は、例えばユーザの操作により、特徴図形及び特徴点の描画あり／なしを切り替えるようにしてもよい。ユーザの操作がある場合、表示部１７０は、画像の下等に操作ボタン（即ち、表示を切り替えるボタン）を表示するようにしてもよい。

【0082】

表示部１７０は更に、特徴図形及び特徴点に加えて、特徴図形及び特徴点の位置を示す情報（例えば、特徴点の座標や、特徴図形の式等）を表示してもよい。また、表示部１７０は、特徴図形及び特徴点から特定できる領域（図の例では、まぶた領域、虹彩領域、及び瞳孔領域）の範囲が識別できるように、色を塗ったり、境界線を引いたりして表示してもよい。

【0083】

（第２表示例）
図１７を参照しながら、第２表示例について説明する。図１７は、表示部における特徴点及び特徴図形の表示例を示す図（その２）である。

【0084】

図１７に示すように、表示部１７０は、元画像（即ち、入力画像）と、検出結果（即ち、入力画像に特徴図形及び特徴点を描画した画像）とを並べて表示してもよい。この場合、表示部１７０は、例えばユーザの操作により、元画像又は検出結果のいずれか一方のみを表示するようにしてもよい。また、元画像及び検出結果の各々の表示態様を別々に変更できるようにしてもよい。

【0085】

（第３表示例）
図１８を参照しながら、第３表示例について説明する。図１８は、表示部における特徴点及び特徴図形の表示例を示す図（その３）である。なお、図１８の表示例は、第２実施形態（即ち、虹彩認証部１３０を備える構成）を想定したものである。

【0086】

図１８に示すように、表示部１７０は、虹彩認証用の登録画像と、今回の撮像画像（即ち、入力画像に特徴図形及び特徴点を描画した画像）とを並べて表示してもよい。この場合、表示部１７０は、例えばユーザの操作により、登録画像又は撮像画像のいずれか一方のみを表示するようにしてもよい。また、登録画像及び撮像画像の各々の表示態様を別々に変更できるようにしてもよい。

【0087】

（第４表示例）
図１９を参照しながら、第４表示例について説明する。図１９は、表示部における特徴点及び特徴図形の表示例を示す図（その４）である。なお、図１９の表示例は、第３及び第４実施形態（即ち、視線推定部１４０を備える構成）を想定したものである。

【0088】

図１９に示すように、表示部１７０は、画像に特徴図形及び特徴点を重ねて描画したものに加えて、視線方向の推定結果を表示するようにしてもよい。具体的には、表示部１７０は、図に示すような視線方向を示す矢印を表示してもよい。この場合、視線の正面からのずれが大きいほど、矢印を長く或いは大きく表示するようにしてもよい。

【0089】

（第５表示例）
図２０を参照しながら、第５表示例について説明する。図２０は、表示部における特徴点及び特徴図形の表示例を示す図（その５）である。なお、図２０の表示例は、第５実施形態（即ち、回転角推定部１５０及び画像回転部１６０を備える構成）を想定したものである。

【0090】

図２０に示すように、表示部１７０は、回転前の画像（即ち、傾きを補正する前の画像）と、回転後の画像（即ち、傾きを補正した後の画像）とを並べて表示してもよい。この場合、表示部１７０は、例えばユーザの操作により、回転前の画像又は回転後の画像のいずれか一方のみを表示するようにしてもよい。また、回転前の画像又は回転後の画像の各々の表示態様を別々に変更できるようにしてもよい。

【0091】

（技術的効果）
次に、第６実施形態に係る検出システム１０によって得られる技術的効果について説明する。

【0092】

図１４から図２０で説明したように、第６実施形態に係る検出システム１０では、検出した特徴図形および特徴点に関する情報が表示される。よって、特徴図形及び特徴点の検出結果や、特徴図形及び特徴点を用いた各種処理の結果をわかりやすくユーザに提示することができる。

【0093】

＜第７実施形態＞
第７実施形態に係る検出システム１０について、図２１及び図２２を参照して説明する。なお、第７実施形態は、上述した各実施形態と一部の構成及び動作が異なるのみであり、例えばハードウェア構成については、第１実施形態（図１参照）と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。

【0094】

（機能的構成）
まず、図２１を参照しながら、第７実施形態に係る検出システム１０の機能的構成について説明する。図２１は、第７実施形態に係る検出システムの機能的構成を示すブロック図である。なお、図２１では、図２、図５、図８、図１１及び図１４で示した構成要素と同様の要素に同一の符号を付している。

【0095】

図２１に示すように、第７実施形態に係る検出システム１０は、その機能を実現するための処理ブロックとして、或いは物理的な処理回路として、画像取得部１１０と、検出部１２０と、学習部１８０とを備えている。即ち、第７実施形態に係る検出システム１０は、第１実施形態の構成要素（図２参照）に加えて、学習部１８０を更に備えて構成されている。

【0096】

学習部１８０は、特徴図形及び特徴点を検出するためのモデル（例えば、ニューラルネットワークのモデル）を学習可能に構成されている。学習部１８０による学習を実行する場合、画像取得部１１０は、訓練データである画像を取得する。そして、学習部１８０は、検出部１２０が訓練データから検出した特徴図形及び特徴点を用いて学習を実行する。即ち、学習部１８０は、検出された特徴図形及び特徴点を複合ターゲットとして学習を実行する。より具体的には、学習部１８０は、訓練データとして入力される特徴図形及び特徴点の正解データと、検出部１２０が検出した特徴図形及び特徴点とを比較して、学習を実行する。学習部１８０は、学習処理の一部をシステム外部で実行する（例えば、外部サーバーやクラウド等で実行する）ように構成されてもよい。

【0097】

なお、第７実施形態に係る検出システム１０は、入力される訓練データを拡張する機能を備えていてもよい。例えば、画像取得部１１０において、輝度変化、縦横シフト、拡大縮小、回転等のデータ拡張を行ってもよい。

【0098】

（動作の流れ）
次に、図２２を参照しながら、第７実施形態に係る検出システム１０の動作の流れについて説明する。図２２は、第７実施形態に係る検出システムの動作の流れを示すフローチャートである。なお、図２２では、図３、図６、図９、図１２及び図１５で示した処理と同様の処理に同一の符号を付している。

【0099】

図２２に示すように、第７実施形態に係る検出システム１０が動作する際には、まず画像取得部１１０が画像を取得する（ステップＳ１０１）。その後、検出部１２０が、画像取得部１１０が取得した画像から第１部分に対応する特徴図形を検出する（ステップＳ１０２）。検出部１２０は更に、画像取得部１１０が取得した画像から第２部分に対応する特徴点を検出する（ステップＳ１０３）。

【0100】

続いて、学習部１８０が、検出した特徴図形及び特徴点から誤差関数を計算する（ステップＳ６０１）。具体的には、学習部１８０は、検出した特徴図形及び特徴点を示すベクトルと、訓練データ（即ち、正解データ）の特徴図形及び特徴点を示すベクトルとの距離を計算することで両者の誤差を計算する。誤差の計算手法としては、例えばＬ１ノルムやＬ２ノルムを利用できるが、他の手法を用いてもよい。

【0101】

続いて、学習部１８０は、誤差に基づいて誤差逆伝播を行い、検出モデルのパラメータの勾配を計算する（ステップＳ６０２）。その後、学習部１８０は、計算した勾配に基づいて検出モデルのパラメータを更新（最適化）する（ステップＳ６０３）。最適化の手法としては、例えばＳＤＧ（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）やＡｄａｍ等の手法を用いることができるが、他の手法を用いて最適化してもよい。学習部１８０は、パラメータを最適化する際に、Ｗｅｉｇｈｔ Ｄｅｃａｙ（重み減衰）等の正則化を行ってもよい。また、検出モデルがニューラルネットワークである場合、ｄｒｏｐｏｕｔやｂａｔｃｈｎｏｒｍ等の正則化を行うレイヤを含んでいてもよい。

【0102】

なお、上述した一連の学習処理（即ち、ステップＳ６０１～Ｓ６０３）はあくまで一例であり、特徴図形及び特徴点を複合ターゲットとして利用できるのであれば、他の手法を用いて学習を実行してもよい。

【0103】

最後に、学習部１８０は、学習が終了したか否かを判定する（ステップＳ６０４）。学習部１８０は、例えばここまでの処理が所定回数ループしたか否かによって、学習が終了したか否かを判定する。学習が終了したと判定された場合（ステップＳ６０４：ＹＥＳ）、一連の処理は終了する。一方、学習が終了していないと判定された場合（ステップＳ６０４：ＮＯ）、ステップＳ１０１から処理が繰り返される。

【0104】

（技術的効果）
次に、第７実施形態に係る検出システム１０によって得られる技術的効果について説明する。

【0105】

図２１及び図２２で説明したように、第７実施形態に係る検出システム１０では、特徴図形及び特徴点を複合ターゲットとして学習が実行される。よって、特徴図形及び特徴点の検出モデルを最適化し、より適切な検出を実現することが可能となる。

【0106】

＜変形例＞
ここで、上述した第７実施形態の変形例について説明する。なお、変形例は、すでに説明した第７実施形態と概ね同様の構成及び動作であるため、以下では、第７実施形態と異なる部分について詳細に説明し、他の部分については適宜説明を省略するものとする。

【0107】

変形例に係る検出システム１０では、学習部１８０が、特徴図形と特徴点との相対的な位置関係の分布に関する情報を用いて、学習処理を実行する。例えば、学習部１８０は、特徴図形として検出される虹彩の位置と、特徴点として検出されるまぶたの位置との分布を用いて、特徴図形及び特徴点を検出するためのモデルを学習する。

【0108】

ここで仮に、特徴図形と特徴点との相対的な位置関係を用いた学習を行わない場合、虹彩及びまぶたの各々が独立して検出されることになる（即ち、相対的な位置関係が考慮されない）ため、虹彩でない部分を虹彩として検出してしまったり、まぶたでない部分をまぶたとして検出してしまったりする可能性がある。

【0109】

しかるに変形例に係る検出システム１０によれば、特徴図形と特徴点との相対的な位置関係を考慮して学習が実行されるため、特徴図形及び特徴点の検出モデルをより適切に最適化することが可能となる。

【0110】

＜付記＞
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。

【0111】

（付記１）
付記１に記載の検出システムは、生体を含む画像を取得する取得手段と、前記画像から前記生体における略円形の第１部分に対応する特徴図形を検出すると共に、前記生体における前記第１部分周辺の第２部分に対応する特徴点を検出する検出手段とを備えることを特徴とする検出システムである。

【0112】

（付記２）
付記２に記載の検出システムは、前記第１部分である虹彩及び瞳孔の少なくとも一方に対応する前記特徴図形と、前記第２部分であるまぶたに対応する前記特徴点とに基づいて、前記生体に対する虹彩認証処理を実行する虹彩認証手段を更に備えることを特徴とする付記１に記載の検出システムである。

【0113】

（付記３）
付記３に記載の検出システムは、前記第１部分である虹彩及び瞳孔の少なくとも一方に対応する前記特徴図形と、前記第２部分であるまぶたに対応する前記特徴点とに基づいて、前記生体の視線を推定する視線推定処理を実行する視線推定手段を更に備えることを特徴とする付記１又は２に記載の検出システムである。

【0114】

（付記４）
付記４に記載の検出システムは、前記視線推定手段は、前記虹彩及び瞳孔の少なくとも一方に対応する前記特徴図形と、前記まぶたに対応する前記特徴点との相対的な位置関係に基づいて、前記生体の視線を推定することを特徴とする付記３に記載の検出システムである。

【0115】

（付記５）
付記５に記載の検出システムは、前記第２部分であるまぶたに対応する前記特徴点を用いて、前記画像の回転角を推定する回転角推定手段と、前記第１部分である虹彩及び瞳孔の少なくとも一方に対応する前記特徴図形の中心を回転軸として、前記画像を前記回転角だけ回転する画像回転手段とを更に備えることを特徴とする付記１から４のいずれか一項に記載の検出システムである。

【0116】

（付記６）
付記６に記載の検出システムは、前記特徴点及び前記特徴図形の各々を識別可能な表示態様で表示する表示手段を更に備えることを特徴とする付記１から５のいずれか一項に記載の検出システムである。

【0117】

（付記７）
付記７に記載の検出システムは、訓練データである前記画像から検出した前記特徴点及び前記特徴図形を用いて、前記検出手段の学習処理を実行する学習手段を更に備えることを特徴とする付記１から６のいずれか一項に記載の検出システムである。

【0118】

（付記８）
付記８に記載の検出システムは、前記学習手段は、前記特徴図形と前記特徴点との相対的な位置関係に関する情報を用いて、前記学習処理を実行することを特徴とする付記６に記載の検出システムである。

【0119】

（付記９）
付記９に記載の検出方法は、生体を含む画像を取得し、前記画像から前記生体における略円形の第１部分に対応する特徴図形を検出すると共に、前記生体における前記第１部分周辺の第２部分に対応する特徴点を検出することを特徴とする検出方法である。

【0120】

（付記１０）
付記１０に記載のコンピュータプログラムは、生体を含む画像を取得し、前記画像から前記生体における略円形の第１部分に対応する特徴図形を検出すると共に、前記生体における前記第１部分周辺の第２部分に対応する特徴点を検出するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。

【0121】

（付記１１）
付記１１に記載の記録媒体は、付記１０に記載のコンピュータプログラムが記録されていることを特徴とする記録媒体である。

【0122】

この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う検出システム、検出方法、及びコンピュータプログラムもまたこの開示の技術思想に含まれる。

【符号の説明】

【0123】

１０ 検出システム
１１ プロセッサ
１１０ 画像取得部
１２０ 検出部
１３０ 虹彩認証部
１４０ 視線推定部
１５０ 回転角推定部
１６０ 画像回転部
１７０ 表示部
１８０ 学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】