知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法、及び記録媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20241008BHJP
G06T 7/70 20170101ALI20241008BHJP
G06V 10/74 20220101ALI20241008BHJP
【ＦＩ】
G06T7/00 660A
G06T7/00 350B
G06T7/70 A
G06V10/74
【請求項の数】
10
(21)【出願番号】P 2023538190
(86)(22)【出願日】2021-07-30
(86)【国際出願番号】 JP2021028434
(87)【国際公開番号】W WO2023007730
(87)【国際公開日】2023-02-02
【審査請求日】2024-01-25
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】荻野 有加
(72)【発明者】
【氏名】戸泉 貴裕
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２０１９－１９２１９２（ＪＰ，Ａ）
【文献】特開２０１９－２８８４３（ＪＰ，Ａ）
【文献】国際公開第２０２０／０７９７４１（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｖ １０／７４
(57)【特許請求の範囲】
【請求項1】
対象から両目を含む顔の画像である両目画像を取得する取得手段と、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する検出手段と、
を備える情報処理システム。
【請求項2】
前記片目画像の特徴量と前記対象の前記両目画像の特徴量とを用いて類似度マップを生成する生成手段を更に備え、前記検出手段は、前記類似度マップに基づいて前記対象の目の位置を検出する、
請求項１に記載の情報処理システム。
【請求項3】
前記生成手段は、右目を含む右目画像の特徴量と前記対象の前記両目画像の特徴量とを用いて右目用の前記類似度マップを生成すると共に、左目を含む左目画像の特徴量と前記対象の両目画像の特徴量とを用いて左目用の前記類似度マップを生成し、前記検出手段は、右目用の前記類似度マップに基づいて前記対象の右目の位置を検出し、左目用の前記類似度マップに基づいて前記対象の左目の位置を検出する、
請求項２に記載の情報処理システム。
【請求項4】
前記生成手段は、前記片目画像から抽出された特徴量を予め記憶しておき、該記憶した特徴量を用いて前記類似度マップを生成する、請求項２又は３に記載の情報処理システム。
【請求項5】
前記生成手段は、互いに目のサイズが揃った前記片目画像と前記両目画像とを用いて前記類似度マップを生成する、請求項２から４のいずれか一項に記載の情報処理システム。
【請求項6】
前記生成手段は、前記片目画像の特徴量と前記両目画像の特徴量の部分空間との類似度を示す前記類似度マップを生成する、請求項２から５のいずれか一項に記載の情報処理システム。
【請求項7】
前記検出手段で検出された目の位置を、前記類似度マップ上で強調表示する強調表示手段を更に備える、請求項２から６のいずれか一項に記載の情報処理システム。
【請求項8】
前記検出手段で検出された目の位置を、前記対象の前記両目画像に重畳して表示する重畳表示手段を更に備える、請求項１から７のいずれか一項に記載の情報処理システム。
【請求項9】
少なくとも１つのコンピュータが実行する情報処理方法であって、対象から両目を含む顔の画像である両目画像を取得し、
前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する、
情報処理方法。
【請求項10】
少なくとも１つのコンピュータに、対象から両目を含む顔の画像である両目画像を取得し、
前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する、
情報処理方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、情報処理システム、情報処理装置、情報処理方法、及び記録媒体の技術分野に関する。
【背景技術】
【0002】
この種のシステムとして、対象の画像から目に関する情報を取得するものが知られている。例えば特許文献１では、ユーザの全身を含む第１画像に基づいて、ユーザの目を撮影した第２画像に含まれる目が左右いずれのものであるかを判定する技術が開示されている。特許文献２では、所定範囲ごとに画像の特徴量を算出し、予め記録された虹彩の特徴量との類似度が所定の閾値以上の地点を虹彩の位置として検出する技術が開示されている。
【0003】
その他の関連する技術として、特許文献３では、生体情報から抽出した複数の特徴量の関係を示す類似度マップが開示されている。特許文献４では、生体の特徴量のコサイン類似度を計算して認証を行うことが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０２０／０７９７４１号
【文献】特開２０２０－１９４５９９号公報
【文献】特開２０１９－１２４９７４号公報
【文献】特開２０１７－１１７１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
この開示は、先行技術文献に開示された技術を改善することを目的とする。
【課題を解決するための手段】
【0006】
この開示の情報処理システムの一の態様は、対象から両目を含む顔の画像である両目画像を取得する取得手段と、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する検出手段と、を備える。
【0007】
この開示の情報処理装置の一の態様は、対象から両目を含む顔の画像である両目画像を取得する取得手段と、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する検出手段と、を備える。
【0008】
この開示の情報処理方法の一の態様は、少なくとも１つのコンピュータが実行する情報処理方法であって、対象から両目を含む顔の画像である両目画像を取得し、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する、情報処理方法。
【0009】
この開示の記録媒体の一の態様は、少なくとも１つのコンピュータに、対象から両目を含む顔の画像である両目画像を取得し、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する、情報処理方法を実行させるコンピュータプログラムが記録されている。
【図面の簡単な説明】
【0010】
【図1】第１実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。
【図2】第１実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図3】第１実施形態に係る情報処理システムの学習方法を示す概念図である。
【図4】第１実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。
【図5】第２実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図6】第２実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。
【図7】第３実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図8】第３実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。
【図9】第３実施形態に係る情報処理システムで生成される類似度マップの一例を示す平面図である。
【図10】第４実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図11】第５実施形態に係る情報処理システムが扱う片目画像及び両目画像の一例を示す平面図である。
【図12】第６実施形態に係る情報処理システムによる類似度マップの生成方法を示す概念図である。
【図13】第７実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図14】第７実施形態に係る情報システムによる類似度マップの強調表示の一例を示す平面図である。
【図15】第８実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図16】第８実施形態に係る情報システムによる両目画像への重畳表示の一例を示す平面図（その１）である。
【図17】第８実施形態に係る情報システムによる両目画像への重畳表示の一例を示す平面図（その２）である。
【図18】第９実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図19】第９実施形態に係る情報処理システムによる学習動作の流れを示すフローチャートである。
【図20】第１１実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図21】第１１実施形態に係る情報処理システムにおける顔画像を用いた目位置検出動作の流れを示すフローチャートである。
【図22】第１２実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図23】第１２実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、情報処理システム、情報処理装置、情報処理方法、及び記録媒体の実施形態について説明する。
【0012】
【0013】
（ハードウェア構成）
まず、図１を参照しながら、第１実施形態に係る情報処理システムのハードウェア構成について説明する。図１は、第１実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。
まず、図１を参照しながら、第１実施形態に係る情報処理システムのハードウェア構成について説明する。図１は、第１実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。
【0014】
図１に示すように、第１実施形態に係る情報処理システム１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。情報処理システム１０は更に、入力装置１５と、出力装置１６と、を備えていてもよい。また、情報法処理システム１０は、カメラ１８を備えていてもよい。上述したプロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６と、カメラ１８とは、データバス１７を介して接続されている。
【0015】
プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、情報処理システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、両目画像における対象の目の位置を検出するための機能ブロックが実現される。
【0016】
プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成されてよい。プロセッサ１１は、これらのうち一つで構成されてもよいし、複数を並列で用いるように構成されてもよい。
【0017】
ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）であってもよい。
【0018】
ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）であってもよい。
【0019】
記憶装置１４は、情報処理システム１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
【0020】
入力装置１５は、情報処理システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。入力装置１５は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。
【0021】
出力装置１６は、情報処理システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、情報処理システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。また、出力装置１６は、情報処理システム１０に関する情報を音声出力可能なスピーカ等であってもよい。出力装置１６は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。
【0022】
カメラ１８は、対象の画像（具体的には、対象の顔を含む画像）を撮像可能な箇所に設置されたカメラである。カメラ１８は、対象が有する端末（例えば、スマートフォン）に搭載されたカメラであってもよい。なお、ここでの対象は、人間だけに限られず、犬や蛇等の動物、ロボット等を含むものであってよい。カメラ１８は、静止画を撮像するカメラであってもよいし、動画を撮像するカメラであってもよい。カメラ１８は、可視光カメラとして構成されてもよいし、近赤外線カメラとして構成されてよい。カメラ１８は、複数備えられていてもよい。この場合、複数のカメラ１８は、異なる種類のカメラであってよい。例えば、可視光カメラと近赤外線カメラとが別々に備えられてよい。
【0023】
なお、図１では、複数の装置を含んで構成される情報処理システム１０の例を挙げたが、これらの全部又は一部の機能を、１つの装置（情報処理装置）で実現してもよい。この情報処理装置は、例えば、上述したプロセッサ１１、ＲＡＭ１２、ＲＯＭ１３のみを備えて構成され、その他の構成要素（即ち、記憶装置１４、入力装置１５、出力装置１６、カメラ１８）については、例えば情報処理装置に接続される外部の装置が備えるようにしてもよい。また、情報処理装置は、一部の演算機能を外部の装置（例えば、外部サーバやクラウド等）によって実現するものであってもよい。
【0024】
【0025】
図２に示すように、第１実施形態に係る情報処理システム１０は、その機能を実現するための構成要素として、両目画像取得部１１０と、目位置検出部１２０と、を備えて構成されている。両目画像取得部１１０及び目位置検出部１２０の各々は、例えば上述したプロセッサ１１（図１参照）によって実現される処理ブロックであってよい。また、両目画像取得部１１０は、上述したカメラ１８を用いて画像を取得するものであってよい。
【0026】
両目画像取得部１１０は、対象から両目を含む両目画像を取得可能に構成されている。両目画像は、顔全体を含む画像であってもよいし、顔の一部を含む画像であってもよい。両目画像が顔の一部を含む画像である場合、両目画像取得部１１０は、顔全体を含む画像の一部を切り出すことで、両目画像を取得してもよい。両目画像取得部１１０は、取得した両目画像のサイズを変更する機能を有していてもよい。例えば、両目画像取得部１１０は、両目画像の拡大処理や縮小処理を実行可能に構成されてよい。両目画像取得部１１０で取得された両目画像は、目位置検出部１２０に出力される構成となっている。
【0027】
目位置検出部１２０は、両目画像取得部１１０で取得された両目画像における対象の目の位置を検出可能に構成されている。目位置検出部１２０は、例えば両目（即ち、右目及び左目）の位置をそれぞれ検出してもよいし、いずれか一方の目の位置のみを検出してもよい。目位置検出部１２０は、検出した目位置に関する情報を出力する機能を有していてもよい。
【0028】
目位置検出部１２０は特に、事前に実行されている学習結果に基づいて目位置を検出可能に構成されている。以下では、図３を参照して、目位置検出部１２０の学習方法について説明する。図３は、第１実施形態に係る情報処理システムの学習方法を示す概念図である。
【0029】
図３に示すように、目位置検出部１２０は、片目画像（即ち、いずれか一方の目のみを含む画像）と、両目画像（即ち、両目を含む画像）と、を用いて学習される。目位置検出部１２０は、複数枚の片目画像及び両目画像を用いて学習されてよい。目位置検出部１２０は、片目画像及び両目画像を用いた機械学習によって生成されたモデル（即ち、目の位置を検出する検出モデル）を用いて、目の位置を検出可能に構成されてよい。目位置検出部１２０のより具体的な学習方法については、後述する他の実施形態で詳しく説明する。
【0030】
（動作の流れ）
次に、図４を参照しながら、第１実施形態に係る情報処理システム１０による動作の流れについて説明する。図４は、第１実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。
次に、図４を参照しながら、第１実施形態に係る情報処理システム１０による動作の流れについて説明する。図４は、第１実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。
【0031】
図４に示すように、第１実施形態に係る情報処理システム１０が動作する際には、まず両目画像取得部１１０が、対象から両目画像を取得する（ステップＳ１０１）。両目画像は、例えば対象がカメラ１８の前で立ち止まった状態で取得されてもよいし、歩いている対象がカメラ１８の合焦位置に到達したタイミングで取得されてもよい。両目画像取得部１１０は、同一の対象から両目画像を複数枚取得してもよい。
【0032】
続いて、目位置検出部１２０が、両目画像取得部１１０で取得された両目画像における対象の目位置を検出する（ステップＳ１０２）。目位置検出部１２０は、すでに説明したように、片目画像及び両目画像の両方を用いた学習結果に基づいて、対象の目位置を検出する。
【0033】
その後、目位置検出部１２０は、検出結果（即ち、検出した目位置に関する情報）を出力する（ステップＳ１０３）。検出結果の利用方法については特に限定されないが、例えば虹彩認証に利用されてよい。具体的には、例えば、目位置に関する情報を用いて目領域の切り出しを行い、切り出した目領域から高精度の虹彩座標検出を行い、検出した座標の虹彩を用いて認証処理を行ってよい。
【0034】
（技術的効果）
次に、第１実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第１実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0035】
図１から図４で説明したように、第１実施形態に係る情報処理システム１０では、両目画像における対象の目の位置が、片目画像及び両目画像を用いた学習結果に基づいて検出される。このようにすれば、両目画像に含まれる対象の目の位置を高い精度で検出することができる。本実施形態では特に、両目を含んだ画像が対象であるため、もともと片目しか含まない画像から目の位置を検出する技術もそのまま適用することができない。しかるに本実施形態では、片目画像及び両目画像の両方を用いた学習結果を利用するため、両目画像から適切に目の位置を検出することが可能である。なお、両目画像が顔の一部を含む画像である場合、例えば顔全体の画像から目を検出する技術（例えば、顔のパーツを用いたキーポイント検出）をそのまま適用することができない。このような場合でも、本実施形態では、片目画像及び両目画像の両方を用いた学習結果に基づき、適切に目の位置を検出することが可能である。
【0036】
なお、第１実施形態に係る情報処理システム１０の検出結果を虹彩認証に利用する場合、目の位置を検出する精度が上がることで、認証処理のスループット向上や認証成功率の向上を図ることができる。
【0037】
＜第２実施形態＞
第２実施形態に係る情報処理システム１０について、図５及び図６を参照して説明する。なお、第２実施形態は、上述した第１実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１実施形態と同一であってよい。このため、以下では、すでに説明した第１実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第２実施形態に係る情報処理システム１０について、図５及び図６を参照して説明する。なお、第２実施形態は、上述した第１実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１実施形態と同一であってよい。このため、以下では、すでに説明した第１実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0038】
（機能的構成）
まず、図５を参照しながら、第２実施形態に係る情報処理システム１０の機能的構成について説明する。図５は、第２実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図５では、図２で示した構成要素と同様の要素に同一の符号を付している。
まず、図５を参照しながら、第２実施形態に係る情報処理システム１０の機能的構成について説明する。図５は、第２実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図５では、図２で示した構成要素と同様の要素に同一の符号を付している。
【0039】
図５に示すように、第２実施形態に係る情報処理システム１０は、その機能を実現するための構成要素として、両目画像取得部１１０と、片目画像取得部１１５と、両目特徴量抽出部１３０と、片目特徴量抽出部１３５と、類似度マップ生成部１４０と、目位置検出部１２０と、を備えて構成されている。即ち、第２実施形態に係る情報処理システムは、第１実施形態の構成（図２参照）に加えて、両目特徴量抽出部１３０と、片目画像取得部１１５と、片目特徴量抽出部１３５と、類似度マップ生成部１４０と、を更に備えて構成されている。なお、両目特徴量抽出部１３０、片目画像取得部１１５、片目特徴量抽出部１３５、及び類似度マップ生成部１４０の各々は、例えば上述したプロセッサ１１（図１参照）によって実現される処理ブロックであってよい。
【0040】
両目特徴量抽出部１３０は、両目画像取得部１１０で取得された両目画像から特徴量（以下、適宜「両目特徴量」と称する）を抽出可能に構成されている。両目特徴量の抽出手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。両目特徴量は、両目画像のサイズ比率を保つように抽出されてよい。例えば、９６×２５６サイズの画像から、チャネル数の次元を含む８×３２×１２８サイズの特徴量が抽出されてよい。なお、両目特徴抽出部１３０は、片目画像及び両目画像を用いた学習結果に基づいて特徴量を抽出してもよい。即ち、第２実施形態では、目位置検出部１２０に代えて両目特徴量抽出部１３０が学習されていてもよい。この場合、両目特徴量抽出部１３０は、例えばＲｅｓＮｅｔ、ＶＧＧＮｅｔ、ＧｏｏｇｌｅＮｅｔ、ＲｅｓＮｅｘｔ、ＳＥＮｅｔ、及びＥｆｆｉｃｉｅｎｔＮｅｔに代表されるCNN(Convolutional Neural Network)等によって構成される特徴量抽出器であってよい。両目特徴量抽出部１３０で抽出された両目特徴量は、類似度マップ生成部１４０に出力される構成となっている。
【0041】
片目画像取得部１１５は、いずれか一方の目のみを含む片目画像を取得可能に構成されている。なお、ここでの片目画像は、後述する類似度マップを生成する際の基準として予め用意されている片目画像（以下、適宜「基準片目画像」と称する）である。このため、片目画像は、両目画像と同一の対象の目を含む画像でなくともよい。基準片目画像は、ユーザを撮像することで取得される画像であってよい。また、基準片目画像は、画像処理等によって生成された画像であってもよい。例えば基準片目画像は、複数のユーザの片目画像を平均した平均画像であってよい。片目画像取得部１１５で取得された基準片目画像は、片目特徴量抽出部１３５に出力される構成となっている。
【0042】
片目特徴量抽出部１３５は、片目画像取得部１１５で取得された基準片目画像から特徴量（以下、適宜「片目特徴量」と称する）を抽出可能に構成されている。片目特徴量は、基準片目画像のサイズ比率を保つように抽出されてよい。片目特徴量抽出部１３５は、片目画像及び両目画像を用いた学習結果に基づいて特徴量を抽出してもよい。即ち、片目特徴量抽出部１３５は、上述した両目特徴量抽出部１３０と同様に学習されたものであってよい。この場合、片目特徴量抽出部１３５は、例えばＲｅｓＮｅｔ、ＶＧＧＮｅｔ、ＧｏｏｇｌｅＮｅｔ、ＲｅｓＮｅｘｔ、ＳＥＮｅｔ、及びＥｆｆｉｃｉｅｎｔＮｅｔに代表されるCNN(Convolutional Neural Network)等によって構成される特徴量抽出器であってよい。なお、片目特徴量抽出部１３５は、上述した両目特徴量抽出部１３０と同一のものを用いてもよい。即ち、両目画像から両目特徴量を抽出し、基準片目画像から片目特徴量を抽出する１つの特徴量抽出部として構成されてもよい。片目特徴量抽出部１３５で抽出された片目特徴量は、類似度マップ生成部１４０に出力される構成となっている。
【0043】
類似度マップ生成部１４０は、両目特徴量抽出部１３０で抽出された両目特徴量と、片目特徴量抽出部１３５で抽出された片目特徴量と、の類似度を示す類似度マップを生成可能に構成されている。類似度マップは、類似度に関する位置関係を示す情報である。類似度マップは、例えば目の位置に対応する部分の値が高く、目の位置ではない部分の値が低いマップとして生成される。類似度マップの具体例については、後述する他の実施形態で説明する。類似度マップ生成部１４０で生成された類似度マップは、目位置検出部１２０に出力される構成となっている。そして特に、第２実施形態に係る目位置検出部１２０は、類似度マップ生成部１４０によって生成された類似度マップに基づいて、対象の目位置を検出可能に構成されている。
【0044】
（動作の流れ）
次に、図６を参照しながら、第２実施形態に係る情報処理システム１０による動作の流れについて説明する。図６は、第２実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。なお、図６では、図４で説明した処理と同様の処理に同一の符号を付している。
次に、図６を参照しながら、第２実施形態に係る情報処理システム１０による動作の流れについて説明する。図６は、第２実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。なお、図６では、図４で説明した処理と同様の処理に同一の符号を付している。
【0045】
図６に示すように、第２実施形態に係る情報処理システム１０が動作する際には、まず片目画像取得部１１５が基準片目画像を取得し、両目画像取得部１１０が両目画像を取得する（ステップＳ２０１）。その後、片目特徴量抽出部１３５が基準片目画像から片目特徴量を抽出し、両目特徴量抽出部１３０が両目画像から両目特徴量を抽出する（ステップＳ２０２）。なお、ここでは、基準片目画像及び両目画像に対する処理を並行して行う例を挙げているが、基準片目画像に対する処理と、両目画像に対する処理は、順次別々に実行されてもよい。
【0046】
続いて、類似度マップ生成部１４０が、片目特徴量抽出部１３５で抽出された片目特徴量と、両目特徴量抽出部１３０で抽出された両目特徴量と、に基づいて類似度マップを生成する（ステップＳ２０３）。その後、目位置検出部１２０は、類似度マップ生成部１４０で生成された類似度マップに基づいて対象の目位置を検出する（ステップＳ１０２）。なお、類似度マップのサイズと両目画像のサイズとが異なる場合（例えば、類似マップを生成する過程でサイズが縮小されている場合）には、類似度マップのサイズを変更する処理を行うようにしてもよい。そして、目位置検出部１２０は、検出結果（即ち、検出した目位置に関する情報）を出力する（ステップＳ１０３）。
【0047】
（技術的効果）
次に、第２実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第２実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0048】
図５及び図６で説明したように、第２実施形態に係る情報処理システム１０では、片目特徴量と両目特徴量とから生成された類似度マップに基づいて、両目画像における対象の目位置が検出される。このようにすれば、類似度マップを用いない場合と比べて、高速且つ高精度で目位置を検出することが可能となる。
【0049】
＜第３実施形態＞
第３実施形態に係る情報処理システム１０について、図７から図９を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と一部の構成や動作が異なるものであり、その他の部分については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第３実施形態に係る情報処理システム１０について、図７から図９を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と一部の構成や動作が異なるものであり、その他の部分については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0050】
（機能的構成）
まず、図７を参照しながら、第３実施形態に係る情報処理システム１０の機能的構成について説明する。図７は、第３実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図７では、図２及び図５で示した構成要素と同様の要素に同一の符号を付している。
まず、図７を参照しながら、第３実施形態に係る情報処理システム１０の機能的構成について説明する。図７は、第３実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図７では、図２及び図５で示した構成要素と同様の要素に同一の符号を付している。
【0051】
図７に示すように、第３実施形態に係る情報処理システム１０は、その機能を実現するための構成要素として、両目画像取得部１１０と、両目特徴量抽出部１３０と、右目画像取得部１１６と、右目特徴量抽出部１３６と、左目画像取得部１１７と、左目特徴量抽出部１３７と、右目類似度マップ生成部１４１と、左目類似度マップ生成部１４２と、右目位置検出部１２１と、左目位置検出部１２２と、を備えて構成されている。即ち、第３実施形態に係る情報処理システム１０は、第２実施形態の構成要素（図５参照）を、右目用と左目用とで別々に備えている。
【0052】
右目画像取得部１１６及び左目画像取得部１１７は、第２実施形態の片目画像取得部１１５と同様の機能を有している。具体的には、右目画像取得部１１６は、基準片目画像として右目を含む右目画像を取得可能に構成されている。左目画像取得部１１７は、基準片目画像として左目を含む左目画像を取得可能に構成されている。
【0053】
右目特徴量抽出部１３６及び左目特徴量抽出部１３７は、第２実施形態の片目特徴量抽出部１３５と同様の機能を有している。具体的には、右目特徴量抽出部１３６は、右目画像取得部１１６で取得された右目画像から、右目特徴量を抽出可能に構成されている。左目特徴量抽出部１３７は、左目画像取得部１１７で取得された左目画像から、左目特徴量を抽出可能に構成されている。
【0054】
右目類似度マップ生成部１４１及び左目類似度マップ生成部１４２は、第２実施形態の類似度マップ生成部１４０と同様の機能を有している。具体的には、右目類似度マップ生成部１４１は、右目特徴量抽出１３６で抽出された右目特徴量と、両目特徴量抽出部１３０で抽出された両目特徴量と、に基づいて右目類似度マップを生成可能に構成されている。左目類似度マップ生成部１４２は、左目特徴量抽出１３７で抽出された左目特徴量と、両目特徴量抽出部１３０で抽出された両目特徴量と、に基づいて左目類似度マップを生成可能に構成されている。
【0055】
右目位置検出部１２１及び左目位置検出部１２２は、第２実施形態の目位置検出部１２０と同様の機能を有している。具体的には、右目位置検出部１２１は、右目類似度マップ生成部１４１で生成された右目類似度マップに基づいて、両目画像における対象の右目の位置を検出可能に構成されている。左目位置検出部１２２は、左目類似度マップ生成部１４２で生成された左目類似度マップに基づいて、両目画像における対象の左目の位置を検出可能に構成されている。
【0056】
（動作の流れ）
次に、図８を参照しながら、第３実施形態に係る情報処理システム１０による動作の流れについて説明する。図８は、第３実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。
次に、図８を参照しながら、第３実施形態に係る情報処理システム１０による動作の流れについて説明する。図８は、第３実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。
【0057】
図８に示すように、第３実施形態に係る情報処理システム１０が動作する際には、まず右目画像取得部１１６及び左目画像取得部１１７が右目画像及び左目画像を取得し、両目画像取得部１１０が両目画像を取得する（ステップＳ３０１）。なお、右目画像取得部１１６及び左目画像取得部１１７は、同じ画像（１枚の基準片目画像）を反転させたものを、それぞれ右目画像及び左目画像として取得してもよい。
【0058】
続いて、右目特徴量抽出部１３６及び左目特徴量抽出部１３７が右目画像及び左目画像から右目特徴量及び左目特徴量を抽出し、両目特徴量抽出部１３０が両目画像から両目特徴量を抽出する（ステップＳ３０２）。なお、ここでは、右目画像、左目画像及び両目画像に対する処理を並行して行う例を挙げているが、片目画像に対する処理と、両目画像に対する処理は、順次別々に実行されてもよい。
【0059】
続いて、右目類似度マップ生成部１４１が、右目特徴量と両目特徴量とに基づいて右目類似度マップを生成し、左目類似度マップ生成部１４２が、左目特徴量と両目特徴量とに基づいて左目類似度マップを生成する（ステップＳ３０３）。その後、右目位置検出部１２１が、右目類似度マップに基づいて対象の右目位置を検出し、左目位置検出部１２２が、左目類似度マップに基づいて対象の左目位置を検出する（ステップＳ３０４）。そして、右目位置検出部１２１及び左目位置検出部１２２は、検出結果（即ち、検出した右目及び左目の位置に関する情報）を出力する（ステップＳ３０５）。
【0060】
（類似度マップ）
次に、図９を参照しながら、第３実施形態に係る情報処理システム１０で生成される類似度マップについて具体的に説明する。図９は、第３実施形態に係る情報処理システムで生成される類似度マップの一例を示す平面図である。
次に、図９を参照しながら、第３実施形態に係る情報処理システム１０で生成される類似度マップについて具体的に説明する。図９は、第３実施形態に係る情報処理システムで生成される類似度マップの一例を示す平面図である。
【0061】
図９に示すように、類似度マップは、類似度の高さに応じて表示態様が異なるものとして生成される。例えば、右目類似度マップは、右目画像と両目画像との類似度が高い部分ほど濃く表示される。また、左目類似度マップは、左目画像と両目画像との類似度が高い部分ほど濃く表示される。
【0062】
（技術的効果）
次に、第３実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第３実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0063】
図７から図９で説明したように、第３実施形態に係る情報処理システム１０では、右目画像を用いて生成される右目類似度マップに基づいて右目の位置が検出され、左目画像を用いて生成される左目類似度マップに基づいて左目の位置が検出される。このようにすれば、右目の位置と左目の位置とを、それぞれ高い精度で検出することが可能である。
【0064】
＜第４実施形態＞
第４実施形態に係る情報処理システム１０について、図１０を参照して説明する。なお、第４実施形態は、上述した第２実施形態と一部の構成及び動作が異なるのみであり、その他の部分については上述した第１から第３実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第４実施形態に係る情報処理システム１０について、図１０を参照して説明する。なお、第４実施形態は、上述した第２実施形態と一部の構成及び動作が異なるのみであり、その他の部分については上述した第１から第３実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0065】
（機能的構成）
まず、図１０を参照しながら、第４実施形態に係る情報処理システム１０の機能的構成について説明する。図１０は、第４実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１０では、図５で示した構成要素と同様の要素に同一の符号を付している。
まず、図１０を参照しながら、第４実施形態に係る情報処理システム１０の機能的構成について説明する。図１０は、第４実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１０では、図５で示した構成要素と同様の要素に同一の符号を付している。
【0066】
図１０に示すように、第４実施形態に係る情報処理システム１０は、その機能を実現するための構成要素として、両目画像取得部１１０と、目位置検出部１２０と、特徴量抽出部１３０と、類似度マップ生成部１４０と、特徴量記憶部１５０と、を備えている。即ち、第４実施形態に係る情報処理システム１０は、第２実施形態（図５参照）における片目画像取得部１１５及び片目特徴量抽出部１３５に代えて、特徴量記憶部１５０を備えて構成されている。特徴量記憶部１５０は、例えば上述した記憶装置１４等によって実現されてよい。
【0067】
特徴量記憶部１５０は、基準片目画像から抽出される片目特徴量を記憶可能に構成されている。特徴量記憶部１５０に記憶された片目特徴量は、類似度マップ１４０が類似度マップを生成するために適宜読み出し可能に構成されている。即ち、特徴量記憶部１５０に記憶された片目特徴量は、両目特徴量抽出部１３０で抽出された両目特徴量との類似度を算出するために用いられる。
【0068】
（技術的効果）
次に、第４実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第４実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0069】
図１０で説明したように、第４実施形態に係る情報処理システム１０では、基準片目画像に対応する片目特徴量が予め記憶されている。このようにすれば、基準片目画像を取得して片目特徴量を抽出する手間が省けるため、より効率的に類似度マップが生成することができる。
【0070】
＜第５実施形態＞
第５実施形態に係る情報処理システム１０について、図１１を参照して説明する。なお、第５実施形態は、画像のサイズに関する条件を説明するものであり、システムの構成や動作については上述した第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第５実施形態に係る情報処理システム１０について、図１１を参照して説明する。なお、第５実施形態は、画像のサイズに関する条件を説明するものであり、システムの構成や動作については上述した第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0071】
（画像サイズ）
まず、図１１を参照しながら、第５実施形態に係る情報処理システム１０が扱う画像のサイズについて説明する。図１１は、第５実施形態に係る情報処理システムが扱う片目画像及び両目画像の一例を示す平面図である。
まず、図１１を参照しながら、第５実施形態に係る情報処理システム１０が扱う画像のサイズについて説明する。図１１は、第５実施形態に係る情報処理システムが扱う片目画像及び両目画像の一例を示す平面図である。
【0072】
図１１に示すように、第５実施形態に係る情報処理システム１０では、基準片目画像における目のサイズと、両目画像における目のサイズとが互いに揃っている。目のサイズは、例えば虹彩径を基準としてよい。例えば、基準片目画像の虹彩サイズが１０ピクセル程度の場合、両目画像の虹彩サイズも１０ピクセル程度になるようにすればよい。目のサイズは、例えば両目画像を撮像するカメラ１８の仕様に応じて設定されてよい。具体的には、カメラ１８で撮像される両目画像のサイズに合わせて、基準片目画像のサイズを決定すればよい。或いは、基準片目画像のサイズと両目画像のサイズとが揃うように、両目画像を撮像するカメラ１８の配置位置等を決定してもよい。もしくは、入力する両目画像を基準片目画像の虹彩サイズに合わせて拡大/縮小してもよい。
【0073】
（技術的効果）
次に、第５実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第５実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0074】
図１１で説明したように、第５実施形態に係る情報処理システム１０では、基準片目画像と両目画像とで目のサイズが揃うように設定されている。このようにすれば、画像サイズが揃っていない場合と比べて、基準片目画像及び両目画像の類似度マップを適切に生成することができるため、より高い精度で対象の目の位置を検出することが可能となる。
【0075】
＜第６実施形態＞
第６実施形態に係る情報処理システム１０について、図１２を参照して説明する。なお、第６実施形態は、類似度マップの生成方法の具体例を示すものであり、システムの構成や動作については上述した第１から第５実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第６実施形態に係る情報処理システム１０について、図１２を参照して説明する。なお、第６実施形態は、類似度マップの生成方法の具体例を示すものであり、システムの構成や動作については上述した第１から第５実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0076】
（類似度マップの生成方法）
まず、図１２を参照しながら、第６実施形態に係る情報処理システム１０による類似度マップの生成方法について説明する。図１２は、第６実施形態に係る情報処理システムによる類似度マップの生成方法を示す概念図である。
まず、図１２を参照しながら、第６実施形態に係る情報処理システム１０による類似度マップの生成方法について説明する。図１２は、第６実施形態に係る情報処理システムによる類似度マップの生成方法を示す概念図である。
【0077】
図１２に示すように、第６実施形態に係る情報処理システム１０は、片目特徴量と、両目特徴量の部分空間との類似度を計算することで類似度マップを生成する。なお、ここでの片目特徴量ｆｒｅｆと、両目特徴量をｆｓｒｃｈと、は下記式（１）のようにそれぞれ三次元方向のデータサイズを持っているとする。なお、目特徴量ｆｒｅｆと、両目特徴量をｆｓｒｃｈと、は、チャンネル数Ｃが共通している。
【0078】
【数1】
【0079】
片目特徴量ｆｒｅｆと、両目特徴量をｆｓｒｃｈとの類似度は、例えばコサイン類似度として計算されてよい。具体的には、類似度マップＭａｐ［u］（uはマップの空間位置）は、下記式（２）のように算出されてよい。
【0080】
【数2】
【0081】
（技術的効果）
次に、第６実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第６実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0082】
図１２で説明したように、第６実施形態に係る情報処理システム１０では、片目特徴量と、両目特徴量の部分空間との類似度を示す類似度マップが生成される。このようにすれば、類似度マップをより適切に生成することが可能となる。
【0083】
＜第７実施形態＞
第７実施形態に係る情報処理システム１０について、図１３及び図１４を参照して説明する。なお、第７実施形態は、上述した第２実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１から第６実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第７実施形態に係る情報処理システム１０について、図１３及び図１４を参照して説明する。なお、第７実施形態は、上述した第２実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１から第６実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0084】
（機能的構成）
まず、図１３を参照しながら、第７実施形態に係る情報処理システム１０の機能的構成について説明する。図１３は、第７実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１３では、図５で示した構成要素と同様の要素に同一の符号を付している。
まず、図１３を参照しながら、第７実施形態に係る情報処理システム１０の機能的構成について説明する。図１３は、第７実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１３では、図５で示した構成要素と同様の要素に同一の符号を付している。
【0085】
図１３に示すように、第７実施形態に係る情報処理システム１０は、その機能を実現するための構成要素として、両目画像取得部１１０と、片目画像取得部１１５と、両目特徴量抽出部１３０と、片目特徴量抽出部１３５と、類似度マップ生成部１４０と、目位置検出部１２０と、表示部１６０と、を備えて構成されている。即ち、第７実施形態に係る情報処理システムは、第２実施形態の構成（図５参照）に加えて、表示部１６０を備えて構成されている。表示部１６０は、例えば上述した出力装置１６（図１参照）によって実現されてよい。
【0086】
表示部１６０は、画像を表示可能なディスプレイを備えており、少なくとも類似度マップ生成部１４０で生成された類似度マップを表示可能に構成されている。そして、第７実施形態に係る表示部１６０は特に、強調表示部１６１を備えている。強調表示部１６１は、目位置検出部１３０で検出された目の位置を、表示部１６０で表示されている類似度マップ上で強調表示可能に構成されている。
【0087】
（強調表示）
次に、図１４を参照しながら、第７実施形態に係る情報処理システム１０による類似度マップの強調表示について具体的に説明する。図１４は、第７実施形態に係る情報システムによる類似度マップの強調表示の一例を示す平面図である。
次に、図１４を参照しながら、第７実施形態に係る情報処理システム１０による類似度マップの強調表示について具体的に説明する。図１４は、第７実施形態に係る情報システムによる類似度マップの強調表示の一例を示す平面図である。
【0088】
図１４に示すように、第７実施形態に係る情報処理システム１０では、表示部１６０で表示されている類似度マップにおける目の位置と検出された箇所が、強調表示部１６１によって強調表示される。なお、強調表示の態様は特に限定されないが、例えば目の位置に対応する箇所が目立つ色で表示されてよい（図１４の例では、目の位置に対応する箇所が白く表示されている）。或いは、目の位置に対応する箇所が点滅するようにしてもよい。或いは、目の位置に対応する箇所にマークやメッセージ等が表示されてもよい。このような強調表示は、例えばシステムを運用する際に行われてもよいし、システムの初期設定をする際に行われてもよい。この場合、強調表示は、システム管理者や監視員等のユーザに対して表示されればよい。
【0089】
（技術的効果）
次に、第７実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第７実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0090】
図１３及び図１４で説明したように、第７実施形態に係る情報処理システム１０では、検出された目の位置が類似度マップ上で強調表示される。このようにすれば、実際に検出された目の位置がどこであるのかを、ユーザに対して分かりやすく通知することが可能である。
【0091】
＜第８実施形態＞
第８実施形態に係る情報処理システム１０について、図１５から図１７を参照して説明する。なお、第８実施形態は、上述した第２実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１から第７実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第８実施形態に係る情報処理システム１０について、図１５から図１７を参照して説明する。なお、第８実施形態は、上述した第２実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１から第７実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0092】
（機能的構成）
まず、図１５を参照しながら、第８実施形態に係る情報処理システム１０の機能的構成について説明する。図１５は、第８実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１５では、図５及び図１３で示した構成要素と同様の要素に同一の符号を付している。
まず、図１５を参照しながら、第８実施形態に係る情報処理システム１０の機能的構成について説明する。図１５は、第８実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１５では、図５及び図１３で示した構成要素と同様の要素に同一の符号を付している。
【0093】
図１５に示すように、第８実施形態に係る情報処理システム１０は、その機能を実現するための構成要素として、両目画像取得部１１０と、片目画像取得部１１５と、両目特徴量抽出部１３０と、片目特徴量抽出部１３５と、類似度マップ生成部１４０と、目位置検出部１２０と、表示部１６０と、を備えて構成されている。即ち、第８実施形態に係る情報処理システムは、第２実施形態の構成（図５参照）に加えて、表示部１６０を備えて構成されている。表示部１６０は、例えば上述した出力装置１６（図１参照）によって実現されてよい。
【0094】
表示部１６０は、画像を表示可能なディスプレイを備えており、少なくとも両目画像取得部１１０で取得された両目画像を表示可能に構成されている。そして、第８実施形態に係る表示部１６０は特に、重畳表示部１６２を備えている。重畳表示部１６２は、目位置検出部１３０で検出された目の位置を、表示部１６０で表示されている両目画像に重畳して表示可能に構成されている。
【0095】
（重畳表示）
次に、図１６及び図１７を参照しながら、第８実施形態に係る情報処理システム１０による両目表示への重畳表示について具体的に説明する。図１６は、第８実施形態に係る情報システムによる両目画像への重畳表示の一例を示す平面図（その１）である。図１７は、第８実施形態に係る情報システムによる両目画像への重畳表示の一例を示す平面図（その２）である。
次に、図１６及び図１７を参照しながら、第８実施形態に係る情報処理システム１０による両目表示への重畳表示について具体的に説明する。図１６は、第８実施形態に係る情報システムによる両目画像への重畳表示の一例を示す平面図（その１）である。図１７は、第８実施形態に係る情報システムによる両目画像への重畳表示の一例を示す平面図（その２）である。
【0096】
図１６に示すように、第８実施形態に係る情報処理システム１０では、表示部１６０で表示されている両目画像における目の位置と検出された箇所に、検出された位置であることを示すマークが重畳表示される（ここでは星のマークが重畳表示されている）。このような強調表示は、例えばシステムを運用する際に行われてもよいし、システムの初期設定をする際に行われてもよい。
【0097】
図１７に示すように、重畳表示は、検出された目の位置が正しいか否かを対象となっているユーザに判断させるために表示されてよい。例えば、重畳表示は、目の位置の検出結果を用いた虹彩認証が失敗した場合に行われてもよい。この場合、重畳表示に加えて、図１７に示すような「正しい位置が検出されているか確認してください。」等のメッセージが表示されてもよい。なお、図１７に示す例では、右の眉が誤って右目として検出されている。この場合、表示を見たユーザは、目位置の検出が正確に行われなかったことを知ることができる。
【0098】
（技術的効果）
次に、第８実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第８実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0099】
図１５から図１７で説明したように、第８実施形態に係る情報処理システム１０では、検出された目の位置が、両目画像に重畳表示される。このようにすれば、実際に検出された目の位置がどこであるのかを、ユーザに対して分かりやすく通知することが可能である。
【0100】
なお、第７実施形態で説明した強調表示と、第８実施形態で説明した重畳表示とは、組み合わせて実現されてよい。例えば、強調表示された類似度マップと、重畳表示された丁目画像とが同じ画面に並ぶように表示されてもよい。
【0101】
＜第９実施形態＞
第９実施形態に係る情報処理システム１０について、図１８及び図１９を参照して説明する。なお、第９実施形態は、片目画像及び両目画像を用いた学習動作について説明するものであり、システム運用時の構成や動作については第１から第８実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第９実施形態に係る情報処理システム１０について、図１８及び図１９を参照して説明する。なお、第９実施形態は、片目画像及び両目画像を用いた学習動作について説明するものであり、システム運用時の構成や動作については第１から第８実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0102】
（機能的構成）
まず、図１８を参照しながら、第９実施形態に係る情報処理システム１０の機能的構成について説明する。図１８は、第９実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１８では、図５で示した構成要素と同様の要素に同一の符号を付している。
まず、図１８を参照しながら、第９実施形態に係る情報処理システム１０の機能的構成について説明する。図１８は、第９実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１８では、図５で示した構成要素と同様の要素に同一の符号を付している。
【0103】
図１８に示すように、第９実施形態に係る情報処理システム１０は、その機能を実現するための構成要素として、両目画像取得部１１０と、片目画像取得部１１５と、両目特徴量抽出部１３０と、片目特徴量抽出部１３５と、類似度マップ生成部１４０と、損失計算部２１０と、最適化部２２０と、を備えて構成されている。即ち、第９実施形態に係る情報処理システムは、第２実施形態の構成（図５参照）に加えて、損失計算部２１０と、最適化部２２０と、を備えて構成されている。損失計算部２１０及び最適化部２２０の各々は、例えば上述したプロセッサ１１によって実現されてよい。
【0104】
損失計算部２１０は、類似度マップ生成部１４０で生成された類似度マップに基づく損失関数を生成し、損失（誤差）を計算可能に構成されている。損失計算部２１０は、例えば正解データとして入力される正解マップと、類似度マップ生成部１４０で生成された類似度マップとの差異を損失関数としてよい。より具体的には、例えば類似度マップをｓｏｆｔｍａｘ関数等により確率化し、正解マップとの交差エントロピーを損失関数としてよい。なお、正解マップは、例えば目の位置のみ“１”、それ以外は“０”のラベルが付与された二次元マップであってよい。損失計算部２１０で計算された損失に関する情報は、最適化部２２０に出力される構成となっている。
【0105】
最適化部２２０は、損失計算部２１０で計算された損失に基づいて、両目特徴量抽出部１３０及び片目特徴量抽出部１３５のパラメータを最適化可能に構成されている。具体的には、最適化部２２０は、損失計算部２１０で計算される損失が小さくなるようにパラメータを更新していくことで、パラメータを最適化する。なお、両目特徴量抽出部１３０及び片目特徴量抽出部１３５が同一の特徴量抽出器として構成されている場合には、１つの特徴量抽出器におけるパラメータを最適化すれば済む。
【0106】
（学習動作）
次に、図１９を参照しながら、第９実施形態に係る情報処理システム１０の学習動作について説明する。図１９は、第９実施形態に係る情報処理システムによる学習動作の流れを示すフローチャートである。
次に、図１９を参照しながら、第９実施形態に係る情報処理システム１０の学習動作について説明する。図１９は、第９実施形態に係る情報処理システムによる学習動作の流れを示すフローチャートである。
【0107】
図１９に示すように、第９実施形態に係る情報処理システム１０の学習動作では、まず片目画像取得部１１５が片目画像を取得し、両目画像取得部１１０が両目画像を取得する（ステップＳ４０１）。片目画像取得部１１５は、右目に関する学習を行う場合には右目画像、左目に関する学習を行う場合には左目画像を取得するようにする。なお、片目画像取得部１１５は、右目と左目との際を適切に学習できるように、取得する右目画像と左目画像との比率を半々にしてもよい。
【0108】
続いて、片目特徴量抽出部１３５が片目画像から片目特徴量を抽出し、両目特徴量抽出部１３０が両目画像から両目特徴量を抽出する（ステップＳ４０２）。なお、ここでは、片目画像及び両目画像に対する処理を並行して行う例を挙げているが、片目画像に対する処理と、両目画像に対する処理は、順次別々に実行されてもよい。
【0109】
続いて、類似度マップ生成部１４０が、片目特徴量抽出部１３５で抽出された片目特徴量と、両目特徴量抽出部１３０で抽出された両目特徴量と、に基づいて類似度マップを生成する（ステップＳ４０３）。
【0110】
続いて、損失計算部２１０が、類似度マップ生成部１４０で生成された類似度マップに基づく損失関数を生成し、損失を計算する（ステップＳ４０４）。そして、最適化部２２０が、損失計算部２１０で計算された損失に基づいて、両目特徴量抽出部１３０及び片目特徴量抽出部１３５のパラメータを更新する（ステップＳ４０５）。
【0111】
続いて、第９実施形態に係る情報処理システム１０は、学習を終了するか否かを判定する（ステップＳ４０６）。学習を終了するか否かは、例えば予め設定したイテレーション回数に到達したか否かによって判定されてよい。学習を終了すると判定した場合（ステップＳ４０６：ＹＥＳ）、一連の学習動作は終了する。一方、学習を終了しないと判定した場合（ステップＳ４０６：ＮＯ）、ステップＳ４０１からの処理が繰り返し実行される。
【0112】
（技術的効果）
次に、第９実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第９実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0113】
図１８及び図１９で説明したように、第８実施形態に係る情報処理システム１０では、類似度マップに基づく損失関数を用いて、両目特徴量抽出部１３０及び片目特徴量抽出部１３５の学習が行われる。このようにすれば、片目画像及び両目画像の類似度を考慮した適切な学習を行うことができる。その結果、システムを運用する際に高い精度で対象の目の位置を検出することが可能となる。
【0114】
＜第１０実施形態＞
第１０実施形態に係る情報処理システム１０について説明する。なお、第１０実施形態は、第９実施形態で説明した学習動作の具体例を説明するものであり、システムの構成や動作については第９実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第１０実施形態に係る情報処理システム１０について説明する。なお、第１０実施形態は、第９実施形態で説明した学習動作の具体例を説明するものであり、システムの構成や動作については第９実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0115】
（負荷をかけた学習）
まず、第１０実施形態に係る情報処理システム１０で行われる負荷をかけた学習について説明する。
まず、第１０実施形態に係る情報処理システム１０で行われる負荷をかけた学習について説明する。
【0116】
第１０実施形態に係る情報処理システム１０では、類似度マップのうち正解ラベルに相当する部分の類似度を小さくする負荷をかけることで、類似性を強調して学習を行う。この場合の学習手法として、例えばＣｏｓＦａｃｅを利用できる。より具体的には、下記式（３）のように、正解マップｙとのＢＣＥ損失関数を計算する際に、最適化時ハイパーパラメータｓ、ｍを適用すればよい。
【0117】
【数3】
【0118】
（技術的効果）
次に、第１０実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第１０実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0119】
上述したように、第１０実施形態に係る情報処理システム１０では、損失関数に対して所定の負荷をかけて学習が行われる。このようにすれば、負荷をかけずに学習する場合と比べて、より類似性を強調する学習を行うことができる。その結果、システムを運用する際に、より高い精度で対象の目の位置を検出することが可能となる
【0120】
（第１１実施形態）
第１１実施形態に係る情報処理システム１０について、図２０及び図２１を参照して説明する。なお、第１１実施形態は、上述した第１から第１０実施形態と一部の構成及び動作が異なるのみであり、その他の部分については上述した第１から第１０実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第１１実施形態に係る情報処理システム１０について、図２０及び図２１を参照して説明する。なお、第１１実施形態は、上述した第１から第１０実施形態と一部の構成及び動作が異なるのみであり、その他の部分については上述した第１から第１０実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0121】
（機能的構成）
まず、図２０を参照しながら、第１１実施形態に係る情報処理システム１０の機能的構成について説明する。図２０は、第１１実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図２０では、図２で示した構成要素と同様の要素に同一の符号を付している。
まず、図２０を参照しながら、第１１実施形態に係る情報処理システム１０の機能的構成について説明する。図２０は、第１１実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図２０では、図２で示した構成要素と同様の要素に同一の符号を付している。
【0122】
図２０に示すように、第１１実施形態に係る情報処理システム１０は、その機能を実現するための構成要素として、両目画像取得部１１０と、目位置検出部１２０と、顔画像取得部３１０と、第２目位置検出部３２０と、を備えている。即ち、第１１実施形態に係る情報処理システム１０は、第１実施形態の構成（図２参照）に加えて、顔画像取得部３１０と、第２目位置検出部３２０と、を更に備えて構成されている。顔画像取得部３１０、及び第２目位置検出部３２０の各々は、例えば上述したプロセッサ１１（図１参照）によって実現される処理ブロックであってよい。また、顔画像取得部３１０は、上述したカメラ１８を用いて画像を取得するものであってよい。
【0123】
顔画像取得部３１０は、対象から顔画像を取得可能に構成されている。顔画像は、対象の顔を含む画像であり、可視光を用いて撮像される画像である。顔画像に含まれる顔の範囲は、両目画像取得部１１０で取得される両目画像と異なっていてもよい。例えば、両目画像が対象の目の周辺のみを含む画像である一方で、顔画像は対象の顔全体を含む画像であってよい。顔画像は、両目画像取得部１１０で取得される両目画像と同じタイミングで撮像されたものであってもよいし、異なるタイミングで撮像されたものであってもよい。顔画像取得部３１０で取得された顔画像は、第２目位置検出部３２０に出力される構成となっている。なお、顔画像を取得する可視光カメラと、両目画像を撮像するカメラ（例えば、近赤外カメラ）とは校正済みであり、撮像範囲の対応が取れているものとする。
【0124】
第２目位置検出部３２０は、顔画像取得部３１０で取得された顔画像における対象の目の位置を検出可能に構成されている。第２目位置検出部３２０は、例えば両目（即ち、右目及び左目）の位置をそれぞれ検出してもよいし、いずれか一方の目の位置のみを検出してもよい。第２目位置検出部３２０は、検出した目位置に関する情報を出力する機能を有していてもよい。なお、第２目位置検出部３２０は、目位置検出部１２０と異なる手法で対象の目の位置を検出するように構成されてよい。即ち、第２目位置検出部３２０は、片目画像及び両目画像を用いた学習結果を利用せずに、対象の目の位置を検出してもよい。例えば、第２目位置検出部３２０は、顔に含まれる目以外の部位（例えば、鼻、耳、口等）を検出して、それら各部位との位置関係から目の位置を検出してもよい。
【0125】
（動作の流れ）
次に、図２１を参照しながら、第１１実施形態に係る情報処理システム１０による動作の流れについて説明する。図２１は、第１１実施形態に係る情報処理システムにおける顔画像を用いた目位置検出動作の流れを示すフローチャートである。なお、両目画像取得部１１０及び目位置検出部１２０の動作は第１実施形態と同様であってよいため、以下では、顔画像取得部３１０及び第２目位置検出部３２０に関する動作について説明する。
次に、図２１を参照しながら、第１１実施形態に係る情報処理システム１０による動作の流れについて説明する。図２１は、第１１実施形態に係る情報処理システムにおける顔画像を用いた目位置検出動作の流れを示すフローチャートである。なお、両目画像取得部１１０及び目位置検出部１２０の動作は第１実施形態と同様であってよいため、以下では、顔画像取得部３１０及び第２目位置検出部３２０に関する動作について説明する。
【0126】
図２１に示すように、第１１実施形態に係る情報処理システム１０が動作する際には、まず顔画像取得部３１０が、対象から顔画像を取得する（ステップＳ５０１）。顔画像は、例えば対象がカメラ１８の前で立ち止まった状態で取得されてもよいし、歩いている対象がカメラ１８の合焦位置に到達したタイミングで取得されてもよい。顔画像取得部３１０は、同一の対象から顔画像を複数枚取得してもよい。
【0127】
続いて、第２目位置検出部３２０が、顔画像取得部３１０で取得された顔画像における対象の目位置を検出する（ステップＳ５０２）。
【0128】
その後、第２目位置検出部３２０は、検出結果（即ち、顔画像から検出した目位置に関する情報）を出力する（ステップＳ５０３）。第２目位置検出部３２０の検出結果は、目位置検出部１２０の検出結果とは別々に出力されてもよいし、目位置検出部１２０の検出結果と一緒に出力されてもよい。第２目位置検出部３２０の検出結果の利用方法については特に限定されない。検出結果の利用法の具体例については、後述する他の実施形態で詳しく説明する。
【0129】
（技術的効果）
次に、第１１実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第１１実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0130】
図２０及び図２１で説明したように、第１１実施形態に係る情報処理システム１０では、両目画像とは別に取得される顔画像からも対象の目位置が検出される。このようにすれば、両目画像と顔画像との両方から対象の目位置を検出することが可能である。
【0131】
（第１２実施形態）
第１２実施形態に係る情報処理システム１０について、図２２及び図２３を参照して説明する。なお、第１２実施形態は、上述した第１１実施形態と一部の構成及び動作が異なるのみであり、その他の部分については上述した第１１実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第１２実施形態に係る情報処理システム１０について、図２２及び図２３を参照して説明する。なお、第１２実施形態は、上述した第１１実施形態と一部の構成及び動作が異なるのみであり、その他の部分については上述した第１１実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0132】
（機能的構成）
まず、図２２を参照しながら、第１２実施形態に係る情報処理システム１０の機能的構成について説明する。図２２は、第１２実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図２２では、図２０で示した構成要素と同様の要素に同一の符号を付している。
まず、図２２を参照しながら、第１２実施形態に係る情報処理システム１０の機能的構成について説明する。図２２は、第１２実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図２２では、図２０で示した構成要素と同様の要素に同一の符号を付している。
【0133】
図２２に示すように、第１２実施形態に係る情報処理システム１０は、その機能を実現するための構成要素として、両目画像取得部１１０と、目位置検出部１２０と、顔画像取得部３１０と、第２目位置検出部３２０と、警告出部４００と、を備えている。即ち、第１２実施形態に係る情報処理システム１０は、第１１実施形態の構成（図２０参照）に加えて、警告出力部４００を更に備えて構成されている。警告出力部４００は、例えば上述したプロセッサ１１（図１参照）によって実現される処理ブロックであってよい。また、警告出力部４００は、上述した出力装置１６を用いて警告を出力するものであってよい。
【0134】
警告出力部４００は、目位置検出部１２０で検出した対象の目の位置（即ち、両目画像から検出した目の位置）と、第２目位置検出部３２０で検出した対象の目の位置（即ち、顔画像から検出した目の位置）と、が異なる場合に警告情報を出力可能に構成されている。このため、警告出力部４００は、両目画像から検出した目の位置と、顔画像から検出した目の位置とを比較する機能を有している。また、警告出力部４００は、比較結果に応じて警告情報を出力する機能を有している。なお、警告情報の出力態様は、特に限定されるものではない。警告情報は、例えばディスプレイを用いて画像として表示されてもよい。或いは、警告情報は、例えばスピーカを用いて音声として出力されてもよい。
【0135】
（動作の流れ）
次に、図２３を参照しながら、第１２実施形態に係る情報処理システム１０による動作の流れについて説明する。図２３は、第１２実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。なお、図２３では、図３及び図２１で示した処理と同様の処理に同一の符号を付している。
次に、図２３を参照しながら、第１２実施形態に係る情報処理システム１０による動作の流れについて説明する。図２３は、第１２実施形態に係る情報処理システムによる動作の流れを示すフローチャートである。なお、図２３では、図３及び図２１で示した処理と同様の処理に同一の符号を付している。
【0136】
図２３に示すように、第１１実施形態に係る情報処理システム１０が動作する際には、まず両目画像取得部１１０が、対象から両目画像を取得する（ステップＳ１０１）。そして、目位置検出部１２０が、両目画像取得部１１０で取得された両目画像における対象の目位置を検出する（ステップＳ１０２）。
【0137】
一方、顔画像取得部３１０は、対象から顔画像を取得する（ステップＳ５０１）。そして、第２目位置検出部３２０が、顔画像取得部３１０で取得された顔画像における対象の目位置を検出する（ステップＳ５０２）。
【0138】
なお、上述した両目画像から目位置を検出する処理（即ち、ステップＳ１０１及びＳ１０２）と、顔画像から目位置を検出する処理（即ち、ステップＳ５０１及びＳ５０２）と、は同時に並行して実行されてもよいし、順次別々に実行されてもよい。例えば、まず顔画像に基づいて対象の目位置を検出し、検出した目位置に基づいて両目画像の撮像位置を決定するようにしてもよい。
【0139】
続いて、警告出力部４００は、両目画像から検出された目位置と、顔画像から検出された目位置とが同じであるか否かを判定する（ステップＳ６０１）。検出した目位置が同じであるか否かは、例えば、それぞれの目位置の差分が所定の範囲内に収まっているか否かによって判定してよい。
【0140】
両目画像から検出された目位置と、顔画像から検出された目位置とが同じである場合（ステップＳ６０１：ＹＥＳ）、目位置検出部１１０及び第２目位置検出部３１０は、それぞれの検出結果を出力する（ステップＳ６０２）。一方、両目画像から検出された目位置と、顔画像から検出された目位置とが同じでない場合（ステップＳ６０１：ＮＯ）、目位置検出部１１０及び第２目位置検出部３１０がそれぞれの検出結果を出力すると共に、警告出力部４００が警告情報を出力する（ステップＳ６０３）。
【0141】
警告情報は、目位置検出部１１０及び第２目位置検出部３１０による目位置の検出結果と併せて出力されてよい。例えば、図１６及び図１７で説明したように、ディスプレイに対象の画像と目の位置とが表示されると共に、「検出された目の位置が異なっています」等の警告メッセージが表示されてもよい。
【0142】
（技術的効果）
次に、第１２実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第１２実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0143】
図２２及び図２３で説明したように、第１２１実施形態に係る情報処理システム１０では、両目画像から検出した目位置と、顔画像から検出した目位置とが異なる場合に、警告情報が出力される。このようにすれば、両目画像に基づく検出と、顔画像に基づく検出との少なくとも一方が誤検出である可能性がある場合に、その旨をユーザ（例えば、対象、システム管理者、監視員等）に通知することが可能である。
【0144】
上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
【0145】
記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
＜付記＞
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
＜付記＞
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
【0146】
（付記１）
付記１に記載の情報処理システムは、対象から両目を含む顔の画像である両目画像を取得する取得手段と、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する検出手段と、を備える情報処理システムである。
付記１に記載の情報処理システムは、対象から両目を含む顔の画像である両目画像を取得する取得手段と、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する検出手段と、を備える情報処理システムである。
【0147】
（付記２）
付記２に記載の情報処理システムは、前記片目画像の特徴量と前記対象の前記両目画像の特徴量とを用いて類似度マップを生成する生成手段を更に備え、前記検出手段は、前記類似度マップに基づいて前記対象の目の位置を検出する、付記１に記載の情報処理システムである。
付記２に記載の情報処理システムは、前記片目画像の特徴量と前記対象の前記両目画像の特徴量とを用いて類似度マップを生成する生成手段を更に備え、前記検出手段は、前記類似度マップに基づいて前記対象の目の位置を検出する、付記１に記載の情報処理システムである。
【0148】
（付記３）
付記３に記載の情報処理システムは、前記生成手段は、右目を含む右目画像の特徴量と前記対象の前記両目画像の特徴量とを用いて右目用の前記類似度マップを生成すると共に、左目を含む左目画像の特徴量と前記対象の両目画像の特徴量とを用いて左目用の前記類似度マップを生成し、前記検出手段は、右目用の前記類似度マップに基づいて前記対象の右目の位置を検出し、左目用の前記類似度マップに基づいて前記対象の左目の位置を検出する、付記２に記載の情報処理システムである。
付記３に記載の情報処理システムは、前記生成手段は、右目を含む右目画像の特徴量と前記対象の前記両目画像の特徴量とを用いて右目用の前記類似度マップを生成すると共に、左目を含む左目画像の特徴量と前記対象の両目画像の特徴量とを用いて左目用の前記類似度マップを生成し、前記検出手段は、右目用の前記類似度マップに基づいて前記対象の右目の位置を検出し、左目用の前記類似度マップに基づいて前記対象の左目の位置を検出する、付記２に記載の情報処理システムである。
【0149】
（付記４）
付記４に記載の情報処理システムは、前記生成手段は、前記片目画像から抽出された特徴量を予め記憶しておき、該記憶した特徴量を用いて前記類似度マップを生成する、付記２又は３に記載の情報処理システムである。
付記４に記載の情報処理システムは、前記生成手段は、前記片目画像から抽出された特徴量を予め記憶しておき、該記憶した特徴量を用いて前記類似度マップを生成する、付記２又は３に記載の情報処理システムである。
【0150】
（付記５）
付記５に記載の情報処理システムは、前記生成手段は、互いに目のサイズが揃った前記片目画像と前記両目画像とを用いて前記類似度マップを生成する、付記２から４のいずれか一項に記載の情報処理システムである。
付記５に記載の情報処理システムは、前記生成手段は、互いに目のサイズが揃った前記片目画像と前記両目画像とを用いて前記類似度マップを生成する、付記２から４のいずれか一項に記載の情報処理システムである。
【0151】
（付記６）
付記６に記載の情報処理システムは、前記生成手段は、前記片目画像の特徴量と前記両目画像の特徴量の部分空間との類似度を示す前記類似度マップを生成する、付記２から５のいずれか一項に記載の情報処理システムである。
付記６に記載の情報処理システムは、前記生成手段は、前記片目画像の特徴量と前記両目画像の特徴量の部分空間との類似度を示す前記類似度マップを生成する、付記２から５のいずれか一項に記載の情報処理システムである。
【0152】
（付記７）
付記７に記載の情報処理システムは、前記検出手段で検出された目の位置を、前記類似度マップ上で強調表示する強調表示手段を更に備える、付記２から６のいずれか一項に記載の情報処理システムである。
付記７に記載の情報処理システムは、前記検出手段で検出された目の位置を、前記類似度マップ上で強調表示する強調表示手段を更に備える、付記２から６のいずれか一項に記載の情報処理システムである。
【0153】
（付記８）
付記８に記載の情報処理システムは、前記検出手段で検出された目の位置を、前記対象の前記両目画像に重畳して表示する重畳表示手段を更に備える、付記１から７のいずれか一項に記載の情報処理システムである。
付記８に記載の情報処理システムは、前記検出手段で検出された目の位置を、前記対象の前記両目画像に重畳して表示する重畳表示手段を更に備える、付記１から７のいずれか一項に記載の情報処理システムである。
【0154】
（付記９）
付記９に記載の情報処理システムは、前記類似度マップに基づく損失関数を生成し、該損失関数を最小化することで前記検出手段を学習する学習手段を更に備える、付記１から８のいずれか一項に記載の情報処理システムである。
付記９に記載の情報処理システムは、前記類似度マップに基づく損失関数を生成し、該損失関数を最小化することで前記検出手段を学習する学習手段を更に備える、付記１から８のいずれか一項に記載の情報処理システムである。
【0155】
（付記１０）
付記１０に記載の情報処理システムは、前記学習手段は、前記類似度マップにおける目の位置に対応する部分の類似度を小さくする負荷をかけて学習する、付記９に記載の情報処理システムである。
付記１０に記載の情報処理システムは、前記学習手段は、前記類似度マップにおける目の位置に対応する部分の類似度を小さくする負荷をかけて学習する、付記９に記載の情報処理システムである。
【0156】
（付記１１）
付記１１に記載の情報処理システムは、前記対象の顔を可視光カメラで撮像することで可視光顔画像を取得する顔画像取得手段と、前記可視光顔画像に基づいて、前記可視光顔画像における前記対象の目の位置を検出する第２の検出手段と、を更に備える、付記１から１０のいずれか一項に記載の情報処理システムである。
付記１１に記載の情報処理システムは、前記対象の顔を可視光カメラで撮像することで可視光顔画像を取得する顔画像取得手段と、前記可視光顔画像に基づいて、前記可視光顔画像における前記対象の目の位置を検出する第２の検出手段と、を更に備える、付記１から１０のいずれか一項に記載の情報処理システムである。
【0157】
（付記１２）
付記１２に記載の情報処理システムは、前記検出手段で検出した前記対象の目の位置と、前記第２の検出手段で検出した前記対象の目の位置と、が異なる場合に警告情報を出力する警告手段を更に備える、付記１１に記載の情報処理システムである。
付記１２に記載の情報処理システムは、前記検出手段で検出した前記対象の目の位置と、前記第２の検出手段で検出した前記対象の目の位置と、が異なる場合に警告情報を出力する警告手段を更に備える、付記１１に記載の情報処理システムである。
【0158】
（付記１３）
付記１３に記載の情報処理装置は、対象から両目を含む顔の画像である両目画像を取得する取得手段と、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する検出手段と、を備える情報処理装置である。
付記１３に記載の情報処理装置は、対象から両目を含む顔の画像である両目画像を取得する取得手段と、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する検出手段と、を備える情報処理装置である。
【0159】
（付記１４）
付記１４に記載の情報処理方法は、少なくとも１つのコンピュータが実行する情報処理方法であって、対象から両目を含む顔の画像である両目画像を取得し、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する、情報処理方法である。
付記１４に記載の情報処理方法は、少なくとも１つのコンピュータが実行する情報処理方法であって、対象から両目を含む顔の画像である両目画像を取得し、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する、情報処理方法である。
【0160】
（付記１５）
付記１５に記載の記録媒体は、少なくとも１つのコンピュータに、対象から両目を含む顔の画像である両目画像を取得し、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する、情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。
付記１５に記載の記録媒体は、少なくとも１つのコンピュータに、対象から両目を含む顔の画像である両目画像を取得し、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する、情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。
【0161】
（付記１６）
付記１６に記載のコンピュータプログラムは、少なくとも１つのコンピュータに、対象から両目を含む顔の画像である両目画像を取得し、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する、情報処理方法を実行させるコンピュータプログラムである。
付記１６に記載のコンピュータプログラムは、少なくとも１つのコンピュータに、対象から両目を含む顔の画像である両目画像を取得し、前記両目画像における前記対象の目の位置を、いずれか一方の目のみを含む片目画像と前記両目画像とを用いた学習結果に基づいて検出する、情報処理方法を実行させるコンピュータプログラムである。
【0162】
この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理システム、情報処理装置、情報処理方法、及び記録媒体もまたこの開示の技術思想に含まれる。
【符号の説明】
【0163】
１０ 情報処理システム
１１ プロセッサ
１８ カメラ
１１０ 両目画像取得部
１１５ 片目画像取得部
１１６ 右目画像取得部
１１７ 左目画像取得部
１２０ 目位置検出部
１２１ 右目位置検出部
１２２ 左目位置検出部
１３０ 両目特徴量抽出部
１３５ 片目特徴量抽出部
１３６ 右目特徴量抽出部
１３７ 左目特徴量抽出部
１４０ 類似度マップ生成部
１４１ 右目類似度マップ生成部
１４２ 左目類似度マップ生成部
１５０ 特徴量記憶部
１６０ 表示部
１６１ 強調表示部
１６２ 重畳表示部
２１０ 損失計算部
２２０ 最適化部
３１０ 顔画像取得部
３２０ 第２目位置検出部
４００ 警告出力部
１１ プロセッサ
１８ カメラ
１１０ 両目画像取得部
１１５ 片目画像取得部
１１６ 右目画像取得部
１１７ 左目画像取得部
１２０ 目位置検出部
１２１ 右目位置検出部
１２２ 左目位置検出部
１３０ 両目特徴量抽出部
１３５ 片目特徴量抽出部
１３６ 右目特徴量抽出部
１３７ 左目特徴量抽出部
１４０ 類似度マップ生成部
１４１ 右目類似度マップ生成部
１４２ 左目類似度マップ生成部
１５０ 特徴量記憶部
１６０ 表示部
１６１ 強調表示部
１６２ 重畳表示部
２１０ 損失計算部
２２０ 最適化部
３１０ 顔画像取得部
３２０ 第２目位置検出部
４００ 警告出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】