(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】情報処理装置、情報処理方法及び記録媒体
(51)【国際特許分類】
G06V 10/40 20220101AFI20241001BHJP
G06V 10/25 20220101ALI20241001BHJP
G06T 7/00 20170101ALI20241001BHJP
【FI】
G06V10/40
G06V10/25
G06T7/00 660A
(21)【出願番号】P 2023506377
(86)(22)【出願日】2021-03-15
(86)【国際出願番号】 JP2021010305
(87)【国際公開番号】W WO2022195649
(87)【国際公開日】2022-09-22
【審査請求日】2023-08-16
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100104765
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100107331
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100131015
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】戸泉 貴裕
(72)【発明者】
【氏名】高橋 巧一
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開2008-006149(JP,A)
【文献】特開2009-087209(JP,A)
【文献】国際公開第2020/095400(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00- 7/90
G06V 10/00-20/90
G06V 40/00-40/70
(57)【特許請求の範囲】
【請求項1】
対象物が写り込んでいる第1画像を縮小することで第2画像を生成する縮小手段と、
前記第2画像から、前記対象物のキーポイントを第1キーポイントとして抽出する第1抽出手段と、
前記第1キーポイントに基づいて、前記第1画像のうちの一部を指定するターゲット領域を設定する設定手段と、
前記第1画像のうちの前記ターゲット領域に含まれるターゲット画像から、前記対象物のキーポイントを第2キーポイントとして抽出する第2抽出手段と
を備え
、
前記設定手段は、前記ターゲット領域のサイズを変更可能である
情報処理装置。
【請求項2】
前記設定手段は、前記第1キーポイントに基づいて、前記ターゲット領域のサイズを変更可能である
請求項
1に記載の情報処理装置。
【請求項3】
前記対象物は、生体の虹彩を含み、
前記設定手段は、前記ターゲット領域のサイズを、前記第1キーポイントが示す前記虹彩のサイズに応じたサイズに変更可能である
請求項
2に記載の情報処理装置。
【請求項4】
前記対象物が写り込んでいる第3画像から、前記対象物のキーポイントを第3キーポイントとして抽出する第3抽出手段と、
前記第3キーポイントに基づいて前記第3画像を変換する画像変換処理を行うことで、前記第1画像を生成する画像変換手段と
を更に備える請求項1から
3のいずれか一項に記載の情報処理装置。
【請求項5】
前記対象物は、生体の虹彩を含み、
前記画像変換処理は、前記虹彩の中心が前記第3画像の中心に近づくように、前記第3画像を平行移動する平行移動処理を含む
請求項
4に記載の情報処理装置。
【請求項6】
前記対象物は、生体の目尻及び目頭を含み、
前記画像変換処理は、前記目尻と前記目頭とを結ぶ線が前記第3画像内で水平に近づくように、前記第3画像を回転する回転処理を含む
請求項
4又は
5に記載の情報処理装置。
【請求項7】
前記対象物は、生体の虹彩を含み、
前記画像変換処理は、前記第3画像内での前記虹彩のサイズが所定サイズに近づくように、前記第3画像を拡大又は縮小するスケーリング処理を含む
請求項
4から
6のいずれか一項に記載の情報処理装置。
【請求項8】
対象物が写り込んでいる第1画像を縮小することで第2画像を生成し、
前記第2画像から、前記対象物のキーポイントを第1キーポイントとして抽出し、
前記第1キーポイントに基づいて、前記第1画像のうちの一部を指定するターゲット領域を設定し、
前記第1画像のうちの前記ターゲット領域に含まれるターゲット画像から、前記対象物のキーポイントを第2キーポイントとして抽出
し、
前記ターゲット領域のサイズは変更可能である
情報処理方法。
【請求項9】
コンピュータに、
対象物が写り込んでいる第1画像を縮小することで第2画像を生成し、
前記第2画像から、前記対象物のキーポイントを第1キーポイントとして抽出し、
前記第1キーポイントに基づいて、前記第1画像のうちの一部を指定するターゲット領域を設定し、
前記第1画像のうちの前記ターゲット領域に含まれるターゲット画像から、前記対象物のキーポイントを第2キーポイントとして抽出
し、
前記ターゲット領域のサイズは変更可能である
情報処理方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、例えば、対象物が写り込んだ画像から、対象物のキーポイント(つまり、特徴点)を抽出することが可能な情報処理装置、情報処理方法及び記録媒体の技術分野に関する。
【背景技術】
【0002】
対象物が写り込んだ画像から、対象物のキーポイント(つまり、特徴点)を抽出することが可能な情報処理装置の一例が、特許文献1に記載されている。具体的には、特許文献1には、人が写り込んだ画像から、人の顔認証で利用される人の顔の特徴点を抽出する特徴点抽出装置が記載されている。
【0003】
その他、この開示に関連する先行技術文献として、特許文献2から特許文献6があげられる。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第2020/095400号パンフレット
【文献】特開2018-045437号公報
【文献】特開2017-142772号公報
【文献】特開2011-090702号公報
【文献】特開2008-006149号公報
【文献】国際公開第2018/051836号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【0005】
この開示は、先行技術文献に記載された技術の改良を目的とする情報処理装置、情報処理方法及び記録媒体を提供することを課題とする。
【課題を解決するための手段】
【0006】
情報処理装置の一の態様は、対象物が写り込んでいる第1画像を縮小することで第2画像を生成する縮小手段と、前記第2画像から、前記対象物のキーポイントを第1キーポイントとして抽出する第1抽出手段と、前記第1キーポイントに基づいて、前記第1画像のうちの一部を指定するターゲット領域を設定する設定手段と、前記第1画像のうちの前記ターゲット領域に含まれるターゲット画像から、前記対象物のキーポイントを第2キーポイントとして抽出する第2抽出手段とを備える。
【0007】
情報処理方法の一の態様は、対象物が写り込んでいる第1画像を縮小することで第2画像を生成し、前記第2画像から、前記対象物のキーポイントを第1キーポイントとして抽出し、前記第1キーポイントに基づいて、前記第1画像のうちの一部を指定するターゲット領域を設定し、前記第1画像のうちの前記ターゲット領域に含まれるターゲット画像から、前記対象物のキーポイントを第2キーポイントとして抽出する。
【0008】
記録媒体の一の態様は、コンピュータに、対象物が写り込んでいる第1画像を縮小することで第2画像を生成し、前記第2画像から、前記対象物のキーポイントを第1キーポイントとして抽出し、前記第1キーポイントに基づいて、前記第1画像のうちの一部を指定するターゲット領域を設定し、前記第1画像のうちの前記ターゲット領域に含まれるターゲット画像から、前記対象物のキーポイントを第2キーポイントとして抽出する情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。
【図面の簡単な説明】
【0009】
【
図1】
図1は、第1実施形態のキーポイント抽出システムの全体構成を示すブロック図である。
【
図2】
図2は、第1実施形態のキーポイント抽出装置の構成を示すブロック図である。
【
図3】
図3は、第1実施形態のキーポイント抽出装置が行うキーポイント抽出動作の流れを示すフローチャートである。
【
図4】
図4は、縮小画像から抽出された虹彩のキーポイントの一例を示す平面図である。
【
図5】
図5は、ターゲット領域の一例を示す平面図である。
【
図6】
図6は、ターゲット領域の一例を示す平面図である。
【
図7】
図7は、ターゲット画像から抽出された虹彩のキーポイントの一例を示す平面図である。
【
図8】
図8は、第2実施形態のキーポイント抽出装置の構成を示すブロック図である。
【
図9】
図9は、第2実施形態のキーポイント抽出装置が行うキーポイント抽出動作の流れを示すフローチャートである。
【
図10】
図10は、人物画像を平行移動する平行移動処理を模式的に示す。
【
図11】
図11は、人物画像を回転する回転処理を模式的に示す。
【
図12】
図12は、人物画像を拡大又は縮小するスケーリング処理を模式的に示す。
【
図13】
図13は、第3実施形態のキーポイント抽出装置の構成を示すブロック図である。
【
図14】
図14は、第3実施形態のキーポイント抽出装置が行うキーポイント抽出動作の流れを示すフローチャートである。
【
図15】
図15は、第4実施形態のキーポイント抽出装置(虹彩認証装置)の構成を示すブロック図である。
【
図16】
図16は、第4実施形態のキーポイント抽出装置が行うキーポイント抽出動作(虹彩認証動作)の流れを示すフローチャートである。
【
図17】
図17は、第5実施形態のキーポイント抽出装置(虹彩認証装置)の構成を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、情報処理装置、情報処理方法及び記録媒体の実施形態について説明する。以下では、キーポイント抽出システムSYSを用いて、情報処理装置、情報処理方法及び記録媒体の実施形態について説明する。
【0011】
キーポイント抽出システムSYSは、対象物が写り込んだ画像から、対象物のキーポイントKPを抽出することが可能である。以下の説明では、キーポイント抽出システムSYSが、対象物の一例である人物(つまり、生体)が写り込んだ人物画像IMG1から、人物画像IMG1に写り込んだ人物のキーポイントKPを抽出することが可能である例について説明する。但し、キーポイント抽出システムSYSは、人物とは異なる任意の対象物が写り込んだ画像から、画像に写り込んだ任意の対象物のキーポイントKPを抽出することが可能であってもよい。対象物の一例として、人間以外の生体(例えば、犬及び猫等の哺乳類、スズメ等の鳥類、ヘビ等の爬虫類、カエル等の両生類及び金魚等の魚類の少なくとも一つ)があげられる。対象物の他の一例として、無生物たる物体があげられる。無生物たる物体の一例として、人物又は動物を模したロボットがあげられる。
【0012】
また、以下の説明では、キーポイント抽出システムSYSが、人物画像IMG1から、人物画像IMG1に写り込んだ人物の虹彩のキーポイントKPを抽出することが可能である例について説明する。このようなキーポイント抽出システムSYSは、後に詳述するように、虹彩認証システムとして用いられてもよい。虹彩認証システムは、虹彩を用いて人物を認証することが可能なシステムである。但し、キーポイント抽出システムSYSは、人物画像IMG1から、人物画像IMG1に写り込んだ人物の任意の部位のキーポイントKPを抽出することが可能であってもよい。人物の任意の部位の一例として、人物を認証するために利用可能な部位があげられる。人物を認証するために利用可能な部位の他の一例として、顔認証に利用可能な顔があげられる。人物を認証するために利用可能な部位の他の一例として、指紋認証に利用可能な指紋が刻まれた指があげられる。人物を認証するために利用可能な部位の他の一例として、掌紋認証に利用可能な掌紋が刻まれた手があげられる。人物を認証するために利用可能な部位の他の一例として、静脈認証に利用可能な静脈パターンが浮き出た指があげられる。
【0013】
以下、このようなキーポイント抽出システムSYSについて、図面を参照しながら更に詳細に説明する
(1)第1実施形態のキーポイント抽出システムSYS
初めに、第1実施形態のキーポイント抽出システムSYSについて説明する。尚、以下の説明では、第1実施形態のキーポイント抽出システムSYSを、“キーポイント抽出システムSYSa”と称する。
【0014】
(1-1)キーポイント抽出システムSYSaの全体構成
初めに、
図1を参照しながら、第1実施形態のキーポイント抽出システムSYSaの全体構成について説明する。
図1は、第1実施形態のキーポイント抽出システムSYSaの全体構成を示すブロック図である。
【0015】
図1に示すように、キーポイント抽出システムSYSaは、カメラ1と、「情報処理装置」の一具体例であるキーポイント抽出装置2とを備えている。キーポイント抽出システムSYSaは、単一のカメラ1を備えていてもよいし、複数のカメラ1を備えていてもよい。カメラ1とキーポイント抽出装置2とは、通信ネットワーク3を介して互いに通信可能である。通信ネットワーク3は、有線の通信ネットワークを含んでいてもよい。通信ネットワーク3は、無線の通信ネットワークを含んでいてもよい。
【0016】
カメラ1は、撮像対象範囲を撮像可能な撮像装置である。カメラ1は、撮像対象範囲を撮像することで撮像対象範囲が写り込んだ画像を生成する処理を含む。上述したようにキーポイント抽出システムSYSaが人物の虹彩のキーポイントKPを抽出するがゆえに、撮像対象範囲には、通常、人物が存在する。この場合、カメラ1は、人物を撮像することで、人物が写り込んだ人物画像IMG1を生成する。特に、カメラ1は、人物の顔(特に、虹彩及び虹彩の周辺の部位を含む顔の少なくとも一部)を撮像することで、人物の顔(特に、虹彩及び虹彩の周辺の部位を含む顔の少なくとも一部)が写り込んだ人物画像IMG1を生成する。カメラ1は、生成した人物画像IMG1を、キーポイント抽出装置2に出力する。具体的には、カメラ1は、生成した人物画像IMG1を、通信ネットワーク3を介して、キーポイント抽出装置2に送信する。
【0017】
キーポイント抽出装置2は、通信ネットワーク3を介してカメラ1から送信された人物画像IMG1を受信する。キーポイント抽出装置2は、受信した人物画像IMG1から、人物画像IMG1に写り込んだ人物の虹彩のキーポイントKPを抽出するためのキーポイント抽出動作を行う。
【0018】
(1-2)キーポイント抽出装置2の構成
続いて、
図2を参照しながら、第1実施形態のキーポイント抽出装置2の構成について説明する。
図2は、第1実施形態のキーポイント抽出装置2の構成を示すブロック図である。
【0019】
図2に示すように、キーポイント抽出装置2は、演算装置21と、記憶装置22と、通信装置23とを備えている。更に、キーポイント抽出装置2は、入力装置24と、出力装置25とを備えていてもよい。但し、キーポイント抽出装置2は、入力装置24及び出力装置25のうちの少なくとも一つを備えていなくてもよい。演算装置21と、記憶装置22と、通信装置23と、入力装置24と、出力装置25とは、データバス26を介して接続されていてもよい。
【0020】
演算装置21は、例えば、CPU(Central Processing Unit)、GPU(Graphics Proecssing Unit)及びFPGA(Field Programmable Gate Array)のうちの少なくとも一つを含む。演算装置21は、コンピュータプログラムを読み込む。例えば、演算装置21は、記憶装置22が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置21は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、キーポイント抽出装置2が備える図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置21は、通信装置23(或いは、その他の通信装置)を介して、キーポイント抽出装置2の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、ダウンロードしてもよい又は読み込んでもよい)。演算装置21は、読み込んだコンピュータプログラムを実行する。その結果、演算装置21内には、キーポイント抽出装置2が行うべき動作(例えば、上述したキーポイント抽出動作)を実行するための論理的な機能ブロックが実現される。つまり、演算装置21は、キーポイント抽出装置2が行うべき動作(言い換えれば、処理)を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
【0021】
図2には、キーポイント抽出動作を実行するために演算装置21内に実現される論理的な機能ブロックの一例が示されている。
図2に示すように、演算装置21内には、「縮小手段」の一具体例である画像縮小部211と、「第1抽出手段」の一具体例であるキーポイント抽出部212と、「設定手段」の一具体例であるターゲット領域設定部213と、「第2抽出手段」の一具体例であるキーポイント抽出部214とが実現される。尚、画像縮小部211、キーポイント抽出部212、ターゲット領域設定部213及びキーポイント抽出部214の夫々の動作については後に詳述するが、ここでその概要を簡単に説明する。画像縮小部211は、人物画像IMG1を縮小することで、縮小画像IMG2を生成可能である。キーポイント抽出部212は、縮小画像IMG2から、縮小画像IMG2に写り込んでいる対象物(第1実施形態では、虹彩)のキーポイントKPを抽出可能である。ターゲット領域設定部213は、キーポイント抽出部212が抽出したキーポイントKPに基づいて、人物画像IMG1のうちの一部を指定するターゲット領域TAを設定可能である。キーポイント抽出部214は、人物画像IMG1のうちのターゲット領域設定部213が設定したターゲット領域TAに含まれるターゲット画像IMG1_TAから、ターゲット画像IMG1_TAに写り込んでいる対象物(第1実施形態では、虹彩)のキーポイントKPを抽出可能である。
【0022】
記憶装置22は、所望のデータを記憶可能である。例えば、記憶装置22は、演算装置21が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置22は、演算装置21がコンピュータプログラムを実行している際に演算装置21が一時的に使用するデータを一時的に記憶してもよい。記憶装置22は、キーポイント抽出装置2が長期的に保存するデータを記憶してもよい。尚、記憶装置22は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置22は、一時的でない記録媒体を含んでいてもよい。
【0023】
通信装置23は、通信ネットワーク3を介して、カメラ1と通信可能である。第1実施形態では、通信装置23は、通信ネットワーク3を介して、カメラ1から人物画像IMG1を受信(つまり、取得)する。
【0024】
入力装置24は、キーポイント抽出装置2の外部からのキーポイント抽出装置2に対する情報の入力を受け付ける装置である。例えば、入力装置24は、キーポイント抽出装置2のオペレータが操作可能な操作装置(例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ)を含んでいてもよい。例えば、入力装置24は、キーポイント抽出装置2に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。
【0025】
出力装置25は、キーポイント抽出装置2の外部に対して情報を出力する装置である。例えば、出力装置25は、情報を画像として出力してもよい。つまり、出力装置25は、出力したい情報を示す画像を表示可能な表示装置(いわゆる、ディスプレイ)を含んでいてもよい。例えば、出力装置25は、情報を音声として出力してもよい。つまり、出力装置25は、音声を出力可能な音声装置(いわゆる、スピーカ)を含んでいてもよい。例えば、出力装置25は、紙面に情報を出力してもよい。つまり、出力装置25は、紙面に所望の情報を印刷可能な印刷装置(いわゆる、プリンタ)を含んでいてもよい。
【0026】
(1-3)キーポイント抽出装置2が行うキーポイント抽出動作の流れ
続いて、
図3を参照しながら、第1実施形態のキーポイント抽出装置2が行うキーポイント抽出動作の流れについて説明する。
図3は、第1実施形態のキーポイント抽出装置2が行うキーポイント抽出動作の流れを示すフローチャートである。
【0027】
図3に示すように、キーポイント抽出装置2は、カメラ1から人物画像IMG1を取得する(ステップS11)。具体的には、キーポイント抽出装置2は、通信装置23を用いて、カメラ1がキーポイント抽出装置2に対して送信した人物画像IMG1を、通信ネットワーク3を介して受信する。
【0028】
その後、画像縮小部211は、ステップS11で取得された人物画像IMG1を縮小する(ステップS12)。その結果、画像縮小部211は、縮小された人物画像IMG1である縮小画像IMG2を生成する(ステップS12)。
【0029】
人物画像IMG1を縮小する動作は、人物画像IMG1を圧縮する動作を意味していてもよい。人物画像IMG1を圧縮する動作は、人物画像IMG1のデータサイズを小さくする動作を意味していてもよい。人物画像IMG1のデータサイズを小さくする動作は、人物画像IMG1を構成する画素の数を減らす動作を意味していてもよい。例えば、人物画像IMG1のデータサイズを1/5にまで小さくする動作は、人物画像IMG1を構成する画素の数を1/5にまで減らす動作を意味していてもよい。
【0030】
画像縮小部211は、所望の縮小率で人物画像IMG1を縮小してもよい。所望の縮小率は、予め定められた固定値であってもよい。所望の縮小率は、可変であってもよい。例えば、キーポイント抽出装置2は、縮小率を変更してもよい。例えば、キーポイント抽出装置2のオペレータ(つまり、ユーザ)は、縮小率を変更してもよい。
【0031】
画像縮小部211は、画像を縮小するための任意の画像縮小方法を用いて、人物画像IMG1を縮小してもよい。例えば、画像縮小部211は、バイキュービック法を用いて、人物画像IMG1を縮小してもよい。例えば、画像縮小部211は、バイリニア法を用いて、人物画像IMG1を縮小してもよい。例えば、画像縮小部211は、最近傍法を用いて、人物画像IMG1を縮小してもよい。
【0032】
その後、キーポイント抽出部212は、ステップS12において生成された縮小画像IMG2から、縮小画像IMG2に写り込んでいる虹彩のキーポイントKPを抽出する(ステップS13)。
【0033】
キーポイントKPは、対象物の特徴的な部分を特定可能な点に相当するキーポイントKPを含んでいてもよい。このため、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩の特徴的な部分を特定可能な点に相当するキーポイントKPを抽出してもよい。例えば、縮小画像IMG2から抽出された虹彩のキーポイントKPの一例を示す
図4に示すように、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩の内側の輪郭(つまり、実質的には、瞳孔の輪郭)を特定可能な点に相当するキーポイントKP1を抽出してもよい。キーポイントKP1は、虹彩の内側の輪郭上に位置する点であってもよい。例えば、
図4に示すように、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩の外側の輪郭を特定可能な点に相当するキーポイントKP2を抽出してもよい。キーポイントKP2は、虹彩の外側の輪郭上に位置する点であってもよい。例えば、
図4に示すように、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩の中心を特定可能な点に相当するキーポイントKP3を抽出してもよい。キーポイントKP3は、虹彩の中心に位置する点であってもよい。尚、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩の中心を特定可能な点に相当するキーポイントKP3に加えて又は代えて、虹彩の中心に位置する瞳孔の中心を特定可能な点に相当するキーポイントKPを抽出してもよい。例えば、
図4に示すように、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩を部分的に隠す可能性があるまぶたの縁を特定可能な点に相当するキーポイントKP4を抽出してもよい。キーポイントKP4は、瞼の縁上に位置する点であってもよい。例えば、
図4に示すように、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩が含まれる目を特定可能な点を特定可能な点に相当するキーポイントKP5を抽出してもよい。一例として、キーポイント抽出部212は、キーポイントKP5として、目頭を特定可能な点に相当するキーポイントKP5-1及び目尻を特定可能な点に相当するキーポイントKP5-2の少なくとも一方を抽出してもよい。
【0034】
キーポイントKPは、対象物の特徴的な部分を特定可能な点に相当するキーポイントKPに加えて又は代えて、対象物の特徴的な部分を特定可能な線に相当するキーポイントKPを含んでいてもよい。このため、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩の特徴的な部分を特定可能な線に相当するキーポイントKPを抽出してもよい。例えば、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩の内側の輪郭を特定可能な線(例えば、虹彩の内側の輪郭に沿って延びる線)に相当するキーポイントKPを抽出してもよい。例えば、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩の外側の輪郭を特定可能な線(例えば、虹彩の外側の輪郭に沿って延びる線)に相当するキーポイントKPを抽出してもよい。例えば、キーポイント抽出部212は、虹彩のキーポイントKPとして、まぶたの縁を特定可能な線(例えば、瞼の縁に沿って延びる線)に相当するキーポイントKPを抽出してもよい。例えば、キーポイント抽出部212は、虹彩のキーポイントKPとして、目尻と目頭とを結ぶ線に相当するキーポイントKPを抽出してもよい。
【0035】
キーポイントKPとして抽出される点及び線の少なくとも一つは、対象物を定量的に特定するために利用可能であってもよい。このため、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩を定量的に特定するために利用可能な点及び線の少なくとも一つに相当するキーポイントKPを抽出してもよい。例えば、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩のサイズを特定するために利用可能な線に相当するキーポイントKPを抽出してもよい。一例として、虹彩の形状が円形である場合には、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩のサイズの一例である虹彩の径(例えば、直径)を特定するために利用可能な線(例えば、虹彩の中心を通過し、且つ、虹彩の外側の輪郭上に両端が存在する線)に相当するキーポイントKPを抽出してもよい。他の一例として、虹彩の形状が楕円形である場合には、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩のサイズの一例である虹彩の長径及び短径の少なくとも一つを特定するために利用可能な線に相当するキーポイントKPを抽出してもよい。虹彩の長径を特定するために利用可能な線は、例えば、虹彩の長軸を示す線を含んでいてもよい。虹彩の短径を特定するために利用可能な線は、例えば、虹彩の短軸を示す線を含んでいてもよい。尚、虹彩の長軸を示す線及び虹彩の短軸を示す線の少なくとも一方が特定された場合には、虹彩の回転角(つまり、虹彩が描く楕円の回転角)が更に特定可能である。このため、虹彩の形状が楕円形である場合には、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩の回転角(つまり、虹彩が描く楕円の回転角)を特定するために利用可能な線に相当するキーポイントKPを抽出してもよい。例えば、キーポイント抽出部212は、虹彩のキーポイントKPとして、虹彩の中心に位置する瞳孔のサイズ(例えば、径)を特定するために利用可能な線に相当するキーポイントKPを抽出してもよい。
【0036】
キーポイント抽出部212は、ニューラルネットワークを用いて、キーポイントKPを抽出してもよい。具体的には、キーポイント抽出部212は、縮小画像IMG2(或いは、人物画像IMG1を含む任意の画像)が入力された場合に縮小画像IMG2(或いは、人物画像IMG1を含む任意の画像)に写り込んでいる虹彩のキーポイントKPを出力可能なニューラルネットワークを用いて、キーポイントKPを抽出してもよい。ニューラルネットワークのパラメータは、ニューラルネットワークのパラメータを学習するための学習画像と、当該学習画像に写り込んでいる虹彩のキーポイントKPの正解ラベル(つまり、学習画像から抽出されるべきキーポイントKPである正解キーポイント)とを含む学習用データを用いて学習されることが好ましい。尚、ニューラルネットワークは、学習可能な学習モデルの一例である。このため、キーポイント抽出部212は、ニューラルネットワークとは異なる任意の学習モデルを用いて、キーポイントKPを抽出してもよい。
【0037】
キーポイントKPを抽出する動作は、縮小画像IMG2内でのキーポイントKPの位置(例えば、縮小画像IMG2内での高さ方向及び幅方向の夫々におけるキーポイントKPの位置)を特定する動作を意味していてもよい。この場合、キーポイント抽出部212は、縮小画像IMG2内でのキーポイントKPの位置を特定してもよい。上述したようにニューラルネットワークを用いてキーポイントKPが抽出される場合には、ニューラルネットワークは、人物画像IMG1内でのキーポイントKPの位置を出力してもよい。
【0038】
再び
図3において、その後、ターゲット領域設定部213は、ステップS13において抽出されたキーポイントKP(つまり、縮小画像IMG2内でのキーポイントKP)に基づいて、人物画像IMG1のうちの一部を指定するターゲット領域TAを設定する(ステップS14)。
【0039】
ターゲット領域設定部213は、縮小画像IMG2内でのキーポイントKPの位置に対応する人物画像IMG1内の位置を特定し、当該特定した位置に基づいて定まる人物画像IMG1内の位置に、ターゲット領域TAを設定してもよい。縮小画像IMG2内において複数のキーポイントKPが抽出された場合には、ターゲット領域設定部213は、複数のキーポイントKPのうちの少なくとも一つに対応する人物画像IMG1内の位置を特定し、当該特定した位置に基づいて定まる人物画像IMG1内の位置に、ターゲット領域TAを設定してもよい。
【0040】
ターゲット領域TAの一例が、
図5に示されている。
図5に示すように、ターゲット領域設定部213は、人物画像IMG1内での虹彩の中心の位置を基点に広がる所望形状の領域を、ターゲット領域TAに設定してもよい。この場合、ターゲット領域設定部213は、縮小画像IMG2内での虹彩の中心を特定するキーポイントKP3に基づいて、人物画像IMG1内での虹彩の中心の位置P3を特定してもよい。例えば、ターゲット領域設定部213は、縮小画像IMG2内での虹彩の中心を特定するキーポイントKP3の位置を、人物画像IMG1内での位置に変換することで、人物画像IMG1内での虹彩の中心の位置P3を特定してもよい。その後、ターゲット領域設定部213は、人物画像IMG1内での虹彩の中心の位置P3を基点に広がる所望形状の領域を、ターゲット領域TAに設定してもよい。つまり、ターゲット領域設定部213は、人物画像IMG1内での虹彩の中心の位置を基点に広がる位置に、所望形状のターゲット領域TAを設定してもよい。
【0041】
図5に示す例では、ターゲット領域設定部213は、矩形(つまり、正方形又は長方形)の形状のターゲット領域TAを設定している。しかしながら、ターゲット領域設定部213は、矩形の形状とは異なる形状のターゲット領域TAを設定してもよい。例えば、ターゲット領域設定部213は、円形の形状のターゲット領域TAを設定してもよい。例えば、ターゲット領域設定部213は、楕円の形状のターゲット領域TAを設定してもよい。例えば、ターゲット領域設定部213は、任意の多角形の形状のターゲット領域TAを設定してもよい。例えば、ターゲット領域設定部213は、任意の形状のターゲット領域TAを設定してもよい。尚、ターゲット領域設定部213は、予め定められた固定サイズのターゲット領域TAを設定するが、後に変形例として詳述するように、ターゲット領域設定部213は、ターゲット領域TAのサイズを変更してもよい。
【0042】
再び
図3において、その後、ターゲット領域設定部213は、人物画像IMG1から、人物画像IMG1のうちのターゲット領域TAに含まれるターゲット画像IMG1_TAを抽出する(つまり、切り出す)(ステップS15)。
【0043】
ここで、ターゲット領域TAの一部が人物画像IMG1と重ならないようにターゲット領域TAが設定されることがある。例えば、上述したように虹彩の中心の位置P3を基点に広がり且つ虹彩の径のN倍のサイズを有するターゲット領域TAが設定される場合には、人物画像IMG1内での虹彩の位置によっては、ターゲット領域TAの一部が人物画像IMG1に重ならない可能性がある。例えば、
図6に示すように、人物画像IMG1内において虹彩が人物画像IMG1の端に近接している場合には、ターゲット領域TAの一部が、人物画像IMG1に重ならない(例えば、ターゲット領域TAの一部が人物画像IMG1からはみ出る)可能性がある。この場合、ターゲット領域設定部213は、人物画像IMG1からはみ出たターゲット領域TAの一部が、パディングされた人物画像IMG1と重なるように、パディングデータを用いて人物画像IMG1を拡大するパディング処理を行ってもよい。この場合、ターゲット領域設定部213は、人物画像IMG1のうちのパディングデータによって拡大された画像部分が、人物画像IMG1からはみ出たターゲット領域TAの一部に重なるように、パディング処理を行ってもよい。尚、パディング処理の方法として、任意の方法が用いられてもよい。パディング処理の方法の一例として、複製法(複製パディング)及び反射法(反射パディング)の少なくとも一つがあげられる。
【0044】
再び
図3において、その後、キーポイント抽出部214は、ステップS15において抽出されたターゲット画像IMG1_TAから、ターゲット画像IMG1_TAに写り込んでいる虹彩のキーポイントKPを抽出する(ステップS16)。つまり、
図7に示すように、キーポイント抽出部214は、人物画像IMG1の全体から虹彩のキーポイントKPを抽出することに代えて、人物画像IMG1の一部であるターゲット画像IMG1_TAから虹彩のキーポイントKPを抽出する。この場合であっても、縮小画像IMG2から抽出された虹彩のキーポイントKPに基づいてターゲット領域TAが設定されるがゆえに、
図7に示すように、ターゲット画像IMG1_TAには、虹彩が適切に写り込んでいる。逆に言えば、ターゲット領域TAは、ターゲット画像IMG1_TAに虹彩が適切に写り込むように(具体的には、必要なキーポイントKPを抽出できる程度にターゲット画像IMG1_TAに虹彩が適切に写り込むように)、設定される。このため、キーポイント抽出部214は、ターゲット画像IMG1_TAから虹彩のキーポイントKPを抽出する場合であっても、人物画像IMG1の全体から虹彩のキーポイントKPを抽出する場合と同様に、必要なキーポイントKPを適切に(典型的には、不足なく)抽出することができる。
【0045】
尚、ステップS16においてキーポイントKPを抽出する動作は、ステップS13においてキーポイントKPを抽出する動作と同一であってもよい。つまり、キーポイント抽出部214は、ステップS13においてキーポイントKPを抽出するキーポイント抽出部212と同様に、ステップS16においてキーポイントKPを抽出してもよい。このため、ステップS16においてキーポイントKPを抽出する動作の詳細な説明は省略する。
【0046】
キーポイント抽出部214は、縮小画像IMG2内でのキーポイントKPの位置を特定するキーポイント抽出部212と同様に、ターゲット画像IMG1_TA内でのキーポイントKPの位置(つまり、人物画像IMG1内でのキーポイントKPの位置)を特定してもよい。この場合、キーポイント抽出部214は、人物画像IMG1内でのキーポイントKPの位置そのもの(つまり、絶対的な位置)を特定してもよい。或いは、キーポイント抽出部214は、縮小画像IMG2内でのキーポイントKPの位置に対する人物画像IMG1内でのキーポイントKPの相対的な位置を特定してもよい。この場合、キーポイント抽出部214は、縮小画像IMG2内でのキーポイントKPの位置を、人物画像IMG1内でのキーポイントKPの位置に補正するための補正量を特定しているとみなしてもよい。
【0047】
その後、ステップS16において抽出されたキーポイントKPは、所望の情報処理(例えば、上述した虹彩認証に関する情報処理)に用いられてもよい。
【0048】
(1-4)キーポイント抽出装置2の技術的効果
以上説明したように、第1実施形態のキーポイント抽出装置2は、人物画像IMG1のうちのターゲット領域TAに含まれるターゲット画像IMG1_TAから、キーポイントKPを抽出する。このため、人物画像IMG1の全体からキーポイントKPを抽出するために必要な時間と比較して、キーポイント抽出装置2がターゲット画像IMG1_TAからキーポイントKPを抽出するために必要な時間は短くなる。更には、キーポイント抽出装置2は、ターゲット領域TAを設定するために縮小画像IMG2の全体からキーポイントKPを抽出しているものの、縮小画像IMG2の全体からキーポイントKPを抽出するために必要な時間は、人物画像IMG1の全体からキーポイントKPを抽出するために必要な時間と比較してずっと短い。このため、キーポイント抽出装置2は、キーポイントKPを相対的に高速に抽出可能である。
【0049】
更には、人物画像IMG1が縮小された画像でないがゆえに、ターゲット画像IMG1_TAも縮小された画像ではない。このため、ターゲット画像IMG1_TAから抽出されるキーポイントKPは、縮小画像IMG2から抽出されるキーポイントKPよりも精度が高い。具体的には、ターゲット画像IMG1_TAから抽出されるキーポイントKPと実際のキーポイントKPとのずれ量(例えば、位置ずれ量)は、縮小画像IMG2から抽出されるキーポイントKPと実際のキーポイントKPとのずれ量よりも小さくなる。このため、キーポイント抽出装置2は、キーポイントKPを精度よく抽出可能である。
【0050】
このように、キーポイント抽出装置2は、キーポイントKPを相対的に高速に抽出しつつ、キーポイントKPを精度よく抽出可能である。つまり、キーポイント抽出装置2は、キーポイントKPを抽出するために必要な時間の短縮と、抽出されたキーポイントKPの精度の向上との両立を図ることができる。
【0051】
尚、ターゲット領域TAを設定することなく、縮小画像IMG2からキーポイントKPを抽出するだけの第1比較例のキーポイント抽出装置は、キーポイントKPを相対的に高速に抽出可能であるものの、抽出されるキーポイントKPの精度が低いという技術的問題を有している。一方で、ターゲット領域TAを設定することなく、人物画像IMG1の全体からキーポイントKPを抽出するだけの第2比較例のキーポイント抽出装置は、抽出されるキーポイントKPの精度が高いものの、キーポイントKPを相対的に高速に抽出することができないという技術的問題を有している。つまり、第1比較例のキーポイント抽出装置及び第2比較例のキーポイント抽出装置は、いずれも、キーポイントKPを抽出するために必要な時間の短縮と、抽出されたキーポイントKPの精度の向上との両立を図ることができないという技術的問題を有している。しかるに、第1実施形態のキーポイント抽出装置2は、キーポイントKPを抽出するために必要な時間の短縮と、抽出されたキーポイントKPの精度の向上との両立を図ることができる。従って、第1実施形態のキーポイント抽出装置2は、第1比較例のキーポイント抽出装置及び第2比較例のキーポイント抽出装置が有している技術的問題を解決可能である。
【0052】
(1-5)キーポイント抽出装置2の変形例
(1-5-1)第1変形例
上述した説明では、キーポイント抽出装置2は、縮小画像IMG2からキーポイントKPを抽出可能なキーポイント抽出部212と、ターゲット画像IMG1_TAからキーポイントKPを抽出可能なキーポイント抽出部214とを別々に備えている。しかしながら、キーポイント抽出装置2は、キーポイント抽出部212及び214に代えて、縮小画像IMG2及びターゲット画像IMG1_TAの夫々からキーポイントKPを抽出可能な単一のキーポイント抽出部を備えていてもよい。
【0053】
(1-5-2)第2変形例
上述した説明では、ターゲット領域設定部213は、予め定められた固定サイズのターゲット領域TAを設定している。しかしながら、ターゲット領域設定部213は、必要に応じて、ターゲット領域TAのサイズを変更してもよい。つまり、ターゲット領域TAのサイズが可変であってもよい。尚、ターゲット領域TAの形状が矩形の形状である場合には、ターゲット領域TAのサイズは、ターゲット領域TAの高さ方向のサイズ及びターゲット領域TAの幅方向のサイズの少なくとも一つを含んでいてもよい。ターゲット領域TAの形状が円形の形状である場合には、ターゲット領域TAのサイズは、ターゲット領域TAの径(例えば、直径)を含んでいてもよい。ターゲット領域TAの形状が楕円の形状である場合には、ターゲット領域TAのサイズは、ターゲット領域TAの長径及び短径の少なくとも一つを含んでいてもよい。
【0054】
以下、ターゲット領域TAのサイズを変更する動作の具体例について説明する。尚、ターゲット領域設定部213は、ターゲット領域TAのサイズを変更する際に、以下に説明する動作の全てを行わなくてもよい。ターゲット領域設定部213は、ターゲット領域TAのサイズを変更する際に、以下に説明する動作の少なくとも一部を選択的にを行ってもよい。
【0055】
ターゲット領域設定部213は、縮小画像IMG2内でのキーポイントKPに基づいて、ターゲット領域TAのサイズを変更してもよい。
【0056】
一例として、上述したように、虹彩の径(例えば、直径)を特定するために利用可能な(つまり、虹彩の径(例えば、直径)を特定可能な)キーポイントKPが抽出されている場合には、ターゲット領域設定部213は、ターゲット領域TAのサイズが、虹彩の径のN倍になるように、ターゲット領域TAのサイズを変更してもよい。倍率Nは、例えば1よりも大きくてもよい。例えば、
図5に示す例において倍率N=2である場合には、ターゲット領域TAの高さ方向のサイズ(
図5における縦方向のサイズ)は、虹彩の直径の2倍であってもよいし、ターゲット領域TAの幅方向のサイズ(
図5における横方向のサイズ)は、虹彩の直径の2倍であってもよい。
【0057】
他の一例として、上述したように、まぶたの縁を特定可能なキーポイントKPが抽出されている場合には、ターゲット領域設定部213は、まぶたの位置に基づいて、ターゲット領域TAの高さ方向のサイズを変更してもよい。具体的には、ターゲット領域設定部213は、例えば、ターゲット領域TAの高さ方向に沿って対向する二つの辺(
図5中の上下方向に沿って対向する二つの辺)の少なくとも一つがまぶたの縁に近づくように、ターゲット領域TAのサイズを変更してもよい。例えば、ターゲット領域設定部213は、例えば、ターゲット領域TAの高さ方向に沿って対向する二つの辺のうちの上側の辺が上まぶたの縁に近づくように、ターゲット領域TAのサイズを変更してもよい。例えば、ターゲット領域設定部213は、例えば、ターゲット領域TAの高さ方向に沿って対向する二つの辺のうちの下側の辺が下まぶたの縁に近づくように、ターゲット領域TAのサイズを変更してもよい。
【0058】
尚、ターゲット領域TAは、典型的には虹彩と虹彩の周辺の画像部分とを含むように設定されるがゆえに、“周辺領域”と称されてもよい。
【0059】
このように、第2変形例では、キーポイント抽出装置2は、ターゲット領域TAのサイズを変更可能である。このため、ターゲット領域TAのサイズが固定されている(つまり、変更可能でない)場合と比較して、キーポイント抽出装置2が設定するターゲット領域TAのサイズが必要以上に大きくなる可能性は低くなる。このため、キーポイントKPを抽出するために用いられるターゲット画像IMG1_TAが必要以上に大きくなる可能性は低くなる。このため、キーポイント抽出装置2は、人物画像IMG1に写り込んでいるキーポイントKPを相対的に高速に抽出可能である。更には、キーポイント抽出装置2が設定するターゲット領域TAのサイズが必要以上に小さくなる可能性もまた低くなる。このため、ターゲット領域TAに虹彩の一部が写り込んでいないことに起因して、ターゲット画像IMG1_TAから必要なキーポイントKPが抽出できなくなる事態が生ずる可能性は低くなる。このため、キーポイント抽出装置2は、人物画像IMG1に写り込んでいるキーポイントKPを適切に(典型的には、不足なく)抽出可能である。
【0060】
また、第2変形例では、キーポイント抽出装置2は、縮小画像IMG2から抽出されたキーポイントKPに基づいて、ターゲット領域TAのサイズを変更可能である。縮小画像IMG2から抽出されたキーポイントKPが虹彩に関する情報を含んでいるがゆえに、キーポイント抽出装置2は、実際の虹彩に関する情報に基づいて、ターゲット領域TAのサイズを変更可能である。このため、縮小画像IMG2から抽出されたキーポイントKPを用いることなくターゲット領域TAのサイズが変更される場合と比較して、キーポイント抽出装置2が設定するターゲット領域TAのサイズが必要以上に大きくなる又は小さくなる可能性はより一層低くなる。このため、キーポイント抽出装置2は、人物画像IMG1に写り込んでいるキーポイントKPを相対的に高速に且つ適切に(典型的には、不足なく)抽出可能である。
【0061】
また、第2変形例では、キーポイント抽出装置2は、ターゲット領域TAのサイズを、虹彩のサイズに応じたサイズに変更可能である。このため、虹彩のサイズを考慮することなくターゲット領域TAのサイズが変更される場合と比較して、キーポイント抽出装置2が設定するターゲット領域TAのサイズが必要以上に大きくなる又は小さくなる可能性はより一層低くなる。このため、キーポイント抽出装置2は、人物画像IMG1に写り込んでいるキーポイントKPを相対的に高速に且つ適切に(典型的には、不足なく)抽出可能である。
【0062】
(2)第2実施形態のキーポイント抽出システムSYS
続いて、第2実施形態のキーポイント抽出システムSYSについて説明する。尚、以下の説明では、第2実施形態のキーポイント抽出システムSYSを、“キーポイント抽出システムSYSb”と称する。
【0063】
第2実施形態のキーポイント抽出システムSYSbは、上述した第1実施形態のキーポイント抽出システムSYSaと比較して、キーポイント抽出装置2に代えて、キーポイント抽出装置2bを備えるという点で異なる。キーポイント抽出システムSYSbのその他の特徴は、キーポイント抽出システムSYSaのその他の特徴と同一であってもよい。このため、以下では、第2実施形態のキーポイント抽出装置2bについて主として説明する。尚、既に説明済みの構成要件については、同一の参照符号を付することで、その詳細な説明を省略する。また、既に説明済みの処理については、同一のステップ番号を付することで、その詳細な説明を省略する。
【0064】
(2-1)キーポイント抽出装置2bの構成
初めに、
図8を参照しながら、第2実施形態のキーポイント抽出装置2bの構成について説明する。
図8は、第2実施形態のキーポイント抽出装置2bの構成を示すブロック図である。
【0065】
図8に示すように、第2実施形態のキーポイント抽出装置2bは、第1実施形態のキーポイント抽出装置2と比較して、キーポイント抽出動作を実行するためにキーポイント抽出装置2bの演算装置21内に実現される論理的な機能ブロックが、キーポイント抽出装置2の演算装置21内に実現される論理的な機能ブロックとは異なるという点で異なっている。キーポイント抽出装置2bのその他の特徴は、キーポイント抽出装置2のその他の特徴と同一であってもよい。
【0066】
図8に示すように、第2実施形態では、演算装置21内には、「第3抽出手段」の一具体例であるキーポイント抽出部215と、「画像変換手段」の一具体例である画像変換部216と、キーポイント抽出部217とが実現される。尚、キーポイント抽出部215、画像変換部216及びキーポイント抽出部217の夫々の動作については後に詳述するが、ここでその概要を簡単に説明する。キーポイント抽出部212は、人物画像IMG1から、人物画像IMG1に写り込んでいる対象物(第2実施形態では、虹彩)のキーポイントKPを抽出可能である。画像変換部216は、キーポイント抽出部215が抽出したキーポイントKPに基づいて人物画像IMG1を変換する画像変換処理を行うことで、変換画像IMG3を生成可能である。キーポイント抽出部217は、変換画像IMG3から、変換画像IMG3に写り込んでいる対象物(第2実施形態では、虹彩)のキーポイントKPを抽出可能である。
【0067】
(2-2)キーポイント抽出装置2bが行うキーポイント抽出動作の流れ
続いて、
図9を参照しながら、第2実施形態のキーポイント抽出装置2bが行うキーポイント抽出動作の流れについて説明する。
図9は、第2実施形態のキーポイント抽出装置2bが行うキーポイント抽出動作の流れを示すフローチャートである。
【0068】
図9に示すように、キーポイント抽出装置2bは、カメラ1から人物画像IMG1を取得する(ステップS11)。
【0069】
その後、キーポイント抽出部215は、ステップS11において取得された人物画像IMG1から、人物画像IMG1に写り込んでいる虹彩のキーポイントKPを抽出する(ステップS21)。尚、ステップS21においてキーポイントKPを抽出する動作は、
図3のステップS13及びステップS16の少なくとも一つにおいてキーポイントKPを抽出する動作と同一であってもよい。つまり、キーポイント抽出部215は、
図3のステップS13においてキーポイントKPを抽出するキーポイント抽出部212及び
図3のステップS16においてキーポイントKPを抽出するキーポイント抽出部214の少なくとも一つと同様に、ステップS21においてキーポイントKPを抽出してもよい。このため、ステップS21においてキーポイントKPを抽出する動作の詳細な説明は省略する。
【0070】
その後、画像変換部216は、ステップS21において抽出されたキーポイントKPに基づいて人物画像IMG1を変換する画像変換処理を行う(ステップS22)。その結果、画像変換部216は、画像変換処理が行われた人物画像IMG1である変換画像IMG3を生成する(ステップS22)。
【0071】
ステップS22における画像変換処理は、人物画像IMG1に写り込んでいる虹彩の特性を変更する処理を含んでいてもよいし、含んでいなくてもよい。ステップS22における画像変換処理は、人物画像IMG1に写り込んでいる虹彩の特性を正規化する処理を含んでいてもよいし、含んでいなくてもよい。虹彩の特性は、虹彩のサイズ(例えば、径)を含んでいてもよいし、含んでいなくてもよい。虹彩の特性は、虹彩の位置を含んでいてもよい。虹彩の特性は、虹彩の向き(言い換えれば角度であり、例えば、目尻と目頭とを結ぶ線と水平線とがなす角度)を含んでいてもよいし、含んでいなくてもよい。
【0072】
或いは、ステップS22における画像変換処理は、人物画像IMG1に写り込んでいる虹彩の特性を変更する処理に加えて又は代えて、人物画像IMG1の特性を変更する処理を含んでいてもよいし、含んでいなくてもよい。ステップS22における画像変換処理は、人物画像IMG1の特性を正規化する処理を含んでいてもよいし、含んでいなくてもよい。
【0073】
ステップS22における画像変換処理は、複数の人物画像IMG1から複数の変換画像IMG3が変換される状況下において、複数の変換画像IMG3に夫々写り込んでいる複数の虹彩の特性の間のばらつきを小さくするための処理を含んでいてもよいし、含んでいなくてもよい。つまり、ステップS22における画像変換処理は、複数の人物画像IMG1に夫々写り込んでいる複数の虹彩の特性の間のばらつきよりも、複数の変換画像IMG3に夫々写り込んでいる複数の虹彩の特性の間のばらつきを小さくするための処理を含んでいてもよいし、含んでいなくてもよい。
【0074】
ステップS22における画像変換処理は、複数の人物画像IMG1から複数の変換画像IMG3が変換されたと仮定した状況下において、複数の変換画像IMG3の特性の間のばらつきを小さくするための処理を含んでいてもよいし、含んでいなくてもよい。つまり、ステップS22における画像変換処理は、複数の人物画像IMG1の特性の間のばらつきよりも、複数の変換画像IMG3の特性の間のばらつきを小さくするための処理を含んでいてもよいし、含んでいなくてもよい。
【0075】
その後、キーポイント抽出部217は、ステップS22において生成された変換画像IMG3から、変換画像IMG3に写り込んでいる虹彩のキーポイントKPを抽出する(ステップS23)。尚、ステップS23においてキーポイントKPを抽出する動作は、ステップS21においてキーポイントKPを抽出する動作と同一であってもよい。つまり、キーポイント抽出部217は、ステップS21においてキーポイントKPを抽出するキーポイント抽出部215と同様に、ステップS23においてキーポイントKPを抽出してもよい。このため、ステップS23においてキーポイントKPを抽出する動作の詳細な説明は省略する。
【0076】
(2-3)キーポイント抽出装置2bの技術的効果
以上説明したように、第2実施形態のキーポイント抽出装置2bは、人物画像IMG1から抽出したキーポイントKPに基づいて人物画像IMG1を変換する画像変換処理を行うことで、変換画像IMG3を生成し、変換画像IMG3から、キーポイントKPを抽出する。このため、キーポイント抽出装置2bは、虹彩が所望の態様で写り込んだ変換画像IMG3から、キーポイントKPを抽出することができる。このため、キーポイント抽出装置2bは、虹彩が所望の態様で写り込んでいるとは限らない人物画像IMG1からキーポイントKPを抽出する第3比較例のキーポイント抽出装置と比較して、キーポイントKPを精度よく抽出可能である。
【0077】
(2-4)キーポイント抽出装置2bの変形例
(2-4-1)第1変形例
図9のステップS22における画像変換処理は、人物画像IMG1に対して幾何学的変換を行う処理を含んでいてもよい。一例として、ステップS22における画像変換処理は、人物画像IMG1に対してアフィン変換を行う処理を含んでいてもよい。つまり、ステップS22における画像変換処理は、人物画像IMG1を縦方向及び幅方向の少なくとも一方に平行移動させる平行移動処理、人物画像IMG1を回転させる回転処理、及び、人物画像IMG1を拡大又は縮小させるスケーリング処理のうちの少なくとも一つを含んでいてもよい。以下、
図10から
図12を参照しながら、人物画像IMG1を平行移動する平行移動処理、人物画像IMG1を回転する回転処理、人物画像IMG1を拡大又は縮小するスケーリング処理の夫々の一例について説明する。
【0078】
図10は、人物画像IMG1を平行移動する平行移動処理を模式的に示している。
図10に示すように、画像変換部216は、人物画像IMG1を平行移動することで人物画像IMG1に写り込んでいる虹彩を平行移動してもよい(つまり、虹彩の位置を変更してもよい)。例えば、画像変換部216は、虹彩の中心を特定可能なキーポイントKP3に基づいて、虹彩の中心が人物画像IMG1の中心に近づくように、人物画像IMG1を平行移動してもよい。その結果、変換画像IMG3内における変換画像IMG3の中心と虹彩の中心との間の距離は、画像変換処理が行われる前の人物画像IMG1内における人物画像IMG1の中心と虹彩の中心との間の距離よりも短くなる。この場合、画像変換部216は、虹彩の中心を特定可能なキーポイントKP3に基づいて、虹彩の中心が人物画像IMG1の中心に位置するように、人物画像IMG1を平行移動してもよい。その結果、変換画像IMG3内において、画像変換処理が行われる前には人物画像IMG1の中心に位置していなかった虹彩の中心が、変換画像IMG3の中心に位置してもよい。
【0079】
この場合、複数の人物画像IMG1から複数の変換画像IMG3が変換される状況下において、変換画像IMG3に写り込んでいる虹彩の中心の位置が複数の変換画像IMG3の間で概ね一致する。ここで、虹彩の中心の位置が大きくばらついている複数の変換画像IMG3の夫々からキーポイント抽出装置2bが虹彩のキーポイントKPを抽出する場合には、キーポイント抽出装置2bは、虹彩の中心の位置のばらつきに起因して、虹彩の中心が第1位置に位置している変換画像IMG3からキーポイントKPを適切に抽出することができる一方で、虹彩の中心が第1位置とは異なる第2位置に位置している変換画像IMG3からキーポイントKPを適切に抽出することができない可能性がある。しかるに、第1変形例では、複数の変換画像IMG3の間で虹彩の中心の位置が概ね一致しているため、キーポイント抽出装置2bは、複数の変換画像IMG3の夫々から適切に虹彩のキーポイントKPを抽出することができる。
【0080】
図11は、人物画像IMG1を回転する回転処理を模式的に示している。
図11に示すように、画像変換部216は、人物画像IMG1を回転することで人物画像IMG1に写り込んでいる虹彩を回転してもよい(つまり、虹彩の向きを変更してもよい)。例えば、画像変換部216は、目頭を特定可能なキーポイントKP5-1及び目尻を特定可能なキーポイントKP5-2に基づいて(或いは、目尻と目頭とを結ぶ線を特定可能なキーポイントKPに基づいて)、目尻と目頭とを結ぶ線が人物画像IMG1内で水平に近づくように、人物画像IMG1を回転してもよい。その結果、変換画像IMG3内における目尻と目頭とを結ぶ線は、画像変換処理が行われる前の人物画像IMG1内における目尻と目頭とを結ぶ線よりも水平に近くなる。この場合、画像変換部216は、目尻と目頭とを結ぶ線が人物画像IMG1内で水平になるように、人物画像IMG1を回転してもよい。その結果、変換画像IMG3内において、画像変換処理が行われる前には水平ではなかった目尻と目頭とを結ぶ線が、水平になってもよい。
【0081】
この場合、複数の人物画像IMG1から複数の変換画像IMG3が変換される状況下において、変換画像IMG3に写り込んでいる虹彩の向き(ここでは、目頭と目尻とを結ぶ線が延びる方向)が複数の変換画像IMG3の間で概ね一致する。ここで、虹彩の向きが大きくばらついている複数の変換画像IMG3の夫々からキーポイント抽出装置2bが虹彩のキーポイントKPを抽出する場合には、キーポイント抽出装置2bは、虹彩の向きのばらつきに起因して、虹彩の向きが第1向きである(例えば、目頭と目尻とを結ぶ線が延びる方向が、水平方向に近い)変換画像IMG3からキーポイントKPを適切に抽出することができる一方で、虹彩の向きが第1向きとは異なる第2向きである(例えば、目頭と目尻とを結ぶ線が延びる方向が、水平方向とは大きく異なる)変換画像IMG3からキーポイントKPを適切に抽出することができない可能性がある。しかるに、第1変形例では、複数の変換画像IMG3の間で虹彩の向きが概ね一致しているため、キーポイント抽出装置2bは、複数の変換画像IMG3の夫々から適切に虹彩のキーポイントKPを抽出することができる。
【0082】
図12は、人物画像IMG1を拡大又は縮小するスケーリング処理を模式的に示している。
図12に示すように、画像変換部216は、人物画像IMG1を拡大又は縮小することで人物画像IMG1に写り込んでいる虹彩を拡大又は縮小してもよい(つまり、虹彩のサイズを変更してもよい)。例えば、画像変換部216は、虹彩の外側の輪郭を特定可能なキーポイントKP2に基づいて(或いは、虹彩のサイズを特定するために利用可能なキーポイントKPに基づいて)、人物画像IMG1内で虹彩のサイズが所定サイズに近づくように、人物画像IMG1を拡大又は縮小してもよい。その結果、変換画像IMG3内における虹彩のサイズと所定サイズとのずれ量は、画像変換処理が行われる前の人物画像IMG1内における虹彩のサイズと所定サイズとのずれ量よりも小さくなる。この際、画像変換部216は、人物画像IMG1内で虹彩のサイズが所定サイズになるように、人物画像IMG1を回転してもよい。その結果、変換画像IMG3内において、画像変換処理が行われる前には所定サイズではなかった虹彩のサイズが、所定サイズになってもよい。尚、虹彩のサイズが所定サイズになるように人物画像IMG1を拡大又は縮小する処理は、虹彩のサイズを正規化する処理であるとみなしてもよい。
【0083】
この場合、複数の人物画像IMG1から複数の変換画像IMG3が変換される状況下において、変換画像IMG3に写り込んでいる虹彩のサイズが複数の変換画像IMG3の間で概ね一致する。ここで、虹彩のサイズが大きくばらついている複数の変換画像IMG3の夫々からキーポイント抽出装置2bが虹彩のキーポイントKPを抽出する場合には、キーポイント抽出装置2bは、虹彩のサイズのばらつきに起因して、虹彩のサイズが第1サイズである変換画像IMG3からキーポイントKPを適切に抽出することができる一方で、虹彩のサイズが第1サイズとは異なる第2サイズである変換画像IMG3からキーポイントKPを適切に抽出することができない可能性がある。しかるに、第1変形例では、複数の変換画像IMG3の間で虹彩のサイズが概ね一致しているため、キーポイント抽出装置2bは、複数の変換画像IMG3の夫々から適切に虹彩のキーポイントKPを抽出することができる。
【0084】
(2-4-2)第2変形例
図9におけるステップS22における画像変換処理が、人物画像IMG1の特性を変更する処理を含んでいてもよいことは上述したとおりである。第2変形例では、人物画像IMG1の特性は、人物画像IMG1の輝度を含んでいてもよい。特に、人物画像IMG1の特性は、人物画像IMG1のうちの虹彩に相当する画像部分の輝度を含んでいてもよい。この場合、ステップS22における画像変換処理は、人物画像IMG1の輝度を正規化する処理として、人物画像IMG1の最大輝度及び最小輝度を夫々所定の輝度上限値及び輝度下限値に設定する処理を含んでいてもよい。
【0085】
この場合、複数の人物画像IMG1から複数の変換画像IMG3が変換される状況下において、変換画像IMG3の輝度のレンジ(つまり、最大輝度から最小輝度までのレンジ)が概ね一致する。例えば、変換画像IMG3のうちの虹彩に相当する画像部分の輝度のレンジ(つまり、最大輝度から最小輝度までのレンジ)が概ね一致する。ここで、輝度のレンジが大きくばらついている複数の変換画像IMG3の夫々からキーポイント抽出装置2bが虹彩のキーポイントKPを抽出する場合には、キーポイント抽出装置2bは、輝度のレンジのばらつきに起因して、輝度が第1レンジに収まる変換画像IMG3からキーポイントKPを適切に抽出することができる一方で、輝度が第1レンジとは異なる第2レンジに収まる変換画像IMG3からキーポイントKPを適切に抽出することができない可能性がある。しかるに、第2実施形態では、複数の変換画像IMG3の間で輝度のレンジが概ね一致しているため、キーポイント抽出装置2bは、複数の変換画像IMG3の夫々から適切に虹彩のキーポイントKPを抽出することができる。
【0086】
(2-4-3)その他の変形例
キーポイント抽出装置2bは、変換画像IMG3を生成した後、変換画像IMG3からキーポイントKPを抽出し、且つ、抽出したキーポイントKPに基づいて変換画像IMG3を変換する画像変換処理を行うことで新たな変換画像IMG3を生成する(この場合、再生成する)動作を行ってもよい。つまり、キーポイント抽出装置2bは、
図9のステップS22において変換画像IMG3を生成した後に、生成した変換画像IMG3を用いて
図9のステップS21からS22までの動作を少なくとも1回行ってもよい。キーポイント抽出装置2bは、
図9のステップS22において変換画像IMG3を生成した後に、生成した変換画像IMG3を用いて
図9のステップS21からS22までの動作を2回以上繰り返してもよい。この場合、変換画像IMG3内で、虹彩が所望の態様で写り込む可能性が高くなる。例えば、虹彩の中心が変換画像IMG3の中心に位置する、目頭と目尻とを結ぶ線が水平になる、虹彩のサイズが所定サイズとなる、及び/又は、最大輝度及び最大輝度が夫々輝度上限値及び輝度下限値になる可能性が高くなる。その結果、キーポイント抽出装置2bは、虹彩が所望の態様で写り込んだ変換画像IMG3から、キーポイントKPを適切に抽出することができる。
【0087】
図9のステップS21においてキーポイント抽出部215が抽出するキーポイントKPは、主として、画像変換部216が画像変換処理を行うために用いられる。この場合、キーポイントKPの精度が必ずしも高くなくてもよい。そこで、
図9のステップS21において、キーポイント抽出部215は、人物画像IMG1に代えて、人物画像IMG1を縮小することで得られる画像(例えば、第1実施形態の縮小画像IMG2)から、キーポイントKPを抽出してもよい。
【0088】
図9のステップS21においてキーポイント抽出部215が抽出するキーポイントKPの種類と、
図9のステップS23においてキーポイント抽出部217が抽出するキーポイントKPの種類とは、同じであってもよい。
【0089】
或いは、
図9のステップS21においてキーポイント抽出部215が抽出するキーポイントKPの種類と、
図9のステップS23においてキーポイント抽出部217が抽出するキーポイントKPの種類とは、少なくとも部分的に異なっていてもよい。例えば、
図9のステップS21において、キーポイント抽出部215は、画像変換部216が画像変換処理を行うために必要な種類のキーポイントKPを少なくとも抽出してもよい。一例として、
図9のステップS21において、キーポイント抽出部215は、上述した平行移動処理を行うために必要な、虹彩の中心を特定可能なキーポイントKP3を抽出してもよい。他の一例として、
図9のステップS21において、キーポイント抽出部215は、上述した回転処理を行うために必要な、目頭を特定可能なキーポイントKP5-1及び目尻を特定可能なキーポイントKP5-2(或いは、目尻と目頭とを結ぶ線を特定可能なキーポイントKP)を抽出してもよい。他の一例として、
図9のステップS21において、キーポイント抽出部215は、上述したスケーリング処理を行うために必要な、虹彩のサイズを特定可能なキーポイントKPを抽出してもよい。但し、
図9のステップS21において、キーポイント抽出部215は、画像変換部216が画像変換処理を行うためには必ずしも必要でないキーポイントKPを抽出してもよい。一方で、
図9のステップS23において、キーポイント抽出部217は、
図9のステップS21においてキーポイント抽出部215が抽出していないキーポイントKPを抽出してもよい。或いは、
図9のステップS23において、キーポイント抽出部217は、キーポイント抽出部215が抽出していないキーポイントKPに加えて又は代えて、
図9のステップS21においてキーポイント抽出部215が抽出済みのキーポイントKPを抽出してもよい。
【0090】
或いは、人物画像IMG1に対して画像変換処理を行うことで変換画像IMG3が生成されることを考慮すれば、
図9のステップS23においてキーポイント抽出部217が抽出するキーポイントKPは、
図9のステップS21においてキーポイント抽出部215が抽出するキーポイントKPに対して、画像変換処理に応じた座標変換を行うことで得られるキーポイントKPと概ね一致する。このため、
図9のステップS23において、キーポイント抽出部217は、
図9のステップS21においてキーポイント抽出部215が抽出するキーポイントKPに対して、画像変換処理に応じた座標変換を行うことで、キーポイントKPを抽出(この場合、算出)してもよい。
【0091】
上述した説明では、キーポイント抽出装置2bは、人物画像IMG1からキーポイントKPを抽出可能なキーポイント抽出部215と、変換画像IMG3からキーポイントKPを抽出可能なキーポイント抽出部217とを別々に備えている。しかしながら、キーポイント抽出装置2は、キーポイント抽出部215及び217に代えて、人物画像IMG1及び変換画像IMG3の夫々からキーポイントKPを抽出可能な単一のキーポイント抽出部を備えていてもよい。
【0092】
(3)第3実施形態のキーポイント抽出システムSYS
続いて、第3実施形態のキーポイント抽出システムSYSについて説明する。尚、以下の説明では、第3実施形態のキーポイント抽出システムSYSを、“キーポイント抽出システムSYSc”と称する。
【0093】
第3実施形態のキーポイント抽出システムSYScは、上述した第1実施形態のキーポイント抽出システムSYSaと比較して、キーポイント抽出装置2に代えて、キーポイント抽出装置2cを備えるという点で異なる。キーポイント抽出システムSYScのその他の特徴は、キーポイント抽出システムSYSaのその他の特徴と同一であってもよい。このため、以下では、第3実施形態のキーポイント抽出装置2cについて主として説明する。
【0094】
(3-1)キーポイント抽出装置2cの構成
初めに、
図13を参照しながら、第3実施形態のキーポイント抽出装置2cの構成について説明する。
図13は、第3実施形態のキーポイント抽出装置2cの構成を示すブロック図である。
【0095】
図13に示すように、第3実施形態のキーポイント抽出装置2cは、第1実施形態のキーポイント抽出装置2と比較して、キーポイント抽出動作を実行するためにキーポイント抽出装置2cの演算装置21内に実現される論理的な機能ブロックが、キーポイント抽出装置2の演算装置21内に実現される論理的な機能ブロックとは異なるという点で異なっている。キーポイント抽出装置2cのその他の特徴は、キーポイント抽出装置2のその他の特徴と同一であってもよい。
【0096】
図13に示すように、第3実施形態では、演算装置21内には、第1実施形態で説明した画像縮小部211、キーポイント抽出部212、ターゲット領域設定部213及びキーポイント抽出部214に加えて、第2実施形態で説明したキーポイント抽出部215及び画像変換部216が実現される。つまり、第3実施形態のキーポイント抽出装置2cは、第1実施形態のキーポイント抽出装置2と第2実施形態のキーポイント抽出装置2bとの組み合わせであるとみなしてもよい。
【0097】
(3-2)キーポイント抽出装置2cが行うキーポイント抽出動作の流れ
続いて、
図14を参照しながら、第3実施形態のキーポイント抽出装置2cが行うキーポイント抽出動作の流れについて説明する。
図14は、第3実施形態のキーポイント抽出装置2cが行うキーポイント抽出動作の流れを示すフローチャートである。
【0098】
図14に示すように、キーポイント抽出装置2cは、まず、第2実施形態のキーポイント抽出動作の一部を行う(ステップS11からステップS22)。具体的には、キーポイント抽出装置2cは、カメラ1から人物画像IMG1を取得する(ステップS11)。その後、キーポイント抽出部215は、ステップS11において取得された人物画像IMG1から、人物画像IMG1に写り込んでいる虹彩のキーポイントKPを抽出する(ステップS21)。その後、画像変換部216は、ステップS21において抽出されたキーポイントKPに基づいて人物画像IMG1を変換する画像変換処理を行うことで、変換画像IMG3を生成する(ステップS22)。
【0099】
その後、キーポイント抽出装置2cは、人物画像IMG1に代えて変換画像IMG3を用いて、第1実施形態のキーポイント抽出動作を行う(ステップS12からステップS16)。具体的には、画像縮小部211は、ステップS22で生成された変換画像IMG3を縮小する(ステップS12)。その後、キーポイント抽出部212は、ステップS12において生成された縮小画像IMG2から、キーポイントKPを抽出する(ステップS13)。その後、ターゲット領域設定部213は、ステップS13において抽出されたキーポイントKPに基づいて、変換画像IMG3のうちの一部を指定するターゲット領域TAを設定する(ステップS14)。その後、ターゲット領域設定部213は、変換画像IMG3から、変換画像IMG3のうちのターゲット領域TAに含まれる画像部分を、ターゲット画像IMG1_TAとして抽出する(ステップS15)。その後、キーポイント抽出部214は、ステップS15において抽出されたターゲット画像IMG1_TAから、キーポイントKPを抽出する(ステップS16)。
【0100】
(3-3)キーポイント抽出装置2cの技術的効果
以上説明したように、第3実施形態のキーポイント抽出装置2cは、第2実施形態のキーポイント抽出動作を行った後に、第1実施形態のキーポイント抽出動作を行う。このため、第3実施形態のキーポイント抽出装置2cは、第1実施形態のキーポイント抽出装置2が享受可能な効果と同様の効果、及び、第2実施形態のキーポイント抽出装置2bが享受可能な効果と同様の効果を享受可能である。
【0101】
(3-4)キーポイント抽出装置2cの変形例
上述した説明では、キーポイント抽出装置2cは、縮小画像IMG2からキーポイントKPを抽出可能なキーポイント抽出部212と、ターゲット画像IMG1_TAからキーポイントKPを抽出可能なキーポイント抽出部214と、人物画像IMG1からキーポイントKPを抽出可能なキーポイント抽出部215とを別々に備えている。しかしながら、キーポイント抽出装置2は、キーポイント抽出部212、214及び215の少なくとも二つに代えて、人物画像IMG1、縮小画像IMG2及びターゲット画像IMG1_TAの少なくとも二つからキーポイントKPを抽出可能な単一のキーポイント抽出部を備えていてもよい。
【0102】
(4)第4実施形態のキーポイント抽出システムSYS
続いて、第4実施形態のキーポイント抽出システムSYSについて説明する。尚、以下の説明では、第4実施形態のキーポイント抽出システムSYSを、“キーポイント抽出システムSYSd”と称する。
【0103】
第4実施形態のキーポイント抽出システムSYSdは、上述した第2実施形態のキーポイント抽出システムSYSbと比較して、キーポイント抽出装置2bに代えて、キーポイント抽出装置2dを備えるという点で異なる。キーポイント抽出システムSYSdのその他の特徴は、キーポイント抽出システムSYSbのその他の特徴と同一であってもよい。このため、以下では、第4実施形態のキーポイント抽出装置2dについて主として説明する。
【0104】
(4-1)キーポイント抽出装置2dの構成
初めに、
図15を参照しながら、第4実施形態のキーポイント抽出装置2dの構成について説明する。
図15は、第4実施形態のキーポイント抽出装置2dの構成を示すブロック図である。
【0105】
図15に示すように、第4実施形態のキーポイント抽出装置2dは、第2実施形態のキーポイント抽出装置2bと比較して、演算装置21内に、特徴量抽出部218及び虹彩認証部219が実現されるという点で異なる。キーポイント抽出装置2dのその他の特徴は、キーポイント抽出装置2bのその他の特徴と同一であってもよい。
【0106】
尚、特徴量抽出部218及び虹彩認証部219の夫々の動作については後に詳述するが、ここでその概要を簡単に説明する。特徴量抽出部218は、虹彩のキーポイントKPに基づいて、虹彩の特徴量を抽出する。虹彩認証部219は、特徴量抽出部218が抽出した虹彩の特徴量に基づいて、人物画像に写り込んだ人物を認証する。
【0107】
このように、第4実施形態のキーポイント抽出装置2dは、抽出したキーポイントKPに基づいて、虹彩認証を行うことが可能である。このため、第4実施形態のキーポイント抽出装置2dは、虹彩認証装置と称されてもよい。第4実施形態のキーポイント抽出装置2dが行うキーポイント抽出動作は、虹彩認証動作と称されてもよい。第4実施形態のキーポイント抽出システムSYSdは、虹彩認証システムと称されてもよい。
【0108】
(4-2)キーポイント抽出装置2dが行うキーポイント抽出動作(虹彩認証処理)の流れ
続いて、
図16を参照しながら、第4実施形態のキーポイント抽出装置2dが行うキーポイント抽出動作(第4実施形態の虹彩認証装置が行う虹彩認証動作)の流れについて説明する。
図16は、第4実施形態のキーポイント抽出装置2dが行うキーポイント抽出動作(第4実施形態の虹彩認証装置が行う虹彩認証動作)の流れを示すフローチャートである。
【0109】
図16に示すように、キーポイント抽出装置2dは、まず、第2実施形態のキーポイント抽出動作を行う(ステップS11からステップS23)。具体的には、キーポイント抽出装置2dは、カメラ1から人物画像IMG1を取得する(ステップS11)。その後、キーポイント抽出部215は、ステップS11において取得された人物画像IMG1から、人物画像IMG1に写り込んでいる虹彩のキーポイントKPを抽出する(ステップS21)。その後、画像変換部216は、ステップS21において抽出されたキーポイントKPに基づいて人物画像IMG1を変換する画像変換処理を行うことで、変換画像IMG3を生成する(ステップS22)。その後、キーポイント抽出部217は、ステップS22において生成された変換画像IMG3から、虹彩のキーポイントKPを抽出する(ステップS23)
その後、特徴量抽出部218は、ステップS23において抽出された虹彩のキーポイントKPと変換画像IMG3とに基づいて、変換画像IMG3に写り込んだ人物の虹彩の特徴量を抽出する(ステップS41)。尚、特徴量抽出部218は、虹彩の特徴量を抽出するための任意の方法を用いて、特徴量を抽出してもよい。例えば、特徴量抽出部218は、ステップS23において抽出された虹彩のキーポイントKPに基づいて、変換画像IMG3中において虹彩が写り込んだドーナツ状の虹彩領域を特定してもよい。具体的には、特徴量抽出部218は、虹彩の内側の輪郭を特定可能なキーポイントKP1と虹彩の外側の輪郭を特定可能なキーポイントKP2とに基づいて、虹彩領域を特定してもよい。更に、特徴量抽出部218は、まぶたの縁を特定可能なキーポイントKP4に基づいて、ドーナツ状の虹彩領域から、まぶたに重なっている領域部分を削除してもよい。その後、特徴量抽出部218は、虹彩領域を複数のリング状のブロックに分割し、各ブロックを複数のセクタに分割し、各セクタの特徴量(例えば、複数のセクタに含まれる虹彩のパターンに関する特徴量であり、例えば、輝度値)を抽出してもよい。尚、特徴量抽出部218の説明から分かるように、この開示では、虹彩の特徴点(つまり、キーポイントKP)と虹彩の特徴量とは明確に区別される。
【0110】
その後、虹彩認証部219は、ステップS42において抽出された虹彩の特徴量に基づいて、変換画像IMG3に写り込んだ人物(つまり、人物画像IMG1に写り込んだ人物)を認証する(ステップS41)。尚、虹彩認証部219は、虹彩の特徴量に基づいて人物を認証するための任意の方法を用いて、人物を認証してもよい。例えば、虹彩認証部219は、虹彩データベースに格納された(言い換えれば、登録された)様々な人物の虹彩の特徴量(以降、“登録特徴量”と称する)と抽出した特徴量(以降、“抽出特徴量”と称する)とを照合してもよい。具体的には、虹彩認証部219は、登録特徴量と抽出特徴量との類似度を示す照合スコアを算出してもよい。その後、虹彩認証部219は、照合スコアに基づいて、変換画像IMG3に写り込んだ人物を認証してもよい。例えば、虹彩認証部219は、ある登録特徴量と抽出特徴量との類似度を示す照合スコアが所定の認証閾値よりも小さい場合に、変換画像IMG3に写り込んだ人物は、登録特徴量に対応する人物ではないと判定してもよい。一方で、例えば、虹彩認証部219は、ある登録特徴量と抽出特徴量との類似度を示す照合スコアが所定の認証閾値よりも大きい場合に、変換画像IMG3に写り込んだ人物は、登録特徴量に対応する人物であると判定してもよい。
【0111】
(4-3)キーポイント抽出装置2dの技術的効果
第4実施形態のキーポイント抽出装置2dは、第2実施形態のキーポイント抽出装置2bが享受可能な効果と同様の効果を享受可能である。更に、キーポイント抽出装置2dは、人物画像IMG1に写り込んでいる人物を、当該人物の虹彩に基づいて認証することができる。
【0112】
(4-4)キーポイント抽出装置2dの変形例
上述した説明では、第4実施形態のキーポイント抽出装置2dは、第2実施形態のキーポイント抽出装置2bと比較して、演算装置21内に、特徴量抽出部218及び虹彩認証部219が実現されるという点で異なる。つまり、上述した説明では、第2実施形態のキーポイント抽出装置2bが、特徴量抽出部218及び虹彩認証部219を備えている。しかしながら、上述した第1実施形態のキーポイント抽出装置2及び第3実施形態のキーポイント抽出装置2cの少なくとも一方が、特徴量抽出部218及び虹彩認証部219を備えていてもよい。この場合、特徴量抽出部218は、キーポイント抽出部214が抽出するキーポイントKP(つまり、ターゲット画像IMG1_TAから抽出されるキーポイントKP)に基づいて、虹彩の特徴量を抽出してもよい。
【0113】
人物を認証するために用いられる虹彩データベースは、例えば、ある人物が写り込んだ画像から抽出された虹彩の特徴量(登録特徴量)と、当該人物を一意に識別するための人物識別情報とが関連付けられた虹彩レコードを含んでいる。特に、虹彩データベースに複数の人物の虹彩の特徴量が格納されているがゆえに、虹彩データベースは、複数の人物に夫々対応する複数の虹彩レコードを含んでいる。この場合、虹彩データベースは、例えば、ある人物の虹彩が第1の特性で写り込んだ画像から抽出された虹彩の特徴量と人物識別情報とが関連付けられた虹彩レコードと、同じ人物の虹彩が第1の特性とは異なる第2の特性で写り込んだ画像から抽出された虹彩の特徴量と人物識別情報とが関連付けられた虹彩レコードとを含んでいてもよい。例えば、上述したように、虹彩の特性は、虹彩のサイズ(例えば、径)を含んでいてもよい。この場合、虹彩データベースは、例えば、虹彩のサイズが第1のサイズとなる状態である人物の虹彩が写り込んだ画像から抽出された虹彩の特徴量と人物識別情報とが関連付けられた虹彩レコードと、虹彩のサイズが第1のサイズとは異なる第2のサイズとなる状態である人物の虹彩が写り込んだ画像から抽出された虹彩の特徴量と人物識別情報とが関連付けられた虹彩レコードとを含んでいてもよい。この場合も、虹彩認証部219は、同じ人物に対応し且つ異なる虹彩の特性(例えば、サイズ)に対応する複数の虹彩レコードを含む虹彩データベースを用いて、照合スコアを算出してもよい。或いは、虹彩認証部219は、虹彩データベースの中から、カメラ1から取得した人物画像IMG1に写り込んでいる虹彩の特性(例えば、サイズ)に対応する複数の虹彩レコードを抽出し、抽出した複数の虹彩レコードを用いて、照合スコアを算出してもよい。
【0114】
(5)第5実施形態のキーポイント抽出システムSYS
続いて、第5実施形態のキーポイント抽出システムSYSについて説明する。尚、以下の説明では、第5実施形態のキーポイント抽出システムSYSを、“キーポイント抽出システムSYSe”と称する。
【0115】
第5実施形態のキーポイント抽出システムSYSeは、上述した第4実施形態のキーポイント抽出システムSYSdと比較して、キーポイント抽出装置2dに代えて、キーポイント抽出装置2eを備えるという点で異なる。キーポイント抽出システムSYSeのその他の特徴は、キーポイント抽出システムSYSdのその他の特徴と同一であってもよい。このため、以下では、
図17を参照しながら、第5実施形態のキーポイント抽出装置2eについて説明する。
図17は、第5実施形態のキーポイント抽出装置2eの構成を示すブロック図である。
【0116】
図17に示すように、第5実施形態のキーポイント抽出装置2eは、第4実施形態のキーポイント抽出装置2dと比較して、演算装置21内に、キーポイント抽出部217e及び特徴量抽出部218eが実現されるという点で異なる。キーポイント抽出装置2eのその他の特徴は、キーポイント抽出装置2dのその他の特徴と同一であってもよい。
【0117】
キーポイント抽出部217eは、人物画像IMG1から、人物画像IMG1に写り込んでいる虹彩のキーポイントKPを抽出する。特に、キーポイント抽出部217eは、キーポイント抽出部217と比較して、一の種類のキーポイントKPをより高精度に抽出可能であってもよい。例えば、キーポイント抽出部217eは、キーポイント抽出部217と比較して、瞳孔の中心を特定可能なキーポイントKPと、瞳孔の径を特定可能なキーポイントKPとをより高精度に抽出可能であってもよい。この場合、キーポイント抽出部217eは、画像変換処理を行うためにキーポイント抽出部215が抽出したキーポイントKP(例えば、虹彩の中心を特定可能なキーポイントKP及び虹彩の径を特定可能なキーポイントKP)に基づいて、人物画像IMG1のうちの虹彩に相当する画像部分を抽出し、抽出した画像部分から、高精度に抽出可能な一の種類のキーポイントKP(例えば、瞳孔の中心を特定可能なキーポイントKP及び瞳孔の径を特定可能なキーポイントKP)を抽出してもよい。
【0118】
特徴量抽出部218eは、キーポイント抽出部217eが抽出した虹彩のキーポイントKPと人物画像IMG1とに基づいて、人物画像IMG1に写り込んだ人物の虹彩の特徴量を抽出する。
【0119】
第5実施形態では、虹彩認証部219は、特徴量抽出部218eが抽出した虹彩の特徴量と特徴量抽出部218が抽出した虹彩の特徴量とに基づいて、人物画像IMG1に写り込んだ人物を認証する。具体的には、虹彩認証部219は、特徴量抽出部218eが抽出した虹彩の特徴量と虹彩データベースとを用いて照合スコアを算出すると共に、特徴量抽出部218が抽出した虹彩の特徴量と虹彩データベースとを用いて照合スコアを算出してもよい。その後、虹彩認証部219は、照合スコアに基づいて、変換画像IMG3に写り込んだ人物を認証してもよい。
【0120】
このような第5実施形態のキーポイント抽出装置2eは、第4実施形態のキーポイント抽出装置2dが享受可能な効果と同様の効果を享受可能である。
【0121】
尚、上述した説明では、特徴量抽出部218eは、キーポイント抽出部217eが抽出した虹彩のキーポイントKPに基づいて、虹彩の特徴量を抽出している。しかしながら、特徴量抽出部218eは、キーポイント抽出部217eが抽出した虹彩のキーポイントKPとキーポイント抽出部215が抽出した虹彩のキーポイントKPとに基づいて、虹彩の特徴量を抽出してもよい。例えば、特徴量抽出部218eは、キーポイント抽出部217eが抽出した虹彩のキーポイントKPとキーポイント抽出部215が抽出した虹彩のキーポイントKPとの平均値を算出し、算出したキーポイントKPの平均値に基づいて、虹彩の特徴量を抽出してもよい。
【0122】
同様に、上述した説明では、特徴量抽出部218は、キーポイント抽出部217が抽出した虹彩のキーポイントKPに基づいて、虹彩の特徴量を抽出している。しかしながら、特徴量抽出部218は、キーポイント抽出部217が抽出した虹彩のキーポイントKPとキーポイント抽出部215が抽出した虹彩のキーポイントKPとに基づいて、虹彩の特徴量を抽出してもよい。例えば、特徴量抽出部218は、キーポイント抽出部217が抽出した虹彩のキーポイントKPとキーポイント抽出部215が抽出した虹彩のキーポイントKPとの平均値を算出し、算出したキーポイントKPの平均値に基づいて、虹彩の特徴量を抽出してもよい。但し、キーポイント抽出部215が人物画像IMG1からキーポイントKPを抽出している一方で、キーポイント抽出部217が変換画像IMG3(つまり、人物画像IMG1に対して画像変換処理を行うことで生成される画像)からキーポイントKPを抽出している。このため、キーポイント抽出部217が抽出したある部位(例えば、虹彩の中心)のキーポイントKPの位置とキーポイント抽出部215が抽出した同じ部位のキーポイントKPの位置とが、画像変換処理に応じた量だけずれている可能性がある。このため、特徴量抽出部218は、キーポイント抽出部215及び217の少なくとも一方が抽出したキーポイントKPに対して、画像変換処理に応じた座標変換を行ってもよい。そののち、特徴量抽出部218は、座標変換が行われたキーポイントKPに基づいて、虹彩の特徴量を抽出してもよい。
【0123】
(6)付記
以上説明した実施形態に関して、更に以下の付記を開示する。
[付記1]
対象物が写り込んでいる第1画像を縮小することで第2画像を生成する縮小手段と、
前記第2画像から、前記対象物のキーポイントを第1キーポイントとして抽出する第1抽出手段と、
前記第1キーポイントに基づいて、前記第1画像のうちの一部を指定するターゲット領域を設定する設定手段と、
前記第1画像のうちの前記ターゲット領域に含まれるターゲット画像から、前記対象物のキーポイントを第2キーポイントとして抽出する第2抽出手段と
を備える情報処理装置。
[付記2]
前記設定手段は、前記ターゲット領域のサイズを変更可能である
付記1に記載の情報処理装置。
[付記3]
前記設定手段は、前記第1キーポイントに基づいて、前記ターゲット領域のサイズを変更可能である
付記2に記載の情報処理装置。
[付記4]
前記対象物は、生体の虹彩を含み、
前記設定手段は、前記ターゲット領域のサイズを、前記第1キーポイントが示す前記虹彩のサイズに応じたサイズに変更可能である
付記2又は3に記載の情報処理装置。
[付記5]
前記対象物が写り込んでいる第3画像から、前記対象物のキーポイントを第3キーポイントとして抽出する第3抽出手段と、
前記第3キーポイントに基づいて前記第3画像を変換する画像変換処理を行うことで、前記第1画像を生成する画像変換手段と
を更に備える付記1から4のいずれか一項に記載の情報処理装置。
[付記6]
前記対象物は、生体の虹彩を含み、
前記画像変換処理は、前記虹彩の中心が前記第3画像の中心に近づくように、前記第3画像を平行移動する平行移動処理を含む
付記5に記載の情報処理装置。
[付記7]
前記対象物は、生体の目尻及び目頭を含み、
前記画像変換処理は、前記目尻と前記目頭とを結ぶ線が前記第3画像内で水平に近づくように、前記第3画像を回転する回転処理を含む
付記5又は6に記載の情報処理装置。
[付記8]
前記対象物は、生体の虹彩を含み、
前記画像変換処理は、前記第3画像内での前記虹彩のサイズが所定サイズに近づくように、前記第3画像を拡大又は縮小するスケーリング処理を含む
付記5から7のいずれか一項に記載の情報処理装置。
[付記9]
前記画像変換処理は、前記第3画像の輝度を正規化する輝度変換処理を含む
付記5から8のいずれか一項に記載の情報処理装置。
[付記10]
対象物が写り込んでいる第1画像を縮小することで第2画像を生成し、
前記第2画像から、前記対象物のキーポイントを第1キーポイントとして抽出し、
前記第1キーポイントに基づいて、前記第1画像のうちの一部を指定するターゲット領域を設定し、
前記第1画像のうちの前記ターゲット領域に含まれるターゲット画像から、前記対象物のキーポイントを第2キーポイントとして抽出する
情報処理方法。
[付記11]
コンピュータに、
対象物が写り込んでいる第1画像を縮小することで第2画像を生成し、
前記第2画像から、前記対象物のキーポイントを第1キーポイントとして抽出し、
前記第1キーポイントに基づいて、前記第1画像のうちの一部を指定するターゲット領域を設定し、
前記第1画像のうちの前記ターゲット領域に含まれるターゲット画像から、前記対象物のキーポイントを第2キーポイントとして抽出する
情報処理方法を実行させるコンピュータプログラムが記録された記録媒体。
【0124】
上述の各実施形態の構成要件の少なくとも一部は、上述の各実施形態の構成要件の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要件のうちの一部が用いられなくてもよい。また、法令で許容される限りにおいて、上述のこの開示で引用した全ての文献(例えば、公開公報)の開示を援用してこの開示の記載の一部とする。
【0125】
この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う情報処理装置、情報処理方法、コンピュータプログラム及び記録媒体もまた、この開示の技術的思想に含まれる。
【符号の説明】
【0126】
1 カメラ
2 キーポイント抽出装置
21 演算装置
211 画像縮小部
212 キーポイント抽出部
213 ターゲット領域設定部
214 キーポイント抽出部
215 キーポイント抽出部
216 画像変換部
217 キーポイント抽出部
218 特徴量抽出部
219 虹彩認証部
3 通信ネットワーク
SYS キーポイント抽出システム
IMG1 人物画像
IMG2 縮小画像
IMG3 変換画像
IMG1_TA ターゲット画像
TA ターゲット領域
KP キーポイント