特許 7521682 情報処理装置、情報処理方法及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】情報処理装置、情報処理方法及び記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240717BHJP

   H04N 23/56 20230101ALI20240717BHJP

   H04N 23/611 20230101ALI20240717BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 660A

H04N23/56

H04N23/611

【請求項の数】 9

(21)【出願番号】P 2023503250

(86)(22)【出願日】2021-03-03

(86)【国際出願番号】 JP2021008105

(87)【国際公開番号】W WO2022185436

(87)【国際公開日】2022-09-09

【審査請求日】2023-08-04

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】赤司 竜一

(72)【発明者】

【氏名】戸泉 貴裕

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１６－１００８９９（ＪＰ，Ａ）

【文献】特開２０１２－２１２３２５（ＪＰ，Ａ）

【文献】国際公開第２０１９／１０２６１９（ＷＯ，Ａ１）

【文献】国際公開第２０１９／００３９７３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ２３／５６

Ｈ０４Ｎ ２３／６１１

(57)【特許請求の範囲】

【請求項1】

入力画像を変換する画像変換処理を行うことで、変換画像を生成する画像変換手段と、
前記入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、前記変換画像から、前記対象物のキーポイントを変換キーポイントとして抽出する抽出手段と、
前記対象キーポイントと前記変換キーポイントとの比較結果に基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する算出手段と
を備える情報処理装置。

【請求項2】

前記入力画像は、照明装置によって照明された撮像対象範囲を撮像装置が撮像することで生成され、
前記スコアに基づいて、前記スコアが改善されるように前記照明装置を制御する照明制御装置を更に備える
請求項１に記載の情報処理装置。

【請求項3】

前記抽出手段は、複数の前記入力画像の夫々から、前記対象キーポイントを抽出し、
前記算出手段は、前記入力画像毎に前記スコアを算出し、
前記複数の入力画像から、前記スコアが所定の選択条件を満たす少なくとも一つの入力画像を選択する選択手段を更に備える
請求項１又は２に記載の情報処理装置。

【請求項4】

前記選択条件は、前記スコアが所定の選択閾値よりも悪いという条件を含む
請求項３に記載の情報処理装置。

【請求項5】

前記抽出手段は、前記スコアが既知である複数の学習画像を用いて学習済みである学習モデルを用いて、前記対象キーポイントを抽出し、
前記選択条件は、前記スコアが、前記複数の学習画像を前記スコアに応じて分類した場合に分類される前記学習画像のサンプル数が所定数よりも少ないスコアの範囲に含まれるという条件を含む
請求項３又は４に記載の情報処理装置。

【請求項6】

前記抽出手段は、学習可能な学習モデルを用いて、前記対象キーポイントを抽出し、
抽出されるべきキーポイントである正解キーポイントが関連付けられた第１の学習画像と、前記正解キーポイントが関連付けられていない第２の学習画像とを含む学習用データを用いて、前記学習モデルの学習を行う学習手段を更に備え、
前記抽出手段は、前記第２の学習画像から、前記対象物のキーポイントを学習用キーポイントとして抽出し、
前記算出手段は、前記学習用キーポイントに基づいて、前記学習用キーポイントの信頼度に関する指標値を、前記学習用キーポイントが抽出された前記第２の学習画像のスコアとして算出し、
前記学習手段は、前記第２の学習画像のスコアに基づいて、前記学習モデルの学習に対する前記第２の学習画像の寄与度を示す重みを算出し、前記学習用データと前記重みとを用いた半教師あり学習を行うことで、前記学習モデルの学習を行う
請求項１から５のいずれか一項に記載の情報処理装置。

【請求項7】

前記対象物は、生体の虹彩を含み、
前記スコアが所定の第１判定閾値よりも悪い場合に、前記入力画像に前記虹彩を含む目が写り込んでいないと判定する判定手段を更に備える
請求項１から６のいずれか一項に記載の情報処理装置。

【請求項8】

入力画像を変換する画像変換処理を行うことで、変換画像を生成し、
前記入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、
前記変換画像から、前記対象物のキーポイントを変換キーポイントとして抽出し、
前記対象キーポイントと前記変換キーポイントとの比較結果に基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する
情報処理方法。

【請求項9】

コンピュータに、
入力画像を変換する画像変換処理を行うことで、変換画像を生成し、
前記入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、
前記変換画像から、前記対象物のキーポイントを変換キーポイントとして抽出し、
前記対象キーポイントと前記変換キーポイントとの比較結果に基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する
情報処理方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、例えば、画像から対象物のキーポイント（つまり、特徴点）を抽出することが可能な情報処理装置、情報処理方法及び記録媒体の技術分野に関する。

【背景技術】

【0002】

画像から対象物のキーポイント（つまり、特徴点）を抽出することが可能な情報処理装置の一例が、特許文献１に記載されている。具体的には、特許文献１には、対象者が写り込んだ画像から、対象者の顔の特徴点の位置を示す顔情報を取得する顔三次元形状推定装置が記載されている。

【0003】

その他、この開示に関連する先行技術文献として、特許文献２から特許文献６があげられる。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０２０／１４９００１号パンフレット

【文献】国際公開第２０１９／０７８３１０号パンフレット

【文献】特表２０１７－５０３２７６号公報

【文献】特開２０１７－１５１５５６号公報

【文献】特表２００９－５２９２００号公報

【文献】特開２００５－００４７８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

この開示は、先行技術文献に記載された技術の改良を目的とする情報処理装置、情報処理方法及び記録媒体を提供することを課題とする。

【課題を解決するための手段】

【0006】

情報処理装置の一の態様は、入力画像から、対象物のキーポイントを対象キーポイントとして抽出する抽出手段と、前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する算出手段とを備える。

【0007】

情報処理方法の一の態様は、入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する。

【0008】

記録媒体の一の態様は、コンピュータに、入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。

【図面の簡単な説明】

【0009】

【図1】図１は、第１実施形態のキーポイント抽出システムの全体構成を示すブロック図である。

【図2】図２は、第１実施形態のキーポイント抽出装置の構成を示すブロック図である。

【図3】図３は、第１実施形態のキーポイント抽出装置が行うキーポイント抽出動作の流れを示すフローチャートである。

【図4】図４は、人物画像から抽出された虹彩のキーポイントの一例を示す平面図である。

【図5】図５は、第２実施形態のキーポイント抽出装置の構成を示すブロック図である。

【図6】図６は、第３実施形態のキーポイント抽出装置の構成を示すブロック図である。

【図7】図７は、学習画像のサンプル数と、学習画像の画像スコアＳＣとの関係を示すグラフである。

【図8】図８は、第４実施形態のキーポイント抽出装置の構成を示すブロック図である。

【図9】図９は、学習用データの一例を示す。

【図10】図１０は、第５実施形態のキーポイント抽出装置の構成を示すブロック図である。

【図11】図１１は、第６実施形態のキーポイント抽出装置の構成を示すブロック図である。

【発明を実施するための形態】

【0010】

以下、情報処理装置、情報処理方法及び記録媒体の実施形態について説明する。以下では、キーポイント抽出システムＳＹＳを用いて、情報処理装置、情報処理方法及び記録媒体の実施形態について説明する。

【0011】

キーポイント抽出システムＳＹＳは、画像から対象物のキーポイントＫＰを抽出することが可能である。以下の説明では、キーポイント抽出システムＳＹＳが、対象物の一例である人物（つまり、生体）を撮像することで生成される人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んだ人物のキーポイントＫＰを抽出することが可能である例について説明する。但し、キーポイント抽出システムＳＹＳは、人物とは異なる任意の対象物が写り込んだ画像から、画像に写り込んだ任意の対象物のキーポイントＫＰを抽出することが可能であってもよい。対象物の一例として、人間以外の生体（例えば、犬及び猫等の哺乳類、スズメ等の鳥類、ヘビ等の爬虫類、カエル等の両生類及び金魚等の魚類の少なくとも一つ）があげられる。対象物の他の一例として、無生物たる物体があげられる。無生物たる物体の一例として、人物又は動物を模したロボットがあげられる。

【0012】

また、以下の説明では、キーポイント抽出システムＳＹＳが、人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んだ人物の虹彩のキーポイントＫＰを抽出することが可能である例について説明する。このようなキーポイント抽出システムＳＹＳは、虹彩認証システムとして用いられてもよい。虹彩認証システムは、虹彩を用いて人物を認証することが可能なシステムである。例えば、虹彩認証システムは、虹彩のキーポイントＫＰに基づいて、人物画像ＩＭＧ１に写り込んだ人物の虹彩の特徴量を抽出する。例えば、虹彩認証システムは、虹彩のキーポイントＫＰに基づいて、人物画像ＩＭＧ１中において虹彩が写り込んだドーナツ状の虹彩領域を特定してもよい。具体的には、虹彩認証システムは、虹彩の内側の輪郭を特定可能なキーポイントＫＰと虹彩の外側の輪郭を特定可能なキーポイントＫＰとに基づいて、虹彩領域を特定してもよい。更に、虹彩認証システムは、まぶたの縁を特定可能なキーポイントＫＰに基づいて、ドーナツ状の虹彩領域から、まぶたに重なっている領域部分を削除してもよい。その後、虹彩認証システムは、虹彩領域を複数のリング状のブロックに分割し、各ブロックを複数のセクタに分割し、各セクタの特徴量（例えば、複数のセクタに含まれる虹彩のパターンに関する特徴量であり、例えば、輝度値）を抽出してもよい。その後、虹彩認証システムは、抽出された虹彩の特徴量に基づいて、人物画像ＩＭＧ１に写り込んだ人物を認証してもよい。尚、虹彩認証システムの説明から分かるように、この開示では、虹彩の特徴点（つまり、キーポイントＫＰ）と虹彩の特徴量とは明確に区別される。

【0013】

但し、キーポイント抽出システムＳＹＳは、人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んだ人物の任意の部位のキーポイントＫＰを抽出することが可能であってもよい。人物の任意の部位の一例として、人物を認証するために利用可能な部位があげられる。人物を認証するために利用可能な部位の他の一例として、顔認証に利用可能な顔があげられる。人物を認証するために利用可能な部位の他の一例として、指紋認証に利用可能な指紋が刻まれた指があげられる。人物を認証するために利用可能な部位の他の一例として、掌紋認証に利用可能な掌紋が刻まれた手があげられる。人物を認証するために利用可能な部位の他の一例として、静脈認証に利用可能な静脈パターンが浮き出た指があげられる。

【0014】

以下、このようなキーポイント抽出システムＳＹＳについて、図面を参照しながら更に詳細に説明する
（１）第１実施形態のキーポイント抽出システムＳＹＳ
初めに、第１実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第１実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳａ”と称する。

【0015】

（１－１）キーポイント抽出システムＳＹＳａの全体構成
初めに、図１を参照しながら、第１実施形態のキーポイント抽出システムＳＹＳａの全体構成について説明する。図１は、第１実施形態のキーポイント抽出システムＳＹＳａの全体構成を示すブロック図である。

【0016】

図１に示すように、キーポイント抽出システムＳＹＳａは、カメラ１と、「情報処理装置」の一具体例であるキーポイント抽出装置２とを備えている。キーポイント抽出システムＳＹＳａは、単一のカメラ１を備えていてもよいし、複数のカメラ１を備えていてもよい。カメラ１とキーポイント抽出装置２とは、通信ネットワーク３を介して互いに通信可能である。通信ネットワーク３は、有線の通信ネットワークを含んでいてもよい。通信ネットワーク３は、無線の通信ネットワークを含んでいてもよい。

【0017】

カメラ１は、撮像対象範囲を撮像可能な撮像装置である。カメラ１は、撮像対象範囲を撮像することで撮像対象範囲が写り込んだ画像を生成する処理を含む。上述したようにキーポイント抽出システムＳＹＳａが人物の虹彩のキーポイントＫＰを抽出するがゆえに、撮像対象範囲には、通常、人物が存在する。この場合、カメラ１は、人物を撮像することで、人物が写り込んだ人物画像ＩＭＧ１を生成する。特に、カメラ１は、人物の顔（特に、虹彩及び虹彩の周辺の部位を含む顔の少なくとも一部）を撮像することで、人物の顔（特に、虹彩及び虹彩の周辺の部位を含む顔の少なくとも一部）が写り込んだ人物画像ＩＭＧ１を生成する。カメラ１は、生成した人物画像ＩＭＧ１を、キーポイント抽出装置２に出力する。具体的には、カメラ１は、生成した人物画像ＩＭＧ１を、通信ネットワーク３を介して、キーポイント抽出装置２に送信する。

【0018】

キーポイント抽出装置２は、通信ネットワーク３を介してカメラ１から送信された人物画像ＩＭＧ１を受信する。キーポイント抽出装置２は、受信した人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んだ人物の虹彩のキーポイントＫＰを抽出するためのキーポイント抽出動作を行う。

【0019】

キーポイント抽出システムＳＹＳａは更に、照明装置４を備えていてもよい。照明装置４は、カメラ１が撮像可能な撮像対象範囲を照明光で照明可能である。撮像対象範囲に人物が存在する場合には、照明装置４は、撮像対象範囲に存在する人物を照明光で照明可能であってもよい。この場合、カメラ１は、照明装置４によって照明された人物を撮像してもよい。但し、キーポイント抽出システムＳＹＳａは、照明装置４を備えていなくてもよい。

【0020】

（１－２）キーポイント抽出装置２の構成
続いて、図２を参照しながら、第１実施形態のキーポイント抽出装置２の構成について説明する。図２は、第１実施形態のキーポイント抽出装置２の構成を示すブロック図である。

【0021】

図２に示すように、キーポイント抽出装置２は、演算装置２１と、記憶装置２２と、通信装置２３とを備えている。更に、キーポイント抽出装置２は、入力装置２４と、出力装置２５とを備えていてもよい。但し、キーポイント抽出装置２は、入力装置２４及び出力装置２５のうちの少なくとも一つを備えていなくてもよい。演算装置２１と、記憶装置２２と、通信装置２３と、入力装置２４と、出力装置２５とは、データバス２６を介して接続されていてもよい。

【0022】

演算装置２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｅｃｓｓｉｎｇ Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のうちの少なくとも一つを含む。演算装置２１は、コンピュータプログラムを読み込む。例えば、演算装置２１は、記憶装置２２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、キーポイント抽出装置２が備える図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置２１は、通信装置２３（或いは、その他の通信装置）を介して、キーポイント抽出装置２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置２１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２１内には、キーポイント抽出装置２が行うべき動作（例えば、上述したキーポイント抽出動作）を実行するための論理的な機能ブロックが実現される。つまり、演算装置２１は、キーポイント抽出装置２が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

【0023】

図２には、キーポイント抽出動作を実行するために演算装置２１内に実現される論理的な機能ブロックの一例が示されている。図２に示すように、演算装置２１内には、「画像変換手段」の一具体例である画像変換部２１１と、「抽出手段」の一具体例であるキーポイント抽出部２１２と、「算出手段」の一具体例であるスコア算出部２１３とが実現される。尚、画像変換部２１１、キーポイント抽出部２１２及びスコア算出部２１３の夫々の動作については後に詳述するが、ここでその概要を簡単に説明する。画像変換部２１１は、人物画像ＩＭＧ１を変換する画像変換処理を行うことで、変換画像ＩＭＧ２を生成可能である。キーポイント抽出部２１２は、人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んでいる対象物（第１実施形態では、虹彩）のキーポイントＫＰを抽出可能である。更に、キーポイント抽出部２１２は、変換画像ＩＭＧ２から、変換画像ＩＭＧ２に写り込んでいる対象物（第１実施形態では、虹彩）のキーポイントＫＰを抽出可能である。尚、以下の説明では、人物画像ＩＭＧ１から抽出されたキーポイントＫＰを、“キーポイントＫＰ１”と称し、且つ、変換画像ＩＭＧ２から抽出されたキーポイントＫＰを、“キーポイントＫＰ２”と称することで、両者を区別する。キーポイントＫＰ１は、「対象キーポイント」の一具体例であり、キーポイントＫＰ２は、「変換キーポイント」の一具体例である。スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とに基づいて、人物画像ＩＭＧ１から抽出されたキーポイントＫＰ１の信頼度に関する指標値を、人物画像ＩＭＧ１のスコア（以降、“画像スコアＳＣ”と称する）として算出可能である。尚、本実施形態における「信頼度」は、キーポイント抽出部２１２が人物画像ＩＭＧ１から実際に抽出したキーポイントＫＰ１と、キーポイント抽出部２１２が人物画像ＩＭＧ１から抽出するべきキーポイントＫＰ１（つまり、キーポイントＫＰ１の正解値）との誤差を評価するための指標値である。典型的には、誤差が小さくなるほど、キーポイント抽出部２１２が人物画像ＩＭＧ１から実際に抽出したキーポイントＫＰ１が、信頼できる（つまり、キーポイント抽出部２１２が人物画像ＩＭＧ１から抽出するべきキーポイントＫＰ１として支障なく利用可能である）と想定される。このため、典型的には、誤差が小さくなるほど、信頼度は高くなる。

【0024】

記憶装置２２は、所望のデータを記憶可能である。例えば、記憶装置２２は、演算装置２１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置２２は、演算装置２１がコンピュータプログラムを実行している際に演算装置２１が一時的に使用するデータを一時的に記憶してもよい。記憶装置２２は、キーポイント抽出装置２が長期的に保存するデータを記憶してもよい。尚、記憶装置２２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置２２は、一時的でない記録媒体を含んでいてもよい。

【0025】

通信装置２３は、通信ネットワーク３を介して、カメラ１と通信可能である。第１実施形態では、通信装置２３は、通信ネットワーク３を介して、カメラ１から人物画像ＩＭＧ１を受信（つまり、取得）する。

【0026】

入力装置２４は、キーポイント抽出装置２の外部からのキーポイント抽出装置２に対する情報の入力を受け付ける装置である。例えば、入力装置２４は、キーポイント抽出装置２のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ）を含んでいてもよい。例えば、入力装置２４は、キーポイント抽出装置２に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。

【0027】

出力装置２５は、キーポイント抽出装置２の外部に対して情報を出力する装置である。例えば、出力装置２５は、情報を画像として出力してもよい。つまり、出力装置２５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置２５は、情報を音声として出力してもよい。つまり、出力装置２５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置２５は、紙面に情報を出力してもよい。つまり、出力装置２５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。

【0028】

（１－３）キーポイント抽出装置２が行うキーポイント抽出動作の流れ
続いて、図３を参照しながら、第１実施形態のキーポイント抽出装置２が行うキーポイント抽出動作の流れについて説明する。図３は、第１実施形態のキーポイント抽出装置２が行うキーポイント抽出動作の流れを示すフローチャートである。

【0029】

図３に示すように、キーポイント抽出装置２は、カメラ１から人物画像ＩＭＧ１を取得する（ステップＳ１１）。具体的には、キーポイント抽出装置２は、通信装置２３を用いて、カメラ１がキーポイント抽出装置２に対して送信した人物画像ＩＭＧ１を、通信ネットワーク３を介して受信する。

【0030】

その後、キーポイント抽出部２１２は、ステップＳ１１において取得された人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んでいる虹彩のキーポイントＫＰ（つまり、キーポイントＫＰ１）を抽出する（ステップＳ１１）。

【0031】

キーポイントＫＰは、対象物の特徴的な部分を特定可能な点に相当するキーポイントＫＰを含んでいてもよい。このため、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の特徴的な部分を特定可能な点に相当するキーポイントＫＰを抽出してもよい。例えば、人物画像ＩＭＧ１から抽出された虹彩のキーポイントＫＰの一例を示す図４に示すように、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の内側の輪郭（つまり、実質的には、瞳孔の輪郭）を特定可能な点に相当するキーポイントＫＰ＃１を抽出してもよい。キーポイントＫＰ＃１は、虹彩の内側の輪郭上に位置する点であってもよい。例えば、図４に示すように、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の外側の輪郭を特定可能な点に相当するキーポイントＫＰ＃２を抽出してもよい。キーポイントＫＰ＃２は、虹彩の外側の輪郭上に位置する点であってもよい。例えば、図４に示すように、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の中心を特定可能な点に相当するキーポイントＫＰ＃３を抽出してもよい。キーポイントＫＰ＃３は、虹彩の中心に位置する点であってもよい。尚、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の中心を特定可能な点に相当するキーポイントＫＰ＃３に加えて又は代えて、虹彩の中心に位置する瞳孔の中心を特定可能な点に相当するキーポイントＫＰを抽出してもよい。例えば、図４に示すように、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩を部分的に隠す可能性があるまぶたの縁を特定可能な点に相当するキーポイントＫＰ＃４を抽出してもよい。キーポイントＫＰ＃４は、瞼の縁上に位置する点であってもよい。例えば、図４に示すように、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩が含まれる目を特定可能な点に相当するキーポイントＫＰ＃５を抽出してもよい。一例として、キーポイント抽出部２１２は、キーポイントＫＰ＃５として、目頭を特定可能な点に相当するキーポイントＫＰ＃５－１及び目尻を特定可能な点に相当するキーポイントＫＰ＃５－２の少なくとも一方を抽出してもよい。

【0032】

キーポイントＫＰは、対象物の特徴的な部分を特定可能な点に相当するキーポイントＫＰに加えて又は代えて、対象物の特徴的な部分を特定可能な線に相当するキーポイントＫＰを含んでいてもよい。このため、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の特徴的な部分を特定可能な線に相当するキーポイントＫＰを抽出してもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の内側の輪郭を特定可能な線（例えば、虹彩の内側の輪郭に沿って延びる線）に相当するキーポイントＫＰを抽出してもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の外側の輪郭を特定可能な線（例えば、虹彩の外側の輪郭に沿って延びる線）に相当するキーポイントＫＰを抽出してもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、まぶたの縁を特定可能な線（例えば、瞼の縁に沿って延びる線）に相当するキーポイントＫＰを抽出してもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、目尻と目頭とを結ぶ線に相当するキーポイントＫＰを抽出してもよい。

【0033】

キーポイントＫＰとして抽出される点及び線の少なくとも一つは、対象物を定量的に特定するために利用可能であってもよい。このため、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩を定量的に特定するために利用可能な点及び線の少なくとも一つに相当するキーポイントＫＰを抽出してもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩のサイズを特定するために利用可能な線に相当するキーポイントＫＰを抽出してもよい。一例として、虹彩の形状が円形である場合には、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩のサイズの一例である虹彩の径（例えば、直径）を特定するために利用可能な線（例えば、虹彩の中心を通過し、且つ、虹彩の外側の輪郭上に両端が存在する線）に相当するキーポイントＫＰを抽出してもよい。他の一例として、虹彩の形状が楕円形である場合には、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩のサイズの一例である虹彩の長径及び短径の少なくとも一つを特定するために利用可能な線に相当するキーポイントＫＰを抽出してもよい。虹彩の長径を特定するために利用可能な線は、例えば、虹彩の長軸を示す線を含んでいてもよい。虹彩の短径を特定するために利用可能な線は、例えば、虹彩の短軸を示す線を含んでいてもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の中心に位置する瞳孔のサイズ（例えば、径）を特定するために利用可能な線に相当するキーポイントＫＰを抽出してもよい。

【0034】

キーポイント抽出部２１２は、ニューラルネットワークを用いて、キーポイントＫＰを抽出してもよい。具体的には、キーポイント抽出部２１２は、人物画像ＩＭＧ１（或いは、変換画像ＩＭＧ２を含む任意の画像）が入力された場合に人物画像ＩＭＧ１（或いは、変換画像ＩＭＧ２を含む任意の画像）に写り込んでいる虹彩のキーポイントＫＰを出力可能なニューラルネットワークを用いて、キーポイントＫＰを抽出してもよい。ニューラルネットワークのパラメータは、ニューラルネットワークのパラメータを学習するための学習画像と、当該学習画像に写り込んでいる虹彩のキーポイントＫＰの正解ラベル（つまり、学習画像から抽出されるべきキーポイントＫＰである正解キーポイント）とを含む学習用データを用いて学習されることが好ましい。尚、ニューラルネットワークは、学習可能な学習モデルの一例である。このため、キーポイント抽出部２１２は、ニューラルネットワークとは異なる任意の学習モデルを用いて、キーポイントＫＰを抽出してもよい。

【0035】

キーポイントＫＰを抽出する動作は、人物画像ＩＭＧ１内でのキーポイントＫＰの位置（例えば、人物画像ＩＭＧ１内での高さ方向及び幅方向の夫々におけるキーポイントＫＰの位置）を特定する動作を意味していてもよい。この場合、キーポイント抽出部２１２は、人物画像ＩＭＧ１内でのキーポイントＫＰの位置を特定してもよい。上述したようにニューラルネットワークを用いてキーポイントＫＰが抽出される場合には、ニューラルネットワークは、人物画像ＩＭＧ１内でのキーポイントＫＰの位置を出力してもよい。

【0036】

尚、カメラ１が生成した人物画像ＩＭＧ１に必ずしも人物（特に、その虹彩）が適切に写り込んでいるとは限らない。この場合、キーポイント抽出部２１２は、図４を用いてそれらの一例を説明した複数種類のキーポイントＫＰのうちの少なくとも一つを抽出しなくてもよい。つまり、キーポイント抽出部２１２は、複数種類のキーポイントＫＰのうちの全てを抽出する必要はない。キーポイント抽出部２１２は、人物画像ＩＭＧ１から抽出可能な少なくとも一つのキーポイントＫＰを抽出すればよい。キーポイント抽出部２１２は、人物画像ＩＭＧ１から抽出できない少なくとも一つのキーポイントＫＰを必ずしも抽出しなくてもよい。このため、キーポイント抽出部２１２がキーポイントＫＰを一つも抽出しない可能性もある。更には、人物画像ＩＭＧ１に人物（特に、その虹彩）が写り込んでいない場合には、キーポイント抽出部２１２は、キーポイントＫＰを一つも抽出しなくてもよい。つまり、キーポイント抽出部２１２に入力される人物画像ＩＭＧ１には、必ずしも人物（特に、その虹彩）が写り込んでいなくてもよい。

【0037】

再び図３において、ステップＳ１２の動作と並行して又は相前後して、画像変換部２１１は、ステップＳ１１において取得された人物画像ＩＭＧ１を変換する画像変換処理を行う（ステップＳ１３）。その結果、画像変換部２１１は、画像変換処理が行われた人物画像ＩＭＧ１である変換画像ＩＭＧ２を生成する（ステップＳ１３）。

【0038】

ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１に対して幾何学的変換（言い換えれば、線形変換）を行う処理を含んでいてもよい。つまり、画像変換部２１１は、人物画像ＩＭＧ１に対して幾何学的変換を行ってもよい。

【0039】

幾何学的変換の一例として、アフィン変換があげられる。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１に対してアフィン変換を行う処理を含んでいてもよい。アフィン変換は、平行移動を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１を高さ方向及び幅方向の少なくとも一方に平行移動させる平行移動処理を含んでいてもよい。アフィン変換は、回転を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１を回転させる回転処理を含んでいてもよい。アフィン変換は、拡大及び縮小を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１を拡大又は縮小させるスケーリング処理を含んでいてもよい。アフィン変換は、せん断を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１をせん断変換するせん断処理を含んでいてもよい。

【0040】

幾何学的変換の他の一例として、反転変換があげられる。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１に対して反転変換を行う処理を含んでいてもよい。例えば、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１を左右に反転する（言い換えれば、幅方向（水平方向）に反転する）処理を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、高さ方向（垂直方向）に沿った対称軸に対して人物画像ＩＭＧ１と線対称な画像を変換画像ＩＭＧ２として生成する処理を含んでいてもよい。例えば、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１を上下に反転する（言い換えれば、高さ方向（垂直方向）に反転する）処理を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、幅方向（水平方向）に沿った対称軸に対して人物画像ＩＭＧ１と線対称な画像を変換画像ＩＭＧ２として生成する処理を含んでいてもよい。

【0041】

ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１の少なくとも一部の特性を変更する処理を含んでいてもよい。人物画像ＩＭＧ１の特性は、人物画像ＩＭＧ１の輝度（つまり、ブライトネス）を含んでいてもよい。この場合、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１の少なくとも一部の輝度を変更する処理を含んでいてもよい。特に、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１のうちの虹彩に相当する画像部分及び人物画像ＩＭＧ１のうちの虹彩の周辺の部位に相当する画像部分の少なくとも一つの輝度を変更する処理を含んでいてもよい。人物画像ＩＭＧ１の特性は、人物画像ＩＭＧ１の輝度に加えて又は代えて、人物画像ＩＭＧ１のコントラスト（つまり、輝度の比率）を含んでいてもよい。この場合、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１の少なくとも一部のコントラストを変更する処理を含んでいてもよい。特に、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１のうちの虹彩に相当する画像部分及び人物画像ＩＭＧ１のうちの虹彩の周辺の部位に相当する画像部分の少なくとも一つのコントラストを変更する処理を含んでいてもよい。

【0042】

ステップＳ１３において、画像変換部２１１は、単一の変換画像ＩＭＧ２を生成してもよい。或いは、ステップＳ１３において、キーポイント抽出部２１２は、複数の変換画像ＩＭＧ２を生成してもよい。複数の変換画像ＩＭＧ２は、異なる複数の画像変換処理によって生成されてもよい。例えば、画像変換部２１１は、人物画像ＩＭＧ１を平行移動することで第１の変換画像ＩＭＧ２を生成し、人物画像ＩＭＧ１を回転することで第２の変換画像ＩＭＧ２を生成し、人物画像ＩＭＧ１を拡大又は縮小することで第３の変換画像ＩＭＧ２を生成し、人物画像ＩＭＧ１を反転することで第４の変換画像ＩＭＧ２を生成し、人物画像ＩＭＧ１の輝度を変更することで第５の変換画像ＩＭＧ２を生成し、人物画像ＩＭＧ１のコントラストを変更することで第６の変換画像ＩＭＧ２を生成してもよい。

【0043】

その後、キーポイント抽出部２１２は、ステップＳ１３において生成された変換画像ＩＭＧ２から、変換画像ＩＭＧ２に写り込んでいる虹彩のキーポイントＫＰ（つまり、キーポイントＫＰ２）を抽出する（ステップＳ１４）。尚、ステップＳ１４においてキーポイントＫＰ２を抽出する動作は、ステップＳ１２においてキーポイントＫＰ１を抽出する動作と同一であってもよい。このため、ステップＳ１４においてキーポイントＫＰ２を抽出する動作の詳細な説明は省略する。

【0044】

ステップＳ１３において複数の変換画像ＩＭＧ２が生成される場合には、キーポイント抽出部２１２は、複数の変換画像ＩＭＧ２の夫々からキーポイントＫＰ２を抽出してもよい。例えば、上述したように画像変換部２１１が第１の変換画像ＩＭＧ２から第６の変換画像ＩＭＧ２を生成した場合には、キーポイント抽出部２１２は、第１の変換画像ＩＭＧ２から第１のキーポイントＫＰ２を抽出し、第２の変換画像ＩＭＧ２から第２のキーポイントＫＰ２を抽出し、第３の変換画像ＩＭＧ２から第３のキーポイントＫＰ２を抽出し、第４の変換画像ＩＭＧ２から第４のキーポイントＫＰ２を抽出し、第５の変換画像ＩＭＧ２から第５のキーポイントＫＰ２を抽出し、第６の変換画像ＩＭＧ２から第６のキーポイントＫＰ２を抽出してもよい。

【0045】

その後、スコア算出部２１３は、人物画像ＩＭＧ１の画像スコアＳＣを算出する（ステップＳ１５）。尚、人物画像ＩＭＧ１の画像スコアＳＣは、上述したように、人物画像ＩＭＧ１から抽出されたキーポイントＫＰ１の信頼度に関する指標値である。以下、このような画像スコアＳＣについて説明する。

【0046】

キーポイント抽出部２１２がキーポイントＫＰ１を抽出する人物画像ＩＭＧ１の品質が常に一定であるとは限らない。例えば、一のタイミングでキーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が相対的に高い一方で、一のタイミングとは異なる他のタイミングでキーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が相対的に低い可能性がある。人物画像ＩＭＧ１の品質が高くなるほど、キーポイント抽出部２１２は、抽出すべきキーポイントＫＰ１を確実に抽出することができる可能性が高くなる。また、人物画像ＩＭＧ１の品質が高くなるほど、キーポイント抽出部２１２は、キーポイントＫＰ１を高精度に抽出することができる可能性が高くなる。尚、ここで言うキーポイントＫＰ１の精度は、キーポイント抽出部２１２が抽出したキーポイントＫＰ１の位置と、実際のキーポイントＫＰ１の位置とのずれ量を定量的に評価するための指標値である。キーポイント抽出部２１２が抽出したキーポイントＫＰ１の位置と実際のキーポイントＫＰ１の位置とのずれ量が少なければ少ないほど、キーポイント抽出部２１２が抽出したキーポイントＫＰ１は高い。このため、キーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が低くなればなるほど、キーポイント抽出部２１２が抽出したキーポイントＫＰ１の精度が低くなる可能性が高い。つまり、キーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が低くなればなるほど、キーポイント抽出部２１２が抽出したキーポイントＫＰ１の位置は、キーポイントＫＰ１の本来の位置から大きくずれている可能性が高い。更には、場合によっては、キーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が低くなればなるほど、キーポイント抽出部２１２は、そもそも、抽出すべきキーポイントＫＰ１を抽出できなくなる可能性が高くなる。このため、キーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が低くなればなるほど、キーポイント抽出部２１２が抽出したキーポイントＫＰ１の信頼性は低いと想定される。このような観点から、スコア算出部２１３は、人物画像ＩＭＧ１から抽出されたキーポイントＫＰ１の信頼度に関する指標値を、人物画像ＩＭＧ１の品質を定量的に評価可能な画像スコアＳＣとして算出する。

【0047】

キーポイント抽出部２１２がキーポイントＫＰ１を抽出しにくい人物画像ＩＭＧ１は、キーポイント抽出部２１２にとって相性の悪い人物画像ＩＭＧ１であるとも言える。同様に、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出することができない人物画像ＩＭＧ１もまた、キーポイント抽出部２１２にとって相性の悪い人物画像ＩＭＧ１であるとも言える。このため、画像スコアＳＣは、キーポイント抽出部２１２に対する人物画像ＩＭＧ１の相性を定量的に評価するための指標値であるとみなしてもよい。尚、キーポイント抽出部２１２に対する人物画像ＩＭＧ１の相性は、人物画像ＩＭＧ１からのキーポイント抽出部２１２によるキーポイントＫＰ１の抽出しやすさ（特に、高精度なキーポイントＫＰ１の抽出しやすさ）を意味していてもよい。

【0048】

上述したように、学習可能なニューラルネットワーク（或いは、学習可能な任意の学習モデル）を用いてキーポイント抽出部２１２がキーポイントＫＰ１を抽出する場合には、キーポイント抽出部２１２がキーポイントＫＰ１を抽出しにくい人物画像ＩＭＧ１は、学習モデルによる学習が不足している人物画像ＩＭＧ１であるとも言える。同様に、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出することができない人物画像ＩＭＧ１もまた、学習モデルによる学習が不足している人物画像ＩＭＧ１であるとも言える。このため、画像スコアＳＣは、学習モデルによる人物画像ＩＭＧ１の学習の不足度（つまり、キーポイント抽出部２１２による人物画像ＩＭＧ１の学習の不足度）を定量的に評価するための指標値であるとみなしてもよい。

【0049】

人物画像ＩＭＧ１の品質は、人物画像ＩＭＧ１に写り込んでいる物体（ここでは、人物）の状態に影響を受ける可能性がある。このため、画像スコアＳＣは、人物画像ＩＭＧ１に写り込んでいる物体（ここでは、人物）の状態を定量的に評価するための指標値であるとみなしてもよい。例えば、人物画像ＩＭＧ１に写り込んでいる人物の状態の一例として、メガネの有無があげられる。具体的には、人物画像ＩＭＧ１に写り込んでいる人物がメガネをかけてない場合には、照明装置４からの照明光がメガネによって反射されることはない。このため、カメラ１は、メガネによる照明光の反射光の影響を受けることなく、人物の目（特に、虹彩）を撮像することが可能である。つまり、人物画像ＩＭＧ１には、人物の目（特に、虹彩）が適切に写り込んでいる。この場合、キーポイント抽出部２１２は、人物画像ＩＭＧ１から、虹彩のキーポイントＫＰ１を相対的に高精度に抽出できる可能性が相対的に高くなる。一方で、人物画像ＩＭＧ１に写り込んでいる人物がメガネをかけている場合には、照明装置４からの照明光がメガネによって反射される可能性がある。このため、カメラ１は、メガネによる照明光の反射光の影響を受ける可能性がある。つまり、人物画像ＩＭＧ１には、人物の目（特に、虹彩）が適切に写り込んでいない可能性がある。例えば、人物画像ＩＭＧ１には、メガネのレンズの奥にあるはずの人物の目（特に、虹彩）の一部が、メガネのレンズにおける反射光の写り込みによって隠される可能性がある。この場合、キーポイント抽出部２１２は、人物画像ＩＭＧ１から、虹彩のキーポイントＫＰ１を高精度に抽出できない可能性がある。このため、スコア算出部２１３は、メガネをかけている人物が写り込んでいる人物画像ＩＭＧ１の画像スコアＳＣが、メガネをかけていない人物が写り込んでいる人物画像ＩＭＧ１の画像スコアＳＣよりも悪くなるように、画像スコアＳＣを算出してもよい。但し、第１実施形態では、スコア算出部２１３は、後述するように、人物画像ＩＭＧ１にメガネをかけている人物が写り込んでいるか否かを直接的に判定することなく、キーポイント抽出部２１２が抽出したキーポイントＫＰに基づいて画像スコアＳＣを算出する。しかしながら、スコア算出部２１３は、人物画像ＩＭＧ１にメガネをかけている人物が写り込んでいるか否かを直接的に判定することで、画像スコアＳＣを算出してもよい。

【0050】

他方で、人物画像ＩＭＧ１に写り込んでいる人物がメガネをかけている場合であっても、照明装置４からの照明光の照明条件によっては、キーポイント抽出部２１２は、人物画像ＩＭＧ１から、虹彩のキーポイントＫＰ１を高精度に抽出できる可能性がある。具体的には、キーポイント抽出部２１２は、照明条件が第１の条件となる状況下で人物を撮像することで生成された人物画像ＩＭＧ１から、キーポイントＫＰ１を高精度に抽出することができる一方で、照明条件が第１の条件とは異なる第２の条件となる状況下で人物を撮像することで生成された人物画像ＩＭＧ１から、キーポイントＫＰ１を高精度に抽出することができない可能性がある。つまり、人物画像ＩＭＧ１の品質は、人物画像ＩＭＧ１に写り込んでいる物体（ここでは、人物）の状態に影響を与える照明条件に影響を受ける可能性がある。このため、画像スコアＳＣは、照明条件を定量的に評価するための指標値であるとみなしてもよい。逆に言えば、スコア算出部２１３は、照明条件に応じて変動し得る画像スコアＳＣを算出してもよい。但し、第１実施形態では、スコア算出部２１３は、後述するように、照明条件を直接的に参照することなく、キーポイント抽出部２１２が抽出したキーポイントＫＰに基づいて画像スコアＳＣを算出する。しかしながら、スコア算出部２１３は、照明条件に基づいて、画像スコアＳＣを算出してもよい。

【0051】

ステップＳ１５では、スコア算出部２１３は、ステップＳ１２において抽出されたキーポイントＫＰ１と、ステップＳ１４において抽出されたキーポイントＫＰ２とに基づいて、人物画像ＩＭＧ１の画像スコアＳＣを算出する。ここで、人物画像ＩＭＧ１の品質が相対的に高い場合には、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出可能であることは、上述したとおりである。このため、人物画像ＩＭＧ１からキーポイント抽出部２１２が抽出したキーポイントＫＰ１と実際のキーポイントＫＰ１とのずれ量は、相対的に小さくなる。更に、人物画像ＩＭＧ１に対して画像変換処理を行うことで生成される変換画像ＩＭＧ２からキーポイント抽出部２１２が抽出したキーポイントＫＰ２と実際のキーポイントＫＰ２とのずれ量もまた、相対的に小さくなる。従って、人物画像ＩＭＧ１の品質が相対的に高い場合には、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量（つまり、キーポイントＫＰ１の位置とキーポイントＫＰ２の位置とのずれ量）が相対的に小さくなると想定される。一方で、人物画像ＩＭＧ１の品質が相対的に低い場合には、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出できない可能性がある。このため、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量が相対的に大きくなると想定される。なぜならば、キーポイント抽出部２１２がキーポイントＫＰ１（更には、キーポイントＫＰ２）を高精度に抽出できない可能性があるがゆえに、キーポイント抽出部２１２が抽出したキーポイントＫＰ１と実際のキーポイントＫＰ１とのずれ量が、キーポイント抽出部２１２が抽出したキーポイントＫＰ２と実際のキーポイントＫＰ２とのずれ量とは異なる可能性があるからである。

【0052】

このため、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量（つまり、違い）は、人物画像ＩＭＧ１の品質に関する情報を含んでいると想定される。従って、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを比較し、キーポイントＫＰ１とキーポイントＫＰ２との比較結果に基づいて、画像スコアＳＣを算出してもよい。

【0053】

図４に示すようにキーポイント抽出部２１２が複数種類のキーポイントＫＰを抽出する場合には、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを、キーポイントＫＰの種類ごとに比較してもよい。例えば、スコア算出部２１３は、第１の種類のキーポイントＫＰ１と同じ第１の種類のキーポイントＫＰ２とを比較し、第２の種類のキーポイントＫＰ１と同じ第２の種類のキーポイントＫＰ２とを比較し、・・・、第ｎ（ｎは、２以上の整数を示す変数）の種類のキーポイントＫＰ１と同じ第ｎの種類のキーポイントＫＰ２とのずれ量とを比較してもよい。一具体例として、例えば、スコア算出部２１３は、虹彩の内側の輪郭を特定可能なキーポイントＫＰ１と同じ虹彩の内側の輪郭を特定可能なキーポイントＫＰ２とを比較し、虹彩の外側の輪郭を特定可能なキーポイントＫＰ１と同じ虹彩の内側の輪郭を特定可能なキーポイントＫＰ２とを比較し、虹彩の中心を特定可能なキーポイントＫＰ１と同じ虹彩の中心を特定可能なキーポイントＫＰ２とのずれ量とを比較してもよい。この場合、キーポイント抽出部２１２がｎ種類のキーポイントＫＰを抽出する場合において、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを、ｎ種類のキーポイントＫＰの全てにおいて比較してもよい。或いは、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを、ｎ種類のキーポイントＫＰのうちの一部において比較し、キーポイントＫＰ１とキーポイントＫＰ２とを、ｎ種類のキーポイントＫＰのうちの他の一部において比較しなくてもよい。その後、スコア算出部２１３は、複数種類のキーポイントＫＰに夫々対応する複数の比較結果に基づいて、画像スコアＳＣを算出してもよい。例えば、スコア算出部２１３は、複数の比較結果の平均値（例えば、単純平均値又は二乗平均値）に基づいて、画像スコアＳＣを算出してもよい。スコア算出部２１３は、複数の比較結果の総和（例えば、単純総和又は二乗総和）に基づいて、画像スコアＳＣを算出してもよい。

【0054】

上述したようにステップＳ１３において複数の変換画像ＩＭＧ２が生成され且つステップＳ１４において複数の変換画像ＩＭＧ２から夫々複数のキーポイントＫＰ２が抽出される場合には、スコア算出部２１３は、キーポイントＫＰ１と複数のキーポイントＫＰ２とを比較してもよい。例えば、上述したようにキーポイント抽出部２１２が第１の変換画像ＩＭＧ２から第６の変換画像ＩＭＧ２から夫々第１のキーポイントＫＰ２から第６のキーポイントＫＰ２を抽出した場合には、スコア算出部２１３は、キーポイントＫＰ１と第１のキーポイントＫＰ２とを比較し、キーポイントＫＰ１と第２のキーポイントＫＰ２とを比較し、キーポイントＫＰ１と第３のキーポイントＫＰ２とを比較し、キーポイントＫＰ１と第４のキーポイントＫＰ２とを比較し、キーポイントＫＰ１と第５のキーポイントＫＰ２とを比較し、キーポイントＫＰ１と第６のキーポイントＫＰ２とを比較してもよい。その後、スコア算出部２１３は、複数のキーポイントＫＰ２に夫々対応する複数の比較結果に基づいて、画像スコアＳＣを算出してもよい。例えば、スコア算出部２１３は、複数の比較結果の平均値（例えば、単純平均値又は二乗平均値）に基づいて、画像スコアＳＣを算出してもよい。スコア算出部２１３は、複数の比較結果の総和（例えば、単純総和又は二乗総和）に基づいて、画像スコアＳＣを算出してもよい。

【0055】

スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを比較することで、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量を算出してもよい。この場合、スコア算出部２１３は、比較結果に相当するずれ量に基づいて、画像スコアＳＣを算出してもよい。例えば、スコア算出部２１３は、ずれ量が大きくなるほど、画像スコアＳＣが悪くなるように、画像スコアＳＣを算出してもよい。言い換えれば、スコア算出部２１３は、ずれ量が小さくなるほど、画像スコアＳＣが良くなるように、画像スコアＳＣを算出してもよい。一例として、スコア算出部２１３は、ずれ量が大きくなるほど大きくなる画像スコアＳＣを算出してもよい。この場合、画像スコアＳＣが大きくなるほど、人物画像ＩＭＧ１の品質が悪い（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が低い）と言える。他の一例として、スコア算出部２１３は、ずれ量が大きくなるほど小さくなる画像スコアＳＣを算出してもよい。この場合、画像スコアＳＣが大きくなるほど、人物画像ＩＭＧ１の品質が良い（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高い）と言える。

【0056】

上述したように、キーポイント抽出部２１２は、キーポイントＫＰを抽出する際に、キーポイントＫＰの位置を特定する。このようにキーポイントＫＰ１の位置が特定されるがゆえに、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量として、キーポイントＫＰ１とキーポイントＫＰ２との間の距離を算出してもよい。

【0057】

但し、キーポイントＫＰ１の位置が人物画像ＩＭＧ１内での位置として特定される一方で、キーポイントＫＰ２の位置が変換画像ＩＭＧ２内での位置として特定される。このため、
キーポイントＫＰ１の位置を特定するための第１座標系（つまり、人物画像ＩＭＧ１内での座標系）と、キーポイントＫＰ２の位置を特定するための第２座標系（つまり、変換画像ＩＭＧ２内での座標系）とが一致しているとは限らない。一方で、キーポイント抽出装置２自身が人物画像ＩＭＧ１に対して画像変換処理を行うことで変換画像ＩＭＧ２を生成しているがゆえに、キーポイント抽出装置２は、第１座標系及び第２座標系のいずれか一方の位置を、第１座標系及び第２座標系のいずれか一方の位置へと変換可能である。このため、画像スコアＳＣを算出する前に、スコア算出部２１３は、ステップＳ１４において抽出された第２座標系内でのキーポイントＫＰ２を、第１座標系内でのキーポイントＫＰ２に変換してもよい。つまり、スコア算出部２１３は、ステップＳ１４において抽出された第２座標系内でのキーポイントＫＰ２の位置を、第１座標系内でのキーポイントＫＰ２の位置に変換してもよい。その後、スコア算出部２１３は、第１座標系内でのキーポイントＫＰ１及び第１座標系内でのキーポイントＫＰ２に基づいて、画像スコアＳＣを算出してもよい。例えば、スコア算出部２１３は、第１座標系内でのキーポイントＫＰ１とキーポイントＫＰ２とのずれ量を算出し、算出したずれ量に基づいて、画像スコアＳＣを算出してもよい。

【0058】

キーポイント抽出部２１２がキーポイントＫＰを高精度に抽出できない可能性がある場合には、キーポイントＫＰが抽出される状況次第で、抽出されるキーポイントＫＰのばらつきが大きくなる可能性があることは上述したとおりである。このため、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを比較することで、キーポイントＫＰの標準偏差（つまり、キーポイントＫＰ１とキーポイントＫＰ２とのばらつき（言い換えれば、散らばり度合い））を算出し、比較結果に相当する標準偏差に基づいて、画像スコアＳＣを算出してもよい。この場合、スコア算出部２１３は、標準偏差が大きくなるほど、画像スコアＳＣが悪くなるように、画像スコアＳＣを算出してもよい。言い換えれば、スコア算出部２１３は、標準偏差が小さくなるほど、画像スコアＳＣが良くなるように、画像スコアＳＣを算出してもよい。一例として、スコア算出部２１３は、標準偏差が大きくなるほど大きくなる画像スコアＳＣを算出してもよい。この場合、画像スコアＳＣが大きくなるほど、人物画像ＩＭＧ１の品質が悪い（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が低い）と言える。他の一例として、スコア算出部２１３は、標準偏差が大きくなるほど小さくなる画像スコアＳＣを算出してもよい。この場合、画像スコアＳＣが大きくなるほど、人物画像ＩＭＧ１の品質が良い（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高い）と言える。

【0059】

スコア算出部２１３は、キーポイント抽出部２１２が複数の変換画像ＩＭＧ２から夫々複数のキーポイントＫＰ２を抽出する場合に、キーポイントＫＰの標準偏差を算出してもよい。なぜならば、標準偏差は、母集団のサンプル数（つまり、標準偏差を算出するために用いられるキーポイントＫＰ１及びキーポイントＫＰ２の総数）が過度に少ない場合には、その信頼性が低くなるからである。

【0060】

（１－４）キーポイント抽出装置２の技術的効果
以上説明したように、第１実施形態のキーポイント抽出装置２は、画像スコアＳＣを算出可能である。画像スコアＳＣは、人物画像ＩＭＧ１から抽出されたキーポイントＫＰ１の信頼度に関する指標値であり、且つ、人物画像ＩＭＧ１の品質を定量的に評価可能な指標値である。このため、キーポイント抽出装置２は、この画像スコアＳＣを用いて、キーポイント抽出装置２が人物画像ＩＭＧ１からキーポイントＫＰ１を高精度に抽出できるように、様々な対策を行うことができる。

【0061】

例えば、相対的に悪い画像スコアＳＣが算出された人物画像ＩＭＧ１は、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出できない（つまり、抽出されたキーポイントＫＰ１の信頼性が相対的に低いと評価される）ほどに品質が悪い画像である可能性がある。このため、相対的に悪い画像スコアＳＣが算出された場合には、人物画像ＩＭＧ１の品質を向上させる必要性が相対的に高いと想定される。従って、この場合には、キーポイント抽出装置２は、人物画像ＩＭＧ１の品質を向上させるための対策を行ってもよい。尚、人物画像ＩＭＧ１の品質を向上させるための対策の一例として、照明装置４による照明光の照明条件の変更があげられるが、この対策については、後述の第２実施形態で説明する。

【0062】

例えば、相対的に悪い画像スコアＳＣが算出された人物画像ＩＭＧ１は、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出できない（つまり、抽出されたキーポイントＫＰ１の信頼性が相対的に低いと評価される）ほどにキーポイント抽出部２１２による学習が不足している画像である可能性がある。このため、相対的に悪い画像スコアＳＣが算出された場合には、当該相対的に悪い画像スコアＳＣを有する人物画像ＩＭＧ１を用いてキーポイント抽出部２１２の学習（具体的には、上述した学習モデルの学習）を行う必要性が相対的に高いと想定される。従って、キーポイント抽出装置２は、画像スコアＳＣが相対的に悪い人物画像ＩＭＧ１を用いてキーポイント抽出部２１２の学習を行うことができる。

【0063】

また、第１実施形態では、キーポイント抽出装置２は、人物画像ＩＭＧ１から抽出されるキーポイントＫＰ１と、人物画像ＩＭＧ１に対して画像変換処理を行うことで生成される変換画像ＩＭＧ２から抽出されるキーポイントＫＰ２とを比較することで、画像スコアＳＣを算出可能である。上述したように人物画像ＩＭＧ１の品質が相対的に高い場合には、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量が相対的に小さくなる一方で、人物画像ＩＭＧ１の品質が相対的に低い場合には、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量が相対的に大きくなる。このため、キーポイント抽出装置２は、キーポイントＫＰ１とキーポイントＫＰ２とを比較することで、適切に画像スコアＳＣを算出することができる。

【0064】

（１－５）キーポイント抽出装置２の変形例
上述した説明では、キーポイント抽出装置２は、人物画像ＩＭＧ１からキーポイントＫＰを抽出可能であって且つ変換画像ＩＭＧ２からキーポイントＫＰを抽出可能な単一のキーポイント抽出部２１２を備えている。しかしながら、キーポイント抽出装置２は、人物画像ＩＭＧ１からキーポイントＫＰを抽出可能なキーポイント抽出部と、変換画像ＩＭＧ２からキーポイントＫＰを抽出可能なキーポイント抽出部とを別々に備えていてもよい。

【0065】

（２）第２実施形態のキーポイント抽出システムＳＹＳ
続いて、第２実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第２実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳｂ”と称する。

【0066】

第２実施形態のキーポイント抽出システムＳＹＳｂは、上述した第１実施形態のキーポイント抽出システムＳＹＳａと比較して、キーポイント抽出装置２に代えて、キーポイント抽出装置２ｂを備えるという点で異なる。キーポイント抽出システムＳＹＳｂのその他の特徴は、キーポイント抽出システムＳＹＳａのその他の特徴と同一であってもよい。このため、以下では、図５を参照しながら、第２実施形態のキーポイント抽出装置２ｂについて説明する。図５は、第２実施形態のキーポイント抽出装置２ｂの構成を示すブロック図である。尚、既に説明済みの構成要件については、同一の参照符号を付することで、その詳細な説明を省略する。また、既に説明済みの処理については、同一のステップ番号を付することで、その詳細な説明を省略する。

【0067】

図５に示すように、第２実施形態のキーポイント抽出装置２ｂは、第１実施形態のキーポイント抽出装置２と比較して、演算装置２１内に、「照明制御手段」の一具体例である照明制御部２１４ｂが実現されるという点で異なる。キーポイント抽出装置２ｂのその他の特徴は、キーポイント抽出装置２のその他の特徴と同一であってもよい。

【0068】

照明制御部２１４ｂは、照明装置４を制御可能である。具体的には、照明制御部２１４ｂは、照明装置４を制御することで、照明装置４による照明光の照明条件を制御可能（具体的には、変更可能）である。照明条件は、例えば、照明光そのものの条件（以降、“光条件”と称する）を含んでいてもよい。光条件は、例えば、照明光の強度及び照明光の波長のうちの少なくとも一つを含んでいてもよい。照明条件は、例えば、照明装置４そのものの条件（以降、“装置条件”と称する）を含んでいてもよい。装置条件は、例えば、照明装置４の位置（つまり、照明装置４から照明光が射出される射出位置）及び照明装置４の向き（つまり、照明装置４の姿勢であり、照明装置４が照明光を射出する射出方向）のうちの少なくとも一つを含んでいてもよい。

【0069】

照明制御部２１４ｂは特に、スコア算出部２１３が算出した画像スコアＳＣに基づいて、照明装置４を制御してもよい。具体的には、照明制御部２１４ｂは、画像スコアＳＣが改善される（つまり、良くなる）ように、照明装置４を制御してもよい。上述したように、上述したように人物画像ＩＭＧ１の品質が良くなればなるほど（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高くなれば高くなるほど）画像スコアＳＣが大きくなる場合には、照明制御部２１４ｂは、画像スコアＳＣが大きくなる（或いは、最大になる）ように、照明装置４を制御してもよい。上述したように人物画像ＩＭＧ１の品質が良くなればなるほど（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高くなれば高くなるほど）画像スコアＳＣが小さくなる場合には、照明制御部２１４ｂは、画像スコアＳＣが小さくなる（或いは、最小になる）ように、照明装置４を制御してもよい。

【0070】

画像スコアＳＣが改善されるように照明装置４を制御するために、カメラ１は、照明条件が異なる複数の状況の夫々において人物を撮像してもよい。具体的には、照明制御部２１４ｂは、照明条件が第１の条件に設定されるように照明装置４を制御し、カメラ１は、照明条件が第１の条件に設定されている状況下において人物を撮像することで、人物画像ＩＭＧ１＃２１を生成してもよい。その後、照明制御部２１４ｂは、照明条件が第１の条件とは異なる第２の条件に設定されるように照明装置４を制御し、カメラ１は、照明条件が第２の条件に設定されている状況下において人物を撮像することで、人物画像ＩＭＧ１＃２２を生成してもよい。その後、スコア算出部２１３は、人物画像ＩＭＧ１＃２１の画像スコアＳＣ＃２１と、人物画像ＩＭＧ１＃２２の画像スコアＳＣ＃２２とを算出してもよい。その後、照明制御部２１４ｂは、画像スコアＳＣ＃２１と画像スコアＳＣ＃２２とを比較することで、画像スコアＳＣが改善されるように照明条件を設定してもよい。例えば、画像スコアＳＣ＃２１が画像スコアＳＣ＃２２よりもよい場合には、照明制御部２１４ｂは、以降の動作で用いられる照明条件が第２の条件に設定されるように照明装置４を制御してもよい。以降は、カメラ１は、照明条件が第２の条件に設定されている状況下において人物を撮像することになる。尚、必要に応じて、照明制御部２１４ｂは、照明条件を変更し、照明条件の変更前後における画像スコアＳＣの比較結果に基づいて照明条件を設定する動作を繰り返してもよい。その結果、画像スコアＳＣがより一層改善されるように、照明条件が変更される。

【0071】

このような照明制御部２１４ｂの動作によって画像スコアＳＣが改善される場面の一例として、メガネをかけた人物がカメラ１によって撮像される場面があげられる。上述したように、メガネをかけた人物がカメラ１によって撮像される場合には、人物画像ＩＭＧ１には、メガネをかけた人物が写り込む。この場合には、照明装置４からの照明光がメガネによって反射される可能性がある。このため、人物画像ＩＭＧ１には、人物の目（特に、虹彩）が適切に写り込んでいない可能性がある。例えば、人物画像ＩＭＧ１には、メガネのレンズの奥にあるはずの人物の目（特に、虹彩）の一部が、メガネのレンズにおける反射光の写り込みによって隠される可能性がある。一方で、照明条件が変更された場合には、メガネのレンズによる照明光の反射態様が変わる可能性がある。その結果、メガネのレンズにおける反射光の写り込みによって隠されていた人物の目（特に、虹彩）の一部が、人物画像ＩＭＧ１内に写り込む可能性がある。この場合、人物の目（特に、虹彩）が人物画像ＩＭＧ１に適切に写り込んでいるか否かは、画像スコアＳＣから評価可能である。なぜならば、人物の目（特に、虹彩）の一部がメガネのレンズにおける反射光の写り込みによって隠される場合には、画像スコアＳＣが相対的に悪くなる一方で、人物の目（特に、虹彩）の一部がメガネのレンズにおける反射光の写り込みによって隠されていない場合には、画像スコアＳＣが相対的に良くなるからである。このため、この場合には、照明制御部２１４ｂ、人物の目（特に、虹彩）の一部がメガネのレンズにおける反射光の写り込みによって隠されなくなる（その結果、画像スコアＳＣが改善する）ように、照明装置４を制御可能である。

【0072】

このように、第２実施形態では、キーポイント抽出装置２ｂは、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出できる（つまり、抽出されたキーポイントＫＰ１の信頼性が相対的に高いと評価される）ように、照明装置４を制御することができる。このため、キーポイント抽出装置２ｂは、第１実施形態のキーポイント抽出装置２が享受可能な効果と同様の効果を享受しつつ、人物画像ＩＭＧ１の品質を向上させるための対策を行うことができる。

【0073】

尚、照明制御部２１４ｂは、キーポイント抽出部２１２が抽出したキーポイントＫＰを用いた動作（例えば、上述した虹彩を用いて人物を認証する動作）が行われている期間中に、画像スコアＳＣが改善されるように照明装置４を制御してもよい。照明制御部２１４ｂは、キーポイント抽出部２１２が抽出したキーポイントＫＰを用いた動作（例えば、上述した虹彩を用いて人物を認証する動作）が開始される前に、画像スコアＳＣが改善されるように照明装置４を制御してもよい。

【0074】

（３）第３実施形態のキーポイント抽出システムＳＹＳ
続いて、第３実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第３実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳｃ”と称する。

【0075】

第３実施形態のキーポイント抽出システムＳＹＳｃは、上述した第１実施形態のキーポイント抽出システムＳＹＳａと比較して、キーポイント抽出装置２に代えて、キーポイント抽出装置２ｃを備えるという点で異なる。キーポイント抽出システムＳＹＳｃのその他の特徴は、キーポイント抽出システムＳＹＳａのその他の特徴と同一であってもよい。このため、以下では、図６を参照しながら、第３実施形態のキーポイント抽出装置２ｃについて説明する。図６は、第２実施形態のキーポイント抽出装置２ｃの構成を示すブロック図である。

【0076】

図６に示すように、第３実施形態のキーポイント抽出装置２ｃは、第１実施形態のキーポイント抽出装置２と比較して、演算装置２１内に、「選択手段」の一具体例である画像選択部２１５ｃが実現されるという点で異なる。キーポイント抽出装置２ｃのその他の特徴は、キーポイント抽出装置２のその他の特徴と同一であってもよい。

【0077】

画像選択部２１５ｃは、スコア算出部２１３が算出した画像スコアＳＣが所定の選択基準を満たしている人物画像ＩＭＧ１を選択する。具体的には、スコア算出部２１３は、典型的には、カメラ１が人物を新たに撮像する都度（つまり、人物画像ＩＭＧ１を新たに生成する都度）、新たに生成された人物画像ＩＭＧ１の画像スコアＳＣを算出する。このため、典型的には、スコア算出部２１３は、複数の人物画像ＩＭＧ１の夫々の画像スコアＳＣを算出する。画像選択部２１５ｃは、この複数の人物画像ＩＭＧ１の中から、画像スコアＳＣが所定の選択基準を満たしている少なくとも一つの人物画像ＩＭＧ１を選択する。

【0078】

選択された人物画像ＩＭＧ１は、所望の用途で用いられてもよい。例えば、選択された人物画像ＩＭＧ１は、キーポイント抽出部２１２の学習（具体的には、上述したキーポイント抽出部２１２が用いる学習モデルの学習）という用途で用いられてもよい。選択された人物画像ＩＭＧ１が所望の用途のために用いられる場合には、人物画像ＩＭＧ１を選択するために用いられる選択基準は、所望の用途に応じて設定されてもよい。例えば、選択基準は、学習モデルの学習という用途に応じて設定されてもよい。

【0079】

学習モデルの学習という用途に応じて設定される選択基準の一例として、画像スコアＳＣが所定の選択閾値よりも悪いという第１の基準があげられる。この場合、画像選択部２１５ｃは、画像スコアＳＣが選択閾値よりも悪い人物画像ＩＭＧ１を選択する。例えば、上述したように人物画像ＩＭＧ１の品質が良くなればなるほど（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高くなれば高くなるほど）画像スコアＳＣが大きくなる場合には、画像選択部２１５ｃは、画像スコアＳＣが選択閾値よりも小さい人物画像ＩＭＧ１を選択してもよい。例えば、上述したように人物画像ＩＭＧ１の品質が良くなればなるほど（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高くなれば高くなるほど）画像スコアＳＣが小さくなる場合には、画像選択部２１５ｃは、画像スコアＳＣが選択閾値よりも大きい人物画像ＩＭＧ１を選択してもよい。

【0080】

このような第１の基準が選択基準として用いられる場合には、画像選択部２１５ｃは、画像スコアＳＣが相対的に悪い人物画像ＩＭＧ１を選択する。第１実施形態で説明したように、画像スコアＳＣが相対的に悪い人物画像ＩＭＧ１は、学習モデルによる学習が不足している画像である可能性が相対的に高い。このため、第１の基準が選択基準として用いられる場合には、画像選択部２１５ｃは、学習モデルによる学習が不足している人物画像ＩＭＧ１を選択することができる。その結果、学習モデルによる学習が不足している人物画像ＩＭＧ１を用いて、学習モデルの学習が行われる。このため、学習モデルによる学習が十分である人物画像ＩＭＧ１を用いて学習モデルの学習が行われる場合と比較して、学習モデルの学習が効率的に行われる。つまり、学習モデルの学習効率があがる。

【0081】

尚、第１の基準で用いられる選択閾値は、学習モデルによる学習が不足している（言い換えれば、学習モデルにとって相性が悪い）人物画像ＩＭＧ１と、学習モデルによる学習が不足していない（言い換えれば、学習モデルにとって相性が良い）人物画像ＩＭＧ１とを、画像スコアＳＣから区別可能な所望の値に設定されてもよい。

【0082】

学習モデルの学習という用途に応じて設定される選択基準の他の一例として、画像スコアＳＣが既知である複数の学習画像を用いて学習モデルが学習済みである状況下において、画像スコアＳＣが、学習モデルが学習済みの複数の学習画像を画像スコアＳＣに応じて分類した場合に分類される学習画像のサンプル数が所定数よりも少ない画像スコアＳＣの範囲に含まれるという第２の基準があげられる。例えば、図７は、学習画像のサンプル数と、学習画像の画像スコアＳＣとの関係を示している。つまり、図７は、ある画像スコアＳＣの学習画像のサンプル数を、画像スコアＳＣ毎に示している。ここで、図７に示す例では、所定数が閾値ＴＨに設定されている。この場合、図７に示すように、学習画像のサンプル数が所定数（＝閾値ＴＨ）よりも少ない画像スコアＳＣの範囲は、「所定スコアＳＣ１＜画像スコアＳＣ＜所定スコアＳＣ２」という範囲となる。従って、図７に示す例では、画像選択部２１５ｃは、画像スコアＳＣが所定スコアＳＣ１よりも大きく且つ所定スコアＳＣ２よりも小さい人物画像ＩＭＧ１を選択する。

【0083】

このような第２の基準が選択基準として用いられる場合には、画像選択部２１５ｃは、学習モデルが学習済みの学習画像とは画像スコアＳＣが異なる人物画像ＩＭＧ１を優先的に選択する。学習モデルが学習済みの学習画像とは画像スコアＳＣが異なる人物画像ＩＭＧ１は、学習モデルによる学習が不足している画像である可能性が相対的に高い。このため、第２の基準が選択基準として用いられる場合には、画像選択部２１５ｃは、学習モデルによる学習が不足している人物画像ＩＭＧ１を選択することができる。その結果、学習モデルによる学習が不足している人物画像ＩＭＧ１を用いて、学習モデルの学習が行われる。このため、学習モデルによる学習が十分である人物画像ＩＭＧ１を用いて学習モデルの学習が行われる場合と比較して、学習モデルの学習が効率的に行われる。つまり、学習モデルの学習効率があがる。

【0084】

尚、第２の基準で用いられる所定数（例えば、図７における閾値ＴＨ）は、学習モデルによる学習が不足している（言い換えれば、学習モデルにとって相性が悪い）人物画像ＩＭＧ１と、学習モデルによる学習が不足していない（言い換えれば、学習モデルにとって相性が良い）人物画像ＩＭＧ１とを、それらのサンプル数から区別可能な所望の値に設定されてもよい。

【0085】

人物画像ＩＭＧ１を用いて学習モデルの学習を行うために教師あり学習を行う場合には、人物画像ＩＭＧ１に対して、当該人物画像ＩＭＧ１から抽出されるべきキーポイントＫＰの正解ラベルを付与する（つまり、アノテーションを行う）ことで、人物画像ＩＭＧ１と正解ラベルとを含む学習用データを生成することが望まれる。しかしながら、一般的に、正解ラベルの付与には手間がかかる。しかるに、第１の基準又は第２の基準が選択基準として用いられる場合には、複数の人物画像ＩＭＧ１の中から第１の基準又は第２の基準に基づいて選択された人物画像ＩＭＧ１に対して正解ラベルが付与されれば十分である。つまり、複数の人物画像ＩＭＧ１の全てに正解ラベルが付与されなくてもよくなる。このため、第２実施形態では、正解ラベルの付与に要する手間が軽減される。つまり、学習用データの生成に要する手間が軽減される。

【0086】

尚、画像選択部２１５ｃは、画像スコアＳＣが第１の基準及び第２の基準の双方を満たす人物画像ＩＭＧ１を選択してもよい。例えば、画像選択部２１５ｃは、複数の人物画像ＩＭＧ１の中から、画像スコアＳＣが第１の基準を満たす複数の人物画像ＩＭＧ１を選択し、その後、画像スコアＳＣが第１の基準を満たす複数の人物画像ＩＭＧ１の中から、画像スコアＳＣが第２の基準を満たす複数の人物画像ＩＭＧ１を選択してもよい。

【0087】

このように、第３実施形態では、キーポイント抽出装置２ｃは、画像スコアＳＣが選択基準を満たす人物画像ＩＭＧ１を選択する（例えば、収集する）ことができる。このため、キーポイント抽出装置２ｃは、第１実施形態のキーポイント抽出装置２が享受可能な効果と同様の効果を享受しつつ、選択された人物画像ＩＭＧ１を用いて、所望の動作（例えば、キーポイント抽出部２１２が用いる学習モデルの学習）を行うことができる。

【0088】

尚、上述した第２実施形態のキーポイント抽出装置２ｂが、第３実施形態のキーポイント抽出装置２ｃに特有の構成要件を備えていてもよい。第３実施形態のキーポイント抽出装置２ｃに特有の構成要件は、画像選択部２１５ｃを含んでいてもよい。第３実施形態のキーポイント抽出装置２ｃに特有の構成要件は、画像スコアＳＣに基づく人物画像ＩＭＧ１の選択に関する構成要件を含んでいてもよい。

【0089】

（４）第４実施形態のキーポイント抽出システムＳＹＳ
続いて、第４実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第４実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳｄ”と称する。

【0090】

第４実施形態のキーポイント抽出システムＳＹＳｄは、上述した第１実施形態のキーポイント抽出システムＳＹＳａと比較して、キーポイント抽出装置２に代えて、キーポイント抽出装置２ｄを備えるという点で異なる。キーポイント抽出システムＳＹＳｄのその他の特徴は、キーポイント抽出システムＳＹＳａのその他の特徴と同一であってもよい。このため、以下では、図８を参照しながら、第４実施形態のキーポイント抽出装置２ｄについて説明する。図８は、第４実施形態のキーポイント抽出装置２ｄの構成を示すブロック図である。

【0091】

図８に示すように、第４実施形態のキーポイント抽出装置２ｄは、第１実施形態のキーポイント抽出装置２と比較して、演算装置２１内に、「学習手段」の一具体例である学習部２１６ｄと、「学習手段」の一具体例である重み算出部２１７ｄとが実現されるという点で異なる。更には、キーポイント抽出装置２ｄは、キーポイント抽出装置２と比較して、記憶装置２２が、キーポイント抽出部２１２が用いる学習モデルの学習のために用いられる学習用データ２２１ｄを記憶しているという点で異なる。キーポイント抽出装置２ｄのその他の特徴は、キーポイント抽出装置２のその他の特徴と同一であってもよい。

【0092】

学習部２１６ｄは、学習用データ２２１ｄを用いて、キーポイント抽出部２１２が用いる学習モデルの学習を行う。第４実施形態では、学習部２１６ｄは、学習用データ２２１ｄを用いて半教師あり学習を行うことで、学習モデルの学習を行う。このため、学習部２１６ｄは、半教師あり学習を行うための学習用データ２２１ｄを用いて、学習モデルの学習を行う。

【0093】

半教師あり学習を行うための学習用データ２２１ｄの一例が図９に示されている。図９に示すように、学習用データ２２１ｄは、ラベル付き学習用データ２２１１ｄと、ラベルなし学習用データ２２１２ｄとを含む。ラベル付き学習用データ２２１１ｄは、学習画像ＩＭＧ３と当該学習画像ＩＭＧ３から抽出されるべきキーポイントＫＰを示す正解ラベルとを含むラベル付き単位データ２２１３ｄを複数含むデータセットである。一方で、ラベルなし学習用データ２２１２ｄは、学習画像ＩＭＧ３を含む一方で正解ラベルを含まないラベルなし単位データ２２１４ｄを複数含むデータセットである。尚、以下の説明では、ラベル付き学習用データ２２１１ｄに含まれる学習画像ＩＭＧ３を、“学習画像ＩＭＧ３－１”と称し、ラベルなし学習用データ２２１２ｄに含まれる学習画像ＩＭＧ３を、“学習画像ＩＭＧ３－２”と称する。ラベル付き学習用データ２２１１ｄに含まれる学習画像ＩＭＧ３－１の数（つまり、ラベル付き単位データ２２１３ｄの数）は、ラベルなし学習用データ２２１２ｄに含まれる学習画像ＩＭＧ３－２の数（つまり、ラベルなし単位データ２２１４ｄの数）よりも少なくてもよい。

【0094】

学習部２１６ｄは、半教師あり学習を行うための既存のアルゴリズムを用いて、学習モデルの学習を行ってもよい。例えば、学習部２１６ｄは、ブートストラップ法に基づくアルゴリズムを用いて、学習モデルの学習を行ってもよい。この場合、学習部２１６ｄは、まずは、ラベル付き学習用データ２２１１ｄを用いて、学習モデルの学習を行ってもよい。ラベル付き学習用データ２２１１ｄを用いた学習モデルの学習は、教師あり学習であってもよい。その後、学習部２１６ｄは、ラベル付き学習用データ２２１１ｄを用いた学習結果に基づいて、ラベルなし学習用データ２２１２ｄに含まれる複数の学習画像ＩＭＧ３－２のうちの少なくとも一部に、各学習画像ＩＭＧ３－２から抽出されると推定されるキーポイントＫＰを示す疑似ラベルを付与してもよい。例えば、学習部２１６ｄは、ラベルなし学習用データ２２１２ｄに含まれる複数の学習画像ＩＭＧ３－２のうちの信頼度の相対的に高い少なくとも一つの学習画像ＩＭＧ３－２に、疑似ラベルを付与する。尚、ここで言う「信頼度の高い学習画像ＩＭＧ３－２」は、抽出されると推定されるキーポイントＫＰの確からしさが相対的に高い学習画像ＩＭＧ３－２を意味していてもよい。その後、学習部２１６ｄは、ラベル付き学習用データ２２１１ｄとラベルなし学習用データ２２１２ｄのうちの疑似ラベルが付与されたラベルなし単位データ２２１４ｄとを用いて、学習モデルの学習を行ってもよい。ラベル付き学習用データ２２１１ｄとラベルなし学習用データ２２１２ｄのうちの疑似ラベルが付与されたラベルなし単位データ２２１４ｄとを用いた学習モデルの学習もまた、教師あり学習であってもよい。学習部２１６ｄは、疑似ラベルの付与と、教師あり学習（つまり、ラベル付き学習用データ２２１１ｄとラベルなし学習用データ２２１２ｄのうちの疑似ラベルが付与されたラベルなし単位データ２２１４ｄとを用いた学習モデルの学習）とを含む動作を必要回数だけ繰り返してもよい。このため、第３実施形態では、エポック数は、疑似ラベルの付与と教師あり学習とを含む動作を繰り返す回数となる。例えば、学習部２１６ｄは、教師あり学習と疑似ラベルの付与とを交互に、損失関数が所定の学習終了条件を満たすまで繰り返してもよい。その結果、半教師あり学習が完了する。

【0095】

重み算出部２１７ｄは、疑似ラベルの重みｗを算出する。疑似ラベルの重みｗを算出するために、重み算出部２１７ｄは、ラベルなし学習用データ２２１２ｄに含まれる複数の学習画像ＩＭＧ３－２の画像スコアＳＣを用いてもよい。

【0096】

このため、キーポイント抽出装置２ｄは、ラベルなし学習用データ２２１２ｄに含まれる複数の学習画像ＩＭＧ３－２を対象に、図３に示すキーポイント抽出動作を行ってもよい。つまり、キーポイント抽出装置２ｄは、学習画像ＩＭＧ３－２を取得し（図３のステップＳ１１）、キーポイント抽出部２１２は、学習画像ＩＭＧ３－２からキーポイントＫＰを抽出し（図３のステップＳ１２）、画像変換部２１１は、学習画像ＩＭＧ３－２を変換する画像変換処理を行うことで変換画像ＩＭＧ２を算出し（図１３のステップＳ１３）、キーポイント抽出部２１２は、変換画像ＩＭＧ２からキーポイントＫＰを抽出し（図３のステップＳ１４）、スコア算出部２１３は、学習画像ＩＭＧ３－２から抽出されたキーポイントＫＰと変換画像ＩＭＧ２から抽出されたキーポイントＫＰとに基づいて、学習画像ＩＭＧ３－２の画像スコアＳＣを算出してもよい（図３のステップＳ１５）。

【0097】

その後、重み算出部２１７ｄは、各学習画像ＩＭＧ３－２の画像スコアＳＣに基づいて、各学習画像ＩＭＧ３－２に付与される疑似ラベルの重みｗを算出する。例えば、重み算出部２１７ｄは、一の学習画像ＩＭＧ３－２の画像スコアＳＣが良くなるほど、一の学習画像ＩＭＧ３－２に付与される疑似ラベルの重みｗが大きくなるように、重みｗを算出してもよい。例えば、重み算出部２１７ｄは、一の学習画像ＩＭＧ３－２の画像スコアＳＣが悪くなるほど、一の学習画像ＩＭＧ３－２に付与される疑似ラベルの重みｗが小さくなるように、重みｗを算出してもよい。一例として、重み算出部２１７ｄは、画像スコアＳＣの逆数を、重みｗとして算出してもよい。尚、重みｗは、例えば、０以上且つ１以下の値であってもよい。

【0098】

算出された重みｗは、半教師あり学習を行う学習部２１６ｄによって用いられてもよい。例えば、学習部２１６ｄは、学習モデルの学習を行うために、重みｗが相対的に大きい疑似ラベルが付与されたラベルなし単位データ２２１４ｄを用いてもよい。例えば、学習部２１６ｄは、学習モデルの学習を行うために、重みｗが所定の重み閾値よりも大きい疑似ラベルが付与されたラベルなし単位データ２２１４ｄを用いてもよい。一方で、例えば、学習部２１６ｄは、学習モデルの学習を行うために、重みｗが相対的に小さい疑似ラベルが付与されたラベルなし単位データ２２１４ｄを用いなくてもよい。例えば、学習部２１６ｄは、学習モデルの学習を行うために、重みｗが所定の重み閾値よりも小さい疑似ラベルが付与されたラベルなし単位データ２２１４ｄを用いなくてもよい。つまり、学習部２１６ｄは、学習モデルの学習を行うために、重みｗが相対的に高い疑似ラベルが付与された学習画像ＩＭＧ３－２を優先的に用いてもよい。その結果、学習部２１６ｄは、学習モデルの学習を行うために、品質が相対的に良い学習画像ＩＭＧ３－２（つまり、学習モデルがキーポイントＫＰ１を正しく抽出できる可能性が相対的に高い学習画像ＩＭＧ３－２）を優先的に用いることになる。この場合、半教師あり学習が行われるに従って、学習モデルがキーポイントＫＰ１を正しく抽出できる可能性が相対的に高い学習画像ＩＭＧ３－２の数が徐々に増えていく。つまり、半教師あり学習が十分に行われていない学習初期において、学習モデルがキーポイントＫＰ１を正しく抽出できる可能性が相対的に低い学習画像ＩＭＧ３－２（つまり、品質が相対的に悪い学習画像ＩＭＧ３－２）を用いた学習の機会が抑制される。従って、学習モデルの学習が効率的に行われる。つまり、学習モデルの学習効率があがる。

【0099】

尚、重み閾値は、学習モデルによる学習が不足している（言い換えれば、学習モデルにとって相性が悪い）学習画像ＩＭＧ３－２と、学習モデルによる学習が不足していない（言い換えれば、学習モデルにとって相性が良い）学習画像ＩＭＧ３－２とを、画像スコアＳＣから区別可能な所望の値に設定されてもよい。

【0100】

重み算出部２１７ｄは、学習部２１６ｄによる学習モデルの学習が１回行われる（つまり、上述した疑似ラベルの付与と教師あり学習とを含む動作が１回行われる）たびに、新たに重みｗを算出してもよい。つまり、重み算出部２１７ｄは、エポック毎に重みｗを算出してもよい。なぜならば、学習部２１６ｄによる学習モデルの学習が１回行われるたびに、キーポイント抽出部２１２の挙動が変わるがゆえに、キーポイント抽出部２１２が抽出したキーポイントＫＰに基づいて算出される画像スコアＳＣもまた変わり且つ画像スコアＳＣに基づいて算出される重みｗもまた変わる可能性があるからである。

【0101】

このように、第４実施形態では、キーポイント抽出装置２ｄは、画像スコアＳＣに基づいて算出される重みｗと、学習用データ２２１ｄとを用いて、学習モデルの学習を行うことができる。このため、このため、キーポイント抽出装置２ｄは、第１実施形態のキーポイント抽出装置２が享受可能な効果と同様の効果を享受しつつ、学習モデルの学習を効率的に行うことができる。更に、キーポイント抽出装置２ｄは、半教師あり学習を用いて学習モデルの学習を行うがゆえに、アノテーションの手間をかけることなく学習モデルの学習を効率的に行うことができる。

【0102】

尚、上述した第２実施形態のキーポイント抽出装置２ｂから第３実施形態のキーポイント抽出装置２ｃのうちの少なくとも一つが、第４実施形態のキーポイント抽出装置２ｄに特有の構成要件を備えていてもよい。第４実施形態のキーポイント抽出装置２ｄに特有の構成要件は、学習部２１６ｄ及び重み算出部２１７ｄを含んでいてもよい。第４実施形態のキーポイント抽出装置２ｄに特有の構成要件は、重みｗを用いた半教師あり学習に関する構成要件を含んでいてもよい。

【0103】

（５）第５実施形態のキーポイント抽出システムＳＹＳ
続いて、第５実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第５実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳｅ”と称する。

【0104】

第５実施形態のキーポイント抽出システムＳＹＳｅは、上述した第１実施形態のキーポイント抽出システムＳＹＳと比較して、キーポイント抽出装置２に代えて、キーポイント抽出装置２ｅを備えるという点で異なる。キーポイント抽出システムＳＹＳｅのその他の特徴は、キーポイント抽出システムＳＹＳａのその他の特徴と同一であってもよい。このため、以下では、図１０を参照しながら、第５実施形態のキーポイント抽出装置２ｅについて説明する。図１０は、第５実施形態のキーポイント抽出装置２ｅの構成を示すブロック図である。

【0105】

図１０に示すように、第５実施形態のキーポイント抽出装置２ｅは、第１実施形態のキーポイント抽出装置２と比較して、演算装置２１内に、「判定手段」の一具体例である画像判定部２１８ｅが実現されるという点で異なる。キーポイント抽出装置２ｅのその他の特徴は、キーポイント抽出装置２のその他の特徴と同一であってもよい。

【0106】

画像判定部２１８ｅは、画像スコアＳＣに基づいて、人物画像ＩＭＧ１に、虹彩を含む人物の目が写り込んでいるか否かを判定してもよい。人物画像ＩＭＧ１に目が写り込んでいるか否かを判定するために、画像判定部２１８ｅは、算出された画像スコアＳＣが所定の第１判定閾値ＴＨ１よりも悪いか否かを判定してもよい。例えば、人物画像ＩＭＧ１の品質が良くなればなるほど画像スコアＳＣが大きくなる場合には、画像判定部２１８ｅは、算出された画像スコアＳＣが所定の第１判定閾値ＴＨ１よりも小さいか否かを判定してもよい。例えば、人物画像ＩＭＧ１の品質が悪くなればなるほど画像スコアＳＣが大きくなる場合には、画像判定部２１８ｅは、算出された画像スコアＳＣが所定の第１判定閾値ＴＨ１よりも大きいか否かを判定してもよい。この判定の結果、画像判定部２１８ｅは、画像スコアＳＣが所定の第１判定閾値ＴＨ１よりも悪いと判定された場合には、人物画像ＩＭＧ１に目が写り込んでいないと判定してもよい。なぜならば、人物画像ＩＭＧ１に目が写り込んでいない場合には、虹彩のキーポイントＫＰが抽出されなくなるがゆえに、画像スコアＳＣが悪くなるからである。一方で、画像判定部２１８ｅは、画像スコアＳＣが所定の第１判定閾値ＴＨ１よりも良いと判定された場合には、人物画像ＩＭＧ１に目が写り込んでいると判定してもよい。

【0107】

人物画像ＩＭＧ１に目が写り込んでいない場合には、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が一定以上継続する可能性が高い。このため、画像判定部２１８ｅは、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも長く継続する場合に、人物画像ＩＭＧ１に目が写り込んでいないと判定してもよい。一方で、画像判定部２１８ｅは、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも短い時間しか継続しなかった場合には、人物画像ＩＭＧ１に目が写り込んでいると判定してもよい。つまり、画像判定部２１８ｅは、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪いと判定された場合であっても、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも短い時間しか継続しなかった場合には、人物画像ＩＭＧ１に目が写り込んでいると判定してもよい。なぜならば、人物画像ＩＭＧ１に写り込んでいる人物が瞬きをした場合には、人物画像ＩＭＧ１に目が写り込んでいるにも関わらず、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪いと判定される可能性があるからである。

【0108】

逆に言えば、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも短い時間しか継続しなかった場合には、画像判定部２１８ｅは、人物画像ＩＭＧ１に目が写り込んでいるが、人物画像ＩＭＧ１に写り込んだ目が瞬きをしていると判定してもよい。つまり、人物画像ＩＭＧ１に目が写り込んでいると判定された状況下において、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも短い時間しか継続しなかった場合には、画像判定部２１８ｅは、その時間において人物画像ＩＭＧ１に写り込んだ目が瞬きをしていると判定してもよい。

【0109】

画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも長く継続したか否かを判定するために、カメラ１は、同じ人物を連続的に撮像することで、時系列データに相当する複数の人物画像ＩＭＧ１を生成してもよい。更に、キーポイント抽出装置２は、複数の人物画像ＩＭＧ１に夫々対応する複数の画像スコアＳＣを算出してもよい。算出された複数の画像スコアＳＣは、画像スコアＳＣの時系列変化を示している。このため、画像判定部２１８ｅは、画像スコアＳＣの時系列変化に基づいて、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも長く継続したか否かを判定することができる。

【0110】

尚、第１判定閾値ＴＨ１は、目が写り込んでいる人物画像ＩＭＧ１と、目が写り込んでいない人物画像ＩＭＧ１とを、画像スコアＳＣから区別可能な所望の値に設定されてもよい。また、第２判定閾値ＴＨ２は、瞬きしている（つまり、閉じている）目が写り込んでいる人物画像ＩＭＧ１と、そもそも目が写り込んでいない人物画像ＩＭＧ１とを、画像スコアＳＣから区別可能な所望の値に設定されてもよい。

【0111】

このように、第５実施形態では、キーポイント抽出装置２ｅは、人物画像ＩＭＧ１に目が写り込んでいるか否かを判定可能である。この場合、キーポイント抽出装置２ｅは、目が写り込んでいない人物画像ＩＭＧ１を、キーポイントＫＰを用いて行われる動作（例えば、上述した虹彩を用いて人物を認証する動作）の対象から除外してもよい。その結果、キーポイントＫＰを用いて行われる動作に要する時間の短縮が可能となる。

【0112】

また、第５実施形態では、キーポイント抽出装置２ｅは、人物画像ＩＭＧ１に写り込んでいる目が瞬きをしているか否かを判定可能である。この場合、キーポイント抽出装置２ｅは、瞬きをしている（つまり、閉じている）目が写り込んでいる人物画像ＩＭＧ１を、キーポイントＫＰを用いて行われる動作の対象から除外してもよい。その結果、キーポイントＫＰを用いて行われる動作に要する時間の短縮が可能となる。

【0113】

従って、キーポイント抽出装置２ｅは、第１実施形態のキーポイント抽出装置２が享受可能な効果と同様の効果を享受しつつ、キーポイントＫＰを用いて行われる動作に要する時間の短縮が可能となる。

【0114】

尚、上述した第２実施形態のキーポイント抽出装置２ｂから第４実施形態のキーポイント抽出装置２ｄのうちの少なくとも一つが、第５実施形態のキーポイント抽出装置２ｅに特有の構成要件を備えていてもよい。第５実施形態のキーポイント抽出装置２ｅに特有の構成要件は、画像判定部２１８ｅを含んでいてもよい。第５実施形態のキーポイント抽出装置２ｅに特有の構成要件は、人物画像ＩＭＧ１に目が写り込んでいるか否かの判定及び人物画像ＩＭＧ１に写り込んでいる目が瞬きをしているか否かの判定の少なくとも一つに関する構成要件を含んでいてもよい。

【0115】

（６）第６実施形態のキーポイント抽出システムＳＹＳ
続いて、第６実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第６実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳｆ”と称する。

【0116】

第６実施形態のキーポイント抽出システムＳＹＳｆは、上述した第１実施形態のキーポイント抽出システムＳＹＳと比較して、キーポイント抽出装置２に代えて、キーポイント抽出装置２ｆを備えるという点で異なる。キーポイント抽出システムＳＹＳｆのその他の特徴は、キーポイント抽出システムＳＹＳａのその他の特徴と同一であってもよい。このため、以下では、図１１を参照しながら、第６実施形態のキーポイント抽出装置２ｆについて説明する。図１１は、第６実施形態のキーポイント抽出装置２ｆの構成を示すブロック図である。

【0117】

図１１に示すように、第６実施形態のキーポイント抽出装置２ｆは、第１実施形態のキーポイント抽出装置２と比較して、演算装置２１が画像変換部２１１を備えていなくてもよいという点で異なる。キーポイント抽出装置２ｆのその他の特徴は、キーポイント抽出装置２のその他の特徴と同一であってもよい。尚、図１１に示すように、キーポイント抽出装置２ｆは、記憶装置２２、通信装置２３、入力装置２４及び出力装置２５を備えていなくてもよい。但し、キーポイント抽出装置２ｆは、記憶装置２２、通信装置２３、入力装置２４及び出力装置２５の少なくとも一つを備えていてもよい。

【0118】

上述した第１実施形態から第５実施形態の説明では、キーポイント抽出装置２は、人物画像ＩＭＧ１から抽出されるキーポイントＫＰ１と、人物画像ＩＭＧ１に対して画像変換処理を行うことで生成される変換画像ＩＭＧ２から抽出されるキーポイントＫＰ２とを比較することで、画像スコアＳＣを算出している。しかしながら、第６実施形態のキーポイント抽出装置２ｆは、変換画像ＩＭＧ２を生成することなく、画像スコアＳＣを算出してもよい。キーポイント抽出装置２ｆは、キーポイントＫＰ１を用いる一方で、キーポイントＫＰ２を用いることなく、画像スコアＳＣを算出してもよい。

【0119】

尚、上述した第２実施形態のキーポイント抽出装置２ｂから第５実施形態のキーポイント抽出装置２ｅのうちの少なくとも一つもまた、画像変換部２１１を備えていなくてもよい。

【0120】

（７）付記
以上説明した実施形態に関して、更に以下の付記を開示する。
［付記１］
入力画像から、対象物のキーポイントを対象キーポイントとして抽出する抽出手段と、
前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する算出手段と
を備える情報処理装置。
［付記２］
前記入力画像を変換する画像変換処理を行うことで、変換画像を生成する画像変換手段を更に備え、
前記抽出手段は、前記変換画像から、前記対象物のキーポイントを変換キーポイントとして抽出し、
前記算出手段は、前記対象キーポイントと前記変換キーポイントとの比較結果に基づいて、前記スコアを算出する
付記１に記載の情報処理装置。
［付記３］
前記入力画像は、照明装置によって照明された撮像対象範囲を撮像装置が撮像することで生成され、
前記スコアに基づいて、前記スコアが改善されるように前記照明装置を制御する照明制御装置を更に備える
付記１又は２に記載の情報処理装置。
［付記４］
前記抽出手段は、複数の前記入力画像の夫々から、前記対象キーポイントを抽出し、
前記算出手段は、前記入力画像毎に前記スコアを算出し、
前記複数の入力画像から、前記スコアが所定の選択条件を満たす少なくとも一つの入力画像を選択する選択手段を更に備える
付記１から３のいずれか一項に記載の情報処理装置。
［付記５］
前記選択条件は、前記スコアが所定の選択閾値よりも悪いという条件を含む
付記４に記載の情報処理装置。
［付記６］
前記抽出手段は、前記スコアが既知である複数の学習画像を用いて学習済みである学習モデルを用いて、前記対象キーポイントを抽出し、
前記選択条件は、前記スコアが、前記学習画像のサンプル数が所定数よりも少ないスコアの範囲に含まれるという条件を含む
付記４又は５に記載の情報処理装置。
［付記７］
前記抽出手段は、学習可能な学習モデルを用いて、前記対象キーポイントを抽出し、
抽出されるべきキーポイントである正解キーポイントが関連付けられた第１の学習画像と、前記正解キーポイントが関連付けられていない第２の学習画像とを含む学習用データを用いて、前記学習モデルの学習を行う学習手段を更に備え、
前記抽出手段は、前記第２の学習画像から、前記対象物のキーポイントを学習用キーポイントとして抽出し、
前記算出手段は、前記学習用キーポイントに基づいて、前記学習用キーポイントの信頼度に関する指標値を、前記学習用キーポイントが抽出された前記第２の学習画像のスコアとして算出し、
前記学習手段は、前記第２の学習画像のスコアに基づいて、前記学習モデルの学習に対する前記第２の学習画像の寄与度を示す重みを算出し、前記学習用データと前記重みとを用いた半教師あり学習を行うことで、前記学習モデルの学習を行う
付記１から６のいずれか一項に記載の情報処理装置。
［付記８］
前記対象物は、生体の虹彩を含み、
前記スコアが所定の第１判定閾値よりも悪い場合に、前記入力画像に前記虹彩を含む目が写り込んでいないと判定する判定手段を更に備える
付記１から７のいずれか一項に記載の情報処理装置。
［付記９］
前記判定手段は、前記入力画像に前記目が写り込んでいると判定され且つ前記スコアが所定の第２判定閾値よりも悪い状態の継続時間が所定時間よりも短い場合に、前記入力画像に瞬きしている前記目が写り込んでいると判定する
付記８に記載の情報処理装置。
［付記１０］
入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、
前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する
情報処理方法。
［付記１１］
コンピュータに、
入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、
前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する
情報処理方法を実行させるコンピュータプログラムが記録された記録媒体。

【0121】

上述の各実施形態の構成要件の少なくとも一部は、上述の各実施形態の構成要件の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要件のうちの一部が用いられなくてもよい。また、法令で許容される限りにおいて、上述のこの開示で引用した全ての文献（例えば、公開公報）の開示を援用してこの開示の記載の一部とする。

【0122】

この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う情報処理装置、情報処理方法、コンピュータプログラム及び記録媒体もまた、この開示の技術的思想に含まれる。

【符号の説明】

【0123】

１ カメラ
２ キーポイント抽出装置
２１ 演算装置
２１１ 画像変換部
２１２ キーポイント抽出部
２１３ スコア算出部
２１４ｂ 照明制御部
２１５ｃ 画像選択部
２１６ｄ 重み算出部
２１７ｄ 学習部
２１８ｅ 画像判定部
３ 通信ネットワーク
４ 照明装置
ＳＹＳ キーポイント抽出システム
ＩＭＧ１ 人物画像
ＩＭＧ２ 変換画像
ＫＰ キーポイント

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】