特許 6155306 顔認識方法、装置、プログラム、およびコンピュータ可読記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6155306

(24)【登録日】2017年6月9日

(45)【発行日】2017年6月28日

(54)【発明の名称】顔認識方法、装置、プログラム、およびコンピュータ可読記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20170619BHJP

【ＦＩ】

   G06T7/00 300F

   G06T7/00 510B

【請求項の数】20

【全頁数】12

(21)【出願番号】特願2015-163932(P2015-163932)

(22)【出願日】2015年8月21日

(62)【分割の表示】特願2014-531737(P2014-531737)の分割

【原出願日】2012年9月27日

(65)【公開番号】特開2016-6679(P2016-6679A)

(43)【公開日】2016年1月14日

【審査請求日】2015年9月28日

(31)【優先権主張番号】10-2011-0097795

(32)【優先日】2011年9月27日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】リー、ヒュン スー

(72)【発明者】

【氏名】ジェ、ホンモ

(72)【発明者】

【氏名】カン、ボンナム

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特表２０１４−５２６７５４（ＪＰ，Ａ）

【文献】 特開２０１１−０２２９９４（ＪＰ，Ａ）

【文献】 特開２００６−００４００３（ＪＰ，Ａ）

【文献】 国際公開第２００９／１３３８５６（ＷＯ，Ａ１）

【文献】 特開２００９−２８４０８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

顔認識方法であって、
（ａ）入力顔画像内の所定の位置にキーポイントを設定するステップと、
（ｂ）前記キーポイントの各々の記述子を抽出するステップと、
（ｃ）前記入力顔画像から獲得された第１のキーポイントの記述子、および前記入力顔画像から獲得された前記第１のキーポイントに対応するそれぞれの事前に記憶された顔画像の第２のキーポイントを含む所定の領域内の複数のキーポイントの記述子を使用して、前記入力顔画像が前記事前に記憶された顔画像と一致するかどうか判定するステップと、
を含み、
ステップ（ｃ）は、前記顔画像から獲得された前記第１のキーポイントに対応する前記第２のキーポイントを取り囲むブロックを前記所定の領域として設定し、前記ブロックは前記事前に記憶された顔画像の一部であり、
ステップ（ｃ）において、前記第１のキーポイントと、前記第２のキーポイントを含む前記所定の領域内の複数のキーポイントの各々との間の距離を計算する
方法。

【請求項2】

ステップ（ｃ）は、前記事前に記憶された顔画像のうちで最短距離を有する第２のキーポイントを含む事前に記憶された特定の顔画像の識別記号を前記第１のキーポイントの各々の識別記号として割り振るように、前記第１のキーポイントの前記記述子および前記第２のキーポイントの前記記述子を使用して、前記第１のキーポイントと前記第２のキーポイントとの間の距離を計算し、比較するステップと、最も頻繁に割り振られた識別記号を前記入力顔画像の識別記号として割り振るステップとを含む、請求項１に記載の方法。

【請求項3】

前記第１のキーポイントと前記第２のキーポイントとの間の前記距離が前記第１のキーポイントの前記記述子および前記第２のキーポイントの前記記述子を使用して計算されるときに、前記距離はユークリッド距離として計算される、請求項２に記載の方法。

【請求項4】

前記事前に記憶された顔画像のうちで最短距離を有する第２のキーポイントを含む事前に記憶された特定の顔画像の識別記号を前記第１のキーポイントの各々の識別記号として割り振るように、前記第１のキーポイントの前記記述子および前記第２のキーポイントの前記記述子を使用して、前記第１のキーポイントと前記第２のキーポイントとの間の距離を計算し、比較するステップと、
各ブロック内で最も頻繁に割り振られた前記識別記号を選択するステップと、
最も頻繁に選択された識別記号を前記入力顔画像の識別記号として割り振るステップと、
を含む、請求項１から３のいずれか１項に記載の方法。

【請求項5】

（ｄ）前記入力顔画像から顔を検出するステップと、
（ｅ）前記入力顔画像を生成するために前記検出された顔画像を所定のサイズの顔画像へ正規化するステップと、
をさらに含み、
ステップ（ａ）は、前記正規化された入力顔画像の所定の位置に前記キーポイントを設定する、請求項１から４の何れか１項に記載の方法。

【請求項6】

ステップ（ｄ）は、前記検出された顔画像を前記事前に記憶された顔画像の方向と同じ方向に配置するために、前記入力顔画像から前記顔の特徴点をさらに検出する、請求項５に記載の方法。

【請求項7】

前記特徴点は、目、鼻、または口の特徴点を含む、請求項６に記載の方法。

【請求項8】

前記入力顔画像および前記事前に記憶された顔画像は同じ方向に配置され、同サイズの濃淡画像を有する、請求項１から７の何れか１項に記載の方法。

【請求項9】

ステップ（ａ）で、前記キーポイントが設定される前記入力顔画像上の前記所定の位置は固定されている、請求項１から８の何れか１項に記載の方法。

【請求項10】

顔認識装置であって、
入力顔画像の所定の位置にキーポイントを設定するキーポイント位置設定部と、
前記キーポイントの各々の記述子を抽出するキーポイント記述子抽出部と、
前記入力顔画像から獲得された第１のキーポイントの記述子、および前記入力顔画像から獲得された前記第１のキーポイントに対応する事前に記憶された顔画像の各々の第２のキーポイントを含む所定の領域内の複数のキーポイントの記述子を使用して、前記入力顔画像が前記事前に記憶された顔画像と一致するかどうか判定するマッチング部と、
を備え、
前記マッチング部は、前記顔画像から獲得された前記第１のキーポイントに対応する前記第２のキーポイントを取り囲むブロックを前記所定の領域として設定し、前記ブロックは前記事前に記憶された顔画像の一部であり、
前記マッチング部は、前記第１のキーポイントと、前記第２のキーポイントを含む前記所定の領域内の複数のキーポイントの各々との間の距離を計算する
装置。

【請求項11】

前記マッチング部は、前記事前に記憶された顔画像のうちで最短距離を有する第２のキーポイントを含む事前に記憶された特定の顔画像の識別記号を前記第１のキーポイントの各々の識別記号として割り振るように、前記第１のキーポイントの前記記述子および前記第２のキーポイントの前記記述子を使用して、前記第１のキーポイントと前記第２のキーポイントとの間の距離を計算し、比較し、最も頻繁に割り振られた識別記号を前記入力顔画像の識別記号として割り振る、請求項１０に記載の装置。

【請求項12】

前記第１のキーポイントと前記第２のキーポイントとの間の前記距離が前記第１のキーポイントの前記記述子および前記第２のキーポイントの前記記述子を使用して計算されるときに、前記距離はユークリッド距離として計算される、請求項１１に記載の装置。

【請求項13】

前記マッチング部は、前記事前に記憶された顔画像のうちで最短距離を有する第２のキーポイントを含む事前に記憶された特定の顔画像の識別記号を前記第１のキーポイントの各々の識別記号として割り振るように、前記第１のキーポイントの前記記述子および前記第２のキーポイントの前記記述子を使用して、前記第１のキーポイントと前記第２のキーポイントとの間の距離を計算し、比較し、各ブロック内で最も頻繁に割り振られた前記識別記号を選択し、最も頻繁に選択された識別記号を前記入力顔画像の識別記号として割り振る、請求項１０から１２のいずれか１項に記載の装置。

【請求項14】

初期入力顔画像から顔を検出する顔検出部と、
前記入力顔画像を生成するために前記検出された顔画像を所定のサイズの顔画像へ正規化する正規化部と、
をさらに備え、
前記キーポイント位置設定部は、前記正規化された入力顔画像の所定の位置に前記キーポイントを設定する、請求項１０から１３のいずれか１項に記載の装置。

【請求項15】

前記顔検出部は、さらに前記検出された顔画像を前記事前に記憶された顔画像の方向と同じ方向に配置するために、前記入力顔画像から前記顔の特徴点を検出する、請求項１４に記載の装置。

【請求項16】

前記特徴点は、目、鼻、または口の特徴点を含む、請求項１５に記載の装置。

【請求項17】

前記入力顔画像および前記事前に記憶された顔画像は同じ方向に配置され、同サイズの濃淡画像を有する、請求項１０から１３の何れか１項に記載の装置。

【請求項18】

前記キーポイントが前記キーポイント位置設定部によって設定される前記入力顔画像上の前記所定の位置は固定されている、請求項１０から１３の何れか１項に記載の装置。

【請求項19】

コンピュータに請求項１から９のいずれか一項に記載の方法を実行させるプログラム。

【請求項20】

請求項１９に記載のプログラムを格納するコンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、顔を認識するための方法および装置、ならびに該方法を実行するためのコンピュータ可読記録媒体に関する。より具体的には、本開示は、顔認識にスケール不変特徴変換（ＳＩＦＴ：ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）などの技法を適用し、性能を高めるために、入力画像の所定の位置から抽出されたキーポイントに基づいて行われ、それによって、顔画像の変化を反映する高精度の認識を可能にする顔認識に関する。

【背景技術】

【0002】

バイオメトリクスは、人によって異なる、指紋、顔、虹彩、静脈などの身体的特徴を認識するための技術である。そのような身体的特徴は、キーやパスワードとは異なり、他者が盗み取ることも、複製することもできず、また、変更されたり、失われたりする危険がないためにセキュリティ分野などで利用されうる。顔認識は、ビデオまたは写真画像内の顔領域を検出し、検出された顔領域に含まれる顔を識別するための技法を含む生体認証技術の一種である。そのような顔認識技術は、スマートフォン時代の発展と呼応して、セキュリティ分野のみならず様々な他の用途においても利用することができる。

【0003】

具体的には、顔認識は、特徴点の位置を使用することによって検出された顔画像内の顔を識別するための技法である。特徴点は、目の中心点、両目の両端点、眉の両端点および中心点、唇の両端点などを含んでいてよい。

【0004】

顔認識の技法では、主成分分析（ＰＣＡ：ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）、局所記述子分析（ＬＤＡ：ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒ ａｎａｌｙｓｉｓ）などの統計的方法が従来から使用されてきたが、顔の局所領域から抽出された特徴情報は、例えば、ポーズや照明の変化に起因する顔画像の変化を検出するのにより信頼性が高いため、最近ではＬＤＡがよく使用される。

【0005】

別の技法である、スケール不変特徴変換（ＳＩＦＴ）は、物体認識では優れた認識性能を示すが、顔認識では良好な性能を示さず、その用途に限界がある。この方法が顔認識で不十分な性能を示すのには様々な理由がある。第１に、顔画像は（物体の画像とは異なり）角張っておらず、変形可能であり、同じ人の顔でさえも見る方向によって全く異なって見え、特徴点の位置もそれに応じて変化する。しかし、ＳＩＦＴ法は顔を認識する際にそのような変化を考慮に入れることができない。第２に、記述子ベースのマッチングで一般に使用される距離ベースのマッチング法または領域ベースのマッチング法は、強い照明の下で取り込まれた顔画像または普通でないポーズの人の画像の場合には不十分な性能を示す。したがって、（物体認識に通常使用される）ＳＩＦＴを顔認識に適用するためには上記の問題が解決されるべきである。

【0006】

顔認識が（ＳＵＲＦ、ＬＥＳＨ、ＧＬＯＨといった）ＳＩＦＴ以外の技法によって行われるときでさえも、顔認識の性能を高めることは難しい。

【発明の概要】

【発明が解決しようとする課題】

【0007】

したがって、本開示の１つの目的は上記の問題を解決することである。

【0008】

さらに、本開示の別の目的は、従来の方法の問題に対処するようなやり方で、事前に記憶された顔画像および入力顔画像のそれぞれの所定の位置から抽出されたキーポイントの記述子を参照して顔を認識することによって顔認識の性能を高めることである。

【0009】

本開示のさらに別の目的は、入力顔画像のすべてのキーポイントに識別記号を割り振り、最も頻繁に割り振られた識別記号を入力顔画像の識別記号として割り振ることによって、入力顔画像が変更されたときでさえも、良好な顔認識性能を示すことである。

【課題を解決するための手段】

【0010】

上記の目的を達成するための本開示の代表的な構成は以下のとおりである。

【0011】

本開示の一態様によれば、顔認識方法であって、（ａ）入力顔画像の所定の位置にキーポイントを設定するステップと、（ｂ）キーポイントの各々の記述子を抽出するステップと、（ｃ）入力顔画像から獲得された第１のキーポイントの記述子、および入力顔画像から獲得された第１のキーポイントに対応する事前に記憶された顔画像の各々の第２のキーポイントを含む所定の領域内のキーポイントの記述子に基づいて、入力顔画像が事前に記憶された顔画像と一致するかどうか判定するステップとを含む方法が提供される。

【0012】

本開示の別の態様によれば、顔認識装置であって、入力顔画像の所定の位置にキーポイントを設定するためのキーポイント位置設定部と、キーポイントの各々の記述子を抽出するためのキーポイント記述子抽出部と、入力顔画像から獲得された第１のキーポイントの記述子、および入力顔画像から獲得された第１のキーポイントに対応する事前に記憶された顔画像の各々の第２のキーポイントを含む所定の領域内のキーポイントの記述子に基づいて、入力顔画像が事前に記憶された顔画像と一致するかどうか判定するためのマッチング部とを含む装置が提供される。

【0013】

本開示のいくつかの態様によれば、顔認識装置は、顔画像から顔を検出するための顔検出部と、検出された顔画像を所定のサイズへ正規化することによって顔画像を生成するための正規化部とをさらに含む。

【0014】

本開示のいくつかの態様によれば、それぞれの第１のキーポイントとそれぞれの第２のキーポイントの記述子間の距離を比較することによってそれぞれの第１のキーポイントに識別記号が割り振られ、最も頻繁に割り振られた識別記号が顔画像の識別記号として割り振られる。

【0015】

本開示のいくつかの態様によれば、顔画像上でグリッドブロックが形成され、グリッドブロックは所定の領域として形成され、または顔画像から獲得された第１のキーポイントに対応する第２のキーポイントを取り囲むブロックが所定の領域として設定される。

【0016】

加えて、本開示の様々な態様を実施するための上記の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ可読記録媒体もさらに提供される。

【発明の効果】

【0017】

本開示のいくつかの態様によれば、顔は、事前に記憶された顔画像および入力顔画像のそれぞれの固定位置にキーポイントを設定し、キーポイントの各々から記述子を抽出することによって認識されるため、顔を高精度で認識することができ、顔に顔画像の変化を反映させることができる。

【0018】

本開示のいくつかの態様によれば、入力顔画像のそれぞれのキーポイントの記述子と、事前に記憶された顔画像のそれぞれの対応するキーポイントに隣接した領域内のキーポイントの記述子との間の距離が相互に比較されるため、最も近いキーポイントの識別記号が割り振られ、入力顔画像の識別記号を割り振るように入力顔画像のキーポイントに割り振られた識別記号について投票が行われ、顔画像のいくつかの領域がポーズまたは照明の変化が原因で一致しないときでさえも、認識の良好な性能が獲得されうる。

【図面の簡単な説明】

【0019】

【図1】本開示の一実施形態によるＳＩＦＴ法を使用した顔認識装置の構成を示すブロック図である。

【図2】図１の顔認識装置の各ブロックの動作を示す図である。

【図3】図１のマッチング部の一実施形態の動作を示す図である。

【図4】図１のマッチング部の別の実施形態の動作を示す図である。

【発明を実施するための形態】

【0020】

以下の詳細な説明では、例として、本開示が実施されうる具体的実施形態を示す添付の図面を参照する。これらの実施形態は、当業者が本開示を実施することを可能にするのに十分な程度に詳細に記載されている。本開示の様々な実施形態は、たとえ異なっていても、必ずしも相互に排他的であるとは限らないことを理解すべきである。例えば、ある実施形態と関連して本明細書に記載される特定の特徴、構造、および特性が、本開示の趣旨および範囲を逸脱することなく、他の実施形態内で実施されてもよい。さらに、開示の各実施形態内の個々の要素の位置決めまたは配置は、本開示の趣旨および範囲を逸脱することなく変更されてもよいことも理解すべきである。したがって以下の詳細な説明は限定的な意味に解するべきではない。本開示の範囲は、添付の特許請求の範囲によって定義され、特許請求の範囲が特許請求するものと等価の十分な範囲と共に適切に解釈されるものである。図面において、類似の符番は、多くの点において同じ機能または類似の機能を指す。

【0021】

以下、本開示の様々な実施形態を、当業者が本開示を容易に実施することができるように、添付の図面を参照して詳細に説明する。

【0022】

参考までに、本開示は、スピードアップロバストリング特徴（ＳＵＲＦ：ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ）、局所エネルギーベースの形状ヒストグラム（ＬＥＳＨ：ｌｏｃａｌ ｅｎｅｒｇｙ ｂａｓｅｄ ｓｈａｐｅ ｈｉｓｔｏｇｒａｍｓ）、勾配位置および方向ヒストグラム（ＧＬＯＨ：ｇｒａｄｉｅｎｔ ｌｏｃａｔｉｏｎ ａｎｄ ｏｒｉｅｎｔａｔｉｏｎ ｈｉｓｔｏｇｒａｍｓ）といった技法を使用した顔認識装置、ならびにＳＩＦＴ法を使用した顔認識装置に適用されるといってよいが、説明の都合上、以下では一例としてＳＩＦＴ法を使用した顔認識装置を説明する。

【0023】

図１は、本開示の一実施形態によるＳＩＦＴ法を使用した顔認識装置の構成を示すブロック図である。

【0024】

図１を参照すると、顔認識装置１００は、顔検出部１１０、正規化部１２０、キーポイント位置設定部１３０、キーポイント記述子抽出部１４０、およびマッチング部１５０を含んでいてよい。

【0025】

図１に示す各ブロックのそれぞれの機能は以下のとおりである。

【0026】

顔検出部１１０は、顔を含む入力画像から顔を検出してよい。顔検出部１１０は、例えば、顔を検出するために目を検出してもよく、さらに、眉、鼻、口なども検出してよい。そのような検出の理由は、入力顔画像を記憶された顔画像の方向と同じ方向に配置するためとすることができる。

【0027】

正規化部１２０は、検出された顔画像を所定のサイズの濃淡画像へ正規化してよい。

【0028】

キーポイント位置設定部１３０は、正規化された顔画像内の固定位置にキーポイントを設定してよい。

【0029】

キーポイント記述子抽出部１４０は、各キーポイントを取り囲む領域内の各画像サンプル点における勾配強度および向きを計算することによって各キーポイントの記述子を抽出してよい。キーポイントの各々の記述子を抽出する一方法が、Ｄ．Ｌｏｗｅ著、「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌｕｍｅ ６０，Ｉｓｓｕｅ ２」所収の、「Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ」という名称の論文に記載されており、その全開示は参照により本明細書に組み入れられる。しかし、方法は必ずしもそれだけに限定されるものではなく、様々な他の方法を適用して実施されてよい。

【0030】

マッチング部１５０は、入力顔画像の正規化された顔画像から獲得されたそれぞれのキーポイントの記述子、およびＤＢ（顔認識のための様々な顔画像の集合体を含むデータベース）内の入力画像（正規化された入力顔画像など）から獲得されたキーポイントに対応するそれぞれの事前に記憶された顔画像のキーポイントを含む所定の領域内のキーポイントの記述子を使用して、入力顔画像が事前に記憶された顔画像と一致するか否か判定してよい。

【0031】

より具体的には、マッチング部１５０は、入力画像の正規化された顔画像から獲得されたそれぞれのキーポイントの記述子、および入力画像の正規化された顔画像から獲得されたキーポイントに対応するそれぞれの事前に記憶された顔画像のキーポイントを含む所定の領域内のキーポイントの記述子を使用して、事前に記憶された顔画像と入力顔画像のキーポイント間の距離を計算し、比較することによって、入力画像の正規化された顔画像から獲得されたキーポイントの各々に識別記号（ＩＤ）を割り振り、最も頻繁に割り振られた識別記号を入力画像の正規化された顔画像の識別記号として割り振ってよい。

【0032】

このために、入力画像と同様に、事前に記憶された顔画像の各々から顔を検出し、顔画像を、入力顔画像のサイズと同サイズの濃淡画像へ正規化し、正規化された入力顔画像で事前に設定されたキーポイントの位置と同じ位置にキーポイントを設定し、設定されたキーポイントの記述子を事前に抽出し、記憶することが可能である。

【0033】

図１において、顔検出部１１０および正規化部１２０は必須としなくてよい。例えば、キーポイント位置設定部１３０に入力された顔画像が事前に記憶された顔画像の方向と同じ方向に配置されており、事前に記憶された顔画像のサイズと同サイズの濃淡画像を有するときに、顔検出部１１０および正規化部１２０は省かれてよい。

【0034】

図２は、図１の顔認識装置の各ブロックの動作を示す図である。

【0035】

図２（ａ）には入力画像が示されており、図２（ｂ）には顔検出部１１０によって検出された顔画像が示されており、図２（ｃ）には正規化部１２０によって正規化された顔画像が示されており、図２（ｄ）にはキーポイント位置設定部１３０によって抽出されたキーポイントを表現する顔画像が示されており、図２（ｅ）にはキーポイント記述子抽出部１４０によって抽出されたベクトルＫが示されており、ベクトルＫはＫ＝｛ｋ１，…，ｋＭ｝として表現されてよい（式中、ｋ１は第１のキーポイントから抽出された記述子を表示し、ｋＭは第Ｍのキーポイントから抽出された記述子を表示する）。図２（ｆ）には、顔画像の変化がマッチング部１５０によって検出され、入力顔画像ＩＮが事前に記憶された顔画像Ｓ１と同じ顔として認識される場合が示されている。

【0036】

図３は、図１のマッチング部の一実施形態の動作を示す図である。図３（ａ）には、正規化された入力顔画像ＩＮのキーポイントが示されており、図３（ｂ）には、正規化され、事前に記憶されたＭ個の顔画像Ｓ１からＳＭのキーポイントが示されている。さらに、ｇ１１からｇｉｊは、例えば、顔画像ＩＮおよびＳ１からＳＭの４×４のサイズを有するグリッドブロックを表示しており、ｆ１からｆ１６はグリッドブロックｇ１１からｇｉｊの各々における１６個のキーポイントを表示している。参考までに、１ブロック当たりの点の数は図３では１６個であるが、数はそれだけに限定されない。

【0037】

図１のマッチング部１５０は、入力顔画像ＩＮのグリッドブロックｇ１１のキーポイントｆ１の記述子および事前に記憶された顔画像Ｓ１からＳＭのグリッドブロックｇ１１のキーポイントｆ１からｆ１６の記述子を使用して、キーポイント間の距離（ｆ１とｆ１との間の距離、ｆ１とｆ２との間の距離、…、およびｆ１とｆ１６との間の距離）（距離はユークリッド距離を含んでいてよいが、それだけに限定されない）を計算し、入力顔画像ＩＮのキーポイントｆ１に、最短距離を有するキーポイントを含む事前に記憶された顔画像の識別記号を割り振る。次いで、マッチング部１５０は、グリッドブロックｇ１１のキーポイントｆ２の記述子および事前に記憶された顔画像Ｓ１からＳＭのグリッドブロックｇ１１のキーポイントｆ１からｆ１６の記述子を使用して、キーポイントｆ２とｆ１との間、ｆ２とｆ２との間、…、およびｆ２とｆ１６との間の距離を計算し、入力顔画像ＩＮのキーポイントｆ２に、最短距離を有するキーポイントを含む事前に記憶された顔画像の識別記号を割り振る。同様にして、事前に記憶された顔画像Ｓ１からＳＭの識別記号のうちの識別記号が、入力顔画像ＩＮのグリッドブロックｇ１１からｇｉｊの各々のキーポイントｆ１からｆ１６の各々に割り振られる。すなわち、事前に記憶された顔画像Ｓ１からＳＭの識別記号のうちの１つが入力顔画像ＩＮのキーポイントｆ１からｆ１６の各々に割り振られ、マッチング部１５０は、入力顔画像ＩＮの各キーポイントの記述子、および入力顔画像ＩＮの各キーポイントを含むグリッドブロックに対応するすべての事前に記憶された顔画像Ｓ１からＳＭのグリッドブロック内のキーポイントの記述子を使用してキーポイント間の距離を計算し、最短距離を有するキーポイントを含む事前に記憶された顔画像の識別記号を、入力顔画像ＩＮのグリッドブロックｇ１１からｇｉｊの各々のキーポイントｆ１からｆ１６の各々についてのキーポイントの識別記号として割り振ってよい。

【0038】

次いで、マッチング部１５０は、入力顔画像ＩＮのすべてのキーポイントに割り振られた識別記号について投票を行ってよく、そこで事前に記憶された顔画像Ｓ１からＳＭの識別記号のうちの１つが入力顔画像ＩＮに割り振られてよい。すなわち、入力顔画像ＩＮのすべてのキーポイントに割り振られた識別記号のうちで最も頻繁に割り振られた識別記号が、入力顔画像ＩＮの識別記号として割り振られてよい。この例では、最も頻繁に割り振られた識別記号がグリッドブロックごとに選択されてよく、選択された識別記号のうちの最も頻繁に選択された識別記号が入力顔画像ＩＮの識別記号として割り振られてよい。しかし、本開示は必ずしもそれだけに限定されない。上記のプロセスを経るときに、入力顔画像ＩＮの顔は、割り振られた識別記号と同じ識別記号を有する事前に記憶された顔画像の顔と同じであると認識される。

【0039】

図４は、図１のマッチング部の別の実施形態の動作を示す図である。図４（ａ）には、正規化された入力顔画像ＩＮのキーポイントが示されており、図４（ｂ）には、正規化され、事前に記憶されたＭ個の顔画像Ｓ１からＳＭのキーポイントが示されている。さらに、ｆ１１からｆ１ｋはそれぞれ、顔画像ＩＮおよびＳ１からＳＭのキーポイントを表示しており、Ｎ１からＮ３の各々は、キーポイントｆ２２、ｆ３５、…、ｆ（ｌ−１）（ｋ−２）の各々の周囲領域を指定するためのサイズ３×３を有する周囲ブロックを表示しており、周囲ブロックはすべてのそのようなキーポイントについて指定されてよい。参考までに、周囲領域は図４では３×３のサイズを有するが、それだけに限定されない。

【0040】

図１のマッチング部１５０は、入力顔画像ＩＮのキーポイントｆ２２の記述子および事前に記憶された顔画像Ｓ１からＳＭの各々のキーポイントｆ２２を取り囲むブロックＮ１内のキーポイントの記述子を使用してキーポイント間の距離を計算し、最短距離を有するキーポイントを含む事前に記憶された顔画像の識別記号を割り振る。同様にして、マッチング部１５０は、入力顔画像ＩＮのすべてのキーポイントの各々の記述子、および入力顔画像ＩＮに対応する位置にある事前に記憶された顔画像Ｓ１からＳＭの各々のキーポイントを含む周囲ブロック内のキーポイントの記述子を使用してキーポイント間の距離を計算し、最短距離を有するキーポイントを含む事前に記憶された顔画像の識別記号を割り振る。すなわち、事前に記憶された顔画像Ｓ１からＳＭの識別記号のうちの１つの識別記号が入力顔画像ＩＮのキーポイントｆ１１からｆ１ｋの各々に割り振られ、マッチング部１５０は、入力顔画像ＩＮの各キーポイントの記述子、および入力顔画像ＩＮの各キーポイントに対応する位置のキーポイントを含むすべての事前に記憶された顔画像Ｓ１からＳＭの周囲ブロック内のキーポイントの記述子を使用してキーポイント間の距離を計算し、最短距離を有するキーポイントを含む事前に記憶された顔画像の識別記号を、入力顔画像ＩＮのキーポイントの識別記号として割り振る。

【0041】

次いで、マッチング部１５０は、入力顔画像ＩＮのすべてのキーポイントに割り振られた識別記号について投票を行うことによって、事前に記憶された顔画像Ｓ１からＳＭの識別記号のうちの１つを入力顔画像ＩＮに割り振る。すなわち、入力顔画像ＩＮのすべてのキーポイントに割り振られた識別記号のうちの最も頻繁に割り振られた識別記号が、入力顔画像ＩＮの識別記号として割り振られてよい。この時点で、各周囲ブロック内で最も頻繁に割り振られた識別記号がまず選択されてよく、次いで、画像全体のうちで最も頻繁に選択された識別記号が入力顔画像ＩＮの識別記号として割り振られてよい。しかし、本開示は必ずしもそれだけに限定されない。上記のプロセスを経るときに、入力顔画像ＩＮの顔は、割り振られた識別記号と同じ識別記号を有する事前に記憶された顔画像の顔と同じであると認識される。

【0042】

すなわち、マッチング部１５０は、入力顔画像ＩＮのすべてのキーポイントに識別記号を割り振ってよく、すべてのキーポイントに割り振られた識別記号について投票することによって、最も頻繁に割り振られた識別記号を入力顔画像ＩＮの識別記号として割り振る。

【0043】

図３および図４では、入力顔画像ＩＮの各キーポイントは、「第１のキーポイント」として表現されてよく、事前に記憶された顔画像Ｓ１からＳＭの各キーポイントは「第２のキーポイント」として表現されてよい。

【0044】

前述の本開示による各実施形態は、様々なコンピュータ構成要素によって実行し、コンピュータ可読記録媒体に記録することのできるプログラムコマンドとして実装することができる。コンピュータ可読記録媒体は、プログラムコマンド、データファイル、データ構造などを、単独で、または組み合わせとして含んでいてよい。コンピュータ可読記録媒体に記憶されたプログラムコマンドは、本開示のために特別に設計され、構成されたプログラムであってもよく、コンピュータソフトウェア分野の当業者によって使用されることが知られているプログラムコマンドであってもよい。コンピュータ可読記録媒体には、例えば、ハードディスク、フロッピー（登録商標）ディスク、磁気テープなどの磁気媒体、ＣＤ−ＲＯＭやＤＶＤなどの光記録媒体、光ディスクなどの光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどの、プログラムコマンドを記憶し、実行するように特に構成されたハードウェアデバイスが含まれる。プログラムコマンドは、例えば、インタープリタなどを使用してコンピュータによって実行されうる高水準言語コードや、コンパイラによって生成される機械コードを含んでいてよい。ハードウェアデバイスは、本開示の様々な実施形態による処理を実行するために１つまたは複数のソフトウェアモジュールを使用して動作するように構成することができる。

【0045】

以上の考察では、本開示を、特定の構成要素、例示的実施形態、図面といった特定の事項との関連で説明したが、これらは本開示の理解を助けるために提供したものにすぎず、本開示はこれらの実施形態だけに限定されない。当業者はこれらの説明を読めば実施形態に様々な改変および変更を加えることができることは明らかであろう。

【0046】

したがって、本開示の趣旨は上記の実施形態だけに限定されるべきでなく、添付の特許請求の範囲およびこれに対する同等な、または等価の改変は、本開示の範囲内に属するとみなされる。

【符号の説明】

【0047】

１００ 顔認識装置
１１０ 顔検出部
１２０ 正規化部
１３０ キーポイント位置設定部
１４０ キーポイント記述子抽出部
１５０ マッチング部

【図1】

【図2】

【図3】

【図4】