特開 2023-173975 顔認識装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023173975

(43)【公開日】2023-12-07

(54)【発明の名称】顔認識装置及びそのプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231130BHJP

   G06V 40/16 20220101ALI20231130BHJP

【ＦＩ】

G06T7/00 510F

G06V40/16 A

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022086555

(22)【出願日】2022-05-27

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(71)【出願人】

【識別番号】399060908

【氏名又は名称】一般財団法人ＮＨＫ財団

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】苗村 昌秀

(72)【発明者】

【氏名】河合 吉彦

(72)【発明者】

【氏名】望月 貴裕

【テーマコード（参考）】

5B043

【Ｆターム（参考）】

5B043AA09

5B043BA04

5B043EA05

5B043FA07

5B043GA02

(57)【要約】

【課題】計算量を抑制できる顔認識装置を提供する。
【解決手段】顔認識装置１は、認識対象者の顔画像から顔領域を検出する顔検出処理部１０と、登録者毎に複数の顔特徴量を予め登録する顔データベース２０と、認識対象者と登録者との顔特徴量の類似度を計算する顔認識処理部３０と、ハッシュ型マップテーブル６０を用いて、同一の登録者についての重複部分を類似度から除去し、認識対象者を特定するデータ加工処理部４０とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

認識対象者の顔画像から前記認識対象者を特定する顔認識装置であって、
前記認識対象者の顔画像から顔領域を検出する顔検出処理部と、
前記顔検出処理部が検出した顔領域毎に顔特徴量を計算する顔特徴量計算部と、
登録者毎に、異なる顔画像から計算した複数の顔特徴量を予め登録する顔データベースと、
前記顔特徴量計算部が計算した認識対象者の顔領域毎の顔特徴量と、前記顔データベースに登録されている登録者の各顔特徴量との類似度が格納された類似度行列を計算する類似度計算部と、
前記類似度計算部が計算した類似度行列の各要素を前記類似度の順にソートするソート処理部と、
前記登録者の各顔特徴量と前記登録者の識別情報とを対応付けたハッシュ型マップテーブルを用いて、同一の前記登録者についての重複部分をソート済みの前記類似度行列から除去する重複部分除去部と、
前記重複部分除去部が重複部分を除去した類似度行列に基づいて、前記認識対象者を特定する認識対象者特定部と、
を備えることを特徴とする顔認識装置。

【請求項2】

第１段階目の処理として、
前記類似度計算部は、前記認識対象者の顔領域毎の顔特徴量と、前記登録者に予め割り当てられた１つの顔特徴量との類似度が格納された類似度行列を計算し、
前記ソート処理部は、前記類似度行列において、前記類似度が予め設定された順位までの要素をソートし、
第２段階目の処理として、
前記類似度計算部は、前記認識対象者の顔領域毎の顔特徴量と、前記類似度が前記順位までの登録者の各顔特徴量との類似度が格納された類似度行列を計算することを特徴とする請求項１に記載の顔認識装置。

【請求項3】

前記顔検出処理部は、前記登録者の顔画像から顔領域を検出し、
前記顔特徴量計算部は、前記登録者の顔領域毎に顔特徴量を計算し、
前記類似度計算部は、前記顔特徴量計算部が計算した顔特徴量と、前記顔データベースに登録されている登録者の各顔特徴量との類似度を計算し、
計算した前記類似度の閾値判定により、前記顔特徴量計算部が計算した顔特徴量を前記顔データベースに登録する顔データベース登録部、をさらに備えることを特徴とする請求項１に記載の顔認識装置。

【請求項4】

コンピュータを、請求項１から請求項３の何れか一項に記載の顔認識装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔認識装置及びそのプログラムに関する。

【背景技術】

【0002】

従来、画像中の顔を認識して人物を特定する顔認識技術が知られている。例えば、セキュリティ分野においては、顔認識技術は、最近のＡＩ技術の進展により高精度化し、実用化の域に達している。また、顔認識処理を映像コンテンツのタグ付け処理に利用する手法も知られている。

【0003】

これら顔認識処理は、学習用の顔画像を収集し、人物間の違いを認識するための顔特徴量を機械学習処理により計算し、その顔特徴量の類似度で顔認識を行う仕組みを基本とする（例えば、特許文献１）。

【0004】

ここで、顔方向や表情などの顔状態が大きく変化した場合、顔認識処理の精度が低下することがある。そこで、同一人物について複数の顔画像から顔特徴量を計算することで、顔認識処理の精度を向上させる手法も提案されている（例えば、特許文献２）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第６６６９９５２号公報

【特許文献2】特開２０２１－０３３６６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、特許文献２に記載の手法は、同一人物に対して複数の顔画像を用いるので顔特徴量のデータ量が増加してしまい、計算量が膨大になるという問題がある。

【0007】

そこで、本発明は、計算量を抑制できる顔認識装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0008】

前記課題を解決するため、本発明に係る顔認識装置は、認識対象者の顔画像から認識対象者を特定する顔認識装置であって、顔検出処理部と、顔特徴量計算部と、顔データベースと、類似度計算部と、ソート処理部と、重複部分除去部と、認識対象者特定部と、を備える構成とした。

【0009】

かかる構成によれば、顔検出処理部は、認識対象者の顔画像から顔領域を検出する。
顔特徴量計算部は、顔検出処理部が検出した顔領域毎に顔特徴量を計算する。
顔データベースは、登録者毎に、異なる顔画像から計算した複数の顔特徴量を予め登録する。
類似度計算部は、顔特徴量計算部が計算した認識対象者の顔領域毎の顔特徴量と、顔データベースに登録されている登録者の各顔特徴量との類似度が格納された類似度行列を計算する。

【0010】

また、ソート処理部は、類似度計算部が計算した類似度行列の各要素を類似度の順にソートする。
重複部分除去部は、認識対象者の識別情報と登録者の各顔特徴量とを対応付けたハッシュ型マップテーブルを用いて、同一の登録者についての重複部分をソート済み類似度行列から除去する。
認識対象者特定部は、重複部分除去部が重複部分を除去した類似度行列に基づいて、認識対象者を特定する。
このように、顔認識装置は、ハッシュ型マップテーブルによる類似度行列から重複部分を除去することで、複数の顔特徴量を用いるときの膨大な計算量を抑制することができる。

【0011】

なお、本発明は、コンピュータを前記した顔認識装置として機能させるためのプログラムで実現することもできる。

【発明の効果】

【0012】

本発明によれば、計算量を抑制することができる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態に係る顔認識装置の構成を示すブロック図である。

【図2】第１実施形態に係る顔認識処理部の構成を示すブロック図である。

【図3】第１実施形態に係るデータ加工処理部の構成を示すブロック図である。

【図4】第１実施形態において、ハッシュ型マップテーブルを説明する説明図である。

【図5】第１実施形態において、顔認識処理の具体例を説明する説明図である。

【図6】第１実施形態において、登録インターフェースの処理を示すフローチャートである。

【図7】第２実施形態に係る顔認識装置の処理を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、各実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。

【0015】

（第１実施形態）
［顔認識装置の概略］
図１を参照し、第１実施形態に係る顔認識装置１の概略について説明する。
顔認識装置１は、認識対象者の顔画像から認識対象者を特定するものであり、図１に示すように、顔検出処理部１０と、顔データベース２０と、顔認識処理部３０と、データ加工処理部４０と、登録インターフェース（顔データベース登録部）５０とを備える。なお、顔認識装置１で認識対象となる人物、つまり、顔認識装置１に入力された顔画像で撮影されている人物を認識対象者と記載する。

【0016】

顔認識装置１は、同一の人物について、顔データベース２０に複数の顔特徴量を登録することで認識精度の向上を図っている。なお、顔データベース２０に顔特徴量を登録する人物のことを登録者と記載する。顔認識装置１の入力としては、認識対象者の顔領域が含まれる顔画像である（この顔画像は動画を含む）。また、データ加工処理部４０には、後記するハッシュ形マップテーブル６０を予め設定しておく。

【0017】

最初に、顔検出処理部１０が、顔画像内の顔が映っている顔領域を検出する。次に、顔認識処理部３０が、それぞれの顔領域で顔認識処理を実行する。このとき、顔認識処理部３０は、顔領域から顔特徴量を計算し、事前に計算した登録者の顔特徴量との類似度を計算する。顔データベース２０には、事前に計算した登録者の顔特徴量が格納されている。最後に、データ加工処理部４０が、類似度から各顔領域の人物を特定する。このとき、データ加工処理部４０は、認識対象者の識別情報と顔データベース２０に登録されている登録者の各顔特徴量とを対応付けたハッシュ形マップテーブル６０を用いて、計算量を抑制する。

【0018】

顔データベース２０への顔特徴量の登録は、登録インターフェース５０を介して手動で行う。このとき、自動的に認識精度向上への寄与が高い顔領域の抽出及び認識精度の劣化を伴う顔領域の除外処理を行う（第２実施形態）。

【0019】

［顔認識装置の構成］
＜顔検出処理部＞
以下、顔認識装置１の構成について説明する。
顔検出処理部１０は、認識対象者の顔画像から顔領域を検出するものである。ここで、顔検出処理部１０は、顔画像から顔が存在している顔領域を検出し、検出領域の情報（例えば、顔を囲むバウンディング領域）を顔認識処理部３０に出力する。例えば、顔検出処理部１０は、深層学習処理を利用した手法（特開２０２０－０１７０８２号公報）などの一般的な顔領域検出手法を利用できる。

【0020】

＜顔データベース＞
顔データベース２０は、登録者毎に、顔方向や表情などの顔状態が異なる顔画像から計算した顔特徴量を予め登録するものである。本実施形態では、顔データベース２０は、認識対象者を含め、登録者毎に複数の顔特徴量がマトリックス形式で登録されている。例えば、顔認識装置１のユーザが、後記する登録インターフェース５０を介して、手動で顔データベース２０の登録を行う。

【0021】

＜顔認識処理部＞
顔認識処理部３０は、顔検出処理部１０が検出した顔領域から顔特徴量を計算し、顔データベース２０に登録されている登録者の顔特徴量との類似度を計算するものである。図２に示すように、顔認識処理部３０は、顔特徴量計算部３１と、類似度計算部３２と、ソート処理部３３とを備える。

【0022】

顔特徴量計算部３１は、顔検出処理部１０が検出した顔領域毎に顔特徴量を計算するものである。例えば、顔特徴量計算部３１は、特開２０１７－３３３７２号公報に記載の深層学習処理を用いて、顔特徴量を表した１次元の顔特徴ベクトルを計算する。

【0023】

類似度計算部３２は、顔特徴量計算部３１が計算した認識対象者の顔領域毎の顔特徴量と、顔データベース２０に登録されている登録者の各顔特徴量との類似度が格納された類似度行列を計算するものである。

【0024】

ここで、顔検出処理部１０が検出した顔領域の数をｎ＿ｄｅｔｓとする。また、顔特徴ベクトルの長さ、つまり、顔特徴量の次元数をｎ＿ｆｅａｔｓとする。すると、顔特徴量計算部３１が出力する顔特徴量は、サイズが（ｎ＿ｄｅｔｓ，ｎ＿ｆｅａｔｓ）のマトリックス（行列）Ｆとなる。また、顔データベース２０には、各登録者に対応した複数の顔特徴量がマトリックス形式で格納されている。このマトリックスをＲと記載する。ある登録者の顔特徴量の総数をｎ＿ｒｅｇｓとすると、マトリックスＲのサイズは、（ｎ＿ｒｅｇｓ，ｎ＿ｆｅａｔｓ）となる。

【0025】

また、顔データベース２０の登録者数をｎ＿ｐｅｏｐｌｅ、ｉ番目の登録者の顔特徴量の数をｎ＿ｆａｃｅｓ［ｉ]とする。すると、以下の式（１）の関係が成立する。

【0026】

【数1】

【0027】

このように２つのマトリックスＦ，Ｒを定義すると、類似度は、マトリックスＦ，Ｒを用いた行列演算で求めることができる。本実施形態では、類似度計算部３２は、コサイン類似度（Ｃｏｓｉｎｅ Ｓｉｍｉｌａｒｉｔｙ）演算を行うこととする。この場合、コサイン類似度は、以下の式（２）で表される。なお、Ｆ^ｔは、転置を表す。

【0028】

【数2】

【0029】

その結果、類似度計算部３２は、サイズが（ｎ＿ｒｅｇｓ，ｎ＿ｆｅａｔｓ）の類似度行列Ｓｉｍをソート処理部３３に出力する。この類似度行列Ｓｉｍは、顔データベース２０に格納されている全ての顔特徴量と、検出した顔領域から計算した顔特徴量との類似度を要素とするマトリックスである。

【0030】

ソート処理部３３は、類似度計算部３２が計算した類似度行列Ｓｉｍの各要素を類似度の順にソートするものである。つまり、ソート処理部３３は、登録者の顔領域毎に、類似度が高い順に類似度行列Ｓｉｍを行番号でソートする。以後、ソート済み類似度行列をＡｒｇＳｉｍと記載する。このように、類似度行列Ｓｉｍをソートすることで、後記するデータ加工処理部４０が、同一の登録者についての重複部分を削除できる。

【0031】

＜データ加工処理部＞
図１に戻り、顔認識装置１の説明を続ける。
データ加工処理部４０は、ハッシュ型マップテーブル６０を用いて、ソート済み類似度行列ＡｒｇＳｉｍから重複部分を除去するものである。図３に示すように、データ加工処理部４０は、重複部分除去部４１と、認識対象者特定部４２とを備える。

【0032】

＜＜ハッシュ型マップテーブル＞＞
図４を参照し、データ加工処理部４０が用いる３つのハッシュ型マップテーブル６０（６１，６２，６３）について説明する。

【0033】

ｍｕｌｔｉ＿ｉｄ２ｉｄテーブル６１は、登録者の各顔特徴量（ｍｕｌｔｉ＿ｉｄ）と識別情報（ｉｄ）とを対応付けたハッシュ型マップテーブルである。ここで、ｍｕｌｔｉ＿ｉｄは、登録者の各顔特徴量の識別情報、つまり、後記するソート済み類似度行列ＡｒｇＳｉｍの行番号を表している（例えば、０～５）。

【0034】

ｉｄ２ｐｅｒｓｏｎテーブル６２は、登録者の識別情報（ｉｄ）と登録者名（ｐｅｒｓｏｎ）とを対応付けたハッシュ型マップテーブルである。このｉｄ２ｐｅｒｓｏｎテーブル６２では、ｉｄ＝１の登録者名がＡであり、ｉｄ＝２の登録者名がＢであり、ｉｄ＝２の登録者名がＣである。

【0035】

ここで、顔データベース２０に顔特徴量を登録する際、顔認識装置１のユーザが、登録者名（ｐｅｒｓｏｎ）を入力する。このとき、登録者毎に識別情報（ｉｄ）を連番で自動的に割り当てる。従って、ｉｄ２ｐｅｒｓｏｎテーブル６２には、このｉｄとｐｅｒｓｏｎとを対応付けて格納すればよい。さらに、顔データベース２０に登録されている顔特徴量毎にｍｕｌｔｉ＿ｉｄを連番で自動的に割り当てる。従って、ｍｕｌｔｉ＿ｉｄ２ｉｄテーブル６１には、このｍｕｌｔｉ＿ｉｄとｉｄとを対応付けて格納すればよい。

【0036】

ｐａｒｔ２ｍｕｌｔｉ＿ｉｄテーブル６３は、ソート済み類似度行列ＡｒｇＳｉｍから特定グループの登録者を絞り込むためのハッシュ型マップテーブルである。ここで、ｐａｒｔ＿ｉｄは、登録者が属するグループの識別情報である。このグループは、任意に定義可能である（例えば、住所、職業、勤務先、趣味、性別）。なお、ｐａｒｔ２ｍｕｌｔｉ＿ｉｄテーブル６３は、ソート済み類似度行列ＡｒｇＳｉｍの絞り込みを行わない場合、必須でない。

【0037】

なお、図４では、説明を簡易にするために、ハッシュ型マップテーブル６０に格納されているデータをそのまま図示した。実際には、ハッシュ型マップテーブル６０は、キー及びバリューからなるハッシュ形式でデータを格納している（例えば、Ｐｙｔｈｏｎのｄｉｃｔ型）。例えば、ハッシュ型マップテーブルは、以下の参考文献１に記載されているので、これ以上の説明を省略する。

【0038】

参考文献１：“ハッシュテーブル”，［online］，［令和４年５月１６日検索］，インターネット＜URL：https://ja.wikipedia.org/wiki/%E3%83%8F%E3%83%83%E3%82%B7%E3%83%A5%E3%83%86%E3%83%BC%E3%83%96%E3%83%AB＞

【0039】

図３に戻り、データ加工処理部４０の説明を続ける。
重複部分除去部４１は、登録者の各顔特徴量と識別情報とを対応付けたハッシュ型マップテーブル（ｍｕｌｔｉ＿ｉｄ２ｉｄテーブル６１）を用いて、同一の登録者についての重複部分をソート済み類似度行列ＡｒｇＳｉｍから除去するものである。つまり、重複部分除去部４１は、ｍｕｌｔｉ＿ｉｄ２ｉｄテーブル６１を用いて、ソート済み類似度行列ＡｒｇＳｉｍから重複部分を除去した類似度行列を求める。以後、除去済み類似度行列をＡｒｇＳｉｍＰと記載する。この除去済み類似度行列ＡｒｇＳｉｍＰのサイズは、（ｎ＿ｐｅｏｐｌｅ，ｎ＿ｄｅｔｓ）となる。

【0040】

認識対象者特定部４２は、重複部分除去部４１が重複部分を除去した類似度行列ＡｒｇＳｉｍＰに基づいて、認識対象者を特定するものである。本実施形態では、認識対象者特定部４２は、ｉｄ２ｐｅｒｓｏｎテーブル６２により変換処理を行うことで、認識結果である認識対象者の氏名を出力する。

【0041】

＜＜顔認識処理の具体例＞＞
図５を参照し、顔認識装置１による顔認識処理の具体例を説明する。
この具体例では、登録者がＡ，Ｂ，Ｃの３人である。また、顔データベース２０には、登録者Ａについて、３つの顔特徴量ＡＦ１，ＡＦ２，ＡＦ３が登録されている。また、顔データベース２０には、登録者Ｂについて、２つの顔特徴量ＢＦ１，ＢＦ２が登録されている。また、顔データベース２０には、登録者Ｃについて、１つの顔特徴量ＣＦ１が登録されている。また、顔画像９０には、１つの顔領域９１が含まれている（ｎ＿ｄｅｔｓ＝１）。また、顔特徴量の次元数ｎ＿ｆｅａｔｓ＝５１２とする。また、ｍｕｌｔｉ＿ｉｄ２ｉｄテーブル６１及びｉｄ２ｐｅｒｓｏｎテーブル６２には、図４のデータが設定されている。

【0042】

この場合、顔特徴量計算部３１が出力するマトリックスＦは、サイズが（１，５１２）となる。また、顔データベース２０から取得するマトリックスＲは、顔特徴量ＡＦ１，ＡＦ２，ＡＦ３，ＢＦ１，ＢＦ２，ＣＦ１の特徴ベクトルを縦方向にスタックしたものとなり、そのサイズが（６，５１２）となる。

【0043】

従って、類似度計算部３２は、前記した式（２）を用いて、サイズが（６，１）の類似度行列Ｓｉｍを計算する。ここでは、以下の式（３）で表される類似度行列Ｓｉｍが計算されたこととする。

【0044】

【数3】

【0045】

式（３）の類似度行列Ｓｉｍでは、類似度０．７５が０行目、類似度０．８４が１行目、類似度０．６３が２行目、類似度０．７８が３行目、類似度０．４３が４行目、類似度０．６６が５行目となっている。なお、実装の都合上、類似度行列Ｓｉｍの行番号を０から開始している。

【0046】

また、ソート処理部３３は、式（３）の類似度行列Ｓｉｍの各要素を類似度の順にソートする。類似度の順でソートした類似度行列Ｓｉｍ´は、以下の式（４）で表される。

【0047】

【数4】

【0048】

そして、ソート済み類似度行列ＡｒｇＳｉｍは、式（４）の類似度行列Ｓｉｍ´の行番号を格納したものであるから、以下の式（５）で表される。

【0049】

【数5】

【0050】

ここで、式（４）の類似度行列Ｓｉｍ´で先頭の類似度０．８４が、式（３）の類似度行列Ｓｉｍでは１行目である。従って、式（５）のソート済み類似度行列ＡｒｇＳｉｍでは、先頭の要素として、類似度０．８４の行番号１が格納されている。また、式（４）の類似度行列Ｓｉｍ´で２番目の類似度０．７８が、式（３）の類似度行列Ｓｉｍでは３行目である。従って、式（５）のソート済み類似度行列ＡｒｇＳｉｍでは、２番目の要素として、類似度０．７８の行番号３が格納されている。

【0051】

データ加工処理部４０は、ソート済み類似度行列ＡｒｇＳｉｍに対して、ｍｕｌｔｉ＿ｉｄ２ｉｄテーブル６１及びｉｄ２ｐｅｒｓｏｎテーブル６２を用いて、最終的な認識結果を求める。

【0052】

まず、重複部分除去部４１は、以下の式（６）に示すように、ｍｕｌｔｉ＿ｉｄ２ｉｄテーブル６１を用いて、ソート済み類似度行列ＡｒｇＳｉｍの各要素（行番号）を登録者の識別情報（ｉｄ）に変換する。

【0053】

【数6】

【0054】

前記したように、ソート済み類似度行列ＡｒｇＳｉｍの行番号は、ｍｕｌｔｉ＿ｉｄ２ｉｄテーブル６１のｍｕｌｔｉ＿ｉｄに対応する。つまり、ソート済み類似度行列ＡｒｇＳｉｍにおける先頭の要素である行番号１が、ｍｕｌｔｉ＿ｉｄ２ｉｄテーブル６１のｍｕｌｔｉ＿ｉｄ＝１に対応するので、ｉｄ＝０となる。従って、ソート済み類似度行列ＡｒｇＳｉｍにおける先頭の行番号１が、登録者の識別情報であるｉｄ＝０に変換される。これと同様、ソート済み類似度行列ＡｒｇＳｉｍにおける２番目の要素である行番号３が、ｍｕｌｔｉ＿ｉｄ２ｉｄテーブル６１のｍｕｌｔｉ＿ｉｄ＝３に対応するので、ｉｄ＝１となる。従って、ソート済み類似度行列ＡｒｇＳｉｍにおける２番目の行番号３が、登録者の識別情報であるｉｄ＝１に変換される。

【0055】

次に、重複部分除去部４１は、式（６）右辺の変換結果から重複部分を除去することで、除去済み類似度行列ＡｒｇＳｉｍＰを求める。ここで、式（６）右辺の変換結果からｉｄ＝０，１が重複する３，５，６番目の要素を除去するので、除去済み類似度行列ＡｒｇＳｉｍＰは、以下の式（７）で表される。

【0056】

【数7】

【0057】

次に、認識対象者特定部４２は、以下の式（８）に示すように、ｉｄ２ｐｅｒｓｏｎテーブル６２を用いて、除去済み類似度行列ＡｒｇＳｉｍＰの各要素（登録者のｉｄ）を登録者名に変換する。

【0058】

【数8】

【0059】

ｉｄ２ｐｅｒｓｏｎテーブル６２では、ｉｄ＝０の登録者名がＡである。従って、除去済み類似度行列ＡｒｇＳｉｍＰの先頭の要素であるｉｄ＝０が登録者名Ａに変換される。また、ｉｄ２ｐｅｒｓｏｎテーブル６２には、ｉｄ＝１の登録者名がＢである。従って、除去済み類似度行列ＡｒｇＳｉｍＰの２番目の要素であるｉｄ＝１が登録者名Ｂに変換される。

【0060】

ここで、除去済み類似度行列ＡｒｇＳｉｍＰでは、類似度が高い順にｉｄが格納されている。従って、認識対象者特定部４２は、除去済み類似度行列ＡｒｇＳｉｍＰで先頭の要素に対応した登録者名を識別結果として出力すればよい。この具体例では、登録者名Ａが識別結果となる。

【0061】

以下、ｉｄ２ｐｅｒｓｏｎテーブル６２を用いた、グループによるソート済み類似度行列ＡｒｇＳｉｍの絞り込みを説明する。
ここでは、登録者Ａ，Ｃが属するグループに絞り込むこととする。つまり、登録者Ｂは、登録者Ａ，Ｃとは異なるグループに属するので、絞り込みで除外される。

【0062】

図４に示すように、ｉｄ２ｐｅｒｓｏｎテーブル６２では、登録者Ａ，Ｃのｉｄが０，２である。また、ｍｕｌｔｉ＿ｉｄ２ｉｄテーブル６１では、ｉｄ＝０に対応するｍｕｌｔｉ＿ｉｄが０，１，２であり、ｉｄ＝２に対応するｍｕｌｔｉ＿ｉｄが５である。従って、ｐａｒｔ２ｍｕｌｔｉ＿ｉｄテーブル６３には、登録者Ａ，Ｃに対応したｍｕｌｔｉ＿ｉｄ＝０，１，２，５を格納すればよい。なお、ｐａｒｔ＿ｉｄは、ｍｕｌｔｉ＿ｉｄ毎に自動的に割り当てた連番である。図４の例では、ｐａｒｔ２ｍｕｌｔｉ＿ｉｄテーブル６３には、ｐａｒｔ＿ｉｄとして０～３が格納されている。

【0063】

ここで、式（５）のソート済み類似度行列ＡｒｇＳｉｍを図４のｐａｒｔ２ｍｕｌｔｉ＿ｉｄテーブル６３で絞り込んだ場合、以下の式（９）で表される。式（９）のソート済み類似度行列ＡｒｇＳｉｍでは、式（５）のソート済み類似度行列ＡｒｇＳｉｍから、登録者Ｂに対応したｍｕｌｔｉ＿ｉｄ＝３，４が除去されている。

【0064】

【数9】

【0065】

その後、重複部分除去部４１は、式（９）のソート済み類似度行列ＡｒｇＳｉｍに対して、前記と同様の処理を行えばよい。

【0066】

＜登録インターフェース＞
図１に戻り、顔認識装置１の説明を続ける。
登録インターフェース５０は、顔データベース２０に顔特徴量を登録するものである。図６に示すように、登録インターフェース５０は、登録者名（ｐｅｒｓｏｎ）と顔画像（ｉｍａｇｅ）との組み合わせで登録を行う。

【0067】

まず、ステップＳ１において、顔検出処理部１０は、認識対象者の顔画像と同様、登録者の顔画像から顔領域を検出する。ステップＳ２において、顔特徴量計算部３１は、認識対象者の顔特徴量と同様、登録者の顔領域毎に顔特徴量Ｆを計算する。ステップＳ３において、類似度計算部３２は、顔データベース２０から、登録者の顔特徴量Ｒ［ｉｄ］を取得する。このとき、類似度計算部３２は、ｉｄ２ｐｅｒｓｏｎテーブル６２の逆マップ版であるｐｅｒｓｏｎ２ｉｄテーブル６４を用いて、登録者名（ｐｅｒｓｏｎ）に対応するｉｄを求める。ステップＳ４において、類似度計算部３２は、顔特徴量計算部３１が計算した登録者の顔特徴量Ｆと、顔データベースに登録されている登録者の各顔特徴量Ｒ［ｉｄ］との類似度ＳｉｍＳｃｏｒｅを計算する。

【0068】

次に、ステップＳ５において、登録インターフェース５０は、ステップＳ４で計算した類似度ＳｉｍＳｃｏｒｅの閾値判定により、顔特徴量計算部３１が計算した顔特徴量Ｆを顔データベースに登録する。具体的には、登録インターフェース５０は、類似度ＳｉｍＳｃｏｒｅが予め設定した閾値Ｔｈｒｅｓ＿ｓｉｍ未満であるかを判定する。そして、類似度ＳｉｍＳｃｏｒｅが閾値Ｔｈｒｅｓ＿ｓｉｍ未満の場合（ステップＳ５でＹ）、登録インターフェース５０は、顔特徴量Ｆの登録を中止する（ステップＳ６）。一方、類似度ＳｉｍＳｃｏｒｅが閾値Ｔｈｒｅｓ＿ｓｉｍ以上の場合（ステップＳ５でＮ）、登録インターフェース５０は、顔特徴量Ｆを顔データベース２０に登録する（ステップＳ７）。

【0069】

このようにして、登録インターフェース５０は、特徴が大きく異なる顔画像から求めた顔特徴量Ｆを顔データベース２０に登録しないので、誤認識を抑制できる。また、この登録処理は、登録者名（ｐｅｒｓｏｎ）と顔画像（ｉｍａｇｅ）との組み合わせを選択するだけなので、登録者が映っている領域を入力操作が不要であり、顔認識装置１のユーザにとって便利である。

【0070】

［作用・効果］
以上のように、顔認識装置１は、ハッシュ型マップテーブル６０を採用することで、複数の顔特徴量を用いるときの膨大な計算量を抑制することができる。
さらに、顔認識装置１は、複数の顔特徴量を用いるので、顔認識の精度向上を図ることができる。特に、顔認識装置１は、重要な認識対象者について、様々な顔状態で求めた複数の顔特徴量を顔データベース２０に登録することで、その人物を精度よく認識できる。
さらに、顔認識装置１は、登録インターフェース５０により、顔認識の精度向上に寄与する顔特徴量を選択的に登録することができる。
例えば、顔認識装置１は、映像コンテンツに認識対象者の氏名をメタデータとして付加する処理を効率的に行うことができる。

【0071】

（第２実施形態）
図１及び図７を参照し、第２実施形態に係る顔認識装置１Ｂについて、第１実施形態と異なる点を説明する。
図７に示すように、顔認識装置１Ｂでは、類似度計算部３２Ｂ及びソート処理部３３Ｂが２段階処理を行う点が第１実施形態と異なる。

【0072】

複数の顔特徴量を用いるのでデータ量が増加するので、メモリなどの顔認識装置１Ｂのリソースを圧迫することもある。この影響を低減するため、顔認識装置１Ｂでは、類似度計算やソーティング処理を段階的に実行する。

【0073】

ステップＳ１０において、第１段階目の処理として、登録者に１つの顔特徴量（マトリックスＲ＿Ｓ）を準備する。例えば、マトリックスＲ＿Ｓは、登録者毎に全ての顔特徴量の平均ベクトルを要素とする。このマトリックスＲ＿Ｓは、サイズが（ｎ＿ｐｅｏｐｌｅ，ｎ＿ｆｅａｔｓ）となる。このマトリックスＲ＿Ｓを用いて、第１段階目の処理を行う。

【0074】

類似度計算部３２Ｂは、認識対象者の顔領域毎の顔特徴量Ｆと、登録者に予め割り当てた１つの顔特徴量（マトリックスＲ＿Ｓ）との類似度が格納された類似度行列を計算する。そして、ソート処理部３３Ｂは、類似度行列において、類似度が予め設定された順位ｔｏｐＳまでの要素を類似度順にソートする。

【0075】

このように、第１段階目のソーティング処理では、全要素をソートするのでななく、類似度が最も高いものからｔｏｐＳ個の要素をソートすることで、類似度が高いＴｏｐＳまでの登録者を登録できる。

【0076】

ステップＳ１１において、第２段階目の処理として、ｔｏｐＳの登録者に限定して複数の顔特徴量による顔認識処理を行う。具体的には、類似度計算部３２Ｂは、認識対象者の顔領域毎の顔特徴量Ｆと、類似度が順位ｔｏｐＳまでの登録者の各顔特徴量との類似度が格納された類似度行列を計算する。その後、第２段階目の処理で計算した類似度行列を類似度行列Ｓｉｍとして用いればよい。

【0077】

［作用・効果］
以上のように、顔認識装置１Ｂは、第１実施形態と同様、複数の顔特徴量を用いるときの膨大な計算量を抑制することができる。
さらに、顔認識装置１Ｂは、ソーティング処理において、全ての登録者について複数の顔特徴量を用いるときよりも大幅にデータ量を削減できるので、処理速度の低下を抑制し、メモリなどの顔認識装置１Ｂのリソースの圧迫を回避できる。

【0078】

以上、実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0079】

前記した実施形態では、顔認識装置が独立したハードウェアであることとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した顔認識装置として機能させるためのプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【符号の説明】

【0080】

１，１Ｂ 顔認識装置
１０ 顔検出処理部
２０ 顔データベース
３０ 顔認識処理部
３１ 顔特徴量計算部
３２，３２Ｂ 類似度計算部
３３，３３Ｂ ソート処理部
４０ データ加工処理部
４１ 重複部分除去部
４２ 認識対象者特定部
５０ 登録インターフェース（顔データベース登録部）
６０ ハッシュ形マップテーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】