特許 6235730 顔を認識するための方法、システムおよびコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6235730

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】顔を認識するための方法、システムおよびコンピュータ可読記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20171113BHJP

【ＦＩ】

   G06T7/00 300F

【請求項の数】13

【全頁数】20

(21)【出願番号】特願2016-555870(P2016-555870)

(86)(22)【出願日】2013年11月30日

(65)【公表番号】特表2016-538674(P2016-538674A)

(43)【公表日】2016年12月8日

(86)【国際出願番号】CN2013088255

(87)【国際公開番号】WO2015078019

(87)【国際公開日】20150604

【審査請求日】2016年5月27日

(73)【特許権者】

【識別番号】516158057

【氏名又は名称】ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】タン シャオオウ

(72)【発明者】

【氏名】ルー チャオチャオ

(72)【発明者】

【氏名】ジャオ ダーリ

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００８−２５１０３９（ＪＰ，Ａ）

【文献】 特開２０１２−２４３１９６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０２３２３６５（ＵＳ，Ａ１）

【文献】 岡崎 彰夫、外２名，“顔画像による個人認証と顔履歴機能について”，画像ラボ，日本，日本工業出版株式会社，２００４年 ９月 １日，Vol.15, No.9，pp.46-50

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

顔画像のペアを取得するステップと、
取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するステップと、
各パッチのペアにおける第1の類似度を決定するステップと、
全てのパッチのペアから前記顔画像のペアにおける第2の類似度を決定するステップと、
各パッチのペアに対して決定された前記第1の類似度と前記顔画像のペアに対して決定された前記第2の類似度とを融合するステップと、を備え、
全てのパッチのペアから前記顔画像のペアにおける前記第2の類似度を決定するステップは、
複数の画像パッチから各パッチのペアを取得することと、
取得された前記パッチを囲む複数の隣接パッチを第2のKNNにおいて取得することと、
前記隣接パッチに対するサブネットワークを前記第2のKNNから取得することと、
取得された前記サブネットワークにおいて前記第2の類似度を決定することと、
を備える顔を認識するための方法。

【請求項2】

各パッチのペアにおける前記第1の類似度を決定するステップは、
各パッチのペアを取得するとともに取得された前記パッチを囲むK個（Kは1またはそれ以上）の隣接パッチを取得することと、
取得されたパッチから第1のKNNを形成することと、
形成された前記第１のKNNにおいて各パッチのペアの前記第1の類似度を決定することと、を備える、請求項１に記載の方法。

【請求項3】

前記第1の類似度は、形成された第1のKNNにおいてランダムウォークを実行することにより決定される、請求項１に記載の方法。

【請求項4】

さらに、前記第2のKNNを形成するステップを備え、前記第2のKNNを形成するステップは、
N個（Nは1以上の整数）のトレーニング顔画像を取得することと、
各トレーニング顔画像をM個の画像のパッチにセグメント化することと、
N個のトレーニング顔画像のM個の画像パッチに対して、セグメント化されたパッチからM個のKNNを形成することと、
第2のKNNを形成するために、各パッチと形成された各KNNにおける当該パッチの隣接パッチとをリンクすることと、を備える、請求項１に記載の方法。

【請求項5】

前記第2の類似度は、ネットワークにおいてランダムウォークを実行することにより決定する、請求項１に記載の方法。

【請求項6】

顔認識のためのシステムであって、
顔画像のペアを取得し、それぞれの顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するように構成されるセグメント部と、
各パッチのペアの第1の類似度を決定するように構成される第1の類似度決定部と、
全てのパッチのペアからの顔画像のペアの第2の類似度を決定するように構成される第2の類似度決定部と、
各パッチのペアに対して決定される前記第1の類似度および前記顔画像のペアに対して決定される前記第2の類似度を融合するように構成される融合部と、を含み、
前記第2の類似度決定部は、
複数の画像パッチから各パッチのペアを取得し、
取得された前記パッチを囲む複数の隣接パッチを第2のKNNにおいて取得し、
前記隣接パッチに対するサブネットワークを前記第2のKNNから取得し、
取得された前記サブネットワークにおいて前記第2の類似度を決定する、ように構成される、システム。

【請求項7】

前記第1の類似度決定部は、
各パッチのペアを取得するとともに取得された前記パッチを囲むK個（Kは1またはそれ以上）の隣接パッチを取得し、
取得された前記パッチから第1のKNNを形成し、そして、
形成された前記第1のKNNにおいて各パッチのペアの前記第1の類似度を決定する、請求項６に記載のシステム。

【請求項8】

前記第1の類似度は、形成された第1のKNNにおいてランダムウォークを実行することにより決定される、請求項６に記載のシステム。

【請求項9】

前記第2のKNNを形成するための前記第2の類似度決定部における操作は、
N個（Nは1以上の整数）のトレーニング顔画像を取得することと、
各トレーニング顔画像をM個の画像のパッチにセグメント化することと、
N個のトレーニング顔画像のM個の画像パッチに対して、セグメント化されたパッチからM個のKNNを形成することと、
第2のKNNを形成するために、各パッチと形成された各KNNにおける当該パッチの隣接パッチとをリンクすることと、により形成される、請求項６に記載のシステム。

【請求項10】

前記第2の類似度は、ネットワークにおいてランダムウォークを実行することにより決定される、請求項６に記載のシステム。

【請求項11】

コンピュータ可読記憶媒体であって、
顔画像のペアを取得する命令と、
取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成する命令と、
各パッチのペアにおける第1の類似度を決定する命令と、
全てのパッチのペアから前記顔画像のペアにおける第2の類似度を決定する命令と、
各パッチのペアに対して決定された前記第1の類似度と前記顔画像のペアに対して決定された前記第2の類似度とを融合する命令と、を備え、
全てのパッチのペアから前記顔画像のペアにおける前記第2の類似度を決定する命令は、
複数の画像パッチから各パッチのペアを取得することと、
取得された前記パッチを囲む複数の隣接パッチを第2のKNNにおいて取得することと、
前記隣接パッチに対するサブネットワークを前記第2のKNNから取得することと、
取得された前記サブネットワークにおいて前記第2の類似度を決定することと、
を備える、コンピュータ可読記憶媒体。

【請求項12】

前記命令は、前記コンピュータ可読記憶媒体上に具現化されたコンピュータプログラム製品に含まれている請求項１１に記載のコンピュータ可読記憶媒体。

【請求項13】

前記コンピュータ可読記憶媒体はディスク記憶装置、CD-ROMまたは光メモリである請求項１１に記載のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、顔を認識するための方法、システムおよびコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

過去20年間、顔認識は広く研究されている。しかし、ポーズ、照明および表情などによる個人内における大きな変化については、実環境の写真に対するロバストな顔認識の課題として残っている。

【0003】

従来の顔認識のための測定手法は、個人内における大きな変化がある場合、用途の広さにいくつかの制限がある。例えば、当該技術分野において、一人の人間についての顔画像が多様な分布を有することが知られている。実際には、これらの分布は、一般的に、顔データにおける高い複雑性に起因する、異なる密度、大きさおよび形状を有している。また、多くの場合、顔領域にはノイズおよび外れ値が含まれている。従来の測定手法は、これらの課題の全てに取り組むことができない。類似度（または非類似度）の計算に基づく多くの方法は、ペアワイズ距離を顔の間の類似度（または非類似度）の計算に直接用いるが、これでは顔を高精度に見分けるための構造情報を取得することはできない。いくつかの研究では上記構造情報を計算に適用しているが、開発されたアルゴリズムは、一般的に、ノイズや外れ値の影響を受けやすい。例えば、ネットワークにおける最短のパスの長さの計算は、ノイズの多いノードの影響を受けやすい。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願は、上記問題点を克服するために設計されたランダムパス（RP）測定と呼ばれる新しい顔類似度の測定を提案する。また、2つの新規な顔パッチネットワークである、インフェイスネットワークとアウトフェイスネットワークとが開示されている。

【課題を解決するための手段】

【0005】

幾つかの態様において、本発明は、顔は、複数の重複する同じ大きさのパッチにより分割される。インフェイスネットワークは、任意の顔のペアに対して定義される。各顔画像のペアにおける各パッチエリアに対し、2つの対応するパッチのペアとそれらの近隣の8つのパッチは、インフェイスネットワークと呼ばれるKNNグラフを形成するために用いられる。このような各インフェイスネットワークのために、対応するパッチのペアのパッチ類似度として、ランダムパス（RP）測定が提案されている。与えられたネットワークにおいて、任意の2つのノード間における全てのパスが機能生成により統合される。RP測定は、ネットワーク内における異なる長さの全てのパスが含まれ、顔内でより多くの識別情報を取得し、かつ、ノイズや外れ値の影響を大幅に低減することを可能にする。従って、M個のパッチを有する顔のペアに対し、M個のRP測定が、二つの顔の間の類似特徴ベクトルを形成するために決定される。この手法では、２つの顔内にのみネットワークが形成されるので、インフェイスネットワークと呼ばれる。本開示では、それはまた、第1のKNNを示す。

【0006】

アウトフェイスネットワーク（第2のKNN）は、同様の方法で形成される。ネットワークを形成するために局所（ローカル）隣接パッチを用いる代わりに、各パッチに対し、顔パッチのデータベースを検索し、パッチのペアのネットワークを形成するために、そのパッチと同じ位置の隣接パッチにおいて類似のパッチおよび当該類似のパッチの8つの隣接パッチを見つける。検索はトレーニング空間を超えてグローバルに行われるので、アウトフェースネットワークは、よりグローバルに構造情報を取得する。2つのネットワークは、それぞれローカルおよびグローバルの構造情報を描くため、これら2つのネットワーク上からRP測定により導かれる類似度は、認識性能を高めるために組み合わせることができる。インフェイスネットワーク上およびアウトフェイスネットワーク上でのRP測定によれば、既存の測定よりも、課題である2つの顔データセットに対する顔認証においてRP測定の性能が著しく向上する。

【0007】

一態様において、本出願は、顔を認識するための方法であって、
顔画像のペアを取得するステップと、
取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するステップと、
各パッチのペアにおける第1の類似度を決定するステップと、
全てのパッチのペアから前記顔画像のペアにおける第2の類似度を決定するステップと、
各パッチのペアに対して決定された前記第1の類似度と前記顔画像のペアに対して決定された前記第2の類似度とを融合するステップと、を備える、方法を提供する。
もう一例において、前記方法は前記第2のKNNを形成するステップを備え、前記第2のKNNを形成するステップは、
N個（Nは1以上の整数）のトレーニング顔画像を取得することと、
各トレーニング顔画像をM個の画像のパッチにセグメント化することと、
N個のトレーニング顔画像のM個の画像に対して、セグメント化されたパッチからM個のKNNを形成することと、
第2のKNNを形成するために、各パッチと形成された各KNNにおける当該パッチの隣接パッチとをリンクすることと、を備える。
もう一例において、前記第2の類似度は、ネットワークにおいてランダムウォークを実行することにより決定する。
もう一例において、前記第1の類似度および前記第2の類似度は、
前記パッチにより形成される第1のサブネットワークG_i、前記パッチにより形成される第2のサブネットワークG_jおよび前記第1のサブネットワークと前記第2のサブネットワークとを統合したサブネットワーク

【数1】

を決定することと、
G_i、G_jおよび

【数2】

のそれぞれに対し隣接行列を決定することと、
前記隣接行列のそれぞれに対し、パス中心性

【数3】

、

【数4】

および

【数5】

を決定することと、

【数6】

の規定によりG_iとG_jの間における対応する類似度を決定することと、
によって決定される。

【0008】

この提供された方法は、コンピュータ内における1またはそれ以上のプロセッサによって実行されてもよい。

【0009】

他の態様において、本出願は、顔認識のためのシステムであって、
セグメント部は、顔画像のペアを取得し、それぞれの顔画像を複数の画像パッチにセグメント化するように構成され、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成し、
第1の類似度決定部は、各パッチのペアの第1の類似度を決定するように構成され、
第2の類似度決定部は、全てのパッチのペアからの顔画像のペアの第2の類似度を決定するように構成され
融合部は、各パッチのペアに対して決定される前記第1の類似度および前記顔画像のペアに対して決定される前記第2の類似度を融合するように構成される、システムを提供する。
一例において、前記第1の類似度決定部は、
各パッチのペアを取得するとともに取得された前記パッチを囲むK個（Kは1またはそれ以上）の隣接パッチを取得し、
取得された前記パッチから第1のKNNを形成し、そして、
形成された前記第1のKNNにおいて各パッチのペアの前記第1の類似度を決定する。
もう一例において、前記第1の類似度は、形成された第1のKNNにおいてランダムウォークを実行することにより決定される。
もう一例において、前記第1の類似度は、
前記パッチにより形成される第1のサブネットワークG_i、前記パッチにより形成される第2のサブネットワークG_jおよび前記第1のサブネットワークと前記第2のサブネットワークとを統合したサブネットワーク

【数7】

を決定することと、
G_i、G_jおよび

【数8】

のそれぞれに対し隣接行列を決定することと、
前記隣接行列のそれぞれに対し、パス中心性

【数9】

、

【数10】

および

【数11】

を決定することと、

【数12】

の規定によりG_iとG_jの間における前記第1の類似度を決定することと、
、により決定される。
もう一例において、前記第2の類似度決定部は、
複数の画像パッチから各パッチのペアを取得し、
取得された前記パッチを囲む複数の隣接パッチを第2のKNNにおいて取得し、
前記隣接パッチに対するサブネットワークを前記第2のKNNから取得し、
取得された前記サブネットワークにおいて前記第2の類似度を決定する、ように構成される。
もう一例において、前記第2のKNNを形成するための前記第2の類似度決定部における操作は、
N個（Nは1以上の整数）のトレーニング顔画像を取得することと、
各トレーニング顔画像をM個の画像のパッチにセグメント化することと、
N個のトレーニング顔画像のM個の画像に対して、セグメント化されたパッチからM個のKNNを形成することと、
第2のKNNを形成するために、各パッチと形成された各KNNにおける当該パッチの隣接パッチとをリンクすることと、により形成される。
もう一例において、前記第2の類似度は、ネットワークにおいてランダムウォークを実行することにより決定される。
もう一例において、前記第2の類似度は、
前記パッチにより形成される第1のサブネットワークG_i、前記パッチにより形成される第2のサブネットワークG_jおよび前記第1のサブネットワークと前記第2のサブネットワークとを統合したサブネットワーク

【数13】

を決定することと、
G_i、G_jおよび

【数14】

のそれぞれに対し隣接行列を決定することと、
前記隣接行列のそれぞれに対し、パス中心性

【数15】

、

【数16】

および

【数17】

を決定することと、

【数18】

の規定によりG_iとG_jの間における前記第2の類似度を決定することと、
、により決定される。

【0010】

他の態様において、本出願は、
顔画像のペアを取得する命令と、
取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成する命令と、
各パッチのペアにおける第1の類似度を決定する命令と、
全てのパッチのペアから前記顔画像のペアにおける第2の類似度を決定する命令と、
各パッチのペアに対して決定された前記第1の類似度と前記顔画像のペアに対して決定された前記第2の類似度とを融合する命令と、を備える、コンピュータ可読記憶媒体を提供する。
一例において、前記命令は、コンピュータ可読記憶媒体上に具現化されたコンピュータプログラム製品に含まれている。
もう一例において、前記コンピュータ可読記憶媒体はディスク記憶装置、CD-ROMまたは光メモリである。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る顔認識のための方法のフローチャートを示す。

【図2】本出願の一実施形態におけるインフェースネットワークの形成プロセスを示す。

【図3】本発明の一実施形態に係るアウトフェースネットワークの形成プロセスを示す。

【図4】本発明の一実施の形態におけるインフェースネットワークにおいてパッチの各ペアの類似度を決定するための方法のフローチャートを示す。

【図5】本発明の一実施形態に従ってアウトフェースネットワークにおいて顔画像のペアの類似度を決定するための方法のフローチャートを示す。

【図6】本発明の一実施形態に従ってアウトフェースネットワークを形成するための方法のフローチャートを示す。

【図7】本発明の一実施形態に従ってインフェースネットワーク内の各パッチのペアの類似度を決定するための例示的なシステムのブロック図を示す。

【発明を実施するための形態】

【0012】

例示的な実施形態について、添付の図面を参照して詳細に説明する。図面全体を通して、同じ参照番号は同じまたは同様の部分を示すために適切に用いられる。

【0013】

図1は、以下に詳細に説明される本発明の一実施形態に係る顔認識のための手順100のフローチャートを示す。

【0014】

[ステップS101]
図1に示すように、顔画像のペアは顔画像データベースから検索され、続いて、各顔画像は、複数の画像パッチに分割（セグメント化）され、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成する。図2aに示すように、顔aと顔bは、顔画像のペアを形成し、顔aのパッチpと顔bのパッチqはパッチのペアを形成する。

【0015】

[ステップS102]
このステップでは、各パッチのペアの第1の類似度は、第1顔画像KNN（K-隣接ネットワーク）によって決定されることになる。図２に示す本発明の一実施形態では、ステップS1021において、各パッチのペアおよびそれらの得られたパッチを囲むK個（Kは1以上の整数）の隣接パッチが得られ、続いて、ステップS1022において、第1の顔画像KNNが取得されたパッチから形成され、そしてステップS1023において、以下で詳細に説明される、形成された第1の顔画像KNNにおいて各パッチのペアの第1の類似度が決定される。

【0016】

当該技術分野においてよく知れられるように、顔が全体的に構造化される。パッチpは、顔aから構成されたものであるため、その微細構造は、パッチpの周辺のパッチと連続的に結合される。図2（a）および図2（b）に示されるように、例えば、目の隅のパッチの構造は、その隣接するパッチと架橋される。従って、パッチのペアから得た2つの顔の間の類似度を局所的に比較する際に、隣接パッチを考慮するのがより説得力がある。本発明の実施の形態では、これを行うために、パッチPの周りのrの隣接パッチをサンプリングする。図2（b）は、r=8の場合の、顔aと顔bにおけるパッチの例を示す。異なる顔に対して同じ位置で取得されたローカルパッチは、視覚的な意味において高度に相関する。例えば、異なる顔の目の隅は非常に類似する。従って、2×（r+1）の隣接パッチは、それらが空間ベクトルポイントとして提示される場合、空間的に混合されてもよい。このような混合構造をモデル化するために、混合パッチは、KNNネットワークによる特徴空間内におけるその空間的位置に応じて局所的に結合される。図2（c）は、顔のパッチの2-NNネットワークを示す。2つの顔の間に構築されたネットワークは、インフェースネットワークと呼ばれる。

【0017】

図2（c）は、同一人物のいくつかのパッチが直接的にリンクされていないことを示す。このような場合の構造をモデル化するために、ネットワーク内における遠く離れたノードを結合するためのパスを適用する。ソーシャルネットワークにおいて、パスに基づく測定は、ノードの類似度を計算するために広く用いられる。例えば、(I-zP)^-1の各エントリーは、対応するノードのグローバル類似度を表す。Pはネットワークの隣接行列である。ノードの類似度は、ノード間を結合する全てのパスにより定義される。類似度行列(I-zP)^-1を用いることで、ネットワークにおける構造のコンパクトさは、全てのノード間における平均類似度により計算することができる。この目的のために、パスの重要性は、

【数19】

として定義することができる。

【0018】

ネットワークがよりコンパクトになると、パスの中心性がより大きくなる。パスの中心性C_Gを用いることにより、ネットワークフレームワーク内においてパッチのペアの類似度を計算することが容易になる。分析をより明確にするために、

【数20】

は、顔aにおけるパッチpと顔bにおけるパッチqにより構築されるネットワークを表す。G^a_pはパッチpのサブネットワークであり、G^b_qはパッチqのサブネットワークである。パッチPとパッチqがより類似すると、G^a_pとG^b_qとの間にあるパスはより相互に結合されることが簡単に分かる。従って、パスの中心性

【数21】

の増加は、サブネットワーク

【数22】

および

【数23】

の増加の大きさ以上になり、これはパッチのペアの類似度を計算するためにランダムパス測定

【数24】

を定義することの動機になる。ランダムパス測定については後述する。

【0019】

再び図２に戻り、本出願の実施形態では、顔画像は、サイズn×n（ここではn=16に設定）のパッチを重ね合わせてM=K×Kに密にセグメント化される。例えば、8ピクセルの重ね合わせを設定し、サイズn×nの各パッチの特徴を抽出するためにローカル画像記述子を適用することができる。従って、各顔は、ローカル画像記述子から形成されたM=K×Kの特徴ベクトルのセット

【数25】

によって表される。f_ijは顔内の（i,j）に位置するパッチの特徴ベクトルである。F^aとF^bは、それぞれ、顔aと顔bの特徴セットを表す。（i,j）のパッチにインフェースネットワークを構築するために、F^a内にf^a_ijおよびF^b内にf^b_ijを取る。同時に、（i,j）周辺におけるr個のf^a_ijの隣接が取られる。f^b_ijに対しても同様の操作が実行される。例えば、r=8iである。よって、f^a_ij及びf^b_ijのパッチのペアについてKNNネットワークG_ijを構築するために利用される（2+2r）のパッチの特徴ベクトルが得られる。その重み付けされた隣接行列は、

【数26】

によって表される。従って、f^a_ijとそのr個の隣接に対応する、ネットワークG^a_ijの重み付け隣接行列

【数27】

は、f^a_ijとその隣接rの索引により標記される、G_ijのサブ行列である。同様に、G^b_ijとその隣接行列

【数28】

が得られる。より良い理解のため、本願では、G_ijのノードのセットがノードのセットG^a_ijおよびG^b_ijの結合であることを意味する、

【数29】

を定義する。f^a_ijとf^b_ijのパッチのペアに対し、それらのパスの中心性は以下のように計算される。

【数30】

【0020】

そして、パッチのペアの類似度の計算を得るためにRP測定が適用される。

【数31】

【0021】

この操作に類似して、F^aおよびF^bからM個のパッチのペアの類似度が導出される。類似度は、類似度ベクトル

【数32】

として表すことができる。

【0022】

上述のネットワークは、2つの顔画像内にのみ構築されるのでインフェースネットワークとして呼ばれる。パッチのペアとそれらの近隣の構造情報のみが考慮され、したがってインフェースネットワークは主にローカル情報を伝える。

【0023】

[ステップS103]
このステップでは、顔画像のペアの第2の類似度は、第2の顔画像KNNを介して全てのパッチのペアから取得される。本願では、第2の顔画像KNNもアウトフェースネットワークと呼ばれる。
多くの顔では、異なる顔の同じ構成要素の間には相関関係が存在する。例えば、ピーターの目はトムの目と似ている、といったことがある。このような構造的な相関関係をモデル化するために、さらに、全ての顔の同じ位置におけるパッチからネットワークを構築する。図3（a）及び（b）に示すように、1つの顔の中にM個の異なるパッチがある場合、M個のネットワークを構築することができる。図3（c）に示すように、これらの構成ネットワークを統合するために、顔内の各パッチに対し、トレーニングデータ内の隣接位置において最も類似するr個のパッチとリンクする。よって、アウトフェイスネットワークとして、顔と顔内との間の構造的な相関をカバーするグローバルネットワークを導出する。具体的には、図６に示すように、ステップS601において、アウトフェースネットワークは、画像データベースからN個のトレーニング顔画像を検索することによって得られ、ステップS602において、M個の画像パッチで各トレーニング顔画像をセグメント化し、ステップS603において、N個のトレーニング顔画像のM個の画像パッチに対して、セグメント化されたパッチからM個のKNNを形成し（M<N）、ステップS604において、第2のKNNを形成するために、各パッチと形成された各KNN内における当該パッチの隣接パッチとをリンクする。

【0024】

インフェースネットワークとは異なり、アウトフェースネットワークの構築には、教師なしの方法によるトレーニングデータを必要とする。パッチセグメント化および特徴抽出は、上述したステップS102と同じ方法で形成される。

【0025】

Tは、トレーニングセットにおける顔画像の数であると仮定する。特徴セットを、

【数33】

ように記載する。

【0026】

ここで、F^tは第tの顔の特徴セットである。第2のKNN（アウトフェースネットワーク）としてのKNNネットワークG_ij^globalを構築するために、まず、トレーニングセット内の（i,j）における全ての特徴ベクトル

【数34】

を適用する。この方法により、M個の独立したG_ij^globalが構築される。独立したとは、それらの間には相関が無いことを意味する。各顔の（i,j）におけるf_ij^tとその近隣との間の構造的な近接性を保つために、f_ij^tはその8個の近隣と結合される。ここで、“結合”とは、パッチが選択された場合、それのr個の近隣も選択されることを意味する。そのため、近隣との結合により、M個の独立したG_ij^globalは、最終的なグローバルネットワークG^globalを形成するために、加重隣接行列P^globalとともにリンクされる。

【0027】

ネットワーク内のノードx_iとノードy_jとを結合するエッジの重みP(i,j)は、

【数35】

のように定義される。dist(x_i,x_j)は、x_iとx_jとの間のペアワイズ距離であり、N_i^Kはx_iのKNNのセットであり、

【数36】

である。遷移確率行列を得るために、

【数37】

を実行する必要がある。

【0028】

図5は、本発明の一実施形態に従った、アウトフェースネットワークにおいて顔画像のペアの類似性を決定する方法のフローチャートを示す。ステップS1031では、パッチのペアのそれぞれを取得し、かつ、得られたパッチを囲む複数の隣接パッチを取得し、ステップS1032において、隣接パッチのサブネットワークは、第2のKNNから検索され、ステップS1033において、顔画像のペアの類似度が全てのパッチのペアから決定される。

【0029】

再び図2（b）を参照して、テスト顔画像a与えられ、G_ij^globalにおけるそのr^NN個の最も類似するパッチが各f_ij^aから検索され、そして次に、各選択されたパッチに対し、初期G^aを形成するために、それの8個の隣接パッチが一緒に選択される。この検索方法では、取得された類似パッチが、他の顔画像中におけるf_ij^aの空間的にセマンティックな近隣のの１つであることを保証できる。従って、(r^NN+1)×M個のパッチノードは、最終的にG^globalから選択される。一実施形態では、いくつかの重複がそれらから削除され、残りのノードはG^globalからサブネットワークG^aを抽出し、対応するP^globalからサブ行列

【数38】

を抽出するために使用される。同じ方法により、顔bから、G^bおよび

【数39】

を取得できる。G^aおよびG^b内のノードを統合することによって、G^globalおよびP^globalから、統合ネットワーク

【数40】

およびその隣接行列

【数41】

を取り込むことができる。

【0030】

顔aおよび顔bに対して、

【数42】

と、

【数43】

と、

【数44】

と、を取得した後、定義１に従って、それらのパスの中心性である、

【数45】

と、

【数46】

と、

【数47】

と、を計算することは容易である。RP測定は、その後、それらの類似度

【数48】

を計算するために適用される。

【0031】

類似度s^outは、グローバルな観点からの2つの顔画像の構造情報を表す。

【0032】

このネットワークの構成はトレーニングデータを必要とし、各テスト顔はその上に投影される必要があるので、このネットワークは、アウトフェースネットワークと呼ばれる。
検索操作はG^globalの代わりにG_ij^globalのみで作られているので、各パッチに対する最も近隣を検索するのが速い。

【0033】

[ステップS104]
上述の分析から、インフェースネットワークとアウトフェースネットワークとは構造的に補完的であることは明らかである。ネットワークの識別能力を改善するため、ステップS103で得られた第1の類似度sⁱⁿとステップS102で得られた第2の類似度s^outとを、

【数49】

によって結合する単純な融合方法が使用される。

【0034】

ここで、s^finalは、2つの顔画像の複合類似度ベクトルであり、そしてαは、トレーニングデータから学習される自由パラメータである。例えば、α=0.5である。この融合/組み合わせ方法は、インフェースネットワークとアウトフェイスネットワークの利点を効果的に組み合わせることができる。認識のための分類器を訓練するために、組み合わせs^finalが従来の線形SVM（Support Vector Machine）に供給されてもよい。

【0035】

本発明の一実施形態では、プロセス100は、さらに、顔画像を認識するステップ（図示せず）を含んでいてもよい。これをすることで、線形モードは、重み付け類似度ベクトルs^finalのN組をそれらに対応するラベル（0または1）とともに線形サポートベクトルマシンに入力することにより得られる。その後、二つの顔のベクトルs^finalは、二つの顔が一人のラベルに属するかどうかを決定するために、線形サポートベクトルマシンモードに入力される。例えば、0はそれらが同じ人に属していることを意味し、逆に、1はそれらが異なる人に属していることを意味する。

【0036】

以下に、本願において提案されているランダムパス測定について説明する。

【0037】

Gは、N個のノード

【数50】

を有するネットワークを表すものとし、Pは、その重み付き隣接行列を表すものとする。行列P内の各エントリは、関連するノード間の類似度である。一般性のため、Gは方向性を持つと仮定し、これはPが非対称であってもよいことを意味する。Pで定義された長さtの経路は、

【数51】

により表される。S_tは長さtのすべてのパスのセットである。Tは行列の転置演算子を表し、１は、すべて１の行列を表し、Iは単位行列を表すものとする。

【0038】

当該技術分野において開示されているようなソーシャルネットワーク分析における概念に端を発し、ネットワークGのパス中心性C_Gの定義が導入される。

【0039】

定義１ パス中心性

【数52】

ここで、

【数53】

であり、かつ、ρ（P）はPのスペクトル半径である。

【0040】

行列（I-ZP）^-1の（i、j）エントリは、ノードx_iとノードx_jとの間のグローバルな類似度のようなものを表す。これは、ソーシャルネットワーク内のアクターの影響度を計算するために導入される。明確にするため、（I-ZP）^-1を拡張し、それを生成行列関数

【数54】

と見なす。

【0041】

行列P^t内の各エントリは、

【数55】

と表記することができ、Gにおいてノードx_iで始まりノードx_jで終わる全てのパスの長さtのすべてのパス上の重みの積の和である。機械学習では、上記によって定義されたグローバル類似度は、当該技術分野においてはセマンティック類似度とも呼ばれる。本願のフレームワークでは、重み付き隣接行列Pは、各エントリが負ではなく、各行の合計が1に正規化されることを満たす。従って、エントリP_i,j^tを、ランダムウォーカーがノードx_iから始まりtステップ後にノードx_jに到達する確率として見なされる。この観点から、パスの中心性は、G内の結合された全てのノード間の全てのパスの全ての長さによって、ネットワークGの構造的なコンパクトさを計算することである。G内のウォークのランダムさによる測定は、ランダムパス測定とも呼ばれる。

【0042】

パス中心性の定義を用いて、RP測定が、2つのネットワーク間の類似度を計算するために当然に使用できる。パス中心性の定義から、G内の2つのサブネットワークが、ほとんどのパスを共有する場合にパス中心性という意味で最も近い構造を持つことは、理にかなっている。つまり、構造的認識の観点から、2つのネットワークは最も関連しているといえる。従って、2つの所定のネットワークG_iおよびG_jに対して、RP測定の定義を、以下のように定義することができる。

【0043】

定義２ ランダムパス測定

【数56】

は、2つのネットワークG_iおよびG_jとの間の類似度を考慮している。

【0044】

上記の定義において、ユニオンパス中心性

【数57】

は、

【数58】

のように記載される。

【数59】

は、G_iおよびG_jのノードに対応するユニオン隣接行列である。RP測定

【数60】

は、G_iとG_jとの間の全てのパスについての構造情報を具体化する。この定義を直感的に理解するために、図4に示すケースについて考える。

【数61】

と

【数62】

は、
それぞれ、C_i内の構造情報とC_j内の構造情報を計算する。

【数63】

は、G_iおよびG_j内の構造情報を計算するだけでなく、G_iとG_jとの間の全てのパスを通して構造情報を計算する。

【数64】

の値が大きくなれば、2つのネットワークが共有する構造情報は多くなり、これら2つのネットワークが、より類似した構造を有することを意味する。従って、

【数65】

は、二つのネットワークの間の構造的類似性を計算するために利用できる。

【0045】

RP測定は、2つのネットワークの間の、最短のパスだけでなくすべてのパスを考慮する。従って、この測定は、ノイズや外れ値に対してロバストである。さらに、ノードの中心性（I-zP）^-11の平均値を取る。この操作により、ネットワークの構造情報は各ノードに分散され、これは、RP測定が、マルチ分布とマルチスケールの影響を受けないことを意味する。

【0046】

上記では、顔認識の手法について説明した。以下では、顔認識のためのシステム200について、図７を参照して説明する。
図７に示すように、システム200は、セグメント部10、第1の類似度決定部20、第2の類似度決定部30、融合部40および認識部50を備える。

【0047】

セグメント部10は、顔画像のペアを取得し（検索し）、それぞれの顔画像を複数の画像パッチにセグメント化するように構成される。ステップS101で説明したように、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成する。

【0048】

第1の類似度決定部20は、各パッチのペアの第1の類似度を決定するように構成されている。本出願では、各パッチのペアの第1の類似度は、ステップS102で説明したように、各パッチのペアと取得されたパッチを囲むK個の隣接パッチを取得し、取得されたパッチから第1のKNNを形成し、そして各パッチのペアの第1の類似度を決定することによって、インフェースネットワークを介して決定されてもよい。Kは1以上の整数である。
第2の類似度決定部30は、全てのパッチのペアからの顔画像のペアの第2の類似度を決定するように構成される。具体的には、第2の類似度決定部30は、各パッチのペアを取得するとともに第2のKNNにおける得られたパッチを囲む複数の隣接パッチを取得し、第2のKNNから隣接パッチのサブネットワークを検索し、検索されたサブネットワークから第2の類似度を決定するように構成される。第2のKNNは、上述したアウトフェースネットワークを参照する。そして、第2のKNNは、画像データベースからN個のトレーニング顔画像を検索すること、各トレーニング顔画像をM個の画像のパッチにセグメント化すること、N個のトレーニング顔画像のM個の画像パッチに対して、セグメント化されたパッチからM個のKNNを形成すること、そして、形成された各KNN内において各パッチをその隣接パッチとリンクすること、によって形成されてもよい。本実施形態では、上述したように、第2の類似度は、第2のネットワークにおいてランダムウォークを実行することによって決定される。

【0049】

融合部40と認識部50は、上述した式（7）の規定により、第1の類似度および第2の類似度を融合／結合するように構成される。

【0050】

本発明の実施形態は、特定のハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実現することができる。また、本発明の実施形態は、1またはそれ以上のコンピュータ読み取り可能な記憶媒体（ディスク記憶装置、CD-ROM、光メモリなどを備えるがそれらに限定されない）上に具現化されたコンピュータプログラムコードを含むコンピュータプログラム製品により実現することができる。例えば、上述の方法は、コンピュータ可読媒体に格納された命令を実行するための1またはそれ以上のプロセッサによって実現されてもよい。具体的には、この媒体は顔画像のペアを読み取るための命令、それぞれの顔画像を複数の画像のパッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するための命令、それぞれのパッチのペアの第１の類似度を決定するための命令、全てのパッチのペアから顔画像のペアの第2の類似度を決定するための命令、および顔画像を認識するための命令、を記憶してもよい。

【0051】

以上の説明では、種々の態様、ステップ、または構成要素は、例示の目的のために単一の実施形態に一緒にグループ化されている。本開示は、特許請求の範囲において請求された主題のために、開示された全てのバリエーションを必要とするものであると解釈されるべきではない。以下のそれぞれの請求項は、本開示の独立した実施形態として、例示的な実施形態であるこの説明に組み込まれる。

【0052】

また、特許請求の範囲としての本開示の範囲から逸脱することなく、本発明の明細書の考察および本開示の実施から、開示されたシステムや方法に対する様々な変更および変形が可能であることは、当業者にとって明らかであろう。従って、明細書および実施例は例示としてのみ考慮されることが意図され、本開示の真の範囲は以下の請求項とそれらの等価物により意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】