特許 6090847 情報処理装置及び判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6090847

(24)【登録日】2017年2月17日

(45)【発行日】2017年3月8日

(54)【発明の名称】情報処理装置及び判定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20170227BHJP

   G01B 11/25 20060101ALI20170227BHJP

【ＦＩ】

   G06T7/00 510B

   G01B11/25 H

   G06T7/00 300F

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2013-53619(P2013-53619)

(22)【出願日】2013年3月15日

(65)【公開番号】特開2014-178969(P2014-178969A)

(43)【公開日】2014年9月25日

【審査請求日】2016年2月10日

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】梅田 一秀

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開平０２−２２４１８５（ＪＰ，Ａ）

【文献】 国際公開第２００８／０５６７７７（ＷＯ，Ａ１）

【文献】 特開２０１２−２０３５９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／６０

Ｇ０１Ｂ １１／００ − １１／３０

Ｇ０６Ｋ ９／００ − ９／８２

(57)【特許請求の範囲】

【請求項1】

被判定物の少なくとも一部の３次元情報を形成する深度情報及び２次元画像を取得する情報取得部と、
前記情報取得部により取得される２次元画像から前記被判定物の２次元特徴情報を抽出する２次元特徴抽出部と、
前記２次元特徴情報及び前記情報取得部により取得される深度情報に基づいて、前記被判定物の３次元形状の特徴分類を示す特徴分類情報を抽出する３次元特徴抽出部と、
判定条件となる２次元特徴情報及び特徴分類情報を取得する条件取得部と、
前記２次元特徴抽出部により抽出される２次元特徴情報及び前記３次元特徴抽出部により抽出される特徴分類情報と、前記判定条件としての前記２次元特徴情報及び前記特徴分類情報との比較により、前記被判定物における前記判定条件の適合性を判定する判定部と、
を備える情報処理装置。

【請求項2】

前記２次元特徴抽出部は、前記被判定物の対象部位に関する２次元特徴情報を抽出し、
前記３次元特徴抽出部は、前記特徴分類情報として、前記対象部位に関する複数の形状特徴分類の中の少なくとも１つの形状特徴分類を特定する、
請求項１に記載の情報処理装置。

【請求項3】

前記２次元特徴抽出部は、前記被判定物の対象部位に関する２次元特徴情報を抽出し、
前記３次元特徴抽出部は、前記特徴分類情報として、前記対象部位に関する複数の形状特徴分類の各々に関し、該形状特徴分類に該当する程度を示すポイントをそれぞれ決定する、
請求項１に記載の情報処理装置。

【請求項4】

前記判定部は、前記被判定物の前記２次元特徴情報と前記判定条件としての前記２次元特徴情報との比較により、２次元適合値を決定し、前記被判定物の前記特徴分類情報と前記判定条件としての前記特徴分類情報との比較により、３次元適合値を決定し、該２次元適合値及び該３次元適合値を用いて、総合適合値を算出し、該総合適合値に基づいて、前記被判定物における前記判定条件の適合性を判定する、
請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

前記判定部は、前記被判定物の複数の対象部位の各々に関し、前記２次元適合値及び前記３次元適合値をそれぞれ決定し、同一対象部位の前記２次元適合値及び前記３次元適合値から部分適合値を更に決定し、該各対象部位の部分適合値から前記総合適合値を算出する、
請求項４に記載の情報処理装置。

【請求項6】

前記被判定物は、前記情報取得部で取得される２次元画像に写る被判定者であり、
前記条件取得部は、個人の正当な２次元特徴情報及び特徴分類情報を格納する特徴格納部から、前記判定条件となる２次元特徴情報及び特徴分類情報を取得し、
前記判定部は、前記適合性の判定として、前記被判定者の正当性を判定する、
請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

前記被判定物は、前記情報取得部で取得される２次元画像に写る被判定者であり、
前記条件取得部は、前記情報取得部で取得される３次元情報から検出される目標者に関する２次元特徴情報及び特徴分類情報を取得し、
前記判定部は、前記適合性の判定として、前記被判定者が前記目標者か否かを判定する、
請求項１から５のいずれか１項に記載の情報処理装置。

【請求項8】

少なくとも１つのコンピュータにより実行される判定方法において、
被判定物の少なくとも一部の３次元情報を形成する深度情報及び２次元画像を取得し、
前記取得された２次元画像から前記被判定物の２次元特徴情報を抽出し、
前記２次元特徴情報及び前記深度情報に基づいて、前記被判定物の３次元形状の特徴分類を示す特徴分類情報を抽出し、
判定条件となる２次元特徴情報及び特徴分類情報を取得し、
前記抽出された２次元特徴情報及び前記抽出された特徴分類情報と、前記判定条件としての前記２次元特徴情報及び前記特徴分類情報とを比較し、
前記比較により、前記被判定物における前記判定条件の適合性を判定する、
ことを含む判定方法。

【請求項9】

少なくとも１つのコンピュータに判定方法を実行させるプログラムにおいて、
前記判定方法は、
被判定物の少なくとも一部の３次元情報を形成する深度情報及び２次元画像を取得し、
前記取得された２次元画像から前記被判定物の２次元特徴情報を抽出し、
前記２次元特徴情報及び前記深度情報に基づいて、前記被判定物の３次元形状の特徴分類を示す特徴分類情報を抽出し、
判定条件となる２次元特徴情報及び特徴分類情報を取得し、
前記抽出された２次元特徴情報及び前記抽出された特徴分類情報と、前記判定条件としての前記２次元特徴情報及び前記特徴分類情報とを比較し、
前記比較により、前記被判定物における前記判定条件の適合性を判定する、
ことを含むプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元情報により示される被判定物の３次元形状を扱う技術に関する。

【背景技術】

【0002】

人の顔の３次元形状の特徴を用いて被判定者の正当性を判定する手法が提案されている。下記特許文献１には、認証対象者の顔全体の３次元形状上の所定数の３次元ラインの形状の情報である３次元顔特徴量を算出し、この３次元顔特徴量と比較用顔特徴量との比較を行う手法が提案されている。また、下記非特許文献１及び２には、顔全体の構造情報ではなく、顔の部分的な構造情報を利用する３次元顔認証手法が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−１２３２１６号公報

【非特許文献】

【0004】

【非特許文献1】早坂昭裕他、『顔の部分構造を用いた３次元顔認証の検討』、第２２回信号処理シンポジウム、２００７年１１月７日〜９日（仙台）

【非特許文献2】早坂昭裕他、『表情変化にロバストな３次元顔認証アルゴリズムの検討』、第２１回 回路とシステム 軽井沢ワークショップ、２００８年４月２１日〜２２日

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の各提案手法は、３次元点群データ間の距離や、特徴ベクトル（特徴量）との間の類似度に基づいて、被判定者の正当性を判定するため、高速処理に向かない可能性がある。例えば、上述の提案手法は、母数Ｎが大きい１対Ｎ認証や、複数人が写る動画の中から特定の者を検出する機能に適用することは困難である。

【0006】

本発明は、このような事情に鑑みてなされたものであり、３次元情報を用いて被判定物における判定条件の適合性を高速に判定する技術を提供する。

【課題を解決するための手段】

【0007】

本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。

【0008】

第１の態様は、情報処理装置に関する。第１態様に係る情報処理装置は、被判定物の少なくとも一部の３次元情報を形成する深度情報及び２次元画像を取得する情報取得部と、情報取得部により取得される２次元画像から上記被判定物の２次元特徴情報を抽出する２次元特徴抽出部と、その２次元特徴情報及び情報取得部により取得される深度情報に基づいて、上記被判定物の３次元形状の特徴分類を示す特徴分類情報を抽出する３次元特徴抽出部と、判定条件となる２次元特徴情報及び特徴分類情報を取得する条件取得部と、２次元特徴抽出部により抽出される２次元特徴情報及び３次元特徴抽出部により抽出される特徴分類情報と、上記判定条件としての２次元特徴情報及び特徴分類情報との比較により、上記被判定物における上記判定条件の適合性を判定する判定部と、を有する。

【0009】

第２の態様は、少なくとも１つのコンピュータにより実行される判定方法に関する。第２態様に係る判定方法は、被判定物の少なくとも一部の３次元情報を形成する深度情報及び２次元画像を取得し、取得された２次元画像から上記被判定物の２次元特徴情報を抽出し、２次元特徴情報及び深度情報に基づいて、上記被判定物の３次元形状の特徴分類を示す特徴分類情報を抽出し、判定条件となる２次元特徴情報及び特徴分類情報を取得し、抽出された２次元特徴情報及び抽出された特徴分類情報と、上記判定条件としての２次元特徴情報及び特徴分類情報とを比較し、この比較により、上記被判定物における上記判定条件の適合性を判定する、ことを含む。

【0010】

なお、本発明の他の態様としては、第２態様に係る判定方法を少なくとも１つのコンピュータに実行させるコンピュータプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

【発明の効果】

【0011】

上記各態様によれば、３次元情報を用いて被判定物における判定条件の適合性を高速に判定する技術を提供することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施の形態に係る情報処理装置の構成例を概念的に示す図である。

【図2】第１実施形態における顔認証装置のハードウェア構成例を概念的に示す図である。

【図3】第１実施形態における顔認証装置の処理構成例を概念的に示す図である。

【図4】第１実施形態における顔認証装置の動作例を示すフローチャートである。

【図5】第２実施形態における監視映像分析装置のハードウェア構成例を概念的に示す図である。

【図6】第２実施形態における監視映像分析装置の処理構成例を概念的に示す図である。

【図7】第２実施形態における監視映像分析装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

【0014】

図１は、本発明の実施の形態に係る情報処理装置１００の構成例を概念的に示す図である。図１に示されるように、情報処理装置１００は、被判定物の少なくとも一部の３次元情報を形成する深度情報及び２次元画像を取得する情報取得部１０１と、情報取得部１０１により取得される２次元画像から上記被判定物の２次元特徴情報を抽出する２次元特徴抽出部１０２と、その２次元特徴情報及び情報取得部１０１により取得される深度情報に基づいて、上記被判定物の３次元形状の特徴分類を示す特徴分類情報を抽出する３次元特徴抽出部１０３と、判定条件となる２次元特徴情報及び特徴分類情報を取得する条件取得部１０４と、２次元特徴抽出部１０２により抽出される２次元特徴情報及び３次元特徴抽出部１０３により抽出される特徴分類情報と、上記判定条件としての２次元特徴情報及び特徴分類情報との比較により、上記被判定物における上記判定条件の適合性を判定する判定部１０５と、を有する。

【0015】

情報処理装置１００は、例えば、後述する詳細実施形態における顔認証装置１０及び分析装置２０と同様のハードウェア構成を有し、その顔認証装置１０及び分析装置２０と同様にプログラムが処理されることで、上述の各処理部が実現される。

【0016】

また、本発明の実施の形態に係る判定方法は、少なくとも１つのコンピュータにより実行される。当該判定方法は、被判定物の少なくとも一部の３次元情報を形成する深度情報及び２次元画像を取得し、取得された２次元画像から上記被判定物の２次元特徴情報を抽出し、２次元特徴情報及び深度情報に基づいて、前記被判定物の３次元形状の特徴分類を示す特徴分類情報を抽出し、判定条件となる２次元特徴情報及び特徴分類情報を取得し、抽出された２次元特徴情報及び抽出された特徴分類情報と、上記判定条件としての２次元特徴情報及び特徴分類情報とを比較し、この比較により、被判定物における判定条件の適合性を判定する、ことを含む。但し、本判定方法に含まれる各工程は、順不同に逐次的に実行されてもよいし、同時に実行されてもよい。

【0017】

本実施形態では、３次元情報を形成する２次元画像から被判定物の２次元特徴情報が抽出され、この２次元特徴情報及び当該３次元情報を形成する深度情報とから被判定物の特徴分類情報が抽出される。ここで、２次元特徴情報とは、２次元空間における被判定物の特徴を示す情報を意味し、例えば、被判定物の特徴的部位の２次元の位置情報や色情報などである。被判定物が人の場合、特徴的部位として、目、鼻、口等が例示され、目尻、目頭、目の中心等の位置情報が２次元特徴情報として例示される。また、被判定物が車両の場合、特徴的部位として、ヘッドライトやフロントガラス等が例示され、ヘッドライトやフロントガラスの中心点の位置情報が２次元特徴情報として例示される。

【0018】

また、特徴分類情報は、３次元空間における被判定物の形状の特徴に関する分類を示す情報を意味する。被判定物が人の場合、特徴分類情報は、例えば、つり目、たれ目、一重、二重、切れ長等である。また、被判定物が車両の場合、当該特徴分類情報は、セダン、クーペ、１ＢＯＸワゴン、ステーションワゴン、ＳＵＶ等である。但し、２次元特徴情報及び特徴分類情報の具体的形態は制限されない。また、２次元特徴情報及び特徴分類情報は、被判定物の全体から抽出されてもよいし、被判定物の一部（特徴的部位）から抽出されてもよい。

【0019】

本実施形態では、上述のように抽出された２次元特徴情報及び特徴分類情報が、判定条件として取得される２次元特徴情報及び特徴分類情報と比較され、この比較により、当該被判定物における判定条件の適合性が判定される。例えば、当該判定条件が探し当てる目標の２次元特徴情報及び特徴分類情報である場合、２次元画像及び深度情報から得られる被判定物がその目標であるか否かの適合性が判定される。また、当該判定条件が予め登録されている人（正当な人）の２次元特徴情報及び特徴分類情報である場合、２次元画像及び深度情報から得られる被判定者が正当な人である否かの適合性が判定される。

【0020】

このように、本実施形態によれば、２次元画像から得られる２次元特徴情報と、３次元形状の特徴を示す特徴分類情報との両方に基づいて、被判定物における判定条件の適合性が判定されるため、２次元情報のみ、又は、３次元情報のみで判定を行う手法に比べて、判定精度を向上させることができる。更に、本実施形態によれば、３次元空間での形状の特徴がカテゴライズされた特徴分類情報が判定に用いられるため、３次元点群データ間の距離や、特徴ベクトル間の類似度を算出する手法に比べて、判定処理を簡易化でき、ひいては、判定処理を高速化することができる。

【0021】

以下、上述の実施形態について更に詳細を説明する。以下に示す各詳細実施形態は、上述の実施形態における情報処理装置の構成及び判定方法を顔認証装置及び監視映像分析装置に適用した場合の例である。なお、上述の実施形態は、画像からの対象検出や生体認証への適用に制限されず、物体や生物等の３次元情報を用いる様々な判定技術に適用可能である。

【0022】

［第１実施形態］
〔装置構成〕
図２は、第１実施形態における顔認証装置１０のハードウェア構成例を概念的に示す図である。第１実施形態における顔認証装置１０は、いわゆるコンピュータであり、例えば、バス５で相互に接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、入出力インタフェース（Ｉ／Ｆ）４等を有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体等である。

【0023】

入出力Ｉ／Ｆ４は、図２に示されるように、３次元センサ７等と接続される。なお、第１実施形態は、入出力Ｉ／Ｆ４に接続される機器を制限せず、キーボード、マウス等のようなユーザ操作の入力を受け付ける入力装置や、ディスプレイ等の表示装置や、プリンタや、ネットワークを介して他のコンピュータと通信を行う通信装置等と接続されてもよい。顔認証装置１０のハードウェア構成は制限されない。

【0024】

３次元センサ７は、被判定者の少なくとも顔の３次元情報を検出する。検出される３次元情報は、可視光により得られる対象者の２次元像（画像）の情報と、３次元センサ７からの距離の情報（深度情報）とを含む。３次元センサ７は、例えば、Ｋｉｎｅｃｔ（登録商標）のように、可視光カメラ及び距離画像センサにより実現される。距離画像センサは、深度センサとも呼ばれ、レーザから近赤外光のパターンを対象者に照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報から距離画像センサから対象者までの距離（深度）が算出される。

【0025】

なお、３次元センサ７の実現手法は制限されず、当該３次元センサ７は、複数の可視光カメラを用いる３次元スキャナ方式で実現されてもよい。また、図２では、１つの３次元センサ７のみが図示されるが、３次元センサ７として、対象者の２次元画像を撮像する可視光カメラ及び対象者までの距離を検出する深度センサといった複数の機器が設けられてもよい。

【0026】

〔処理構成〕
図３は、第１実施形態における顔認証装置１０の処理構成例を概念的に示す図である。第１実施形態における顔認証装置１０は、情報取得部１１、２次元特徴抽出部（以降、２Ｄ抽出部と表記する）１２、３次元特徴抽出部（以降、３Ｄ抽出部と表記する）１３、条件取得部１４、判定部１５、特徴情報格納部１６等を有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ４を介してインストールされ、メモリ３に格納されてもよい。

【0027】

情報取得部１１は、３次元センサ７から、被判定者の顔の３次元情報を取得する。この３次元情報は、被判定者の顔が少なくとも一部に写る２次元画像、及び、その２次元画像の被写体に関する深度情報を含む。以降、３次元を３Ｄと表記し、２次元を２Ｄと表記する場合もある。

【0028】

２Ｄ抽出部１２は、情報取得部１１により取得された２Ｄ画像から被判定者の対象部位に関する２Ｄ特徴情報を抽出する。例えば、２Ｄ抽出部１２は、目、鼻、口等のような被判定者の顔の少なくとも１つの部位に関する２Ｄ特徴情報を抽出する。判定精度を上げるためには、複数の部位の２Ｄ特徴情報が抽出されることが望ましい。２Ｄ抽出部１２は、目の２Ｄ特徴情報として、目尻、目頭及び目の中心の位置（２Ｄ位置）を両目について抽出する。また、２Ｄ抽出部１２は、鼻の２Ｄ特徴情報として、鼻幅を決める鼻翼の両縁及び鼻尖を抽出する。第１実施形態は、２Ｄ抽出部１２が２Ｄ特徴情報を抽出する顔の部位や、２Ｄ特徴情報の具体的内容を制限しない。また、２Ｄ画像からの２Ｄ特徴情報の抽出手法には周知の手法が用いられればよい。

【0029】

ところで、２Ｄ特徴情報が２Ｄ位置を示す場合、被判定者の２Ｄ特徴情報、及び、後述する特徴情報格納部１６に格納される登録者の２Ｄ特徴情報は、２Ｄ画像から、同一の２Ｄ座標空間に基づいて抽出される。この２Ｄ座標空間の統一化は、例えば、３次元センサ７から被写体（被判定者又は登録者）までの距離を一定にした上で、２Ｄ特徴情報の元となる各２Ｄ画像が撮像されることで実現される。また、これは、例えば、各２Ｄ画像に、被写体と共に共通のマーカ（ものさし）が写るようにし、共通のマーカで示される２Ｄ距離に基づいて、各２Ｄ画像から得られる各２Ｄ特徴情報をそれぞれ正規化することで実現され得る。

【0030】

３Ｄ抽出部１３は、２Ｄ抽出部１２により抽出された２Ｄ特徴情報、及び、情報取得部１１により取得された深度情報に基づいて、被判定者の特徴分類情報を抽出する。具体的には、３Ｄ抽出部１３は、２Ｄ特徴情報により示される２Ｄ位置と深度情報の座標とを重ねあわせることにより、２Ｄ特徴情報で示される被判定者の顔の対象部位の３Ｄ形状情報を抽出する。３Ｄ抽出部１３は、抽出された３Ｄ形状情報に基づいて、当該対象部位の特徴分類情報を抽出する。例えば、３Ｄ抽出部１３は、抽出された目の３Ｄ情報に基づいて、まぶたと眼球との境を検出し、検出された境界に基づいて、目の形を認識し、その目の形に関する特徴分類情報を抽出する。また、３Ｄ抽出部１３は、抽出された鼻の３Ｄ情報に基づいて、鼻尖（鼻先）の向きや形、鼻背の形や高さ、鼻翼の形などを認識し、そのような鼻の形に特徴分類情報を抽出する。３Ｄ抽出部１３は、被判定者の口に関しては、唇の厚さなどを認識することができる。

【0031】

３Ｄ抽出部１３は、被判定者の顔の対象部位に関する複数の形状特徴分類の中の少なくとも１つの形状特徴分類を上記特徴分類情報として特定する。例えば、３Ｄ抽出部１３は、被判定者の目の形に関し、つり目、たれ目、一重、二重、切れ長などのような複数の形状特徴分類の中の少なくとも１つ（例えば、たれ目）を特徴分類情報として特定する。また、３Ｄ抽出部１３は、被判定者の鼻の形に関し、ターンアップ型、わし型、しし型、ローマ型、ギリシャ型、ヌビア型などのような複数の形状特徴分類の中の少なくとも１つ（例えば、しし型）を特徴分類情報として特定する。

【0032】

３Ｄ抽出部１３は、被判定者の顔の対象部位に関する複数の形状特徴分類の各々に関し、その形状特徴分類に該当する程度を示すポイントをそれぞれ決定し、このような形状特徴分類とポイントとからなる情報を上記特徴分類情報として決定するようにしてもよい。例えば、３Ｄ抽出部１３は、被判定者の鼻の形に関し、次のような特徴分類情報を決定することができる。なお、以下の例では、各形状特徴分類の最大ポイントは１０ポイントである。
ターンアップ型：４ポイント
わし型：１ポイント
しし型：６ポイント
ローマ型：８ポイント
ギリシャ型：０ポイント
ヌビア型：１ポイント

【0033】

特徴情報格納部１６は、被判定者の正当性を証明し得る、正当な２Ｄ特徴情報及び正当な特徴分類情報を格納する。以降、このような正当な特徴情報のペア（２Ｄ特徴情報及び特徴分類情報）が特徴情報格納部１６に格納される人を登録者と表記する。即ち、特徴情報格納部１６は、このような正当な特徴情報のペアを、認証すべき登録者毎にそれぞれ格納することもできる。このような正当な特徴情報のペアは、登録者自身の３Ｄ情報から２Ｄ抽出部１２及び３Ｄ抽出部１３により抽出された情報であり、任意のタイミングで特徴情報格納部１６に格納される。

【0034】

条件取得部１４は、判定部１５で対象とされる正当な特徴情報のペアを特徴情報格納部１６から抽出する。具体的には、条件取得部１４は、１対１認証が行われる場合には、１組の２Ｄ特徴情報及び特徴分類情報を抽出し、１対Ｎ認証が行われる場合には、Ｎ組の２Ｄ特徴情報及び特徴分類情報を抽出する。条件取得部１４は、被判定者のＩＤを取得し、このＩＤに対応付けられる１組の２Ｄ特徴情報及び特徴分類情報を特徴情報格納部１６から抽出することもできる。

【0035】

判定部１５は、被判定者の２Ｄ特徴情報と、条件取得部１４により取得された正当な２Ｄ特徴情報とを比較し、かつ、被判定者の特徴分類情報と、条件取得部１４により取得された正当な特徴分類情報とを比較することで、被判定者が登録者であるか否か、即ち、被判定者の正当性を判定する。具体的には、判定部１５は、被判定者の２Ｄ特徴情報と登録者の２Ｄ特徴情報とが一致又は近似し、かつ、被判定者の特徴分類情報と登録者の特徴分類情報とが一致又は近似する場合に、被判定者を正当と判定する。

【0036】

例えば、判定部１５は、２Ｄ特徴情報間の距離が所定値以下である場合に、両方の２Ｄ特徴情報が一致又は近似すると決定することができる。また、特徴分類情報が少なくとも１つの形状特徴分類を示す形態において、判定部１５は、両方の特徴分類情報の少なくとも１つの形状特徴分類が同じである場合に、被判定者の特徴分類情報と登録者の特徴分類情報とが一致又は近似すると決定することができる。特徴分類情報が形状特徴分類とポイントとの組み合わせで示される形態では、判定部１５は、同一形状特徴分類におけるポイントの差の合計又は平均若しくは最大値が所定値以下である場合に、両方の特徴分類情報が一致又は近似すると決定することができる。

【0037】

また、判定部１５は、２Ｄ特徴情報間の比較結果及び特徴分類情報間の比較結果をそれぞれポイント化し、それらから総合ポイントを算出し、この総合ポイントを用いて、被判定者の正当性を判定するようにしてもよい。具体的には、判定部１５は、２Ｄ特徴情報間の適合度合いを示す２Ｄ適合値を決定し、特徴分類情報間の適合度合いを示す３Ｄ適合値を決定し、２Ｄ適合値及び３Ｄ適合値を掛け合せることにより総合適合値を算出し、この総合適合値を用いて、被判定者の正当性を判定する。例えば、２Ｄ特徴情報間及び特徴分類情報間の近似度が高い程、大きい２Ｄ適合値及び３Ｄ適合値がそれぞれ設定される形態では、判定部１５は、総合適合値が所定閾値より大きい場合に、被判定者が正当であると判定する。

【0038】

また、判定部１５は、被判定物の複数の対象部位の各々に関し、２Ｄ適合値及び３Ｄ適合値をそれぞれ決定し、同一対象部位の２Ｄ適合値及び３Ｄ適合値を掛け合せることで部分適合値を更に決定し、各対象部位の部分適合値を足し合わせることで上記総合適合値を算出するようにしてもよい。この場合、判定部１５は、各対象部位の部分適合値に、各対象部位に対応する重み係数を掛け合せて得られる値を足し合わせて、上記総合適合値を算出するようにしてもよい。重み係数は、例えば、誤検出され難い形状や表情によって変化し易い形状を持つ対象部位については、大きい値に設定され、誤検出され易い形状や表情によって変化し易い形状を持つ対象部位については、小さい値に設定される。

【0039】

〔動作例〕
以下、第１実施形態における顔認証方法について説明する。図４は、第１実施形態における顔認証装置１０の動作例を示すフローチャートである。以下の説明では、顔認証装置１０を各工程の実行主体とするが、顔認証装置１０に含まれる上述の各処理部を実行主体としてもよい。

【0040】

顔認証装置１０は、被判定者の顔の３Ｄ情報を取得する（Ｓ４１）。この３Ｄ情報は、上述のように３Ｄセンサ７により検出された情報から取得されてもよいし、他の装置から取得されてもよい。

【0041】

顔認証装置１０は、取得された３Ｄ情報に含まれる２Ｄ画像から被判定者の２Ｄ特徴情報を抽出する（Ｓ４２）。例えば、顔認証装置１０は、２Ｄ画像から被判定者の複数の対象部位の各々に関する２Ｄ特徴情報をそれぞれ抽出する。上述のように、各対象部位の２Ｄ特徴情報は、対象部位毎にそれぞれ決まる。左口角、右口角、上唇点、下唇点等の２Ｄ位置が口の２Ｄ特徴情報として抽出され、鼻翼の両縁、鼻尖等の２Ｄ位置が鼻の２Ｄ特徴情報として抽出される。

【0042】

顔認証装置１０は、（Ｓ４２）で抽出された２Ｄ特徴情報及び３Ｄ情報に含まれる深度情報に基づいて、被判定者の特徴分類情報を抽出する（Ｓ４３）。具体的には、顔認証装置１０は、２Ｄ特徴情報により示される２Ｄ位置と深度情報の座標とを重ねあわせることにより、２Ｄ特徴情報で示される被判定者の顔の対象部位の３Ｄ形状情報を抽出し、抽出された３Ｄ形状情報に基づいて、当該対象部位の特徴分類情報を特定する。

【0043】

例えば、顔認証装置１０は、被判定者の対象部位に関する複数の形状特徴分類の中の少なくとも１つの形状特徴分類を当該特徴分類情報として抽出するようにしてもよい。また、顔認証装置１０は、被判定者の対象部位に関する複数の形状特徴分類の各々に関し、各形状特徴分類に該当する程度を示すポイントをそれぞれ決定し、形状特徴分類とポイントとの複数ペアを特徴分類情報として抽出するようにしてもよい。例えば、顔認証装置１０は、口の特徴分類情報として、薄い唇、厚い唇、おちょぼ口、アヒル口、受け口等の複数の形状特徴分類の中の少なくとも１つを特定してもよい。

【0044】

顔認証装置１０は、被判定者の正当性を証明し得る、正当な２Ｄ特徴情報及び正当な特徴分類情報（正当な特徴情報のペア）を特徴情報格納部１６から取得する（Ｓ４４）。顔認証装置１０は、特徴情報格納部１６に格納される全ての正当な特徴情報のペアを取得してもよいし、被判定者のＩＤ等により特定可能であれば、１つの正当な特徴情報のペアを取得してもよい。

【0045】

顔認証装置１０は、（Ｓ４２）で抽出された被判定者の２Ｄ特徴情報と（Ｓ４４）で取得された正当な２Ｄ特徴情報とを比較し、かつ、（Ｓ４３）で抽出された被判定者の特徴分類情報と（Ｓ４４）で取得された正当な特徴分類情報とを比較する（Ｓ４５）。ここで、顔認証装置１０は、２Ｄ特徴情報間の比較結果を示す２Ｄ適合値を決定し、特徴分類情報間の比較結果を示す３Ｄ適合値を決定するようにしてもよい。

【0046】

顔認証装置１０は、（Ｓ４５）の比較結果に基づいて、被判定者の正当性を判定する（Ｓ４６）。言い換えれば、顔認証装置１０は、被判定者が、正当な特徴情報のペアを特徴情報格納部１６に既に格納している登録者であるか否かを判定する。具体的には、顔認証装置１０は、２Ｄ特徴情報間が一致又は近似し、かつ、特徴分類情報が一致又は近似する場合に、被判定者を正当と判定する。特徴情報間の近似の程度は、上述のような２Ｄ適合値及び３Ｄ適合値として決定され、２Ｄ適合値と３Ｄ適合値から算出される総合適合値が所定閾値を超えるか否かで被判定者の正当性が判定されてもよい。

【0047】

〔第１実施形態における作用及び効果〕
上述のように、第１実施形態では、３次元センサ７で検出される被判定者の３Ｄ情報が取得され、３Ｄ情報の２Ｄ画像から、被判定者の対象部位に関する２Ｄ特徴情報が抽出され、３Ｄ情報の深度情報と２Ｄ特徴情報から、被判定者の対象部位に関する特徴分類情報が抽出される。そして、被判定者の２Ｄ特徴情報及び特徴分類情報と、特徴情報格納部１６に格納されている正当な２Ｄ特徴情報及び正当な特徴分類情報との比較により、被判定者の正当性が判定される。従って、第１実施形態によれば、被判定者の対象部位に関する２次元の情報だけでなく、その対象部位に関する３次元の情報を考慮して、被判定者の正当性が判定されるため、判定精度を向上させることができる。

【0048】

更に、第１実施形態によれば、３次元形状の特徴分類情報は、複数の形状特徴分類の中の少なくとも１つ、又は、形状特徴分類とそのポイントとの複数のペアで示されるため、特徴分類情報間の比較処理を簡易化及び高速化することができる。

【0049】

また、第１実施形態では、被判定者の２Ｄ特徴情報と正当な２Ｄ特徴情報との間の適合度合いを示す２Ｄ適合値が決定され、被判定者の特徴分類情報と正当な特徴分類情報との間の適合度合いを示す３Ｄ適合値が決定され、それらから算出される総合適合値に基づいて被判定者の正当性が判定される。このように、２次元の情報の照合結果及び３次元の情報の照合結果がそれぞれポイント化されるため、第１実施形態によれば、被判定者の正当性の判定処理を簡易化及び高速化することができる。

【0050】

また、第１実施形態では、２Ｄ適合値及び３Ｄ適合値から、被判定者の対象部位毎に部分適合値が算出され、この部分適合値の合計により総合適合値が算出されてもよい。第１実施形態によれば、このように対象部位毎に部分適合値が算出されるため、被判定者の正当性判定への影響度の大きさに応じて、対象部位毎の重み付けを変えることもでき、ひいては、判定精度を向上させることができる。

【0051】

［第２実施形態］
以下、第２実施形態における監視映像分析装置について、第１実施形態における顔認証装置１０と異なる内容を中心に説明する。以下の説明では、第１実施形態と同様の内容については適宜省略する。第２実施形態における監視映像分析装置は、判定条件に合致する目標物（本実施形態では目標者）を監視映像の中から検出する。

【0052】

〔装置構成〕
図５は、第２実施形態における監視映像分析装置（以降、単に分析装置と表記する）２０のハードウェア構成例を概念的に示す図である。第２実施形態における分析装置２０は、いわゆるコンピュータであり、第１実施形態における顔認証装置１０と同様の構成を有する。第２実施形態では、入出力Ｉ／Ｆ４は、入力装置８及び表示装置９等と接続される。入力装置８は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置であり、表示装置９は、ディスプレイのような分析装置２０から送られる画像信号に応じて表示出力を行う装置である。入出力Ｉ／Ｆ４は、監視ビデオ装置（図示せず）と接続されていてもよいし、他の装置と通信する通信装置（図示せず）と接続されていてもよい。分析装置２０のハードウェア構成は制限されない。

【0053】

〔処理構成〕
図６は、第２実施形態における分析装置２０の処理構成例を概念的に示す図である。第２実施形態における分析装置２０は、情報取得部２１、２次元特徴抽出部（以降、２Ｄ抽出部と表記する）２２、３次元特徴抽出部（以降、３Ｄ抽出部と表記する）２３、条件取得部２４、判定部２５等を有する。これら各処理部は、第１実施形態と同様に、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。

【0054】

情報取得部２１は、監視ビデオ装置、可搬型記録媒体又は他の装置等から、３Ｄ情報を含む監視映像データを取得する。監視映像データは、動画データであってもよいし、静止画データであってもよい。情報取得部２１は、監視映像として動画データを取得する場合、動画データを構成する静止画フレームを２Ｄ画像として他の処理部に与えると共に、監視映像データに含まれる深度情報を他の処理部に与える。

【0055】

２Ｄ抽出部２２及び３Ｄ抽出部２３は、第１実施形態の２Ｄ抽出部１２及び３Ｄ抽出部１３と同様である。第２実施形態における被判定者とは、監視映像の２Ｄ画像に写る不特定者である。２Ｄ画像に複数の不特定者が写っている場合、２Ｄ抽出部２２及び３Ｄ抽出部２３は、各不特定者について、２Ｄ特徴情報及び特徴分類情報をそれぞれ抽出する。

【0056】

条件取得部２４は、検出対象となる目標者の判定条件情報を取得する。例えば、条件取得部２４は、オペレータに目標者の判定条件を入力させるための入力画面を表示装置９に表示させ、その入力画面を介して入力装置８を用いて入力された判定条件情報を取得する。判定条件情報は、可搬型記録媒体や他の装置から入出力Ｉ／Ｆ４を介して取得されてもよい。判定条件情報は、目標者に関する２Ｄ特徴情報及び特徴分類情報である。このような判定条件情報は、似顔絵や写真等の目標者の２Ｄ画像から２Ｄ抽出部２２及び３Ｄ抽出部２３により抽出された２Ｄ特徴情報及び特徴分類情報であってもよい。

【0057】

判定部２５は、上述の第１実施形態の判定部１５と同様の処理により、被判定者が目標者であるか否かを判定する。但し、第２実施形態では、判定部２５は、この判定にあたり、被判定者の２Ｄ特徴情報及び特徴分類情報と、判定条件情報で示される２Ｄ特徴情報及び特徴分類情報とを比較する。２Ｄ画像に複数の被判定者（不特定者）が写っている場合、判定部２５は、各被判定者が目標者であるか否かをそれぞれ判定する。第２実施形態では、監視映像からの目標者の検出が目的となるため、２Ｄ特徴情報間及び特徴分類情報間の適合性の度合い（総合適合値）は、第１実施形態のそれよりも低くてもよい。

【0058】

〔動作例〕
以下、第２実施形態における監視映像分析方法について説明する。図７は、第２実施形態における分析装置２０の動作例を示すフローチャートである。以下の説明では、分析装置２０を各工程の実行主体とするが、分析装置２０に含まれる上述の各処理部を実行主体としてもよい。

【0059】

分析装置２０は、３Ｄ情報を含む監視映像データを取得する（Ｓ７１）。この監視映像データは、上述のように、監視ビデオ装置から取得されてもよいし、可搬型記録媒体や他の装置等から取得されてもよい。以下、監視映像データから得られる２Ｄ画像のうち、少なくとも１人の不特定者が写る２Ｄ画像を対象に、処理が実行される。２Ｄ画像に写る不特定者は、被判定者と表記される。

【0060】

分析装置２０は、監視映像データの２Ｄ画像から被判定者の２Ｄ特徴情報を抽出する（Ｓ７２）。続いて、分析装置２０は、２Ｄ特徴情報、及び、監視映像データの深度情報に基づいて、被判定者の特徴分類情報を抽出する（Ｓ７３）。（Ｓ７２）及び（Ｓ７３）における具体的処理は、図４に示される（Ｓ４２）及び（Ｓ４３）と同様である。

【0061】

分析装置２０は、検出対象となる目標者に関する判定条件情報を取得する（Ｓ７４）。判定条件情報は、目標者に関する２Ｄ特徴情報及び特徴分類情報であり、例えば、入力装置等から入力される。また、目標者の似顔絵や写真等から（Ｓ７２）及び（Ｓ７３）と同様の処理により抽出された２Ｄ特徴情報及び特徴分類情報が判定条件情報とされてもよい。

【0062】

分析装置２０は、（Ｓ７２）で抽出された被判定者の２Ｄ特徴情報と（Ｓ７４）で取得された目標者の２Ｄ特徴情報とを比較し、かつ、（Ｓ７３）で抽出された被判定者の特徴分類情報と（Ｓ７４）で取得された目標者の特徴分類情報とを比較する（Ｓ７５）。ここで、分析装置２０は、２Ｄ特徴情報間の比較結果を示す２Ｄ適合値を決定し、特徴分類情報間の比較結果を示す３Ｄ適合値を決定するようにしてもよい。

【0063】

分析装置２０は、（Ｓ７５）の比較結果に基づいて、被判定者が目標者か否かを判定する（Ｓ７６）。言い換えれば、分析装置２０は、監視映像データの２Ｄ画像に写る不特定者が、判定条件情報で示される目標者であるか否かを判定する。具体的には、分析装置２０は、２Ｄ特徴情報間が一致又は近似し、かつ、特徴分類情報が一致又は近似する場合に、被判定者を目標者であると判定する。特徴情報間の近似の程度は、上述のような２Ｄ適合値及び３Ｄ適合値として決定され、２Ｄ適合値と３Ｄ適合値から算出される総合適合値が所定閾値を超えるか否かで被判定者が目標者か否かが判定されてもよい。

【0064】

〔第２実施形態における作用及び効果〕
上述のように、第２実施形態では、監視映像データに含まれる２Ｄ画像から、被判定者の対象部位に関する２Ｄ特徴情報が抽出され、監視映像データに含まれる深度情報と２Ｄ特徴情報から、被判定者の対象部位に関する特徴分類情報が抽出される。そして、被判定者の２Ｄ特徴情報及び特徴分類情報と、検出対象となる目標者の２Ｄ特徴情報及び特徴分類情報との比較により、被判定者が目標者か否かが判定される。従って、第２実施形態によれば、被判定者の対象部位に関する２次元の情報だけでなく、その対象部位に関する３次元の情報を考慮して、目標者が検出されるため、監視映像から目標者を検出する検出精度を向上させることができる。

【0065】

更に、第２実施形態では、３次元形状の特徴分類情報は、複数の形状特徴分類の中の少なくとも１つ、又は、形状特徴分類とそのポイントとの複数のペアで示されるため、目標者を特定するための判定条件情報をオペレータに容易に指定させることができると共に、特徴分類情報間の比較処理を簡易化及び高速化することができる。

【0066】

また、第２実施形態では、被判定者の２Ｄ特徴情報と目標者の２Ｄ特徴情報との間の適合度合いを示す２Ｄ適合値が決定され、被判定者の特徴分類情報と目標者の特徴分類情報との間の適合度合いを示す３Ｄ適合値が決定され、それらから算出される総合適合値に基づいて被判定者が目標者であるか否かが判定される。このように、２次元の情報の比較結果及び３次元の情報の比較結果がそれぞれポイント化されるため、第２実施形態によれば、被判定者が目標者であるか否かの判定処理を簡易化及び高速化することができる。結果として、第２実施形態によれば、複数の不特定者が不定期に写る監視映像データから目標者を早く検出することができる。

【0067】

［変形例］
上述の各実施形態では、被判定者の顔内の部位を対象部位として例示したが、特徴分類情報の抽出元となる対象部位は、上述の例のみに制限されるわけではない。例えば、被判定者の頭部の形状の特徴を示す特徴分類情報が抽出されてもよいし、被判定者の身長や体型等の特徴を示す特徴分類情報が抽出されてもよい。３次元情報を用いることで、やせ型、腹が出た体型、がっちりした体形等の形状特徴分類が抽出され得る。また、３次元センサ７から所定深度に位置する任意の人が写る２Ｄ画像内のその人の身長と、その実世界におけるその人の身長とを予め計測し、その所定深度、画像内身長及び実世界身長の関係と、取得された２Ｄ画像内の被判定者の身長と、取得された深度情報で示される被判定者の深度とから、実世界での被判定者の身長は算出することができる。このように様々な種類の特徴分類情報が用いられることにより、判定精度を向上させることができる。

【0068】

また、上述の第２実施形態では、判定条件情報は２Ｄ特徴情報及び特徴分類情報を含むが、判定条件情報は特徴分類情報のみを示すようにしてもよい。この場合、判定部１５は、２Ｄ特徴情報間の比較を行わず、特徴分類情報間のみの比較を行うことで、被判定者が目標者か否かを判定すればよい。この場合、判定精度は低下するが、３次元の形状の特徴を示す特徴分類情報を指定するだけで、容易に目標者を検出することができる。

【0069】

なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。

【符号の説明】

【0070】

２ ＣＰＵ
３ メモリ
４ 入出力Ｉ／Ｆ
７ ３次元センサ
８ 入力装置
９ 表示装置
１０ 顔認証装置
１１、２１、１０１ 情報取得部
１２、２２、１０２ ２次元特徴抽出部（２Ｄ抽出部）
１３、２３、１０３ ３次元特徴抽出部（３Ｄ抽出部）
１４、２４、１０４ 条件取得部
１５、２５、１０５ 判定部
１６ 特徴情報格納部
２０ 監視映像分析装置（分析装置）
１００ 情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】