特許 7480885 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-30

(45)【発行日】2024-05-10

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240501BHJP

   G06T 7/60 20170101ALI20240501BHJP

   G06T 7/70 20170101ALI20240501BHJP

   G06V 10/22 20220101ALI20240501BHJP

   G06V 40/16 20220101ALI20240501BHJP

【ＦＩ】

G06T7/00 510F

G06T7/00 660Z

G06T7/60 180B

G06T7/70 A

G06V10/22

G06V40/16 A

【請求項の数】 11

(21)【出願番号】P 2023074054

(22)【出願日】2023-04-28

(62)【分割の表示】P 2021214648の分割

【原出願日】2018-01-31

(65)【公開番号】P2023086948

(43)【公開日】2023-06-22

【審査請求日】2023-04-28

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】古地 剛人

(72)【発明者】

【氏名】斉藤 謙志

【審査官】新井 則和

(56)【参考文献】

【文献】特開２００６－２３６２４４（ＪＰ，Ａ）

【文献】特開２０１５－００１７９０（ＪＰ，Ａ）

【文献】特開２００７－１４８９８８（ＪＰ，Ａ）

【文献】特開２００９－０５３９１４（ＪＰ，Ａ）

【文献】特開２００７－３２８５７（ＪＰ，Ａ）

【文献】特開２００７－１４８９８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／６０

Ｇ０６Ｖ １０／２２

(57)【特許請求の範囲】

【請求項1】

ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出して記憶する画像処理手段と、
前記通過前領域内の所定範囲内に位置する対象に対し、当該対象が前記所定範囲に位置する前に前記抽出され記憶されている特徴量と、予め登録された特徴量と、の照合判定を行う照合手段と、
を備えた情報処理システム。

【請求項2】

請求項１に記載の情報処理システムであって、
前記画像処理手段は、前記撮影画像内の複数の対象の特徴量をそれぞれ抽出して記憶し、抽出された前記特徴量と予め登録された特徴量との照合処理を行って、照合結果を前記対象の照合情報として記憶し、
前記照合手段は、前記撮影画像内の前記特徴量を抽出した前記複数の対象の位置関係に基づき決定される前記ゲートから最も近くに位置する対象に対し、前記位置関係と、前記対象の記憶されている前記照合情報である照合結果と、に基づいて照合判定を行う、
情報処理システム。

【請求項3】

請求項２に記載の情報処理システムであって、
前記画像処理手段は、複数の前記撮影画像に対して前記対象の特徴量の抽出を行い、当該特徴量に基づく前記対象の前記照合情報を更新して記憶させる、
情報処理システム。

【請求項4】

請求項２又は３に記載の情報処理システムであって、
前記特徴量を抽出するための前記撮影画像とは異なる情報を用いて前記ゲートの通過前領域に存在する前記複数の対象の位置関係を推定する推定手段を備えた、
情報処理システム。

【請求項5】

請求項２又は３に記載の情報処理システムであって、
前記撮影画像内の対象の画像部分を用いて前記複数の対象の位置関係を推定する推定手段を備えた、
情報処理システム。

【請求項6】

請求項５に記載の情報処理システムであって、
前記推定手段は、前記撮影画像内の対象の属性を判別して、当該属性に対応する前記対象の画像部分の基準値を設定し、当該基準値と前記対象の画像部分を比較することにより前記撮影画像内の前記複数の対象の位置関係を推定する、
情報処理システム。

【請求項7】

請求項６に記載の情報処理システムであって、
前記推定手段は、前記撮影画像内の対象の特徴を表す対象情報を検出して、前記基準値と前記対象情報とに基づいて前記撮影画像内の前記複数の対象の位置関係を推定する、
情報処理システム。

【請求項8】

請求項７に記載の情報処理システムであって、
前記推定手段は、前記対象情報として前記撮影画像内の対象の所定部位の大きさを検出して、前記基準値に対する前記対象の所定部位の大きさに基づいて前記撮影画像内の前記複数の対象の位置関係を推定する、
情報処理システム。

【請求項9】

ゲートに対する通過前領域を撮影した撮影画像を取得する撮像手段と、
前記撮影画像内の対象の特徴量を抽出して記憶する画像処理手段と、
前記通過前領域内の所定範囲内に位置する対象に対し、当該対象が前記所定範囲に位置する前に前記抽出され記憶されている特徴量と、予め登録された特徴量と、の照合判定を行う照合手段と、
を備えた情報処理システム。

【請求項10】

情報処理装置に、
ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出して記憶する画像処理手段と、
前記通過前領域内の所定範囲内に位置する対象に対し、当該対象が前記所定範囲に位置する前に前記抽出され記憶されている特徴量と、予め登録された特徴量と、の照合判定を行う照合手段と、
を実現させるためのプログラム。

【請求項11】

ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出して記憶し、
前記通過前領域内の所定範囲内に位置する対象に対し、当該対象が前記所定範囲に位置する前に前記抽出され記憶されている特徴量と、予め登録された特徴量と、の照合判定を行う、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、プログラム、情報処理方法に関する。

【背景技術】

【0002】

オフィスやイベント会場などの特定場所に入退場する人物を制限したり管理する手段として、通過しようとする人物が予め登録された人物か否かを照合する照合システムが用いられる。特に、近年では、人物の顔認証技術の発達により、ゲートに設置したカメラで撮影した人物の顔画像から顔認証を行うウォークスルー顔認証システムが利用されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－０８３２２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、ウォークスルー顔認証システムにおいては、人物が円滑にゲートを通過できるよう、ゲートに並んでいる人物を順番通りに照合してゲートの開閉を行う必要がある。ところが、ゲートを通過しようとする人物はさまざまであり、順序を適切に判別することが困難である。その結果、ゲートの円滑な通過が困難である、という問題が生じる。

【0005】

このため、本発明の目的は、上述した課題である、ゲートの円滑な通過が困難である、という問題を解決することにある。

【課題を解決するための手段】

【0006】

本発明の一形態である情報処理装置は、
ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出して、当該特徴量に基づく前記対象の照合に関する照合情報を記憶させる画像処理手段と、
前記ゲートから前記撮影画像内の対象までの距離を推定する距離推定手段と、
推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報と、に基づいて照合判定を行う照合手段と、
を備えた、
という構成をとる。

【0007】

また、本発明の一形態である情報処理システムは、
ゲートに対する通過前領域を撮影した撮影画像を取得する撮像手段と、
前記撮影画像内の対象の特徴量を抽出して、当該特徴量に基づく前記対象の照合に関する照合情報を記憶させる画像処理手段と、
前記ゲートから前記撮影画像内の対象までの距離を推定する距離推定手段と、
推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報と、に基づいて照合判定を行う照合手段と、
を備えた、
という構成をとる。

【0008】

また、本発明の一形態であるプログラムは、
情報処理装置に、
ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出して、当該特徴量に基づく前記対象の照合に関する照合情報を記憶させる画像処理手段と、
前記ゲートから前記撮影画像内の対象までの距離を推定する距離推定手段と、
推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報と、に基づいて照合判定を行う照合手段と、
を実現させる、
という構成をとる。

【0009】

また、本発明の一形態である情報処理方法は、
ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出して、当該特徴量に基づく前記対象の照合に関する照合情報を記憶させ、
前記ゲートから前記撮影画像内の対象までの距離を推定し、
推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報と、に基づいて照合判定を行う、
という構成をとる。

【発明の効果】

【0010】

本発明は、以上のように構成されることにより、ゲートの円滑な通過を実現することができる情報処理装置を提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態１における顔認証システムの使用状況を示す図である。

【図2】本発明の実施形態１における顔認証システムの構成を示すブロック図である。

【図3】図１に開示した顔認証システムによる撮像状況を示す図である。

【図4】図１に開示した顔認証システムの使用状況を示す図である。

【図5】図１に開示した顔認証システムによる処理動作を示すフローチャートである。

【図6】図１に開示した顔認証システムによる処理動作を示すフローチャートである。

【図7】本発明の実施形態２における顔認証システムの構成を示すブロック図である。

【図8】本発明の実施形態３における情報処理システムの構成を示すブロック図である。

【図9】本発明の実施形態３における情報処理装置の構成を示すブロック図である。

【発明を実施するための形態】

【0012】

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図６を参照して説明する。図１は、顔認証システムの使用状況を示す図である。図２は、顔認証システムの構成を示す図である。図３乃至図６は、顔認証システムの処理動作を説明するための図である。

【0013】

［全体構成］
本発明における顔認証システム１０（情報処理システム）は、オフィスやイベント会場などの特定場所において、人物（対象）の入退場を制限したり管理するために用いられるシステムである。例えば、顔認証システム１０を構成する撮像装置Ｃは、人物の入退場の際に開閉されるゲート毎に、当該ゲートの配置箇所付近にそれぞれ設置されるものである。

【0014】

図１に示す例では、複数のゲートＧが並列に隣接して配置されており、図１の右側から各ゲートＧに向かって、矢印に示す方向に人物が通行するよう構成されている。このため、各ゲートＧに対する図１の右側領域は、人物がゲートを通過する前側の領域（通過前側領域）となっている。そして、各ゲートＧの通過前側領域には、当該各ゲートＧを通過しようとする人物が並んで通行する各レーンが、各ゲートＧにそれぞれ対応して並列に位置している。なお、各レーンは、何らかの部材で仕切られていてもよく、仕切られていなくてもよい。また、本実施形態では、複数のゲートＧが隣接して配置されている場合を例示しているが、ゲートＧは１つだけであってもよい。

【0015】

図１に示す状況において、本実施形態における顔認証システム１０を構成する撮像装置Ｃは、対応する各ゲートＧ付近であり、各ゲートＧに向かう人物から見て右側に設置されている。但し、撮像装置の設置位置は、図１に示す位置に限定されず、ゲートに向かって左側やゲートの上方など、いかなる位置に設置されていてもよい。なお、顔認証システム１０は、各撮像装置Ｃの近辺に、表示装置Ｄも備えている。

【0016】

そして、顔認証システム１０は、装備している撮像装置ＣにてゲートＧに向かう人物の画像を撮影する。そして、撮影画像に映る人物の顔画像から、かかる人物が予め登録された人物であるか否かを照合し、照合が成功すると、人物が通過可能なようゲートＧを開く、という処理を行う。以下、顔認証システム１０の構成について詳述する。

【0017】

［顔認証システムの構成］
本実施形態における顔認証システム１０は、撮像装置Ｃ（カメラ）及び表示装置Ｄ（ディスプレイ）と一体的に構成された演算装置及び記憶装置を有する情報処理装置である。逆に言うと、撮像装置Ｃに、顔認証処理を行う演算装置及び記憶装置を有する情報処理装置と表示装置Ｄが搭載されている。但し、顔認証システム１０は、必ずしも撮像装置Ｃや表示装置Ｄと一体的に構成されていることに限定されない。例えば、撮像装置Ｃと表示装置Ｄと撮影画像を処理する情報処理装置とが別々の装置にて構成されており、別々の場所に設置されていてもよい。

【0018】

具体的に、顔認証システム１０は、図２に示すように、撮像装置Ｃ及び表示装置Ｄを備えると共に、演算装置がプログラムを実行することで構築された、特徴量抽出部１１と、距離計測部１２と、照合部１３と、ゲート制御部１４と、を備えている。また、顔認証システム１０は、記憶装置に構築された、特徴量記憶部１５と、照合データ記憶部１６と、を備えている。

【0019】

上記撮像装置Ｃ（撮像手段）は、ゲートＧに対する通過前側領域、つまり、対応するレーンのゲート前領域の撮影画像を、所定のフレームレートで取得するカメラ及びカメラ制御部を備えたものである。そして、撮像装置Ｃは、例えば図１に示すように、符号Ｃａ線で挟まれた範囲が撮影領域となっている。例えば、図１のようにレーンに３人の人物Ｐ１０，Ｐ１１，Ｐ１２が存在している場合には、撮像装置Ｃで撮影した撮影画像は図３（ａ）のようになる。なお、撮影画像は、撮像装置Ｃに対する遠近方向の予め設定された距離の範囲で、概ね焦点が合うよう設定されている。

【0020】

上記特徴量抽出部１１（画像処理手段）は、撮像装置Ｃにて撮影画像が撮影されると、撮影画像内の人物を抽出して、まず人物の特徴量を抽出する処理を行う。具体的に、特徴量抽出部１１は、撮影画像内の人物を抽出して、抽出された全ての人物を対象とし、かかる人物の顔領域から照合に必要な特徴量を生成する。なお、特徴量は、例えば後に照合部１３にて、予め照合データ記憶部１６に登録された人物の特徴量との類似度といった照合スコアを算出して照合処理を行うための情報である。なお、特徴量は、既存の顔照合技術で用いられる特徴量であってもよく、他の方法によって算出される特徴量であってもよい。

【0021】

そして、特徴量抽出部１１は、抽出した特徴量を、人物の照合に関する情報つまり照合処理に用いる情報（照合情報）として特徴量記憶部１５に記憶しておく。このとき、特徴量は、撮影画像内の人物を識別する情報と関連付けて特徴量記憶部１５に記憶される。なお、撮影画像内の人物は、後続の撮影画像内で追跡されることもあるが、その場合には、追跡された人物と特徴量記憶部１５内の特徴量とが関連付けられることとなる。

【0022】

また、特徴量抽出部１１は、１人の人物に対して、異なる撮影画像内からそれぞれ特徴量を抽出して、複数の特徴量を記憶してもよい。また、特徴量抽出部１１は、異なる撮影画像内から特徴量を抽出した場合に、１つの特徴量のみを記憶してもよい。つまり、同一の人物について撮影画像が取得される毎に特徴量が抽出された場合には、１つの特徴量のみを更新して記憶してもよい。例えば、抽出された特徴量の品質を判定し、最も高品質な１つの特徴量のみを人物に関連付けて記憶してもよい。

【0023】

なお、特徴量抽出部１１は、後述する照合部１３を用いて照合処理を行ってもよい。この場合、特徴量抽出部１１は、照合部１３に照合指示を出し、上述したように抽出した撮影画像内の人物の特徴量と、予め登録された人物と、の照合処理を行う。そして、特徴量抽出部１１は、照合部１３による照合結果を取得し、かかる照合結果を、人物の照合に関する照合情報として特徴量記憶部１５に記憶してもよい。このとき、特徴量は、撮影画像内の人物を識別する情報と関連付けて特徴量記憶部１５に記憶される。なお、撮影画像内の人物は、後続の撮影画像内で追跡されることもあるが、その場合には、追跡された人物と特徴量記憶部１５内の照合結果とが関連付けられることとなる。このとき、複数の撮影画像に対して特徴量の抽出及び照合処理が行われてもよく、その場合、１つの照合結果のみが更新されて人物に関連づけて記憶されてもよい。

【0024】

上記距離計測部１２（距離推定手段）は、上述したように特徴量を抽出した撮影画像内の人物までのゲートＧからの距離を計測する。このとき、本実施形態では、撮影画像内の人物の画像部分を用いて、ゲートＧから人物までの距離を計測する。具体的には、以下のようにして距離を計測する。

【0025】

距離計測部１２は、まず、撮影画像内の人物までの距離を計測するために必要な基準値を設定する。具体的に、距離計測部１２は、撮影画像内から処理対象となる人物の顔領域の画像部分を抽出する。人物の顔領域の抽出は、例えば、動く人物の全体像に対する位置や色などから判定して行う。そして、距離計測部１２は、顔領域の画像部分から、人物の属性を判別する属性解析処理を行う。ここで、人物の属性とは、例えば、性別、年齢（年代、大人、子供）、人種、などである。

【0026】

上記属性解析処理は、例えば、顔領域の画像部分から属性を判別するために必要な情報である属性判別情報を抽出し、かかる抽出した属性判別情報と予め登録されている属性判別基準情報とを比較して、人物の属性を判別する。ここで、属性判別情報は、例えば、性別や年齢といった属性毎に人物の顔領域に一般的に表れる身体的特徴を表す情報である。なお、人物の性別や年齢（年代）といった属性を判別する属性解析処理は、既存技術で実現可能であるため、かかる処理についての詳細な説明は省略する。また、判別可能な属性は、上述した属性に限定されず、いかなる属性であってもよい。

【0027】

そして、距離計測部１２は、判別した人物の属性に対応する基準値を設定する。ここで、基準値は、顔認証システム１０に装備された記憶装置に予め登録されており、例えば、本実施形態では、人物の両目の間の距離を表す目間距離の基準値が、属性毎に登録されている。一例として、「男性」といった属性の基準値である目間距離としてある数値が登録されている場合に、「女性」といった属性の基準値である目間距離は、男性の基準値よりも小さい値が設定されている。また、例えば、年齢が１５歳から６０代までの「大人」といった属性の基準値である目間距離としてある数値が登録されている場合に、年齢が１５歳未満の「子供」といった属性の基準値である目間距離は、大人の基準値よりも小さい値が設定されている。このように、基準値は、人物の属性の一般的な体格に応じた値となっている。そして、距離計測部１２は、撮影画像内から抽出した人物について判別した属性に対応して登録されている基準値を、当該人物の基準値として設定する。

【0028】

さらに、距離計測部１２は、上述したように人物に設定した基準値を用いて、当該人物までの距離を計測する。具体的に、距離計測部１２は、まず、撮影画像内の人物の特徴を表す対象情報として、当該人物の顔領域の画像部分から人物の両目の間の距離を表す目間距離を検出する。例えば、図３（ｂ）の符号ｄ１０，ｄ１１，ｄ１２のように、撮影画像内の各人物Ｐ１０，Ｐ１１，Ｐ１２の各目間距離を検出する。そして、検出した各目間距離ｄ１０，ｄ１１，ｄ１２を、各人物Ｐ１０，Ｐ１１，Ｐ１２に設定した基準値と比較して、ゲートＧから各人物までの距離を計測する。例えば、人物に設定した基準値に対する、当該人物から検出した目間距離の差や当該差の割合から、ゲートＧから人物までの距離を計測する。なお、距離計測部１２は、撮影画像内の人物の相対的な距離、つまり、ゲートＧに対する順番、をゲートＧに対する距離として計測してもよい。

【0029】

ここで、ゲートＧから人物Ｐ１０，Ｐ１１，Ｐ１２までの距離計測の一例を説明する。図１の例では、ゲートＧに向かって人物Ｐ１０，Ｐ１１，Ｐ１２の順番で並んでおり、撮像画像は図３（ｂ）のように撮影される。このとき、各人物Ｐ１０，Ｐ１１，Ｐ１２の体格や顔の大きさがほぼ同一であれば、各人物Ｐ１０，Ｐ１１，Ｐ１２の各目間距離ｄ１０，ｄ１１，ｄ１２は、一般的にｄ１０＞ｄ１１＞ｄ１２となる。一方で、仮に人物Ｐ１０が子供であり、人物Ｐ１１，Ｐ１２が大人である場合には、一般的に子供の顔は小さく、目間距離が短いと考えられ、実際に計測した目間距離も、ｄ１１＞ｄ１２＞ｄ１０となってしまう。このような状況で、本実施形態では、人物Ｐ１０は属性が「子供」と判別され、小さい値の基準値が設定され、かかる基準値と検出した目間距離ｄ１０とを用いて距離が計測される。そして、人物Ｐ１１，Ｐ１２は属性が「大人」と判別され、子供の基準値よりも大きい値の基準値が設定され、かかる基準値と検出した目間距離ｄ１１，ｄ１２とを用いて距離が計測される。これにより、図４に示すように、ゲートＧに対する実際の順番と同じく、ゲートＧに対して人物Ｐ１０，Ｐ１１，Ｐ１２の順番となるよう各人物までの距離Ｄ１０，Ｄ１１，Ｄ１２を計測できる。

【0030】

そして、距離計測部１２は、計測した距離を撮影画像内の人物と関連付けることにより、当該距離が、特徴量記憶部１５に記憶されている同一人物の特徴量にも関連付けられることとなる。なお、撮影画像内の人物は、後続の撮影画像内で追跡されることもあるが、その場合には追跡された人物に対して上記同様に距離が計測され、当該人物に関連付ける距離を更新する。なお、時間的に前後する撮影画像内における人物の対応付けは、特徴点の追跡などによって実現可能である。

【0031】

なお、距離計測部１２による目間距離の検出方法は上述した方法に限定されず、いかなる方法で検出してもよい。また、距離計測部１２は、目間距離ではなく、人物の他の部位の大きさや他の特徴を対象情報として検出して、距離を計測してもよい。この場合、上述した基準値も、対象情報に対応した値となる。

【0032】

ここで、距離計測部１２は、必ずしもゲートＧから人物までの距離を計測することに限定されない。例えば、距離計測部１２は、ゲートに対する人物間の相対的な位置関係を推定してもよい。一例として、距離計測部１２は、上述した目間距離などの対象情報と基準値とに基づいて、各人物のゲートまでの近さ、つまり、ゲートＧに対する人物間の遠近関係を推定してもよい。

【0033】

上記照合部１３（照合手段）は、撮影画像内の人物と、予め登録された人物と、の照合処理を行う。このとき、照合部１３は、上述したように計測した人物までの距離に基づいて照合処理を行う。例えば、照合部１３は、ゲートＧの直前に設定されたゲートＧから予め設定された距離に位置する所定範囲に人物が位置し、かかる人物が撮影画像内でゲートＧに対して最も近くに位置する場合に、かかる人物の照合処理を行う。なお、照合部１３は、単にゲートＧの直前に設定されたゲートＧから予め設定された距離に位置する所定範囲に人物が位置している場合に、かかる人物の照合処理を行ってもよく、あるいは、人物までの距離に応じて他の基準に基づいてかかる人物の照合処理を行ってもよい。また、照合部１３は、上述したように距離計測部１２がゲートＧに対する人物間の相対的な位置関係のみを推定している場合には、かかる位置関係からゲートＧに最も近い人物に対して照合処理を行ってもよい。

【0034】

照合部１３による照合処理は、上述したように距離に基づいて処理対象となった人物の特徴量記憶部１５に記憶されている特徴量を用いて行う。つまり、照合部１３は、撮像画像内の人物の顔領域から新たに特徴量の生成は行わず、特徴量記憶部１５に記憶されている特徴量と、予め照合データ記憶部１６に登録された人物の特徴量と、の類似度といった照合スコアを算出し、照合スコアがしきい値よりも高いか否か判定することで照合を行う。照合スコアがしきい値より高い場合には、照合成功とし、ゲートＧを通過しようとしている人物が、予め登録されている人物であると判断する。なお、照合方法はいかなる方法であってもよい。

【0035】

なお、照合部１３は、距離に基づいて処理対象となった人物が、上述したように既に特徴量抽出部１１からの指示によって照合処理が行われており、特徴量記憶部１５に照合結果が記憶されている場合には、照合結果の確認だけを行う。つまり、照合部１３は、距離によって処理対象となった人物について記憶されている照合情報である照合結果の成否を調べ、照合が成功しているか否かを判定する。

【0036】

上記ゲート制御部１４（ゲート制御手段）は、まず、上記照合部１３による照合結果に基づいて、ゲートＧに対する人物の通過可否を判定する。具体的には、照合部１３による照合が成功した人物に対しては通過可能と判定する。また、ゲート制御部１４は、照合結果つまり照合の成否を表示装置Ｄに表示する機能を有する。さらに、ゲート制御部１４は、ゲートＧの開閉を行うゲート制御機能も有しており、通過可能と判断した人物に対してはゲートＧを開くよう制御する。

【0037】

なお、上記表示装置Ｄは、ゲートＧを通過しようとする人物が視認可能なよう、当該ゲートＧの通過前側領域に表示面を向けて配置されている。但し、表示装置Ｄは、必ずしも装備されていなくてもよい。

【0038】

［動作］
次に、上述した顔認証システム１０の動作を、図５乃至図６のフローチャートを参照して説明する。ここでは、ゲートＧに対応する顔認証システム１０の動作について説明し、ゲートＧに対して人物が図３及び図４に示すように並んでいる場合を一例に説明する。

【0039】

ゲートＧに対応する撮像装置Ｃは、ゲートＧの通過前側領域の画像を撮影し続ける。そして、顔認証システム１０は、撮影した撮影画像に対して、常に以下の処理を行う。

【0040】

まず、特徴量抽出部１１が、撮影画像内から処理対象となる人物（対象）Ｐ１０，Ｐ１１，Ｐ１２を抽出する（ステップＳ１）。そして、特徴量抽出部１１は、撮影画像の状況から、抽出した人物の特徴量を抽出可能であれば（ステップＳ２でＹｅｓ）、かかる人物の顔領域から照合に必要な特徴量を生成する（ステップＳ３）。そして、特徴量抽出部１１は、抽出した特徴量を撮影画像内の人物と関連付けて特徴量記憶部１５に記憶しておく。なお、撮影画像に人物の顔領域が鮮明に写っていなかったり、顔の正面が映っていないなど、撮影画像から人物の特徴量を十分に生成することができない場合には（ステップＳ２でＮｏ）、後の撮影画像に対して特徴量の生成を行う。

【0041】

続いて、距離計測部１２が、特徴量を抽出した撮影画像内の人物までのゲートＧからの距離を計測する（ステップＳ４）。ここで、距離計測部１２による距離を計測する処理を、図６のフローチャートを参照して説明する。

【0042】

距離計測部１２は、撮影画像内の人物の顔領域の画像部分に対して属性解析処理を行い、人物の属性を判別する。例えば、図１及び図３の例では、人物Ｐ１０の属性を子供、人物Ｐ１１，Ｐ１２の属性を大人、と判別したとする。すると、距離計測部１２は、判別した人物の属性に対応して予め顔認証システム１０に記憶されている基準値を、かかる人物の基準値として設定する（ステップＳ１１）。例えば、図３及び図４の例では、人物Ｐ１０には、子供に対応する基準値を設定し、人物Ｐ１１，Ｐ１２には、大人に対応する基準値を設定する。

【0043】

続いて、距離計測部１２は、撮影画像内の人物のゲートＧまでの距離を計測するために必要な対象情報としての人物の特徴となる所定部位の大きさ、ここでは、人物の目間距離を検出する（ステップＳ１２）。例えば、各人物Ｐ１０，Ｐ１１，Ｐ１２の各目間距離を、図３（ｂ）の符号ｄ１０，ｄ１１，ｄ１２のように検出する。

【0044】

そして、距離計測部１２は、上述したように各人物Ｐ１０，Ｐ１１，Ｐ１２に設定した基準値と、各人物Ｐ１０，Ｐ１１，Ｐ１２の目間距離ｄ１０，ｄ１１，ｄ１２とを、人物毎に比較して、ゲートＧから各人物Ｐ１０，Ｐ１１，Ｐ１２までの距離を計測する（ステップＳ１３）。例えば、図３（ｂ）の例では、３人のうちゲートから２番目に人物Ｐ１１の目間距離ｄ１１が最も大きく映っているが、各人物Ｐ１０，Ｐ１１，Ｐ１２に設定された基準値が異なるため、ゲートＧに対する実際の順番と同じく、図４に示すように人物Ｐ１０，Ｐ１１，Ｐ１２の順番となるよう、各人物までの距離Ｄ１０，Ｄ１１，Ｄ１２が計測される。

【0045】

続いて、照合部１３は、上述したように計測した各人物Ｐ１０，Ｐ１１，Ｐ１２までの距離に基づいて、各人物の照合処理を行う。このとき、照合部１３は、ゲートＧの直前に設定されたゲートＧから予め設定された距離に人物が位置し、かかる人物が撮影画像内でゲートＧに対して最も近くに位置する場合に、かかる人物の照合処理を行う（ステップＳ５でＹｅｓ、ステップＳ６）。このため、図４の例では、ゲートＧに対して最も近い人物Ｐ１０の照合処理を行う。具体的に、照合部１３は、照合処理の対象となる撮影画像内の人物に関連付けられて特徴量記憶部１５に記憶されている特徴量と、予め照合データ記憶部１６に登録された人物の特徴量と、の類似度といった照合スコアを算出し、照合スコアがしきい値よりも高いか否か判定することで行う（ステップＳ６）。照合スコアがしきい値より高い場合には、照合成功とし（ステップＳ７でＹｅｓ）、ゲートＧを通過しようとしている人物が、予め登録されている人物であると判断する。

【0046】

照合部１３による照合処理の結果、ゲートＧの直前に位置する人物Ｐ１０の照合に成功すると（ステップＳ７でＹｅｓ）、ゲート制御部１４がゲートＧに対する人物Ｐ１０の通過を許可し、ゲートＧを開くよう制御する（ステップＳ８）。このとき、ゲート制御部１４は、通過可否を表示装置Ｄに表示する。

【0047】

以上のように、本実施形態の顔認証システム１０によると、ゲートＧの通過前領域において事前に人物の顔領域から特徴量を抽出しておき、ゲート直前に照合処理を行うため、人物に対して適切にゲートの開閉を行うことができる。その結果、人物によるゲートＧの円滑な通過を実現することができる。

【0048】

また、ゲートＧの直前だけでなく、人物がゲートＧに向かう任意のタイミングで撮影した撮影画像から人物の特徴量を抽出して記憶しているため、信頼性の高い特徴量を抽出でき、精度よく照合を行うことができる。その結果、人物によるゲートＧの円滑な通過を実現することができる。

【0049】

なお、上記では、ゲートＧを通過しようとしている対象が人物である場合を例示したが、人物に限らずいかなる物体でもよい。例えば、荷物といった物体であってもよい。これに応じて、上述した基準値や対象の特徴を表す対象情報といったゲートＧからの距離を計測するために用いる情報は、物体から検出できるいかなる特徴を表す情報であってもよい。また、照合処理を行う際には、物体から検出できるいかなる特徴量を利用してもよい。

【0050】

＜実施形態２＞
次に、本発明の第２の実施形態を、図７を参照して説明する。図７は、顔認証システムの構成を示すブロック図である。

【0051】

本実施形態における顔認証システム１０は、上述した実施形態１におけるものとほぼ同様の構成であるが、ゲートＧから人物までの距離を、特徴量を抽出するための撮影画像を用いずに計測するという構成である。以下、主に実施形態１とは異なる構成について詳述する。

【0052】

図７に示すように、本実施形態における顔認証システム１０は、実施形態１で説明した顔認証システム１０に加えて、測距装置Ｅを備えている。測距装置Ｅは、例えば、赤外線深度センサであり、上述したように人物の特徴量を抽出するための撮影画像とは異なる情報である計測した深度を用いて、ゲートＧの通過前領域に存在する人物までの距離を計測可能な装置である。

【0053】

測距装置Ｅは、例えば、対応する各ゲートＧ付近であり、撮像装置Ｃと同様に各ゲートＧに向かう人物から見て右側やゲートの上方などに設置されている。また、測距装置Ｅは、１台の装置で構成されるものであれば１台が設置され、複数台で構成されるものであれば複数台が設置される。なお、測距装置Ｅは、他の方法によって人物までの距離を計測する装置であってもよい。

【0054】

そして、本実施形態における距離計測部１２は、測距装置Ｅから計測した深度を取得し、撮影画像内の人物と関連付ける。例えば、距離計測部１２は、ゲートＧの通過前領域における位置毎の深度を特定し、撮影画像の位置と対応づける。これにより、撮影画像内に位置する各人物までの距離をそれぞれ特定することができ、当該人物に距離を関連付けることができる。このようにして、実施形態１と同様に、計測した距離を、特徴量記憶部１５に記憶されている同一人物の特徴量にも関連付けることができる。

【0055】

なお、撮影画像内の人物は、後続の撮影画像内で追跡されることもあるが、その場合には、追跡された人物に対して上述同様に距離が計測され、当該人物に関連付ける距離を更新する。なお、時間的に前後する撮影画像内における人物の対応付けは、特徴点の追跡などによって実現可能である。

【0056】

そして、本実施形態における照合部１３は、上述したように計測した人物までの距離に基づいて照合処理を行う。かかる照合処理は実施形態１と同様であり、ゲートＧの直前に人物が位置したときに、かかる人物について記憶されている特徴量を読み出して照合処理を行う。

【0057】

ここで、上記測距装置Ｅ及び距離計測部１２は、必ずしもゲートＧから人物までの距離を計測することに限定されない。例えば、測距装置Ｅ及び距離計測部１２は、ゲートに対する人物間の相対的な位置関係を推定してもよい。つまり、測距装置Ｅ及び距離計測部１２は、ゲートＧに対する人物間の遠近関係を推定してもよい。そして、照合部１３は、推定したゲートＧに対する人物間の相対的な位置関係に基づいて、ゲートＧに最も近い人物に対して照合処理を行ってもよい。

【0058】

以上のようにしても、ゲート直前の人物に対して適切にゲートの開閉を行うことができ、人物によるゲートＧの円滑な通過を実現することができる。

【0059】

＜実施形態３＞
次に、本発明の第３の実施形態を、図８及び図９を参照して説明する。図８は、実施形態３における情報処理システムの構成を示すブロック図である。図９は、実施形態３における情報処理装置の構成を示すブロック図である。なお、本実施形態では、実施形態１及び実施形態２で説明した顔認証システムの構成の概略を示している。

【0060】

図８に示すように、本実施形態おける情報処理システム１００は、
ゲートに対する通過前領域を撮影した撮影画像を取得する撮像手段１１０と、
前記撮影画像内の対象の特徴量を抽出して、当該特徴量に基づく前記対象の照合に用いる照合情報を記憶させる画像処理手段１２０と、
前記ゲートから前記撮影画像内の対象までの距離を推定する距離推定手段１３０と、
推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報と、に基づいて、照合判定を行う照合手段１４０と、
を備えた、
という構成をとる。

【0061】

また、本実施形態では、図８に示す情報処理システム１００から撮像手段１１０を取り除いてもよい。
つまり、本実施形態における情報処理装置２００は、
ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出して、当該特徴量に基づく前記対象の照合に用いる照合情報を記憶させる画像処理手段２２０と、
前記ゲートから前記撮影画像内の対象までの距離を推定する距離推定手段２３０と、
推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報と、に基づいて照合判定を行う照合手段２４０と、
を備えた、
という構成をとる。

【0062】

なお、上述した画像処理手段１２０，２２０と距離推定手段１３０，２３０と照合手段１４０，２４０とは、演算装置がプログラムを実行することで構築されるものであってもよく、電子回路で構築されるものであってもよい。

【0063】

そして、上記構成の情報処理システム１００あるいは情報処理装置２００は、
ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出して、当該特徴量に基づく前記対象の照合に用いる照合情報を記憶させ、
前記ゲートから前記撮影画像内の対象までの距離を推定し、
推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報と、に基づいて照合判定を行う、
という処理を行うよう作動する。

【0064】

上述した情報処理システム１００あるいは情報処理装置２００によると、ゲートの通過前領域において事前に人物の顔領域から特徴量を抽出したり、かかる特徴量を用いて事前に照合処理を行っておき、ゲート直前に照合判定を行うため、人物に対して適切にゲートの開閉を行うことができる。また、人物がゲートに向かう任意のタイミングで撮影した撮影画像から人物の特徴量を抽出して記憶しているため、信頼性の高い特徴量を抽出でき、精度よく照合を行うことができる。その結果、人物によるゲートの円滑な通過を実現することができる。

【0065】

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理装置、情報処理システム、プログラム、情報処理方法の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。

【0066】

（付記１）
ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出して、当該特徴量に基づく前記対象の照合に関する照合情報を記憶させる画像処理手段と、
前記ゲートから前記撮影画像内の対象までの距離を推定する距離推定手段と、
推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報と、に基づいて照合判定を行う照合手段と、
を備えた情報処理装置。

【0067】

（付記２）
付記１に記載の情報処理装置であって、
前記照合手段は、推定した前記距離に基づいて、当該距離を推定した前記対象の記憶されている前記照合情報である前記特徴量と、予め登録された特徴量と、の照合処理を行う、
情報処理装置。

【0068】

（付記３）
付記２に記載の情報処理装置であって、
前記照合手段は、前記ゲートに対して予め設定された距離に位置する前記対象の記憶されている前記特徴量と、予め登録された特徴量と、の照合処理を行う、
情報処理装置。

【0069】

（付記４）
付記２又は３に記載の情報処理装置であって、
前記照合手段は、前記ゲートに対して最も近くに位置する前記対象の記憶されている前記特徴量と、予め登録された特徴量と、の照合処理を行う、
情報処理装置。

【0070】

（付記５）
付記１に記載の情報処理装置であって、
前記画像処理手段は、記憶されている前記特徴量と予め登録された特徴量との照合処理を行って、照合結果を前記照合情報として記憶させ、
前記照合手段は、推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報である照合結果と、に基づいて照合判定を行う、
情報処理装置。

【0071】

（付記６）
付記１乃至５のいずれかに記載の情報処理装置であって、
前記画像処理手段は、複数の前記撮影画像に対して前記対象の特徴量の抽出を行い、当該特徴量に基づく前記対象の前記照合情報を更新して記憶する、
情報処理装置。

【0072】

（付記７）
付記１乃至６のいずれかに記載の情報処理装置であって、
前記距離推定手段は、前記特徴量を抽出するための前記撮影画像とは異なる情報を用いて前記ゲートの通過前領域に存在する対象までの距離を推定する、
情報処理装置。

【0073】

（付記８）
付記１乃至６のいずれかに記載の情報処理装置であって、
前記距離推定手段は、前記撮影画像内の対象の画像部分を用いて当該対象までの距離を推定する、
情報処理装置。

【0074】

（付記９）
付記８に記載の情報処理装置であって、
前記距離推定手段は、前記撮影画像内の対象の属性を判別して、当該属性に対応する基準値を設定し、当該基準値を用いて前記撮影画像内の対象までの距離を推定する、
情報処理装置。

【0075】

（付記１０）
付記９に記載の情報処理装置であって、
前記距離推定手段は、前記撮影画像内の対象の特徴を表す対象情報を検出して、前記基準値と前記対象情報とに基づいて前記撮影画像内の対象までの距離を推定する、
情報処理装置。

【0076】

（付記１１）
付記１０に記載の情報処理装置であって、
前記距離推定手段は、前記対象情報として前記撮影画像内の対象の所定部位の大きさを検出して、前記基準値に対する前記対象の所定部位の大きさに基づいて前記撮影画像内の対象までの距離を推定する、
情報処理装置。

【0077】

（付記１２）
ゲートに対する通過前領域を撮影した撮影画像を取得する撮像手段と、
前記撮影画像内の対象の特徴量を抽出して、当該特徴量に基づく前記対象の照合に関する照合情報を記憶させる画像処理手段と、
前記ゲートから前記撮影画像内の対象までの距離を推定する距離推定手段と、
推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報と、に基づいて照合判定を行う照合手段と、
を備えた情報処理システム。

【0078】

（付記１２．１）
付記１２に記載の情報処理システムであって、
前記照合手段は、前記ゲートに対して予め設定された距離に位置する前記対象の記憶されている前記特徴量と、予め登録された特徴量と、の照合処理を行う、
情報処理システム。

【0079】

（付記１２．２）
付記１２又は１２．１に記載の情報処理システムであって、
前記照合手段は、前記ゲートに対して最も近くに位置する前記対象の記憶されている前記特徴量と、予め登録された特徴量と、の照合処理を行う、
情報処理システム。

【0080】

（付記１３）
情報処理装置に、
ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出して、当該特徴量に基づく前記対象の照合に関する照合情報を記憶させる画像処理手段と、
前記ゲートから前記撮影画像内の対象までの距離を推定する距離推定手段と、
推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報と、に基づいて照合判定を行う照合手段と、
を実現させるためのプログラム。

【0081】

（付記１３．１）
付記１３に記載のプログラムであって、
前記照合手段は、前記ゲートに対して予め設定された距離に位置する前記対象の記憶されている前記特徴量と、予め登録された特徴量と、の照合処理を行う、
プログラム。

【0082】

（付記１３．２）
付記１３又は１３．１に記載のプログラムであって、
前記照合手段は、前記ゲートに対して最も近くに位置する前記対象の記憶されている前記特徴量と、予め登録された特徴量と、の照合処理を行う、
プログラム。

【0083】

（付記１４）
ゲートの通過前領域を撮影した撮影画像内の対象の特徴量を抽出して、当該特徴量に基づく前記対象の照合に関する照合情報を記憶させ、
前記ゲートから前記撮影画像内の対象までの距離を推定し、
推定した前記距離と、当該距離を推定した前記対象の記憶されている前記照合情報と、に基づいて照合判定を行う、
情報処理方法。

【0084】

（付記１５）
付記１４に記載の情報処理方法であって、
推定した前記距離に基づいて、当該距離を推定した前記対象の記憶されている前記照合情報である前記特徴量と、予め登録された特徴量と、の照合処理を行う、
情報処理方法。

【0085】

（付記１６）
付記１５に記載の情報処理方法であって、
前記ゲートに対して予め設定された距離に位置する前記対象の記憶されている前記特徴量と、予め登録された特徴量と、の照合処理を行う、
情報処理方法。

【0086】

（付記１７）
付記１５又は１６に記載の情報処理方法であって、
前記ゲートに対して最も近くに位置する前記対象の記憶されている前記特徴量と、予め登録された特徴量と、の照合処理を行う、
情報処理方法。

【0087】

（付記１８）
付記１５乃至１７のいずれかに記載の情報処理方法であって、
前記特徴量を抽出するための前記撮影画像とは異なる情報を用いて前記ゲートの通過前領域に存在する対象までの距離を推定する、
情報処理方法。

【0088】

（付記１９）
付記１５乃至１７のいずれかに記載の情報処理方法であって、
前記撮影画像内の対象の画像部分を用いて当該対象までの距離を推定する、
情報処理方法。

【0089】

（付記１９．１）
付記１９に記載の情報処理方法であって、
前記撮影画像内の対象の属性を判別して、当該属性に対応する基準値を設定し、当該基準値を用いて前記撮影画像内の対象までの距離を推定する、
情報処理装置。

【0090】

（付記１９．２）
付記１９．１に記載の情報処理方法であって、
前記撮影画像内の対象の特徴を表す対象情報を検出して、前記基準値と前記対象情報とに基づいて前記撮影画像内の対象までの距離を推定する、
情報処理方法。

【0091】

（付記１９．３）
付記１９．２に記載の情報処理方法であって、
前記対象情報として前記撮影画像内の対象の所定部位の大きさを検出して、前記基準値に対する前記対象の所定部位の大きさに基づいて前記対象画像内の対象までの距離を推定する、
情報処理方法。

【0092】

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

【0093】

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【符号の説明】

【0094】

１０ 顔認証システム
１１ 特徴量抽出部
１２ 距離計測部
１３ 照合部
１４ ゲート制御部
１５ 特徴量記憶部
１６ 照合データ記憶部
１００ 情報処理システム
２００ 情報処理装置
１１０ 撮像手段
１２０，２２０ 画像処理手段
１３０，２３０ 距離推定手段
１４０，２４０ 照合手段
Ｃ 撮像装置
Ｄ 表示装置
Ｅ 測距装置
Ｇ ゲート

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】