特許 7516297 画像照合装置、画像照合方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-05

(45)【発行日】2024-07-16

(54)【発明の名称】画像照合装置、画像照合方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240708BHJP

   G06V 40/16 20220101ALI20240708BHJP

【ＦＩ】

G06T7/00 510F

G06V40/16 A

【請求項の数】 12

(21)【出願番号】P 2021038484

(22)【出願日】2021-03-10

(65)【公開番号】P2022138548

(43)【公開日】2022-09-26

【審査請求日】2023-09-21

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】河原 智一

(72)【発明者】

【氏名】堺 浩

(72)【発明者】

【氏名】助川 寛

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２００７－１５６５４１（ＪＰ，Ａ）

【文献】特開２０１９－１６４４２２（ＪＰ，Ａ）

【文献】特開２０１４－２１９７０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ４０／１６

(57)【特許請求の範囲】

【請求項1】

フレーム画像に含まれる顔を検出する顔検出部と、
前記フレーム画像に含まれる顔の中から、過去のフレーム画像において既に照合済みの顔を除外し、前記フレーム画像内における所定領域の外の顔を除外し、所定範囲外のサイズを有する顔を除外し、残った顔の中から、それぞれの顔について求めたスコア値に基づいて照合対象の顔を選択する顔選択部と、
顔の特徴を表す顔特徴情報を記憶する顔データ記憶部と、
前記顔選択部が選択した顔の顔特徴情報と、前記顔データ記憶部に記憶されている顔特徴情報とを照合することによって、一致する顔特徴情報が前記顔データ記憶部内に記憶されているか否かを判定する顔照合部と、
を備える画像照合装置。

【請求項2】

前記顔選択部は、前記フレーム画像内において上下方向に並ぶ２つの顔が存在する場合に、その２つのうちの上側の顔をさらに除外してから、残った顔の中から前記照合対象の顔を選択する、
請求項１に記載の画像照合装置。

【請求項3】

前記顔検出部が検出した顔を時間的に前後するフレーム画像間で追跡する顔追跡部、
をさらに備え、
前記顔選択部は、顔追跡部による追跡結果に基づいて、前記フレーム画像に含まれる顔のうち、前記過去のフレーム画像において既に照合済みの顔を特定する、
請求項１または２に記載の画像照合装置。

【請求項4】

前記顔選択部は、過去のフレーム画像において既に照合済みの顔の顔特徴情報を記憶しており、前記既に照合済みの顔の顔特徴情報と、前記フレーム画像に含まれる顔の顔特徴情報とを比較することによって、前記フレーム画像に含まれる顔のうち、前記過去のフレーム画像において既に照合済みの顔を特定する、
請求項１または２に記載の画像照合装置。

【請求項5】

前記顔選択部は、顔の除外後に残ったそれぞれの顔についてスコア値を求める際に、前記フレーム画像における顔のサイズに基づくスコア値、あるいは前記フレーム画像における顔の位置に基づくスコア値、の少なくともいずれかのスコア値を求める、
請求項１から４までのいずれか一項に記載の画像照合装置。

【請求項6】

前記顔選択部は、顔の位置と顔が選択されるべき顔である確率との関係を予め保持しておき、前記フレーム画像に含まれる顔のうち、選択されるべき顔である確率が所定の閾値以下であるような位置の顔を、前記所定領域外の顔として除外する、
請求項１から５までのいずれか一項に記載の画像照合装置。

【請求項7】

前記顔選択部は、顔のサイズと顔が選択されるべき顔である確率との関係を予め保持しておき、前記フレーム画像に含まれる顔のうち、選択されるべき顔である確率が所定の閾値以下であるようなサイズの顔を、前記所定範囲外のサイズを有する顔として除外する、
請求項１から６までのいずれか一項に記載の画像照合装置。

【請求項8】

前記顔選択部は、照合対象としたい顔を持つ人物が存在する位置を検知するセンサーからの情報に基づいて当該人物の位置を特定し、特定された人物の位置に応じて、前記フレーム画像内における所定領域を可変として、前記センサーからの情報に基づく当該所定領域の外の顔を除外する、
請求項１から７までのいずれか一項に記載の画像照合装置。

【請求項9】

前記顔選択部は、過去のフレーム画像において既に照合済みの顔を除外の処理を、前記フレーム画像内における所定領域の外の顔を除外する処理、および所定範囲外のサイズを有する顔を除外する処理のいずれの処理よりも先に行う、
請求項１から８までのいずれか一項に記載の画像照合装置。

【請求項10】

前記顔選択部は、過去のフレーム画像において既に照合済みの顔を除外の処理を、前記フレーム画像内における所定領域の外の顔を除外する処理、および所定範囲外のサイズを有する顔を除外する処理のいずれの処理よりも後で行う、
請求項１から８までのいずれか一項に記載の画像照合装置。

【請求項11】

顔データ記憶部が、顔の特徴を表す顔特徴情報を記憶しておき、
顔検出部が、フレーム画像に含まれる顔を検出する過程と、
顔選択部が、前記フレーム画像に含まれる顔の中から、過去のフレーム画像において既に照合済みの顔を除外し、前記フレーム画像内における所定領域の外の顔を除外し、所定範囲外のサイズを有する顔を除外し、残った顔の中から、それぞれの顔について求めたスコア値に基づいて照合対象の顔を選択する過程と、
顔照合部が、前記顔選択部が選択した顔の顔特徴情報と、前記顔データ記憶部に記憶されている顔特徴情報とを照合することによって、一致する顔特徴情報が前記顔データ記憶部内に記憶されているか否かを判定する過程と、
を含む画像照合方法。

【請求項12】

フレーム画像に含まれる顔を検出する顔検出部と、
前記フレーム画像に含まれる顔の中から、過去のフレーム画像において既に照合済みの顔を除外し、前記フレーム画像内における所定領域の外の顔を除外し、所定範囲外のサイズを有する顔を除外し、残った顔の中から、それぞれの顔について求めたスコア値に基づいて照合対象の顔を選択する顔選択部と、
顔の特徴を表す顔特徴情報を記憶する顔データ記憶部と、
前記顔選択部が選択した顔の顔特徴情報と、前記顔データ記憶部に記憶されている顔特徴情報とを照合することによって、一致する顔特徴情報が前記顔データ記憶部内に記憶されているか否かを判定する顔照合部と、
を備える画像照合装置、としてコンピューターを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像照合装置、画像照合方法、およびプログラムに関する。

【背景技術】

【0002】

多数の人が次々にゲートを通過する状況において、通過する人の顔をデータベースに保存された顔と照合したいというニーズがある。

【0003】

従来の技術として、顔認証処理において、画像中の顔の履歴（位置や、大きさや、向きの統計情報）に基づいて顔を照合する意思を判定する技術が存在する。この技術では、複数の人が連続してゲートを通過しようとする場合に、前を歩く人の照合直後でその前の人がまだ画像内に残っているときに、本来着目すべき次の人（後の人）の照合の意思を正しく判定できない場合がある、という問題があった。

【0004】

また、従来の技術として、ゲートを通過する人の顔を認識する処理において、ゲート内を通行する人を検知するセンサーを用いて、センサーのトリガーの前後で良好な画像を撮像して認識する技術が存在する。この技術では、センサーのトリガーに基づいて撮像を行うが、複数のフレーム画像から顔認識に適したフレーム画像を選択する必要がある、という問題があった。

【0005】

また、従来の技術として、自動改札機のゲートを通る通行者の歩く方向および視線の方向に基づいて、自動改札機に乗車券類（定期券やＩＣカード）をかざそうとしているかどうかを確認し、その結果に基づいてメッセージを出力する技術が存在する。この技術は、各通行者の乗車券類をかざす意思を確認するものである。複数の通行者が画像内に写っている場合に、それらの通行者の中から顔照合対象の顔を選択するものではない。つまり、この技術を用いても、複数の人物が写る画像から認識対象とすべき正しい顔を選択することはできない、という問題があった。

【0006】

上記のように、所定の動作（例えばゲートにおける、券類等の提示）をする人物を照合するシステムにおいて、その動作を検知したタイミングにおいて、撮像した画像に複数の人物の顔が写る場合には、それらの顔の中から所望の顔（例えば、上記動作を行った人物の顔）を照合対象として正しく選択できないという問題があった。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１０－００３０１０号公報

【文献】特許第６３３９７０８号公報

【文献】特許第５３５３７７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明が解決しようとする課題は、所定の動作をする人物の顔を照合するシステムにおいて、その適切なタイミングにおいて撮像した画像に写る複数の人物の顔の中から、その動作を行った人物を正しく特定して、顔の照合を行うことのできる画像照合装置、画像照合方法、およびプログラムを提供することである。

【課題を解決するための手段】

【0009】

実施形態の画像照合装置は、顔検出部と、顔選択部と、顔データ記憶部と、顔照合部とを持つ。顔検出部は、フレーム画像に含まれる顔を検出する。顔選択部は、前記フレーム画像に含まれる顔の中から、過去のフレーム画像において既に照合済みの顔を除外し、前記フレーム画像内における所定領域の外の顔を除外し、所定範囲外のサイズを有する顔を除外し、残った顔の中から、それぞれの顔について求めたスコア値に基づいて照合対象の顔を選択する。顔データ記憶部は、顔の特徴を表す顔特徴情報を記憶する。顔照合部は、前記顔選択部が選択した顔の顔特徴情報と、前記顔データ記憶部に記憶されている顔特徴情報とを照合することによって、一致する顔特徴情報が前記顔データ記憶部内に記憶されているか否かを判定する。

【図面の簡単な説明】

【0010】

【図1】実施形態のゲート装置（画像照合装置を含む）の概略機能構成を示すブロック図。

【図2】実施形態のゲート装置と利用者との位置関係の例を示す概略図（側面図）。

【図3】実施形態の画像照合装置による処理の手順を示すフローチャート。

【図4】図３におけるステップＳ６の顔選択の処理のさらに詳細な手順を示すフローチャート。

【図5】実施形態の顔選択部が候補の中から照合対象の顔を選択する際の、画像内における顔の大きさとスコアとの間の関係の一例を示すグラフ。

【図6】実施形態の顔選択部が候補の中から照合対象の顔を選択する際の、予め定められた画像内の点または直線から顔候補の位置までの距離と、スコアとの関係の一例を示すグラフ。

【図7】実施形態のゲート装置の内部構成（コンピューター）の一例を示すブロック図。

【発明を実施するための形態】

【0011】

以下、実施形態の画像照合装置、画像照合方法、およびプログラムを、図面を参照して説明する。本実施形態の画像照合装置は、所定のタイミングで撮像されたフレーム画像に含まれる顔の中から、適切な顔を選択したうえで、その顔のデータを、顔データ記憶部（データベース）に記憶されているデータと照合する。フレーム画像は、例えば、ゲート装置の位置の辺りを撮影して得られた画像である。フレーム画像に写っている複数の顔の中から適切な顔を選択することにより、ゲート装置を通過しようとする利用者が、顔データ記憶部に登録されている顔の人物であるか否かを判定できる。この画像照合装置を用いることにより、ゲート装置を例えば歩行によって通過しようとする利用者が予め登録されている利用者の集合に属するか否かを、判定することができる。このような画像照合装置を用いることにより、例えば、切符や入場券等の正式な保持者であるか否かを判断出来たり、所定のメンバーシップに属する利用者であるか否かを判断出来たりする。一例として、所定の会員のみが保持して利用できる切符等について、正規の利用者であるか否かを判定するためにも、画像照合装置を用いることができる。

【0012】

図１は、本実施形態によるゲート装置の概略機能構成を示すブロック図である。ゲート装置１は、利用者が歩いて通過する通路を持つ。ゲート装置１は、例えばゲートの扉の開閉を制御することによって、利用者がゲートを通過することの可否をコントロールする。ゲート装置１の典型例は、鉄道等の交通機関の駅などで使用される自動改札機である。ゲート装置１は、情報媒体を読み取り、読み取った情報にも基づいて利用者がゲートを通過することの可否をコントロールするものであってもよい。情報媒体の典型例は、鉄道等の切符である。情報媒体は、例えば、紙に塗布された磁気層に磁気コード情報を記録したものであってよい。情報媒体は、また、乗車券等として使用されるＩＣカードであってもよい。ＩＣカード内のメモリーのデータは、無線通信手段を介して読み書きされ得るものである。情報媒体は、また、光学的に読み取り可能なパターン（バーコードや、２次元コード等）が印刷された紙等、あるいはそのようなパターンが液晶画面に表示される携帯型端末装置であってもよい。ただし、ゲート装置１は、自動改札機には限定されない。また、ゲート装置１は、鉄道の駅で使用されるものにも限定されない。

【0013】

図示するように、ゲート装置１は、画像照合装置２と、撮像部５と、券検知部６と、ゲート制御部７とを含むように構成される。これらの装置あるいは機能部は、それぞれ次のようなものである。

【0014】

画像照合装置２は、撮像部５から渡される画像に含まれる顔と、画像照合装置２自身が保持する顔特徴情報とを照合し、照合結果を出力する。画像照合装置２は、画像が複数の顔を含む場合にも、後述する処理により、適切な顔を選択して、その顔を照合処理の対象とする。

【0015】

撮像部５は、フレーム画像を撮影し、出力する。撮像部５は、ゲート装置１の通路を歩いて通過する人を撮影することができるよう、適切な位置に、適切な方向に向けて設定されている。撮像部５は、例えば、毎秒１０フレームから３０フレームまで程度の所定のフレームレートで、連続的に撮影を行う。

【0016】

撮像部５は、ゲート装置１の利用者を撮影するために、少なくとも１箇所に設置される。撮像部５が複数の場所に設置されていてもよい。撮像部５としては、例えばＩＴＶ（industrial television，工業用カメラ，監視カメラ）を用いることができる。ＩＴＶカメラは、レンズを通して得られた光学的な情報をＡ／Ｄ変換器によってデジタル化し、画像データを出力する。なお、撮像部５として、デジタルスチルカメラを用いてもよい。

【0017】

券検知部６は、利用者がゲート装置の投入口に券（切符等）を投入したことを検知する。券検知部６は、券が投入されたタイミングで、タイミング検知部２４に対して通知信号を送る。

【0018】

ゲート制御部７は、出力部２８から渡される照合結果に基づいて、例えばゲートの扉の開閉を制御したり、ゲートの扉の施錠あるいは開錠を制御したりする。これにより、利用者がゲート装置１を通過できるか否かを制御することができる。

【0019】

画像照合装置２の内部の機能構成は、次の通りである。図１に示すように、画像照合装置２は、画像取得部２１と、顔検出部２２と、顔追跡部２３と、タイミング検知部２４と、顔選択部２５と、顔データ記憶部２６と、顔照合部２７と、出力部２８と、を含んで構成される。これら各部の機能は、次の通りである。

【0020】

画像取得部２１は、撮像部５が撮影したフレーム画像を取得する。画像取得部２１は、取得したフレーム画像を、１フレームずつ順次、顔検出部２２に渡す。なお、画像取得部２１は、信号線を通して撮像部５から画像を取得する。あるいは、画像取得部２１が、記録媒体を経由して撮像部５が撮影した画像を取り込むようにしてもよい。

【0021】

顔検出部２２は、画像取得部２１から渡されたフレーム画像に含まれる顔を検出する。顔検出部２２は、既存技術を用いて画像内の顔を検出することができる。顔検出部２２は、例えば、多数の顔の矩形領域の平均画像を顔テンプレートとして予め作成しておき、画像取得部２１から渡された画像上において上記の顔テンプレートを平行移動させたり、回転させたり、拡大あるいは縮小させたりしながら走査する。この場合、顔検出部２２は、顔テンプレートとの間での画素値の差分が最も小さい領域を、顔の領域として検出することができる。顔検出部２２は、別の方法として、例えば、フレーム画像内の領域ごとに顔らしさのスコアを算出し、そのスコアが所定の閾値以上となる場合に、その領域の画像を、検出された顔として出力する。領域の顔らしさのスコアを算出するためのモデルは、例えば、機械学習により予め学習しておいてよい。

【0022】

なお、１枚のフレーム画像内に複数の顔が検出される場合もある。顔検出部２２は、それらすべての顔を、検出結果として出力する。

【0023】

顔追跡部２３は、顔検出部２２が検出した顔を、フレーム間で対応付けることによって、顔の追跡を行う。つまり、顔追跡部２３は、顔検出部２２が検出した顔を時間的に前後するフレーム画像間で追跡する。顔などの特定の物体をフレーム間で追跡すること自体は、既存技術を用いて実現することができる。画像取得部２１が取得する画像は、所定のフレームレート以上（例えば、毎秒１０フレーム以上など）で撮影されているものであるため、歩行する速さで移動する利用者を追跡することが可能である。つまり、顔追跡部２３は、複数のフレームにおいて写っている同一人物の顔を、同一人物の顔として対応付けるための追跡処理を行う。その結果として、顔追跡部２３は、連続する複数のフレームにまたがって追跡された顔を相互に関連付けるデータを出力する。

【0024】

顔追跡部２３は、例えばオプティカルフロー推定の手法を使って、ある人物の顔の位置が前のフレーム画像から次のフレーム画像までの間にどのように変わるかを求めることによって、その顔を追跡してよい。また、顔追跡部２３は、その他の手法を使って顔を追跡してもよい。例えば、特許第５３５５４４６号公報には、移動物体を追跡する技術が記載されている。

【0025】

タイミング検知部２４は、外部からの信号により、所定のタイミングを検知する。本実施形態においては、タイミング検知部２４は、券検知部６からの信号により、利用者がゲート装置１を通過するために券を投入したタイミングを検知する。タイミング検知部２４が、その他の適切なタイミングを検知するようにしてもよい。タイミング検知部２４は、検知したタイミングを、顔選択部２５に伝える。これにより、顔選択部２５は、タイミング検知部２４が検知されたタイミングにおけるフレーム画像から、顔を選択することができるようになる。

【0026】

タイミング検知部２４は、ゲート装置１への件の投入以外に、例えば次のような事象が発生したタイミングを検知するようにしてもよい。タイミング検知部２４は、例えば、利用者が、ゲート装置１を通過するために、所定の箇所に設けられたＩＣカード読み取り装置にＩＣカードをタッチした事象のタイミングを検知してもよい。あるいは、タイミング検知部２４は、利用者が、ゲート装置１を通過するために、所定の箇所に設けられた光学パターン読取装置に光学パターンコード（バーコードや、２次元コード等）を読み取らせた事象のタイミングを検知してもよい。あるいは、タイミング検知部２４は、利用者が、所定の領域（例えば、ゲート装置１が持つ通路の領域）に進入したタイミングや、特定の動作をしたタイミングを検知してもよい。これらのいずれの場合も、タイミング検知部２４は、そのタイミングを顔選択部２５に伝える。顔選択部２５は、そのタイミングに基づいて顔の選択を行う。

【0027】

顔選択部２５は、タイミング検知部２４が検知したタイミングのフレーム画像において検出された顔から、照合対象とする顔を選択する。顔選択部２５は、そのフレーム画像に含まれる顔の中から、過去のフレーム画像において既に照合済みの顔を除外し、フレーム画像内における所定領域の外の顔を除外し、所定範囲外のサイズを有する顔を除外し、残った顔の中から、それぞれの顔について求めたスコア値に基づいて照合対象の顔を選択する。顔選択部２５は、フレーム画像内において上下方向に並ぶ２つの顔が存在する場合に、その２つのうちの上側の顔をさらに除外してから、残った顔の中から照合対象の顔を選択するものであってもよい。なお、顔選択部２５は、顔追跡部による追跡結果に基づいて、フレーム画像に含まれる顔のうち、過去のフレーム画像において既に照合済みの顔を特定するものであってよい。あるいは、顔選択部２５は、過去のフレーム画像において既に照合済みの顔の顔特徴情報を記憶しており、前記既に照合済みの顔の顔特徴情報と、前記フレーム画像に含まれる顔の顔特徴情報とを比較することによって、前記フレーム画像に含まれる顔のうち、前記過去のフレーム画像において既に照合済みの顔を特定するものであってもよい。

【0028】

顔選択部２５は、それぞれの方法による顔の除外後に残ったそれぞれの顔についてスコア値を求める際に、フレーム画像における顔のサイズに基づくスコア値、あるいはフレーム画像における顔の位置に基づくスコア値、の少なくともいずれかのスコア値を求めるものであってもよい。

【0029】

顔選択部２５は、顔の位置と顔が選択されるべき顔である確率との関係を予め保持しておき、前記フレーム画像に含まれる顔のうち、選択されるべき顔である確率が所定の閾値以下であるような位置の顔を、前記所定領域外の顔として除外するようにしてもよい。あるいは、顔選択部２５は、顔のサイズと顔が選択されるべき顔である確率との関係を予め保持しておき、前記フレーム画像に含まれる顔のうち、選択されるべき顔である確率が所定の閾値以下であるようなサイズの顔を、前記所定範囲外のサイズを有する顔として除外するようにしてもよい。

【0030】

さらに、顔選択部２５は、照合対象としたい顔を持つ人物が存在する位置を検知するセンサーからの情報に基づいて当該人物の位置を特定し、特定された人物の位置に応じて、前記フレーム画像内における所定領域を可変として、前記センサーからの情報に基づく当該所定領域の外の顔を除外するようにしてもよい。

【0031】

顔選択部２５は、具体的には、上記のタイミングにおいてゲート装置１を通過しようとしている利用者の顔を選択しようとするものである。顔選択部２５は、例えば、上記のタイミングにおいてゲート装置１の投入口に券を投入した利用者の顔を選択しようとするものである。

【0032】

顔選択部２５の具体的な処理の手順の例については後でさらに詳しく説明する。

【0033】

顔データ記憶部２６は、顔の特徴を表す顔特徴情報を記憶する。つまり、顔データ記憶部２６は、顔の照合において利用するための顔データ（顔特徴情報等）を保持する。つまり、顔データ記憶部２６は、顔照合部２７が顔の照合を行う際に参照される顔データを保持する。顔データ記憶部２６は、適宜、データベース管理システム（ＤＢＭＳ）等を用いて管理されているデータを記憶するようにしてよい。

【0034】

具体的には、顔データ記憶部２６は、顔特徴情報を、人物ごとに管理・記憶する。つまり、顔データ記憶部２６は、人物を識別する人物識別情報と顔特徴情報とを関連付けて記憶する。顔特徴情報は、顔画像を基に、顔特徴情報抽出手段が抽出するものである。なお、顔データ記憶部２６は、人物識別情報に関連付けて、顔特徴情報の他に、顔画像、氏名、性別、年齢、身長など、当該人物の様々な属性情報をあわせて記憶するようにしてもよい。

【0035】

なお、顔データ記憶部２６は、顔特徴情報として、顔特徴情報抽出手段が出力するデータそのものを記憶してもよいし、ｍ×ｎの特徴ベクトルを記憶してもよい。さらに、顔データ記憶部２６は、顔特徴情報として、部分空間やＫＬ展開を行う直前の相関行列を記憶してもよい。

【0036】

顔照合部２７は、顔選択部２５が選択した顔の顔特徴情報と、顔データ記憶部２６に記憶されている顔特徴情報とを照合する。これによって、顔照合部２７は、顔選択部２５が選択した顔の特徴に一致する顔特徴情報が前記顔データ記憶部内に記憶されているか否かを判定する。

【0037】

つまり、顔照合部２７は、顔選択部２５によって選択された顔と、顔データ記憶部２６に登録されている顔とを照合し、照合結果の情報を、出力部２８に渡す。言い換えれば、顔照合部２７は、顔選択部２５によって選択された顔と、顔データ記憶部２６に登録されている顔とが、同一の人物であると判定できるか否かを表す情報を、出力部２８に渡す。

【0038】

照合対象の人物が１名ないしは所定の複数名に絞り込まれている場合には、顔照合部２７は、それらの人物の顔データのみを顔データ記憶部２６から読み出して、顔選択部２５が選択した顔との照合を行う。照合対象の人物がこのように絞り込まれるのは、例えば、ゲート装置１を通過する利用者の識別情報を、ゲート装置１が取得できる場合（例えば、ＩＣカードに記録されている識別情報を取得）である。照合対象の人物が絞り込まれていない場合には、顔照合部２７は、顔データ記憶部２６が記憶しているすべての顔データと、顔選択部２５が選択した顔との照合を行う。

【0039】

上記のように人物を絞り込むために、ゲート装置１が、不図示の人物識別情報取得部を備えるようにしてもよい。人物識別情報取得部は、例えば、利用者が投入した券や、利用者がゲート装置１に読み取らせたＩＣカードから、人物識別情報を取得する。

【0040】

顔照合部２７は、具体的には、２つの顔データ間の類似度を求め、その類似度に基づいてそれら２つの顔データが同一の人物の顔データであるか否かを判定する。

【0041】

顔照合部２７が顔データ間の類似度を求めるためには、例えば、顔の特徴量同士の比較を行う。顔照合部２７は、照合処理のために、１つの顔画像に基づいて、モデルを用いて顔の向きや状態（表情等）を様々に意図的に変化させた画像を作成してもよい。この手法は、例えば特開２００７－００４７６７号公報に記載されている。

【0042】

また、同一人物の複数フレームの画像を利用して類似度を求めるようにしてもよい。下記の参考文献には、この手法が記載されている。
参考文献：福井和広，山口修，前田賢一，動画像を用いた顔認識システム，電子情報通信学会研究報告PRMU，vol.97，No.113，pp17-24，1997年

【0043】

顔照合部２７は、顔データ記憶部２６に記憶されている顔特徴情報と、顔選択部２５が選択した顔の顔特徴情報とを照合して、両者が同一の人物であるか否かを判定する。具体的には、顔照合部２７は、これら両方の顔特徴量同士の類似度が所定の閾値以上であるか否かにより、両者が同一の人物であるか否かを判定する。あるいは、顔照合部２７は、特徴空間内における両方の特徴量間の距離やマハラノビス距離が、所定の閾値以下であるか否かにより、両者が同一の人物であるか否かを判定する。

【0044】

出力部２８は、顔照合部２７が照合した結果の情報を、出力する。例えば、出力部２８は、照合結果の情報を、ゲート制御部７に渡す。照合結果の情報は、顔選択部２５が選択した顔と、顔データ記憶部２６に記憶されていた顔とが、同一人物であると判定できるか否かを表す情報である。出力部２８が照合結果の情報をゲート制御部７に渡すことにより、ゲート制御部７は、ゲートの扉の開閉を制御（あるいは、扉の開錠や施錠の制御であってもよい）するなどして、利用者がゲート装置１を通過することの可否を制御することができる。

【0045】

なお、出力部２８は、顔の照合結果の情報を、液晶ディスプレイ等の表示機器に表示したり、スピーカーから音声（言葉による音声や、警報音等）として出力したりするようにしてもよい。また、出力部２８は、画像取得部２１が取得した画像（照合処理の対象となった画像）や、その画像において顔検出部２２が検出した顔の領域を表示機器に表示してもよい。また、出力部２８は、顔の照合結果を表す情報を、表示機器に表示してもよい。

【0046】

また、出力部２８は、顔選択部２５が選択した顔が、顔データ記憶部２６に記憶されている顔のうちのどの人物の顔に類似しているかを、表示機器に表示してもよい。またその際に、出力部２８は、照合対象となった顔同士（顔特徴情報同士）の、類似度または距離の情報を、あわせて表示機器に表示してもよい。また、出力部２８は、そのような類似度または距離と、判定のための閾値との関係を表示機器に表示してもよい。

【0047】

なお、ゲート装置１を構成する各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリーや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、コンピューターおよびソフトウェアによって実現するようにしてもよい。

【0048】

また、ここでは、ゲート装置１が持つ部材あるいは機能のうち、本実施形態に直接関係するものだけを示している。ゲート装置１が、図１に記載されない機能等を併せ持っていてもよい。

【0049】

図２は、本実施形態における、ゲート装置１と利用者との位置関係の例を示す概略図（側面図）である。同図において、Ｍは、１人の利用者である。この利用者Ｍは、歩行によって図中の矢印Ｗの方向に移動している。１０１は、ゲート装置１の一部であり、ゲートの通路を形成する筐体である。筐体１０１が、利用者Ｍのゲート通過の可否を制御するための扉等を備えていてもよいが、ここでは扉等の図示を省略している。１０２は、カメラである。カメラ１０２は、図１における撮像部５に相当する。カメラ１０２は、歩行して移動する利用者Ｍの顔を、ほぼ正面から撮像することができるような位置および向きに、設定されている。なお、カメラ１０２の設置方法に関する変形例として、カメラ１０２が、筐体１０１の上部等の、ゲートの出口付近に、斜め上向きに設置されてもよい。この場合にも、カメラ１０２は、歩行して移動する利用者Ｍの顔を良好に撮像することができる。

【0050】

図３は、画像照合装置２による処理の手順を示すフローチャートである。以下、このフローチャートに沿って、画像照合装置２の処理の手順を説明する。

【0051】

まず、ステップＳ１において、画像取得部２１は、撮像部５から、１枚のフレーム画像を取得する。なお、撮像部５は、所定の時間間隔（例えば、フレームレートが１０フレーム毎秒である場合には、０．１秒毎）でフレーム画像を出力する。

【0052】

次に、ステップＳ２において、顔検出部２２は、ステップＳ１において画像取得部２１が取得したフレーム画像を対象として、顔検出を試みる処理を行う。

【0053】

次に、ステップＳ３において、顔検出部２２は、上記の顔検出処理の結果として、フレーム画像内で顔を検出できたか否かを判定し、判定結果に基づいて処理を分岐する。
顔が検出できた場合（ステップＳ３：ＹＥＳ）には、次のステップＳ４に進む。
顔が検出できなかった場合（ステップＳ３：ＮＯ）には、次のフレーム画像の処理に移るために、ステップＳ１に戻る。

【0054】

次に、ステップＳ４に進んだ場合には、顔追跡部２３は、顔追跡処理を行う。即ち、顔追跡部２３は、現在のフレーム画像についてのステップＳ２の処理で検出された顔について、それ以前のフレーム画像で検出されていた顔との関連付けを行う。つまり、本ステップの処理により、画像に写された同一人物の顔が、フレーム画像間で追跡される。

【0055】

次に、ステップＳ５において、タイミング検知部２４は、処理対象としようとする利用者がゲート装置の通路を通過するタイミングである（例えば、利用者が券をゲート装置１に投入したタイミング）であるか否かを判定する。利用者がゲートを通過したタイミングである場合（ステップＳ５：ＹＥＳ）には、次のステップＳ６に進む。利用者がゲートを通過したタイミングではなかった場合（ステップＳ６：ＮＯ）には、顔の追跡結果（ステップＳ４）を保持した状態で、次のフレーム画像の処理に移るために、ステップＳ１に戻る。

【0056】

次に、ステップＳ６に進んだ場合には、顔選択部２５は、現在のフレーム画像内で検出された顔のうち、顔照合部２７が照合対象とする顔を選択する。なお、本ステップの顔選択の処理については、後で図４を参照しながらさらに詳細に説明する。

【0057】

次に、ステップＳ７において、顔照合部２７は、顔を照合する処理を行う。具体的には、顔照合部２７は、ステップＳ６で選択された顔（入力されたフレーム画像に含まれる顔）と、顔データ記憶部２６が管理する顔との照合を行う。なお、前述の通り、利用者の識別情報等をゲート装置１が取得することによって人物が絞り込まれている場合には、顔照合部２７は、顔データ記憶部２６が管理する顔のうちの、絞り込まれている顔のみを照合処理の対象とする。顔照合部２７は、照合結果として、上記両者の顔が同一人物の顔と判定されたか否かを表す情報を、出力部２８に渡す。

【0058】

次に、ステップＳ８において、出力部２８は、顔照合部２７から渡された照合結果を出力する。出力部２８による出力の態様は、既に説明した通りである。照合結果の出力が完了すると、次のフレーム画像の処理に移るために、ステップＳ１に戻る。なお、ゲート装置１の電源をオフにする場合などには、このステップＳ８の処理の後に、画像照合装置２の全体の処理を終了させてもよい。

【0059】

図４は、図３におけるステップＳ６の顔選択の処理のさらに詳細な手順を示すフローチャートである。以下、このフローチャートを参照しながら、顔選択の処理の手順について説明する。

【0060】

まず、ステップＳ１１において、顔選択部２５は、現在のフレーム画像内の、照合対象とする顔の候補を取得する。具体的には、顔選択部２５は、現在のフレーム画像内において顔検出部２２が検出したすべての顔を照合対象の候補とする。

【0061】

次に、ステップＳ１２において、顔選択部２５は、照合済み判定を行う。つまり、現在のフレーム画像に含まれている顔のうち、以前に照合済みの顔を、選択対象から除外する。照合済みの顔は、ゲート装置１の通路を通過可能と既に判定されている人物の顔が現在のフレーム画像においても写っている状態にある。つまり、その顔の人物は、ゲートを通過済みである。したがって、顔選択部２５は、そのような顔を候補から除外してよい。顔選択部２５は、以前に照合された顔であるか否かを判断するために、次のような方法をとり得る。例えば第１の方法として、顔選択部２５は、追跡結果を参照し、過去において照合済みの顔に関連付けられている（追跡されている）現フレーム画像の顔を、候補から除外する。第２の方法として、顔選択部２５は、以前に照合済みの顔（例えば、所定時間長以下の過去において照合済みの顔）の顔特徴情報を記憶しておき、そのような顔と現在の候補の顔とを照合するようにする。

【0062】

次に、ステップＳ１３において、顔選択部２５は、ここまでで残っている候補の顔に関して、位置に基づく判定、およびサイズに基づく判定を行う。より具体的には、顔選択部２５は、タイミング検知部２４が検知したタイミングにおけるフレーム画像で、画像上の位置が所定領域の外にある顔候補を、除外する。ここでの「所定領域」とは、ゲート装置１を通過しようとしている利用者の顔がそのタイミングにおいて存在し得る領域である。また、顔選択部２５は、タイミング検知部２４が検知したタイミングにおけるフレーム画像で、顔のサイズが大きすぎる顔候補あるいは顔のサイズが小さすぎる顔候補を、除外する。ここで、顔のサイズが大きすぎる顔候補は、撮像しているカメラから顔までの距離が適正範囲よりも近すぎることを表す。また、顔のサイズが小さすぎる顔候補は、撮像しているカメラから顔までの距離が適正範囲よりも遠すぎることを表す。

【0063】

ステップＳ１３の処理において、顔選択部２５は、ゲート装置１（例えば、自動改札機）が備えるセンサーの出力に基づいて推定されるその利用者の位置に基づく判断を行ってもよい。ここで、上記のセンサーは、例えば、可視光線や赤外線などの発光部と受光部を持ち、利用者の位置を検知するものである。つまり、顔選択部２５は、上記のセンサーからの出力によって推定される利用者の位置を基準として、画像上の位置が所定領域の外にある顔候補を、除外してよい。また、顔選択部２５は、センサーからの出力によって推定される利用者の位置を基準として、大きすぎる顔の顔候補や小さすぎる顔の顔候補を除外してよい。

【0064】

ステップＳ１３の処理において、顔選択部２５は、次のような処理をしてもよい。顔選択部２５は、入力画像内の顔の位置や大きさに基づいて、その顔が選択すべきである顔である尤度を求める。顔の位置および大きさと尤度との関係を、顔選択部２５は、予め獲得しておく。顔の位置および大きさと尤度との関係については、サンプルデータを基に求めることが可能である。そして、顔選択部２５は、実際に入力された顔を基に求めた尤度が所定の閾値以下である場合に、その顔候補を除外する。

【0065】

次に、ステップＳ１４において、顔選択部２５は、複数の顔の位置関係についての判定を行う。具体的には、タイミング検知部２４が検知した時点でのフレーム画像において、ある顔が他の顔の真上（あるいはほぼ真上）に存在する場合に、顔選択部２５は、その上側の顔候補を除外する。これは、背の低い子供がまずゲート装置１を通過し、そのすぐ後を大人が続いて通過する場合を想定している。そのような場合には、前を歩行している子供の顔（下側の顔）が優先して選択されるべきであり、よって顔選択部２５は上側の顔候補を除外する。

【0066】

次に、ステップＳ１５において、顔選択部２５は、ステップＳ１４までの処理において除外されなかった顔の中から、スコアに基づいて、スコア値のよい顔を選択する。顔選択部２５は、例えば、それぞれの候補の顔の大きさに基づくスコア付けを行う。あるいは、顔選択部２５は、画像内において予め定めた点あるいは直線から顔候補の位置までの距離に基づくスコア付けを行ってもよい。あるいは、顔選択部２５は、上記の顔の大きさと顔の位置との両方に基づくスコア付けを行ってもよい。顔の大きさとスコア値との関係や、顔の位置（所定の点または直線からの距離）とスコア値との関係は、予め、サンプルに基づいて定めておくようにする。スコアの値は、サンプルが選択すべき顔の正解である確率の分布に基づいて定めてよい。

【0067】

ここで、図５および図６を参照しながら、顔選択部２５が算出するスコアの例について説明する。図５は、顔の大きさとスコアとの間の関係の一例を示すグラフである。このグラフの横軸は顔の大きさに対応し、縦軸はスコア値に対応する。図示する例のように、顔の大きさが０からＳ１までの区間においては、スコア値は単調に増加する。また、顔の大きさがＳ２以上の区間においては、スコア値は単調に減少する。なお、０＜Ｓ１≦Ｓ２である。ここで図示するグラフは例に過ぎず、実際のスコアのグラフがこのように直線的なものであることは必須ではない。図６は、予め定められた画像内の点または直線から顔候補の位置までの距離と、スコアとの関係の一例を示すグラフである。ここでの「点または直線」は、顔の最適位置に対応する。このグラフの横軸は距離に対応し、縦軸はスコア値に対応する。図示する例のように、距離が０のときにスコア値は最大であり、距離が大きくなるにつれてスコア値は単調に減少する。ここで図示するグラフは例に過ぎず、実際のスコアのグラフがこのように直線的なものであることは必須ではない。

【0068】

図４に戻って、ステップＳ１５における選択結果は、顔照合部２７に伝えられる。顔選択部２５によって選択された顔が、照合処理の対象となる。ステップＳ１５の処理が終了すると、顔選択部２５はこのフローチャートの処理全体を終了する。

【0069】

なお、図４に示す処理において、一部の処理の順序を変えてもよい。例えば、まず位置およびサイズに基づく判定で顔候補を除外（図４のステップＳ１３）してから、次に照合済み判定での顔候補の除外（図４のステップＳ１２）を行うようにしてもよい。

【0070】

つまり、顔選択部２５は、過去のフレーム画像において既に照合済みの顔を除外の処理を、前記フレーム画像内における所定領域の外の顔を除外する処理、および所定範囲外のサイズを有する顔を除外する処理のいずれの処理よりも先に行うようにしてもよい。あるいは、逆に、顔選択部２５は、過去のフレーム画像において既に照合済みの顔を除外の処理を、前記フレーム画像内における所定領域の外の顔を除外する処理、および所定範囲外のサイズを有する顔を除外する処理のいずれの処理よりも後で行うようにしてもよい。

【0071】

以上、説明したように、本実施形態によれば、顔選択部２５は、所定のタイミングにおいて（例えば、利用者がゲート装置に切符を投入したタイミングにおいて）、撮像された画像から、照合処理に使用するための顔を適切に選択することができる。つまり、顔選択部２５は、撮影した画像を用いて顔照合を行う際に、画像に写る複数の人物の顔の中から、照合履歴や、顔の位置およびサイズや、顔同士の位置関係などに基づいて、所定の動作（例えば、ゲート装置１への切符の投入等）をしたと推定される人物の顔を選択することができる。つまり、画像照合装置２を含むゲート装置１は、適切な顔を選択して、データベースとの照合を行うことができる。

【0072】

図７は、ゲート装置１の内部構成の例を示すブロック図である。ゲート装置１の少なくとも一部は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

【0073】

上記実施形態の変形例を実施するようにしても良い。組み合わせることが可能な限りにおいて、複数の変形例を組み合わせて実施してもよい。

【0074】

変形例として、画像照合装置２が、人の顔以外の照合を行うようにしてもよい。例えば、人の顔の代わりに、人物の全身像や、移動物体（自動車、船、ドローン、飛行機等）や、動物などを、画像として照合するようにしてもよい。

【0075】

変形例として、ゲート装置１が、利用者個人の識別情報を取得するようにしてもよい。つまり、この変形例においては、ゲート装置１は、ＩＣカード読取装置や、２次元光学コード（ＱＲコード（登録商標））読取装置や、磁気情報読取装置などの、各種媒体に記録された情報を読み取る装置を備える。このような手段を用いて、ゲート装置１は、特定の行動をする利用者（例えば、切符を投入する利用者）の識別情報を読み取る。この場合、画像照合装置２は、顔データ記憶部２６に記憶されている顔のデータのうち、読み取った識別情報に対応するデータのみを、照合対象としてよい。

【0076】

変形例として、顔照合部２７は、画像として入力された顔と照合した顔データ（顔データ記憶部２６から読み取られたデータ）のうち、入力された顔との類似度が高い順に候補をソートして、その順で照合結果を出力してもよい。またこのとき、顔照合部２７は、人物識別情報や、顔画像や、その他の属性情報など、顔データ記憶部２６に記憶されているデータを合わせて出力するようにしてもよい。

【0077】

以上説明した少なくともひとつの実施形態によれば、既に照合済みの顔を除外し、フレーム画像内における所定領域の外の顔を除外し、所定範囲外のサイズを有する顔を除外し、残った顔の中から、それぞれの顔について求めたスコア値に基づいて照合対象の顔を選択する顔選択部２５を持つことにより、所望の位置の人物の顔を照合対象として照合勝利を行うことができる。

【0078】

なお、上述した実施形態におけるゲート装置１の機能をコンピューターおよびプログラムで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現できる。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の（non-transitory）コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0079】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0080】

１…ゲート装置、２…画像照合装置、５…撮像部、６…券検知部、７…ゲート制御部、２１…画像取得部、２２…顔検出部、２３…顔追跡部、２４…タイミング検知部、２５…顔選択部、２６…顔データ記憶部、２７…顔照合部、２８…出力部、１０１…筐体、１０２…カメラ、９０１…中央処理装置、９０２…ＲＡＭ、９０３…入出力ポート、９０４，９０５…入出力デバイス、９０６…バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】