特許 7034827 監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-04

(45)【発行日】2022-03-14

(54)【発明の名称】監視方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220307BHJP

   G06T 7/20 20170101ALI20220307BHJP

   G06T 7/00 20170101ALI20220307BHJP

   H04N 7/18 20060101ALI20220307BHJP

【ＦＩ】

H04N5/232 290

G06T7/20 300Z

G06T7/00 510F

H04N7/18 D

H04N7/18 G

H04N7/18 K

【請求項の数】 5

(21)【出願番号】P 2018097137

(22)【出願日】2018-05-21

(65)【公開番号】P2019205002

(43)【公開日】2019-11-28

【審査請求日】2021-03-03

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】田副 佑典

(72)【発明者】

【氏名】齊藤 廣大

(72)【発明者】

【氏名】佐藤 俊雄

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１８－０４９３６９（ＪＰ，Ａ）

【文献】特開２００８－１９９５４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

監視装置で実行される監視方法であって、
撮像部により所定位置の人物を撮像して得られる動画像を取得し、
前記動画像を構成するフレームに含まれる人物画像を検出し、
連続する前記フレーム間で同一人物の前記人物画像を追跡し、
同一人物の前記人物画像の中から、第１指標に基づいて、ベストショット画像を選択する第１選択処理を実行し、
前記第１選択処理により選択されるベストショット画像の信頼度を算出し、
前記第１選択処理により選択されるベストショット画像の信頼度が第１閾値より低い場合、同一人物の前記人物画像の中から、第２指標に従って、ベストショット画像を選択する第２選択処理を実行し、
前記第１選択処理により選択されるベストショット画像の信頼度が前記第１閾値以上である場合、前記第１選択処理により選択されるベストショット画像と、予め登録される人物画像と、を用いて、前記人物の認証処理を実行し、
前記第１選択処理により選択されるベストショット画像の信頼度が前記第１閾値より低い場合、前記第２選択処理により選択されるベストショット画像と、前記予め登録された人物画像と、を用いて、前記人物の認証処理を実行し、
前記人物の認証処理の実行結果を表示する、ことを含み、
前記第２指標は、深層学習を用いて算出される、前記認証処理に適した指標である、監視方法。

【請求項2】

前記第２指標は、前記第１指標とは異なる指標である請求項１に記載の監視方法。

【請求項3】

前記第２選択処理により選択されるベストショット画像の信頼度を算出し、
前記第２選択処理により選択されるベストショット画像の信頼度が第２閾値より低い場合、前記第１指標および前記第２指標を変更する、
ことをさらに含む請求項１または２に記載の監視方法。

【請求項4】

前記人物の認証処理の結果に基づいて、前記第１選択処理および前記第２選択処理におけるベストショット画像の選択方法を変更することをさらに含む請求項１から３のいずれか一に記載の監視方法。

【請求項5】

前記認証処理に用いるベストショット画像と、前記予め登録される人物画像との類似度を算出し、前記類似度に基づいて、前記人物の認証処理を実行し、
前記認証処理に用いる各ベストショット画像について算出される前記類似度の順位と、当該各ベストショット画像のベストショット度の順位と、に基づいて、前記第１選択処理および前記第２選択処理におけるベストショット画像の選択方法を変更する、請求項４に記載の監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、監視方法に関する。

【背景技術】

【0002】

人物を撮像して得られる動画像から、人物の顔を検出し、検出した人物の顔を追跡し、その追跡結果から、人物の顔のベストショット画像を選択し、選択したベストショット画像を用いて人物の認証処理を実行する技術が開発されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－３３１３２号公報

【文献】特開２０１６－１５７１６５号公報

【文献】特開２０１３－６５１１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の技術では、人物の顔のベストショット画像の選択に際して、人物の認証処理に適した人物の顔が選択されない場合があり、人物の認証処理の分野において、人物の認証処理に最適な画像を選択することに対して有効な選択方法が確立されていない。

【課題を解決するための手段】

【0005】

実施形態の監視方法は、監視装置で実行され、撮像部により所定位置の人物を撮像して得られる動画像を取得し、動画像を構成するフレームに含まれる人物画像を検出し、連続するフレーム間で同一人物の人物画像を追跡し、同一人物の人物画像の中から、第１指標に基づいて、ベストショット画像を選択する第１選択処理を実行し、第１選択処理により選択されるベストショット画像の信頼度を算出し、第１選択処理により選択されるベストショット画像の信頼度が第１閾値より低い場合、同一人物の人物画像の中から、第２指標に従って、ベストショット画像を選択する第２選択処理を実行し、第１選択処理により選択されるベストショット画像の信頼度が第１閾値以上である場合、第１選択処理により選択されるベストショット画像と、予め登録される人物画像と、を用いて、人物の認証処理を実行し、第１選択処理により選択されるベストショット画像の信頼度が第１閾値より低い場合、第２選択処理により選択されるベストショット画像と、予め登録された人物画像と、を用いて、人物の認証処理を実行し、人物の認証処理の実行結果を表示する、ことを含む、第２指標は、深層学習を用いて算出される、認証処理に適した指標である。

【図面の簡単な説明】

【0006】

【図1】図１は、第１の実施形態にかかる監視システムの構成の一例を示す図である。

【図2】図２は、第１の実施形態にかかる監視システムにおける人物の認証処理の流れの一例を示すフローチャートである。

【図3】図３は、第２の実施形態にかかる監視システムの構成の一例を示す図である。

【図4】図４は、第２の実施形態にかかる監視システムにおける人物の認証処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0007】

以下、添付の図面を用いて、本実施形態にかかる監視方法を適用した監視システムについて説明する。

【0008】

（第１の実施形態）
図１は、第１の実施形態にかかる監視システムの構成の一例を示す図である。本実施形態にかかる監視システムは、ＵＩ（User Interface）１１と、撮像部１２と、監視装置１３と、を備える。ＵＩ１１および撮像部１２は、バス２０１を介して、監視装置１３に接続されている。

【0009】

ＵＩ１１は、表示装置１１１と、入力装置１１２と、を有する。表示装置１１１は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等であり、各種画像を表示する。

【0010】

入力装置１１２は、キーボード、マウス、スイッチ、マイク等であり、ユーザが各種操作指示を入力可能である。また、ＵＩ１１は、表示装置１１１および入力装置１１２の両方の機能を有するタッチパネルであっても良い。

【0011】

撮像部１１３は、デジタルカメラ等であり、所定位置（例えば、駅の通路）を通過する認証対象物（例えば、人物の顔）を撮像可能に設けられる。そして、撮像部１１３は、所定位置を撮像して得られる動画像（撮像画像）を監視装置１３に出力する。本実施形態では、撮像部１１３は、所定位置を通過する人物の顔を正面から撮像可能に設けられる監視カメラである。

【0012】

監視装置１３は、撮像部１１３から出力される動画像を用いて、所定位置を通過する人物の認証処理を実行する。本実施形態では、監視装置１３は、第１処理部１３１、第２処理部１３２、記憶部１３３、および通信部１３４を有する。第１処理部１３１、第２処理部１３２、記憶部１３３、および通信部１３４は、バス２０１を介して、互いに接続されている。

【0013】

記憶部１３３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等であり、後述する第１処理部１３１および第２処理部１３２により実行されるプログラム等の各種情報を記憶する。また、記憶部１３３は、第１処理部１３１および第２処理部１３２の作業領域として機能する。記憶部１３３は、複数の記憶媒体によって構成されていても良い。

【0014】

通信部１３４は、有線または無線で接続される外部装置と各種情報を送受信するためのインタフェースである。

【0015】

第１処理部１３１は、ＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１３３に記憶されるプログラムを実行することによって、画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、および照合部１４０を実現する。第２処理部１３２は、ＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部１３３に記憶されるプログラムを実行することによって、第２計算部１４１を実現する。

【0016】

本実施形態では、画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、照合部１４０、および第２計算部１４１は、異なるプロセッサにより実現されているが、１つのプロセッサにより実現されても良い。また、本実施形態では、画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、照合部１４０、および第２計算部１４１は、回路基板に実装されるプロセッサがプログラムを実行することにより実現されているが、ＩＣ（Integrated Circuit）等のハードウェアにより実現しても良いし、ソフトウェアとハードウェアの協働により実現されても良い。

【0017】

画像取得部１３５は、撮像部１１３から出力される動画像を取得する。

【0018】

検出部１３６は、取得した動画像を構成するフレームから、人物の顔を検出する。本実施形態では、検出部１３６は、複数の顔の矩形領域を平均化した平均画像をテンプレート（以下、顔テンプレートと言う）として予め作成し、取得した動画像を構成するフレーム内において、顔テンプレートを平行移動、回転、拡大縮小等させながら走査する。そして、検出部１３６は、フレーム内において、顔テンプレートとの輝度値の差分が最も小さい位置を、人物の顔として検出する。

【0019】

本実施形態では、検出部１３６は、顔テンプレートを用いて、人物画像を検出しているが、これに限定するものではない。例えば、検出部１３６は、動画像を構成するフレーム内において、人物が装着する服や装着物等の位置に基づいて、当該人物の胴体を検出し、検出した胴体の上方の領域を、人物の顔として検出しても良い。

【0020】

追跡部１３７は、連続するフレーム間において同一人物の人物画像を追跡する。そして、追跡部１３７は、連続するフレームに含まれる同一人物の人物画像を追跡結果（トラックレット）として取得する。本実施形態では、追跡部１３７は、連続するフレームにおいて検出される人物画像が重なる面積が所定値以上である場合、当該人物画像が、同一人物の人物画像と判断する。

【0021】

一方、追跡部１３７は、連続するフレームにおいて検出される人物画像が重なる面積が所定値より小さい場合、当該人物画像が、異なる人物の人物画像と判断する。そして、追跡部１３７は、連続するフレームにおいて検出される人物画像が、異なる人物の人物画像であると判断した場合、人物画像の追跡を終了する。

【0022】

本実施形態では、追跡部１３７は、連続するフレームにおいて検出される人物画像が、異なる人物の人物画像であると判断した場合、直ちに、人物画像の追跡を終了させているが、これに限定するものではない。例えば、追跡部１３７は、連続するフレームにおいて検出される人物画像が異なる人物の人物画像であると判断された後、予め設定された数のフレームまで、人物画像の追跡を継続し、その後、人物画像の追跡を終了させても良い。

【0023】

第１計算部１３８は、同一人物の人物画像（同一人物の人物画像の追跡結果であるトラックレット）の中から、第１指標に基づいて、ベストショット画像を選択する第１選択処理を実行する。ここで、ベストショット画像は、人物画像を用いた人物の認証処理に適した画像である。また、第１指標は、ベストショット画像を選択するための指標であり、例えば、ベストショット画像として選択する画像に関わる画像情報（例えば、画像のサイズやブラー）である。

【0024】

また、第１計算部１３８は、ベストショット画像の属性（例えば、顔の隠蔽、顔の表情、顔に対する眼鏡等の装着物の有無、顔の向き、予め登録された人物画像との類似度）に基づいて、回帰式によって、第１指標を算出しても良い。また、第１計算部１３８は、ベストショット画像となる顔の隠蔽度（オクルージョン）を第１指標として予め学習しておき、当該学習した隠蔽度と、追跡部１３７により追跡した人物画像の隠蔽度とを比較して、第１ベストショット画像を選択しても良い。

【0025】

本実施形態では、第１計算部１３８は、第１指標に基づいて、同一人物の人物画像に対して、ベストショット画像の度合い（以下、ベストショット度と言う）を算出する。例えば、第１計算部１３８は、浮動小数点の数値でベストショット度を算出する。そして、第１計算部１３８は、算出したベストショット度が予め設定された値以上の人物画像をベストショット画像として選択する。また、第１計算部１３８は、ランダムフォレストやブースティング等の回帰によって、ベストショット度を算出しても良い。

【0026】

第１判定部１３９は、第１計算部１３８によって選択されるベストショット画像の信頼度を算出する。そして、第１判定部１３９は、算出した信頼度が第１閾値以上である場合、第１計算部１３８により選択されるベストショット画像を信頼すると判定する。一方、第１判定部１３９は、算出した信頼度が第１閾値より低い場合、第１計算部１３８により選択されるベストショット画像を信頼しないと判定する。ここで、第１閾値は、予め設定された閾値であり、第１計算部１３８により選択されるベストショット画像を信頼すると判定する信頼度の下限である。

【0027】

本実施形態では、第１判定部１３９は、１つのトラックレットに含まれるベストショット画像のベストショット度の平均および分散に基づいて、第１計算部１３８により選択されるベストショット画像を、信頼するまたは信頼しないに分類する二項分類を行う。

【0028】

例えば、第１判定部１３９は、人物の認証に成功したベストショット画像のベストショット度（言い換えると、正解のベストショット度）を学習して得られるベストショット度の平均および分散を求める。そして、第１判定部１３９は、学習により得られるベストショット度の平均および分散と、１つのトラックレットに含まれるベストショット画像のベストショット度の平均および分散とを比較して、ベストショット画像を、信頼するまたは信頼しないに分類する二項分類を行う。

【0029】

第２計算部１４１は、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値より低い場合に、同一人物の人物画像の中から、第２指標に基づいて、ベストショット画像を選択する第２選択処理を実行する。ここで、第２指標は、ＣＮＮ（Convolution Neural Network）等の深層学習によって算出される、人物の認証処理（後述する照合部１４０により実行される認証処理）に適した指標である。これにより、人物の自動的な認証処理に適したベストショット画像を選択できるので、人物の認証処理の精度を向上させることができる。本実施形態では、第２指標は、第１指標とは異なる指標であるものとする。例えば、第２指標は、画像情報、顔の隠蔽度、ベストショット画像の属性等である。

【0030】

照合部１４０は、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値以上である場合、第１計算部１３８により選択されるベストショット画像と、予め登録される人物画像と、を用いて、人物の認証処理を実行する。また、照合部１４０は、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値より低い場合、第２計算部１４１により選択されるベストショット画像と、予め登録される人物画像と、を用いて、人物の認証処理を実行する。

【0031】

本実施形態では、照合部１４０は、第１計算部１３８または第２計算部１４１により選択されるベストショット画像と、予め登録される人物画像と、の類似度を浮動小数点の数値で算出する。そして、照合部１４０は、算出した類似度と、予め設定される閾値との大小関係に基づいて、人物の認証処理を実行する。具体的には、照合部１４０は、算出した類似度が予め設定される閾値以上である場合、人物の認証処理に成功したと判断する。一方、照合部１４０は、算出した類似度が予め設定される閾値より小さい場合、人物の認証処理に失敗したと判断する。

【0032】

そして、照合部１４０は、人物の認証処理の実行結果を、表示装置１１１に表示させる。本実施形態では、照合部１４０は、第１計算部１３８または第２計算部１４１により選択されるベストショット画像と、予め登録される人物画像と、人物の認証処理の実行結果と、を含む画面を表示装置１１１に表示させる。その際、人物の認証処理の実行結果は、人物の認証処理が成功したかまたは失敗したかを文章で示すものであっても良いし、〇や×等の記号や、絵、アニメーション等であっても良い。

【0033】

図２は、第１の実施形態にかかる監視システムにおける人物の認証処理の流れの一例を示すフローチャートである。画像取得部１３５は、撮像部１１３から出力される動画像を取得する（ステップＳ２１０）。

【0034】

検出部１３６は、画像取得部１３５により取得される動画像を構成する各フレームから、人物画像の一例である顔を検出する（ステップＳ２１１）。その際、検出部１３６は、各フレームに含まれる全ての顔を検出しても良いし、各フレームの予め設定された位置（例えば、フレームの中央部）に位置する顔のみを検出しても良いし、または予め設定された顔のみを検出しても良い。

【0035】

追跡部１３７は、連続するフレーム間において同一人物の顔を追跡する（ステップＳ２１２）。そして、追跡部１３７は、連続するフレームに含まれる同一人物の顔をトラックレットとして取得する。

【0036】

第１計算部１３８は、第１指標に基づいて、追跡部１３７により取得されるトラックレットに含まれる複数の顔それぞれのベストショット度を算出し、算出したベストショット度が最も高い顔をベストショット画像として選択する（ステップＳ２１３）。または、第１計算部１３８は、算出したベストショット度が高い顔から順に、予め設定された数Ｎ（Ｎ＞１）の顔をベストショット画像として選択しても良い。

【0037】

第１判定部１３９は、第１計算部１３８により選択されるベストショット画像の信頼度を算出する（ステップＳ２１４）。例えば、第１判定部１３９は、第１計算部１３８により選択されるベストショット画像のベストショット度の平均を、信頼度として算出する。そして、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値以上である場合（ステップＳ２１５：Ｙｅｓ）、照合部１４０は、第１計算部１３８により選択されるベストショット画像と、予め登録される顔と、を用いて、人物の認証処理を実行する（ステップＳ２１６）。その後、照合部１４０は、人物の認証処理の実行結果を、表示装置１１１に表示させる（ステップＳ２１７）。

【0038】

一方、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値より低い場合（ステップＳ２１５：Ｎｏ）、第２計算部１４１は、第２指標に基づいて、追跡部１３７により取得されるトラックレットに含まれる複数の顔それぞれのベストショット度を算出し、算出したベストショット度が最も高い顔をベストショット画像として選択する（ステップＳ２１８）。または、第２計算部１４１は、算出したベストショット度が高い顔から順に、予め設定された数Ｎ（Ｎ＞１）の顔をベストショット画像として選択しても良い。

【0039】

この場合、照合部１４０は、第２計算部１４１により選択されるベストショット画像と、予め登録される顔と、を用いて、人物の認証処理を実行する（ステップＳ２１６）。そして、照合部１４０は、人物の認証処理の実行結果を、表示装置１１１に表示させる（ステップＳ２１７）。

【0040】

照合部１４０は、第１計算部１３８または第２計算部１４１によってベストショット画像がＮ個（Ｎ＞１）選択された場合、Ｎ個のベストショット画像のそれぞれと、予め登録される顔と、の類似度を算出する。そして、照合部１４０は、Ｎ個のベストショット画像のうち、予め設定された類似度のベストショット画像を選択する。または、照合部１４０は、Ｎ個のベストショット画像の中から、深層学習（例えば、Max Out方式）により、人物の認証処理に適したベストショット画像を選択しても良い。その後、照合部１４０は、選択されたベストショット画像と、予め登録される顔と、を用いて、人物の認証処理を実行する。

【0041】

このように、第１の実施形態にかかる監視システムによれば、人物の自動的な認証処理に適したベストショット画像を選択できるので、人物の認証処理の精度を向上させることができる。

【0042】

（第２の実施形態）
本実施形態は、第２計算部により選択されるベストショット画像の信頼度が予め設定される閾値以下である場合、第１指標および第２指標を変更する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。

【0043】

図３は、第２の実施形態にかかる監視システムの構成の一例を示す図である。本実施形態にかかる監視システムは、ＵＩ１１と、撮像部１２と、監視装置３００と、指標保存部３０１と、を備える。ＵＩ１１、撮像部１２、および指標保存部３０１は、バス２０１を介して、監視装置３００に接続されている。指標保存部３０１は、監視装置３００の外部装置（例えば、サーバ）が有する記憶装置によって実現され、第１指標および第２指標として選択可能な指標の候補を記憶する。

【0044】

本実施形態では、監視装置３００の第１処理部３０２は、記憶部１３３に記憶されるプログラムを実行することによって、画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、変更部３０３、照合部１４０、および適用部３０４を実現する。また、監視装置３００の第２処理部３０５は、記憶部１３３に記憶されるプログラムを実行することによって、第２計算部１４１、および第２判定部３０６を実現する。

【0045】

第２判定部３０６は、第２計算部１４１により選択されるベストショット画像の信頼度を算出する。本実施形態では、第２判定部３０６は、第１判定部１３９と同様にして、第２計算部１４１により選択されるベストショット画像の信頼度を算出するものとする。

【0046】

変更部３０３は、第２計算部１４１により選択されるベストショット画像の信頼度が第２閾値以下である場合に、第１指標および第２指標を変更する。これにより、ベストショット画像の信頼度に応じて、ベストショット画像の選択に用いる指標を動的に変更できるので、監視システムの設置環境が変化した場合でも、当該設置環境に適した指標を用いて、ベストショット画像を選択することができる。ここで、第２閾値は、予め設定された閾値であり、第２計算部１４１により選択されるベストショット画像を信頼すると判定する信頼度の下限である。

【0047】

本実施形態では、変更部３０３は、通信部１３４を介して、指標保存部３０１にアクセスして、指標保存部３０１に記憶されている指標の中から、第１指標および第２指標として用いる指標を読み出す。そして、変更部３０３は、読み出した指標によって、第１指標および第２指標を変更する。

【0048】

本実施形態では、変更部３０３は、指標保存部３０１に記憶される指標の中から、ベストショット画像の信頼度が高くなる指標を読み出し、当該読み出した指標によって第１指標および第２指標を変更している。例えば、変更部３０３は、撮像部１２の画角に基づいて、ベストショット画像の信頼度が高くなる指標を特定し、当該特定した指標によって第１指標および第２指標を変更する。例えば、駅の監視カメラ等のように天井付近に撮像部１２が設置されて、当該撮像部１２の画角が人物を上方から見た画角なる場合と、人物の頭部の高さ付近でありかつ地面と平行に撮像部１２が設置されて、当該撮像部１２の画角が人物を正面から見た画角となる場合とでは、人物画像における人物の見え方が異なる。そのため、変更部３０３は、ベストショット画像の信頼度が高くなるように、それぞれの画角に適した指標を特定し、当該特定した指標によって第１指標および第２指標を変更する。

【0049】

適用部３０４は、照合部１４０による人物の認証処理の結果に基づいて、第１計算部１３８および第２計算部１４１によるベストショット画像の選択方法を変更する。これにより、第１計算部１３８または第２計算部１４１により選択されるベストショット画像と、照合部１４０による人物の認証処理に適した人物画像とに差異がある場合に、人物の認証処理に適したベストショット画像が選択されるように、第１計算部１３８および第２計算部１４１によるベストショット画像の選択方法を逐次変更できるので、人物の認証処理の精度を向上させることができる。

【0050】

本実施形態では、適用部３０４は、人物の認証処理に用いる各ベストショット画像（第１計算部１３８または第２計算部１４１により選択される各ベストショット画像）と、当予め登録される人物画像と、の類似度の順位（以下、本人類似度順位と言う）を求める。また、適用部３０４は、人物の認証処理に用いる各ベストショット画像のベストショット度の順位（以下、ベストショット順位と言う）を求める。

【0051】

そして、適用部３０４は、本人類似度およびベストショット順位に基づいて、第１計算部１３８および第２計算部１４１によるベストショット画像の選択方法を変更する。例えば、本人類似度が１位のベストショット画像のベストショット順位が、本人類似度が２位以下のベストショット画像のベストショット順位より低い場合、適用部３０４は、ベストショット順位が２位以下の人物画像をベストショット画像として選択する選択方法を、第１計算部１３８および第２計算部１４１に適用する。

【0052】

図４は、第２の実施形態にかかる監視システムにおける人物の認証処理の流れの一例を示すフローチャートである。本実施形態では、第２計算部１４１によってベストショット画像が選択されると（ステップＳ２１８）、第２判定部３０６は、第２計算部１４１により選択されるベストショット画像の信頼度を算出する。そして、第２判定部３０６は、算出した信頼度が第２閾値以上であるか否かを判断する（ステップＳ４０１）。

【0053】

第２計算部１４１により選択されるベストショット画像の信頼度が第２閾値より低い場合（ステップＳ４０１：Ｎｏ）、変更部３０３は、第１指標および第２指標を変更する（ステップＳ４０２）。監視装置３００は、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値以上となるまで、または第２計算部１４１により選択されるベストショット画像の信頼度が第２閾値以上となるまで、ステップＳ２１３～ステップＳ２１７、ステップＳ４０１、およびステップＳ４０２に示す処理を繰り返す。

【0054】

そして、第１計算部１３８により選択されるベストショット画像の信頼度が第１閾値以上となった場合（ステップＳ２１５：Ｙｅｓ）、照合部１４０は、第１の実施形態と同様にして、第１計算部１３８により選択されるベストショット画像と、予め登録される顔と、を用いて、人物の認証処理を実行する（ステップＳ２１８）。また、第２計算部１４１により選択されるベストショット画像の信頼度が第２閾値以上となった場合（ステップＳ４０１：Ｙｅｓ）、照合部１４０は、第１の実施形態と同様にして、第２計算部１４１により選択されるベストショット画像と、予め登録される顔と、を用いて、人物の認証処理を実行する（ステップＳ２１８）。

【0055】

その後、適用部３０４は、照合部１４０による人物の認証処理の結果に基づいて、第１計算部１３８および第２計算部１４１によるベストショット画像の選択方法を変更する（ステップＳ４０３）。

【0056】

このように、第２の実施形態にかかる監視システムによれば、ベストショット画像の信頼度に応じて、ベストショット画像の選択に用いる指標を動的に変更できるので、監視システムの設置環境が変化した場合でも、当該設置環境に適した指標を用いて、ベストショット画像を選択することができる。

【0057】

以上説明したとおり、第１，２の実施形態によれば、人物の自動的な認証処理に適したベストショット画像を選択できるので、人物の認証処理の精度を向上させることができる。

【0058】

本実施形態の監視装置１３，３００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0059】

また、本実施形態の監視装置１３，３００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の監視装置１３，３００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の監視装置１３，３００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0060】

本実施形態の監視装置１３，３００で実行されるプログラムは、上述した各部（画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、変更部３０３、照合部１４０、適用部３０４、第２計算部１４１、および第２判定部３０６）を含むモジュール構成となっており、実際のハードウェアとしてはプロセッサが上記記憶媒体から～プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像取得部１３５、検出部１３６、追跡部１３７、第１計算部１３８、第１判定部１３９、変更部３０３、照合部１４０、適用部３０４、第２計算部１４１、および第２判定部３０６が主記憶装置上に生成されるようになっている。

【0061】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0062】

１１ ＵＩ
１２ 撮像部
１３，３００ 監視装置
１１１ 表示装置
１１２ 入力装置
１３１，３０２ 第１処理部
１３２，３０５ 第２処理部
１３３ 記憶部
１３４ 通信部
１３５ 画像取得部
１３６ 検出部
１３７ 追跡部
１３８ 第１計算部
１３９ 第１判定部
１４０ 照合部
１４１ 第２計算部
３０３ 変更部
３０４ 適用部
３０６ 第２判定部

【図1】

【図2】

【図3】

【図4】