特許 5676210 監視装置、監視方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5676210

(24)【登録日】2015年1月9日

(45)【発行日】2015年2月25日

(54)【発明の名称】監視装置、監視方法、及びプログラム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20150205BHJP

   G08B 25/04 20060101ALI20150205BHJP

   H04N 7/18 20060101ALI20150205BHJP

   H04N 5/76 20060101ALI20150205BHJP

   H04N 5/91 20060101ALI20150205BHJP

   G06T 7/00 20060101ALI20150205BHJP

【ＦＩ】

   G08B25/00 510M

   G08B25/04 E

   H04N7/18 D

   H04N5/76 B

   H04N5/91 Z

   H04N7/18 K

   G06T7/00 510B

【請求項の数】6

【全頁数】11

(21)【出願番号】特願2010-244579(P2010-244579)

(22)【出願日】2010年10月29日

(65)【公開番号】特開2012-98830(P2012-98830A)

(43)【公開日】2012年5月24日

【審査請求日】2013年9月10日

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】110000682

【氏名又は名称】特許業務法人ワンディーＩＰパートナーズ

(72)【発明者】

【氏名】吉野 信治

【審査官】 二階堂 恭弘

(56)【参考文献】

【文献】 特開２００７−３２３４３６（ＪＰ，Ａ）

【文献】 特開平７−２１４７５（ＪＰ，Ａ）

【文献】 特開２００８−２８２２８１（ＪＰ，Ａ）

【文献】 特開２００９−３６７（ＪＰ，Ａ）

【文献】 特開２００９−３８６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｂ ２５／００

Ｇ０６Ｔ ７／００

Ｇ０８Ｂ ２５／０４

Ｈ０４Ｎ ５／７６

Ｈ０４Ｎ ５／９１

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

カメラに、設定されたエリアに存在する人物の顔の撮影を行わせ、撮影された顔の画像データを取得する、撮像部と、
予め登録されている人物の顔の画像データを格納している、記憶部と、
前記撮像部が取得した画像データと、前記記憶部が格納している画像データとを対比して、撮影された顔と予め登録されている人物の顔とが一致している割合を算出する、演算部と、
前記演算部によって算出された割合の値に応じて、段階的な判断を行う、判断部と、
前記判断部によって判断が行われる度に、その判断の結果と、その判断の元になった、前記割合及び前記撮像部が取得した画像データとを、関連付けて蓄積する、データベースと、
前記段階的な判断を示す情報の入力を受け付け、受け付けた前記情報に基づいて、前記データベースを対象とした検索を実行する、検索部と、
を備えていることを特徴とする監視装置。

【請求項2】

前記判断部が、判断した段階に応じて、段階的な警告を行う、請求項１に記載の監視装置。

【請求項3】

（ａ）カメラに、設定されたエリアに存在する人物の顔の撮影を行わせ、撮影された顔の画像データを取得する、ステップと、
（ｂ）前記（ａ）のステップで取得した画像データと、予め登録されている人物の顔の画像データとを対比して、撮影された顔と予め登録されている人物の顔とが一致している割合を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された割合の値に応じて、段階的な判断を行う、ステップと、
（ｄ）前記（ｃ）のステップによって判断が行われる度に、その判断の結果と、その判断の元になった、前記割合及び前記（ａ）のステップで取得した画像データとを、データベースに、関連付けて蓄積する、ステップと、
（ｅ）前記段階的な判断を示す情報の入力を受け付け、受け付けた前記情報に基づいて、前記データベースを対象とした検索を実行する、ステップと、
を有していることを特徴とする監視方法。

【請求項4】

（ｆ）前記（ｃ）のステップによって判断された段階に応じて、段階的な警告を行う、ステップを更に有している、請求項３に記載の監視方法。

【請求項5】

コンピュータに、
（ａ）カメラに、設定されたエリアに存在する人物の顔の撮影を行わせ、撮影された顔の画像データを取得する、ステップと、
（ｂ）前記（ａ）のステップで取得した画像データと、予め登録されている人物の顔の画像データとを対比して、撮影された顔と予め登録されている人物の顔とが一致している割合を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された割合の値に応じて、段階的な判断を行う、ステップと、
（ｄ）前記（ｃ）のステップによって判断が行われる度に、その判断の結果と、その判断の元になった、前記割合及び前記（ａ）のステップで取得した画像データとを、データベースに、関連付けて蓄積する、ステップと、
（ｅ）前記段階的な判断を示す情報の入力を受け付け、受け付けた前記情報に基づいて、前記データベースを対象とした検索を実行する、ステップと、
を実行させるプログラム。

【請求項6】

（ｆ）前記（ｃ）のステップによって判断された段階に応じて、段階的な警告を行う、ステップを更に前記コンピュータに実行させる、請求項５に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔認識技術を利用する監視装置、監視方法、及びプログラムに関する。

【背景技術】

【0002】

近年、顔認識技術の発展により、顔認識技術を利用した監視システムが提案されている（例えば、特許文献１及び２参照）。このような監視システムは、百貨店、スーパー、コンビニエンスストア、レンタルビデオ店といった店舗、更には、事務所、個人宅、集合住宅等において、導入が進められている。

【0003】

例えば、特許文献１は、集合住宅を対象とした監視システムを開示している。特許文献１に開示された監視システムは、先ず、入館者の顔をカメラによって撮影し、撮影された顔の画像データと、予め登録されている居住者の顔の画像データとを対比する。そして、監視システムは、両者が一致しない場合は、更に、撮影された顔の画像データと予め登録されている不審者の顔の画像データとを対比し、撮影された顔の画像データと不審者の顔の画像データとが一致することを条件に、外部に通報を行う。

【0004】

また、特許文献２は、建物に侵入する不法侵入者の監視を行う監視システムを開示している。特許文献２に開示された監視システムは、監視カメラによって撮影された人物の顔の画像データが、予め登録されている関係者の顔の画像データと一致しているかどうかを判定し、一致しない場合に、不法侵入があったと判断して通報を行う。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６−１２００８４号公報

【特許文献2】特開２０１０−２１１５１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、上述したように、特許文献１及び２に開示の監視システムは、撮影された顔の画像データと予め登録されている顔の画像データとを対比し、両者が一致しているかどうかを２値的に判断している。

【0007】

一方、一般的に、顔認識技術においては、撮影された顔の画像データと予め登録されている顔の画像データとを対比して、前者の後者に対する一致率（認識率）が求められ、一致率が閾値以上である場合に一致していると判断される。

【0008】

従って、特許文献１及び２に開示の監視システムでは、一致判定における閾値の設定が重要となる。例えば、撮影された顔の画像データと予め登録されている不審者の顔の画像データとの一致判定において、閾値が低すぎると、通報が頻繁に行われる結果となり、管理者に大きな負担となってしまう。また、閾値が高すぎると、監視に漏れが生じ、不審者の侵入を許してしまう可能性がある。

【0009】

本発明の目的の一例は、上記問題を解消し、管理者の負担を軽減しつつ、不審者の監視漏れを抑制し得る、監視装置、監視方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本発明の一側面における監視装置は、
カメラに、設定されたエリアに存在する人物の顔の撮影を行わせ、撮影された顔の画像データを取得する、撮像部と、
予め登録されている人物の顔の画像データを格納している、記憶部と、
前記撮像部が取得した画像データと、前記記憶部が格納している画像データとを対比して、撮影された顔と予め登録されている人物の顔とが一致している割合を算出する、演算部と、
前記演算部によって算出された割合の値に応じて、段階的な判断を行う、判断部と、
を備えていることを特徴とする。

【0011】

また、上記目的を達成するため、本発明の一側面における監視方法は、
（ａ）カメラに、設定されたエリアに存在する人物の顔の撮影を行わせ、撮影された顔の画像データを取得する、ステップと、
（ｂ）前記（ａ）のステップで取得した画像データと、予め登録されている人物の顔の画像データとを対比して、撮影された顔と予め登録されている人物の顔とが一致している割合を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された割合の値に応じて、段階的な判断を行う、ステップと、
を有していることを特徴とする。

【0012】

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）カメラに、設定されたエリアに存在する人物の顔の撮影を行わせ、撮影された顔の画像データを取得する、ステップと、
（ｂ）前記（ａ）のステップで取得した画像データと、予め登録されている人物の顔の画像データとを対比して、撮影された顔と予め登録されている人物の顔とが一致している割合を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された割合の値に応じて、段階的な判断を行う、ステップと、
を実行させることを特徴とする。

【発明の効果】

【0013】

以上のように、本発明における監視装置、監視方法、及びプログラムによれば、管理者の負担を軽減しつつ、不審者の監視漏れを抑制することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、本発明の実施の形態における監視装置の構成を示すブロック図である。

【図2】図２は、本発明の実施の形態における監視装置による判断の判断基準の一例を示す図である。

【図3】図３は、本発明の実施の形態における監視装置によって過去のデータの検索を行う場合における検索画面の一例を示す図である。

【図4】図４は、本発明の実施の形態における監視装置の基本動作を示すフロー図である。

【図5】図６は、本発明の実施の形態における監視装置の検索処理を示すフロー図である。

【図6】図６は、本発明の実施の形態における監視装置を実現するコンピュータの一例を示すブロック図である。

【発明を実施するための形態】

【0015】

（実施の形態）
以下、本発明の実施の形態における監視装置、監視方法、及びプログラムについて、図１〜図６を参照しながら説明する。最初に、本実施の形態における監視装置１０の構成について図１及び図２を用いて説明する。図１は、本発明の実施の形態における監視装置の構成を示すブロック図である。図２は、本発明の実施の形態における監視装置による判断の判断基準の一例を示す図である。

【0016】

図１に示すように、本実施の形態における監視装置１０は、カメラ２０及び表示装置３０と共に、監視システム４０を構成している。また、監視装置１０は、撮像部１１と、演算部１２と、記憶部１３と、判断部１４とを備えている。

【0017】

撮像部１１は、カメラ２０に接続されており、カメラ２０に、設定されたエリア（例えば、店舗の特定の売場等）に存在する人物の顔の撮影を行わせる。そして、撮像部１１は、カメラから、撮影された人物の顔の画像データを取得し、取得した画像データを演算部１２に出力する。

【0018】

本実施の形態では、カメラ２０は、設定されたエリアを通る人物の顔が撮影範囲に入るように設置されている。また、撮像部１１がカメラ２０に対して撮影の開始を指示すると、カメラ２０は、設定されたエリアに人物が存在するかに関わりなく、設定された間隔で撮影を行い、撮影を行う度に、撮影した静止画の画像データを撮像部１１に出力する。つまり、本実施の形態では、カメラ２０は、設定された間隔で、常時撮影を行うため、画像データには、人物の顔が含まれていない場合も存在するが、設定されたエリア内に人物が存在している場合は、その人物の顔の画像データが取得される。

【0019】

記憶部１３は、予め登録されている人物の顔の画像データを格納している。ここで、予め顔の画像データが登録される人物としては、監視装置１０の管理者によって要注意人物であると判断された人物が挙げられる。例えば、監視装置１０が、スーパー、書店等の小売店を監視対象としている場合であれば、要注意人物としては、万引きの常習者が挙げられる。

【0020】

演算部１２は、撮像部１１が取得した画像データ（撮像データ）と、記憶部１３が記憶している画像データとを対比して、撮影された顔と予め登録されている人物の顔とが一致している割合を算出する。

【0021】

本実施の形態において、演算部１２は、既存の顔認識技術を用いて、両者が一致している割合（以下「一致率」という。）を算出することができる。既存の顔認識技術としては、例えば、特開平９−１３４４３２号公報、特開平２００３−１８７２２９号公報、特開平２００３−２９６７３５号公報、特開２００４−１３９５９６号公報等に開示された顔認識技術が上げられる。なお、演算部が利用する顔認識技術は、既存の技術に限られず、今後開発される顔認識技術であっても良い。

【0022】

また、判断部１４は、演算部１２によって算出された一致率の値に応じて、段階的な判断を行う。なお、一致率の値と判断の内容との関係は、予め、使用目的などに応じて、設定される。更に、判断部１４は、判断した段階に応じて、段階的な警告を行うこともできる。

【0023】

例えば、図２の例では、一致率が８０％以上１００％以下の場合は、判断部１４は、完全に一致していると判断し、表示装置３０の画面に赤色の警報を表示させる。また、一致率が７０％以上８０％未満の場合は、判断部１４は、略一致していると判断し、表示装置３０の画面に黄色の警報を表示させる。更に、判断部１４は、判断に応じて、異なる警告音を出力することもできる。

【0024】

このように、監視装置１０は、注意すべき不審者かどうかの判断を段階的に実行する。よって、管理者は、判断結果に応じて注意を払えば良く、管理者における負担は軽減される。また、監視装置１０は、一致率があまり高くない場合であっても、管理者に対して、通知による注意を促すことができるため、不審者の監視漏れの発生も抑制される。

【0025】

ここで、本実施の形態における監視装置１０の構成及び機能について図３を用いて更に具体的に説明する。図３は、本発明の実施の形態における監視装置によって過去のデータの検索を行う場合における検索画面の一例を示す図である。

【0026】

本実施の形態では、監視装置１０は、撮像部１１、演算部１２、記憶部１３、及び判断部１４に加えて、データベース１５と、検索部１６とを更に備えている。データベース１５は、判断部１４によって判断が行われる度に、その判断の結果と、その判断の元になった画像データとを関連づけて蓄積する。なお、判断の元になった画像データとは、撮像部１１が取得した画像データであって、一致率の算出に用いられた画像データである。また、本実施の形態では、算出された一致率も、判断結果及び画像データと共に、データベース１５に蓄積される態様であっても良い。

【0027】

また、本実施の形態では、データベース１５には、段階的な判断が行われなかった場合、具体的には、図２の例において一致率が７０％未満であった場合でも、判断の結果（一致率）とその判断の元になった画像データとが蓄積される。更に、「一致率が７０％未満」である場合には、一致率の算出ができなかった場合（０％の場合）、具体的には、撮影された顔と、予め登録されている顔とが、全く類似しておらず、演算部１２が、一致率の算出の基準となる画像データを特定できなかった場合も含まれる。

【0028】

検索部１６は、外部の入力機器（図１において図示せず）などを介して、段階的な判断を示す情報の入力を受け付けると、受け付けた情報に基づいて、データベース１５を対象とした検索を実行する。そして、検索部１６は、受け付けた情報に対応した過去のデータ、即ち、過去の判断、及びその判断の元になった画像データ、更には、一致率を取得する。

【0029】

例えば、本実施の形態では、検索部１６は、図４に示す検索画面３１を表示装置３０の画面に表示させることができる。この場合、監視装置１０の管理者が、マウスなどの入力機器を用いて、検索したい判断についてのチェックボックス３２をチェックし、検索ボタン３６を選択（クリック）すると、検索部１６において、段階的な判断を示す情報の入力が受け付けられる。更に、管理者は、チェックボックス３５をチェックすることにより、目的とする一致率を直接入力することもでき、この場合は、一致率が段階的な判断を示す情報として受け付けられる。

【0030】

また、図４に示すように、管理者は、日時始点のチェックボックス３３及び日時終点のチェックボックス３４をチェックし、更に、日時始点及び日時終点それぞれについて具体的な日時を入力することにより、検索を行う期間を指定することもできる。検索結果は、結果表示欄３７に、「日時」、「判断」、「画像」、「一致率」といった項目毎に表示される。

【0031】

また、本実施の形態において、カメラ２０としては、一般的な監視システムで用いられているカメラを用いることができる。また、カメラ２０は、画像データをデジタル信号に変換した状態でネットワークを介して出力可能なＩＰ（Internet Protocol）カメラであっても良いし、画像データをアナログ信号の状態で出力するカメラであっても良い。

【0032】

次に、本発明の実施の形態における監視装置１０の動作について図４を用いて説明する。図４は、本発明の実施の形態における監視装置の基本動作を示すフロー図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態では、監視装置１０を動作させることによって、本実施の形態における監視方法が実施される。よって、本実施の形態における監視方法の説明は、以下の監視装置１０の動作説明に代える。

【0033】

図４に示すように、最初に、撮像部１１は、カメラ２０から、設定されたエリアに存在する人物の顔の画像データを取得する（ステップＡ１）。なお、上述したように、カメラ２０は、設定されたエリアに人物が存在するか否かに関わりなく、設定された間隔で撮影を行うため、撮像部１１がカメラ２０から取得した画像データには、人物の顔が含まれていない場合もある。この場合は、再度、ステップＡ１が実行される。

【0034】

次に、演算部１２は、記憶部１３にアクセスして、予め登録されている人物の顔の画像データを取得し、撮像部１１が取得した画像データ（撮像データ）と、記憶部１３が記憶している画像データとを対比する。そして、演算部１２は、比較結果に基づいて、撮影された顔と予め登録されている人物の顔とが一致している割合（一致率）を算出する（ステップＡ２）。なお、図４においては図示していないが、上述したように、予め登録されている人物の顔の画像データを取得できず、一致率の算出が不可能な場合は、ステップＡ２の代わりにステップＡ５が実行される。

【0035】

次に、判断部１４は、図２に示した判断基準などを用いて、演算部１２によって算出された一致率の値に応じて、段階的な判断を行う（ステップＡ３）。次に、判断部１４は、判断結果に応じて、管理者に対して警告を行う（ステップＡ４）。

【0036】

次に、判断部１４は、ステップＡ３での判断の結果と、判断の元になった画像データとをデータベース１５に格納させ、履歴として蓄積する（ステップＡ５）。本実施の形態では、ステップＡ５においては、更に、ステップＡ２で算出された一致率もデータベース１５に格納される。また、ステップＡ２において、一致率の算出が不可能であった場合は、ステップＡ１で取得された画像データ（撮像データ）と、一致率（０％）とが、データベース１５に格納される。

【0037】

また、ステップＡ５の実行により、監視装置１０での処理は一旦終了する。但し、設定時間の経過後、又は、ステップＡ５の終了後すぐに、ステップＡ１が再度実行される。監視装置１０においては、ステップＡ１〜Ａ５は繰り返し実行される。

【0038】

更に、本実施の形態では、監視装置１０は、ステップＡ１〜Ａ７とは別に、検索のための処理も実行する。ここで、図５を用いて、検索処理における監視装置１０の動作について説明する。図５は、本発明の実施の形態における監視装置の検索処理を示すフロー図である。

【0039】

図５に示すように、先ず、検索部１６は、検索画面３１（図４参照）を介して検索が指示されたかどうかを判定する（ステップＢ１）。ステップＢ１の判定の結果、検索が指示されていない場合は、検索部１６は、待機状態となる。一方、ステップＢ１の判定の結果、検索が指示された場合は、検索部１６は、ステップＢ２を実行する。

【0040】

ステップＢ２では、検索部１６は、データベース１５にアクセスし、そして、検索画面３１を介して入力された情報（検索条件）に応じて、データベース１５から過去のデータ、即ち、過去の判断、その判断の元になった画像データ、及び一致率を取得する。

【0041】

次に、検索部は、取得した過去のデータ（検索結果）を表示装置３０の画面に表示させる（ステップＢ３）。具体的には、本実施の形態では、図４に示したように、検索結果は、結果表示欄３７に、「日時」、「判断」、「画像」、「一致率」といった項目毎に表示される。

【0042】

以上のように本実施の形態によれば、上述したように、管理者の負担を軽減しつつ、不審者の監視漏れを抑制することができる。また、過去の判断について、判断の段階毎に検索を行うことができるため、管理者は、不審者の行動分析を簡単に行うことができる。

【0043】

また、本実施の形態におけるプログラムは、コンピュータに、図５に示すステップＡ１〜Ａ５、図６に示すステップＢ１〜Ｂ３を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における監視装置１０と監視方法とを実現することができる。

【0044】

この場合、コンピュータのＣＰＵ（Central Processing Unit）は、撮像部１１、演算部１２、判断部１４、検索部１６として機能し、処理を行なう。また、本実施の形態では、コンピュータに備えられたハードディスク等の記憶装置が、記憶部１３及びデータベース１５として機能することができる。

【0045】

ここで、実施の形態におけるプログラムを実行することによって、監視装置１０を実現するコンピュータについて図６を用いて説明する。図６は、本発明の実施の形態における監視装置を実現するコンピュータの一例を示すブロック図である。

【0046】

図６に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

【0047】

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

【0048】

また、記憶装置１１３の具体例としては、ハードディスクの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

【0049】

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash）及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。

【産業上の利用可能性】

【0050】

本発明によれば、不審人物の監視を行う際において、管理者の負担を軽減しつつ、不審者の監視漏れを抑制することができる。本発明は、監視装置及び監視方法の分野に有用である。

【符号の説明】

【0051】

１０ 監視装置
１１ 撮像部
１２ 演算部
１３ 記憶部
１４ 判断部
１５ データベース
１６ 検索部
２０ カメラ
２１ 人物
２２ 店舗
３０ 表示装置
３１ 検索画面
３２、３３、３４、３５ チェックボックス
３６ 検索ボタン
３７ 結果表示欄
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】