特許 6182170 セキュリティシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6182170

(24)【登録日】2017年7月28日

(45)【発行日】2017年8月16日

(54)【発明の名称】セキュリティシステム

(51)【国際特許分類】

   G08B 25/04 20060101AFI20170807BHJP

   G08B 25/00 20060101ALI20170807BHJP

   G08B 25/08 20060101ALI20170807BHJP

   G08B 13/196 20060101ALI20170807BHJP

   H04M 11/04 20060101ALI20170807BHJP

【ＦＩ】

   G08B25/04 H

   G08B25/00 510M

   G08B25/08 A

   G08B13/196

   H04M11/04

【請求項の数】3

【全頁数】20

(21)【出願番号】特願2015-56576(P2015-56576)

(22)【出願日】2015年3月19日

(65)【公開番号】特開2016-177484(P2016-177484A)

(43)【公開日】2016年10月6日

【審査請求日】2015年11月12日

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】100117514

【弁理士】

【氏名又は名称】佐々木 敦朗

(72)【発明者】

【氏名】樋口 和久

【審査官】 永田 義仁

(56)【参考文献】

【文献】 特開２００５−１０３６７８（ＪＰ，Ａ）

【文献】 特開２０１３−０１２１４９（ＪＰ，Ａ）

【文献】 特開２００３−２９６８５５（ＪＰ，Ａ）

【文献】 特開２０００−１２６１６０（ＪＰ，Ａ）

【文献】 特開２００９−１８２６２０（ＪＰ，Ａ）

【文献】 特開２０１５−０４１８８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １／００−２１／０２

Ｇ０８Ｂ １３／００−１５／０２

Ｇ０８Ｂ ２３／００−３１／００

Ｈ０３Ｊ ９／００− ９／０６

Ｈ０４Ｂ ７／２４− ７／２６

Ｈ０４Ｍ １／００

Ｈ０４Ｍ １／２４− ３／００

Ｈ０４Ｍ ３／１６− ３／２０

Ｈ０４Ｍ ３／３８− ３／５８

Ｈ０４Ｍ ７／００− ７／１６

Ｈ０４Ｍ １１／００−１１／１０

Ｈ０４Ｍ ９９／００

Ｈ０４Ｑ ９／００− ９／１６

Ｈ０４Ｗ ４／００−９９／００

(57)【特許請求の範囲】

【請求項1】

情報管理サーバと、前記管理サーバとの間で通信可能に接続されたセキュリティ装置を用いたセキュリティシステムであって、
画像及び音響を取得する入力手段と、
前記入力手段から取得された画像に写った人物を特定する画像認識手段と、
前記入力手段から取得された音響に係る人物を特定する音響解析手段と、
前進、後退及び旋回により自在に移動可能な移動手段と、
前記画像認識手段及び前記音響解析手段によって特定された人物と、前記移動手段による移動経路とを関連づけて知人情報として蓄積する記録手段と、
取得された映像又は音声について、前記知人情報を照合する照合手段と、
前記照合手段による照合結果に基づいて、現況情報を報知する報知手段と
を備え、
無線による双方向通信を行う通信インターフェースをさらに備え、
前記知人情報には、前記無線を通じた接続用プロトコルが含まれ、
前記照合手段は、前記通信インターフェースによる前記接続用プロトコルについても照合し、
前記報知手段は、前記照合結果又は前記接続用プロトコルの成否についても、前記現況情報に含めて報知する
ことを特徴とするセキュリティシステム。

【請求項2】

情報管理サーバと、前記管理サーバとの間で通信可能に接続されたセキュリティ装置を用いたセキュリティシステムであって、
画像及び音響を取得する入力手段と、
前記入力手段から取得された画像に写った人物を特定する画像認識手段と、
前記入力手段から取得された音響に係る人物を特定する音響解析手段と、
前進、後退及び旋回により自在に移動可能な移動手段と、
前記画像認識手段及び前記音響解析手段によって特定された人物と、前記移動手段による移動経路とを関連づけて知人情報として蓄積する記録手段と、
取得された映像又は音声について、前記知人情報を照合する照合手段と、
前記照合手段による照合結果に基づいて、現況情報を報知する報知手段と
を備え、
前記報知手段は、前記知人情報が記録されていない人物を認識した場合に、前記知人情報に記録された人物の名前以外の名前を呼びかけるようにして音声出力する
ことを特徴とするセキュリティシステム。

【請求項3】

前記記録手段は、前記知人情報として出現頻度を含めて記録し、
前記照合手段は、出現頻度に応じて、照合順序を変更する
ことを特徴とする請求項１又は２に記載のセキュリティシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般家庭内や店舗等におけるセキュリティシステムに関する。

【背景技術】

【0002】

近年、一般家庭では、住宅での防犯や安全確保等を目的としたホームセキュリティシステムが、広く利用されている（例えば、特許文献１）。特許文献１に開示された技術は、来訪者等を検出するためのセンサーやカメラが家の各所に設置される。利用者の外出中にセンサーが反応すると、カメラによって来訪者を撮影し、その撮影された来訪者の画像を含めて、異常の発生をユーザーの携帯処理端末に通知する。そして、利用者は、携帯処理端末に表示された撮影画像を見ることにより、その来訪者が、正当な来訪者であるか又は不正な侵入者であるかを判断している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−０７１０６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示されたような技術では、センサーなどで検知した人物全てを撮像しているため、正当な来訪者など，
通報の必要ない人物も含めて撮像され、通知されてしまう。そのため、誤通報の回数が多くなってしまい、利用者にとって非常に煩わしいものとなる可能性があった。また、通知先が警察や警備会社である場合も同様である。

【0005】

そこで、本発明は、上記のような問題を解決するものであり、セキュリティ装置を利用し、ユーザーに通知する前に、セキュリティ装置において、来訪者が通報の必要性のある人物か否かを判断することで、誤通報を無くして利用者の確認負荷を軽減させることができるセキュリティシステムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明は、管理サーバと、管理サーバとの間で通信可能に接続されるセキュリティ装置を用いたセキュリティシステムであって、画像及び音響を取得する入力手段と、前記入力手段から取得された画像に写った人物を特定する画像認識手段と、前記入力手段から取得された音響に係る人物を特定する音響解析手段と、前進、後退及び旋回により自在に移動可能な移動手段と、前記画像認識手段及び前記音響解析手段によって特定された人物と、前記移動手段による移動経路とを関連づけて知人情報として蓄積する記録手段と、取得された映像又は音声について、前記知人情報を照合する照合手段と、前記照合手段による照合結果に基づいて、現況情報を報知する報知手段とを備えることを特徴とする。

【0007】

ここで、「画像認識手段」は、その人物の顔が写った画像から顔認識機能によって人物を特定する手段が含まれ、また、「音響解析手段」とは、音声や足音などその人物が発する独自の音響や、その人物が呼ばれる呼び名（名前やあだ名など）を解析することで、その音響を発する人物を特定する手段が含まれる。また、「移動手段による移動経路」とは、人物を特定した場所であって、台所、居間、各居住者の部屋、玄関などが含まれる。

【0008】

さらに、「報知手段」とは、現況情報を知らせる手段であり、例えば、セキュリティ装置が備える音声出力手段が不正侵入者に対して警告音を出力するものであってもよく、また、通信ネットワークを通じて、予め設定された居住者の情報処理端末、又は警備会社や警察などの関係機関に通報するものが含まれる。

【0009】

このような本発明によれば、セキュリティ装置の画像認識手段によって画像に写った人物を特定するとともに、セキュリティ装置の音響解析手段によって音響に係る人物を特定し、画像認識手段及び音響解析手段によって特定された人物を記録手段に蓄積するので、セキュリティ装置を設置している居住者とのやり取りや居住者同士のやり取りから、少しずつ居住者、居住者の知り合い、及び近隣者など、通報の必要ない人物を特定するための詳細な情報を収集することができる。この際、記録手段は、特定された人物と、移動手段による移動経路とを関連づけて知人情報として記録しているので、セキュリティ装置と接している間における居住者の行動パターンを含めて記録することができる。

【0010】

そして、照合手段は、来訪者の画像又は音響を取得した際、知人情報を照合するので、その来訪者が、既に知人情報に記録され、通報の必要ない正当な来訪者であるのか、それとも、知人情報に記録されておらず、泥棒などの不正侵入者である可能性であるのかを適切に判定することができる。その結果、報知手段による利用者に対する誤通報を無くし、利用者の確認負荷を軽減させることができる。

【0011】

また、上記発明では、無線による双方向通信を行う通信インターフェースをさらに備え、前記知人情報には、前記無線を通じた接続用プロトコルが含まれ、前記照合手段は、前記通信インターフェースによる前記接続用プロトコルについても照合し、前記報知手段は、前記照合結果又は前記接続用プロトコルの成否についても、現況情報に含めて報知することを特徴とする。

【0012】

ここで、「無線インターフェース」は、例えば、自宅に設置された無線Ｗｉ−Ｆｉ（登録商標）ルータなどの中継装置と接続が可能である。また、「接続用プロトコル」とは、無線ルータなどの中継装置のエリア内に侵入した情報処理端末と接続処理を行う際に使用される各種データであり、その中には、情報処理端末を特定するユーザー識別子や認証情報が含まれる。

【0013】

この場合、照合手段は、通信インターフェースによる接続用プロトコルについても照合しているので、来訪者の情報処理端末と無線通信を行い、接続用プロトコルを取得してログインすることができた場合、その人物は、住居者や知り合いなど通報の必要ない人物であると判断することができる。一方、認証が承認されるログインできない場合には、不正侵入者の可能性があると判断することができる。

【0014】

このように、本発明では、多くの人物が所持する情報処理端末と無線通信を行う際に使用される接続用プロトコルを用いて照合するので、画像認識や音響解析のみで照合するよりも、より適切な照合結果を得ることができる。

【0015】

さらに、本発明では、通信インターフェースによる接続用プロトコルによって照合を行うことで、例えば、接続エリア圏内に含まれる家の周りの道を、毎日通勤又は通学で通過する人や、接続エリア圏内に含まれる隣の家の人など、顔や音声などが認識されていない人物についても知人情報として記録することができる。これにより、接続エリア内を単に通過する人を不正侵入者と判断して誤通報することを防止できる。

【0016】

さらに、上記発明において、前記報知手段は、前記知人情報が記録されていない人物を認識した場合に、前記知人情報に記録された人物の名前以外の名前を呼びかけるようにして音声出力することを特徴とする。これにより、その呼びかけに対して違う名前である旨の返答を行うことができる者は、その設定を知っている人物であって特定の領域に入ることが許可されている人物であるので、報知手段による利用者に対する誤通報を無くし、利用者の確認負荷を軽減させることができる。

【0017】

上記発明において、前記記録手段は、前記知人情報として出現頻度を含めて記録し、前記照合手段は、出現頻度に応じて、照合順序を変更することが好ましい。この場合、出現頻度が多い人物は、よくその家に訪問している人であって、家に入ることが許可されている人物である可能性が高い。そのため、出現頻度が多い人物から照合することで正当な訪問者が侵入してきた場合において、その判定処理を高速化することができる。

【発明の効果】

【0018】

以上述べたように、この発明によれば、セキュリティ装置を利用し、来訪者が通報の必要性のある人物か否かを判断することで、誤通報を無くして利用者の確認負荷を軽減させることができる。

【図面の簡単な説明】

【0019】

【図1】実施形態に係るセキュリティシステムの全体構成を示す概念図である。

【図2】実施形態に係るセキュリティ装置の内部構成を示すブロック図である。

【図3】実施形態に係る実施形態に係るユーザー端末の内部構成を示すブロック図である。

【図4】実施形態に係る管理サーバの内部構成を示すブロック図である。

【図5】実施形態に係るセキュリティ方法を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下に添付図面を参照して、本発明に係るセキュリティシステムの実施形態を詳細に説明する。図１は、本実施形態に係るセキュリティシステムの全体構成を示す概念図である。

【0021】

図１に示すように、本実施形態に係るセキュリティシステムは、家に設置されたセキュリティ装置１を用いたセキュリティシステムであって、セキュリティ装置１と、通信ネットワーク５に接続される管理サーバ２と、家の居住者が所持するユーザー端末３と、警備会社等が管理する関係機関サーバ４とを備えている。

【0022】

通信ネットワーク５は、無線通信網を含み、通信プロトコルＴＣＰ／ＩＰを用いて種々の通信回線（電話回線やＩＳＤＮ回線、ＡＤＳＬ回線、光回線などの公衆回線、専用回線、無線通信網）を相互に接続して構築される分散型の通信ネットワークであり、この通信ネットワーク５には、１０ＢＡＳＥ−Ｔや１００ＢＡＳＥ−ＴＸ等によるイントラネット（企業内ネットワーク）や家庭内ネットワークなどのＬＡＮなども含まれる。

【0023】

無線基地局６は、中継装置７を通じて通信ネットワーク５に接続され、ユーザー端末３やセキュリティ装置１との間で無線通信接続を確立し、通話やデータ通信を提供する装置である。なお、本実施形態における無線基地局６は、通信ネットワーク５上において、各ユーザー端末３がどのセルに在圏しているのかを管理する位置情報取得部としての機能を果たす。

【0024】

中継装置７は、通信ネットワーク５に接続するためのモデムやターミナルアダプタ、ゲートウェイ装置等のノード装置であり、通信経路の選択や、データ（信号）の相互変換を行い、無線基地局６と、通信ネットワーク５との間における中継処理を行う。この中継装置７には、宅内又は外部に設置されるＷｉ−Ｆｉ（登録商標）ルータやアクセスポイント装置の機能も含まれ、ユーザー端末３やセキュリティ装置１と無線通信を行っている。特に、本実施形態において、中継装置７は、中継装置７の接続エリア内に侵入した情報処理端末８及びユーザー端末３と自動で接続処理を行う接続処理機能を有しており、その接続処理時に接続用プロトコルを用いて情報処理端末の接続プロトコル等を取得する。接続プロトコルとは、接続処理時に使用される各種データであり、その中には、情報処理端末を特定するユーザー識別子や認証情報が含まれる。

【0025】

ユーザー端末３は、本システムを利用する居住者が所持する端末であって、ＣＰＵによる演算処理機能、及び通信インターフェースによる通信処理機能を備えた情報処理端末であり、例えば、スマートフォン等の携帯電話端末の他、パーソナルコンピュータ等の汎用コンピューターや、機能を特化させた専用装置、モバイルコンピューターやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）で実現することができる。

【0026】

このユーザー端末３は、無線基地局６との間で無線通信を行う機能と、アプリケーションを実行する機能とを備えている。この携帯電話機の通信方式としては、例えば、ＦＤＭＡ方式、ＴＤＭＡ方式、ＣＤＭＡ方式、Ｗ−ＣＤＭＡの他、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）方式等が挙げられる。また、上述した通信方式とは別の無線通信インターフェースとして、無線ＬＡＮの規格等に準じたＩＰパケットの送受による通信方式に対応した機能も備えている。さらに、このユーザー端末３には、デジタルカメラ機能、アプリケーションソフトの実行機能、或いはＧＰＳ機能等の機能が搭載されている。なお、本実施形態において、本セキュリティシステムを利用する人の家に訪問する来訪者については、ユーザー端末３と同様な無線通信機能を有する情報処理端末８を所持しているものとする。

【0027】

ここで、来訪者とは、セキュリティ装置１が設置されている家に訪問する人物を意味し、その中には、当該家に居住する居住者の他、居住者の知り合い、泥棒など不正に家に侵入しようとする不正侵入者、家の付近を通過する人、隣の家に住んでいる隣人等が含まれる。

【0028】

セキュリティ装置１は、管理サーバ２との間で通信可能に接続され、各ユーザーの家に設置される装置である。このセキュリティ装置１は、
ＣＰＵによる演算処理機能、及び通信インターフェースによる通信処理機能が実行可能な制御部を備えており、カメラ等によって撮像された画像内から人物の顔を抽出して、当該顔から特定の個人を識別するような顔識別機能が搭載されるとともに、例えば人間同士が日常的に行う対話と同様の対話をユーザーとの間で行い得るような音声対話機能が搭載されている。さらに、セキュリティ装置１は、前進、後退及び旋回可能な移動手段１１を有しており、自宅内を移動手段により自在に移動することができるようになっている。

【0029】

また、本実施形態において、セキュリティ装置１には、セキュリティ装置１が設置される家に来訪者が現れた場合には、その来訪者が、通報の必要がない正当な来訪者か、通報の必要がある不正侵入者であるかを判断する照合機能を有している。

【0030】

なお、セキュリティ装置１が設置される家には、例えば、玄関やベランダ等に監視カメラ９が設置されていてもよい。監視カメラ９は、静止画、又は動画を撮影する撮影装置であり、一定方向に向けて配置され、家の周囲を継続的に撮影する。また、監視カメラ９は、回転台が回転することにより、一定角度の周囲を撮影することができるようになっていてもよいし、例えば全方位カメラなどを利用してもよい。この監視カメラ９によって撮影された画像データ又は動画データは、無線通信を通じてセキュリティ装置１に入力されるようになっている。

【0031】

管理サーバ２は、本システム提供者が運用するサーバ装置であり、各家庭内に設置されるセキュリティ装置１を管理したり、セキュリティ装置１から送信される各種データを蓄積する。管理サーバ２は、例えば、Ｗｅｂサーバ及びアプリケーションサーバ、データベースサーバなど機能を分配された複数の装置からなるサーバ群で構成されている。

【0032】

関係機関サーバ４は、警備会社又は警察等の犯罪に関する関係機関に備えられた情報処理装置である。本実施形態において、関係機関サーバ４は、セキュリティ装置１又はユーザー端末３からの通報を電話又はデータ通信によって取得するようになっている。

【0033】

（各装置の内部構造）
次いで、上述したセキュリティシステムを構成する各装置の内部構造について説明する。図２は、本実施形態に係るセキュリティ装置１の内部構成を示すブロック図であり、図３は、本実施形態に係るユーザー端末３の内部構成を示すブロック図であり、図４は、本実施形態に係る管理サーバ２の内部構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。

【0034】

（１）セキュリティ装置１の内部構成
先ず、セキュリティ装置１の内部構成について説明する。図２に示すように、セキュリティ装置１は、無線インターフェース１０１と、入力インターフェース１０４と、出力インターフェース１０２と、制御部１１０と、記録部１０３とを備えている。

【0035】

無線インターフェース１０１は、無線による双方向通信を行うインターフェースであり、無線ＬＡＮ等のデータ通信用のプロトコルによる無線通信とを実行する。この場合、データ通信用の無線インターフェースとしては、例えば、無線ＬＡＮ接続を行うためにＩＥＥＥ ８０２．１１ｂに準拠した送受信装置とすることができる。なお、この無線インターフェースは、無線ＬＡＮアダプタ等により実現することができる。本実施形態において、通信インターフェース１０１は、中継装置７を介して、カメラ１０４ｂで撮影した画像やマイク１０４ａで取得した音響を管理サーバ２に送信するようになっている。

【0036】

本実施形態において、無線インターフェース１０１には、接続処理部１０１ａを有している。接続処理部１０１ａは、中継装置７と無線通信を介して、通信接続を確立するためのモジュールであり、接続用プロトコル（自機を特定するための識別子を含む）を接続対象となる中継装置７に送信し、認証を行う。なお、接続処理部１０１ａは、中継装置７との間で無線ＬＡＮ接続を行う場合には、データの送受信を行うためのリンクを張るために、無線信号を監視し、中継装置７を識別するＥＳＳＩＤを検出するようにしてもよい。無線インターフェース１０１は、中継装置７が情報処理端末８又はユーザー端末３と接続処理を行い、接続用プロトコルを取得した場合には、その情報処理端末８又はユーザー端末を取得することも可能となっている。

【0037】

入力インターフェース１０４は、画像及び音響を取得するデバイスであり、入力インターフェースには、音声などの音響を取得するマイク１０４ａや、静止画、又は動画を撮影する撮影装置であるカメラ１０４ｂが含まれている。

【0038】

なお、このカメラ１０４ｂは、セキュリティ装置１に設置される撮影装置であり、移動手段１１によって前進、後退及び旋回することで、その撮影方向や撮影場所等を変更可能となっている。なお、本実施形態において、入力インターフェース１０４は、家に設置された監視カメラ９によって撮影された画像データも宅内に設置された中継装置７を介して取得可能となっている。

【0039】

出力インターフェース１０２は、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。特に、この出力インターフェース１０２には、液晶ディスプレイなどの表示部１０２ｂと、音楽、効果音及び音声などの音響を出力するスピーカー１０２ａが含まれている。

【0040】

なお、図示していないが、セキュリティ装置１には、３Ｄセンサー、タッチセンサー、ジャイロセンサー、ソナーセンサー、レーザーセンサー、バンパーセンサーなど種々のセンサーが設けられている。

【0041】

記録部１０３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種のアプリケーション用のプログラム、セキュリティ装置１を識別する装置ＩＤ、その他のデータ等などを記憶する記憶装置である。特に、本実施形態において、記録部１０３には、画像認識部１１１及び音響解析部１１２によって特定された人物を知人情報として蓄積する。

【0042】

知人情報としては、セキュリティ装置１を識別する装置ＩＤに、居住者や知り合いなどの正当な来訪者に関する情報が関連づけて蓄積される。ここで、知人情報には、その人物の個人情報（名前やあだ名などの呼び名、性別、年齢等）、各自が所持するユーザー端末に関する情報（電話番号、メールアドレス、接続用プロトコル等）、人物特徴データ（顔データ（目、鼻、及び唇の位置関係及び輪郭情報等を含む）、体格情報、音声データ、足音などの行動音等が記録される。

【0043】

この際、居住者については、行動パターン情報として、セキュリティ装置１への音声入力内容、外出している時間帯情報、在宅している時間帯情報、自分の部屋の位置情報、玄関の施錠及び解錠を行う動作など居住者の癖、出現頻度等も記録される。一方、知り合いについては、行動パターン情報として、来訪回数などの出現頻度、来訪時間帯情報、セキュリティ装置１の入力インターフェース１０４によって収集した居住者との対話内容や音声認識情報等が記録される。

【0044】

また、この知人情報には、移動手段１１による移動経路とを関連づけて記録されている。この移動経路とは、人物を特定した場所であって、台所、居間、各居住者の部屋、玄関などの位置情報が含まれる。また、例えば、監視カメラ９から画像を取得した場合には、その監視カメラ９が設置された場所（ベランダ、玄関等）の位置情報が記録される。

【0045】

この知人情報は、セキュリティ装置を設置している居住者、居住者の知り合い、及び近隣者などから少しずつ取得し、制御部１１０の制御によって特定された人物に記録されることで詳細な情報が順次蓄積されていくものとする。

【0046】

さらに、記録部１０３には、管理サーバ２から取得した犯罪者の情報（犯罪者の名前、顔や体型などの画像データ等）が蓄積される。犯罪者の情報は、警察などの関係機関からの情報提供や、自治体などによる地域ごとの犯罪情報、公開された情報より取得可能である。さらに、居住者が特定の人物をストーカー登録した場合には、その人物に対する情報（名前、性別、顔画像、音声、名前、電話番号、メールアドレスの他、ユーザー端末に対して送られたメール履歴情報や着信履歴情報等）が記録される。このストーカー情報は、ユーザー操作によって、関係機関サーバ４や管理サーバ２に通報可能である。

【0047】

制御部１１０は、一般のＯＳやブラウザソフトなどのアプリケーションを実行するモジュールであり、通常はＣＰＵ等により実現される。この制御部１１０によって、音声対話機能、物体認識機能の他、例えば人物の表情と声のトーンを分析して人の感情を推定する感情認識機能などが実現される。さらに、本実施形態では、この制御部１１０にセキュリティ機能に係るモジュール群として、画像認識部１１１と、音響解析部１１２と、照合部１１３と、報知部１１４と、駆動制御部１１５とを備えている。

【0048】

駆動制御部１１５は、移動手段の駆動を制御するモジュールであり、各種センサー（図示せず）からの検出信号に基づいて、移動手段を制御して、セキュリティ装置１を前進、後退及び旋回させる。

【0049】

画像認識部１１１は、カメラ１０４ｂから取得された画像に写った人物を特定するモジュールである。この画像認識部１１１は、取得した画像における顔の輪郭部分を、顔認識技術を用いて解析してその人物の顔を認識する。ここで、顔認識技術とは、顔の輪郭部分を特徴点として抽出する技術であって、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合などが種々の技法を用いることができる。なお、画像認識部１１１は、例えば、画像中から体型など身体的特徴を含む身体情報を取得し、顔以外の特徴部分を認識してもよい。

【0050】

音響解析部１１２は、マイク１０４ａから取得された音響に係る人物を特定するモジュールである。本実施形態において、音響解析部１１２は、ユーザーが発する音声、又はユーザーの動作によって発生する種々の音（足音など）などを取得する。音声を取得した場合には、人の声の認識を行う話者認識機能によって特徴部分を抽出する。また、音響解析部１１２は、音声以外の音響（例えば、足音など）の特徴的な音を解析する。これらの技術は、周波数推定、隠れマルコフモデル、パターンマッチング、ニューラルネットワーク、決定木などの手法が用いることができる。

【0051】

なお、取得される画像及び音響の特徴は、セキュリティ装置を設置している居住者、知り合い、及び近隣者とのやり取りから、少しずつ取得し、以下の照合部１１３の照合結果を記録部１０３に記録することでモデル化されていくものとする。

【0052】

なお、制御部１１０には、図示しないが、音響解析部１１２から取得した音声言語をコンピューターによって解析し、話している内容を認識する音声認識機能も備えているとともに、その内容に応じ、人間同士が日常的に行う対話と同様の対話をユーザーとの間で行うような音声対話機能も備えている。

【0053】

照合部１１３は、入力インターフェース１０４等によって取得された映像又は音声などに基づいて知人情報を照合するモジュールである。この照合部１１３で知人情報を照合することで、カメラ１０４ｂから取得された画像に写った人物、又はマイク１０４ａから取得された音響に係る人物を特定することができ、照合結果により、来訪者が、通報の必要ない正当な来訪者であるのか、それとも、泥棒などの不正侵入者である可能性があるのかを判定することができる。

【0054】

この照合部１１３で実行される照合処理は、以下のような複数の処理が実行可能である。そして、照合された結果、知人情報内に一致する人物がいる場合は、その来訪者が、居住者、知り合いなどの正当な来訪者であると判断する。一方、一致する人物がいない場合には、その来訪者は不当侵入者の可能性があると判断する。以下、各処理について説明する。

【0055】

（１）画像認識による照合
この処理は、カメラ１０４ｂ又は監視カメラ９によって撮影された画像を用いて照合を行うものである。具体的に、照合部１１３は、カメラ１０４ｂ又は監視カメラ９から取得された画像に写った人物の顔や身体などの人物特徴部分を画像認識部１１１から取得する。そして、照合部１１３は、取得された人物特徴部分と、一致する人物特徴データ（顔データ等）を有する人物が記録部１０３に記録されているか否かを判断する。取得された人物特徴部分と一致する人物特徴データ（顔データ等）がある場合には、来訪者は正当な来訪者であると判断する。一方、一致する人物がいない場合には、その来訪者は不当侵入者の可能性があると判断する。

【0056】

（２）音響解析による照合
この処理は、マイク１０４ａから取得された音響を用いて照合を行うものである。具体的に、照合部１１３は、マイク１０４ａから取得された音響の特徴部分を音響解析部１１２から取得する。そして、照合部１１３は、取得された音響の特徴部分と、一致する人物特徴データ（音声、又は足音）を有する人物が記録部１０３に記録されているか否かを判断する。取得された人物特徴部分と一致する人物特徴データ（音声、又は足音）がある場合には、来訪者は正当な来訪者であると判断する。一方、一致する人物がいない場合には、その来訪者は不当侵入者の可能性があると判断する。

【0057】

（３）接続用プロトコルによる照合
この処理は、通信インターフェース１０１の接続処理部１０１ａから無線通信処理時に利用された接続用プロトコルを用いて照合を行うものである。具体的に、照合部１１３は、家に設置された中継装置７が取得した、通信処理端末８又はユーザー端末３の接続用プロトコルを通信インターフェース１０１を通じて取得する。そして、照合部１１３は、その接続用プロトコルと、一致する接続用プロトコルを有する情報処理端末が記録部１０３に記録されているか否かを判断する。ここで、取得された接続用プロトコルと一致する接続用プロトコルが記録部１０３内にある場合には、来訪者は正当な来訪者であると判断する。一方、一致する接続用プロトコルが記録部１０３内にない場合には、その来訪者は不当侵入者の可能性があると判断する。

【0058】

なお、上記（１）〜（３）の処理において、照合部１１３は、過去の照合処理を参照して、出現頻度に応じて照合順序を変更することができる。具体的には、記録部１０３に記録された知人情報のうち、出現頻度の多い人物、すなわち、過去に正当な来訪者であると判断される頻度が多い人物から照合することで、正当な来訪者に対する照合処理を即時に完了させることができる。

【0059】

さらに、上記（１）及び（２）の照合処理を実行する際、照合部１１３は、記録部１０３の知人情報に関連づけて記録された移動手段１１による移動経路についても参照し、照合時における現在位置と比較して照合してもよい。例えば、足音によって照合処理を行う際、足音を取得した位置情報を取得し、その位置情報と記録部１０３内に記録された移動経路情報とを参照して判断することで、その位置がフローリングの洋間であるのか畳の和式であるのかなど、場所によって異なる足音を位置情報から特定することができる。

【0060】

（４）犯罪者情報又はストーカー情報による照合
この処理は、記録部１０３の犯罪者情報内の顔データに基づいて照合するものである。具体的に、照合部１１３は、カメラ１０４ｂ又は監視カメラ９から取得された画像に写った人物の顔や身体などの人物特徴部分を画像認識部１１１から取得する。そして、照合部１１３は、取得された人物特徴部分と、一致する人物特徴データ（顔データ等）を有する人物が犯罪者情報内に記録されているか否かを判断する。取得された人物特徴部分と一致する人物特徴データ（顔データ等）がある場合には、来訪者は犯罪者であり、通報すべきと判断する。一方、一致する人物がいない場合には、その来訪者は犯罪者でないと判断する。なお、犯罪者ではないと判断した場合、通報を行わないと判断するのではなく、他の照合を用いて最終判断を行うものとする。

【0061】

（５）セキュリティ装置１との対話及び音声入力による照合
この処理は、セキュリティ装置１の音声対話機能によって、来訪者と対話し、その対話や入力された音声の内容に基づいて照合するものである。具体的に、照合部１１３は、上記（１）〜（３）の処理を行い、知人情報が記録されていない人物を認識した場合に、報知部１１４を制御して、知人情報が記録された人物の名前以外の名前を呼びかけるようにして発声させる。この場合には、不正侵入者などはその設定を知らないので、その設定された名前に対して応答する。その結果、その来訪者が不正侵入者であるか否かをより適切に判断することができる。

【0062】

また、他の処理方法としては、上記（４）の処理を行い、その人物が犯罪者であると判断した場合に、報知部１１４を制御して、その犯罪者の名前を呼びかけるようにして発声させることもできる。この場合、犯罪者は、自分を犯罪者として知っていると警戒するため、不正侵入を防止することができる。

【0063】

（６）来訪者の行動パターンに基づく照合
この処理は、来訪者の行動パターンに基づいて照合するものである。この照合処理の一例としては、カメラ１０４ｂによって来訪者が撮影された際、その画像から来訪者の動作を解析して、居住者の動作の癖と比較するものがある。この場合、例えば、玄関の鍵を解錠する動作を知人情報内のデータと比較することで、不正侵入者か否かを判定することができる。さらに、照合部１１３は、玄関前に滞在する時間を計測し、その滞在時間が長い人物を不正侵入者と判断することもできる。

【0064】

（７）各処理の組み合わせについて
照合部１１３による上記各照合処理は、各処理を単独で実行してもよく、また、２以上の処理を組み合わせて実行することができる。２以上の処理を組み合わせる場合、各処理の順序は並び替え自在であり、また、後続する照合処理を前の照合処理の結果によって制御を変化することもできる。そして、照合部１１３は、複数の照合処理による照合結果に応じて、その人物が正当な来訪者か、不正侵入者であるかを判断する。

【0065】

例えば、画像認識や音響解析による照合を行った後、上記（５）のセキュリティ装置１との対話による照合を行うこともできる。これにより、画像認識又は音響解析による結果に応じて、セキュリティ装置１の対話内容を変更することができる。

【0066】

また他の例としては、上記（１）の画像認識による照合において、玄関やベランダに設置された監視カメラ９から取得して画像を照合した結果、記録部１０３に記録された特定人物ではないと判断した場合には、その場で即時に不正侵入者と判断することなく、この画像認識による照合を繰り返し行ってから判断することもできる。この際、例えば、同一の特徴を有する人物が短時間に何度も家の前を通り過ぎたときに、不正侵入者の可能性があると判断してもよい。一方、毎日、所定の時間に通り過ぎる人物については、通勤や通学等で単に家の前を通過する人であり、不正侵入者であると判断してしまうことを防止できる。

【0067】

さらに、他の例としては、上記（４）の犯罪者情報等による照合を行い、その後、犯罪者ではないと判断した後に、その他の照合処理を行うこともできる。この場合、犯罪者情報の照合を最初に行うことで即時に通報等を行うことができる。

【0068】

また、例えば、上記（３）の接続用プロトコルによる照合を行った後、上記画像認識による照合や、音響解析による照合を行ってもよい。この際、画像認識による照合や音響解析による照合は、例えば、接続用プロトコルによる照合で、接続用プロトコルが一致しない人物であった場合のみ行うこともできる。

【0069】

この場合、接続用プロトコルによる照合で接続用プロトコルが一致する場合、その情報処理端末８を所持する人物が正当な来訪者である可能性が高いことから、その後照合処理を省略して、即時に照合処理を終了させることができる。なお、情報処理端末８を紛失等した場合、その来訪者が不正侵入者の可能性もあるため、その後に、画像認識による照合や音響解析による照合等を必ず行う設定とすることも可能である。

【0070】

さらに、上記（１）〜（６）の各処理は、同じ処理を繰り返し行うこともできる。例えば、上記（３）の接続プロトコルによる照合処理を毎日行うことで、例えば、接続エリア圏内に含まれる家の周りの道を毎日通勤又は通学で通過する人や、接続エリア圏内に含まれる隣の家の人など、顔や音声などが認識されていない人物についても知人情報として記録することができる。これにより、接続エリア内を単に通過する人を不正侵入者と判断して誤通報することを防止できる。

【0071】

報知部１１４は、照合部１１３による照合結果に基づいて、現況情報を報知するモジュールである。この報知部１１４による現況情報の報知には、セキュリティ装置１が備えるスピーカー１０２ａや表示部１０２ｂから音や画像を出力するものや、通信ネットワーク５を通じて、予め設定された居住者のユーザー端末３、又は関係機関サーバ４に通報するものが含まれる。

【0072】

具体的に、報知部１１４は、照合結果が不正侵入者有りの場合、セキュリティ装置１が備えるスピーカー１０２ａから来訪者に対して警告音を出力する、一方、照合結果が正当な訪問者である場合には、音声対話機能によって、日常的に行う対話をその者と行うこともできる。

【0073】

さらに、報知部１１４は、照合結果が不正侵入者であると判断された場合、カメラ１０４ｂ等で撮影した画像を装置ＩＤとともに管理サーバ２に配信する。また、報知部１１４は、不正侵入者が侵入してきたことを示す現況情報を登録されたユーザー端末３に通知する。この際、報知部１１４は、上記（３）の照合処理である接続用プロトコルによる照合を行った場合、その照合結果又は接続用プロトコルの成否についても、現況情報に含めて報知する。

【0074】

また、上記照合部１１３の照合処理において、画像認識による照合を行わずに、来訪者が不正侵入者であると判断した場合、報知部１１４は、カメラ１０４等を制御してその人物の画像を撮影し、その画像データを管理サーバ２に送信するものとする。

【0075】

（２）ユーザー端末３の内部構成
次いで、ユーザー端末３の内部構成について説明する。図３に示すように、ユーザー端末３は、無線インターフェース３１と、入力インターフェース３２と、出力インターフェース３３と、アプリケーション実行部３４と、メモリ３５とを備えている。

【0076】

無線インターフェース３１は、通話を行うための移動通信用のプロトコルによる無線通信と、例えば無線ＬＡＮ等のデータ通信用の接続プロトコルによる無線による双方向通信を行うことを実行するインターフェースである。この場合、データ通信用の無線インターフェースとしては、例えば、無線ＬＡＮ接続を行うためにＩＥＥＥ ８０２．１１ｂに準拠した送受信装置とすることができる。なお、この無線インターフェースは、無線ＬＡＮアダプタ等により実現することができる。

【0077】

本実施形態において、無線インターフェース３１には、接続処理部３１ａを有している。接続処理部３１ａは、中継装置７又はセキュリティ装置１と無線通信を介して、通信接続を確立するためのモジュールであり、無線を通じた接続用プロトコル（自機を特定するための識別子を含む）を接続対象となる中継装置７又はセキュリティ装置１に送信し、認証を行う。

【0078】

なお、接続処理部３１ａは、中継装置７又はセキュリティ装置１との間で無線ＬＡＮ接続を行う場合には、データの送受信を行うためのリンクを張るために、無線信号を監視し、中継装置７又はセキュリティ装置１を識別するＥＳＳＩＤを検出するようにしてもよい。

【0079】

入力インターフェース３２は、操作ボタンやタッチパネルなどユーザー操作を入力するデバイスである。また、出力インターフェース３３は、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。特に、この出力インターフェース３３には、液晶ディスプレイなどの表示部３３ａが含まれている。

【0080】

メモリ３５は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置であり、このメモリ３５内には、ユーザーを識別するユーザーＩＤの他、アプリケーション実行部３４で処理される各種プログラム、及びデータ、接続プロトコル等が蓄積される。

【0081】

アプリケーション実行部３４は、一般のＯＳやブラウザソフトなどのアプリケーションを実行するモジュールであり、通常はＣＰＵ等により実現される。このアプリケーション実行部３４では、通常の通話機能や、ブラウザ機能、及び電子メール機能を有するととともに、本発明に係るプログラムが実行されることで、報知情報取得部３４ａと、通報処理部３４ｂとが仮想的に構築される。

【0082】

報知情報取得部３４ａは、セキュリティ装置１から報知された現況情報を取得するとともに、管理サーバ２にアクセスして、管理サーバ２内に蓄積された不正侵入者の顔データ等を取得するモジュールである。報知情報取得部３４ａは、セキュリティ装置１から現況情報を取得すると不正侵入者がいる旨を表示部３３ａ上に表示させる。また、報知情報取得部３４ａは、利用者の操作に基づいて管理サーバ２にアクセスすると、該当する画像データ又は音響データを取得し、表示部３ａ等に表示させる。なお、不正侵入者がいる旨の通知は、専用のアプリケーションによって通知してもよく、電子メール等で通知してもよい。また、管理サーバ２にアクセスする場合は、一般的なブラウザソフトを用いてアクセスしてもよく、専用アプリケーションを用いてアクセス可能としてもよい。

【0083】

通報処理部３４ｂは、現況情報を参照した利用者のユーザー操作に基づいて、関係機関に通報を行うモジュールである。この通報処理部３４ｂで行われる通報処理としては、例えば、電話による通報の他、専用アプリケーション又は電子メールを用いた通報など種々の方式を用いることができる。

【0084】

なお、来訪者が所持する情報処理端末８は、上記報知情報取得部３４ａ及び通報処理部３４ｂの機能モジュールを除いて、ユーザー端末３の各機能モジュールと同様であるため、説明は省略するものとするが、情報処理端末８においても、接続処理部３１ａと同様な機能モジュールは備えており、中継装置７の接続エリア内に入った場合、自動で中継装置７と無線通信の認証が行われ、情報処理端末８の接続プロトコルが中継装置７に送信されるものとする。そして、中継装置７に送信された情報処理端末８の接続プロトコルは、セキュリティ装置１に送信されるものとする。

【0085】

（３）管理サーバ２の内部構成
次いで、管理サーバ２の内部構成について説明する。管理サーバ２は、単一のサーバ装置の他、Ｗｅｂサーバやデータベースサーバなど複数のサーバ群から構成することができ、本実施形態では、図４に示すように、通信インターフェース２１と、制御部２２と、記憶部２３とを備えている。

【0086】

記憶部２３は、本システムに関する各種の情報を蓄積するデータベース群であり、ここでは、セキュリティ装置蓄積部２３ａと、ユーザー情報蓄積部２３ｂと、犯罪者情報蓄積部２３ｃとを備えている。なお、各データベースは、単体のデータベースとして構成してもよいし、複数のデータベース間でリレーションシップを設定するようにしてもよい。

【0087】

セキュリティ装置蓄積部２３ａは、セキュリティ装置１に関する情報を蓄積するデータベースであり、セキュリティ装置１を識別する装置ＩＤに、セキュリティ装置１に関する情報（製造番号、設定、ＯＳ情報等）などが記録されている。

【0088】

ユーザー情報蓄積部２３ｂは、セキュリティ装置１を所持する居住者に関する情報を蓄積するデータベースであり、本実施形態では、セキュリティ装置１を識別する装置ＩＤに、セキュリティ装置１から送信された現況情報（画像データ、音声データなど）を蓄積している。なお、このユーザー情報蓄積部２３ｂには、利用者からの登録があった場合には、居住者及び知り合い等の人物に関する情報が関連づけて記録される。なお、この情報とは、セキュリティ装置１の記録部１０３に蓄積される知人情報と同様である。

【0089】

犯罪者情報蓄積部２３ｃは、関係機関サーバ４から取得した犯罪者の情報（犯罪者の名前、顔や体型などの画像データ等）を蓄積するデータベースである。この犯罪者情報蓄積部２３ｃの情報は、通信ネットワーク５を通じて、セキュリティ装置１に配信される。

【0090】

制御部２２は、ＣＰＵやＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサ、メモリ、及びその他の電子回路等のハードウェア、或いはその機能を持ったプログラム等のソフトウェア、又はこれらの組み合わせなどによって構成された演算モジュールであり、プログラムを適宜読み込んで実行することにより種々の機能モジュールを仮想的に構築し、構築された各機能モジュールによって、各部の動作制御、ユーザー操作に対する種々の処理を行っている。そして、本実施形態において、制御部２２には、認証部２２ａと、現況情報管理部２２ｂと、情報配信部２２ｃとを備えている。

【0091】

認証部２２ａは、アクセス者の正当性を検証するコンピューター或いはその機能を持ったソフトウェアであり、セキュリティ装置１及びユーザー端末３からのアクセスに対して、装置ＩＤやユーザーＩＤに基づいて認証処理を実行する。

【0092】

本実施形態では、セキュリティ装置１が不正侵入者の可能性有りと判断した場合には、通信ネットワーク５を通じて、この管理サーバ２と同期処理が行われる。この際、認証部２２ａは、セキュリティ装置１から装置ＩＤを取得し、セキュリティ装置蓄積部２３ａを照合することによって、アクセス権利があるか否かなどを確認する。また、ユーザー端末３がアクセスしてきた場合には、認証部２２ａは、ユーザー端末３からユーザーＩＤを取得し、ユーザー情報蓄積部２３ｂを照合することによって、アクセス権利があるか否かなどを確認する。

【0093】

現況情報管理部２２ｂは、認証部２２ａによって承認されたセキュリティ装置１から現況情報を取得し、装置ＩＤに基づいてユーザー情報蓄積部２３ｂに現況情報を記録するモジュールである。

【0094】

情報配信部２２ｃは、各種のデータをセキュリティ装置１又はユーザー端末３に配信するモジュールである。情報配信部２２ｃは、犯罪者情報蓄積部２３ｃをセキュリティ装置１に配信したり、アクセスがあったユーザー端末３に対して、自宅で撮影された画像データや音声データを含む現況情報を配信する。なお、情報配信部２２ｃは、この現況情報を警備会社や警察などに送信可能となっている。

【0095】

（セキュリティ方法）
上述したセキュリティシステムにより、本実施形態に係るセキュリティ方法を実施することができる。図５は、本実施形態に係るセキュリティ方法を示すフローチャート図である。なお、ここでは、既に居住者及び知り合いに関する知人情報が記録部１０３内に蓄積されているものとする。

【0096】

先ず、セキュリティ装置１の制御部１１０では、居住者が外出中において、常時、入力インターフェース１０４等からの検知信号を取得したか否かを判断している（Ｓ１０１）。この検知信号とは、各種センサーが人等を検知した際に取得される信号である。制御部１１０では、いずれかの検知信号を取得するまで、この監視処理を繰り返し行っている（Ｓ１０１における“Ｎ”）。

【0097】

そして、制御部１１０においていずれかの検知信号を取得すると（Ｓ１０１における“Ｙ”）、その検知された種類に応じて各部を制御して来訪者に関する情報を取得する（Ｓ１０２）。ここで、来訪者に関する情報とは、監視カメラ９やカメラ１０４ｂで撮影される画像データ、マイク１０４ａから取得される音響データ、家に設置される中継装置７から取得される接続プロトコル等が含まれる。画像や音響を取得する場合は、セキュリティ装置１又は監視カメラ９に備えられたセンサーを用いて、来訪者が来たことを検知して各部を駆動させる。

【0098】

その後、制御部１１０は、来訪者に関する情報が取得されると解析処理が行う（Ｓ１０３）。ここで、カメラ１０４ｂや監視カメラ９から画像を取得した場合には、画像認識部１１１において、その画像が解析され、人物の顔や体型による特徴部分が抽出される。一方、マイク１０４ａから音響を取得した場合には、音響解析部１１２において、その音響が解析され、人物の音声や足音などの特徴部分が抽出される。そして、解析された特徴部分は、照合部１１３に入力される。

【0099】

照合部１１３は、取得された映像又は音声を含む来訪者に関する情報について、記録部１０３内の知人情報を照合する（Ｓ１０４）。このステップでは、上記（１）〜（６）の照合処理が単独で行われたり、又は上記（７）の照合処理のように複数の処理が組み合わされて実行される。

【0100】

そして、照合処理の結果、照合部１１３は、その来訪者が不正侵入者であるか否かを判断する（Ｓ１０５）。来訪者が不正侵入者でないと判断した場合には（Ｓ１０５における“Ｎ”）、ユーザー端末３に対して報知処理を行うことなく、正当な訪問者であることを現況情報として記録部１０３に記録する（Ｓ１０７）。この際、記録部１０３には、特定された人物と、移動手段１１による移動経路とを関連づけて知人情報に記録される。

【0101】

一方、来訪者が不正侵入者であると判断した場合には（Ｓ１０５における“Ｙ”）、報知部１１４は、照合部１１３による照合結果に基づいて、現況情報を報知する（Ｓ１０６）。具体的に、報知部１１４は、カメラ１０４ｂ等で撮影した画像やマイク１０４ａで取得した音響データ等を装置ＩＤとともに管理サーバ２に配信する。また、報知部１１４は、不正侵入者が侵入してきたことを示す現況情報を登録されたユーザー端末３に通知する。この際、報知部１１４は、照合部１１３において接続用プロトコルの照合を行った場合、その照合結果又は接続用プロトコルの成否についても、現況情報に含めて管理サーバ２及びユーザー端末３に報知する。

【0102】

管理サーバ２では、認証処理の後、セキュリティ装置１から送信された画像データ等をユーザー情報蓄積部２３ｂに記録する。また、ユーザー端末３の報知情報取得部３４ａでは、セキュリティ装置１から不正侵入者がいる旨の通知を受信すると表示部３３ａ上に通知情報を表示させる。その後、ユーザー操作に基づいて、管理サーバ２にアクセスする。管理サーバ２では、認証部２２ａによる認証の後、ユーザー情報蓄積部２３ｂに蓄積された画像データをユーザー端末３に配信する。ユーザー端末３の報知情報取得部３４ａでは、この画像データを受信して、表示部３３ａ上に画像データを表示する。

【0103】

その後、通報処理部３４ｂは、ユーザー操作によって通報操作を受け付けると電話機能や電子メール機能が起動され、関係機関に対して通報を行う。この際、不正侵入者が写った画像データは、管理サーバ２側から送信してもよいし、ユーザー端末３から送信してもよい。その後、セキュリティ装置１の制御部１１０では、不正侵入者有りの判断結果と、画像データ等とを記録部１０３内に記録する（Ｓ１０７）。

【0104】

セキュリティ装置１では、監視処理が終了となるまで（Ｓ１０８における“Ｙ”）、上記ステップＳ１０１からステップＳ１０７の処理を繰り返し行う。ここで、監視処理が終了となるのは、例えば、居住者が帰宅して監視処理機能をオフにした場合などである。

【0105】

（作用・効果）
このような本発明によれば、セキュリティ装置１の画像認識部１１１によって画像に写った人物を特定するとともに、セキュリティ装置１の音響解析部１１２によって音響に係る人物を特定し、画像認識部１１１及び音響解析部１１２によって特定された人物を記録部１０３に蓄積するので、セキュリティ装置１を設置している居住者とのやり取りや居住者同士のやり取りから、少しずつ居住者、居住者の知り合い、及び近隣者など、通報の必要ない人物を特定するための詳細な情報を収集することができる。

【0106】

特に、記録部１０３は、特定された人物と、移動手段による移動経路とを関連づけて知人情報として記録しているので、セキュリティ装置１と接している間における居住者の行動パターンを含めて記録することができる。

【0107】

そして、照合部１１３は、来訪者の画像又は音響を取得した際、知人情報を照合するので、その来訪者が、既に知人情報に記録され、通報の必要ない正当な来訪者であるのか、それとも、知人情報に記録されておらず、泥棒などの不正侵入者である可能性であるのかを適切に判定することができる。その結果、報知部１１４による利用者に対する誤通報を無くし、利用者の確認負荷を軽減させることができる。

【0108】

本実施形態において、知人情報には、無線を通じた接続用プロトコルが含まれ、照合部１１３は、通信インターフェースによる接続用プロトコルについても照合しているので、来訪者の情報処理端末８と無線通信を行い、接続用プロトコルを取得してログインすることができた場合、その人物は、住居者や知り合いなど通報の必要ない人物であると判断することができる。一方、認証が承認されるログインできない場合には、不正侵入者の可能性があると判断することができる。

【0109】

このように、本実施形態では、多くの人物が所持する情報処理端末８と無線通信を行う際に使用される接続用プロトコルを用いて照合するので、画像認識や音響解析のみで照合するよりも、より適切な照合結果を得ることができる。

【0110】

さらに、本実施形態では、通信インターフェース１０１による接続用プロトコルによって照合を行うことで、例えば、接続エリア圏内に含まれる家の周りの道を毎日通勤又は通学で通過する人や、接続エリア圏内に含まれる隣の家の人など、顔や音声などが認識されていない人物についても知人情報として記録することができる。これにより、接続エリア内を単に通過する人を不正侵入者と判断して誤通報することを防止できる。

【0111】

本実施形態において、報知部１１４は、知人情報が記録されていない人物を認識した場合に、知人情報が記録された人物の名前以外の名前を呼びかけるようにして発声している。この場合、その呼びかけに対して違う名前である旨の返答を行うことができる者は、その設定を知っている人物であって特定の領域に入ることが許可されている人物であるので、報知手段による利用者に対する誤通報を無くし、利用者の確認負荷を軽減させることができる。

【0112】

本実施形態において、記録部１０３は、知人情報として出現頻度を含めて記録し、照合部１１３は、出現頻度に応じて、照合順序を変更する。この場合、出現頻度が多く人物は、よくその家に訪問している人であって家に入ることが許可されている人物である。そのため、出現頻度が多い人物から照合することで正当な訪問者が侵入してきた場合において、その判定処理を高速化することができる。

【0113】

［変形例］
なお、上述した各実施形態の説明は、本発明の一例である。このため、本発明は上述した各実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。

【0114】

例えば、上述した実施形態では、家にセキュリティ装置１を設置した場合を例に説明したが、例えば、店舗などに設置した場合でも適用可能である。この場合、居住者は店員となり、報知するユーザー端末３を所持する者も店員となる。さらに、この場合、営業時間等の情報を行動パターン情報として、セキュリティ装置１に記録させておく。この場合、来訪者を検知した時間が営業時間外である場合には、ユーザー端末３を経由することなく、関係機関装置４に通報するように設定することもできる。

【0115】

さらに、上述した実施形態では、来訪者が不正侵入者の場合のみユーザー端末３に報知したが、本発明は、これに限定するものではなく、例えば、子供等が設定した時間に帰宅していない場合には、その旨をユーザー端末３に通知する場合にも適用可能である。

【0116】

この場合、セキュリティ装置１の制御部１１０は、記録部１０３内に記録された外出時間帯情報の時刻となった場合、各種センサーで人の有無を判断したり、カメラ１０４及び監視カメラ９から取得した画像データを解析して、家の中及び家の周りに子供が滞在しているか否かを判断する。そして、子供が滞在してない場合には、ユーザー端末３に対して、帰宅していない旨の情報を通知する。また、予め子供等に所持させた携帯端末やＧＰＳ機能を有する移動通信端末等から子供等の所有する端末の位置情報を受信し、ユーザー端末３に報知することもできる。その後、子供が帰宅したことを検知した場合には、帰宅した旨の情報をユーザー端末３に通知する。この際、セキュリティ装置１は、カメラ１０４ｂを制御して帰宅した子供が写った画像を撮影し、その画像データを併せてユーザー端末３に配信することもできる。

【0117】

さらに、例えば、ユーザー同士の合意に基づいて、同じ地域に設置される複数のセキュリティ装置１に係る管理サーバの情報を介して、セキュリティ装置１で不正侵入として通報した履歴等を共有するなど該セキュリティシステムを複数連携することもできる。

【符号の説明】

【0118】

１…セキュリティ装置
２…管理サーバ
３…ユーザー端末
４…関係機関サーバ
５…通信ネットワーク
６…無線基地局
７…中継装置
８…情報処理端末
９…監視カメラ
１１…移動手段
２１…通信インターフェース
２２…制御部
２２ａ…認証部
２２ｂ…現況情報管理部
２２ｃ…情報配信部
２３…記憶部
２３ａ…セキュリティ装置蓄積部
２３ｂ…ユーザー情報蓄積部
２３ｃ…犯罪者情報蓄積部
３１…無線インターフェース
３１ａ…接続処理部
３２…入力インターフェース
３３…出力インターフェース
３３ａ…表示部
３４…アプリケーション実行部
３４ａ…報知情報取得部
３４ｂ…通報処理部
３５…メモリ
１０１…通信インターフェース
１０１ａ…接続処理部
１０２…出力インターフェース
１０２ａ…スピーカー
１０２ｂ…表示部
１０３…記録部
１０４…入力インターフェース
１０４ａ…マイク
１０４ｂ…カメラ
１１０…制御部
１１１…画像認識部
１１２…音響解析部
１１３…照合部
１１４…報知部
１１５…駆動制御部

【図1】

【図2】

【図3】

【図4】

【図5】