IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ASSEST株式会社の特許一覧

<>
  • 特許-危険度判別プログラム及びシステム 図1
  • 特許-危険度判別プログラム及びシステム 図2
  • 特許-危険度判別プログラム及びシステム 図3
  • 特許-危険度判別プログラム及びシステム 図4
  • 特許-危険度判別プログラム及びシステム 図5
  • 特許-危険度判別プログラム及びシステム 図6
  • 特許-危険度判別プログラム及びシステム 図7
  • 特許-危険度判別プログラム及びシステム 図8
  • 特許-危険度判別プログラム及びシステム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-07
(45)【発行日】2023-07-18
(54)【発明の名称】危険度判別プログラム及びシステム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20230710BHJP
   G08B 25/04 20060101ALI20230710BHJP
   G08B 25/00 20060101ALI20230710BHJP
   G06Q 50/10 20120101ALI20230710BHJP
【FI】
H04N7/18 K
G08B25/04 E
G08B25/00 510M
G06Q50/10
【請求項の数】 9
(21)【出願番号】P 2019197631
(22)【出願日】2019-10-30
(62)【分割の表示】P 2019020929の分割
【原出願日】2019-02-07
(65)【公開番号】P2020129789
(43)【公開日】2020-08-27
【審査請求日】2022-02-02
(73)【特許権者】
【識別番号】519045387
【氏名又は名称】ASSEST株式会社
(74)【代理人】
【識別番号】100120868
【弁理士】
【氏名又は名称】安彦 元
(72)【発明者】
【氏名】澤田 綾子
【審査官】淀川 滉也
(56)【参考文献】
【文献】特開2014-044742(JP,A)
【文献】特開2012-003595(JP,A)
【文献】特開2018-190199(JP,A)
【文献】特開2010-112044(JP,A)
【文献】特開2007-172487(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G08B 25/04
G08B 25/00
G06Q 50/10
(57)【特許請求の範囲】
【請求項1】
住宅への不審者侵入の危険度を判別するための危険度判別プログラムにおいて、
住宅の外部を撮影した参照用画像情報と、当該住宅の居住者の在宅パターンを示す参照用在宅パターン情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得する連関度取得ステップと、
新たに危険度を判別する際に、新たに住宅の外部を撮影することにより画像情報を取得するとともに、その住宅の在宅パターンを示す在宅パターン情報を取得する情報取得ステップと、
上記連関度取得ステップにおいて取得した連関度を参照し、上記情報取得ステップを介して取得した画像情報と在宅パターン情報とに基づき、上記住宅への不審者侵入の危険度を判別する判別ステップとをコンピュータに実行させること
を特徴とする危険度判別プログラム。
【請求項2】
住宅への不審者侵入の危険度を判別するための危険度判別プログラムにおいて、
住宅の外部を撮影した参照用画像情報と、当該参照用画像情報の撮影時点における時間帯を示す参照用時間帯情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得する連関度取得ステップと、
新たに危険度を判別する際に、新たに住宅の外部を撮影することにより画像情報を取得するとともに、当該撮影時点の時間帯における時間帯情報を取得する情報取得ステップと、
上記連関度取得ステップにおいて取得した連関度を参照し、上記情報取得ステップを介して取得した画像情報と時間帯情報とに基づき、上記住宅への不審者侵入の危険度を判別する判別ステップとをコンピュータに実行させること
を特徴とする危険度判別プログラム。
【請求項3】
上記連関度取得ステップでは、更に上記参照用画像情報を解析することにより人物を抽出した参照用人物情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得し、
情報取得ステップでは、新たに危険度を判別する際に、住宅の外部を撮影することにより取得した画像情報を解析することにより人物を抽出した人物情報を更に取得し、
上記判別ステップでは、更に上記情報取得ステップを介して取得した人物情報に基づき、上記危険度を判別すること
を特徴とする請求項1又は2記載の危険度判別プログラム。
【請求項4】
上記連関度取得ステップでは、更に上記参照用画像情報の撮影時に録音した参照用音声情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得し、
情報取得ステップでは、新たに危険度を判別する際に、住宅の外部を撮影すると同時に録音した音声情報を更に取得し、
上記判別ステップでは、更に上記情報取得ステップを介して取得した音声情報に基づき、上記危険度を判別すること
を特徴とする請求項1~3のうち何れか1項項記載の危険度判別プログラム。
【請求項5】
上記連関度取得ステップでは、更に住宅が警備会社の警備サービスの契約状況を示す参照用警備サービス情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得し、
情報取得ステップでは、新たに危険度を判別する際に、その住宅における警備サービスの契約状況を示す警備サービス情報を更に取得し、
上記判別ステップでは、更に上記警備サービス情報に基づき、上記危険度を判別すること
を特徴とする請求項1~4のうち何れか1項記載の危険度判別プログラム。
【請求項6】
上記連関度取得ステップでは、更に上記住宅に関する構造情報を含む参照用住宅構造情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得し、
情報取得ステップでは、新たに危険度を判別する際に、その住宅における住宅構造情報を取得し、
上記判別ステップでは、更に上記情報取得ステップを介して取得した住宅構造情報とに基づき、上記住宅への不審者侵入の危険度を判別すること
を特徴とする請求項1~5のうち何れか1項記載の危険度判別プログラム。
【請求項7】
上記連関度取得ステップでは、人工知能におけるニューラルネットワークのノードの各出力の重み付け係数に対応する上記連関度を利用すること
を特徴とする請求項1~6のうち何れか1項記載の危険度判別プログラム。
【請求項8】
住宅への不審者侵入の危険度を判別するための危険度判別システムにおいて、
住宅の外部を撮影した参照用画像情報と、当該住宅の居住者の在宅パターンを示す参照用在宅パターン情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得する連関度取得手段と、
新たに危険度を判別する際に、新たに住宅の外部を撮影することにより画像情報を取得するとともに、その住宅の在宅パターンを示す在宅パターン情報を取得する情報取得手段と、
上記連関度取得手段により取得された連関度を参照し、上記情報取得手段を介して取得した画像情報と在宅パターン情報とに基づき、上記住宅への不審者侵入の危険度を判別する判別手段とを備えること
を特徴とする危険度判別システム。
【請求項9】
住宅への不審者侵入の危険度を判別するための危険度判別システムにおいて、
住宅の外部を撮影した参照用画像情報と、当該参照用画像情報の撮影時点における時間帯を示す参照用時間帯情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得する連関度取得手段と、
新たに危険度を判別する際に、新たに住宅の外部を撮影することにより画像情報を取得するとともに、当該撮影時点の時間帯における時間帯情報を取得する情報取得手段と、
上記連関度取得手段により取得された連関度を参照し、上記情報取得手段を介して取得した画像情報と時間帯情報とに基づき、上記住宅への不審者侵入の危険度を判別する判別手段とを備えること
を特徴とする危険度判別システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、住宅への不審者侵入の危険度を判別するための危険度判別プログラム及びシステムに関する。
【背景技術】
【0002】
従来より、住宅への不審者侵入を防止するための数々の試みが行われている。特に一戸建て住宅はマンションと比較して侵入経路が多々あるため、居住者の安全を守るためにより強固な不審者侵入への防止対策を施す必要がある。
【先行技術文献】
【特許文献】
【0003】
【文献】特願2016-210848公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した特許文献1の開示技術では、人工知能により顔画像から人物を特定する技術が記載されているが、人工知能を活用して実際の住宅への不審者侵入の危険度を定量的に判断できるものではない。実際にその危険度を高精度に予測することにより、居住者に対して危険が迫っている場合にはいち早く警備会社や警察に連絡するとともに、実際にはそれほど危険度が高くない場合には、むやみに警備会社による警備員や警察官の出動を招かないようにする必要があった。このような観点は、引用文献1の開示技術には特段記載されていない。
【0005】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、住宅への不審者侵入の危険度を事前に察知し、居住者の安全を守るために、危険度を人工知能を利用して自動的に判別する危険度判別プログラム及びシステムを提供することにある。
【課題を解決するための手段】
【0006】
本発明に係る危険度判別プログラムは、住宅への不審者侵入の危険度を判別するための危険度判別プログラムにおいて、住宅の外部を撮影した参照用画像情報と、当該住宅の居住者の在宅パターンを示す参照用在宅パターン情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得する連関度取得ステップと、新たに危険度を判別する際に、新たに住宅の外部を撮影することにより画像情報を取得するとともに、その住宅の在宅パターンを示す在宅パターン情報を取得する情報取得ステップと、上記連関度取得ステップにおいて取得した連関度を参照し、上記情報取得ステップを介して取得した画像情報と在宅パターン情報とに基づき、上記住宅への不審者侵入の危険度を判別する判別ステップとをコンピュータに実行させることを特徴とする。
【0007】
本発明に係る危険度判別プログラムは、住宅への不審者侵入の危険度を判別するための危険度判別プログラムにおいて、住宅の外部を撮影した参照用画像情報と、当該参照用画像情報の撮影時点における時間帯を示す参照用時間帯情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得する連関度取得ステップと、新たに危険度を判別する際に、新たに住宅の外部を撮影することにより画像情報を取得するとともに、当該撮影時点の時間帯における時間帯情報を取得する情報取得ステップと、上記連関度取得ステップにおいて取得した連関度を参照し、上記情報取得ステップを介して取得した画像情報と時間帯情報とに基づき、上記住宅への不審者侵入の危険度を判別する判別ステップとをコンピュータに実行させることを特徴とする。
【0008】
本発明に係る危険度判別システムは、住宅への不審者侵入の危険度を判別するための危険度判別システムにおいて、住宅の外部を撮影した参照用画像情報と、当該住宅の居住者の在宅パターンを示す参照用在宅パターン情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得する連関度取得手段と、新たに危険度を判別する際に、新たに住宅の外部を撮影することにより画像情報を取得するとともに、その住宅の在宅パターンを示す在宅パターン情報を取得する情報取得手段と、上記連関度取得手段により取得された連関度を参照し、上記情報取得手段を介して取得した画像情報と在宅パターン情報とに基づき、上記住宅への不審者侵入の危険度を判別する判別手段とを備えることを特徴とする。
【0009】
本発明に係る危険度判別システムは、住宅への不審者侵入の危険度を判別するための危険度判別システムにおいて、住宅の外部を撮影した参照用画像情報と、当該参照用画像情報の撮影時点における時間帯を示す参照用時間帯情報とを有する組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を予め取得する連関度取得手段と、新たに危険度を判別する際に、新たに住宅の外部を撮影することにより画像情報を取得するとともに、当該撮影時点の時間帯における時間帯情報を取得する情報取得手段と、上記連関度取得手段により取得された連関度を参照し、上記情報取得手段を介して取得した画像情報と時間帯情報とに基づき、上記住宅への不審者侵入の危険度を判別する判別手段とを備えることを特徴とする。
【発明の効果】
【0010】
住宅への不審者侵入の危険度を事前に察知し、事件を未然に防止するために、危険度を人工知能を利用して自動的にかつ高精度に判別することができる。
【図面の簡単な説明】
【0011】
図1】本発明を適用した危険度判別プログラムが実装される危険度判別システムの全体構成を示すブロック図である。
図2】判別装置の具体的な構成例を示す図である。
図3】本発明を適用した危険度判別プログラムにおける動作について説明するための図である。
図4】参照用ロケーション情報をも含めた3段階以上の連関度を設定した例を示す図である。
図5】参照用在宅パターン情報をも含めた3段階以上の連関度を設定した例を示す図である。
図6】参照用時間帯情報をも含めた3段階以上の連関度を設定した例を示す図である。
図7】参照用人物情報をも含めた3段階以上の連関度を設定した例を示す図である。
図8】参照用音声情報をも含めた3段階以上の連関度を設定した例を示す図である。
図9】参照用警備サービス情報をも含めた3段階以上の連関度を設定した例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明を適用した危険度判別プログラムについて、図面を参照しながら詳細に説明をする。
【0013】
図1は、本発明を適用した危険度判別プログラムが実装される危険度判別システム1の全体構成を示すブロック図である。危険度判別システム1は、情報取得部9と、情報取得部9に接続された判別装置2と、判別装置2に接続されたデータベース3とを備えている。
【0014】
情報取得部9は、本システムを活用する者が各種コマンドや情報を入力するためのデバイスであり、具体的にはキーボードやボタン、タッチパネル、マウス、スイッチ等により構成される。情報取得部9は、テキスト情報を入力するためのデバイスに限定されるものではなく、マイクロフォン等のような音声を検知してこれをテキスト情報に変換可能なデバイスで構成されていてもよい。また情報取得部9は、カメラ等の画像を撮影可能な撮像装置として構成されていてもよい。情報取得部9は、紙媒体の書類から文字列を認識できる機能を備えたスキャナで構成されていてもよい。また情報取得部9は、後述する判別装置2と一体化されていてもよい。情報取得部9は、検知した情報を判別装置2へと出力する。
【0015】
データベース3は、住宅への不審者の侵入に関して以前発生した事件、或いは事件まで至らなかったものの、危険度が高かった事例等、住宅への不審者侵入の危険度に関する情報を蓄積している。データベース3は、実際に情報取得部9を構成するカメラにより以前撮像した参照用画像情報、その住宅に関する構造情報を含む参照用住宅構造情報、住宅のロケーションを特定するための参照用ロケーション情報、当該住宅の居住者の在宅パターンを示す参照用在宅パターン情報、当該参照用画像情報の撮影時点における時間帯を示す参照用時間帯情報、参照用画像情報を解析することにより人物を抽出した参照用人物情報、参照用画像情報の撮影時に録音した参照用音声情報、住宅が警備会社の警備サービスの契約状況を示す参照用警備サービス情報等が蓄積されている。
【0016】
判別装置2は、例えば、パーソナルコンピュータ(PC)等を始めとした電子機器で構成されているが、PC以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。ユーザは、この判別装置2による探索解を得ることにより、住宅への不審者の侵入における危険度を判別することができる。
【0017】
図2は、判別装置2の具体的な構成例を示している。この判別装置2は、判別装置2全体を制御するための制御部24と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部25と、有線通信又は無線通信を行うための通信部26と、各種判断を行う判断部27と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部28とが内部バス21にそれぞれ接続されている。さらに、この内部バス21には、実際に情報を表示するモニタとしての表示部23が接続されている。
【0018】
制御部24は、内部バス21を介して制御信号を送信することにより、判別装置2内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部24は、操作部25を介した操作に応じて各種制御用の指令を内部バス21を介して伝達する。
【0019】
操作部25は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部25は、上記実行命令がユーザから入力された場合には、これを制御部24に通知する。この通知を受けた制御部24は、判断部27を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。この操作部25は、前述した情報取得部9として具現化されるものであってもよい。
【0020】
判断部27は、住宅への不審者の侵入の危険度に関する各種判断を担う。この判断部27は、推定動作を実行するに当たり、必要な情報として記憶部28に記憶されている各種情報や、データベース3に記憶されている各種情報を読み出す。この判断部27は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。
【0021】
表示部23は、制御部24による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部23は、例えば、液晶ディスプレイ(LCD)等によって実現される。
【0022】
記憶部28は、ハードディスクで構成される場合において、制御部24による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部28には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部24により読み出されて実行されることになる。
【0023】
上述した構成からなる危険度判別システム1における動作について説明をする。
【0024】
危険度判別システム1では、例えば図3に示すように、参照用画像情報と、参照用住宅構造情報との組み合わせが形成されていることが前提となる。参照用画像情報とは、住宅、住宅の門、玄関、庭、外構、塀、柵、駐車スペース、通用口等に設置されたカメラで、その住宅の外部を撮影した画像であり、例えば、住宅の外部の道を通行人が通行している画像、住宅の居住者が門から住宅内に入っていく画像、更には、不審者が住宅の柵をよじ登って侵入しようとする画像等、様々である。
【0025】
参照用住宅構造情報は、当該住宅の構造を示すデータであり、例えば空中から撮影した住宅全体の写真、道路側から撮影した住宅の写真、住宅の竣工図の電子データ、地図上において示される住宅全体の構造図等の電子データである。
【0026】
図3の例では、例えば参照用画像情報が、住宅の外部を各場所ごとに、或いは各時系列毎に撮影した参照用画像情報P11~P13、参照用住宅構造情報として、構造F~構造I等であるものとする。
【0027】
入力データとしては、このような参照用画像情報と、参照用住宅構造情報が並んでいる。このような入力データとしての、参照用画像情報に対して、参照用住宅構造情報が組み合わさったものが、図3に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、住宅への不審者侵入への危険度が、パーセンテージとして表示されている。
【0028】
参照用画像情報と参照用住宅構造情報との各組み合わせ(中間ノード)は、この出力解としての危険度に対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報と参照用住宅構造情報がこの連関度を介して左側に配列し、各危険度が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報と参照用住宅構造情報に対して、何れの危険度と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報と参照用住宅構造情報が、いかなる危険度に紐付けられる可能性が高いかを示す指標であり、参照用画像情報と参照用住宅構造情報から最も確からしい危険度を選択する上での的確性を示すものである。図3の例では、連関度としてw13~w22が示されている。このw13~w22は以下の表1に示すように10段階で示されており、10点に近いほど、中間ノードとしての各組み合わせが出力としての危険度と互いに関連度合いが高いことを示しており、逆に1点に近いほど中間ノードとしての各組み合わせが出力としての危険度と互いに関連度合いが低いことを示している。
【0029】
【表1】
【0030】
判別装置2は、このような図3に示す3段階以上の連関度w13~w22を予め取得しておく。つまり判別装置2は、実際の危険度の判別を行う上で、参照用画像情報と、参照用接近情報、並びにその場合の危険度がどの程度であったかのデータを蓄積しておき、これらを分析、解析することで図3に示す連関度を作り上げておく。
【0031】
例えば、参照用画像情報P11が住宅の居住者が門から住宅内に入っていく画像であるものとする。また、この判別対象の住宅の構造Fであるものとしたときに、以前のデータにおいて住宅の居住者に被害が及ぶような事件が起きたか否か、また事件に至らなくても事件が起きてもおかしくない程度の危険度であったか否か、或いは特に安全だったか否か等を抽出する。これらのデータは、参照用画像情報については過去のカメラの撮影した画像データの記録から得ることができ、また、参照用構造情報は、ハウスメーカーや役所に記録されている竣工図や地図データ、或いは空撮した画像や道路から以前撮像した住宅の画像データから抽出するようにしてもよい。危険度の数値化は、上記参照用画像情報を複数人で視認し、危険度に関するアンケート調査等を集計して求めるようにしてもよい。
【0032】
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P11で、かつ構造Fである場合に、実際に事件が起きたか否か、或いは事件には至らなかったものの危険性が高かったか否か等を過去のデータから分析する。事件が起きた事例や、事件につながる危険性が高いほど危険度の高い出力につながる連関度をより高く設定し、事件が起きた事例が少ないほど危険度の低い出力につながる連関度をより高く設定する。参照用画像情報P11で、かつ構造Hである場合においてリンクする中間ノード61aの例では、危険度90%と、危険度30%の出力にリンクしているが、以前の事例から危険度が極めて高いケースであるため、危険度90%につながるw13の連関度を7点に、危険度30%につながるw14の連関度を2点に設定している。
【0033】
また、この図3に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードの出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。
【0034】
図3に示す連関度の例で、ノード61bは、参照用画像情報P11に対して、参照用住宅構造情報の構造Fの組み合わせのノードであり、危険度60%の連関度がw15、危険度0%の連関度がw16となっている。ノード61cは、参照用画像情報P12に対して、参照用住宅構造情報の構造G(例えば庭の配置に関する構造情報)と、更に構造I(例えば、柵の配置に関する構造情報)の組み合わせのノードであり、危険度30%の連関度がw17、危険度70%の連関度がw18となっている。
【0035】
このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから新たに危険度を判別する際において、上述した学習済みデータを利用して危険度を判別することとなる。かかる場合には、画像情報を新たに取得するとともに、住宅構造情報を取得する。画像情報は参照用画像情報に対応し、住宅構造情報は、参照用住宅構造情報に対応する。
【0036】
新たに取得する画像情報は、上述した情報取得部9によるカメラにより画像を撮影する。この撮影は、上述した参照用画像情報を得る上で撮影した住宅の外部の画像と同一である。また撮影条件は、上述した参照用画像情報を得る上での撮影条件(撮影角度、画角、解像度)が必ずしも全て同一であるところまでは要求されない。
【0037】
住宅構造情報の取得は、危険度を判別しようとする住宅の住宅構造情報が記録されているデータベースにアクセスする。例えば、住宅構造情報が住所を通じて関連付けられてデータベースに記録されている場合には、住所を入力することで、その住所にリンクされている住宅構造情報を読み出すようにしてもよい。
【0038】
このようにして新たに取得した画像情報と、電車の接近情報に基づいて、実際にその新たに画像情報を取得した時点における危険度を求める。かかる場合には、予め取得した図3(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP12と同一かこれに類似するものである場合であって、取得した住宅構造情報が構造Iである場合には、連関度を介してノード61dが関連付けられており、このノード61dは、「危険度60%」がw19、「危険度70%」が連関度w20で関連付けられている。かかる場合には、連関度の最も高い「危険度60%」を最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる「危険度70%」を最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。
このようにしてこれらの最適解の選択は、図3に示す学習済みモデルを利用し、実際に解を求めたい入力データ(画像情報、住宅構造情報)を入力すると出力解(危険度)が出力される人工知能を通じて実現することができる。しかし、本発明は人工知能を活用することは必須ではなく、参照用画像情報と、参照用住宅構造情報との組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度を利用するものであればいかなる形態で実現されるものであってもよい。
【0039】
また、入力から伸びている連関度w1~w12の例を以下の表2に示す。
【0040】
【表2】
【0041】
この入力から伸びている連関度w1~w12に基づいて中間ノード61が選択されていてもよい。つまり連関度w1~w12が大きいほど、中間ノード61の選択における重みづけを重くしてもよい。しかし、この連関度w1~w12は何れも同じ値としてもよく、中間ノード61の選択における重みづけは何れも全て同一とされていてもよい。
【0042】
図4は、上述した参照用画像情報と、参照用ロケーション情報との組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度が設定されている例を示している。
【0043】
入力データとしては、このような参照用画像情報と、参照用ロケーション情報が並んでいる。このような入力データとしての、参照用画像情報に対して、参照用ロケーション情報が組み合わさったものが、図4に示す中間ノードである。
参照用ロケーション情報とは、その住宅のロケーションを特定するためのあらゆる情報が含まれる。参照用ロケーション情報としては、住所情報、地図情報以外に、その住宅を含めた周囲の環境を撮影した画像も含まれる。また住宅の隣地の建物の状況や、住宅の隣地が商店、ビル、飲食店、空き地、駐車場、学校等、いかなる用途に利用されているのかもこの参照用ロケーション情報に含まれる。つまり隣地が空き地であれば、その空き地から住宅内に侵入されやすいことも考えられることから、これについても危険度を支配する要因になる。
【0044】
判別装置2は、このような図4に示す3段階以上の連関度w13~w22を予め取得しておく。つまり判別装置2は、実際の危険度の判別を行う上で、参照用画像情報と、参照用ロケーション情報、並びにその場合の危険度がどの程度であったかのデータを蓄積しておき、これらを分析、解析することで図4に示す連関度を作り上げておく。
【0045】
図4に示す連関度の例で、ノード61bは、参照用画像情報P11に対して、参照用ロケーション情報がロケーションJの組み合わせのノードであり、危険度60%の連関度がw15、危険度0%の連関度がw16となっている。
【0046】
このような連関度が設定されている場合も同様に、画像情報を新たに取得するとともに、ロケーション情報を取得する。画像情報は参照用画像情報に対応し、ロケーション情報は、参照用ロケーション情報に対応する。
【0047】
ロケーション情報の取得は、危険度を判別しようとする住宅の住宅構造情報が記録されているデータベースにアクセスする。例えば、ロケーション情報が住所を通じて関連付けられてデータベースに記録されている場合には、住所を入力することで、その住所にリンクされているロケーション情報(隣地が飲食店で比較的明るい、或いは隣地が駐車場で不審者が侵入しやすい等)を読み出すようにしてもよい。
【0048】
危険度を求める上では、予め取得した図4に示す連関度を参照する。例えば、取得した画像が参照用画像情報P12に同一又は類似で、ロケーション情報がロケーションMである場合、その組み合わせはノード61cが関連付けられており、このノード61cは、危険度30%が連関度w17で、また危険度70%が連関度w18で関連付けられている。このような連関度の結果、w17、w18に基づいて、実際にその新たに画像情報と接近情報とを取得した時点における危険度を求めていくことになる。
【0049】
図5は、上述した参照用画像情報と、参照用在宅パターン情報との組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度が設定されている例を示している。
【0050】
入力データとしては、このような参照用画像情報と、参照用在宅パターン情報が並んでいる。このような入力データとしての、参照用画像情報に対して、参照用ロケーション情報が組み合わさったものが、図5に示す中間ノードである。
【0051】
参照用在宅パターン情報とは、その住宅に居住する居住者の在宅パターンを特定するためのあらゆる情報が含まれる。参照用在宅パターン情報としては、例えば住宅における電力の使用量や玄関や門に設置されたカメラで撮影した居住者の出入りの画像に基づいて、居住者が在宅している時間帯、外出している時間帯をパターン化したものである。月曜日~日曜日の間で、各曜日の各時間帯毎に、居住者の在宅時間帯、外出時間帯を、上述した電力使用量や画像に基づいてパターン化しておく。このとき、上述した電力使用量や画像を予め機械学習させておき、パターンを判別するようにしてもよい。
【0052】
判別装置2は、このような図5に示す3段階以上の連関度w13~w22を予め取得しておく。つまり判別装置2は、実際の危険度の判別を行う上で、参照用画像情報と、参照用在宅パターン、並びにその場合の危険度がどの程度であったかのデータを蓄積しておき、これらを分析、解析することで図5に示す連関度を作り上げておく。
【0053】
図5に示す連関度の例で、ノード61bは、参照用画像情報P11に対して、参照用ロケーション情報がロケーションJの組み合わせのノードであり、危険度60%の連関度がw15、危険度0%の連関度がw16となっている。
【0054】
このような連関度が設定されている場合も同様に、画像情報を新たに取得するとともに、在宅パターン情報を取得する。画像情報は参照用画像情報に対応し、在宅パターン情報は、参照用在宅パターン情報に対応する。
【0055】
在宅パターン情報の取得は、危険度を判別しようとする住宅の在宅パターン情報が記録されているデータベースにアクセスする。例えば、在宅パターン情報が住所を通じて関連付けられてデータベースに記録されている場合には、住所を入力することで、その住所にリンクされている在宅パターン情報(月~金は、9時~21時が外出でそれ以外が在宅、土日は、10時~15時が外出でそれ以外が在宅等)を読み出すようにしてもよい。
【0056】
危険度を求める上では、予め取得した図5に示す連関度を参照する。例えば、取得した画像が参照用画像情報P12に同一又は類似で、在宅パターン情報が在宅パターンRである場合、その組み合わせはノード61cが関連付けられており、このノード61cは、危険度30%が連関度w17で、また危険度70%が連関度w18で関連付けられている。このような連関度の結果、w17、w18に基づいて、実際にその新たに画像情報と接近情報とを取得した時点における危険度を求めていくことになる。
【0057】
図6は、上述した参照用画像情報と、参照用画像情報の撮影時点における時間帯を示す参照用時間帯情報との組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度が設定されている例を示している。
【0058】
入力データとしては、このような参照用画像情報と、参照用時間帯情報が並んでいる。このような入力データとしての、参照用画像情報に対して、参照用時間帯情報が組み合わさったものが、図6に示す中間ノードである。
【0059】
参照用時間帯情報とは、その参照用画像情報の撮影時点の時間帯を意味するものであり、一時点の時刻のみならず、例えば10時10分~10時20分等のように時間の幅を持たせたものであってもよい。
【0060】
判別装置2は、このような図6に示す3段階以上の連関度w13~w22を予め取得しておく。つまり判別装置2は、実際の危険度の判別を行う上で、参照用画像情報と、参照用在宅パターン、並びにその場合の危険度がどの程度であったかのデータを蓄積しておき、これらを分析、解析することで図6に示す連関度を作り上げておく。
【0061】
図6に示す連関度の例で、ノード61bは、参照用画像情報P11に対して、参照用時間帯情報が時間帯Sの組み合わせのノードであり、危険度60%の連関度がw15、危険度0%の連関度がw16となっている。つまり犯罪が不審者の侵入が少ない時間帯と、多い時間帯がある。特に昼間は不審者の侵入が少なく、夜は逆に多い場合には、各時間帯S~V、・・についてそれぞれ参照用画像情報との関係において危険度を予め分析しておき、中間ノード61としての連関度において関連付けて記憶しておく。
【0062】
このような連関度が設定されている場合も同様に、画像情報を新たに取得するとともに、在宅時間帯情報を取得する。画像情報は参照用画像情報に対応し、時間帯情報は、参照用在宅時間帯情報に対応する。
【0063】
時間帯情報の取得は、危険度を判別しようとする住宅における画像情報の撮影時点の時間帯を抽出する。そして抽出した時間帯情報を参照用時間帯情報と照らし合わせて判別を行う。かかる場合には、参照用時間帯情報が記録されているデータベースにアクセスする。例えば、時間帯情報が9時20分~9時30分(時間帯V)である場合、同じ参照用時間帯情報の時間帯V(9時20分~9時30分)を介して危険度を求めていく。
【0064】
危険度を求める上では、予め取得した図6に示す連関度を参照する。例えば、取得した画像が参照用画像情報P12に同一又は類似で、時間帯情報が時間帯Vである場合、その組み合わせはノード61cが関連付けられており、このノード61cは、危険度30%が連関度w17で、また危険度70%が連関度w18で関連付けられている。このような連関度の結果、w17、w18に基づいて、実際にその新たに画像情報と接近情報とを取得した時点における危険度を求めていくことになる。
【0065】
図7は、上述した参照用画像情報と、参照用住宅構造情報に加えて、更に参照用人物情報との組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度が設定されている例を示している。
【0066】
参照用人物情報とは、参照用画像情報に写し出されている人物を抽出した情報である。人物情報は、顔の特徴(顔の輪郭、目鼻立ち、髪型、眼鏡の有無、皺、傷等)や、顔の特徴から推定した年齢や性別等である。顔の特徴の抽出方法は、ニューラルネットワークを用いるようにしてもよく、かかる場合には、(1)顔部分の画像データからエッジ抽出。(2)顔部分の画像データから肌色の領域を抽出、(3)(1)で生成したエッジ画像から(2)で抽出した肌色領域に対応する領域を抽出、(4)肌色領域に対応するエッジ画像から垂直方向及び水平方向の各々の累積ヒストグラムを算出、(5)輝度が所定の閾値以上になる累積ヒストグラムの画素数をNN(neural network)の入力データとする等、周知の方法を活用するようにしてもよい。また(6)NNにより、入力データと教師データとに基づき、来訪者の年齢及び性別を推定するようにしてもよい。
【0067】
かかる場合において、連関度は、図7に示すように、参照用画像情報と、参照用住宅構造情報と、参照用人物情報との組み合わせの集合が上述と同様に中間ノードのノード61a~61eとして表現されることとなる。
【0068】
例えば、図7において、ノード61cは、参照用画像情報P12が連関度w3で、参照用住宅構造情報「構造G」が連関度w7で、参照用人物情報としての「人物β(例えば、人物情報が良く来訪する隣に住んでいる奥様の場合)」が連関度w11で連関している。同様にノード61eは、参照用画像情報P13が連関度w5で、参照用住宅構造情報「構造G」が連関度w8で、参照用人物情報としての「人物α(例えば、今まであったことが無い40代男性)」が連関度w10で連関している。参照用人物情報において登録されていない場合も、その登録されていないことを一つの参照用人物情報として取り扱うようにしてもよい。
【0069】
このような連関度が設定されている場合も同様に、新たに取得した画像情報と、住宅構造情報と、人物情報に基づいて、実際にその新たに画像情報を取得した時点における危険度を求める。ここでいう人物情報は、実際に新たに取得した画像情報から参照用人物情報の抽出と同様の手法により画像解析を行い、人物情報を抽出する。
【0070】
この危険度を求める上で予め取得した図7に示す連関度を参照する。例えば、取得した画像が参照用画像情報P12に同一又は類似で、参照用住宅構造情報「構造G」で、抽出した人物情報が人物βである場合、その組み合わせはノード61cが関連付けられており、このノード61cは、危険度30%が連関度w17で、また危険度70%が連関度w18で関連付けられている。このような連関度の結果、w17、w18に基づいて、実際にその新たに画像情報と接近情報とを取得した時点における危険度を求めていくことになる。
【0071】
参照用人物情報において登録されていない場合を仮に人物βとし、抽出した人物情報が参照用人物情報において登録されていない者である場合も人物βが入力されたものとみなして解探索を行うこととなる。
【0072】
なお、参照用画像情報と参照用ロケーション情報との組み合わせ、参照用画像情報と参照用在宅パターン情報との組み合わせ、参照用画像情報と参照用時間情報との組み合わせに対しても、この参照用人物情報との組み合わせを更に含めて連関度を定義するようにしてもよい。また、参照用画像情報と参照用人物情報との組み合わせで連関度を定義するようにしてもよい。
【0073】
図8は、上述した参照用画像情報と、参照用住宅構造情報に加えて、更に参照用音声情報との組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度が設定されている例を示している。
【0074】
参照用音声情報とは、参照用画像情報の撮影時(又は撮影時の前後に亘る所定時間)に実際にマイクロフォン等を通じて録音した音声である。音声情報の解析は周知の手段により、或いはNNを用いて細かく分析されるものであってもよい。また音声情報を周波数軸で解析したものであってもよい
【0075】
かかる場合において、連関度は、図8に示すように、参照用画像情報と、参照用住宅構造情報と、参照用音声人物情報との組み合わせの集合が上述と同様に中間ノードのノード61a~61eとして表現されることとなる。
【0076】
例えば、図8において、ノード61cは、参照用画像情報P12が連関度w3で、参照用住宅構造情報「構造G」が連関度w7で、参照用音声情報としての「音声X」が連関度w11で連関している。
【0077】
このような連関度が設定されている場合も同様に、新たに取得した画像情報と、住宅構造情報と、音声情報に基づいて、実際にその新たに画像情報を取得した時点における危険度を求める。ここでいう音声情報は、画像情報の撮影時(又は撮影時の前後に亘る所定時間)に実際にマイクロフォン等を通じて録音した音声である。音声情報の解析は周知の手段により、或いはNNを用いて細かく分析されるものであってもよい。また音声情報を周波数軸で解析したものであってもよい。
【0078】
この危険度を求める上で予め取得した図8に示す連関度を参照する。例えば、取得した画像が参照用画像情報P12に同一又は類似で、参照用住宅構造情報「構造G」で、抽出した音声情報が音声Xである場合、その組み合わせはノード61cが関連付けられており、このノード61cは、危険度30%が連関度w17で、また危険度70%が連関度w18で関連付けられている。このような連関度の結果、w17、w18に基づいて、実際にその新たに画像情報と接近情報とを取得した時点における危険度を求めていくことになる。
【0079】
なお、参照用画像情報と参照用ロケーション情報との組み合わせ、参照用画像情報と参照用在宅パターン情報との組み合わせ、参照用画像情報と参照用時間情報との組み合わせに対しても、この参照用音声情報との組み合わせを更に含めて連関度を定義するようにしてもよい。また、参照用画像情報と参照用音声情報との組み合わせで連関度を定義するようにしてもよい。
【0080】
図8は、上述した参照用画像情報と、参照用住宅構造情報に加えて、更に参照用音声情報との組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度が設定されている例を示している。
【0081】
参照用音声情報とは、参照用画像情報の撮影時(又は撮影時の前後に亘る所定時間)に実際にマイクロフォン等を通じて録音した音声である。音声情報の解析は周知の手段により、或いはNNを用いて細かく分析されるものであってもよい。また音声情報を周波数軸で解析したものであってもよい
【0082】
かかる場合において、連関度は、図8に示すように、参照用画像情報と、参照用住宅構造情報と、参照用音声人物情報との組み合わせの集合が上述と同様に中間ノードのノード61a~61eとして表現されることとなる。
【0083】
例えば、図8において、ノード61cは、参照用画像情報P12が連関度w3で、参照用住宅構造情報「構造G」が連関度w7で、参照用音声情報としての「音声X」が連関度w11で連関している。
【0084】
このような連関度が設定されている場合も同様に、新たに取得した画像情報と、住宅構造情報と、音声情報に基づいて、実際にその新たに画像情報を取得した時点における危険度を求める。ここでいう音声情報は、画像情報の撮影時(又は撮影時の前後に亘る所定時間)に実際にマイクロフォン等を通じて録音した音声である。音声情報の解析は周知の手段により、或いはNNを用いて細かく分析されるものであってもよい。また音声情報を周波数軸で解析したものであってもよい。
【0085】
この危険度を求める上で予め取得した図8に示す連関度を参照する。例えば、取得した画像が参照用画像情報P12に同一又は類似で、参照用住宅構造情報「構造G」で、抽出した音声情報が音声Xである場合、その組み合わせはノード61cが関連付けられており、このノード61cは、危険度30%が連関度w17で、また危険度70%が連関度w18で関連付けられている。このような連関度の結果、w17、w18に基づいて、実際にその新たに画像情報と接近情報とを取得した時点における危険度を求めていくことになる。
【0086】
なお、参照用画像情報と参照用ロケーション情報との組み合わせ、参照用画像情報と参照用在宅パターン情報との組み合わせ、参照用画像情報と参照用時間情報との組み合わせに対しても、この参照用音声情報との組み合わせを更に含めて連関度を定義するようにしてもよい。また、参照用画像情報と参照用音声情報との組み合わせで連関度を定義するようにしてもよい。
【0087】
図9は、上述した参照用画像情報と、参照用住宅構造情報に加えて、更に参照用警備サービス情報との組み合わせと、当該組み合わせに対する危険度との3段階以上の連関度が設定されている例を示している。
【0088】
参照用警備サービス情報とは、その住宅が警備会社の警備サービスを契約しているか否か、或いは具体的な契約内容に関する契約状況に関するものである。この契約とは、例えば、ドアが破られたり窓ガラスが破られた場合に、警備会社から警備員が住宅までパトロールに来る等である。
【0089】
かかる場合において、連関度は、図8に示すように、参照用画像情報と、参照用住宅構造情報と、参照用警備サービス情報との組み合わせの集合が上述と同様に中間ノードのノード61a~61eとして表現されることとなる。
【0090】
例えば、図8において、ノード61cは、参照用画像情報P12が連関度w3で、参照用住宅構造情報「構造G」が連関度w7で、参照用警備サービス情報としての「未契約」が連関度w11で連関している。
【0091】
このような連関度が設定されている場合も同様に、新たに取得した画像情報と、住宅構造情報と、警備サービス情報に基づいて、実際にその新たに画像情報を取得した時点における危険度を求める。ここでいう警備サービス情報は、その判別対象の住宅が実際に警備会社の警備サービスを契約しているか否か、或いは具体的な契約内容に関する契約状況に関するものである。
【0092】
この危険度を求める上で予め取得した図9に示す連関度を参照する。例えば、取得した画像が参照用画像情報P12に同一又は類似で、参照用住宅構造情報「構造G」で、抽出した警備サービス情報が「未契約」である場合、その組み合わせはノード61cが関連付けられており、このノード61cは、危険度30%が連関度w17で、また危険度70%が連関度w18で関連付けられている。このような連関度の結果、w17、w18に基づいて、実際にその新たに画像情報と接近情報とを取得した時点における危険度を求めていくことになる。
なお、参照用画像情報と参照用ロケーション情報との組み合わせ、参照用画像情報と参照用在宅パターン情報との組み合わせ、参照用画像情報と参照用時間情報との組み合わせに対しても、この参照用警備サービス情報との組み合わせを更に含めて連関度を定義するようにしてもよい。また、参照用画像情報と参照用警備サービス情報との組み合わせで連関度を定義するようにしてもよい。
【0093】
上述した構成からなる本発明によれば、住宅における不審者の侵入の危険度の判断を、特段の熟練を要することなく、少ない労力で容易に行うことが可能となる。また本発明によれば、この危険度の判断を、人間が行うよりも高精度に行うことが可能となる。更に、上述した連関度を人工知能(ニューラルネットワーク等)で構成することにより、これを学習させることでその判別精度を更に向上させることが可能となる。
【0094】
また、本発明によれば、3段階以上に設定されている連関度を介して最適な物性や生成機構の探索を行う点に特徴がある。連関度は、上述した5段階以外に、例えば0~100%までの数値で記述することができるが、これに限定されるものではなく3段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。
【0095】
このような3段階以上の数値で表される連関度に基づいて最も確からしい危険度を探索することで、危険性が高くなる可能性の候補として複数考えられる状況下において、当該連関度の高い順に探索して表示することも可能となる。このように連関度の高い順にユーザに表示できれば、より確からしい危険度を優先的に表示することも可能となり、危険度が高くなることによる注意を促すこともできる。
【0096】
そして、この危険度が高い場合には、警備サービス会社や警察に連絡をしたり、その住宅の居住者に注意喚起を即座に促すことで、危険を免れることができる。特により危険度が高い場合には、音声等を通じて住民に注意を喚起したり、外部に音声を発生させて、不審者の侵入意欲をくじくことで安全を守ることができる。また本発明によれば、危険度の検出精度が高いため、むやみに警察を呼ぶことなく、本当に必要なケースのみに絞り警察を呼ぶ動作を行えばよい。
【0097】
これに加えて、本発明によれば、連関度が1%のような極めて低い出力の判別結果も見逃すことなく判断することができる。連関度が極めて低い出力判別結果であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、その判別結果として役に立つ場合もあることをユーザに対して注意喚起することができる。
【0098】
更に本発明によれば、このような3段階以上の連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した連関度が1%のものであっても漏れなく拾うことができる反面、より適切な判別結果を好適に検出できる可能性が低く、ノイズを沢山拾ってしまう場合もある。一方、閾値を高くすれば、最適な危険度を高確率で検出できる可能性が高い反面、通常は連関度は低くてスルーされるものの何十回、何百回に一度は出てくる好適な解を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。
【0099】
更に本発明では、上述した連関度を更新させるようにしてもよい。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。また住宅において撮像したカメラ画像や取得した参照用画像情報、参照用ロケーション情報、参照用在宅パターン情報、参照用時間情報、参照用音声情報、参照用警備サービス情報等に基づいて、入力パラメータと、出力解(危険度)との関係性について新たな知見が発見された場合には、当該知見に応じて連関度を上昇させ、或いは下降させる。
つまり、この更新は、人工知能でいうところの学習に相当する。新たなデータを取得し、これを学習済みデータに反映させることを行っているため、学習行為といえるものである。
また学習済モデルを最初に作り上げる過程、及び上述した更新は、教師あり学習のみならず、教師なし学習、ディープラーニング、強化学習等を用いるようにしてもよい。教師なし学習の場合には、入力データと出力データのデータセットを読み込ませて学習させる代わりに、入力データに相当する情報(参照用画像情報、参照用ロケーション情報、参照用在宅パターン情報、参照用時間情報、参照用音声情報、参照用警備サービス情報等)を読み込ませて学習させ、そこから出力データに関連する連関度を自己形成させるようにしてもよい。
【0100】
この連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。
【符号の説明】
【0101】
1 危険度判別システム
2 判別装置
21 内部バス
23 表示部
24 制御部
25 操作部
26 通信部
27 推定部
28 記憶部
61 ノード
図1
図2
図3
図4
図5
図6
図7
図8
図9