特許 7414587 監視方法および監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】監視方法および監視装置

(51)【国際特許分類】

   G01V 11/00 20060101AFI20240109BHJP

   G01V 3/12 20060101ALI20240109BHJP

   G01V 8/10 20060101ALI20240109BHJP

【ＦＩ】

G01V11/00

G01V3/12 A

G01V8/10 S

【請求項の数】 2

(21)【出願番号】P 2020034127

(22)【出願日】2020-02-28

(65)【公開番号】P2021135268

(43)【公開日】2021-09-13

【審査請求日】2022-09-08

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度 総務省「電波資源拡大のための研究開発」のうち「セキュリティ強化に向けた移動物体高度認識レーダー基盤技術の研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】土橋 浩慶

(72)【発明者】

【氏名】村上 康

(72)【発明者】

【氏名】小山 郁郎

【審査官】山口 剛

(56)【参考文献】

【文献】国際公開第２０１７／０８５７５５（ＷＯ，Ａ１）

【文献】特開２０１０－１５６６９７（ＪＰ，Ａ）

【文献】特開２０１９－０４１２６１（ＪＰ，Ａ）

【文献】特開２０１０－２３７１３２（ＪＰ，Ａ）

【文献】特表２００７－５３２９０７（ＪＰ，Ａ）

【文献】特開２００６－３２９９１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｖ １／００ － ９９／００

Ｇ０１Ｓ １３／８６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

複数の監視領域の監視方法であって、
複数の前記監視領域のそれぞれに対して撮影部が設けられており、複数の前記監視領域のうち少なくとも１つ以上にミリ波を照射して反射波を受信するレーダー装置が設けられており、
前記撮影部と前記レーダー装置とが設けられた所定の監視領域に関して前記レーダー装置から反射波の検出結果を取得する第１の取得ステップと、
前記所定の監視領域を撮影する撮影部から撮影画像を取得する第２の取得ステップと、
前記反射波の検出結果に基づいて危険物の存在可能性を判定する判定ステップと、
前記判定ステップによって危険物の存在可能性があると判定された場合に、前記撮影画像に基づいて当該危険物を所持していると推定される人物の画像部分である人物画像を特定する特定ステップと、
前記撮影画像における前記人物画像で表されている第１の人物の特徴量を算出し、監視関連情報に、人物ＩＤ（Identifier）に対応付けて前記特徴量を登録する登録ステップと、
前記監視関連情報を参照することで、複数の前記監視領域にまたがって、前記撮影部から取得された撮影画像における人物画像で表されている人物の特徴量、および、前記レーダー装置が設置されている前記監視領域では前記レーダー装置から得られる人物の位置、移動方向に基づいて、前記第１の人物を示す人物画像を追跡する追跡ステップと、
前記人物画像の位置、移動方向、および、前記反射波の検出結果に基づいて当該第１の人物の不審度を算出する不審度算出ステップと、
当該第１の人物について、現在位置、前記危険物の存在可能性、前記不審度を含む情報を、所定の情報端末に通知する通知ステップと、を含む監視方法。

【請求項2】

複数の監視領域を監視する監視装置であって、
複数の前記監視領域のそれぞれに対して撮影部が設けられており、複数の前記監視領域のうち少なくとも１つ以上にミリ波を照射して反射波を受信するレーダー装置が設けられており、
前記撮影部と前記レーダー装置とが設けられた所定の監視領域に関して前記レーダー装置から反射波の検出結果を取得する第１の取得部と、
前記所定の監視領域を撮影する撮影部から撮影画像を取得する第２の取得部と、
前記反射波の検出結果に基づいて危険物の存在可能性を判定する判定部と、
前記判定部によって危険物の存在可能性があると判定された場合に、前記撮影画像に基づいて当該危険物を所持していると推定される人物の画像部分である人物画像を特定する特定部と、
前記撮影画像における前記人物画像で表されている第１の人物の特徴量を算出し、監視関連情報に、人物ＩＤに対応付けて前記特徴量を登録するとともに、
前記監視関連情報を参照することで、複数の前記監視領域にまたがって、前記撮影部から取得された撮影画像における人物画像で表されている人物の特徴量、および、前記レーダー装置が設置されている前記監視領域では前記レーダー装置から得られる人物の位置、移動方向に基づいて、前記第１の人物を示す人物画像を追跡する追跡部と、
前記人物画像の位置、移動方向、および、前記反射波の検出結果に基づいて当該第１の人物の不審度を算出する不審度算出部と、
当該第１の人物について、現在位置、前記危険物の存在可能性、前記不審度を含む情報を、所定の情報端末に通知する通知部と、を備える監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、監視方法および監視装置に関する。

【背景技術】

【0002】

従来から、例えば、空港の保安検査場では、金属探知機やミリ波を用いたボディスキャナ等による検査によって危険物（銃器、刃物、爆弾等）を高精度で検知することができる。

【0003】

一方、空港の航空券無しで入れる一般エリアや鉄道駅などの不特定多数の人が通行する場所では、そのような検査を行うことができないため、防犯のために、例えば、監視カメラによる監視が行われている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６２７６７３６号公報

【文献】特開２００４－３６１３６５号公報

【文献】特開２０１８－１５６５８６号公報

【文献】特開２０１８－１４６２５７号公報

【文献】特開２０１８－１４６２５０号公報

【文献】特開２０１８－１４６２４９号公報

【文献】特許第５５６０３９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、監視カメラによる監視によれば、一定の防犯効果は得られるが、例えば、服の内側やカバン内などに危険物を所持している人物を発見するのは容易ではなく、改善が望まれている。

【0006】

そこで、本発明は、上述の事情に鑑みてなされたものであって、不特定多数の人が通行する場所において、危険物を所持している人物への対策を強化することができる監視方法および監視装置を提供することを課題とする。

【課題を解決するための手段】

【0007】

実施形態の監視方法は、所定の監視領域にミリ波（Ｗ帯）を照射して反射波を受信するレーダー装置から反射波の検出結果を取得する第１の取得ステップと、前記所定の監視領域を撮影する撮影部から撮影画像を取得する第２の取得ステップと、前記反射波の検出結果に基づいて危険物の存在可能性を判定する判定ステップと、前記判定ステップによって危険物の存在可能性があると判定された場合に、前記撮影画像に基づいて当該危険物を所持していると推定される人物の画像部分である人物画像を特定する特定ステップと、前記撮影部から取得された第１の撮影画像における前記人物画像で表されている第１の人物の特徴量に基づいて、前記第１の撮影画像より後に取得された撮像画像で表されている前記第１の人物を示す人物画像を追跡する追跡ステップと、を含む。なお、追跡ステップは、例えば、レーダー装置から得られる、人物の位置、移動方向、移動速度を用いる補助追跡ステップを含んでいてもよい。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態の監視システムの全体構成の概要を示す図である。

【図2】図２は、実施形態の情報処理装置の構成の概要を示す図である。

【図3】図３は、実施形態の情報処理装置が記憶する監視関連情報の例を示す図である。

【図4】図４は、実施形態の情報処理装置による処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付の図面を用いて、本実施形態の監視方法および監視装置について説明する。なお、本実施形態では、危険物として、銃器、刃物、爆弾等の、金属成分を多く含む物体を想定する。

【0010】

まず、図１を参照して、実施形態の監視システムＳの全体構成の概要について説明する。図１は、実施形態の監視システムＳの全体構成の概要を示す図である。監視システムＳは、例えば、空港の航空券無しで入れる一般エリアや鉄道駅などの不特定多数の人が通行する場所に適用される。監視システムＳによって監視される全監視領域は、４つの監視領域Ｒａ、Ｒｂ、Ｒｃ、Ｒｄから構成されている。なお、監視領域Ｒａは、全監視領域における入口を含む。また、監視領域Ｒａ、Ｒｂ、Ｒｃ、Ｒｄを特に区別しない場合は監視領域Ｒと称する。

【0011】

監視システムＳは、情報処理装置１と、レーダー装置２ａ、２ｃと、監視カメラ３ａ、３ｂ、３ｃ、３ｄ（撮影部）と、を備えている。以下、レーダー装置２ａ、２ｃを特に区別しない場合はレーダー装置２と称する。また、監視カメラ３ａ、３ｂ、３ｃ、３ｄを特に区別しない場合は監視カメラ３と称する。

【0012】

レーダー装置２は、対象の監視領域Ｒにミリ波（Ｗ帯）を照射して反射波を受信し、反射波の強度（反射強度）を、細分化された領域ごとに検出する。照射するミリ波は、例えば、７８ＧＨｚ帯、９４ＧＨｚ帯等であればよいが、これらに限定されない。

【0013】

照射されたミリ波は、監視領域Ｒ内の地面や構造物や人などによって反射するが、反射率は物体の種類（組成）によって大きく異なる。そして、危険物の反射率は特に大きく、また、ミリ波は通常の服やカバンをある程度透過する。したがって、服の内側やカバン内などに危険物が存在する場合、外部からは見えなくても、レーダー装置２によってその部分に関して大きな反射強度が検出される。

【0014】

監視カメラ３は、例えば、デジタルカメラ等であり、対象の監視領域Ｒを撮影する。監視カメラ３は、同じ監視領域Ｒに対してレーダー装置２が設置される場合は、そのレーダー装置２の検出範囲と同じ範囲（ほぼ同じ範囲も含む。）を撮影する。例えば、監視領域Ｒａについて、レーダー装置２ａによる検出範囲と監視カメラ３ａによる撮影範囲が同じになるように設定される。

【0015】

一方、監視領域Ｒｂには、監視カメラ３ｂだけが備えられる。また、監視領域Ｒｃには、レーダー装置２ｃと監視カメラ３ｃが備えられる。また、監視領域Ｒｄには、監視カメラ３ｂだけが備えられる。

【0016】

なお、すべての監視領域Ｒに監視カメラ３が１つ以上設置されることと、入口を含む監視領域Ｒａにレーダー装置２ａが設置されることは必須であるが、その他は任意である。例えば、１つの監視領域Ｒに対して、複数の監視カメラ３が備えられていてもよいし、複数のレーダー装置２が備えられていてもよい。例えば、入口を含む監視領域Ｒａは特に重要であるので、レーダー装置２を複数設置してもよい。また、監視領域Ｒｂにレーダー装置２が備えられていてもよいし、監視領域Ｒｃのレーダー装置２が省略されていてもよいし、監視領域Ｒｄにレーダー装置２が備えられていてもよい。

【0017】

次に、図２を参照して、実施形態の情報処理装置１の構成について説明する。図２は、実施形態の情報処理装置１の構成の概要を示す図である。情報処理装置１は、サーバ装置等のコンピュータ装置であり、処理部１１、記憶部１２、入力部１３、表示部１４、通信部１５を備える。なお、ここでは、説明を簡潔にするために、情報処理装置１を単一のものとして説明するが、これに限定されない。例えば、所定数の監視領域Ｒに対応する下位サーバが複数あって、さらに、それらの複数の下位サーバを統括する上位サーバがある、という構成であってもよい。なお、以下では、主に対象が監視領域Ｒａであるものとして説明する。

【0018】

記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などによって構成され、各種情報を記憶する。記憶部１２は、例えば、レーダー装置２による反射波の検出結果や、監視カメラ３による撮影画像や、各種設定値や、所定の監視関連情報などを記憶する。

【0019】

処理部１１は、例えば、ＣＰＵ（Central Processing Unit）によって構成され、記憶部１２に記憶されるプログラムを実行することによって実現される機能部として、取得部１１１と、判定部１１２と、特定部１１３と、追跡部１１４と、算出部１１５と、通知部１１６と、制御部１１７と、を備える。

【0020】

取得部１１１は、例えば、レーダー装置２から反射波の検出結果を取得する第１の取得部として機能する。また、取得部１１１は、例えば、複数の監視領域Ｒのそれぞれを撮影する監視カメラ３から撮影画像を取得する第２の取得部として機能する。

【0021】

判定部１１２は、反射波の検出結果に基づいて危険物の存在可能性を判定する。例えば、判定部１１２は、対象の監視領域Ｒのうち、反射強度が所定の反射強度閾値以上の部分があると、危険物の存在可能性があると判定する。その場合、例えば、反射強度閾値を複数設定しておいて、危険物の存在可能性を、０～１００％の１０１段階で判定してもよい。

【0022】

特定部１１３は、判定部１１２によって危険物の存在可能性が所定の危険物閾値（例えば３０％）以上あると判定された場合に、撮影画像に基づいて当該危険物を所持していると推定される人物の画像部分である人物画像を特定する。具体的には、以下の通りである。上述のように、監視領域Ｒａについて、レーダー装置２ａによる検出範囲と監視カメラ３ａによる撮影範囲は同じになるように設定されている。また、特定部１１３は、公知のアルゴリズムに基づいて、撮影画像から人物を抽出する。

【0023】

そして、特定部１１３は、レーダー装置２ａによる検出結果データと撮影画像データをそれぞれの二次元座標等を用いて照合することで、撮影画像において当該危険物を所持していると推定される人物の画像部分である人物画像を特定する。

【0024】

追跡部１１４は、特定部１１３によって特定された人物画像を追跡する。例えば、追跡部１１４は、監視カメラ３ａから取得された第１の撮影画像における人物画像で表されている第１の人物の特徴量（例えば、服の色、大きさ、付帯物（カバン等））に基づいて、第１の撮影画像より後に取得された撮像画像で表されている第１の人物を示す人物画像を追跡する。また、追跡部１１４は、レーダー装置２から得られる、人物の位置、移動方向、移動速度を用いて人物を追跡することも可能である。

【0025】

具体的には、追跡部１１４は、まず、監視領域Ｒａ内で人物画像を追跡する。そして、人物画像が監視領域Ｒａから出る場合、追跡部１１４は、例えば、レーダー装置２ａから得られる、人物の位置、移動方向、移動速度を用いて、移動先の監視領域Ｒ（例えば監視領域Ｒｂ）を特定する。

【0026】

また、例えば、図１に示すように、監視領域Ｒｂ内の人物画像（符号Ｍ）が紙面右方向に移動する場合、移動先の可能性は監視領域Ｒｃと監視領域Ｒｄの２通りあるが、追跡部１１４は、撮影画像に基づいて、人物画像の位置、移動方向、移動速度を算出して用いることで、移動先の監視領域Ｒ（例えば監視領域Ｒｃ）を特定する。

【0027】

算出部１１５（不審度算出部）は、人物画像の位置、移動方向、移動速度、および、反射波の検出結果に基づいて当該人物の不審度を算出する。例えば、同じ場所を行ったり来たりしている人物や、反射強度の高い人物ほど、不審度を高く算出する。

【0028】

通知部１１６は、当該人物について、現在位置、危険物の存在可能性、不審度を含む情報を、所定の情報端末（不図示）に通知する。ここで、所定の情報端末とは、例えば、警備員等が携帯するスマートフォン等である。

【0029】

制御部１１７は、各部１１１～１１６が行う処理以外の処理を行う。

【0030】

入力部１３は、キーボード、マウス、タッチパネル、スイッチ、マイク等であり、ユーザによって各種操作指示の入力を可能にする手段である。

【0031】

表示部１４は、各種情報を表示する手段であり、例えば、ＬＣＤ（Liquid Crystal Display）である。

【0032】

通信部１５は、有線または無線で接続される外部装置と各種情報を送受信するためのインタフェースである。

【0033】

図３は、実施形態の情報処理装置１が記憶する監視関連情報の例を示す図である。監視関連情報は、一例として、人物ＩＤ（Identifier）、特徴量、不審度、移動エリア、現在位置の各情報を格納する。人物ＩＤは、撮影画像において危険物を所持していると特定部１１３によって推定された人物の識別番号である。特徴量は、当該人物について追跡部１１４によって算出された特徴量データである。

【0034】

不審度は、算出部１１５によって算出された、当該人物の不審度である。移動エリアは、追跡部１１４によって得られた、当該人物の移動した監視領域Ｒのデータである。現在位置は、追跡部１１４によって得られた、当該人物の現在の位置である。なお、監視関連情報は、これらに限定されず、ほかに、当該人物の現在の移動方向、現在の移動速度などの別の情報を格納してもよい。

【0035】

次に、図４を参照して、実施形態の情報処理装置１による処理について説明する。図４は、実施形態の情報処理装置１による処理を示すフローチャートである。

【0036】

まず、ステップＳ１において、取得部１１１は、レーダー装置２から反射波の検出結果を取得する。

【0037】

次に、判定部１１２は、ステップＳ２において反射特性解析を行い、ステップＳ３において危険物があるか（危険物の存在可能性が所定の危険物閾値以上であるか）否かを判定し、Ｙｅｓの場合はステップＳ４に進み、Ｎｏの場合はステップＳ１に戻る。

【0038】

ステップＳ４において、特定部１１３は、撮影画像に基づいて当該危険物を所持していると推定される人物の画像部分である人物画像を特定する。

【0039】

次に、ステップＳ５において、追跡部１１４は、ステップＳ４で特定された人物画像を追跡する。

【0040】

次に、通知部１１６は、通知タイミングか否かを判定し、Ｙｅｓの場合はステップＳ７に進み、Ｎｏの場合はステップＳ８に進む。

【0041】

ステップＳ７において、算出部１１５は当該人物の不審度を算出し、通知部１１６は当該人物について、現在位置、危険物の存在可能性、不審度を含む情報を、警備員等が携帯する情報端末に通知する。

【0042】

ステップＳ８において、追跡部１１４は、追跡が終了したか否かを判定し、Ｙｅｓの場合は処理を終了し、Ｎｏの場合はステップＳ５に戻る。

【0043】

このように、本実施形態の監視システムＳによれば、レーダー装置２による反射波の検出結果に基づいて危険物の存在可能性があると判定された場合に、撮影画像に基づいて当該危険物を所持していると推定される人物を特定することで、不特定多数の人が通行する場所において、危険物を所持している人物への対策を強化することができる。

【0044】

例えば、レーダー反射強度を用いることで、服の内側やカバン内などに危険物を所持している人物を高精度に発見できる。また、撮影画像に多数の人物が映っている場合でも、レーダー反射強度によって怪しい人物を絞ることができるので、情報処理装置１の処理効率が向上し、処理速度が速くなる。

【0045】

また、入口を含む監視領域Ｒａ以外の監視領域Ｒでは、レーダー装置２が設置されていなくても監視カメラ３による撮影画像のみに基づいて追跡を継続できるので、コストが安くすむ。また、レーダー装置２が設置されている監視領域Ｒでは、追跡のために、レーダー装置２から得られる、人物の位置、移動方向、移動速度を用いてもよい。

【0046】

また、追跡部１１４によって人物画像の位置、移動方向、移動速度に基づいて複数の監視領域Ｒにまたがって人物を追跡することができるので、個別の監視領域Ｒを超えてその人物をより確実に追跡することができる。それに加えて警備員等に通知を行うことで、警備員等による当該人物への声掛けなどの対応をより確実に実現できる。また、当該人物について、現在位置や危険物の存在可能性だけでなく不審度も通知することで、警備員等はより適切な対応をすることができる。

【0047】

なお、本実施形態の情報処理装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0048】

また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、当該プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、当該プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0049】

当該プログラムは、上述した各部１１１～１１７を含むモジュール構成となっており、実際のハードウェアとしてはプロセッサが上記記憶媒体から～プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。

【0050】

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0051】

また、レーダー装置２は、固定式のものに限定されず、走査式のものであってもよい。

【0052】

また、監視カメラ３は、可視光カメラに限定されず、赤外線カメラであってもよい。

【0053】

また、上述の実施形態では、説明を簡潔にするために監視領域Ｒを４つとしたが、これに限定されず、監視領域Ｒは、複数であればいくつでもよく、例えば、数十や数百等の多くであってもよい。

【符号の説明】

【0054】

１…情報処理装置、２…レーダー装置、３…監視カメラ、１１…処理部、１２…記憶部、１３…入力部、１４…表示部、１５…通信部、１１１…取得部、１１２…判定部、１１３…特定部、１１４…追跡部、１１５…算出部、１１６…通知部、１１７…制御部、Ｓ…監視システム

【図1】

【図2】

【図3】

【図4】