特開 2023-163681 物標判定装置、監視システム及び物標判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023163681

(43)【公開日】2023-11-10

(54)【発明の名称】物標判定装置、監視システム及び物標判定方法

(51)【国際特許分類】

   G01S 13/86 20060101AFI20231102BHJP

   G01S 13/58 20060101ALI20231102BHJP

   G06T 7/254 20170101ALI20231102BHJP

   G08B 25/00 20060101ALI20231102BHJP

   G08B 21/00 20060101ALI20231102BHJP

【ＦＩ】

G01S13/86

G01S13/58 200

G06T7/254 B

G08B25/00 510M

G08B21/00 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022074739

(22)【出願日】2022-04-28

(71)【出願人】

【識別番号】000004330

【氏名又は名称】日本無線株式会社

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100173716

【弁理士】

【氏名又は名称】田中 真理

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】宮▲崎▼ 陽一朗

【テーマコード（参考）】

5C086

5C087

5J070

5L096

【Ｆターム（参考）】

5C086AA27

5C086CA28

5C086CB36

5C086DA33

5C086FA01

5C086FA11

5C086FA17

5C087AA02

5C087AA03

5C087AA09

5C087AA10

5C087AA11

5C087AA19

5C087AA23

5C087AA32

5C087DD03

5C087EE14

5C087FF02

5C087FF04

5C087GG02

5C087GG08

5C087GG66

5C087GG70

5C087GG84

5J070AB24

5J070AC02

5J070AC06

5J070AE09

5J070AF01

5J070AK13

5J070BD08

5J070BE01

5J070BG16

5L096BA02

5L096CA04

5L096DA03

5L096GA08

5L096HA03

5L096HA09

5L096JA03

5L096JA11

(57)【要約】

【課題】本開示では、監視エリア内の物標の種別を自動で識別する物標判定装置、監視システム及び物標判定方法を提供することを目的とする。
【解決手段】本開示に係る物標判定装置は、同じ時間帯に取得された、監視エリアに送信された電波の反射点情報、及び前記監視エリアの画像データが入力される物標判定装置であって、前記反射点情報に基づいて前記監視エリア内の移動物標の有無を判定する移動物標検出部と、前記移動物標が存在する場合、前記画像データの取得時点より前に撮像された前記検出エリアの画像である背景画像データを取得し、前記背景画像データに対する前記画像データの差分画像を生成する差分画像生成部と、前記差分画像に含まれる物標と前記反射点情報に基づく前記移動物標とが予め定められた範囲内に位置するかを判定する物標位置判定部と、前記差分画像に含まれる物標と前記反射点情報に基づく前記移動物標とが予め定められた範囲内に位置する場合、前記差分画像に含まれる物標の種別を識別する物標識別部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

同じ時間帯に取得された、検出エリアに送信された電波の反射点情報、及び前記検出エリアの画像データが入力される物標判定装置であって、
前記反射点情報に基づいて前記検出エリア内の移動物標の有無を判定する移動物標検出部と、
前記移動物標が存在する場合、前記画像データの取得時点より前に撮像された前記検出エリアの画像である背景画像データを取得し、前記背景画像データに対する前記画像データの差分画像を生成する差分画像生成部と、
前記差分画像に含まれる物標と前記反射点情報に基づく前記移動物標とが予め定められた範囲内に位置するかを判定する物標位置判定部と、
前記差分画像に含まれる物標と前記反射点情報に基づく前記移動物標とが予め定められた範囲内に位置する場合、前記差分画像に含まれる物標の種別を識別する物標識別部と、
を備える物標判定装置。

【請求項2】

請求項１に記載の物標判定装置と、
前記検出エリアに電波を送信し、前記電波の反射点情報を取得する電波探知装置と、
を備える監視システム。

【請求項3】

前記画像データを取得する撮像装置、
をさらに備えることを特徴とする請求項２に記載の監視システム。

【請求項4】

前記差分画像に含まれる物標の種別が動物であると前記物標識別部が判定した場合、前記差分画像に含まれる物標に対する警告を表示する表示装置、
をさらに備えることを特徴とする請求項２又は３に記載の監視システム。

【請求項5】

同じ時間帯に取得された、検出エリアに送信された電波の反射点情報、及び前記検出エリアの画像データを取得すること、
前記反射点情報に基づいて、前記検出エリア内の移動物標の有無を判定すること、
前記移動物標が存在すると判定した場合、前記画像データの取得時点より前に撮像された前記検出エリアの画像である背景画像データを取得し、前記背景画像データに対する前記検出エリアの画像データの差分画像を生成すること、
前記差分画像に含まれる物標と、前記反射点情報に基づく前記移動物標とが予め定められた範囲内に位置するかを判定すること、
前記差分画像に含まれる物標と、前記反射点情報に基づく前記移動物標とが予め定められた範囲内に位置すると判定した場合に、前記差分画像に含まれる物標の種別を識別すること、
を行う物標判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、予め定められたエリアに侵入した物標を監視する技術に関する。

【背景技術】

【0002】

カメラとレーダという２つのセンサデバイスを融合させ、監視エリア内の人物を検出する監視システムが知られている（例えば、特許文献１を参照。）。特許文献１では、レーダを用いて監視エリア内の人物を検出し、カメラで撮像された画像データとレーダで検出されたミリ波データとを対応づけて監視画面を生成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１８５１１５号公報

【非特許文献】

【0004】

【非特許文献1】“ＹＯＬＯ９０００：Ｂｅｔｔｅｒ， Ｆａｓｔｅｒ， Ｓｔｒｏｎｇｅｒ”，Ｊｏｓｅｐｈ Ｒｅｄｍｏｎ ， Ａｌｉ Ｆａｒｈａｄｉ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｗａｓｈｉｎｇｔｏｎ ， Ａｌｌｅｎ Ｉｎｓｔｉｔｕｔｅ ｆｏｒ ＡＩ，ｈｔｔｐ：／／ｐｊｒｅｄｄｉｅ．ｃｏｍ／ｙｏｌｏ９０００／，検索日２０２２年４月７日

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の監視画面は、レーダで検出された物標が撮像されている。しかし、特許文献１では、レーダで検出された物標の識別は行っていない。このため、特許文献１では、レーダで検出知された物標が人物であるのか否かは、人の目で識別しなければいけないという課題があった。

【0006】

前記課題を解決するために、本開示は、予め定められたエリア内の物標の種別を自動で識別可能にすることを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本開示の物標判定装置、監視システム及び物標判定方法は、撮像した画像データから、物標のみを抽出して物標の種別を識別することとした。

【0008】

具体的には、本開示に係る物標判定装置は、
同じ時間帯に取得された、検出エリアに送信された電波の反射点情報、及び前記検出エリアの画像データが入力される物標判定装置であって、
前記反射点情報に基づいて前記検出エリア内の移動物標の有無を判定する移動物標検出部と、
前記移動物標が存在する場合、前記画像データの取得時点より前に撮像された前記検出エリアの画像である背景画像データを取得し、前記背景画像データに対する前記画像データの差分画像を生成する差分画像生成部と、
前記差分画像に含まれる物標と前記反射点情報に基づく前記移動物標とが予め定められた範囲内に位置するかを判定する物標位置判定部と、
前記差分画像に含まれる物標と前記反射点情報に基づく前記移動物標とが予め定められた範囲内に位置する場合、前記差分画像に含まれる物標の種別を識別する物標識別部と、
を備える。

【0009】

具体的には、本開示に係る監視システムは、
前記物標判定装置と、
前記検出エリアに電波を送信し、前記電波の反射点情報を取得する電波探知装置と、
を備える。
本開示に係る監視システムは、前記物標判定装置と、前記画像データを取得する撮像装置と、を備えていてもよい。
本開示に係る監視システムは、前記差分画像に含まれる物標の種別が動物である場合、前記差分画像に含まれる物標に対する警告を表示する表示装置を備えていてもよい。

【0010】

具体的には、本開示に係る物標判定方法は、
同じ時間帯に取得された、検出エリアに送信された電波の反射点情報、及び前記検出エリアの画像データを取得すること、
前記反射点情報に基づいて、前記検出エリア内の移動物標の有無を判定すること、
前記移動物標が存在すると判定した場合、前記画像データの取得時点より前に撮像された前記検出エリアの画像である背景画像データを取得し、前記背景画像データに対する前記検出エリアの画像データの差分画像を生成すること、
前記差分画像に含まれる物標と、前記反射点情報に基づく前記移動物標とが予め定められた範囲内に位置するかを判定すること、
前記差分画像に含まれる物標と、前記反射点情報に基づく前記移動物標とが予め定められた範囲内に位置すると判定した場合に、前記差分画像に含まれる物標の種別を識別すること、を行う。

【発明の効果】

【0011】

本開示によれば、予め定められたエリア内の物標の種別を自動で識別可能にすることができる。

【図面の簡単な説明】

【0012】

【図1】実施形態に係る監視システムの概略構成の一例を示す。

【図2】実施形態に係る差分画像の生成を説明する図である。

【図3】実施形態に係る差分画像に含まれる物標と反射点情報に基づく移動物標との位置関係を説明する図である。

【図4】実施形態に係る処理部の動作の一例を示す。

【図5】実施形態に係る物標の位置算出及び速度算出を説明する図である。

【発明を実施するための形態】

【0013】

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

【0014】

（第１の実施形態）
本実施形態に係る監視システムの概略構成の一例を図１に示す。本実施形態に係る監視システム５０は、物標判定装置１０と、電波探知装置２０と、撮像装置３０と、表示装置４０と、を備える。

【0015】

電波探知装置２０は、予め定められた検出エリアに電波を送信し、送信した電波の反射波を受信し、検出エリア内における電波の反射点の位置や速度を反射点情報として取得する。電波探知装置２０は、電波としてミリ波やマイクロ波を用いてもよい。

【0016】

撮像装置３０は、検出エリアの撮像された画像データを取得する。撮像装置３０は、電波探知装置２０が反射点情報を取得した時刻と同時刻における検出エリアの画像データを取得できるように、電波探知装置２０の反射点情報の取得タイミングに同期して画像データを取得することが望ましい。なお、撮像装置３０は、検出エリアだけでなく、検出エリア外を含む画像データを取得してもよい。また、撮像装置３０は、ネットワークを介して画像データの送受信が可能なネットワークカメラであってもよい。

【0017】

ここで、電波探知装置２０が反射点情報を取得する時刻と撮像装置３０が画像データを取得する時刻は、同時刻に限らず、同じ時間帯であれば多少のずれがあってもよい。この時刻のずれは、任意に設定することが可能であり、例えば、１分以内や３分以内に設定することで、検出エリア内の動物の検知に適用することができる。

【0018】

物標判定装置１０は、処理部１１と、画像記憶部１２とを備える。なお、処理部１１は、後述するように移動物標検出部、差分画像生成部、物標位置判定部及び物標識別部として機能する。物標判定装置１０に備わる移動物標検出部、差分画像生成部、物標位置判定部及び物標識別部は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

【0019】

画像記憶部１２は、検出エリア内に物標が存在しない場合の画像を背景画像データとして予め記憶する。画像記憶部１２は、例えば、季節、時間、天候毎の背景画像データを記憶していてもよい。また、画像記憶部１２は、撮像装置３０が取得した画像データを記憶してもよい。

【0020】

処理部１１は、移動物標検出部として、電波探知装置２０の取得した反射点情報から、検出エリア内の物標情報を取得し、検出エリア内における移動物標の存否を判定する。具体的には、処理部１１は、検出エリアをＸ軸及びＹ軸の２次元で表した２次元マップ（以下、「２次元マップ」を「２Ｄマップ」と略記する。）上に、電波探知装置２０が検出した反射点をそれぞれプロットする。処理部１１は、２Ｄマップ上のプロットについてクラスタリング処理を行う。クラスタリング処理は、ＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ－ｂａｓｅｄ ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｎｏｉｓｅ ）により行ってもよい。

【0021】

処理部１１は、検出エリア内の反射点からクラスタが生成された場合に、生成したクラスタを電波探知装置２０が検出した物標とし、算出したクラスタの速度から当該物標が移動しているか否かを判定する。

【0022】

処理部１１は、差分画像生成部として、画像記憶部１２に記憶された背景画像データに対する、撮像装置３０が取得した画像データの差分画像を生成する。この際、処理部１１は、外部から入力される情報から、季節、時間、天候等の環境パラメタを推定し、推定した環境パラメタに適した背景画像データを画像記憶部１２から読み出してもよい。また、処理部１１は、センサ等を備え、センサ等により取得した情報から、季節、時間、天候等の環境パラメタを推定し、推定した環境パラメタに適した背景画像データを画像記憶部１２から読み出してもよい。

【0023】

差分画像の生成について図２を用いて説明する。図２（ａ）、（ｂ）及び（ｃ）において、６１は検出エリア、６２は物標を表す。なお、図２（ａ）、（ｂ）及び（ｃ）は、検出エリア６１の一例として、登山道における人の立ち入り禁止エリアを検出エリア６１としている。この場合において、画像記憶部１２は、図２（ａ）に示す、検出エリア６１に物標６２が存在していない場合の画像を背景画像データとして予め記憶しているとする。

【0024】

撮像装置３０により検出エリア６１内に物標６２が存在している画像データを取得すると、処理部１１は、画像記憶部１２から読み出した図２（ａ）に示す背景画像データに対する、撮像装置３０が取得した図２（ｂ）に示す画像データの差分をとる。これにより、図２（ｃ）に示すような、検出エリア６１に物標６２だけが写る差分画像を生成することができる。図２（ｃ）示すように、物標だけが写る差分画像で物標の種別を識別することで、より正確に物標の種別を識別することができる。なお、検出エリアは、登山道における人の立ち入り禁止エリアに限定されず、任意に設定することが可能である。例えば、海岸沿いの防波堤における人の立ち入り禁止エリアなどを検出エリアとすることもできる。

【0025】

処理部１１は、物標位置判定部として、クラスタの位置と、差分画像に含まれる物標の位置とが一致するか否かを判定する。ここで、処理部１１は、クラスタの位置と、差分画像に含まれる物標の位置とが近接している場合には、クラスタの位置と、差分画像に含まれる物標の位置とが一致していると判定してもよい。例えば、一致は、予め定められた範囲内に位置するか否かによって判定することができる。予め定められた範囲は、同じ時間帯に検出エリア内に存在することを推定可能な任意の値に設定可能であり、例えば、１０ｍ以内に設定することで、検出エリア内の動物の検知に適用することができる。なお

【0026】

クラスタの位置と、差分画像に含まれる物標の位置とが近接している場合の一例を図３に示す。図３は、図２（ｃ）に示す差分画像上に、後述する図５（ｂ）に示すクラスタ２３のクラスタ位置２２を表示した図の一例である。図３において、半径σ以内を近接とする。図３では、差分画像に含まれる物標６２の半径σ以内に、クラスタ２３のクラスタ位置２２が存在する。そのため、クラスタの位置と、差分画像に含まれる物標の位置とが一致していると判定してもよい。

【0027】

処理部１１は、生成したクラスタの位置と、差分画像に含まれる物標の位置とが一致していると判定した場合、物標識別部として、差分画像に含まれる物標が動物である否かを判定する。具体的には、処理部１１は、画像認識ＡＩを備え（例えば、非特許文献１を参照。）、画像認識ＡＩにより差分画像に含まれる物標の種別を識別してもよい。種別は、任意に設定可能であり、例えば、人であるか否かや、熊や鹿といった動物の種別などが例示できる。そして、処理部１１は、識別した種別から物標が動物であるか否かを判定する。

【0028】

処理部１１は、差分画像に含まれる物標が動物であると判定した場合、表示装置４０に警告を表示するように指示する。

【0029】

表示装置４０は、処理部１１の指示により、差分画像に含まれる物標に対する警告を表示する。表示装置４０は、警告を表示するとともに、警告音を発してもよい。表示装置４０は、差分画像に含まれる物標に対する警告を表示できれば任意であり、警告灯や表示板等であってもよい。

【0030】

処理部１１は、差分画像に含まれる物標が動物であると判定した場合、差分画像に含まれる物標の位置及び速度を、位置が一致すると判定したクラスタの位置及び速度に置き換えてもよい。これにより、処理部１１は、電波探知装置２０からの反射点情報及び撮像装置３０からの画像データを合成して用いることができる。

【0031】

本実施形態に係る監視システム５０は、撮像装置３０が取得した画像データを表示する監視画像表示部をさらに備えてもよい。監視画像表示部は、撮像装置３０が取得した画像データに、物標の種別、位置、速度等を併せて表示してもよい。

【0032】

本開示に係る処理部１１の動作について図４を用いて説明する。処理部１１は、電波探知装置２０の取得した反射点情報から、検出エリア内の物標情報を取得し、検出エリア内における移動物標の存否を判定する（ステップＳ０１）。なお、処理部１１は、検出エリア内に移動物標が存在しないと判定した場合、再びステップＳ０１を行う。

【0033】

処理部１１は、検出エリア内に移動物標が存在すると判定した場合、画像記憶部１２に記憶された背景画像データに対する、撮像装置３０が取得した画像データの差分画像を生成する（ステップＳ０２）。本実施形態に係る処理部１１は、演算負荷を軽減するために、移動物標が存在する場合にのみ、差分画像を生成することとしているが、処理部１１は、移動物標の存在の有無に関わらず差分画像を生成してもよい。

【0034】

処理部１１は、差分画像に含まれる物標と、移動物標との位置が一致しているかを判定する（ステップＳ０３）。なお、処理部１１は、差分画像に含まれる物標と、移動物標との位置が一致しないと判定した場合、再びステップＳ０１を行う。

【0035】

処理部１１は、差分画像に含まれる物標と、移動物標との位置が一致していると判定した場合に、差分画像に含まれる物標の種別を識別し、識別した種別から、差分画像に動物が含まれているか否かを判定する（ステップＳ０４）。なお、処理部１１は、差分画像に動物が含まれてないと判定した場合、ステップＳ０１に戻る。

【0036】

処理部１１は、差分画像に動物が含まれていると判定した場合、表示装置４０に警告を表示させる（ステップＳ０５）。

【0037】

図４におけるステップＳ０６、Ｓ０８、Ｓ０９及びＳ１０のそれぞれは、前述したステップＳ０１～Ｓ０４と同様である。ただし、ステップＳ０６において、移動物標が存在しないと判定した場合、ステップＳ０９において、移動物標と差分画像に含まれる物標との位置が一致しないと判定した場合、及び、ステップＳ１０において、差分画像に動物が含まれていないと判定した場合は、表示装置４０に警告を止めさせてから（ステップＳ０７）、ステップＳ０１に戻る。

【0038】

処理部１１は、電波探知装置２０からの反射点情報及び撮像装置３０からの画像データを取得する毎に、即時ステップＳ０１～Ｓ０５又はＳ０６～Ｓ１０を行うことにより、検出エリア内の監視及び物標識別をリアルタイムに行うことができる。

【0039】

以上説明したように、本開示により、予め定められたエリア内の物標の種別をリアルタイムに自動で識別可能にすることができる。

【0040】

（第２の実施形態）
本実施形態では、クラスタリング処理結果から、クラスタの速度、クラスタの反射断面積、クラスタの位置（座標）等のクラスタ情報を生成する。クラスタの速度算出及び位置算出について図５を用いて説明する。

【0041】

図５（ａ）には、クラスタ２３を構成するプロット２１－１から２１－６までが記載されており、それぞれの速度が表現されている。具体的には、プロット２１－１の速度は－１．０ｋｍ／ｈ、プロット２１－２の速度は－２．０ｋｍ／ｈ、プロット２１－３の速度は－０．９ｋｍ／ｈ、プロット２１－４の速度は－１．２ｋｍ／ｈ、プロット２１－５の速度は＋２．０ｋｍ／ｈ、プロット２１－６の速度は－３．５ｋｍ／ｈである。なお、図５（ａ）では、Ｙ軸方向の速度のみを考慮しており、Ｙ軸の正方向の速度を＋、Ｙ軸の負方向の速度を－で表している。

【0042】

クラスタの速度については、１つのクラスタに含まれる全プロットのＹ軸方向の速度（以下、「Ｙ軸方向の速度」を「Ｙ速度」と略記する。）について、最大値と最小値を捨てた平均値を算出し、それを当該クラスタのＹ速度とする。

【0043】

具体的には、図５（ａ）に示すように、クラスタ２３においては、プロット２１－１から２１－６までのＹ速度のうち、最大値はプロット２１－５の＋２．０ｋｍ／ｈであり、最小値はプロット２１－６の－３．５ｋｍ／ｈである。これより、クラスタ２０のＹ速度は、プロット２１－１から２１－４までのＹ速度の平均値となり、約－１．３ｋｍ／ｈとなる。なお、反射断面積も同様に最大値と最小値を除いた平均値とする。なお、ＤＢＳＣＡＮの場合は、ｍｉｎＰｔｓを必ず３以上とする必要がある。また、レーダークラスタの速度及び反射断面積の算出において、最大値に同じ値が２つ以上あった場合は、捨てるデータは１つだけであり、その他の同じ値の最大値は平均値算出に使用する。最小値も同様である。なお、クラスタの速度算出においてＸ軸方向の速度（Ｘ速度）も考慮する場合は、Ｘ速度及びＹ速度を成分とする速度ベクトルの大きさと、Ｙ速度又はＸ速度の符号とから同様に平均値を算出する。

【0044】

クラスタの位置については、１つのクラスタに含まれる全プロットのうち、速度を捨てたプロットを除くプロットについて矩形で囲い、その中心点の座標を当該クラスタの位置とする。なお、速度が周囲と異なるプロットは、電波探知装置２０の誤差や物標の手足が伸びている部分であると考え、位置算出に利用しないようにする。

【0045】

具体的には、図５（ｂ）に示すように、クラスタ２３においては、プロット２１－５及びプロット２１－６を無視し、プロット２１－１から２１－４までを矩形で囲み、その中心点の座標がクラスタ２３のクラスタ位置２２となる。

【産業上の利用可能性】

【0046】

本開示に係る物標判定装置、監視システム及び物標判定方法は、情報通信産業に適用することができる。

【符号の説明】

【0047】

１０：物標判定装置
１１：処理部
１２：画像記憶部
２０：電波探知装置
２１：プロット
２２：クラスタ位置
２３：クラスタ
３０：撮像装置
４０：表示装置
５０：監視システム
６１：検出エリア
６２：物標

【図1】

【図2】

【図3】

【図4】

【図5】