特許 7566217 物体検出装置及び物体検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】物体検出装置及び物体検出方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241004BHJP

   G01B 11/00 20060101ALI20241004BHJP

   G01S 13/86 20060101ALI20241004BHJP

   G01S 13/88 20060101ALI20241004BHJP

   G08B 25/00 20060101ALI20241004BHJP

【ＦＩ】

H04N7/18 D

G01B11/00 H

G01S13/86

G01S13/88

G08B25/00 510M

【請求項の数】 4

(21)【出願番号】P 2024539088

(86)(22)【出願日】2024-01-26

(86)【国際出願番号】 JP2024002528

【審査請求日】2024-06-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100118762

【弁理士】

【氏名又は名称】高村 順

(72)【発明者】

【氏名】上村 龍也

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０２３／２４２９０３（ＷＯ，Ａ１）

【文献】特開２０１７－１４６９５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｓ １３／００－１３／９５

Ｇ０８Ｂ ２３／００－３１／００

(57)【特許請求の範囲】

【請求項1】

監視エリアを走査するレーダ装置から出力されるレーダ受信信号に基づいて前記監視エリアに存在する物体の距離、速度及び水平角度を検出すると共に、前記レーダ受信信号の受信強度の特徴に基づいて、検出された前記物体が人物であるか否かの尤度を示す指標である第１の認識スコアを演算し、前記第１の認識スコアを前記物体の位置及び速度の情報に紐付けて出力するレーダ信号処理器と、
前記監視エリアを撮影するカメラの撮影画像から得られる画像データに基づいて前記監視エリアに存在する物体を認識し、認識した前記物体の位置情報と、前記認識した物体が人物であるか否かの尤度を示す第２の認識スコアとを演算して出力する撮影画像処理器と、
前記第１及び第２の認識スコアに基づいて、前記レーダ受信信号によって検出された物体と、前記画像データによって検出された物体とが、人物であって同一人物であるか否かを判定するフュージョン処理器と、
を備え、
前記レーダ信号処理器は、人物の受信強度特徴量に関するデータを集めた第１のデータベースを有し、前記第１のデータベースに記憶されているデータを参照して前記第１の認識スコアを演算し、
前記撮影画像処理器は、深層学習によって得られた特徴量である人物認識用深層学習特徴量に関するデータを集めた第２のデータベースを有し、前記画像データから物体を認識し、認識した物体に対し、前記第２のデータベースに記憶されているデータを参照して前記第２の認識スコアを演算する
ことを特徴とする物体検出装置。

【請求項2】

監視エリアを走査するレーダ装置から出力されるレーダ受信信号に基づいて前記監視エリアに存在する物体の距離、速度及び水平角度を検出すると共に、前記レーダ受信信号の受信強度の特徴に基づいて、検出された前記物体が人物であるか否かの尤度を示す指標である第１の認識スコアを演算し、前記第１の認識スコアを前記物体の位置及び速度の情報に紐付けて出力するレーダ信号処理器と、
前記監視エリアを撮影するカメラの撮影画像から得られる画像データに基づいて前記監視エリアに存在する物体を認識し、認識した前記物体の位置情報と、前記認識した物体が人物であるか否かの尤度を示す第２の認識スコアとを演算して出力する撮影画像処理器と、
前記第１及び第２の認識スコアに基づいて、前記レーダ受信信号によって検出された物体と、前記画像データによって検出された物体とが、人物であって同一人物であるか否かを判定するフュージョン処理器と、
を備え、
前記フュージョン処理器は、
前記レーダ受信信号に基づいて検出された物体の位置の情報と、前記カメラの撮影画像から得られる画像データに基づいて検出された物体の位置の情報とに基づいて、それぞれの物体が同一の物体であるか否かを判定する物体同一判定部と、
前記物体同一判定部の同一判定処理において同一である旨の判定がされた場合に、前記レーダ信号処理器で算出された前記第１の認識スコアと、前記撮影画像処理器で算出された前記第２の認識スコアとを用いて人物判定処理を行う人物判定部と、
を備えることを特徴とする物体検出装置。

【請求項3】

監視エリアを走査するレーダ装置から出力されるレーダ受信信号に基づいて前記監視エリアに存在する物体の距離、速度及び水平角度を検出する第１ステップと、
前記レーダ受信信号の受信強度の特徴に基づいて、検出された前記物体が人物であるか否かの尤度を示す指標である第１の認識スコアを演算する第２ステップと、
前記第１の認識スコアを前記物体の位置及び速度の情報に紐付ける第３ステップと、
前記監視エリアを撮影するカメラの撮影画像から得られる画像データに基づいて前記監視エリアに存在する物体を認識する第４ステップと、
認識した前記物体の位置情報と、前記認識した物体が人物であるか否かの尤度を示す第２の認識スコアとを演算する第５ステップと、
前記第１及び第２の認識スコアに基づいて、前記第１ステップで検出された物体と前記第４ステップで認識された物体とが、人物であって同一人物であるか否かを判定する第６ステップと、
を含み、
前記第２ステップにおける前記第１の認識スコアは、人物の受信強度特徴量に関するデータを集めた第１のデータベースに記憶されているデータを参照して演算され、
前記第５ステップにおける前記第２の認識スコアは、前記画像データに基づいて認識された物体に対し、深層学習によって得られた特徴量である人物認識用深層学習特徴量に関するデータを集めた第２のデータベースに記憶されているデータを参照して演算される
ことを特徴とする物体検出方法。

【請求項4】

監視エリアを走査するレーダ装置から出力されるレーダ受信信号に基づいて前記監視エリアに存在する物体の距離、速度及び水平角度を検出する検出ステップと、
前記レーダ受信信号の受信強度の特徴に基づいて、検出された前記物体が人物であるか否かの尤度を示す指標である第１の認識スコアを演算する第１演算ステップと、
前記第１の認識スコアを前記物体の位置及び速度の情報に紐付ける紐付けステップと、
前記監視エリアを撮影するカメラの撮影画像から得られる画像データに基づいて前記監視エリアに存在する物体を認識する認識ステップと、
認識した前記物体の位置情報と、前記認識した物体が人物であるか否かの尤度を示す第２の認識スコアとを演算する第２演算ステップと、
前記検出ステップで検出された物体の位置の情報と、前記認識ステップで認識された物体の位置の情報とに基づいて、それぞれの物体が同一の物体であるか否かを判定する第１判定ステップと、
前記第１判定ステップにおいて、それぞれの物体が同一の物体である旨の判定がされた場合には、前記第１演算ステップで演算された前記第１の認識スコアと、前記第２演算ステップで演算された前記第２の認識スコアとに基づいて、前記検出ステップで検出された物体と、前記認識ステップで認識された物体とが、人物であって同一人物であるか否かを判定する第２判定ステップと、
を含むことを特徴とする物体検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、監視エリアに存在する物体を検出する物体検出装置及び物体検出方法に関する。

【背景技術】

【0002】

下記特許文献１には、ショベルカー、ホイールローダ、アスファルトフィニッシャなどの作業機械に搭載される作業機械用周辺監視システムが開示されている。特許文献１の技術では、土木工事、建設工事などが行われる作業現場に存在する人物に関する検出データをカメラによって得ている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１８／０８４１４６号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、作業現場には人物以外にもカラーコーン（登録商標）、コンテナなどの様々な人物以外の物体が存在する。このため、カメラのみの検出データを使用する物体検出装置では、人物以外の物体を人物として誤検出するおそれがある。これにより、従来技術では、車両制御、警報通知等の運用において、誤制御又は誤警報が生じてしまうという課題があった。

【0005】

本開示は、上記に鑑みてなされたものであって、車両制御、警報通知等の運用において、誤制御又は誤警報の可能性を低減することができる物体検出装置を得ることを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するため、本開示に係る物体検出装置は、レーダ信号処理器と、撮影画像処理器と、フュージョン処理器とを備える。レーダ信号処理器は、監視エリアを走査するレーダ装置から出力されるレーダ受信信号に基づいて監視エリアに存在する物体の距離、速度及び水平角度を検出すると共に、レーダ受信信号の受信強度の特徴に基づいて、検出された物体が人物であるか否かの尤度を示す指標である第１の認識スコアを演算し、第１の認識スコアを物体の位置及び速度の情報に紐付けて出力する。撮影画像処理器は、監視エリアを撮影するカメラの撮影画像から得られる画像データに基づいて監視エリアに存在する物体を認識し、認識した物体の位置情報と、認識した物体が人物であるか否かの尤度を示す第２の認識スコアとを演算して出力する。フュージョン処理器は、第１及び第２の認識スコアに基づいて、レーダ受信信号によって検出された人物と画像データによって検出された人物とが同一人物であるか否かを判定する。

【発明の効果】

【0007】

本開示に係る物体検出装置によれば、車両制御、警報通知等の運用において、誤制御又は誤警報の可能性を低減することができるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】実施の形態に係る物体検出装置の構成例を示すブロック図

【図2】実施の形態に係る物体検出装置に備えられるレーダ信号処理器、撮影画像処理器及びフュージョン処理器の機能を実現するハードウェア構成の例を示すブロック図

【図3】実施の形態に係る物体検出装置における処理フローを示す第１のフロー図

【図4】実施の形態に係る物体検出装置における処理フローを示す第２のフロー図

【発明を実施するための形態】

【0009】

以下に添付図面を参照し、本開示の実施の形態に係る物体検出装置及び物体検出方法について詳細に説明する。

【0010】

実施の形態．
まず、図１を参照して実施の形態に係る物体検出装置の構成及び機能について説明する。図１は、実施の形態に係る物体検出装置１００の構成例を示すブロック図である。なお、以下の説明において、物体は、人物と、人物以外の物体とに区分する。本稿では、物体検出装置１００が作業機械に搭載される場合を想定し、人物以外の物体を適宜「障害物」と呼ぶ。障害物の例は、作業現場に存在し得るカラーコーン（登録商標）、コンテナ等である。また、作業機械の例は、ショベルカー、ホイールローダ、ブルドーザー、ダンプトラック、アスファルトフィニッシャ等である。

【0011】

物体検出装置１００は、レーダ信号処理器３と、撮影画像処理器４と、フュージョン処理器５とを備える。物体検出装置１００の外部には、レーダ装置１と、カメラ２とが存在する。レーダ装置１は監視エリアを走査するレーダ装置であり、カメラ２は監視エリアを撮像する撮像装置である。監視エリアが作業現場である場合、レーダ装置１、カメラ２及び物体検出装置１００は、作業現場に設置されるか、若しくは、作業現場で使用する作業機械に搭載される。レーダ装置１、カメラ２及び物体検出装置１００が走行車両に搭載される場合、物体検出装置１００は、走行車両の前方又は後方を監視エリアとして監視する。

【0012】

レーダ装置１は、物体に電磁波を放射し、監視エリアに存在する物体からの反射信号を受信する。レーダ装置１は、所要の受信処理を行い、受信処理後の信号をレーダ受信信号としてレーダ信号処理器３に出力する。レーダ装置１が車両に搭載される場合、一般的にＦＭＣＷ（Frequency Modulated Continuous Wave）方式、ＦＣＭ（Fast Chirp Modulation）方式のレーダ装置が使用される。また、これらの方式のレーダ装置は、高周波半導体部品、電源半導体部品、基板、水晶デバイス、チップ部品、アンテナ等を用いて構成することができる。

【0013】

レーダ信号処理器３は、レーダ装置１から出力されるレーダ受信信号に基づいて、物体の距離、速度及び水平角度を検出する。また、レーダ信号処理器３は、レーダ受信信号の受信強度の特徴に基づいて、検出された物体が人物であるか否かの尤度を示す指標である人物認識スコアを演算する。更に、レーダ信号処理器３は、人物認識スコアを物体の位置及び速度の情報に紐付けてフュージョン処理器５に出力する。なお、本稿では、レーダ信号処理器３が演算する人物認識スコアを「第１の認識スコア」と呼ぶことがある。

【0014】

上記の機能を実現するため、レーダ信号処理器３は、距離検出部６、速度検出部７、水平角度検出部８、受信強度特徴量演算部９、人物認識部１０及び人物認識用受信強度特徴量データベース１１を備える。レーダ信号処理器３は、フュージョン処理器５に対してレーダ検出データ１２を出力する。レーダ検出データ１２には、図１に示されるように、位置、速度及び人物認識スコアが含まれる。位置及び速度は、距離検出部６、速度検出部７及び水平角度検出部８によって生成され、人物認識スコアは、受信強度特徴量演算部９、人物認識部１０及び人物認識用受信強度特徴量データベース１１によって生成される。なお、本稿では、レーダ信号処理器３が保有する人物認識用受信強度特徴量データベース１１を「第１のデータベース」と呼ぶことがある。

【0015】

距離検出部６、速度検出部７及び水平角度検出部８の処理には、一般的にＦＦＴ（Fast Fourier Transformation：高速フーリエ変換）が用いられる。この場合、距離検出部６、速度検出部７及び水平角度検出部８は、それぞれが距離方向、速度方向及び水平角度方向に対してＦＦＴ処理を行うことで、物体の距離、速度及び水平角度を検出する。

【0016】

受信強度特徴量演算部９の処理に関してもＦＦＴを用いることができる。具体的に、受信強度特徴量演算部９は、物体からの電磁波の反射信号に対して距離方向及び速度方向にＦＦＴ処理を施し、その信号のピーク値を反射信号強度として求めると共に、反射信号強度の時間変化量を受信強度特徴量として検出する。

【0017】

レーダ信号処理器３には、人物受信強度特徴量に関するデータを集めたデータ群が人物認識用受信強度特徴量データベース１１として構築されている。人物受信強度特徴量は、予め行われた、実験又は学習処理などによって得られた人物に関する受信強度特徴量である。人物認識部１０は、人物認識用受信強度特徴量データベース１１に記憶されているデータを参照して、受信強度特徴量演算部９から出力される受信強度特徴量に関する人物認識スコアを演算する。人物認識スコアは、検出された物体が人物であるか否かの尤度を示す指標である。人物認識スコアは、例えば０～１００％の範囲の値として算出されるがこの例に限定されない。人物認識スコアは、０以上１以下の値として算出されてもよい。

【0018】

カメラ２は、レンズ、ホルダ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、電源半導体部品、水晶デバイス等の部品で構成される。カメラ２は、監視エリアを撮影し、その撮影画像を撮影画像処理器４に出力する。

【0019】

撮影画像処理器４は、カメラ２の撮影画像から得られる画像データに基づいて、監視エリアに存在する物体を認識し、認識した物体の位置情報と、認識した物体が人物であるか否かの尤度を示す人物認識スコアとを演算してフュージョン処理器５に出力する。なお、本稿では、撮影画像処理器４が演算する人物認識スコアを「第２の認識スコア」と呼ぶことがある。

【0020】

上記の機能を実現するため、撮影画像処理器４は、人物認識部１３、位置検出部１４及び人物認識用深層学習特徴量データベース１５を備える。撮影画像処理器４は、フュージョン処理器５に対してカメラ検出データ１６を出力する。カメラ検出データ１６には、図１に示されるように、位置及び人物認識スコアが含まれる。位置は、人物認識部１３及び位置検出部１４によって生成され、人物認識スコアは、人物認識部１３及び人物認識用深層学習特徴量データベース１５によって生成される。なお、本稿では、撮影画像処理器４が保有する人物認識用深層学習特徴量データベース１５を「第２のデータベース」と呼ぶことがある。

【0021】

撮影画像処理器４には、深層学習によって得られた特徴量である人物認識用深層学習特徴量に関するデータを集めたデータ群が人物認識用深層学習特徴量データベース１５として構築されている。人物認識部１３は、カメラ２の撮影画像から得られる画像データから物体を認識し、認識した物体に対し、人物認識用深層学習特徴量データベース１５に記憶されているデータを参照して、人物認識スコアを算出する。位置検出部１４は、人物認識スコアが算出された物体の画素座標に基づいて、当該物体の位置を検出する。人物認識スコアは、人物認識部１３が認識した物体が人物であるか否かの尤度を示す指標である。人物認識スコアは、例えば０～１００％の範囲の値として算出されるがこの例に限定されない。人物認識スコアは、０以上１以下の値として算出されてもよい。

【0022】

人物認識部１３における物体認識の処理では、例えば、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot multibox Detector）といったネットワークアルゴリズムを利用することができる。また、人物認識部１３では、深層学習以外の手法が用いられてもよい。例えば、機械学習、ＨＯＧ（Histograms of Oriented Gradients）方式等の学習処理でも実現可能である。

【0023】

フュージョン処理器５は、人物認識部１０が演算する人物認識スコア及び撮影画像処理器４が演算する人物認識スコアに基づいて、レーダ受信信号に基づいて検出された人物と、カメラ２の撮影画像から得られる画像データに基づいて検出された人物とが同一人物であるか否かを判定する。この機能を実現するため、フュージョン処理器５は、物体同一判定部１７及び人物判定部１８を備える。

【0024】

物体同一判定部１７は、レーダ装置１で検出された物体の位置の情報と、カメラ２で検出された物体の位置の情報とに基づいて、それぞれの物体が同一の物体であるか否かを判定する同一判定処理を行う。この処理により、レーダ受信信号に基づいて検出された位置、速度及び人物認識スコアのデータと、カメラ２の画像データに基づいて検出された位置及び人物認識スコアデータとが紐づけされる。

【0025】

物体同一判定部１７の同一判定処理において、同一である旨の判定がされた場合、人物判定部１８は、レーダ信号処理器３で算出された人物認識スコアと、撮影画像処理器４で算出された人物認識スコアとを用いて人物判定処理を行う。人物判定部１８は、この人物判定処理の結果として、フュージョン検出データ１９を生成する。フュージョン検出データ１９には、図１に示されるように、位置、速度及び認識物種類が含まれる。認識物種類は、人物と、人物以外とに区分される。位置及び速度は、物体同一判定部１７の同一判定処理において紐づけされた認識物種類ごとの、対応する物体の位置及び速度の情報である。フュージョン検出データ１９は、車両制御、警報通知等のための制御信号として使用される。

【0026】

なお、フュージョン処理器５では、検出された物体が人物であるか否かを判定しているが、判定対象を人物以外の任意の物体に置き換えてもよいし、人物以外の任意の物体を判定対象に加えてもよい。例えば、車両を判定対象に加えた場合、認識物種類としては、人物と、車両と、人物及び車両以外とに区分することができる。

【0027】

次に、実施の形態に係る物体検出装置１００のハードウェア構成について説明する。図２は、実施の形態に係る物体検出装置１００に備えられるレーダ信号処理器３、撮影画像処理器４及びフュージョン処理器５の機能を実現するハードウェア構成の例を示すブロック図である。レーダ信号処理器３、撮影画像処理器４及びフュージョン処理器５は、図２に示されるように、処理回路９０と、信号の入出力を行うインタフェース９１とを含む構成とすることができ、処理回路９０は、ソフトウェアを実行するプロセッサ９２と、記憶部９３とを含む構成とすることができる。

【0028】

プロセッサ９２は、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、ＣＰＵ（Central Processing Unit）、ＭＣＵ（Micro Control Unit）、ＧＰＵ（Graphics Processing Unit）又はＤＳＰ（Digital Signal Processor）と称される演算手段を少なくとも１つ備えて構成される。記憶部９３としては、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（登録商標）（Electrically EPROM）といった不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）を例示することができる。

【0029】

記憶部９３には、上述したレーダ信号処理器３、撮影画像処理器４及びフュージョン処理器５の各機能を実行するプログラムが格納されている。プロセッサ９２は、インタフェース９１を介して必要な情報を授受し、記憶部９３に格納されたプログラムをプロセッサ９２が実行し、記憶部９３に格納されたテーブルデータ、即ち、記憶部９３に格納された人物認識用受信強度特徴量データベース１１及び人物認識用深層学習特徴量データベース１５のデータをプロセッサ９２が参照することにより、上述した処理を行う。プロセッサ９２による演算結果は、記憶部９３において保持することができる。

【0030】

次に、実施の形態に係る物体検出装置１００における一連の処理の流れについて、図３及び図４を参照して説明する。図３は、実施の形態に係る物体検出装置１００における処理フローを示す第１のフロー図である。図４は、実施の形態に係る物体検出装置１００における処理フローを示す第２のフロー図である。

【0031】

図３において、物体検出の検出処理が開始されると（ステップＳ１）、レーダ信号処理器３には、レーダ装置１で取得された受信データが出力される（ステップＳ２）。レーダ信号処理器３において、距離検出部６、速度検出部７及び水平角度検出部８は、物体の位置及び速度を検出する（ステップＳ３）。また、受信強度特徴量演算部９は、電磁波の反射強度の時間変化量を検出する（ステップＳ４）。また、人物認識部１０は、人物認識用受信強度特徴量データベース１１を参照して人物を認識し、人物認識スコアを算出する（ステップＳ５）。これらの処理で得られた位置、速度及び人物認識スコアは、レーダ検出データ１２として記憶部９３に格納される（ステップＳ６）。

【0032】

また、撮影画像処理器４には、カメラ２で撮影された撮影画像が出力される（ステップＳ７）。撮影画像処理器４において、人物認識部１３は、人物認識用深層学習特徴量データベース１５を参照して物体を認識し、認識した物体に対して人物認識スコアを算出する（ステップＳ８）。位置検出部１４は、人物認識スコアが算出された物体の位置を検出する（ステップＳ９）。これらの処理で得られた位置及び人物認識スコアは、カメラ検出データ１６として記憶部９３に格納される（ステップＳ１０）。

【0033】

フュージョン処理器５の物体同一判定部１７では、上述した同一判定処理が行われる（ステップＳ１１）。この同一判定処理において、検出された物体は同一ではないと判定された場合（ステップＳ１２、Ｎｏ）、物体同一判定部１７は、レーダ検出データ１２及びカメラ検出データ１６のデータを破棄し（ステップＳ１３）、次のフレームの検出処理に移行する（ステップＳ２１）。一方、検出された物体は同一であると判定された場合（ステップＳ１２、Ｙｅｓ）、物体同一判定部１７は、人物判定部１８にレーダ検出データ１２の位置、速度及び人物認識スコア、並びにカメラ検出データ１６の位置及び人物認識スコアのデータを転送する（ステップＳ１４）。この同一判定処理により、レーダ信号処理器３において検出された位置、速度及び人物認識スコアのデータと、撮影画像処理器４において検出された位置及び人物認識スコアのデータとが紐付けされる。

【0034】

人物判定部１８は、レーダ装置１及びカメラ２の人物認識スコアのそれぞれに既定の係数を乗算した後に加算し、既定の人物判定閾値と比較する（ステップＳ１５）。ここで、レーダ検出データ１２の人物認識スコアをＳｒ、カメラ検出データ１６の人物認識スコアをＳｃとする。また、人物認識スコアＳｒ，Ｓｃの重み付け係数をそれぞれＷｒ，Ｗｃとする。人物判定部１８は、これらの人物認識スコアＳｒ，Ｓｃと、重み付け係数Ｗｒ，Ｗｃとから、人物判定スコアＳを次式を用いて算出する。

【0035】

Ｓ＝（Ｗｒ×Ｓｒ）＋（Ｗｃ×Ｓｃ）

【0036】

また、人物判定閾値をＴｈとする。人物判定部１８は、人物判定スコアＳが人物判定閾値Ｔｈ以上であるか否かを判定し（ステップＳ１６）、人物判定スコアＳが人物判定閾値Ｔｈ以上の場合（ステップＳ１６、Ｙｅｓ）、フュージョン検出データ１９の位置、速度にレーダ装置１の位置、速度を格納し、フュージョン検出データ１９の認識物種類に“人物”を格納する（ステップＳ１７）。一方、人物判定スコアＳが人物判定閾値Ｔｈ未満の場合（ステップＳ１６、Ｎｏ）、フュージョン検出データ１９の位置、速度にレーダ装置１の位置、速度を格納し、フュージョン検出データ１９の認識物種類に“障害物”を格納する（ステップＳ１８）。

【0037】

ステップＳ１７，Ｓ１８の処理を終えると、フュージョン処理器５からは最新のフュージョン検出データ１９が出力され（ステップＳ１９）、このフュージョン検出データ１９を用いて車両制御が行われる（ステップＳ２０）。以上の処理により、物体検出処理の１フレームが完了し、次のフレームの物体検出処理に移行する（ステップＳ２１）。次のフレームの物体検出処理では、上述したステップＳ１～Ｓ２０の処理が繰り返される。

【0038】

従来の一般的な物体検出装置では、カメラを用いる手法であるため、土木工事、建設工事などが行われる作業現場に存在し得るカラーコーン（登録商標）、コンテナ等の様々な障害物を人物と誤検出することがあり、車両制御、警報通知等の運用に対して、誤制御又は誤警報が生じてしまうという課題があった。これに対し、実施の形態に係る物体検出装置は、レーダ装置及びカメラという検出原理が異なる手法で人物を検出した後、人物認識スコアを算出し、その後に、フュージョン処理器で最終的な人物判定処理を実施するので、障害物を人物と誤検出する可能性を低減できる。従って、実施の形態に係る物体検出装置は、作業現場における車両制御に対して、安全な運用に寄与することができる。

【0039】

以上説明したように、実施の形態に係る物体検出装置は、レーダ信号処理器と、撮影画像処理器と、フュージョン処理器とを備える。レーダ信号処理器は、監視エリアを走査するレーダ装置から出力されるレーダ受信信号に基づいて監視エリアに存在する物体の距離、速度及び水平角度を検出すると共に、レーダ受信信号の受信強度の特徴に基づいて、検出された物体が人物であるか否かの尤度を示す指標である第１の認識スコアを演算し、第１の認識スコアを物体の位置及び速度の情報に紐付けて出力する。撮影画像処理器は、監視エリアを撮影するカメラの撮影画像から得られる画像データに基づいて監視エリアに存在する物体を認識し、認識した物体の位置情報と、認識した物体が人物であるか否かの尤度を示す第２の認識スコアとを演算して出力する。フュージョン処理器は、第１及び第２の認識スコアに基づいて、レーダ受信信号によって検出された人物と画像データによって検出された人物とが同一人物であるか否かを判定する。上記のように構成された物体検出装置によれば、作業現場に存在し得るカラーコーン（登録商標）、コンテナ等の人物以外の物体を人物として誤検出する可能性を低減することができる。これにより、車両制御、警報通知等の運用において、誤制御又は誤警報の可能性を低減することが可能となる。

【0040】

また、実施の形態に係る物体検出方法は、以下に示す第１～第６ステップまでを含む処理とすることができる。第１ステップでは、監視エリアを走査するレーダ装置から出力されるレーダ受信信号に基づいて監視エリアに存在する物体の距離、速度及び水平角度が検出される。第２ステップでは、レーダ受信信号の受信強度の特徴に基づいて、検出された物体が人物であるか否かの尤度を示す指標である第１の認識スコアが演算される。第３ステップでは、第１の認識スコアが物体の位置及び速度の情報に紐付けられる。第４ステップでは、監視エリアを撮影するカメラの撮影画像から得られる画像データに基づいて監視エリアに存在する物体が認識される。第５ステップでは、認識した物体の位置情報と、認識した物体が人物であるか否かの尤度を示す第２の認識スコアとが演算される。第６ステップでは、第１及び第２の認識スコアに基づいて、レーダ受信信号によって検出された人物と画像データによって検出された人物とが同一人物であるか否かが判定される。これらの第１～第６ステップを含む物体検出方法を用いれば、作業現場に存在し得るカラーコーン（登録商標）、コンテナ等の人物以外の物体を人物として誤検出する可能性を低減することができる。これにより、車両制御、警報通知等の運用において、誤制御又は誤警報の可能性を低減することが可能となる。

【0041】

以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

【符号の説明】

【0042】

１ レーダ装置、２ カメラ、３ レーダ信号処理器、４ 撮影画像処理器、５ フュージョン処理器、６ 距離検出部、７ 速度検出部、８ 水平角度検出部、９ 受信強度特徴量演算部、１０，１３ 人物認識部、１１ 人物認識用受信強度特徴量データベース、１２ レーダ検出データ、１４ 位置検出部、１５ 人物認識用深層学習特徴量データベース、１６ カメラ検出データ、１７ 物体同一判定部、１８ 人物判定部、１９ フュージョン検出データ、９０ 処理回路、９１ インタフェース、９２ プロセッサ、９３ 記憶部、１００ 物体検出装置。

【要約】

物体検出装置（１００）は、監視エリアを走査するレーダ装置（１）から出力されるレーダ受信信号に基づいて監視エリアに存在する物体の距離、速度及び水平角度を検出すると共に、レーダ受信信号の受信強度の特徴に基づいて、検出された物体が人物であるか否かの尤度を示す指標である第１の認識スコアを演算し、第１の認識スコアを物体の位置及び速度の情報に紐付けて出力するレーダ信号処理器（３）と、監視エリアを撮影するカメラ（２）の撮影画像から得られる画像データに基づいて、監視エリアに存在する物体を認識し、認識した物体の位置情報と、認識した物体が人物であるか否かの尤度を示す第２の認識スコアとを演算して出力する撮影画像処理器（４）と、第１及び第２の認識スコアに基づいて、レーダ受信信号によって検出された人物と画像データによって検出された人物とが同一人物であるか否かを判定するフュージョン処理器（５）とを備える。

【図1】

【図2】

【図3】

【図4】