特許 7647189 物体位置検出装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-10

(45)【発行日】2025-03-18

(54)【発明の名称】物体位置検出装置及び方法

(51)【国際特許分類】

   G01S 7/36 20060101AFI20250311BHJP

   G01S 13/50 20060101ALI20250311BHJP

   G01S 13/42 20060101ALI20250311BHJP

   G08G 1/01 20060101ALI20250311BHJP

   G06T 7/00 20170101ALI20250311BHJP

【ＦＩ】

G01S7/36

G01S13/50

G01S13/42

G08G1/01 C

G06T7/00 350B

【請求項の数】 19

(21)【出願番号】P 2021038305

(22)【出願日】2021-03-10

(65)【公開番号】P2022138425

(43)【公開日】2022-09-26

【審査請求日】2024-01-16

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100101454

【弁理士】

【氏名又は名称】山田 卓二

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(74)【代理人】

【識別番号】100091524

【弁理士】

【氏名又は名称】和田 充夫

(72)【発明者】

【氏名】久保 光明

(72)【発明者】

【氏名】松浦 圭記

(72)【発明者】

【氏名】小泉 昌之

(72)【発明者】

【氏名】七條 大樹

(72)【発明者】

【氏名】岩出 彩花

(72)【発明者】

【氏名】奥野 雄太郎

【審査官】▲高▼場 正光

(56)【参考文献】

【文献】特開２０１９－１５２５４３（ＪＰ，Ａ）

【文献】国際公開第２０２０／０２２１１０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／０２７８４４４（ＵＳ，Ａ１）

【文献】国際公開第２０２０／２６１５２５（ＷＯ，Ａ１）

【文献】米国特許第０５３４５５３９（ＵＳ，Ａ）

【文献】SANCHEZ-LOPEZ, Jose Luis, 外２名，“Semantic situation awareness of ellipse shapes via deep learning for multirotor aerial robots with a 2D LIDAR”，2020 INTERNATIONAL CONFERENCE ON UNMANNED AIRCRAFT SYSTEMS (ICUAS) [online]，2020年10月06日，Pages 1014-1023，<URL: https://doi.org/10.1109/ICUAS48674.2020.9214063 >

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００ － Ｇ０１Ｓ ７／５１

Ｇ０１Ｓ １３／００ － Ｇ０１Ｓ １３／９５

Ｇ０１Ｓ １７／００ － Ｇ０１Ｓ １７／９５

(57)【特許請求の範囲】

【請求項1】

レーダ装置からのレーダ信号に基づいて、物体の位置を検出する物体位置検出装置であって、
前記レーダ信号を含む画像データに基づいて、前記物体の位置を表す所定の教師画像データにより学習された機械学習モデルを用いて、前記物体の有無及び位置を推定して、前記推定された物体の有無及び位置を表す画像データを出力する位置推定部を備え、
前記教師画像データは、前記物体の位置を示す複数の画素から構成された図形である物体ラベルで表わされ、
前記物体ラベルは、各次元方向に凸である形状を有し、
前記教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、点反射源からの反射波を検出したときの各次元方向におけるメインローブ幅を上限として設定される、
物体位置検出装置。

【請求項2】

レーダ装置からのレーダ信号に基づいて、物体の位置を検出する物体位置検出装置であって、
前記レーダ信号を含む画像データに基づいて、前記物体の位置を表す所定の教師画像データにより学習された機械学習モデルを用いて、前記物体の有無及び位置を推定して、前記推定された物体の有無及び位置を表す画像データを出力する位置推定部を備え、
前記教師画像データは、前記物体の位置を示す複数の画素から構成された図形である物体ラベルで表わされ、
前記物体ラベルは、各次元方向に凸である形状を有し、
前記教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、前記レーダ装置の方位方向のチャンネル数及びレーダ帯域幅から定まる各次元方向におけるメインローブ幅を上限として設定される、
物体位置検出装置。

【請求項3】

前記画像データは、方位に対する距離の２次元画像データである、
請求項１又は２に記載の物体位置検出装置。

【請求項4】

前記画像データは、距離、方位及び速度のうちの少なくとも２つの次元を有する画像データである、
請求項１又は２に記載の物体位置検出装置。

【請求項5】

前記物体ラベルは、前記物体の位置が前記物体ラベルの中心に位置するように構成される、請求項１又は２に記載の物体位置検出装置。

【請求項6】

前記レーダ信号を含む画像データは、方位に対する距離の各位置における反射強度を含む画像データである、
請求項１～５のいずれか１項に記載の物体位置検出装置。

【請求項7】

前記レーダ信号を含む画像データは、前記方位に対する距離の各位置における反射強度を含む画像データに基づいて、複数の異なる時刻で取得された時系列の複数の画像データである、
請求項６に記載の物体位置検出装置。

【請求項8】

前記レーダ信号を含む画像データは、前記複数の異なる時刻で取得された時系列の複数の画像データに対して、時間差分の反射強度を計算することで得られる前記時間差分の反射強度を含む画像データである、
請求項７に記載の物体位置検出装置。

【請求項9】

前記レーダ信号を含む画像データは、
前記方位に対する距離の各位置における反射強度を含む画像データに対してドップラーＦＦＴを行った後、前記ドップラーＦＦＴにより得られたゼロドップラー成分を、前記レーダ信号を含む画像データから減算し、当該減算された画像データに基づいて複数の異なる時刻で取得された時系列の複数の画像データである、
請求項７に記載の物体位置検出装置。

【請求項10】

前記物体位置検出装置は、
（１）トンネル内の交通流を測定するトンネル交通流監視センサ装置と、
（２）所定の構造物の傍に設けられた交通流監視センサ装置、
（３）交差点に設けられ、交差点の歩行者を測定する歩行者監視センサ装置と、
（４）工場内での自動搬送車もしくは自走ロボットの障害物を検出するセンサ装置との
いずれかである、請求項１～９のいずれか１項に記載の物体位置検出装置。

【請求項11】

レーダ装置からのレーダ信号に基づいて、物体の位置を検出する物体位置検出装置の物体位置検出方法であって、
位置推定部が、前記レーダ信号を含む画像データに基づいて、前記物体の位置を表す所定の教師画像データにより学習された機械学習モデルを用いて、前記物体の有無及び位置を推定して、前記推定された物体の有無及び位置を表す画像データを出力するステップを含み、
前記教師画像データは、前記物体の位置を示す複数の画素から構成された図形である物体ラベルで表わされる、
前記物体ラベルは、各次元方向に凸である形状を有し、
前記教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、点反射源からの反射波を検出したときの各次元方向におけるメインローブ幅を上限として設定される、
物体位置検出方法。

【請求項12】

レーダ装置からのレーダ信号に基づいて、物体の位置を検出する物体位置検出装置の物体位置検出方法であって、
位置推定部が、前記レーダ信号を含む画像データに基づいて、前記物体の位置を表す所定の教師画像データにより学習された機械学習モデルを用いて、前記物体の有無及び位置を推定して、前記推定された物体の有無及び位置を表す画像データを出力するステップを含み、
前記教師画像データは、前記物体の位置を示す複数の画素から構成された図形である物体ラベルで表わされる、
前記物体ラベルは、各次元方向に凸である形状を有し、
前記教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、前記レーダ装置の方位方向のチャンネル数及びレーダ帯域幅から定まる各次元方向におけるメインローブ幅を上限として設定される、
物体位置検出方法。

【請求項13】

前記画像データは、方位に対する距離の２次元画像データである、
請求項１１又は１２に記載の物体位置検出方法。

【請求項14】

前記画像データは、距離、方位及び速度のうちの少なくとも２つの次元を有する画像データである、
請求項１１又は１２に記載の物体位置検出方法。

【請求項15】

前記物体ラベルは、前記物体の位置が前記物体ラベルの中心に位置するように構成される、請求項１１又は１２に記載の物体位置検出方法。

【請求項16】

前記レーダ信号を含む画像データは、方位に対する距離の各位置における反射強度を含む画像データである、
請求項１１～１５のいずれか１項に記載の物体位置検出方法。

【請求項17】

前記レーダ信号を含む画像データは、前記方位に対する距離の各位置における反射強度を含む画像データに基づいて、複数の異なる時刻で取得された時系列の複数の画像データである、
請求項１６に記載の物体位置検出方法。

【請求項18】

前記レーダ信号を含む画像データは、前記複数の異なる時刻で取得された時系列の複数の画像データに対して、時間差分の反射強度を計算することで得られる前記時間差分の反射強度を含む画像データである、
請求項１７に記載の物体位置検出方法。

【請求項19】

前記レーダ信号を含む画像データは、
前記方位に対する距離の各位置における反射強度を含む画像データに対してドップラーＦＦＴを行った後、前記ドップラーＦＦＴにより得られたゼロドップラー成分を、前記レーダ信号を含む画像データから減算し、当該減算された画像データに基づいて複数の異なる時刻で取得された時系列の複数の画像データである、
請求項１７に記載の物体位置検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばレーダ装置からのレーダ情報に基づいて、物体の位置を推定して検出する物体位置検出装置及び方法に関する。

【背景技術】

【0002】

一般的に、レーダ装置は、受信されたレーダ信号から生成された観測エリアの反射強度及びドップラー速度に対してピーク検出（ＣＦＡＲ（Constant False Alarm Rate））やクラスタ分析を適用することで、物標である移動物体を検出している。

【0003】

例えば、特許文献１では、誤検出を抑圧し、目標物体のみを高精度に抽出することのできるレーダ装置が開示されている。当該レーダ装置は、パルス又は連続波を送受信してＮ回（Ｎ≧１）のＣＰＩ（Coherent Pulse Interval）データからレンジ－ドップラー（ＲＤ）データを作成し、前記ＲＤデータについて所定のスレショルドを超えるレンジ－ドップラー軸のセルを抽出する。そして、レーダ装置は、抽出されたセルを用いてクラスタを分析することで目標候補となるクラスタの代表値を選出し、前記代表値から目標のレンジ－ドップラーを抽出し、測距、測速及び測角の少なくともいずれかの処理を行って目標観測値を出力する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－２０５１７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、光学系センサと比較して、レーダ装置はアンテナ数の制約により角度分離分解能を高めることが難しいため、ＣＦＡＲやクラスタ分析の様な手法では、反射波が干渉するような近接する複数の物体や構造物が近接する状況において、物体検出は難しいという問題点があった。

【0006】

例えば、ＣＦＡＲの手法を用いたとき、２つの物体が同一距離かつレーダ固有の角度分解能よりも狭い距離で近接する場合、２つの物体からの反射波が干渉し、物標由来の反射波源のピークの検出が困難になる。また、クラスタリングの手法を用いたとき、２つの物体が同一速度で近接移動する場合、クラスタの分離が困難になる。

【0007】

本発明の目的は以上の問題点を解決し、従来技術に比較して、反射波が干渉するような近接する複数の物体又は構造物が近接する状況においても高精度で物体を検出することができる物体位置検出装置及び方法を提供することにある。

【課題を解決するための手段】

【0008】

本発明の一態様に係る物体位置検出装置は、
レーダ装置からのレーダ信号に基づいて、物体の位置を検出する物体位置検出装置であって、
前記レーダ信号を含む画像データに基づいて、前記物体の位置を表す所定の教師画像データにより学習された機械学習モデルを用いて、前記物体の有無及び位置を推定して、前記推定された物体の有無及び位置を表す画像データを出力する位置推定部を、
備える。

【発明の効果】

【0009】

従って、本発明に係る物体位置検出装置等によれば、反射波が干渉するような近接する複数の物体又は構造物が近接する状況においても高精度で物体を検出することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る物体推定時の物体位置検出装置の構成例を示すブロック図である。

【図2】実施形態に係る学習時の物体位置検出装置の構成例を示すブロック図である。

【図3】図１及び図２のレーダ装置から送信される無線信号のチャープ信号のタイミングチャートである。

【図4】図１及び図２の機械学習モデルの第１の構成例を示すブロック図である。

【図5】図１及び図２の機械学習モデルの第２の構成例を示すブロック図である。

【図6A】図１及び図２の機械学習モデルのための画像データ例であって、物標の位置を表す画像データを示す図である。

【図6B】図６Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示す図である。

【図7A】図１及び図２の機械学習モデルのための画像データの第１例であって、物標の位置を表す画像データを示す図である。

【図7B】図７Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示す図である。

【図7C】図７Ｂの画像データに対応し、機械学習モデルの教師データとして与える学習用教師画像データであるレーダ画像データの一例を示す図である。

【図8A】図１及び図２の機械学習モデルのための画像データの第２例であって、物標の位置を表す画像データを示す図である。

【図8B】図８Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示す図である。

【図8C】図８Ｂの画像データに対応し、機械学習モデルの教師データとして与える学習用教師画像データであるレーダ画像データの一例を示す図である。

【図9】図１の物体座標検出部の構成例及び処理例を示すブロック図である。

【図10】変形例に係る物体位置検出装置で用いる画像データの次元を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明に係る実施形態について図面を参照して説明する。なお、同一又は同様の構成要素については同一の符号を付している。

【0012】

（発明者の知見）
本発明者らは、レーダ装置を用いた例えば通行車両数計測のアプリケーションにおいて、トンネル内や防音壁が近接する場所等で、マルチパスフェージングやクラッタが発生する環境内で、計数がうまくいかないという課題があることを知り、それに対する解決手段として本発明の実施形態を考案したものである。

【0013】

本発明では、物標の位置を推定する手段としてＣＦＡＲとクラスタリングを組み合わせる方法ではなく、機械学習によるレーダ信号の波源推定手法を考案し、信号処理によって生成した時間差分時系列情報と画像認識用の機械学習モデルを用いることで、物標の位置に対応するラベルを描画した画像を生成することを考案した。それにより、ＣＦＡＲやクラスタリングで課題が発生する状況においても、それぞれの物標の位置を高精度に推定することを特徴としている。以下、実施形態について説明する。

【0014】

（実施形態）
図１は実施形態に係る物体推定時の物体位置検出装置の構成例を示すブロック図であり、図２は実施形態に係る学習時の物体位置検出装置の構成例を示すブロック図である。

【0015】

図１の物体推定時において、実施形態に係る物体位置検出装置は、レーダ装置１と、信号処理部２と、入力処理部３と、物体検出部４と、出力処理部５と、物体座標検出部６と、表示部７と、記憶部８を備えて構成される。また、図２の学習時において、本実施形態の物体位置検出装置は、レーダ装置１と、信号処理部２と、入力処理部３と、物体検出部４と、出力処理部５Ａと、記憶部８を備えて構成される。ここで、物体検出部４は機械学習モデル４０を有し、学習後の機械学習モデル４０を、推定検出時に用いるために、学習済み機械学習モデル８１として記憶部８に格納する。なお、図１及び図２においては、物体推定時と学習時で、異なる図で図示しているが、物体検出部４に対して出力処理部５又は５Ａを、スイッチを用いて選択的に切り換えて接続するように構成してもよい。

【0016】

図１及び図２において、レーダ装置１は、例えばＦＣＭ（Fast Chirp Modulation）方式を用いて、チャープ信号を含む無線信号を物標に向けて送信し、当該物標で反射されてくる無線信号を受信して、物標との距離及び相対速度を推定するためのレーダ信号であるビート信号を生成する。ここで、ＦＣＭ方式では、周波数が連続的に変化する複数のチャープ信号が繰り返されるチャープ信号を含む無線信号を、物標に対して無線送信して、検出範囲内に存在する各物標との距離及び相対速度を検出する。具体的には、ＦＣＭ方式は、チャープ信号を生成する変調信号と物標による送信信号の反射波を受信して得られる受信信号とから生成されたビート信号に対して距離（レンジ）高速フーリエ変換処理（以下、距離ＦＦＴ処理という）を実行して物標との距離を推定する（後述する距離ＦＦＴ部２２の説明参照）。

【0017】

図３は図１及び図２のレーダ装置から送信される無線信号のチャープ信号のタイミングチャートである。本実施形態において、１枚の電波画像データを構成する受信データを「１フレーム」と呼び、１フレームは複数のチャープ信号から構成される。図３は、高速ＦＭＣＷ（Frequency Modulation Continuous Wave）方式のフレームを表しており、Ｂはチャープ信号の帯域幅を示し、Ｔはチャープ信号の反復時間、Ｔ・Ｍは１つのフレーム内にあるアクティブチャープ時間を示す。なお、フレーム時間には、アイドル時間を含む。ここで、例えば、１フレーム当たりのチャープ数は２４として、受信された無線信号の複数のチャープ信号を積算平均することでノイズ耐性を高めることができる。

【0018】

さらに、レーダ装置１の無線受信部は、例えば複数のアンテナを含むアレーアンテナを用いて、物標で反射された無線信号を受信した後、無線送信部の送信無線信号と混合しかつローパスフィルタリングすることで、各アンテナに対応する複数のビート信号を計算して信号処理部２に出力する。

【0019】

図１及び図２において、信号処理部２は、ＡＤ変換部２１と、距離ＦＦＴ部２２と、到来方向推定部２３とを備える。ＡＤ変換部２１は、レーダ装置１から出力されるレーダ信号の複数のビート信号をＡＤ変換して距離ＦＦＴ部２２に出力する。距離ＦＦＴ部２２は、入力されるＡＤ変換されたビート信号に対して距離ＦＦＴ処理を実行して、処理後の距離ＦＦＴスペクトルを到来方向推定部２３に出力する。到来方向推定部２３は、入力される距離ＦＦＴスペクトルに基づいて、例えばビームフォーミング法を用いて、物標から反射された無線信号の到来方向（方位）を推定し、方位に対する距離の２次元画像において、画素値として反射信号強度（例えば互いに直交するＩ信号及びＱ信号の振幅値を対数値に変換した値）の情報を含む２次元画像データ（所定の離散時間間隔を有する）の形式で入力処理部３に出力する。

【0020】

図１及び図２において、入力処理部３は、時間差分部３１と、正規化部３２とを備える。時間差分部３１は、入力される、方位に対する距離の２次元画像において、画素値として反射信号強度の情報（物標の有無及び位置を示す）を含む画像データのうち、互いに時間的に隣接する各１対の時間フレームの２次元画像データに対して後退差分演算（時間方向の有限差分を演算する）を順次、時系列の所定数（例えば３１個）のフレーム毎に行って、方位に対する距離のフレームが時間的に複数ある、方位、距離及び時間の３次元画像データを生成して出力する。次いで、正規化部３２は、後退差分演算後の３次元画像データに基づいて、その各画素値を所定の最大値で正規化し、正規化処理後の３次元画像データを生成し、これを機械学習モデル４０に対する入力データとする。

【0021】

なお、時間差分部３１の処理は、例えば上述のように、画素値として反射信号強度の情報を含む画像データのうち、互いに時間的に隣接する各１対の時間フレームの２次元画像データに対して後退差分演算を順次、時系列の所定数のフレーム毎に行っており、推定頻度は当該時系列の所定数のフレームに係るフレーム数に対して１回となる。これに対して、本発明はこれに限らず、時間差分部３１の処理は、例えば上述のように、画素値として反射信号強度の情報を含む画像データのうち、互いに時間的に隣接する各１対の時間フレームの２次元画像データに対して後退差分演算を順次、時系列の１フレーム毎にシフトさせながら行ってもよい。この場合、推定頻度は１フレームに対して１回となる。

【0022】

また、時間差分部３１の処理は、方位に対する距離の２次元画像データにおいて、画素値として反射信号強度の情報（物標の有無及び位置を示す）を含む画像データのうち、互いに時間的に隣接する各１対の時間フレームの２次元画像データに対して後退差分演算を行って、方位に対する距離のフレームが時間的に複数ある、方位、距離及び時間の次元を有する時系列の３次元画像データを生成している。ここで、後退差分演算の代替手段として、方位に対する距離の２次元画像データに対して、クラッタ抑圧のために、ドップラーＦＦＴを行ってゼロドップラー成分を計算し、元の２次元画像データから当該ゼロドップラー成分を減算してもよい。このとき、前記減算された２次元画像データに基づいて、互いに時間的に隣接する各１対の時間フレームの２次元画像データに対して後退差分演算を行って、方位に対する距離のフレームが時間的に複数ある、方位、距離及び時間の次元を有する時系列の３次元画像データを生成する。

【0023】

一方、出力処理部５Ａは、レーダ装置１を用いて物標の位置検出したときの２次元教師画像データ（図７Ａ～図９Ｃを参照して後述するように、既知の物標位置に対して複数画素を２次元画像データ（物標の位置情報を鳥瞰図として表す）において与える）を内蔵メモリに格納しておき、機械学習モデル４０に対する学習時に出力データとして物体検出部４に入力する。なお、物体推定時の出力処理部に対して符号５を付し、出力処理部５は、物体検出部４からの推定結果の２次元画像データを内蔵バッファメモリに格納した後、図１の物体座標検出部６に出力する。

【0024】

以下の表１に、信号処理部２及び入力処理部３の信号処理（信号データの種類）と出力データフォーマットを示す。

【0025】

［表１］
信号処理部２及び入力処理部３の信号処理（信号データの種類）と
出力データフォーマット
――――――――――――――――――――――――――――――――――
レーダ装置１のＩ／Ｑ信号取得処理（複素数データ）：
フレーム数×チャープ数×仮想受信アンテナ数×取得サンプル数
――――――――――――――――――――――――――――――――――
レーダ装置１のチャープ信号の積算処理（複素数データ）：
フレーム数×仮想受信アンテナ数×取得サンプル数
――――――――――――――――――――――――――――――――――
距離ＦＦＴ処理（複素数データ）：
フレーム数×仮想受信アンテナ数×距離ビン数
――――――――――――――――――――――――――――――――――
到来方向推定処理（デジタルビームフォーミング法）（複素数データ）：
フレーム数×方位ビン数×距離ビン数
――――――――――――――――――――――――――――――――――
到来方向推定処理後のＩ／Ｑ信号の振幅絶対値演算及び対数変換処理
（複素数データ）：
フレーム数×方位ビン数×距離ビン数
――――――――――――――――――――――――――――――――――
時間差分処理（複素数データ）：
（フレーム数－１）×方位ビン数×距離ビン数
――――――――――――――――――――――――――――――――――
正規化処理（複素数データ）：
（フレーム数－１）×方位ビン数×距離ビン数
――――――――――――――――――――――――――――――――――

【0026】

図１及び図２の物体検出部４は位置推定部の一例であって、例えば畳み込みエンコーダと畳み込みデコーダで構成されるＤＮＮ（ディープニューラルネットワーク）で構成される機械学習モデル４０を有し、入力データとして前記正規化処理後の３次元画像データを入力する一方、出力データとして出力処理部５Ａから前記２次元教師画像データを入力して、機械学習モデル４０を学習させた後、学習済み機械学習モデル４０を、学習済み機械学習モデル８１として記憶部８に保存する。次いで、物体検出部４は、図１の物体検出時において、記憶部８内の学習済み機械学習モデル８１を、機械学習モデル４０として物体検出部４の内蔵メモリに保存格納して推定検出に用いる。

【0027】

図１の物体検出時においては、レーダ装置１から信号処理部２及び入力処理部３を経て物体検出部４に至る処理は、学習時と同じであるが、物体検出部４は、入力データに用いて機械学習モデル４０を用いて物体検出時の推定を行って、２次元画像データである出力データを出力処理部５に出力する。出力処理部５は、物体検出部４からの推定結果の２次元画像データを内蔵バッファメモリに格納した後、図１の物体座標検出部６に出力する。

【0028】

図４は図１及び図２の機械学習モデル４０の第１の構成例（実施形態）である機械学習モデル４０Ａを示すブロック図である。図４において、機械学習モデル４０Ａは、３次元畳み込みエンコーダ４１と、２次元畳み込みデコーダ４２とを備えて構成される。

【0029】

図４の３次元畳み込みエンコーダ４１は４個の信号処理部を備え、３次元変換フィルタ３×３×３（１６又は３２）と、最大プーリング処理部２×２×２と、活性化関数処理部（関数Ｒｅｌｕ）とを用いて構成される。ここで、括弧内はフィルタ数を示す。また、２次元畳み込みデコーダ４２は５個の信号処理部を備え、２次元変換フィルタ３×３（１６又は３２）と、アップサンプリング処理部２×２と、活性化関数処理部（関数Ｒｅｌｕ）と、出力層の活性化関数処理部（シグモイド関数）とを用いて構成される。

【0030】

３次元畳み込みエンコーダ４１の入力データは、例えば次式のデータフォーマットを有する。
（時間，距離，方位，チャネル）＝（８０，１２８，８０，１）

【0031】

また、２次元畳み込みデコーダ４２の出力データは、例えば次式のデータフォーマットを有する。
（距離，方位，チャネル）＝（１２８，８０，１）

【0032】

以上のように構成された図４の機械学習モデル４０Ａの基本構成に対して、例えば一般的な深層学習のディープドロップ又はバッチノーマライゼション等の追加処理を行ってもよい。

【0033】

図５は図１及び図２の機械学習モデルの第２の構成例（変形例）である機械学習モデル４０Ｂを示すブロック図である。図４の機械学習モデル４０Ａに対して、図５の機械学習モデル４０Ｂは、２次元畳み込みエンコーダ５１と、２次元畳み込みデコーダ５２とを備えて構成される。

【0034】

図５の２次元畳み込みエンコーダ５１は４個の信号処理部を備え、２次元変換フィルタ３×３（１６又は３２）と、最大プーリング処理部２×２と、活性化関数処理部（関数Ｒｅｌｕ）とを用いて構成される。ここで、括弧内はフィルタ数を示す。また、２次元畳み込みデコーダ５２は５個の信号処理部を備え、２次元変換フィルタ３×３（１６又は３２）と、アップサンプリング処理部２×２と、活性化関数処理部（関数Ｒｅｌｕ）と、出力層の活性化関数処理部（シグモイド関数）とを用いて構成される。

【0035】

２次元畳み込みエンコーダ５１の入力データは、例えば次式のデータフォーマットを有する。
（距離，方位，チャネル）＝（１２８，８０，１）

【0036】

また、２次元畳み込みデコーダ５２の出力データは、例えば次式のデータフォーマットを有する。
（距離，方位，チャネル）＝（１２８，８０，１）

【0037】

以上のように構成された図５の機械学習モデル４０Ｂでは、入力データにおいて時間方向の次元を無くし（すなわち、図１及び図２において、時間差分部３１を省略する）、畳み込みエンコーダ５１を２次元で構成したことを特徴としている。これにより、物体検出の認識性能は、機械学習モデル４０Ａに比較して低下するが、計算負荷が小さくなるという特有の効果を有する。

【0038】

次いで、図１及び図２の機械学習モデル４０の画像データの一例について以下に説明する。

【0039】

図６Ａは図１及び図２の機械学習モデルのための画像データ例であって、物標の位置を表す画像データを示す図である。図６Ａに、方位に対する距離を表す２次元画像において、物標が存在する座標点に対応する画素１０１を示している。これに対して、図６Ｂは図６Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示している。図６Ｂにおいて、物標の存在に対応するレーダ信号のメインローブの方位方向の幅は、レーダ装置１の方位方向のチャンネル数によって決まる。図６Ｂの実施例では、レーダ装置１の方位方向のチャンネル数は８であり、そのメインローブ幅はおよそ２２度に相当する。実施例では１度を１画素で表現しているため、メインローブは２２画素に相当する。

【0040】

図７Ａは図１及び図２の機械学習モデルのための画像データの第１例であって、物標の位置を表す画像データを示す図である。図７Ａに、方位に対する距離を表す２次元画像において、物標が存在する座標点に対応する画素１０１を示している。これに対して、図７Ｂは図７Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示しており、図７Ｃは図７Ｂの画像データに対応し、機械学習モデル４０の教師データとして与える学習用教師画像データであるレーダ画像データの一例を示している。

【0041】

図７Ｃに示すように、機械学習モデル４０の教師データとして与える画像データ（教師画像データ）における物標の位置を表す点（図７Ａの画素１０１の位置に対応する）は、１画素の点ではなく複数画素からなる範囲を持った図形である「物体ラベル」（ここで、例えば物体ラベルの中心に、画素１０１が位置する。）とすることで、学習が精度よく収束する。このとき、上記の実施例で、物標の位置を表す図形の方位方向の幅を、２２ピクセル以下（図７Ｃの中央部の白部分の横方向の幅）とすることで、元々のレーダ信号のもつ方位分解能を損なわずに物標の位置の推定を行うことができる。同様に距離の次元やその他の次元に対しても、レーダ装置１のパラメータによって定められるメインローブの幅を、物標の位置を表す図形の対応する次元方向の幅の上限とすることが望ましい。

【0042】

図８Ａは図１及び図２の機械学習モデルのための画像データの第２例であって、物標の位置を表す画像データを示す図である。図８Ａに、方位に対する距離を表す２次元画像において、物標が存在する座標点に対応する画素１０１を示している。これに対して、図８Ｂは図８Ａの画像データに対応する位置に物標が存在するときに得られるレーダ信号の画像データを示す図である。図８Ｃは図８Ｂの画像データに対応し、機械学習モデルの教師データとして与える学習用教師画像データであるレーダ画像データの一例を示す図である。

【0043】

発明者らのシミュレーション及び実験によれば、経験的に、物標の位置を表す図形の方位方向の幅をレーダ装置１のメインローブ幅の０．２５倍～０．７５倍の範囲とすることが、学習の収束性と分解能を両立させる上で望ましい。上記の実施例では、１１画素程度（図８Ｃの中央部の白部分の横方向の幅）とすると最も推定精度がよく、これはメインローブ幅の０．５倍に対応する。また、物標の位置を表す図形の形状は、テンプレートマッチングの際にどの次元方向に対しても分離がされやすいように、図８Ｃに示すように、楕円のようにどの方向にも凸な形状が望ましい。そのため、物体ラベルのサイズはどの次元方向に対しても凸な形状になるよう、好ましくは最低でも各次元で３ピクセル以上である必要がある。

【0044】

図６A～図７Cを参照して説明したように、
（１）教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、点反射源からの反射波を検出したときの各次元方向におけるメインローブ幅を上限として設定され、もしくは
（２）教師画像データにおける前記物体ラベルの各次元方向におけるサイズは、前記レーダ装置の方位方向のチャンネル数及びレーダ帯域幅から定まる各次元方向におけるメインローブ幅を上限として設定される、
ことが好ましい。

【0045】

以上説明したように、本実施形態で用いる機械学習モデル４０は以下のように構成することが好ましい。

【0046】

１．機械学習モデル４０の入力データ
（１）入力データは、各方位及び各距離における反射強度の情報を含むレーダ画像を時間フレームで後退差分したヒートマップを表す画像データある。
（２）距離及び方位の範囲はアプリケーションに合わせて任意に設定可能である。
（３）入力される画像データは必ずしも３次元である必要はなく、時系列をなくして１フレームで推論してもよい。
（４）入力と出力の距離及び方位の範囲（画像サイズ）は必ずしも同じである必要はない。
（５）入力データのモーダルを増やすことも可能であって、例えば、時間差分前の反射強度画像を２つ目のモーダルとして、ＲＧＢ画像のように２つ目のチャネルとして用意してもよい。

【0047】

２．機械学習モデル４０の教師データ及び出力データ
（１）教師画像データ及び出力画像データは、例えば０～１の出力範囲で表現されたグレースケールの画像を含む。
（２）検出対象となる物標以外の背景等を０として表現する。
（３）検出対象となる物標を１とし、複数画素の所定形状の図形の物体ラベルで表現する。
（４）物標の位置は時系列中の特定のフレームを基準に決定し、図６Ａ～図８Ｃの実施例では時系列中の中心フレームを基準に物標の位置を決定した。
（５）物体ラベルの中心座標は物標の位置情報を示す。
（６）物体ラベルのサイズは物標のサイズには依存せず一定のサイズで表す。

【0048】

次いで、図１の物体座標検出部６の構成例及び処理例について以下に説明する。

【0049】

図９は図１の物体座標検出部６の構成例及び処理例を示すブロック図である。図１及び図９において、物体座標検出部６は、テンプレートマッチング部６１と、ピークサーチ部６２とを備える。本実施形態では、出力処理部５からの出力データの後処理において、機械学習モデル４０の出力データの結果から物標の検出点数及び座標情報を抽出するためにテンプレートマッチングとピークサーチを行った。

【0050】

テンプレートマッチング部６１は、入力される画像データのうち、物標の物体ラベルのパターンを、予め格納した物標の正解物標の物体ラベルのパターンと相互相関値を求めてパターンマッチング処理を行うことで、合致度の計算を行って類似度マップの画像データを計算する。次いで、ピークサーチ部６２は、テンプレートマッチング部６１から出力される類似度マップの画像データに対して以下のピークサーチ処理を行う。
（１）最大値フィルタ（６×６のフィルタであって、正解ラベルサイズやアプリケーションに応じて任意にサイズを決定することが可能）を用いて最大値のピーク位置を検索し、検索結果の画素を有する画像データを得る。
（２）次いで、得られた画像データに対してマスク処理を行うことで元の配列と同じ値を持つ要素だけ残した画像データを得る。
（３）さらに、得られた画像データに対してノイズ除去のために、所定のしきい値以下の低値ピークの画素を排除して画像データを得る。

【0051】

さらに、物体座標検出部６は、ピークサーチ部６２で得られた画像データとともに、物標の検出点数及び物標の座標位置（距離、方位）を表示部７に出力して表示させる。

【0052】

以上説明したように、物体座標検出部６では、テンプレートマッチング部６１及びピークサーチ部６２との各処理を組み合わせることで、レーダ装置１の観測エリアに含まれる物標の数や座標を求めることができる。また、ここで用いた処理以外にも一般的な図形の中心座標の求め方を適用することができ、発明の基本的な効果を損なうことはない。

【0053】

（実施形態の作用効果）
以上説明したように、本実施形態によれば、物標の位置を推定する手段としてＣＦＡＲとクラスタリングを組み合わせる方法ではなく、信号処理によって生成した時間差分時系列情報と画像認識用の機械学習モデルを用いることで、物標の位置に対応する物体ラベルを描画した画像データを生成することができる。それにより、ＣＦＡＲやクラスタリングで課題が発生する状況においても、それぞれの物標の位置を、従来技術に比較して高精度に推定することが可能になった。ここで、従来技術であるドップラーＦＦＴ、ＣＦＡＲ、クラスタ分析では計数がうまくいかない物体近接状況において、正しく波源数を計数でき位置を検出できるという、特有の効果を有する。

【0054】

本実施形態では、特に、画像認識用の機械学習モデル４０に対して、信号処理部２によって処理された各方位及び各距離における反射強度情報を含む時系列の時間差分レーダ画像データを物体検出部４の機械学習モデル４０に入力することで、物標の位置に対応する物体ラベルを描画された画像データを生成できる。これにより、ユーザは、移動する複数の物標が近接する環境内でも、各移動物体の位置を従来技術に比較して高精度で同時に検出することができる。また、例えばトンネルや高速道路の防音壁など壁が近接しレーダデータにおいてクラッタが発生するような状況下でも各移動物体の位置を従来技術に比較して高精度で同時に検出することができる。

【0055】

本実施形態では，以下の特有の効果をさらに有する。
（１）信号処理部２において、信号を分離するためのドップラー速度ＦＦＴ処理が不要になる。なお、従来技術では、距離（レンジ）及びドップラー速度（相対速度）の２次元ＦＦＴ処理を行うことが一般的である。
（２）ＣＦＡＲ及びクラスタ分析が不要である。
（３）クラッタやサイドローブを抑圧する必要がない。
（４）所望する物標からの反射信号が微弱であっても検知が可能である。
（５）実施形態に係る物体検出処理では、レーダ画像の情報は欠損しない。
（６）アンテナ素子が少なくても高精度な検知が可能である。

【0056】

（変形例）
図１０は変形例に係る物体位置検出装置で用いる画像データの次元を示す図である。以上の実施形態では、方位に対する距離を表す２次元画像データを用いて物標を検出している。しかし、本発明はこれに限らず、図１０に示すように、方位及び距離の次元にさらに、相対速度（ドップラー速度）を含み、方位に対する距離及び速度を表す３次元画像データを用いて物標を検出してもよい。この場合、距離ＦＦＴ部２２に代えて、距離及び速度ＦＦＴ部を備え、公知の距離及び速度の２次元ＦＦＴ処理を行う。

【0057】

さらに、例えば、方位に対するチャンネルを持たず距離の一次元のみに対して物標の位置を検出するレーダ装置も考えられ、位置を距離として使用する場合もある。この場合に、本発明を適用して距離－速度平面上での波源位置推定を行うと、より正確な物標位置を求めることができる。従って、本発明に係る画像データは、距離、方位及び速度のうちの少なくとも２つの次元を有する画像データであってもよい。

【0058】

（応用例）
本実施形態に係る物体位置検出装置の応用例について以下に説明する。

【0059】

（１）トンネル内の交通流の監視
レーダ装置はトンネル内の天井に搭載されて、トンネル内の交通流（交通トラフィック）の監視のために使用される。本発明の実施形態によって、内壁や車両同士による虚像の影響を受けずに観測エリアに存在する物標（移動体）の位置を正しく検出することができる。また、その結果に対してトラッキングを加えることで交通流の監視や通知の制御に適用することができる。

【0060】

（２）道路に近接する大きな構造物が存在する環境での交通流の監視
レーダ装置は高速道路の防音壁（遮音壁）のように道路に近接する大きな構造物が存在する環境の路側機に搭載されて、交通流の監視のために使用される。本発明の実施形態によって、防音壁や車両同士による虚像の影響を受けずに観測エリアに存在する物標（移動体）の位置を正しく検出することができる。また、その結果に対してトラッキングを加えることで交通流の監視や通知の制御に適用することができる。

【0061】

（３）交差点での歩行者の安全監視
レーダ装置は交差点の路側機に搭載されて、交通流の監視のために使用される。本発明の実施形態によって、人間同士や電柱や建物などによる虚像の影響を受けずに観測エリアに存在する物標（移動体）の位置を正しく検出し、その結果が歩行者の安全監視や通知の制御に用いられる。

【0062】

（４）工場内での自動搬送車もしくは自走ロボットの障害物検知のセンサ
レーダ装置は工場内で稼働する自動搬送車や自走ロボットに搭載され、障害物を検知するために使用される。本発明の実施形態によって、工場内における製造ラインの機械や作業者などによる虚像の影響を受けずに観測エリアに存在する物標（障害物）の位置を正しく検出し、その結果が自動搬送車や自走ロボットの走行制御に用いられる。

【0063】

（従来技術との相違点と特有の効果）
本発明の実施形態では、機械学習モデル４０は、物体の位置に対応する情報を画像データとして出力することを特徴としている。ここで、機械学習モデル４０の入力データは、方位に対する距離の各位置における反射強度の情報を含むレーダ信号の画像データを時間フレームで差分した後、時系列化した画像データである。また、機械学習モデル４０の教師出力データは、物体の位置情報を複数の画素で表すことを特徴としている。これにより、例えばＲＡＤ（Range Azimuth Doppler）のヒートマップのテンソル及び正解ボックスのクラス及び位置を用いる従来技術に比較して、複数の物体の有無と位置に関する情報を１枚の画像データの形式で出力するために、計算コストがきわめて小さい。また、機械学習モデル４０の構造も従来技術に比較して簡単である。

【産業上の利用可能性】

【0064】

以上詳述したように、本発明によれば、従来技術に比較して、反射波が干渉するような近接する複数の物体又は構造物が近接する状況においても高精度で物体を検出することができる。本発明の物体位置検出装置は、例えば、車両又は歩行者を計数するカウンタ装置、トラフィックカウンタ装置、インフラレーダ装置、及び工場内での自動搬送車の障害物を検出するセンサ装置に適用することができる。

【符号の説明】

【0065】

１ レーダ装置
２ 信号処理部
３ 入力処理部
４ 物体検出部
５ 出力処理部
６ 物体座標検出部
７ 表示部
８ 記憶部
２１ ＡＤ変換部
２２ 距離ＦＦＴ部
２３ 到来方向推定部
３１ 時間差分部
３２ 正規化部
４０，４０Ａ，４０Ｂ 機械学習モデル
４１ ３次元畳み込みエンコーダ
４２ ２次元畳み込みデコーダ
５１ ２次元畳み込みエンコーダ
５２ ２次元畳み込みデコーダ
６１ テンプレートマッチング部
６２ ピークサーチ部
８１ 学習済み機械学習モデル
１０１ 物標が存在する座標点に対応する画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】

【図9】

【図10】