特開 2022-39102 レーダ画像物標検知装置及びレーダ画像物標検知プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022039102

(43)【公開日】2022-03-10

(54)【発明の名称】レーダ画像物標検知装置及びレーダ画像物標検知プログラム

(51)【国際特許分類】

   G01S 13/86 20060101AFI20220303BHJP

   G08G 1/16 20060101ALI20220303BHJP

   G01S 13/931 20200101ALI20220303BHJP

   G01S 13/72 20060101ALI20220303BHJP

【ＦＩ】

G01S13/86

G08G1/16 C

G01S13/931

G01S13/72

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020143953

(22)【出願日】2020-08-27

(71)【出願人】

【識別番号】318006365

【氏名又は名称】ＪＲＣモビリティ株式会社

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100173716

【弁理士】

【氏名又は名称】田中 真理

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】紺野 将寿

(72)【発明者】

【氏名】星 将広

(72)【発明者】

【氏名】矢野 邦哲

(72)【発明者】

【氏名】原 隆将

(72)【発明者】

【氏名】時枝 幸伸

【テーマコード（参考）】

5H181

5J070

【Ｆターム（参考）】

5H181AA01

5H181AA21

5H181CC04

5H181CC14

5H181LL01

5H181LL02

5H181LL07

5J070AC02

5J070AC13

5J070AE01

5J070AE09

5J070AF03

5J070AK13

5J070BB04

5J070BB16

5J070BD08

5J070BF03

5J070BF21

(57)【要約】

【課題】本開示は、レーダ物標と画像物標とを統合したものの距離及び方位として、高精度な距離及び方位を出力することを目的とする。
【解決手段】本開示は、レーダ信号を取得し、レーダ信号に基づいて、レーダ物標を検知し、レーダ物標の距離及び方位を測定するレーダ物標検知部３１と、カメラ画像を取得し、カメラ画像に基づいて、画像物標を検知し、画像物標の方位及び距離を測定する画像物標検知部３２と、レーダ物標の距離と画像物標の距離との間の差分が所定差分以下であるとともに、画像物標の方位とレーダ物標の方位との間の差分が所定差分以下であるときに、レーダ物標と画像物標とを統合するレーダ画像物標統合部３３と、を備えることを特徴とするレーダ画像物標検知装置３である。
【選択図】図１

【特許請求の範囲】

【請求項1】

レーダ信号を取得し、前記レーダ信号に基づいて、物標（以下、レーダ物標という。）を検知し、前記レーダ物標の距離及び方位を測定するレーダ物標検知部と、
カメラ画像を取得し、前記カメラ画像に基づいて、物標（以下、画像物標という。）を検知し、前記画像物標の方位及び距離を測定する画像物標検知部と、
前記レーダ物標の距離と前記画像物標の距離との間の差分が所定差分以下であるとともに、前記画像物標の方位と前記レーダ物標の方位との間の差分が所定差分以下であるときに、前記レーダ物標と前記画像物標とを統合するレーダ画像物標統合部と、
を備えることを特徴とするレーダ画像物標検知装置。

【請求項2】

前記レーダ画像物標統合部は、前記画像物標と統合可能な前記レーダ物標が検知されないときに、前記画像物標の方位及び距離に最も近い方位及び距離を有するレーダ信号点のクラスタを検知し、前記レーダ信号点のクラスタと前記画像物標とを統合する
ことを特徴とする、請求項１に記載のレーダ画像物標検知装置。

【請求項3】

前記レーダ画像物標統合部は、前記レーダ物標と統合可能な前記画像物標が検知されないときに、前記レーダ物標の距離及び方位の付近の距離及び方位を有する再検知画像物標を再検知し、前記再検知画像物標と前記レーダ物標とを統合する
ことを特徴とする、請求項１又は２に記載のレーダ画像物標検知装置。

【請求項4】

前記レーダ画像物標統合部は、前記レーダ物標と前記画像物標とを統合したものの距離及び方位として、前記レーダ物標の距離及び前記画像物標の方位を出力する
ことを特徴とする、請求項１から３のいずれかに記載のレーダ画像物標検知装置。

【請求項5】

前記レーダ画像物標統合部は、前記レーダ物標と前記画像物標とを統合したものの高さとして、前記レーダ物標の距離及び前記画像物標の縦方向画素数に基づく高さを出力する
ことを特徴とする、請求項１から４のいずれかに記載のレーダ画像物標検知装置。

【請求項6】

前記レーダ物標と前記画像物標とを統合したものについて、前記画像物標の輪郭を抽出し、前記画像物標の輪郭の３次元位置を出力する画像物標輪郭抽出部をさらに備える
ことを特徴とする、請求項１から５のいずれかに記載のレーダ画像物標検知装置。

【請求項7】

前記レーダ物標と前記画像物標とを統合したものについて、追尾を実行し、速度ベクトルを算出するレーダ画像物標追尾部をさらに備える
ことを特徴とする、請求項１から６のいずれかに記載のレーダ画像物標検知装置。

【請求項8】

前記レーダ物標と前記画像物標とをそれぞれ統合した複数のものについて、又は、これらの各々のものとレーダ送受信装置及びカメラ撮像装置とについて、前記速度ベクトルに基づいて、衝突の危険度を判定する衝突危険度判定部をさらに備える
ことを特徴とする、請求項７に記載のレーダ画像物標検知装置。

【請求項9】

前記衝突危険度判定部は、前記レーダ物標と前記画像物標とをそれぞれ統合した複数のものについて、又は、これらの各々のものと前記レーダ送受信装置及び前記カメラ撮像装置とについて、種別及び／又は大きさに基づいて、衝突の危険度を判定する
ことを特徴とする、請求項８に記載のレーダ画像物標検知装置。

【請求項10】

前記衝突危険度判定部は、前記レーダ物標と前記画像物標とを統合したものについて、前記レーダ送受信装置及び前記カメラ撮像装置が検知した構造物の距離及び方位又は前記衝突危険度判定部が予め有する前記構造物の３次元マップ情報に基づいて、前記構造物との衝突の危険度を判定する
ことを特徴とする、請求項８又は９に記載のレーダ画像物標検知装置。

【請求項11】

レーダ信号を取得し、前記レーダ信号に基づいて、物標（以下、レーダ物標という。）を検知し、前記レーダ物標の距離及び方位を測定するレーダ物標検知ステップと、
カメラ画像を取得し、前記カメラ画像に基づいて、物標（以下、画像物標という。）を検知し、前記画像物標の方位及び距離を測定する画像物標検知ステップと、
前記レーダ物標の距離と前記画像物標の距離との間の差分が所定差分以下であるとともに、前記画像物標の方位と前記レーダ物標の方位との間の差分が所定差分以下であるときに、前記レーダ物標と前記画像物標とを統合するレーダ画像物標統合ステップと、
をコンピュータに実行させるためのレーダ画像物標検知プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、レーダ信号及びカメラ画像に基づいて、物標を検知する技術に関する。

【背景技術】

【0002】

レーダ信号及びカメラ画像に基づいて、物標を検知する技術が、特許文献１等に開示されている。特許文献１では、カメラ画像上でレーダ信号をプロットし、レーダ信号の近傍でのエッジ解析を実行し、計測対象（例えば、車両等。）を縁取る四角錐台を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－２１１４０２号公報

【特許文献2】特開２０１９－２１１４０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１では、レーダ信号に基づいて検知した物標（以下、レーダ物標という。）と、カメラ画像に基づいて検知した物標（以下、画像物標という。）と、を統合していない。よって、特許文献１では、レーダ物標と画像物標とを統合したものの距離として、画像物標の低精度な距離ではなくレーダ物標の高精度な距離を出力することができない。そして、特許文献１では、レーダ物標と画像物標とを統合したものの方位として、レーダ物標の低精度な方位ではなく画像物標の高精度な方位を出力することができない。

【0005】

そこで、前記課題を解決するために、本開示は、レーダ物標と画像物標とを統合したものの距離及び方位として、高精度な距離及び方位を出力することを目的とする。

【課題を解決するための手段】

【0006】

前記課題を解決するために、レーダ物標の距離と画像物標の距離との間の差分が所定差分以下であるとともに、画像物標の方位とレーダ物標の方位との間の差分が所定差分以下であるときに、レーダ物標と画像物標とを統合する。よって、レーダ物標と画像物標とを統合したものの距離として、画像物標の低精度な距離ではなくレーダ物標の高精度な距離を出力することができる。そして、レーダ物標と画像物標とを統合したものの方位として、レーダ物標の低精度な方位ではなく画像物標の高精度な方位を出力することができる。

【0007】

具体的には、本開示は、レーダ信号を取得し、前記レーダ信号に基づいて、レーダ物標を検知し、前記レーダ物標の距離及び方位を測定するレーダ物標検知部と、カメラ画像を取得し、前記カメラ画像に基づいて、画像物標を検知し、前記画像物標の方位及び距離を測定する画像物標検知部と、前記レーダ物標の距離と前記画像物標の距離との間の差分が所定差分以下であるとともに、前記画像物標の方位と前記レーダ物標の方位との間の差分が所定差分以下であるときに、前記レーダ物標と前記画像物標とを統合するレーダ画像物標統合部と、を備えることを特徴とするレーダ画像物標検知装置である。

【0008】

また、本開示は、レーダ信号を取得し、前記レーダ信号に基づいて、レーダ物標を検知し、前記レーダ物標の距離及び方位を測定するレーダ物標検知ステップと、カメラ画像を取得し、前記カメラ画像に基づいて、画像物標を検知し、前記画像物標の方位及び距離を測定する画像物標検知ステップと、前記レーダ物標の距離と前記画像物標の距離との間の差分が所定差分以下であるとともに、前記画像物標の方位と前記レーダ物標の方位との間の差分が所定差分以下であるときに、前記レーダ物標と前記画像物標とを統合するレーダ画像物標統合ステップと、をコンピュータに実行させるためのレーダ画像物標検知プログラムである。

【0009】

これらの構成によれば、レーダ物標と画像物標とを統合することができる。

【0010】

また、本開示は、前記レーダ画像物標統合部は、前記画像物標と統合可能な前記レーダ物標が検知されないときに、前記画像物標の方位及び距離に最も近い方位及び距離を有するレーダ信号点のクラスタを検知し、前記レーダ信号点のクラスタと前記画像物標とを統合することを特徴とするレーダ画像物標検知装置である。

【0011】

この構成によれば、画像物標と統合可能なレーダ物標が検知されないときであっても、レーダ信号点のクラスタと画像物標とを統合することができる。

【0012】

また、本開示は、前記レーダ画像物標統合部は、前記レーダ物標と統合可能な前記画像物標が検知されないときに、前記レーダ物標の距離及び方位の付近の距離及び方位を有する再検知画像物標を再検知し、前記再検知画像物標と前記レーダ物標とを統合することを特徴とするレーダ画像物標検知装置である。

【0013】

この構成によれば、レーダ物標と統合可能な画像物標が検知されないときであっても、再検知された画像物標とレーダ物標とを統合することができる。

【0014】

また、本開示は、前記レーダ画像物標統合部は、前記レーダ物標と前記画像物標とを統合したものの距離及び方位として、前記レーダ物標の距離及び前記画像物標の方位を出力することを特徴とするレーダ画像物標検知装置である。

【0015】

この構成によれば、レーダ物標と画像物標とを統合したものの距離及び方位として、レーダ物標の高精度な距離及び画像物標の高精度な方位を出力することができる。

【0016】

また、本開示は、前記レーダ画像物標統合部は、前記レーダ物標と前記画像物標とを統合したものの高さとして、前記レーダ物標の距離及び前記画像物標の縦方向画素数に基づく高さを出力することを特徴とするレーダ画像物標検知装置である。

【0017】

この構成によれば、レーダ物標と画像物標とを統合したものの高さとして、レーダ物標の高精度な距離及び画像物標の高精度な縦方向画素数に基づいて出力することができる。

【0018】

また、本開示は、前記レーダ物標と前記画像物標とを統合したものについて、前記画像物標の輪郭を抽出し、前記画像物標の輪郭の３次元位置を出力する画像物標輪郭抽出部をさらに備えることを特徴とするレーダ画像物標検知装置である。

【0019】

この構成によれば、レーダ物標と画像物標とを統合したものについて、レーダ画像物標統合部は、レーダ信号点分布又は画像矩形形状情報に基づいて、大きさを判定し、画像物標輪郭抽出部は、判定された大きさに基づいて、３次元輪郭を抽出することができる。

【0020】

また、本開示は、前記レーダ物標と前記画像物標とを統合したものについて、追尾を実行し、速度ベクトルを算出するレーダ画像物標追尾部をさらに備えることを特徴とするレーダ画像物標検知装置である。

【0021】

また、本開示は、前記レーダ物標と前記画像物標とをそれぞれ統合した複数のものについて、又は、これらの各々のものとレーダ送受信装置及びカメラ撮像装置とについて、前記速度ベクトルに基づいて、衝突の危険度を判定する衝突危険度判定部をさらに備えることを特徴とするレーダ画像物標検知装置である。

【0022】

この構成によれば、レーダ物標と画像物標とをそれぞれ統合した複数のものについて、又は、これらの各々のものとレーダ送受信装置及びカメラ撮像装置とについて、所定期間内の接近程度に基づいて、衝突の危険度を判定することができる。

【0023】

また、本開示は、前記衝突危険度判定部は、前記レーダ物標と前記画像物標とをそれぞれ統合した複数のものについて、又は、これらの各々のものと前記レーダ送受信装置及び前記カメラ撮像装置とについて、種別及び／又は大きさに基づいて、衝突の危険度を判定することを特徴とするレーダ画像物標検知装置である。

【0024】

この構成によれば、レーダ物標と画像物標とをそれぞれ統合した複数のものについて、又は、これらの各々のものとレーダ送受信装置及びカメラ撮像装置とについて、所定期間内の接近程度以外に基づいて、衝突の危険度を高精度に判定することができる。

【0025】

また、本開示は、前記衝突危険度判定部は、前記レーダ物標と前記画像物標とを統合したものについて、前記レーダ送受信装置及び前記カメラ撮像装置が検知した構造物の距離及び方位又は前記衝突危険度判定部が予め有する前記構造物の３次元マップ情報に基づいて、前記構造物との衝突の危険度を判定することを特徴とするレーダ画像物標検知装置である。

【0026】

この構成によれば、レーダ物標と画像物標とを統合したものについて、レーダ送受信装置及びカメラ撮像装置で構造物を検知したうえで、又は、レーダ送受信装置及びカメラ撮像装置で構造物を検知しなくても、構造物との衝突の危険度を判定することができる。

【発明の効果】

【0027】

このように、本開示は、レーダ物標と画像物標とを統合したものの距離及び方位として、高精度な距離及び方位を出力することができる。

【図面の簡単な説明】

【0028】

【図1】本開示のレーダ画像物標検知システムの構成を示す図である。

【図2】本開示のレーダ物標中心の統合処理の手順を示す図である。

【図3】本開示の画像物標中心の統合処理の手順を示す図である。

【図4】本開示のレーダ画像物標の統合処理の具体例を示す図である。

【図5】本開示の画像物標の再検知処理の具体例を示す図である。

【図6】本開示のレーダ信号点のクラスタの検知処理の具体例を示す図である。

【図7】本開示のレーダ物標中心の出力処理の手順を示す図である。

【図8】本開示の画像物標中心の出力処理の手順を示す図である。

【図9】本開示のレーダ画像物標の距離及び方位の出力処理の具体例を示す図である。

【図10】本開示のレーダ画像物標の高さの出力処理の具体例を示す図である。

【図11】本開示の衝突危険度の判定処理の手順を示す図である。

【図12】本開示の画像物標の輪郭抽出処理の具体例を示す図である。

【図13】本開示のレーダ画像物標の追尾処理の具体例を示す図である。

【図14】本開示の物標同士の衝突危険度の判定処理の具体例を示す図である。

【図15】本開示の物標同士の衝突危険度の判定処理の具体例を示す図である。

【図16】本開示の構造物との衝突危険度の判定処理の具体例を示す図である。

【発明を実施するための形態】

【0029】

添付の図面を参照して本開示の実施形態を説明する。以下に説明する実施形態は本開示の実施の例であり、本開示は以下の実施形態に制限されるものではない。

【0030】

（本開示のレーダ画像物標検知システム）
本開示のレーダ画像物標検知システムの構成を図１に示す。レーダ画像物標検知システムＴは、レーダ送受信装置１、カメラ撮像装置２、レーダ画像物標検知装置３、衝突危険度表示装置４及び衝突危険度通知装置５を備える。レーダ画像物標検知装置３は、レーダ物標検知部３１、画像物標検知部３２、レーダ画像物標統合部３３、画像物標輪郭抽出部３４、レーダ画像物標追尾部３５及び衝突危険度判定部３６を備える。レーダ画像物標検知装置３は、図２、図３、図７、図８及び図１１に示すレーダ画像物標検知プログラムをコンピュータにインストールすることにより実現することができる。

【0031】

（本開示のレーダ画像物標の統合処理）
本開示のレーダ物標中心の統合処理の手順を図２に示す。本開示の画像物標中心の統合処理の手順を図３に示す。本開示のレーダ画像物標の統合処理の具体例を図４に示す。

【0032】

レーダ物標検知部３１は、レーダ送受信装置１からレーダ信号を取得し（ステップＳ１）、レーダ信号に基づいて、レーダ物標Ｒ１、Ｒ２、Ｒ３を検知し（ステップＳ２）、レーダ物標Ｒ１、Ｒ２、Ｒ３の距離及び方位を測定する（ステップＳ３）。

【0033】

画像物標検知部３２は、カメラ撮像装置２からカメラ画像を取得し（ステップＳ１１）、カメラ画像に基づいて、画像物標Ｐ１、Ｐ４、Ｐ５を検知し（ステップＳ１２）、画像物標Ｐ１、Ｐ４、Ｐ５の方位及び距離を測定する（ステップＳ１３）。

【0034】

ここで、レーダ物標の距離は、高精度であるが、レーダ物標の方位は、低精度である。そして、レーダ物標では、マルチパス及び偽像の影響を受けやすく、形状及び色彩を判定することができない。一方で、画像物標の方位は、高精度であるが、画像物標の距離は、低精度である。そして、画像物標では、暗所及び悪天候の影響を受けやすく、画像の重なりを分離することができない。そこで、本開示では、レーダ物標及び画像物標のそれぞれの長所を生かして、画像物標及びレーダ物標のそれぞれの短所を補完する。

【0035】

まず、レーダ物標Ｒ１及び画像物標Ｐ１について説明する。レーダ物標Ｒ１の距離と画像物標Ｐ１の距離との間の差分は、所定差分以下であるとともに、画像物標Ｐ１の方位とレーダ物標Ｒ１の方位との間の差分も、所定差分以下である（ステップＳ４、Ｓ１４及びステップＳ５、Ｓ１５、ＹＥＳ）。ここで、レーダ物標と画像物標との間の距離差分に対する所定差分として、レーダ物標と画像物標との間の距離精度差分に設定すればよく、画像物標とレーダ物標との間の方位差分に対する所定差分として、画像物標とレーダ物標との間の方位精度差分に設定すればよい。そこで、レーダ画像物標統合部３３は、レーダ物標Ｒ１と画像物標Ｐ１とをレーダ画像統合物標Ｃ１に統合する（ステップＳ６、Ｓ１６）。

【0036】

次に、レーダ物標Ｒ２について説明する。レーダ物標Ｒ２の距離と画像物標Ｐ１、Ｐ４、Ｐ５の距離との間の差分は、所定差分より大きいとともに、画像物標Ｐ１、Ｐ４、Ｐ５の方位とレーダ物標Ｒ２の方位との間の差分も、所定差分より大きい（ステップＳ４及びステップＳ５、ＮＯ）。つまり、レーダ画像物標統合部３３は、レーダ物標Ｒ２と統合可能な画像物標が検知されないことを認識する。そこで、レーダ画像物標統合部３３は、画像物標検知部３２とは別の手法を用いて、レーダ物標Ｒ２の距離及び方位の付近の距離及び方位を有する画像物標Ｐ２を再検知し（ステップＳ７及びステップＳ８、ＹＥＳ）、画像物標Ｐ２とレーダ物標Ｒ２とをレーダ画像統合物標Ｃ２に統合する（ステップＳ９）。

【0037】

本開示の画像物標の再検知処理の具体例を図５に示す。図５の左欄では、レーダ物標検知部３１は、レーダ物標Ｒ１を検知するとともに、レーダ物標Ｒ２を検知する。図５の右欄では、画像物標検知部３２は、画像物標Ｐ１を検知するものの、他の画像物標を検知しない。人間が車両と重畳しているため、人間の上半身の白色は、車両の黒色と区別されるものの、人間の下半身の黒色は、車両の黒色と区別されないのである。そこで、レーダ画像物標統合部３３は、レーダ物標Ｒ２が位置する方位範囲で画像物標Ｐ２を再検知し、画像物標Ｐ２とレーダ物標Ｒ２とが近接することを認識する。

【0038】

次に、レーダ物標Ｒ３について説明する。レーダ物標Ｒ３の距離と画像物標Ｐ１、Ｐ４、Ｐ５の距離との間の差分は、所定差分より大きいとともに、画像物標Ｐ１、Ｐ４、Ｐ５の方位とレーダ物標Ｒ３の方位との間の差分も、所定差分より大きい（ステップＳ４及びステップＳ５、ＮＯ）。つまり、レーダ画像物標統合部３３は、レーダ物標Ｒ３と統合可能な画像物標が検知されないことを認識する。しかし、レーダ画像物標統合部３３は、レーダ物標Ｒ３の距離及び方位の付近の距離及び方位を有する画像物標を再検知せず（ステップＳ７及びステップＳ８、ＮＯ）、レーダ物標Ｒ３を画像物標Ｐ１、Ｐ４、Ｐ５と統合せずレーダ非統合物標Ｃ３として出力する（ステップＳ１０）。

【0039】

次に、画像物標Ｐ４について説明する。画像物標Ｐ４の方位とレーダ物標Ｒ１、Ｒ２、Ｒ３の方位との間の差分は、所定差分より大きいとともに、画像物標Ｐ４の距離とレーダ物標Ｒ１、Ｒ２、Ｒ３の距離との間の差分も、所定差分より大きい（ステップＳ１４及びステップＳ１５、ＮＯ）。つまり、レーダ画像物標統合部３３は、画像物標Ｐ４と統合可能なレーダ物標が検知されないことを認識する。そこで、レーダ画像物標統合部３３は、画像物標Ｐ４の方位及び距離に最も近い方位及び距離を有するレーダ信号点のクラスタＲ４を検知し（ステップＳ１７及びステップＳ１８、ＹＥＳ）、レーダ信号点のクラスタＲ４と画像物標Ｐ４とをレーダ画像統合物標Ｃ４に統合する（ステップＳ１９）。

【0040】

本開示のレーダ信号点のクラスタの検知処理の具体例を図６に示す。図６の左欄では、画像物標検知部３２は、画像物標Ｐ４を検知する。同じく左欄では、レーダ物標検知部３１は、レーダ物標を検知しないものの、レーダ信号点のクラスタＲ４、Ｒ６、Ｒ７を検知する。レーダ信号点のクラスタＲ４、Ｒ６、Ｒ７は、レーダ物標を構成する程度に大きくないものの、クラッタと認識される程度に小さくないのである。図６の右欄では、レーダ画像物標統合部３３は、画像物標Ｐ４が位置する方位範囲でレーダ信号点のクラスタＲ４を検知し、レーダ信号点のクラスタＲ４と画像物標Ｐ４とが近接することを認識する。

【0041】

次に、画像物標Ｐ５について説明する。画像物標Ｐ５の方位とレーダ物標Ｒ１、Ｒ２、Ｒ３の方位との間の差分は、所定差分より大きいとともに、画像物標Ｐ５の距離とレーダ物標Ｒ１、Ｒ２、Ｒ３の距離との間の差分も、所定差分より大きい（ステップＳ１４及びステップＳ１５、ＮＯ）。つまり、レーダ画像物標統合部３３は、画像物標Ｐ５と統合可能なレーダ物標が検知されないことを認識する。しかし、レーダ画像物標統合部３３は、画像物標Ｐ５の方位及び距離に最も近い方位及び距離を有するレーダ信号点のクラスタを検知せず（ステップＳ１７及びステップＳ１８、ＮＯ）、画像物標Ｐ５をレーダ物標Ｒ１、Ｒ２、Ｒ３と統合せず画像非統合物標Ｃ５として出力する（ステップＳ２０）。

【0042】

このように、レーダ物標Ｒ１と画像物標Ｐ１とをレーダ画像統合物標Ｃ１に統合することができる。そして、レーダ物標Ｒ２と統合可能な画像物標が検知されないときであっても、再検知された画像物標Ｐ２とレーダ物標Ｒ２とをレーダ画像統合物標Ｃ２に統合することができる。さらに、画像物標Ｐ４と統合可能なレーダ物標が検知されないときであっても、レーダ信号点のクラスタＲ４と画像物標Ｐ４とをレーダ画像統合物標Ｃ４に統合することができる。すると、すぐ後に後述するように、レーダ画像統合物標Ｃ１、Ｃ２、Ｃ４の距離及び方位として、高精度な距離及び方位を出力することができる。

【0043】

（本開示のレーダ画像物標の出力処理）
本開示のレーダ物標中心の出力処理の手順を図７に示す。本開示の画像物標中心の出力処理の手順を図８に示す。本開示のレーダ画像物標の距離及び方位の出力処理の具体例を図９に示す。本開示のレーダ画像物標の高さの出力処理の具体例を図１０に示す。

【0044】

まず、レーダ画像統合物標Ｃ１について説明する。図９の左欄では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｃ１の距離として、画像物標Ｐ１の低精度な距離ｄ_Ｐではなく、レーダ物標Ｒ１の高精度な距離ｄ_Ｒを出力する。同じく左欄では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｃ１の方位として、レーダ物標Ｒ１の低精度な方位ａ_Ｒではなく、画像物標Ｐ１の高精度な方位ａ_Ｐを出力する（ステップＳ２１、Ｓ３１）。

【0045】

図１０の左欄では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｃ１の高さとして、レーダ物標Ｒ１の高精度な距離ｄ_Ｒ及び画像物標Ｐ１の高精度な縦方向画素数ｐ_Ｈに基づく高さｈ_Ｐを出力する（ステップＳ２２、Ｓ３２）。ここで、レーダ画像統合物標Ｃ１の高さｈ_Ｐは、ｈ_Ｐ＝ｐ_Ｈ＊ｄ_Ｒ＊カメラ撮像装置２のセンササイズ／カメラ撮像装置２の焦点距離／カメラ撮像装置２の画像ピクセル数として算出することができる。

【0046】

次に、レーダ画像統合物標Ｃ２について説明する。図９の中欄では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｃ２の距離として、再検知された画像物標Ｐ２の低精度な距離ｄ_Ｐではなく、レーダ物標Ｒ２の高精度な距離ｄ_Ｒを出力する。同じく中欄では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｃ２の方位として、レーダ物標Ｒ２の低精度な方位ａ_Ｒではなく、再検知された画像物標Ｐ２の高精度な方位ａ_Ｐを出力する（ステップＳ２３）。画像物標Ｐ２は、再検知されたものであるが、高精度な方位ａ_Ｐを有する。

【0047】

図１０の中欄では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｃ２の高さとして、レーダ物標Ｒ２の高精度な距離ｄ_Ｒ及び再検知された画像物標Ｐ２の高精度な縦方向画素数ｐ_Ｈに基づく高さｈ_Ｐを出力する（ステップＳ２４）。画像物標Ｐ２は、再検知されたものであるが、高精度な縦方向画素数ｐ_Ｈを有する。再検知された画像物標Ｐ２では、車両の上半分が検知されており車両の下半分が検知されていないが、縦方向画素数ｐ_Ｈとして、レーダ物標Ｒ２の距離ｄ_Ｒに基づいて画像物標Ｐ２の下辺の位置を計算し、画像物標Ｐ２の上辺の位置から下辺の位置までの縦方向画素数を採用すればよい。

【0048】

次に、レーダ非統合物標Ｃ３について説明する。図９に図示しないが、レーダ画像物標統合部３３は、レーダ非統合物標Ｃ３の距離として、レーダ物標Ｒ３の高精度な距離ｄ_Ｒを出力する。同じく図９に図示しないが、レーダ画像物標統合部３３は、レーダ非統合物標Ｃ３の方位として、レーダ物標Ｒ３の低精度な方位ａ_Ｒを出力せざるをえない（ステップＳ２５）。そして、レーダ画像物標統合部３３は、レーダ物標Ｒ３の高さを算出することができないため、レーダ非統合物標Ｃ３の高さを出力することができない。

【0049】

次に、レーダ画像統合物標Ｃ４について説明する。図９の右欄では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｃ４の方位として、レーダ信号点のクラスタＲ４の低精度な方位ａ_Ｒではなく、画像物標Ｐ４の高精度な方位ａ_Ｐを出力する。同じく右欄では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｃ４の距離として、画像物標Ｐ４の低精度な距離ｄ_Ｐではなく、レーダ信号点のクラスタＲ４の高精度な距離ｄ_Ｒを出力する（ステップＳ３３）。レーダ信号点のクラスタＲ４は、レーダ物標の全体ではなくレーダ物標の一部であるが、高精度な距離ｄ_Ｒを有する。

【0050】

図１０の右欄では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｃ４の高さとして、レーダ信号点のクラスタＲ４の高精度な距離ｄ_Ｒ及び画像物標Ｐ４の高精度な縦方向画素数ｐ_Ｈに基づく高さｈ_Ｐを出力する（ステップＳ３４）。レーダ信号点のクラスタＲ４は、レーダ物標の全体ではなくレーダ物標の一部であるが、高精度な距離ｄ_Ｒを有する。

【0051】

次に、画像非統合物標Ｃ５について説明する。図９に図示しないが、レーダ画像物標統合部３３は、画像非統合物標Ｃ５の方位として、画像物標Ｐ５の高精度な方位ａ_Ｐを出力する。同じく図９に図示しないが、レーダ画像物標統合部３３は、画像非統合物標Ｃ５の距離として、画像物標Ｐ５の低精度な距離ｄ_Ｐを出力せざるをえない（ステップＳ３５）。図１０に図示しないが、レーダ画像物標統合部３３は、画像非統合物標Ｃ５の高さとして、画像物標Ｐ５の低精度な距離ｄ_Ｐ（レーダ物標の高精度な距離を出力不能。）及び画像物標Ｐ５の高精度な縦方向画素数ｐ_Ｈに基づく高さｈ_Ｐを出力する（ステップＳ３６）。

【0052】

このように、レーダ画像統合物標Ｃ１等の距離及び方位として、レーダ物標Ｒ１等の高精度な距離ｄ_Ｒ及び画像物標Ｐ１等の高精度な方位ａ_Ｐを出力することができる。そして、レーダ画像統合物標Ｃ１等の高さとして、レーダ物標Ｒ１等の高精度な距離ｄ_Ｒ及び画像物標Ｐ１等の高精度な縦方向画素数ｐ_Ｈに基づいて出力することができる。

【0053】

（本開示の衝突危険度の判定処理）
本開示の衝突危険度の判定処理の手順を図１１に示す。本開示の画像物標の輪郭抽出処理の具体例を図１２に示す。本開示のレーダ画像物標の追尾処理の具体例を図１３に示す。本開示の物標同士の衝突危険度の判定処理の具体例を図１４及び図１５に示す。本開示の構造物との衝突危険度の判定処理の具体例を図１６に示す。

【0054】

図１２では、画像物標輪郭抽出部３４は、レーダ画像統合物標Ｃについて（画像非統合物標も含む。）、画像物標Ｐの輪郭Ｅを抽出し（レーダ物標Ｒは高さを有さない。）、画像物標Ｐの輪郭Ｅの３次元位置を座標Ｇに出力する（ステップＳ４１）。

【0055】

ここで、画像物標輪郭抽出部３４は、図７から図１０までで出力した距離ｄ及び方位ａに基づいて、画像物標Ｐの輪郭Ｅの３次元位置を座標Ｇに出力することができる。このように、レーダ画像統合物標Ｃについて（画像非統合物標も含む。）、レーダ画像物標統合部３３は、レーダ信号点分布又は画像矩形形状情報に基づいて、大きさを判定し、画像物標輪郭抽出部３４は、判定された大きさに基づいて、３次元輪郭を抽出することができる。

【0056】

図１３では、レーダ画像物標追尾部３５は、レーダ画像統合物標Ｃについて（レーダ非統合物標及び画像非統合物標も含む。）、追尾を実行し、速度ベクトルｖ（ｔ_１→ｔ_２）、ｖ（ｔ_２→ｔ_３）を算出する（ステップＳ４２）。

【0057】

ここで、レーダ画像物標追尾部３５は、図７から図１０までで出力した距離ｄ（ｔ_１）、ｄ（ｔ_２）、ｄ（ｔ_３）及び方位ａ（ｔ_１）、ａ（ｔ_２）、ａ（ｔ_３）に基づいて、αβγ（位置、速度、加速度）フィルタ、カルマンフィルタ又はパーティクルフィルタ等を用いて、速度ベクトルｖ（ｔ_１→ｔ_２）、ｖ（ｔ_２→ｔ_３）を算出することができる。

【0058】

図１４では、衝突危険度判定部３６は、複数のレーダ画像統合物標Ｃｉ、Ｃｊについて（レーダ非統合物標及び画像非統合物標も含む。）、又は、これらの各々の物標とレーダ送受信装置１及びカメラ撮像装置２とについて、速度ベクトルｖ_ｉ、ｖ_ｊに基づいて（時間的に一定であると仮定した。）、衝突の危険度を判定する（ステップＳ４３）。

【0059】

ここで、衝突危険度判定部３６は、図１３で算出した速度ベクトルｖ_ｉ、ｖ_ｊに基づいて、位置ベクトルｒ_ｉ（ｔ）、ｒ_ｊ（ｔ）を算出し、所定期間Ｔ内のＣｌｏｓｅｓｔ Ｐｏｉｎｔ ｏｆ Ａｐｐｒｏａｃｈとして、ＣＰＡ_ｉ、ｊ＝ｍｉｎ（｜ｒ_ｉ（ｔ）－ｒ_ｊ（ｔ）｜^２）を算出する。そして、ＣＰＡ_ｉ、ｊが閾値より小さければ、衝突の危険度が大きいと判定し、ＣＰＡ_ｉ、ｊが閾値以上であれば、衝突の危険度が小さいと判定する。このように、複数のレーダ画像統合物標Ｃｉ、Ｃｊについて（レーダ非統合物標及び画像非統合物標も含む。）、又は、これらの各々の物標とレーダ送受信装置１及びカメラ撮像装置２とについて、所定期間Ｔ内の接近程度に基づいて、衝突の危険度を判定することができる。

【0060】

図１５の左欄では、衝突危険度判定部３６は、複数のレーダ画像統合物標Ｃｉ、Ｃｊについて（レーダ非統合物標及び画像非統合物標も含む。）、又は、これらの各々の物標とレーダ送受信装置１及びカメラ撮像装置２とについて、種別（例えば、人間又は車両等。加えて、人間の年代等。）に基づいて、衝突の危険度を判定する（ステップＳ４４）。

【0061】

ここで、衝突危険度判定部３６は、レーダ画像物標統合部３３で判定されたレーダ画像統合物標Ｃｉ、Ｃｊの種別に基づいて、レーダ画像統合物標Ｃｉ、Ｃｊが人間及び人間であれば、衝突の危険度が小さいと判定し、レーダ画像統合物標Ｃｉ、Ｃｊが人間及び車両であれば、衝突の危険度が大きいと判定する。なお、レーダ画像物標統合部３３は、レーダ物標検知部３１の種別判定結果又は画像物標検知部３２の種別判定結果に基づいて、レーダ画像統合物標Ｃｉ、Ｃｊの種別を最終判定する。

【0062】

図１５の右欄では、衝突危険度判定部３６は、複数のレーダ画像統合物標Ｃｉ、Ｃｊについて（レーダ非統合物標及び画像非統合物標も含む。）、又は、これらの各々の物標とレーダ送受信装置１及びカメラ撮像装置２とについて、大きさ（例えば、人間は小さく、車両は大きい。）に基づいて、衝突の危険度を判定する（ステップＳ４４）。

【0063】

ここで、衝突危険度判定部３６は、レーダ画像物標統合部３３で判定されたレーダ画像統合物標Ｃｉ、Ｃｊの大きさに基づいて、レーダ画像統合物標Ｃｉ、Ｃｊがいずれも小さな物標であれば、衝突の危険度が小さいと判定し、レーダ画像統合物標Ｃｉ、Ｃｊがいずれも大きな物標であれば、衝突の危険度が大きいと判定する。なお、レーダ画像物標統合部３３は、レーダ物標検知部３１のレーダ信号点分布又は画像物標検知部３２の画像矩形形状情報に基づいて、レーダ画像統合物標Ｃｉ、Ｃｊの大きさを判定する。

【0064】

このように、複数のレーダ画像統合物標Ｃｉ、Ｃｊについて（レーダ非統合物標及び画像非統合物標も含む。）、又は、これらの各々の物標とレーダ送受信装置１及びカメラ撮像装置２とについて、所定期間Ｔ内の接近程度以外のパラメータ（種別及び／又は大きさ）に基づいて、衝突の危険度を高精度に判定することができる。

【0065】

図１６では、衝突危険度判定部３６は、レーダ画像統合物標Ｃについて（レーダ非統合物標及び画像非統合物標も含む。）、レーダ送受信装置１及びカメラ撮像装置２が検知した構造物Ｓの距離及び方位又は衝突危険度判定部３６が予め有する構造物Ｓの３次元マップ情報に基づいて（構造物Ｓの位置及び形状を含む。）、構造物Ｓとの衝突の危険度を判定する（ステップＳ４５）。

【0066】

ここで、衝突危険度判定部３６は、図１２で出力した輪郭Ｅの３次元位置及び３次元形状に対して、検知された構造物Ｓの距離及び方位又は予め有する構造物Ｓの３次元マップ情報に基づく構造物Ｓの３次元位置及び３次元形状を重畳する。そして、図１３で算出した速度ベクトルｖが構造物Ｓへと近づいていれば、構造物Ｓとの衝突の危険度が大きいと判定し、図１３で算出した速度ベクトルｖが構造物Ｓから遠ざかっていれば、構造物Ｓとの衝突の危険度が小さいと判定する。このように、レーダ画像統合物標Ｃについて（レーダ非統合物標及び画像非統合物標も含む。）、レーダ送受信装置１及びカメラ撮像装置２で構造物Ｓを検知したうえで、又は、レーダ送受信装置１及びカメラ撮像装置２で構造物Ｓを検知しなくても、構造物Ｓとの衝突の危険度を判定することができる。

【0067】

衝突危険度判定部３６は、レーダ画像統合物標Ｃについて（レーダ非統合物標及び画像非統合物標も含む。）、距離ｄ、方位ａ、高さｈ、輪郭Ｅ、３次元位置ｒ、速度ベクトルｖ及び衝突危険度を出力する。衝突危険度表示装置４は、これらのパラメータを画面に表示する。衝突危険度通知装置５は、これらのパラメータを音声等で通知する。衝突危険度表示装置４及び衝突危険度通知装置５は、衝突の危険度が大きい複数の物標のうち、両方に対して衝突の危険性を喚起してもよく、一方に対して衝突の危険性を喚起してもよい。

【産業上の利用可能性】

【0068】

本開示のレーダ画像物標検知装置及びレーダ画像物標検知プログラムは、自動運転での環境認知、安全監視での衝突防止及び侵入検知での高精度検知等に適用可能である。

【符号の説明】

【0069】

Ｔ：レーダ画像物標検知システム
Ｒ１、Ｒ２、Ｒ３：レーダ物標
Ｒ４、Ｒ６、Ｒ７：レーダ信号点のクラスタ
Ｒ：レーダ物標
Ｐ１、Ｐ２、Ｐ４、Ｐ５：画像物標
Ｐ：画像物標
Ｃ１、Ｃ２、Ｃ４：レーダ画像統合物標
Ｃ３：レーダ非統合物標
Ｃ５：画像非統合物標
Ｃ、Ｃｉ、Ｃｊ：レーダ画像統合物標
Ｅ：輪郭
Ｇ：座標
Ｓ：構造物
１：レーダ送受信装置
２：カメラ撮像装置
３：レーダ画像物標検知装置
４：衝突危険度表示装置
５：衝突危険度通知装置
３１：レーダ物標検知部
３２：画像物標検知部
３３：レーダ画像物標統合部
３４：画像物標輪郭抽出部
３５：レーダ画像物標追尾部
３６：衝突危険度判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】