特開 2022-39103 物標情報表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022039103

(43)【公開日】2022-03-10

(54)【発明の名称】物標情報表示装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20220303BHJP

   G01S 13/931 20200101ALI20220303BHJP

【ＦＩ】

G08G1/16 C

G01S13/931

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020143954

(22)【出願日】2020-08-27

(71)【出願人】

【識別番号】318006365

【氏名又は名称】ＪＲＣモビリティ株式会社

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100173716

【弁理士】

【氏名又は名称】田中 真理

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】紺野 将寿

(72)【発明者】

【氏名】時枝 幸伸

【テーマコード（参考）】

5H181

5J070

【Ｆターム（参考）】

5H181AA01

5H181AA21

5H181CC04

5H181CC14

5H181LL01

5H181LL02

5H181LL08

5J070AC02

5J070AC13

5J070AE01

5J070AE09

5J070AF03

5J070AK14

5J070BB04

5J070BB16

5J070BD08

5J070BF03

5J070BF13

5J070BF21

(57)【要約】

【課題】本開示は、複数の物標の衝突危険度の情報を生成したうえで視覚的に表示することにより、自動運転での環境認知、安全監視での衝突防止及び侵入検知での高精度検知等に対処可能とすることを目的とする。
【解決手段】本開示は、複数の物標の位置、衝突危険度、速度ベクトル及び衝突予測地点の情報を取得する物標情報取得部４１と、複数の物標の位置、衝突危険度、速度ベクトル及び衝突予測地点の情報を３次元表示又は２次元表示する物標情報表示部４２と、を備えることを特徴とする物標情報表示装置４である。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の物標の位置及び衝突危険度の情報を取得する、又は、各物標の位置及び前記各物標と物標検知装置との衝突危険度の情報を取得する物標情報取得部と、
前記複数の物標の位置及び衝突危険度の情報を表示する、又は、前記各物標の位置及び前記各物標と前記物標検知装置との衝突危険度の情報を表示する物標情報表示部と、
を備えることを特徴とする物標情報表示装置。

【請求項2】

前記物標情報表示部は、前記複数の物標の間の方向表示で衝突危険度の情報を表示する、又は、前記各物標と前記物標検知装置との間の方向表示で衝突危険度の情報を表示する
ことを特徴とする、請求項１に記載の物標情報表示装置。

【請求項3】

前記物標情報表示部は、前記複数の物標の衝突危険度の高低に応じて衝突危険度の情報を表示する、又は、前記各物標と前記物標検知装置との衝突危険度の高低に応じて衝突危険度の情報を表示する
ことを特徴とする、請求項１又は２に記載の物標情報表示装置。

【請求項4】

前記物標情報取得部は、前記複数の物標の速度ベクトルの情報を取得し、
前記物標情報表示部は、前記複数の物標の速度ベクトルの情報を表示する
ことを特徴とする、請求項１から３のいずれかに記載の物標情報表示装置。

【請求項5】

前記物標情報取得部は、前記複数の物標の衝突予測地点の情報を取得し、
前記物標情報表示部は、前記複数の物標の衝突予測地点の情報を表示する
ことを特徴とする、請求項１から４のいずれかに記載の物標情報表示装置。

【請求項6】

前記物標情報取得部は、前記複数の物標の高さの情報を取得し、
前記物標情報表示部は、前記複数の物標の高さの情報を表示する
ことを特徴とする、請求項１から５のいずれかに記載の物標情報表示装置。

【請求項7】

前記物標情報取得部は、前記複数の物標の輪郭の情報を取得し、
前記物標情報表示部は、前記複数の物標の輪郭の情報を表示する
ことを特徴とする、請求項１から６のいずれかに記載の物標情報表示装置。

【請求項8】

前記物標情報取得部は、前記複数の物標の点群の情報を取得し、
前記物標情報表示部は、前記複数の物標の点群の情報を表示する
ことを特徴とする、請求項１から７のいずれかに記載の物標情報表示装置。

【請求項9】

前記物標情報取得部は、固定の構造物の位置及び形状の情報を取得し、
前記物標情報表示部は、前記固定の構造物の位置及び形状の情報を表示する
ことを特徴とする、請求項１から８のいずれかに記載の物標情報表示装置。

【請求項10】

前記物標情報表示部は、前記物標情報取得部が取得した情報を３次元表示する
ことを特徴とする、請求項１から９のいずれかに記載の物標情報表示装置。

【請求項11】

前記物標情報表示部は、前記物標情報取得部が取得した情報を２次元表示する
ことを特徴とする、請求項１から１０のいずれかに記載の物標情報表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、複数の物標の衝突危険度の情報を視覚的に表示する技術に関する。

【背景技術】

【0002】

レーダ信号及びカメラ画像に基づいて、物標を検知する技術が、特許文献１等に開示されている。特許文献１では、カメラ画像上でレーダ信号をプロットし、レーダ信号の近傍でのエッジ解析を実行し、計測対象（例えば、車両等。）を縁取る四角錐台を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－２１１４０２号公報

【特許文献2】特開２０１９－２１１４０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１では、複数の物標の衝突危険度の情報を生成していない。よって、複数の物標の衝突危険度の情報を視覚的に表示することができない。そして、自動運転での環境認知、安全監視での衝突防止及び侵入検知での高精度検知等に対処不能である。

【0005】

そこで、前記課題を解決するために、本開示は、複数の物標の衝突危険度の情報を生成したうえで視覚的に表示することにより、自動運転での環境認知、安全監視での衝突防止及び侵入検知での高精度検知等に対処可能とすることを目的とする。

【課題を解決するための手段】

【0006】

前記課題を解決するために、物標検知装置は、複数の物標の衝突危険度の情報を生成し、物標情報表示装置は、複数の物標の衝突危険度の情報を視覚的に表示する。

【0007】

具体的には、本開示は、複数の物標の位置及び衝突危険度の情報を取得する、又は、各物標の位置及び前記各物標と物標検知装置との衝突危険度の情報を取得する物標情報取得部と、前記複数の物標の位置及び衝突危険度の情報を表示する、又は、前記各物標の位置及び前記各物標と前記物標検知装置との衝突危険度の情報を表示する物標情報表示部と、を備えることを特徴とする物標情報表示装置である。

【0008】

この構成によれば、物標情報表示装置において、複数の物標の位置及び衝突危険度の情報を取得したうえで視覚的に表示することにより、又は、各物標の位置及び各物標と物標検知装置との衝突危険度の情報を取得したうえで視覚的に表示することにより、自動運転での環境認知、安全監視での衝突防止及び侵入検知での高精度検知等に対処可能とすることができる。

【0009】

また、本開示は、前記物標情報表示部は、前記複数の物標の間の方向表示で衝突危険度の情報を表示する、又は、前記各物標と前記物標検知装置との間の方向表示で衝突危険度の情報を表示することを特徴とする物標情報表示装置である。

【0010】

この構成によれば、物標情報表示装置において、複数の物標の間の方向表示（矢印又は線分等）を用いて、複数の物標の衝突危険度の情報を視覚的に表示することができ、各物標と物標検知装置との間の方向表示（矢印又は線分等）を用いて、各物標と物標検知装置との衝突危険度の情報を視覚的に表示することができる。

【0011】

また、本開示は、前記物標情報表示部は、前記複数の物標の衝突危険度の高低に応じて衝突危険度の情報を表示する、又は、前記各物標と前記物標検知装置との衝突危険度の高低に応じて衝突危険度の情報を表示することを特徴とする物標情報表示装置である。

【0012】

この構成によれば、物標情報表示装置において、複数の物標の衝突危険度の高低又は種類に応じて、複数の物標の衝突危険度の情報を視覚的に表示することができ、各物標と物標検知装置との衝突危険度の高低又は種類に応じて、各物標と物標検知装置との衝突危険度の情報を視覚的に表示することができる。

【0013】

また、本開示は、前記物標情報取得部は、前記複数の物標の速度ベクトルの情報を取得し、前記物標情報表示部は、前記複数の物標の速度ベクトルの情報を表示することを特徴とする物標情報表示装置である。

【0014】

この構成によれば、物標情報表示装置において、複数の物標の速度ベクトルの情報を取得したうえで視覚的に表示することにより、複数の物標の衝突危険度の情報に対する根拠となる情報（複数の物標の速度ベクトルの情報）をさらに付加することができる。

【0015】

また、本開示は、前記物標情報取得部は、前記複数の物標の衝突予測地点の情報を取得し、前記物標情報表示部は、前記複数の物標の衝突予測地点の情報を表示することを特徴とする物標情報表示装置である。

【0016】

この構成によれば、物標情報表示装置において、複数の物標の衝突予測地点の情報を取得したうえで視覚的に表示することにより、複数の物標の衝突危険度の情報に対する根拠となる情報（複数の物標の衝突予測地点の情報）をさらに付加することができる。

【0017】

また、本開示は、前記物標情報取得部は、前記複数の物標の高さの情報を取得し、前記物標情報表示部は、前記複数の物標の高さの情報を表示することを特徴とする物標情報表示装置である。

【0018】

この構成によれば、物標情報表示装置において、複数の物標の高さの情報を取得したうえで視覚的に表示することにより、衝突危険度が判定された複数の物標に関する形状についての情報（複数の物標の高さの情報）をさらに付加することができる。

【0019】

また、本開示は、前記物標情報取得部は、前記複数の物標の輪郭の情報を取得し、前記物標情報表示部は、前記複数の物標の輪郭の情報を表示することを特徴とする物標情報表示装置である。

【0020】

この構成によれば、物標情報表示装置において、複数の物標の輪郭の情報を取得したうえで視覚的に表示することにより、衝突危険度が判定された複数の物標に関する形状についての情報（複数の物標の輪郭の情報）をさらに付加することができる。

【0021】

また、本開示は、前記物標情報取得部は、前記複数の物標の点群の情報を取得し、前記物標情報表示部は、前記複数の物標の点群の情報を表示することを特徴とする物標情報表示装置である。

【0022】

この構成によれば、物標情報表示装置において、複数の物標の点群の情報を取得したうえで視覚的に表示することにより、衝突危険度が判定された複数の物標に関する形状についての情報（複数の物標の点群の情報）をさらに付加することができる。

【0023】

また、本開示は、前記物標情報取得部は、固定の構造物の位置及び形状の情報を取得し、前記物標情報表示部は、前記固定の構造物の位置及び形状の情報を表示することを特徴とする物標情報表示装置である。

【0024】

この構成によれば、物標情報表示装置において、固定の構造物の位置及び形状の情報を取得したうえで視覚的に表示することにより、固定されている構造物と移動している物標との間の衝突危険度の情報を視覚的にさらに表示することができる。

【0025】

また、本開示は、前記物標情報表示部は、前記物標情報取得部が取得した情報を３次元表示することを特徴とする物標情報表示装置である。

【0026】

この構成によれば、物標情報表示装置において、複数の物標の位置及び衝突危険度等の情報を取得したうえで、３次元的につまり鳥瞰図的に視覚的に表示することができる。

【0027】

また、本開示は、前記物標情報表示部は、前記物標情報取得部が取得した情報を２次元表示することを特徴とする物標情報表示装置である。

【0028】

この構成によれば、物標情報表示装置において、複数の物標の位置及び衝突危険度等の情報を取得したうえで、２次元的につまり上面図的に視覚的に表示することができる。

【発明の効果】

【0029】

このように、本開示は、複数の物標の衝突危険度の情報を生成したうえで視覚的に表示することにより、自動運転での環境認知、安全監視での衝突防止及び侵入検知での高精度検知等に対処可能とすることができる。

【図面の簡単な説明】

【0030】

【図1】本開示のレーダ画像物標検知システムの構成を示す図である。

【図2】本開示の物標の位置、衝突危険度及び速度ベクトルの３次元表示である。

【図3】本開示の物標の位置、衝突危険度及び速度ベクトルの２次元表示である。

【図4】本開示の物標の衝突危険度の凡例を示す図である。

【図5】本開示の物標の速度ベクトルの凡例を示す図である。

【図6】本開示の物標の高さ、輪郭及び点群の３次元表示である。

【図7】本開示の固定の構造物の位置及び形状の３次元表示である。

【図8】本開示のレーダ画像物標の統合処理の具体例を示す図である。

【図9】本開示のレーダ画像物標の高さの出力処理の具体例を示す図である。

【図10】本開示のレーダ画像物標の追尾処理の具体例を示す図である。

【図11】本開示の物標同士の衝突危険度の判定処理の具体例を示す図である。

【図12】本開示の物標同士の衝突危険度の判定処理の具体例を示す図である。

【図13】本開示の構造物との衝突危険度の判定処理の具体例を示す図である。

【発明を実施するための形態】

【0031】

添付の図面を参照して本開示の実施形態を説明する。以下に説明する実施形態は本開示の実施の例であり、本開示は以下の実施形態に制限されるものではない。

【0032】

（本開示のレーダ画像物標検知システム）
本開示のレーダ画像物標検知システムの構成を図１に示す。レーダ画像物標検知システムＳは、レーダ送受信装置１、カメラ撮像装置２、レーダ画像物標検知装置３及び物標情報表示装置４を備える。レーダ画像物標検知装置３は、レーダ物標検知部３１、画像物標検知部３２、レーダ画像物標統合部３３、画像物標輪郭抽出部３４、レーダ画像物標追尾部３５及び衝突危険度判定部３６を備える。物標情報表示装置４は、物標情報取得部４１及び物標情報表示部４２を備える。まず、物標情報表示装置４の処理内容について説明する。次に、レーダ画像物標検知装置３の処理内容について説明する。

【0033】

（本開示の物標情報の表示処理）
本開示の物標の位置、衝突危険度及び速度ベクトルの３次元表示を図２に示す。物標情報取得部４１は、複数の物標の位置、衝突危険度、速度ベクトル、衝突予測地点及び輪郭の情報を取得する。物標情報表示部４２は、複数の物標の位置、衝突危険度、速度ベクトル、衝突予測地点及び輪郭の情報を、３次元座標Ｇ３上に３次元表示する。

【0034】

図２では、複数の物標Ｔ１、Ｔ２、Ｔ３の位置は、３次元座標Ｇ３上に表示される。複数の物標Ｔ１、Ｔ２、Ｔ３の輪郭Ｅ１、Ｅ２、Ｅ３も、３次元座標Ｇ３上に表示される。

【0035】

複数の物標Ｔ１、Ｔ２、Ｔ３の速度ベクトルＶ１、Ｖ２、Ｖ３は、複数の物標Ｔ１、Ｔ２、Ｔ３の速度の絶対値及び方向を示す矢印並びに複数の物標Ｔ１、Ｔ２、Ｔ３の速度の絶対値を示す明るさで表示される（図５を参照）。複数の物標Ｔ１、Ｔ２の速度ベクトルＶ１、Ｖ２は、複数の物標Ｔ１、Ｔ２の高い衝突危険度Ｄ１２を予測する。複数の物標Ｔ１、Ｔ３の速度ベクトルＶ１、Ｖ３は、複数の物標Ｔ１、Ｔ３の低い衝突危険度Ｄ１３を予測する。複数の物標Ｔ２、Ｔ３の速度ベクトルＶ２、Ｖ３は、複数の物標Ｔ２、Ｔ３の低い衝突危険度Ｄ２３を予測する。複数の物標Ｔ１、Ｔ２の衝突予測地点Ｃ１２は、複数の物標Ｔ１、Ｔ２の位置及び速度ベクトルＶ１、Ｖ２に基づいて、算出されたものである。

【0036】

複数の物標Ｔ１、Ｔ２の衝突危険度Ｄ１２は、複数の物標Ｔ１、Ｔ２の間の方向表示（図２では矢印であるが、変形例では線分等でもよい。）で表示され、高い衝突危険度に応じて明るい色で表示される。複数の物標Ｔ１、Ｔ３の衝突危険度Ｄ１３は、複数の物標Ｔ１、Ｔ３の間の方向表示（図２では矢印であるが、変形例では線分等でもよい。）で表示され、低い衝突危険度に応じて暗い色で表示される。複数の物標Ｔ２、Ｔ３の衝突危険度Ｄ２３は、複数の物標Ｔ２、Ｔ３の間の方向表示（図２では矢印であるが、変形例では線分等でもよい。）で表示され、低い衝突危険度に応じて暗い色で表示される（図４を参照）。

【0037】

本開示の物標の位置、衝突危険度及び速度ベクトルの２次元表示を図３に示す。物標情報取得部４１は、複数の物標の位置、衝突危険度、速度ベクトル、衝突予測地点及びその他の情報を取得する。物標情報表示部４２は、複数の物標の位置、衝突危険度、速度ベクトル、衝突予測地点及びその他の情報を、２次元座標Ｇ２上に２次元表示する。

【0038】

図３では、複数の物標Ｔ１、Ｔ２の位置は、２次元座標Ｇ２上に８角形のリングで表示される。複数の物標Ｔ１、Ｔ２の物標情報Ｉ１、Ｉ２として、ＩＤ、判別種類（人間等）、判別精度（１００％等）、Ｘ座標位置、Ｙ座標位置及び高さ（身長等）が表示される。

【0039】

複数の物標Ｔ１、Ｔ２の速度ベクトルＶ１、Ｖ２は、複数の物標Ｔ１、Ｔ２の速度の絶対値及び方向を示す矢印並びに複数の物標Ｔ１、Ｔ２の速度の絶対値を示す明るさで表示される（図５を参照）。複数の物標Ｔ１、Ｔ２の速度ベクトルＶ１、Ｖ２は、複数の物標Ｔ１、Ｔ２の高い衝突危険度Ｄ１２を予測する。複数の物標Ｔ１、Ｔ２の衝突予測地点Ｃ１２は、複数の物標Ｔ１、Ｔ２の位置及び速度ベクトルＶ１、Ｖ２に基づいて、算出されたものである。複数の物標Ｔ１、Ｔ２の衝突危険度Ｄ１２は、複数の物標Ｔ１、Ｔ２の間の方向表示（図３では矢印であるが、変形例では線分等でもよい。）で表示され、高い衝突危険度に応じて明るい色で表示される（図４を参照）。

【0040】

本開示の物標の衝突危険度の凡例を図４に示す。物標Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５の位置は、８角形のリングで表示される。物標Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５の衝突危険度Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５は、この順で高い方から低い方へと並んでおり、自物標と他物標との間の矢印で表示され、高い／低い衝突危険度に応じて明るい／暗い色（色彩の明暗を変えるのみならず、３角形等の形状を変えてもよい。）で表示される。

【0041】

本開示の物標の速度ベクトルの凡例を図５に示す。物標Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５の位置は、８角形のリングで表示される。物標Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５の速度ベクトルＶ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５（速度ベクトルＶ５は、長さを有さない。）は、この順で高い方から低い方へと並んでおり、自物標の速度の絶対値（直後のＴ秒間の移動距離でもよい。）及び方向を示す矢印並びに自物標の速度の絶対値を示す明るさで表示される。

【0042】

本開示の物標の高さ、輪郭及び点群の３次元表示を図６に示す。物標情報取得部４１は、複数の物標の位置、衝突危険度、速度ベクトル、高さ、輪郭、点群及びその他の情報を取得する。物標情報表示部４２は、複数の物標の位置、衝突危険度、速度ベクトル、高さ、輪郭、点群及びその他の情報を、３次元座標Ｇ３上に３次元表示する。物標Ｔの衝突危険度Ｄ及び速度ベクトルＶについては、図２から図５までとほぼ同様である。

【0043】

図６では、物標Ｔの位置は、３次元座標Ｇ３上に表示される。物標Ｔの高さは、物標Ｔの高い／低い位置を明るい／暗い色で表示することにより表現される。物標Ｔの輪郭Ｅは、カメラを用いて検知された物標の３次元の輪郭であり、３次元座標Ｇ３上に表示される。物標Ｔの点群ＰＧは、レーダを用いて検知された物標の２次元の点群であり、３次元座標Ｇ３上に表示される。物標Ｔの点群ＰＧは、強度の強い／弱い位置を明るい／暗い色で表示することにより表現される。物標Ｔの物標情報Ｉとして、ＩＤ、判別種類（人間等）、判別精度（１００％等）、Ｘ座標位置、Ｙ座標位置及び高さ（身長等）が表示される。

【0044】

本開示の固定の構造物の位置及び形状の３次元表示を図７に示す。物標情報取得部４１は、複数の物標の位置、衝突危険度、速度ベクトル、衝突予測地点、輪郭及びその他の情報を取得し、固定の構造物の位置及び形状の情報を取得する。物標情報表示部４２は、複数の物標の位置、衝突危険度、速度ベクトル、衝突予測地点、輪郭及びその他の情報を、３次元座標Ｇ３上に３次元表示し、固定の構造物の位置及び形状の情報を、３次元座標Ｇ３上に３次元表示する。物標Ｔ１、Ｔ２の衝突危険度Ｄ１２、速度ベクトルＶ１、Ｖ２及び衝突予測地点Ｃ１２については、図２から図５までとほぼ同様である。

【0045】

図７では、物標Ｔ１、Ｔ２の位置は、３次元座標Ｇ３上に表示される。物標Ｔ１、Ｔ２の輪郭Ｅ１、Ｅ２も、３次元座標Ｇ３上に表示される。物標Ｔ１、Ｔ２の物標情報Ｉ１、Ｉ２として、ＩＤ、判別種類（人間等）、判別精度（１００％等）、Ｘ座標位置、Ｙ座標位置及び高さ（身長等）が表示される。固定の構造物Ｆ１、Ｆ２の位置及び形状は、高さを計測可能なＬｉＤＡＲ又は２次元ＭＩＭＯレーダを用いて検知された構造物の３次元の点群でもよく、高さを計測不能な通常のレーダを用いて検知された構造物の２次元の点群でもよく、システム外部の３次元マップを用いて取得された構造物の３次元の点群でもよい。固定の構造物Ｆ１、Ｆ２の位置及び形状は、点群の距離、高さ及び強度等に応じて、表示の色彩及び大きさ等を変えて、３次元座標Ｇ３上に表示されるようにしてもよい。

【0046】

このように、複数の物標Ｔの位置及び衝突危険度Ｄの情報を取得したうえで視覚的に表示することにより、自動運転での環境認知、安全監視での衝突防止及び侵入検知での高精度検知等に対処可能とすることができる。複数の物標Ｔの間の方向表示（図２から図４まで及び図６及び図７では矢印であるが、変形例では線分等でもよい。）を用いて、複数の物標Ｔの衝突危険度Ｄの情報を視覚的に表示することができる。衝突危険度Ｄの高低又は種類に応じて、複数の物標Ｔの衝突危険度Ｄの情報を視覚的に表示することができる。

【0047】

変形例として、各物標Ｔの位置及び各物標Ｔとレーダ送受信装置１及びカメラ撮像装置２との衝突危険度Ｄの情報を取得したうえで視覚的に表示することにより、自動運転での環境認知、安全監視での衝突防止及び侵入検知での高精度検知等に対処してもよい。各物標Ｔとレーダ送受信装置１及びカメラ撮像装置２との間の方向表示（矢印又は線分等）を用いて、各物標Ｔとレーダ送受信装置１及びカメラ撮像装置２との衝突危険度Ｄの情報を視覚的に表示してもよい。衝突危険度Ｄの高低又は種類に応じて、各物標Ｔとレーダ送受信装置１及びカメラ撮像装置２との衝突危険度Ｄの情報を視覚的に表示してもよい。

【0048】

そして、複数の物標Ｔの速度ベクトルＶ及び衝突予測地点Ｃ１２の情報を取得したうえで視覚的に表示することにより、複数の物標Ｔの衝突危険度Ｄの情報に対する根拠となる情報をさらに付加することができる。さらに、複数の物標Ｔの高さ、輪郭Ｅ及び点群ＰＧの情報を取得したうえで視覚的に表示することにより、衝突危険度Ｄが判定された複数の物標Ｔに関する形状についての情報をさらに付加することができる。

【0049】

そして、固定の構造物Ｆの位置及び形状の情報を取得したうえで視覚的に表示することにより、固定されている構造物Ｆと移動している物標Ｔとの間の衝突危険度Ｄの情報を視覚的にさらに表示することができる（図１３を参照）。さらに、複数の物標Ｔの位置及び衝突危険度Ｄ等の情報を取得したうえで、３次元的につまり鳥瞰図的に視覚的に表示することができ、２次元的につまり上面図的に視覚的に表示することもできる。

【0050】

（本開示の物標情報の生成処理）
次に、物標情報の前半の生成処理を説明する。本開示のレーダ画像物標の統合処理の具体例を図８に示す。本開示のレーダ画像物標の高さの出力処理の具体例を図９に示す。

【0051】

図８の左欄では、レーダ物標検知部３１は、レーダ送受信装置１からレーダ信号を取得し、レーダ信号に基づいて、レーダ物標Ｒ１、Ｒ２を検知し、レーダ物標Ｒ１、Ｒ２の距離ｄ_Ｒ１、ｄ_Ｒ２及び方位ａ_Ｒ１、ａ_Ｒ２を測定する。そして、画像物標検知部３２は、カメラ撮像装置２からカメラ画像を取得し、カメラ画像に基づいて、画像物標Ｐ１、Ｐ３を検知し、画像物標Ｐ１、Ｐ３の方位ａ_Ｐ１、ａ_Ｐ３及び距離ｄ_Ｐ１、ｄ_Ｐ３を測定する。

【0052】

ここで、レーダ物標の距離は、高精度であるが、レーダ物標の方位は、低精度である。そして、レーダ物標では、マルチパス及び偽像の影響を受けやすく、形状及び色彩を判定することができない。一方で、画像物標の方位は、高精度であるが、画像物標の距離は、低精度である。そして、画像物標では、暗所及び悪天候の影響を受けやすく、画像の重なりを分離することができない。そこで、本開示では、レーダ物標及び画像物標のそれぞれの長所を生かして、画像物標及びレーダ物標のそれぞれの短所を補完する。

【0053】

まず、レーダ物標Ｒ１及び画像物標Ｐ１について説明する。レーダ物標Ｒ１の距離ｄ_Ｒ１と画像物標Ｐ１の距離ｄ_Ｐ１との間の差分は、所定差分以下であるとともに、画像物標Ｐ１の方位ａ_Ｐ１とレーダ物標Ｒ１の方位ａ_Ｒ１との間の差分も、所定差分以下である。ここで、レーダ物標Ｒ１と画像物標Ｐ１との間の距離差分に対する所定差分として、レーダ物標Ｒ１と画像物標Ｐ１との間の距離精度差分に設定すればよく、画像物標Ｐ１とレーダ物標Ｒ１との間の方位差分に対する所定差分として、画像物標Ｐ１とレーダ物標Ｒ１との間の方位精度差分に設定すればよい。そこで、図８の右欄では、レーダ画像物標統合部３３は、レーダ物標Ｒ１と画像物標Ｐ１とをレーダ画像統合物標Ｔ１に統合する。

【0054】

図８の右欄では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｔ１の距離として、画像物標Ｐ１の低精度な距離ｄ_Ｐ１ではなく、レーダ物標Ｒ１の高精度な距離ｄ_Ｒ１を出力する。同じく右欄では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｔ１の方位として、レーダ物標Ｒ１の低精度な方位ａ_Ｒ１ではなく、画像物標Ｐ１の高精度な方位ａ_Ｐ１を出力する。図９では、レーダ画像物標統合部３３は、レーダ画像統合物標Ｔ１の高さとして、レーダ物標Ｒ１の高精度な距離ｄ_Ｒ１及び画像物標Ｐ１の高精度な縦方向画素数ｐ_Ｈに基づく高さｈ_Ｐを出力する。ここで、レーダ画像統合物標Ｔ１の高さｈ_Ｐは、ｈ_Ｐ＝ｐ_Ｈ＊ｄ_Ｒ＊カメラ撮像装置２のセンササイズ／カメラ撮像装置２の焦点距離／カメラ撮像装置２の画像ピクセル数として算出することができる。

【0055】

次に、レーダ物標Ｒ２について説明する。レーダ物標Ｒ２の距離ｄ_Ｒ２と画像物標Ｐ１、Ｐ３の距離ｄ_Ｐ１、ｄ_Ｐ３との間の差分は、所定差分より大きいとともに、画像物標Ｐ１、Ｐ３の方位ａ_Ｐ１、ａ_Ｐ３とレーダ物標Ｒ２の方位ａ_Ｒ２との間の差分も、所定差分より大きい。つまり、レーダ画像物標統合部３３は、レーダ物標Ｒ２と統合可能な画像物標が検知されないことを認識する。そして、図８の右欄では、レーダ画像物標統合部３３は、レーダ物標Ｒ２を画像物標Ｐ１、Ｐ３と統合せず、レーダ非統合物標Ｔ２として出力する。

【0056】

図８の右欄では、レーダ画像物標統合部３３は、レーダ非統合物標Ｔ２の距離として、レーダ物標Ｒ２の高精度な距離ｄ_Ｒ２を出力する。同じく右欄では、レーダ画像物標統合部３３は、レーダ非統合物標Ｔ２の方位として、レーダ物標Ｒ２の低精度な方位ａ_Ｒ２を出力する。図９に図示しないが、レーダ画像物標統合部３３は、レーダ物標Ｒ２の高さを算出することができないため、レーダ非統合物標Ｔ２の高さを出力することができない。

【0057】

次に、画像物標Ｐ３について説明する。画像物標Ｐ３の方位ａ_Ｐ３とレーダ物標Ｒ１、Ｒ２の方位ａ_Ｒ１、ａ_Ｒ２との間の差分は、所定差分より大きいとともに、画像物標Ｐ３の距離ｄ_Ｐ３とレーダ物標Ｒ１、Ｒ２の距離ｄ_Ｒ１、ｄ_Ｒ２との間の差分も、所定差分より大きい。つまり、レーダ画像物標統合部３３は、画像物標Ｐ３と統合可能なレーダ物標が検知されないことを認識する。そして、図８の右欄では、レーダ画像物標統合部３３は、画像物標Ｐ３をレーダ物標Ｒ１、Ｒ２と統合せず、画像非統合物標Ｔ３として出力する。

【0058】

図８の右欄では、レーダ画像物標統合部３３は、画像非統合物標Ｔ３の方位として、画像物標Ｐ３の高精度な方位ａ_Ｐ３を出力する。同じく右欄では、レーダ画像物標統合部３３は、画像非統合物標Ｔ３の距離として、画像物標Ｐ３の低精度な距離ｄ_Ｐ３を出力する。図９に図示しないが、レーダ画像物標統合部３３は、画像非統合物標Ｔ３の高さとして、画像物標Ｐ３の低精度な距離ｄ_Ｐ３（レーダ物標の高精度な距離を出力不能。）及び画像物標Ｐ３の高精度な縦方向画素数ｐ_Ｈに基づく高さｈ_Ｐを出力する。

【0059】

このように、レーダ物標Ｒ１と画像物標Ｐ１とをレーダ画像統合物標Ｔ１に統合することができる。そして、レーダ画像統合物標Ｔ１の距離及び方位として、レーダ物標Ｒ１の高精度な距離ｄ_Ｒ１及び画像物標Ｐ１の高精度な方位ａ_Ｐ１を出力することができる。そして、レーダ画像統合物標Ｔ１の高さとして、レーダ物標Ｒ１の高精度な距離ｄ_Ｒ１及び画像物標Ｐ１の高精度な縦方向画素数ｐ_Ｈに基づいて出力することができる。

【0060】

次に、物標情報の後半の生成処理を説明する。本開示のレーダ画像物標の追尾処理の具体例を図１０に示す。本開示の物標同士の衝突危険度の判定処理の具体例を図１１及び図１２に示す。本開示の構造物との衝突危険度の判定処理の具体例を図１３に示す。

【0061】

図１０から図１３までに図示しないが、画像物標輪郭抽出部３４は、レーダ画像統合物標Ｔについて（画像非統合物標も含む。）、画像物標Ｐの輪郭Ｅを抽出し（レーダ物標Ｒは高さを有さない。）、画像物標Ｐの輪郭Ｅの３次元位置を３次元座標Ｇ３に出力する。

【0062】

ここで、画像物標輪郭抽出部３４は、図８及び図９で出力した距離ｄ及び方位ａに基づいて、画像物標Ｐの輪郭Ｅの３次元位置を３次元座標Ｇ３に出力することができる。このように、レーダ画像統合物標Ｔについて（画像非統合物標も含む。）、レーダ画像物標統合部３３は、レーダ信号点分布又は画像矩形形状情報に基づいて、大きさを判定し、画像物標輪郭抽出部３４は、判定された大きさに基づいて、３次元輪郭を抽出することができる。

【0063】

図１０では、レーダ画像物標追尾部３５は、レーダ画像統合物標Ｔについて（レーダ非統合物標及び画像非統合物標も含む。）、追尾を実行し、速度ベクトルｖ（ｔ_１→ｔ_２）、ｖ（ｔ_２→ｔ_３）を算出する。

【0064】

ここで、レーダ画像物標追尾部３５は、図８及び図９で出力した距離ｄ（ｔ_１）、ｄ（ｔ_２）、ｄ（ｔ_３）及び方位ａ（ｔ_１）、ａ（ｔ_２）、ａ（ｔ_３）に基づいて、αβγ（位置、速度、加速度）フィルタ、カルマンフィルタ又はパーティクルフィルタ等を用いて、速度ベクトルｖ（ｔ_１→ｔ_２）、ｖ（ｔ_２→ｔ_３）を算出することができる。

【0065】

図１１では、衝突危険度判定部３６は、複数のレーダ画像統合物標Ｔ１、Ｔ２について（レーダ非統合物標及び画像非統合物標も含む。）、又は、これらの各々の物標とレーダ送受信装置１及びカメラ撮像装置２とについて、速度ベクトルｖ_１、ｖ_２に基づいて（時間的に一定であると仮定した。）、衝突の危険度を判定する。

【0066】

ここで、衝突危険度判定部３６は、図１０で算出した速度ベクトルｖ_１、ｖ_２に基づいて、位置ベクトルｒ_１（ｔ）、ｒ_２（ｔ）を算出し、所定期間Ｔ内のＣｌｏｓｅｓｔ Ｐｏｉｎｔ ｏｆ Ａｐｐｒｏａｃｈとして、ＣＰＡ_１、２＝ｍｉｎ（｜ｒ_１（ｔ）－ｒ_２（ｔ）｜^２）を算出する。そして、ＣＰＡ_１、２が閾値より小さければ、衝突の危険度が大きいと判定し、ＣＰＡ_１、２が閾値以上であれば、衝突の危険度が小さいと判定する。このように、複数のレーダ画像統合物標Ｔ１、Ｔ２について（レーダ非統合物標及び画像非統合物標も含む。）、又は、これらの各々の物標とレーダ送受信装置１及びカメラ撮像装置２とについて、所定期間Ｔ内の接近程度に基づいて、衝突の危険度を判定することができる。

【0067】

図１２の左欄では、衝突危険度判定部３６は、複数のレーダ画像統合物標Ｔ１、Ｔ２について（レーダ非統合物標及び画像非統合物標も含む。）、又は、これらの各々の物標とレーダ送受信装置１及びカメラ撮像装置２とについて、種別（例えば、人間又は車両等。加えて、人間の年代等。）に基づいて、衝突の危険度を判定する。

【0068】

ここで、衝突危険度判定部３６は、レーダ画像物標統合部３３で判定されたレーダ画像統合物標Ｔ１、Ｔ２の種別に基づいて、レーダ画像統合物標Ｔ１、Ｔ２が人間及び人間であれば、衝突の危険度が小さいと判定し、レーダ画像統合物標Ｔ１、Ｔ２が人間及び車両であれば、衝突の危険度が大きいと判定する。なお、レーダ画像物標統合部３３は、レーダ物標検知部３１の種別判定結果又は画像物標検知部３２の種別判定結果に基づいて、レーダ画像統合物標Ｔ１、Ｔ２の種別を最終判定する。

【0069】

図１２の右欄では、衝突危険度判定部３６は、複数のレーダ画像統合物標Ｔ１、Ｔ２について（レーダ非統合物標及び画像非統合物標も含む。）、又は、これらの各々の物標とレーダ送受信装置１及びカメラ撮像装置２とについて、大きさ（例えば、人間は小さく、車両は大きい。）に基づいて、衝突の危険度を判定する。

【0070】

ここで、衝突危険度判定部３６は、レーダ画像物標統合部３３で判定されたレーダ画像統合物標Ｔ１、Ｔ２の大きさに基づいて、レーダ画像統合物標Ｔ１、Ｔ２がいずれも小さな物標であれば、衝突の危険度が小さいと判定し、レーダ画像統合物標Ｔ１、Ｔ２がいずれも大きな物標であれば、衝突の危険度が大きいと判定する。なお、レーダ画像物標統合部３３は、レーダ物標検知部３１のレーダ信号点分布又は画像物標検知部３２の画像矩形形状情報に基づいて、レーダ画像統合物標Ｔ１、Ｔ２の大きさを判定する。

【0071】

このように、複数のレーダ画像統合物標Ｔ１、Ｔ２について（レーダ非統合物標及び画像非統合物標も含む。）、又は、これらの各々の物標とレーダ送受信装置１及びカメラ撮像装置２とについて、所定期間Ｔ内の接近程度以外のパラメータ（種別及び／又は大きさ）に基づいて、衝突の危険度を高精度に判定することができる。

【0072】

図１３では、衝突危険度判定部３６は、レーダ画像統合物標Ｔについて（レーダ非統合物標及び画像非統合物標も含む。）、レーダ送受信装置１及びカメラ撮像装置２が検知した固定の構造物Ｆの距離及び方位又は衝突危険度判定部３６が予め有する固定の構造物Ｆの３次元マップ情報に基づいて（固定の構造物Ｆの位置及び形状を含む。）、固定の構造物Ｆとの衝突の危険度を判定する。

【0073】

ここで、衝突危険度判定部３６は、上記で出力した輪郭Ｅの３次元位置及び３次元形状に対して（レーダ物標Ｒに基づく点群ＰＧの２次元位置及び２次元形状を含む。）、検知された固定の構造物Ｆの距離及び方位又は予め有する固定の構造物Ｆの３次元マップ情報に基づく固定の構造物Ｆの３次元位置及び３次元形状を、３次元座標Ｇ３に重畳する。そして、図１０で算出した速度ベクトルｖが固定の構造物Ｆへと近づいていれば、固定の構造物Ｆとの衝突の危険度が大きいと判定し、図１０で算出した速度ベクトルｖが固定の構造物Ｆから遠ざかっていれば、固定の構造物Ｆとの衝突の危険度が小さいと判定する。このように、レーダ画像統合物標Ｔについて（レーダ非統合物標及び画像非統合物標も含む。）、レーダ送受信装置１及びカメラ撮像装置２で固定の構造物Ｆを検知したうえで、又は、レーダ送受信装置１及びカメラ撮像装置２で固定の構造物Ｆを検知しなくても、固定の構造物Ｆとの衝突の危険度を判定することができる。

【産業上の利用可能性】

【0074】

本開示の物標情報表示装置は、本開示の物標検知装置と合わせて、自動運転での環境認知、安全監視での衝突防止及び侵入検知での高精度検知等に対処可能である。

【符号の説明】

【0075】

Ｓ：レーダ画像物標検知システム
Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ：物標
Ｇ３、Ｇ２：座標
Ｄ１２、Ｄ１３、Ｄ２３、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ：衝突危険度
Ｖ１、Ｖ２、Ｖ３、Ｖ４、Ｖ：速度ベクトル
Ｃ１２：衝突予測地点
Ｅ１、Ｅ２、Ｅ３、Ｅ：輪郭
Ｉ１、Ｉ２、Ｉ：物標情報
ＰＧ：点群
Ｆ１、Ｆ２、Ｆ：固定の構造物
Ｒ１、Ｒ２、Ｒ：レーダ物標
Ｐ１、Ｐ３、Ｐ：画像物標
１：レーダ送受信装置
２：カメラ撮像装置
３：レーダ画像物標検知装置
４：物標情報表示装置
３１：レーダ物標検知部
３２：画像物標検知部
３３：レーダ画像物標統合部
３４：画像物標輪郭抽出部
３５：レーダ画像物標追尾部
３６：衝突危険度判定部
４１：物標情報取得部
４２：物標情報表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】