特開 2024-97620 物標検知装置、物標検知プログラム、物標検知システム及びカメラ距離学習モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024097620

(43)【公開日】2024-07-19

(54)【発明の名称】物標検知装置、物標検知プログラム、物標検知システム及びカメラ距離学習モデル

(51)【国際特許分類】

   G01S 13/86 20060101AFI20240711BHJP

   G01S 13/931 20200101ALN20240711BHJP

【ＦＩ】

G01S13/86

G01S13/931

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023001202

(22)【出願日】2023-01-06

(71)【出願人】

【識別番号】318006365

【氏名又は名称】ＪＲＣモビリティ株式会社

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100173716

【弁理士】

【氏名又は名称】田中 真理

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】宮地 倖平

(72)【発明者】

【氏名】星 将広

(72)【発明者】

【氏名】時枝 幸伸

【テーマコード（参考）】

5J070

【Ｆターム（参考）】

5J070AB24

5J070AC02

5J070AC13

5J070AE07

5J070AE09

5J070AF03

5J070BD08

(57)【要約】      （修正有）

【課題】本開示は、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ画像とレーダ情報とを高精度に統合し、人間等の物標を検知することを目的とする。
【解決手段】本開示は、カメラ物標を属性情報とともに検知し、カメラ物標の深度推定に基づいて、カメラ物標の概算距離を算出し、カメラ物標の画素座標に基づいて、カメラ物標の方位を算出するカメラ物標検知部３１と、レーダ物標をクラスタとして検知し、レーダ物標のレーダ反射時間に基づいて、レーダ物標の距離を算出し、レーダ物標のレーダ反射方位に基づいて、レーダ物標の方位を算出するレーダ物標検知部３２と、カメラ物標の概算距離及び方位と、レーダ物標の距離及び方位と、の一致に基づいて、カメラ物標とレーダ物標とを同一物標に統合する物標統合部３３と、を備える物標検知装置３である。
【選択図】図２

【特許請求の範囲】

【請求項1】

カメラ画像とレーダ情報とを統合し、物標を検知する物標検知装置であって、
前記カメラ画像において、カメラ物標を属性情報とともに検知し、前記カメラ物標の深度推定に基づいて、前記カメラ物標の概算距離を算出し、前記カメラ物標の画素座標に基づいて、前記カメラ物標の方位を算出するカメラ物標検知部と、
前記レーダ情報において、レーダ物標をクラスタとして検知し、前記レーダ物標のレーダ反射時間に基づいて、前記レーダ物標の距離を算出し、前記レーダ物標のレーダ反射方位に基づいて、前記レーダ物標の方位を算出するレーダ物標検知部と、
前記カメラ物標の概算距離及び方位と、前記レーダ物標の距離及び方位と、の一致に基づいて、前記カメラ物標と前記レーダ物標とを同一物標に統合する物標統合部と、
を備えることを特徴とする物標検知装置。

【請求項2】

前記カメラ物標検知部は、前記カメラ画像を入力し、前記カメラ物標の概算距離を出力する深度推定ＡＩを用いて、前記カメラ物標の概算距離を算出する
ことを特徴とする、請求項１に記載の物標検知装置。

【請求項3】

前記カメラ物標検知部は、前記カメラ画像及び前記カメラ物標を構成する全ての画素情報を入力し、前記カメラ物標を代表する代表画素座標の概算距離を出力する前記深度推定ＡＩを用いて、前記カメラ物標を代表する代表画素座標の概算距離を算出する
ことを特徴とする、請求項２に記載の物標検知装置。

【請求項4】

前記レーダ物標検知部は、前記レーダ物標の距離及び方位について、ノイズを低減可能であるとともに、時間変化を追従可能であるように、平滑化処理を実行する
ことを特徴とする、請求項１から３のいずれかに記載の物標検知装置。

【請求項5】

請求項１に記載の物標検知装置が備える前記カメラ物標検知部、前記レーダ物標検知部及び前記物標統合部が行なう各処理を、コンピュータに実行させる物標検知プログラム。

【請求項6】

請求項１に記載の物標検知装置と、前記カメラ画像を生成するカメラ装置と、前記レーダ情報を生成するレーダ装置と、を備えることを特徴とする物標検知システム。

【請求項7】

カメラ画像及びカメラ物標を構成する全ての画素情報が入力される入力層と、
前記カメラ物標を代表する代表画素座標の概算距離を出力する出力層と、
前記カメラ画像及び前記カメラ物標を構成する全ての画素情報と、前記カメラ物標を代表する代表画素座標の概算距離と、を備える複数の教師データを用いて、ニューラルネットワークの重み情報が学習された中間層と、を備え、
前記カメラ画像及び前記カメラ物標を構成する全ての画素情報を前記入力層へと入力し、前記中間層において演算し、前記カメラ物標を代表する代表画素座標の概算距離を前記出力層から出力するように、コンピュータを機能させるカメラ距離学習モデル。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、カメラ画像とレーダ情報とを統合し、物標を検知する技術に関する。

【背景技術】

【0002】

自動車、農機、建機又はロボット等では、周辺の人間又は障害物等を監視したうえで、周辺の人間又は障害物等と衝突しないような、人間又は障害物等の物標を検知する技術が要望されている。そして、周辺の人間等を特別に警告するために、周辺の障害物等をあえて注意しないような、人間又は障害物等の物標を識別する技術も要望されている。

【0003】

特許文献１では、カメラ画像とレーダ情報とを統合し、物標を検知する技術が開示されている。ここで、カメラ画像では、カメラ物標の属性情報を識別することに優位性がある。一方で、レーダ情報では、レーダ物標の距離及び方位を検知することに優位性がある。そこで、カメラ画像とレーダ情報とを統合し、物標を検知及び識別することができる。

【0004】

なお、物標検知システムの高性能化を図るために、カメラ装置としてステレオカメラ又はＴＯＦカメラ等を使ってもよく、レーダ装置としてＬｉＤＡＲ等を使ってもよい。また、物標検知システムの低価格化を図るために、カメラ装置として単眼カメラ又は赤外線カメラ等を使ってもよく、レーダ装置としてミリ波レーダ等を使ってもよい。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－０３９１０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来技術のカメラ画像とレーダ情報との統合処理を図１に示す。図１の上段では、人間Ｐが存在している。図１の下段では、人間Ｐ及び手前の障害物Ｏが存在している。

【0007】

不図示のカメラ物標検知部は、カメラ画像Ｃにおいて、カメラ物標ＣＴを属性情報とともに検知し、カメラ物標ＣＴの底部座標Ｇに基づいて、カメラ物標ＣＴの概算距離を算出し、カメラ物標ＣＴの画素座標に基づいて、カメラ物標ＣＴの方位を算出する。

【0008】

不図示のレーダ物標検知部は、レーダ情報において、レーダ物標ＲＴをクラスタとして検知し、レーダ物標ＲＴのレーダ反射時間に基づいて、レーダ物標ＲＴの距離を算出し、レーダ物標ＲＴのレーダ反射方位に基づいて、レーダ物標ＲＴの方位を算出する。

【0009】

不図示の物標統合部は、統合結果Ｉにおいて、カメラ物標ＣＴの概算距離及び方位と、レーダ物標ＲＴの距離及び方位と、の一致に基づいて、カメラ物標ＣＴとレーダ物標ＲＴとを同一物標に統合し、物標検知システムの周辺の監視領域Ｍとの位置関係を表示する。

【0010】

ここで、不図示のカメラ物標検知部は、以下の数式に基づいて、カメラ物標ＣＴの概算距離を算出する：カメラ物標ＣＴの概算距離＝（カメラ装置の焦点距離×カメラ画像Ｃの画像サイズ×カメラ装置の設置高さ）／｛（カメラ物標ＣＴの矩形領域Ｂの底部座標Ｇ－カメラ画像Ｃの消失点座標）×カメラ装置のセンササイズ×１００｝。

【0011】

図１の上段では、人間Ｐの足元が手前の障害物Оに隠れておらず、かつ、人間Ｐの足元が地面に接触しており、かつ、地面が水平面である。よって、不図示のカメラ物標検知部は、カメラ物標ＣＴの矩形領域Ｂを高精度に算出でき、カメラ物標ＣＴの矩形領域Ｂの底部座標Ｇを高さ０の地面に一致させ、カメラ物標ＣＴの概算距離を高精度に算出することができる。そして、不図示の物標統合部は、カメラ物標ＣＴとレーダ物標ＲＴとを高精度に同一物標に統合でき、物標の未検知又は誤検知を防止することができる。

【0012】

図１の下段では、人間Ｐの足元が手前の障害物Оに隠れており、又は、人間Ｐの足元が地面に接触しておらず、又は、地面が傾斜面である。よって、不図示のカメラ物標検知部は、カメラ物標ＣＴの矩形領域Ｂを高精度に算出できず、カメラ物標ＣＴの矩形領域Ｂの底部座標Ｇを高さ０の地面に一致させず、カメラ物標ＣＴの概算距離を高精度に算出することができない。そして、不図示の物標統合部は、カメラ物標ＣＴとレーダ物標ＲＴとを高精度に同一物標に統合できず、物標の未検知又は誤検知を防止することができない。

【0013】

そこで、前記課題を解決するために、本開示は、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ画像とレーダ情報とを高精度に統合し、人間等の物標を検知することを目的とする。

【課題を解決するための手段】

【0014】

前記課題を解決するために、カメラ物標の底部座標ではなく、カメラ物標の深度推定に基づいて、カメラ物標の概算距離を算出することとした。ここで、カメラ物標の深度推定では、カメラ物標の底部座標を考慮するのみならず、カメラ物標を構成する全ての画素情報（画素座標又は画素輝度等）を考慮するため、カメラ物標の概算距離を算出するための情報量が増加する。

【0015】

具体的には、本開示は、カメラ画像とレーダ情報とを統合し、物標を検知する物標検知装置であって、前記カメラ画像において、カメラ物標を属性情報とともに検知し、前記カメラ物標の深度推定に基づいて、前記カメラ物標の概算距離を算出し、前記カメラ物標の画素座標に基づいて、前記カメラ物標の方位を算出するカメラ物標検知部と、前記レーダ情報において、レーダ物標をクラスタとして検知し、前記レーダ物標のレーダ反射時間に基づいて、前記レーダ物標の距離を算出し、前記レーダ物標のレーダ反射方位に基づいて、前記レーダ物標の方位を算出するレーダ物標検知部と、前記カメラ物標の概算距離及び方位と、前記レーダ物標の距離及び方位と、の一致に基づいて、前記カメラ物標と前記レーダ物標とを同一物標に統合する物標統合部と、を備えることを特徴とする物標検知装置である。

【0016】

この構成によれば、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。そして、カメラ装置が障害物等に隠されていても、カメラ装置及びレーダ装置が設置中心位置を揃えていれば、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。

【0017】

また、本開示は、前記カメラ物標検知部は、前記カメラ画像を入力し、前記カメラ物標の概算距離を出力する深度推定ＡＩを用いて、前記カメラ物標の概算距離を算出することを特徴とする物標検知装置である。

【0018】

この構成によれば、人間等の物標と障害物等との間の位置関係が時間変化しても、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。

【0019】

また、本開示は、前記カメラ物標検知部は、前記カメラ画像及び前記カメラ物標を構成する全ての画素情報を入力し、前記カメラ物標を代表する代表画素座標の概算距離を出力する前記深度推定ＡＩを用いて、前記カメラ物標を代表する代表画素座標の概算距離を算出することを特徴とする物標検知装置である。

【0020】

この構成によれば、計算資源に限りのあるエッジ端末等であっても、カメラ物標の概算距離を高速度に算出でき、カメラ画像とレーダ情報とを高速度に統合することができる。

【0021】

また、本開示は、前記レーダ物標検知部は、前記レーダ物標の距離及び方位について、ノイズを低減可能であるとともに、時間変化を追従可能であるように、平滑化処理を実行することを特徴とする物標検知装置である。

【0022】

この構成によれば、レーダ物標の代表座標がノイズを含んでも、レーダ物標の距離及び方位を平滑化でき、カメラ画像とレーダ情報とを高精度に統合することができる。

【0023】

また、本開示は、以上に記載の物標検知装置が備える前記カメラ物標検知部、前記レーダ物標検知部及び前記物標統合部が行なう各処理を、コンピュータに実行させる物標検知プログラムである。

【0024】

この構成によれば、以上に記載の効果を有するプログラムを提供することができる。

【0025】

また、本開示は、以上に記載の物標検知装置と、前記カメラ画像を生成するカメラ装置と、前記レーダ情報を生成するレーダ装置と、を備えることを特徴とする物標検知システムである。

【0026】

この構成によれば、以上に記載の効果を有するシステムを提供することができる。

【0027】

また、本開示は、カメラ画像及びカメラ物標を構成する全ての画素情報が入力される入力層と、前記カメラ物標を代表する代表画素座標の概算距離を出力する出力層と、前記カメラ画像及び前記カメラ物標を構成する全ての画素情報と、前記カメラ物標を代表する代表画素座標の概算距離と、を備える複数の教師データを用いて、ニューラルネットワークの重み情報が学習された中間層と、を備え、前記カメラ画像及び前記カメラ物標を構成する全ての画素情報を前記入力層へと入力し、前記中間層において演算し、前記カメラ物標を代表する代表画素座標の概算距離を前記出力層から出力するように、コンピュータを機能させるカメラ距離学習モデルである。

【0028】

この構成によれば、計算資源に限りのあるエッジ端末等であっても、カメラ物標の概算距離を高速度に算出するための、カメラ距離学習モデルを提供することができる。

【0029】

なお、上記各開示の発明は、可能な限り組み合わせることができる。

【発明の効果】

【0030】

このように、本開示は、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ画像とレーダ情報とを高精度に統合し、人間等の物標を検知することができる。

【図面の簡単な説明】

【0031】

【図1】従来技術のカメラ画像とレーダ情報との統合処理を示す図である。

【図2】本開示の物標検知システムの構成を示す図である。

【図3】本開示の物標検知処理の手順を示す図である。

【図4】本開示の第１のカメラ物標の検知処理を示す図である。

【図5】本開示の第２のカメラ物標の検知処理を示す図である。

【図6】本開示のカメラ距離学習モデルの構成を示す図である。

【図7】本開示のレーダ物標の検知処理を示す図である。

【図8】本開示のカメラ画像とレーダ情報との統合処理を示す図である。

【図9】本開示のカメラ物標の検知結果を示す図である。

【発明を実施するための形態】

【0032】

添付の図面を参照して本開示の実施形態を説明する。以下に説明する実施形態は本開示の実施の例であり、本開示は以下の実施形態に制限されるものではない。

【0033】

（本開示の物標検知システムの概要）
本開示の物標検知システムの構成を図２に示す。本開示の物標検知処理の手順を図３に示す。物標検知システムＳは、カメラ装置１、レーダ装置２及び物標検知装置３を備える。物標検知装置３は、カメラ物標検知部３１、レーダ物標検知部３２及び物標統合部３３を備え、図３に示した物標検知プログラムをコンピュータにインストールしている。

【0034】

本開示では、物標検知システムＳの低価格化を図るために、カメラ装置１として単眼カメラを使っており（赤外線カメラ等を使ってもよい。）、レーダ装置２としてミリ波レーダを使っている（ＭＩＭＯレーダ等を使ってもよい。）。変形例として、物標検知システムＳの高性能化を図るために、カメラ装置１としてステレオカメラ又はＴＯＦカメラ等を使ってもよく、レーダ装置２としてＬｉＤＡＲ等を使ってもよい。

【0035】

本開示では、カメラ物標の底部座標ではなく、カメラ物標の深度推定に基づいて、カメラ物標の概算距離を算出することとした。ここで、カメラ物標の深度推定では、カメラ物標の底部座標を考慮するのみならず、カメラ物標を構成する全ての画素情報（画素座標又は画素輝度等）を考慮するため、カメラ物標の概算距離を算出するための情報量が増加する。

【0036】

よって、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。そして、カメラ装置１が障害物等に隠されていても、カメラ装置１及びレーダ装置２が設置中心位置を揃えていれば、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。以下に、カメラ物標検知部３１、レーダ物標検知部３２及び物標統合部３３の処理を具体的に説明する。

【0037】

（本開示のカメラ物標の検知処理）
本開示の第１のカメラ物標の検知処理を図４に示す。本開示の第２のカメラ物標の検知処理を図５に示す。図４、５では、人間Ｐ１、Ｐ２が存在しており、人間Ｐ１の手前に障害物Ｏが存在しているが、人間Ｐ２の手前に障害物Ｏが存在していない。

【0038】

カメラ物標検知部３１は、カメラ画像Ｃにおいて、カメラ物標を属性情報とともに検知する（ステップＳ１）。図４、５では、カメラ物標検知部３１は、人間Ｐ１、Ｐ２の矩形領域Ｂ１、Ｂ２を算出し、矩形領域Ｂ１、Ｂ２の属性情報確度を算出する。

【0039】

カメラ物標検知部３１は、カメラ画像Ｃにおいて、カメラ物標の深度推定に基づいて、カメラ物標の概算距離を算出する（ステップＳ２）。図４、５では、カメラ物標検知部３１は、カメラ画像Ｃを入力し、カメラ物標の概算距離を出力する深度推定ＡＩを用いて、カメラ物標の概算距離を算出するが、異なるタイプの深度推定ＡＩを用いる。

【0040】

変形例として、カメラ物標検知部３１は、カメラ装置１の焦点距離、カメラ装置１の絞り値、カメラ画像Ｃの領域毎のボケ程度、カメラ物標の大きさ及びカメラ物標の周辺環境に基づいて、第一原理計算を用いて、カメラ物標の概算距離を算出してもよい。

【0041】

本開示では、人間等の物標と障害物等との間の位置関係が時間変化しても、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。

【0042】

図４では、カメラ物標検知部３１は、カメラ画像Ｃを入力し、カメラ画像Ｃを構成する全ての画素座標の概算距離を出力する深度推定ＡＩを用いて、カメラ画像Ｃを構成する全ての画素座標の概算距離を算出する。つまり、カメラ物標検知部３１は、矩形領域Ｂ１、Ｂ２を含む全画素座標の概算距離を算出し、矩形領域Ｂ１、Ｂ２のみの各画素座標の概算距離の平均値又は中央値を算出し、カメラ物標の概算距離を算出する。

【0043】

図４のカメラ距離学習モデルの構成は図示しない。カメラ距離学習モデルは、入力層、中間層及び出力層を備える。入力層は、カメラ画像Ｃが入力される。出力層は、カメラ画像Ｃを構成する全ての画素座標の概算距離を出力する。中間層は、カメラ画像Ｃと、カメラ画像Ｃを構成する全ての画素座標の概算距離と、を備える複数の教師データを用いて、ニューラルネットワークの重み情報が学習される。カメラ距離学習モデルは、カメラ画像Ｃを入力層へと入力し、中間層において演算し、カメラ画像Ｃを構成する全ての画素座標の概算距離を出力層から出力するように、コンピュータを機能させる。

【0044】

よって、計算資源に限りのないコンピュータ等であれば、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。

【0045】

図５では、カメラ物標検知部３１は、カメラ画像Ｃ及びカメラ物標を構成する全ての画素情報（画素座標又は画素輝度等）を入力し、カメラ物標を代表する代表画素座標の概算距離を出力する深度推定ＡＩを用いて、カメラ物標を代表する代表画素座標の概算距離を算出する。つまり、カメラ物標検知部３１は、矩形領域Ｂ１、Ｂ２を含む全画素座標の概算距離を算出せず、矩形領域Ｂ１、Ｂ２のみの代表画素座標の概算距離を算出し、カメラ物標の概算距離を算出する。

【0046】

図５のカメラ距離学習モデルの構成を図６に示す。カメラ距離学習モデル４は、入力層４１、中間層４２及び出力層４３を備える。入力層４１は、カメラ画像Ｃ及びカメラ物標を構成する全ての画素情報（画素座標又は画素輝度等）が入力される。出力層４３は、カメラ物標を代表する代表画素座標の概算距離を出力する。中間層４２は、カメラ画像Ｃ及びカメラ物標を構成する全ての画素情報（画素座標又は画素輝度等）と、カメラ物標を代表する代表画素座標の概算距離と、を備える複数の教師データを用いて、ニューラルネットワークの重み情報が学習される。カメラ距離学習モデル４は、カメラ画像Ｃ及びカメラ物標を構成する全ての画素情報（画素座標又は画素輝度等）を入力層４１へと入力し、中間層４２において演算し、カメラ物標を代表する代表画素座標の概算距離を出力層４３から出力するように、コンピュータを機能させる。

【0047】

よって、計算資源に限りのあるエッジ端末等であっても、カメラ物標の概算距離を高速度に算出でき、カメラ画像とレーダ情報とを高速度に統合することができる。

【0048】

カメラ物標検知部３１は、カメラ画像Ｃにおいて、カメラ物標の画素座標に基づいて、カメラ物標の方位を算出する（ステップＳ３）。図４、５では、カメラ物標検知部３１は、以下の数式に基づいて、矩形領域Ｂ１、Ｂ２の方位θ_１、θ_２を算出する：矩形領域Ｂ１、Ｂ２の方位θ_１、θ_２＝（矩形領域Ｂ１、Ｂ２の中心画素座標－カメラ画像Ｃの中心画素座標）×カメラ装置１の全画角範囲／カメラ画像Ｃの全画素個数。

【0049】

（本開示のレーダ物標の検知処理）
本開示のレーダ物標の検知処理を図７に示す。図７では、人間又は障害物等として、レーダ物標ＲＴ１、ＲＴ２、ＲＴ３、ＲＴ４が存在している。

【0050】

レーダ物標検知部３２は、レーダ情報Ｒにおいて、レーダ物標をクラスタとして検知する（ステップＳ４）。図７では、レーダ物標検知部３２は、レーダ物標ＲＴ１、ＲＴ２、ＲＴ３、ＲＴ４を検知し、物標検知システムＳの周辺の監視領域Ｍとの位置関係を検知する。

【0051】

レーダ物標検知部３２は、レーダ情報Ｒにおいて、レーダ物標のレーダ反射時間に基づいて、レーダ物標の距離（＝レーダ反射時間×光速／２）を算出する（ステップＳ５）。レーダ物標検知部３２は、レーダ情報Ｒにおいて、レーダ物標のレーダ反射方位に基づいて、レーダ物標の方位（位相モノパルス方式等）を算出する（ステップＳ６）。

【0052】

レーダ物標検知部３２は、レーダ物標の距離及び方位について、時間変化のデータ欠損をなくすように、複数フレームのレーダ情報Ｒの重畳処理を実行する。レーダ物標検知部３２は、レーダ物標の距離及び方位について、ノイズを低減可能であるとともに、時間変化を追従可能であるように、複数フレームのレーダ情報Ｒの平滑化処理を実行する。

【0053】

よって、レーダ物標の代表座標がノイズを含んでも、レーダ物標の距離及び方位を平滑化でき、カメラ画像とレーダ情報とを高精度に統合することができる。ただし、カメラ物標の代表画素座標がノイズを含んでも、カメラ物標が近距離物標であり、座標ノイズが１画素程度であれば、カメラ物標の距離及び方位を平滑化する必要はない。

【0054】

（本開示のカメラ画像とレーダ情報との統合処理）
本開示のカメラ画像とレーダ情報との統合処理を図８に示す。図８では、検知対象である人間が２人存在しており、非検知対象である障害物が２個存在している。

【0055】

物標統合部３３は、統合結果Ｉにおいて、カメラ物標の概算距離及び方位と、レーダ物標の距離及び方位と、の一致に基づいて、カメラ物標とレーダ物標とを同一物標に統合し、物標検知システムＳの周辺の監視領域Ｍとの位置関係を表示する（ステップＳ７）。

【0056】

図８では、カメラ物標検知部３１は、カメラ検知結果Ｃにおいて、カメラ距離情報ＣＲ１及びカメラ方位情報ＣＤ１の組み合わせと、カメラ距離情報ＣＲ２及びカメラ方位情報ＣＤ２の組み合わせと、を検知する。そして、レーダ物標検知部３２は、レーダ情報Ｒにおいて、レーダ物標ＲＴ１、ＲＴ２、ＲＴ３、ＲＴ４の距離及び方位を検知する。

【0057】

すると、物標統合部３３は、統合結果Ｉにおいて、カメラ距離情報ＣＲ１及びカメラ方位情報ＣＤ１の組み合わせと、レーダ物標ＲＴ２の距離及び方位と、の一致に基づいて、当該カメラ物標とレーダ物標ＲＴ２とを同一の統合物標ＩＴ１（人間）に統合する。そして、物標統合部３３は、統合結果Ｉにおいて、カメラ距離情報ＣＲ２及びカメラ方位情報ＣＤ２の組み合わせと、レーダ物標ＲＴ４の距離及び方位と、の一致に基づいて、当該カメラ物標とレーダ物標ＲＴ４とを同一の統合物標ＩＴ２（人間）に統合する。

【0058】

よって、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。そして、カメラ装置１が障害物等に隠されていても、カメラ装置１及びレーダ装置２が設置中心位置を揃えていれば、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。

【0059】

本開示のカメラ物標の検知結果を図９に示す。図９では、検知対象である人間が、一定の距離及び方位において、台座へと昇ったり、台座から降りたりする。

【0060】

従来技術では、検知対象である人間が、台座へと昇るときには、カメラ物標の概算距離が、カメラ物標の底部座標の上昇に応じて、真距離から増加してしまう。本開示では、検知対象である人間が、台座へと昇るときでも、カメラ物標の概算距離が、カメラ物標の底部座標の上昇によらず、カメラ物標の深度推定に基づいて、真距離からほぼ変化しない。

【産業上の利用可能性】

【0061】

本開示の物標検知装置、物標検知プログラム、物標検知システム及びカメラ距離学習モデルは、自動車、農機、建機又はロボット等において、（１）周辺の人間又は障害物等を監視したうえで、周辺の人間又は障害物等と衝突しないような、人間又は障害物等の物標を検知する技術と、（２）周辺の人間等を特別に警告するために、周辺の障害物等をあえて注意しないような、人間又は障害物等の物標を識別する技術と、を提供することができる。

【符号の説明】

【0062】

Ｃ：カメラ画像、カメラ検知結果
Ｐ、Ｐ１、Ｐ２：人間
Ｏ：障害物
Ｂ、Ｂ１、Ｂ２：矩形領域
Ｇ：底部座標
ＣＴ：カメラ物標
Ｄ：深度推定結果
ＣＲ１、ＣＲ２：カメラ距離情報
ＣＤ１、ＣＤ２：カメラ方位情報
Ｒ：レーダ情報
ＲＴ、ＲＴ１～ＲＴ４：レーダ物標
Ｉ：統合結果
ＩＴ１、ＩＴ２：統合物標
Ｍ：監視領域
Ｓ：物標検知システム
１：カメラ装置
２：レーダ装置
３：物標検知装置
４：カメラ距離学習モデル
３１：カメラ物標検知部
３２：レーダ物標検知部
３３：物標統合部
４１：入力層
４２：中間層
４３：出力層

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】