特開 2024-97617 物標検知装置、物標検知プログラム及び物標検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024097617

(43)【公開日】2024-07-19

(54)【発明の名称】物標検知装置、物標検知プログラム及び物標検知システム

(51)【国際特許分類】

   G01S 13/86 20060101AFI20240711BHJP

【ＦＩ】

G01S13/86

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023001199

(22)【出願日】2023-01-06

(71)【出願人】

【識別番号】318006365

【氏名又は名称】ＪＲＣモビリティ株式会社

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100173716

【弁理士】

【氏名又は名称】田中 真理

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】宮地 倖平

(72)【発明者】

【氏名】星 将広

(72)【発明者】

【氏名】時枝 幸伸

【テーマコード（参考）】

5J070

【Ｆターム（参考）】

5J070AB24

5J070AC02

5J070AC13

5J070AE09

5J070AF03

5J070AK13

5J070BB02

5J070BD08

5J070BE01

(57)【要約】      （修正有）

【課題】本開示は、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ画像とレーダ情報とを高精度に統合し、人間等の物標を検知することを目的とする。
【解決手段】本開示は、カメラ物標を属性情報とともに検知し、カメラ物標の画素座標に基づいて、カメラ物標の各時刻での方位及び所定期間内での方位の時間変化を算出するカメラ物標検知部３１と、レーダ物標をクラスタとして検知し、レーダ物標のレーダ反射方位に基づいて、レーダ物標の各時刻での方位及び所定期間内での方位の時間変化を算出するレーダ物標検知部３２と、カメラ物標の各時刻での方位及び方位の時間変化と、レーダ物標の各時刻での方位及び方位の時間変化と、の一致に基づいて、カメラ物標とレーダ物標とを同一物標に統合する物標統合部３３と、を備える物標検知装置３である。
【選択図】図２

【特許請求の範囲】

【請求項1】

カメラ画像とレーダ情報とを統合し、物標を検知する物標検知装置であって、
前記カメラ画像において、カメラ物標を属性情報とともに検知し、前記カメラ物標の画素座標に基づいて、前記カメラ物標の各時刻での方位及び前記カメラ物標の各時刻を含む所定期間内での方位の時間変化を算出するカメラ物標検知部と、
前記レーダ情報において、レーダ物標をクラスタとして検知し、前記レーダ物標のレーダ反射方位に基づいて、前記レーダ物標の各時刻での方位及び前記レーダ物標の各時刻を含む前記所定期間内での方位の時間変化を算出するレーダ物標検知部と、
前記カメラ物標の各時刻での方位及び前記カメラ物標の方位の時間変化と、前記レーダ物標の各時刻での方位及び前記レーダ物標の方位の時間変化と、の一致に基づいて、前記カメラ物標と前記レーダ物標とを同一物標に統合する物標統合部と、
を備えることを特徴とする物標検知装置。

【請求項2】

前記カメラ物標検知部は、前記カメラ物標同士が同一方位に位置すると想定される期間より長い前記所定期間内において、前記カメラ物標の方位の時間変化を算出し、
前記レーダ物標検知部は、前記レーダ物標同士が同一方位に位置すると想定される期間より長い前記所定期間内において、前記レーダ物標の方位の時間変化を算出する
ことを特徴とする、請求項１に記載の物標検知装置。

【請求項3】

前記レーダ物標検知部は、前記レーダ物標の距離が遠い／近いほど長く／短く設定される前記所定期間内において、前記レーダ物標の方位の時間変化を算出し、
前記カメラ物標検知部は、前記レーダ物標の距離が遠い／近いほど長く／短く設定される前記所定期間内において、前記カメラ物標の方位の時間変化を算出する
ことを特徴とする、請求項１に記載の物標検知装置。

【請求項4】

前記レーダ物標検知部は、前記レーダ物標の各時刻での方位について、ノイズを低減可能であるとともに、時間変化を追従可能であるように、平滑化処理を実行する
ことを特徴とする、請求項１から３のいずれかに記載の物標検知装置。

【請求項5】

前記カメラ物標検知部は、前記カメラ物標の各時刻での方位に加えて、前記カメラ物標の深度推定に基づいて、前記カメラ物標の各時刻での概算距離を算出し、
前記レーダ物標検知部は、前記レーダ物標の各時刻での方位に加えて、前記レーダ物標のレーダ反射時間に基づいて、前記レーダ物標の各時刻での距離を算出し、
前記物標統合部は、前記カメラ物標の各時刻での方位及び前記カメラ物標の各時刻での概算距離と、前記レーダ物標の各時刻での方位及び前記レーダ物標の各時刻での距離と、の一致に基づいて、前記カメラ物標と前記レーダ物標とを同一物標に統合する
ことを特徴とする、請求項１から３のいずれかに記載の物標検知装置。

【請求項6】

請求項１に記載の物標検知装置が備える前記カメラ物標検知部、前記レーダ物標検知部及び前記物標統合部が行なう各処理を、コンピュータに実行させる物標検知プログラム。

【請求項7】

請求項１に記載の物標検知装置と、前記カメラ画像を生成するカメラ装置と、前記レーダ情報を生成するレーダ装置と、を備えることを特徴とする物標検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、カメラ画像とレーダ情報とを統合し、物標を検知する技術に関する。

【背景技術】

【0002】

自動車、農機、建機又はロボット等では、周辺の人間又は障害物等を監視したうえで、周辺の人間又は障害物等と衝突しないような、人間又は障害物等の物標を検知する技術が要望されている。そして、周辺の人間等を特別に警告するために、周辺の障害物等をあえて注意しないような、人間又は障害物等の物標を識別する技術も要望されている。

【0003】

特許文献１では、カメラ画像とレーダ情報とを統合し、物標を検知する技術が開示されている。ここで、カメラ画像では、カメラ物標の属性情報を識別することに優位性がある。一方で、レーダ情報では、レーダ物標の距離及び方位を検知することに優位性がある。そこで、カメラ画像とレーダ情報とを統合し、物標を検知及び識別することができる。

【0004】

なお、物標検知システムの高性能化を図るために、カメラ装置としてステレオカメラ又はＴＯＦカメラ等を使ってもよく、レーダ装置としてＬｉＤＡＲ等を使ってもよい。また、物標検知システムの低価格化を図るために、カメラ装置として単眼カメラ又は赤外線カメラ等を使ってもよく、レーダ装置としてミリ波レーダ等を使ってもよい。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－０３９１０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来技術のカメラ画像とレーダ情報との統合処理を図１に示す。図１の上段では、人間Ｐが存在している。図１の下段では、人間Ｐ及び手前の障害物Ｏが存在している。

【0007】

不図示のカメラ物標検知部は、カメラ画像Ｃにおいて、カメラ物標ＣＴを属性情報とともに検知し、カメラ物標ＣＴの底部座標Ｇに基づいて、カメラ物標ＣＴの概算距離を算出し、カメラ物標ＣＴの画素座標に基づいて、カメラ物標ＣＴの方位を算出する。

【0008】

不図示のレーダ物標検知部は、レーダ情報において、レーダ物標ＲＴをクラスタとして検知し、レーダ物標ＲＴのレーダ反射時間に基づいて、レーダ物標ＲＴの距離を算出し、レーダ物標ＲＴのレーダ反射方位に基づいて、レーダ物標ＲＴの方位を算出する。

【0009】

不図示の物標統合部は、統合結果Ｉにおいて、カメラ物標ＣＴの概算距離及び方位と、レーダ物標ＲＴの距離及び方位と、の一致に基づいて、カメラ物標ＣＴとレーダ物標ＲＴとを同一物標に統合し、物標検知システムの周辺の監視領域Ｍとの位置関係を表示する。

【0010】

ここで、不図示のカメラ物標検知部は、以下の数式に基づいて、カメラ物標ＣＴの概算距離を算出する：カメラ物標ＣＴの概算距離＝（カメラ装置の焦点距離×カメラ画像Ｃの画像サイズ×カメラ装置の設置高さ）／｛（カメラ物標ＣＴの矩形領域Ｂの底部座標Ｇ－カメラ画像Ｃの消失点座標）×カメラ装置のセンササイズ×１００｝。

【0011】

図１の上段では、人間Ｐの足元が手前の障害物Оに隠れておらず、かつ、人間Ｐの足元が地面に接触しており、かつ、地面が水平面である。よって、不図示のカメラ物標検知部は、カメラ物標ＣＴの矩形領域Ｂを高精度に算出でき、カメラ物標ＣＴの矩形領域Ｂの底部座標Ｇを高さ０の地面に一致させ、カメラ物標ＣＴの概算距離を高精度に算出することができる。そして、不図示の物標統合部は、カメラ物標ＣＴとレーダ物標ＲＴとを高精度に同一物標に統合でき、物標の未検知又は誤検知を防止することができる。

【0012】

図１の下段では、人間Ｐの足元が手前の障害物Оに隠れており、又は、人間Ｐの足元が地面に接触しておらず、又は、地面が傾斜面である。よって、不図示のカメラ物標検知部は、カメラ物標ＣＴの矩形領域Ｂを高精度に算出できず、カメラ物標ＣＴの矩形領域Ｂの底部座標Ｇを高さ０の地面に一致させず、カメラ物標ＣＴの概算距離を高精度に算出することができない。そして、不図示の物標統合部は、カメラ物標ＣＴとレーダ物標ＲＴとを高精度に同一物標に統合できず、物標の未検知又は誤検知を防止することができない。

【0013】

そこで、前記課題を解決するために、本開示は、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ画像とレーダ情報とを高精度に統合し、人間等の物標を検知することを目的とする。

【課題を解決するための手段】

【0014】

前記課題を解決するために、カメラ物標の各時刻での概算距離及びレーダ物標の各時刻での距離に基づかず、カメラ物標の各時刻での方位及びレーダ物標の各時刻での方位に基づいて、カメラ物標とレーダ物標とを同一物標に統合することとした。ここで、複数物標の各時刻での方位が同一である可能性があるが、複数物標の方位の時間変化が相違する可能性が高い。そこで、カメラ物標の方位の時間変化及びレーダ物標の方位の時間変化にさらに基づいて、カメラ物標とレーダ物標とを同一物標に統合することとした。

【0015】

具体的には、本開示は、カメラ画像とレーダ情報とを統合し、物標を検知する物標検知装置であって、前記カメラ画像において、カメラ物標を属性情報とともに検知し、前記カメラ物標の画素座標に基づいて、前記カメラ物標の各時刻での方位及び前記カメラ物標の各時刻を含む所定期間内での方位の時間変化を算出するカメラ物標検知部と、前記レーダ情報において、レーダ物標をクラスタとして検知し、前記レーダ物標のレーダ反射方位に基づいて、前記レーダ物標の各時刻での方位及び前記レーダ物標の各時刻を含む前記所定期間内での方位の時間変化を算出するレーダ物標検知部と、前記カメラ物標の各時刻での方位及び前記カメラ物標の方位の時間変化と、前記レーダ物標の各時刻での方位及び前記レーダ物標の方位の時間変化と、の一致に基づいて、前記カメラ物標と前記レーダ物標とを同一物標に統合する物標統合部と、を備えることを特徴とする物標検知装置である。

【0016】

この構成によれば、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ物標の概算距離を算出することなく、カメラ画像とレーダ情報とを高精度に統合することができる。

【0017】

また、本開示は、前記カメラ物標検知部は、前記カメラ物標同士が同一方位に位置すると想定される期間より長い前記所定期間内において、前記カメラ物標の方位の時間変化を算出し、前記レーダ物標検知部は、前記レーダ物標同士が同一方位に位置すると想定される期間より長い前記所定期間内において、前記レーダ物標の方位の時間変化を算出することを特徴とする物標検知装置である。

【0018】

この構成によれば、複数物標の各時刻での方位が同一である期間が長くても、複数物標の方位の時間変化が相違する可能性が高くなり、複数物標を異なる物標として分離できるため、カメラ画像とレーダ情報とを高精度に統合することができる。

【0019】

また、本開示は、前記レーダ物標検知部は、前記レーダ物標の距離が遠い／近いほど長く／短く設定される前記所定期間内において、前記レーダ物標の方位の時間変化を算出し、前記カメラ物標検知部は、前記レーダ物標の距離が遠い／近いほど長く／短く設定される前記所定期間内において、前記カメラ物標の方位の時間変化を算出することを特徴とする物標検知装置である。

【0020】

この構成によれば、検知対象距離が遠いために方位時間変化が小さくても、複数物標の方位の時間変化が相違する可能性が高くなり、複数物標を異なる物標として分離できるため、カメラ画像とレーダ情報とを高精度に統合することができる。

【0021】

また、本開示は、前記レーダ物標検知部は、前記レーダ物標の各時刻での方位について、ノイズを低減可能であるとともに、時間変化を追従可能であるように、平滑化処理を実行することを特徴とする物標検知装置である。

【0022】

この構成によれば、レーダ物標の代表座標がノイズを含んでも、レーダ物標の各時刻での方位を平滑化でき、カメラ画像とレーダ情報とを高精度に統合することができる。

【0023】

前記課題を解決するために、カメラ物標の底部座標ではなく、カメラ物標の深度推定に基づいて、カメラ物標の概算距離を算出することとした。ここで、カメラ物標の深度推定では、カメラ物標の底部座標を考慮するのみならず、カメラ物標を構成する全ての画素情報（画素座標又は画素輝度等）を考慮するため、カメラ物標の概算距離を算出するための情報量が増加する。

【0024】

また、本開示は、前記カメラ物標検知部は、前記カメラ物標の各時刻での方位に加えて、前記カメラ物標の深度推定に基づいて、前記カメラ物標の各時刻での概算距離を算出し、前記レーダ物標検知部は、前記レーダ物標の各時刻での方位に加えて、前記レーダ物標のレーダ反射時間に基づいて、前記レーダ物標の各時刻での距離を算出し、前記物標統合部は、前記カメラ物標の各時刻での方位及び前記カメラ物標の各時刻での概算距離と、前記レーダ物標の各時刻での方位及び前記レーダ物標の各時刻での距離と、の一致に基づいて、前記カメラ物標と前記レーダ物標とを同一物標に統合することを特徴とする物標検知装置である。

【0025】

この構成によれば、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。そして、カメラ装置が障害物等に隠されていても、カメラ装置及びレーダ装置が設置中心位置を揃えていれば、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。

【0026】

また、本開示は、以上に記載の物標検知装置が備える前記カメラ物標検知部、前記レーダ物標検知部及び前記物標統合部が行なう各処理を、コンピュータに実行させる物標検知プログラムである。

【0027】

この構成によれば、以上に記載の効果を有するプログラムを提供することができる。

【0028】

また、本開示は、以上に記載の物標検知装置と、前記カメラ画像を生成するカメラ装置と、前記レーダ情報を生成するレーダ装置と、を備えることを特徴とする物標検知システムである。

【0029】

この構成によれば、以上に記載の効果を有するシステムを提供することができる。

【0030】

なお、上記各開示の発明は、可能な限り組み合わせることができる。

【発明の効果】

【0031】

このように、本開示は、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ画像とレーダ情報とを高精度に統合し、人間等の物標を検知することができる。

【図面の簡単な説明】

【0032】

【図1】従来技術のカメラ画像とレーダ情報との統合処理を示す図である。

【図2】本開示の物標検知システムの構成を示す図である。

【図3】本開示の物標検知処理の手順を示す図である。

【図4】本開示のカメラ物標の検知処理を示す図である。

【図5】本開示のレーダ物標の検知処理を示す図である。

【図6】本開示のカメラ画像とレーダ情報との統合処理を示す図である。

【図7】本開示のカメラ画像とレーダ情報との統合処理を示す図である。

【図8】本開示のカメラ画像とレーダ情報との統合結果を示す図である。

【図9】本開示の変形例のカメラ物標の検知処理を示す図である。

【発明を実施するための形態】

【0033】

添付の図面を参照して本開示の実施形態を説明する。以下に説明する実施形態は本開示の実施の例であり、本開示は以下の実施形態に制限されるものではない。

【0034】

（本開示の物標検知システムの概要）
本開示の物標検知システムの構成を図２に示す。本開示の物標検知処理の手順を図３に示す。物標検知システムＳは、カメラ装置１、レーダ装置２及び物標検知装置３を備える。物標検知装置３は、カメラ物標検知部３１、レーダ物標検知部３２及び物標統合部３３を備え、図３に示した物標検知プログラムをコンピュータにインストールしている。

【0035】

本開示では、物標検知システムＳの低価格化を図るために、カメラ装置１として単眼カメラを使っており（赤外線カメラ等を使ってもよい。）、レーダ装置２としてミリ波レーダを使っている（ＭＩＭＯレーダ等を使ってもよい。）。変形例として、物標検知システムＳの高性能化を図るために、カメラ装置１としてステレオカメラ又はＴＯＦカメラ等を使ってもよく、レーダ装置２としてＬｉＤＡＲ等を使ってもよい。

【0036】

本開示では、カメラ物標の各時刻での概算距離及びレーダ物標の各時刻での距離に基づかず、カメラ物標の各時刻での方位及びレーダ物標の各時刻での方位に基づいて、カメラ物標とレーダ物標とを同一物標に統合することとした。ここで、複数物標の各時刻での方位が同一である可能性があるが、複数物標の方位の時間変化が相違する可能性が高い。そこで、カメラ物標の方位の時間変化及びレーダ物標の方位の時間変化にさらに基づいて、カメラ物標とレーダ物標とを同一物標に統合することとした。

【0037】

よって、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ物標の概算距離を算出することなく、カメラ画像とレーダ情報とを高精度に統合することができる。以下に、カメラ物標検知部３１、レーダ物標検知部３２及び物標統合部３３の処理を具体的に説明する。

【0038】

（本開示のカメラ物標及びレーダ物標の検知処理）
まず、本開示のカメラ物標の検知処理について説明する。本開示のカメラ物標の検知処理を図４に示す。図４では、人間Ｐ１、Ｐ２が存在しており、人間Ｐ１の手前に障害物Ｏが存在しているが、人間Ｐ２の手前に障害物Ｏが存在していない。

【0039】

カメラ物標検知部３１は、カメラ画像Ｃにおいて、カメラ物標を属性情報とともに検知する（ステップＳ１）。図４では、カメラ物標検知部３１は、人間Ｐ１、Ｐ２の矩形領域Ｂ１、Ｂ２を算出し、矩形領域Ｂ１、Ｂ２の属性情報確度を算出する。

【0040】

カメラ物標検知部３１は、カメラ画像Ｃにおいて、カメラ物標の画素座標に基づいて、カメラ物標の各時刻での方位を算出する（ステップＳ２）。図４では、カメラ物標検知部３１は、以下の数式に基づいて、矩形領域Ｂ１、Ｂ２の方位θ_１、θ_２を算出する：矩形領域Ｂ１、Ｂ２の方位θ_１、θ_２＝（矩形領域Ｂ１、Ｂ２の中心画素座標－カメラ画像Ｃの中心画素座標）×カメラ装置１の全画角範囲／カメラ画像Ｃの全画素個数。

【0041】

カメラ物標検知部３１は、カメラ画像Ｃにおいて、カメラ物標の各時刻での方位に基づいて、カメラ物標の各時刻を含む所定期間内での方位の時間変化を算出する（ステップＳ３）。各時刻を含む所定期間については、図６、７を用いて説明する。

【0042】

次に、本開示のレーダ物標の検知処理について説明する。本開示のレーダ物標の検知処理を図５に示す。図５では、人間又は障害物等として、レーダ物標ＲＴ１、ＲＴ２、ＲＴ３、ＲＴ４が存在している。

【0043】

レーダ物標検知部３２は、レーダ情報Ｒにおいて、レーダ物標をクラスタとして検知する（ステップＳ４）。図５では、レーダ物標検知部３２は、レーダ物標ＲＴ１、ＲＴ２、ＲＴ３、ＲＴ４を検知し、物標検知システムＳの周辺の監視領域Ｍとの位置関係を検知する。

【0044】

レーダ物標検知部３２は、レーダ情報Ｒにおいて、レーダ物標のレーダ反射方位に基づいて、レーダ物標の各時刻での方位（位相モノパルス方式等）を算出する（ステップＳ５）。レーダ物標検知部３２は、レーダ情報Ｒにおいて、レーダ物標のレーダ反射時間に基づいて、レーダ物標の各時刻での距離（＝レーダ反射時間×光速／２）を算出してもよい。

【0045】

レーダ物標検知部３２は、レーダ情報Ｒにおいて、レーダ物標の各時刻での方位に基づいて、レーダ物標の各時刻を含む所定期間内での方位の時間変化を算出する（ステップＳ６）。各時刻を含む所定期間については、図６、７を用いて説明する。

【0046】

レーダ物標検知部３２は、レーダ物標の各時刻での方位について、時間変化のデータ欠損をなくすように、複数フレームのレーダ情報Ｒの重畳処理を実行する。レーダ物標検知部３２は、レーダ物標の各時刻での方位について、ノイズを低減可能であるとともに、時間変化を追従可能であるように、複数フレームのレーダ情報Ｒの平滑化処理を実行する。

【0047】

よって、レーダ物標の代表座標がノイズを含んでも、レーダ物標の各時刻での方位を平滑化でき、カメラ画像とレーダ情報とを高精度に統合することができる。ただし、カメラ物標の代表画素座標がノイズを含んでも、カメラ物標が近距離物標であり、座標ノイズが１画素程度であれば、カメラ物標の各時刻での方位を平滑化する必要はない。

【0048】

（本開示のカメラ画像とレーダ情報との統合処理）
本開示のカメラ画像とレーダ情報との統合処理を図６に示す。図６では、検知対象である人間が１人横切っており、非検知対象である障害物が１個手前に存在している。

【0049】

物標統合部３３は、統合結果Ｉにおいて、カメラ物標の各時刻での方位及びカメラ物標の方位の時間変化と、レーダ物標の各時刻での方位及びレーダ物標の方位の時間変化と、の一致に基づいて、カメラ物標とレーダ物標とを同一物標に統合し、物標検知システムＳの周辺の監視領域Ｍとの位置関係を表示する（ステップＳ７）。

【0050】

ここで、カメラ物標検知部３１は、カメラ物標同士が同一方位に位置すると想定される期間より長い所定期間内において、カメラ物標の方位の時間変化を算出する（ステップＳ３）。そして、レーダ物標検知部３２は、レーダ物標同士が同一方位に位置すると想定される期間より長い所定期間内において、レーダ物標の方位の時間変化を算出する（ステップＳ６）。具体的には、所定期間は、人間が障害物を横切る期間より長めの期間である。

【0051】

図６では、カメラ物標検知部３１は、カメラ検知結果Ｃにおいて、カメラ方位情報ＣＤ１（時刻ｔ_１での人間）、ＣＤ２（時刻ｔ_２での人間及び時刻ｔ_１～ｔ_３での障害物）、ＣＤ３（時刻ｔ_３での人間）を検知する。そして、レーダ物標検知部３２は、レーダ情報Ｒにおいて、レーダ物標ＲＴ１（時刻ｔ_１での人間）、ＲＴ２（時刻ｔ_２での人間）、ＲＴ３（時刻ｔ_３での人間）、ＲＴ４（時刻ｔ_１～ｔ_３での障害物）の方位を検知する。

【0052】

しかし、図６の上段の比較例では、カメラ物標検知部３１は、カメラ検知結果Ｃにおいて、カメラ方位情報ＣＤ１～ＣＤ３（時刻ｔ_１～ｔ_３での人間）の時間変化Δθ_１≠０を算出せず、カメラ方位情報ＣＤ２（時刻ｔ_１～ｔ_３での障害物）の時間変化Δθ_２＝０を算出しない。そして、レーダ物標検知部３２は、レーダ情報Ｒにおいて、レーダ物標ＲＴ１～ＲＴ３（時刻ｔ_１～ｔ_３での人間）の方位の時間変化Δθ_１≠０を算出せず、レーダ物標ＲＴ４（時刻ｔ_１～ｔ_３での障害物）の方位の時間変化Δθ_２＝０を算出しない。

【0053】

すると、図６の上段の比較例では、物標統合部３３は、統合結果Ｉにおいて、カメラ方位情報ＣＤ１～ＣＤ３と、レーダ物標ＲＴ１、ＲＴ４、ＲＴ３の方位と、の一致に基づいて、当該カメラ物標とレーダ物標ＲＴ１、ＲＴ４、ＲＴ３とを同一の統合物標ＩＴ１、ＩＴ４、ＩＴ３（人間）に誤って統合する。そして、物標統合部３３は、統合結果Ｉにおいて、カメラ方位情報ＣＤ２と、レーダ物標ＲＴ２の方位と、の一致に基づいて、当該カメラ物標とレーダ物標ＲＴ２とを同一の統合物標ＩＴ２（障害物）に誤って統合する。

【0054】

一方で、図６の下段の本開示では、カメラ物標検知部３１は、カメラ検知結果Ｃにおいて、カメラ方位情報ＣＤ１～ＣＤ３（時刻ｔ_１～ｔ_３での人間）の時間変化Δθ_１≠０を算出し、カメラ方位情報ＣＤ２（時刻ｔ_１～ｔ_３での障害物）の時間変化Δθ_２＝０を算出する。そして、レーダ物標検知部３２は、レーダ情報Ｒにおいて、レーダ物標ＲＴ１～ＲＴ３（時刻ｔ_１～ｔ_３での人間）の方位の時間変化Δθ_１≠０を算出し、レーダ物標ＲＴ４（時刻ｔ_１～ｔ_３での障害物）の方位の時間変化Δθ_２＝０を算出する。

【0055】

すると、図６の下段の本開示では、物標統合部３３は、統合結果Ｉにおいて、カメラ方位情報ＣＤ１～ＣＤ３及びその時間変化Δθ_１≠０と、レーダ物標ＲＴ１～ＲＴ３の方位及びその時間変化Δθ_１≠０と、の一致に基づいて、当該カメラ物標とレーダ物標ＲＴ１～ＲＴ３とを同一の統合物標ＩＴ１～ＩＴ３（人間）に正しく統合する。そして、物標統合部３３は、統合結果Ｉにおいて、カメラ方位情報ＣＤ２及びその時間変化Δθ_２＝０と、レーダ物標ＲＴ４及びその時間変化Δθ_２＝０の方位と、の一致に基づいて、当該カメラ物標とレーダ物標ＲＴ４とを同一の統合物標ＩＴ４（障害物）に正しく統合する。

【0056】

よって、複数物標の各時刻での方位が同一である期間（時刻ｔ_２）が長くても、複数物標の方位の時間変化（時刻ｔ_１～ｔ_３）が相違する可能性が高くなり、複数物標を異なる物標として分離できるため、カメラ画像とレーダ情報とを高精度に統合することができる。

【0057】

本開示のカメラ画像とレーダ情報との統合処理を図７にも示す。図７では、検知対象である人間が１人横切っており、非検知対象である障害物が１個手前に存在している。図７の上段／下段では、検知対象である人間が近い／遠い距離に存在している。

【0058】

そこで、レーダ物標検知部３２は、レーダ物標の距離が遠い／近いほど長く／短く設定される所定期間内において、レーダ物標の方位の時間変化を算出する（ステップＳ６）。そして、カメラ物標検知部３１は、レーダ物標の距離が遠い／近いほど長く／短く設定される所定期間内において、カメラ物標の方位の時間変化を算出する（ステップＳ３）。

【0059】

つまり、検知対象である人間が近い／遠い距離に存在しているときには、人間の歩行速度を一定速度として、人間の方位の時間変化が大きく／小さくなり、人間が障害物を横切る期間が短めの／長めの時間となり、所定期間が短めに／長めに設定される。

【0060】

すると、図７の上段では、物標統合部３３は、統合結果Ｉにおいて、カメラ方位情報ＣＤ１～ＣＤ３及びその時間変化Δθ_１≠０と、レーダ物標ＲＴ１～ＲＴ３の方位及びその時間変化Δθ_１≠０と、の一致に基づいて、当該カメラ物標とレーダ物標ＲＴ１～ＲＴ３とを同一の統合物標ＩＴ１～ＩＴ３（人間）に正しく統合する。そして、物標統合部３３は、統合結果Ｉにおいて、カメラ方位情報ＣＤ２及びその時間変化Δθ_２＝０と、レーダ物標ＲＴ４及びその時間変化Δθ_２＝０の方位と、の一致に基づいて、当該カメラ物標とレーダ物標ＲＴ４とを同一の統合物標ＩＴ４（障害物）に正しく統合する。

【0061】

一方で、図７の下段では、物標統合部３３は、統合結果Ｉにおいて、カメラ方位情報ＣＤ１～ＣＤ５及びその時間変化Δθ_１≠０と、レーダ物標ＲＴ１～ＲＴ５の方位及びその時間変化Δθ_１≠０と、の一致に基づいて、当該カメラ物標とレーダ物標ＲＴ１～ＲＴ５とを同一の統合物標ＩＴ１～ＩＴ５（人間）に正しく統合する。そして、物標統合部３３は、統合結果Ｉにおいて、カメラ方位情報ＣＤ３及びその時間変化Δθ_２＝０と、レーダ物標ＲＴ６及びその時間変化Δθ_２＝０の方位と、の一致に基づいて、当該カメラ物標とレーダ物標ＲＴ６とを同一の統合物標ＩＴ６（障害物）に正しく統合する。

【0062】

よって、検知対象距離が遠いために方位時間変化が小さくても（歩行速度一定）、複数物標の方位の時間変化（時刻ｔ_１～ｔ_５）が相違する可能性が高くなり、複数物標を異なる物標として分離できるため、カメラ画像とレーダ情報とを高精度に統合することができる。

【0063】

本開示のカメラ画像とレーダ情報との統合結果を図８に示す。図８では、検知対象である人間が、方位を周期的に変動させ、方位をときどき停止させる。

【0064】

図８の上段では、カメラ物標の各時刻での推定方位と、レーダ物標の各時刻での推定方位（平滑化処理後）と、を示す。図８の下段では、カメラ物標の各時刻フレームの前後フレーム間での、最小方位と最大方位との間の差分絶対値と、レーダ物標の各時刻フレームの前後フレーム間での、最小方位と最大方位との間の差分絶対値と、を示す。

【0065】

すると、カメラ物標の各時刻での推定方位と、レーダ物標の各時刻での推定方位（平滑化処理後）とは、ほぼ一致している。そして、カメラ物標の最小方位と最大方位との間の差分絶対値と、レーダ物標の最小方位と最大方位との間の差分絶対値とは、ほぼ一致している。よって、カメラ画像とレーダ情報とを高精度に統合することができる。

【0066】

ただし、検知対象である人間が、非検知対象である障害物と比べて、大きさや反射強度が小さいことがあり、或いは、同一方向に長時間もあることもある。すると、人間（レーダ物標又はカメラ物標）の方位の時間変化のデータ欠損が生じることがあり、よって、カメラ画像とレーダ情報とを高精度に統合することができないこともある。

【0067】

（本開示の変形例のカメラ物標の検知処理）
本開示の変形例のカメラ物標の検知処理を図９に示す。図９では、人間Ｐ１、Ｐ２が存在しており、人間Ｐ１の手前に障害物Ｏが存在しているが、人間Ｐ２の手前に障害物Ｏが存在していない。そして、カメラ物標の底部座標ではなく、カメラ物標の深度推定に基づいて、カメラ物標の概算距離を算出することとした。ここで、カメラ物標の深度推定では、カメラ物標の底部座標を考慮するのみならず、カメラ物標を構成する全ての画素情報（画素座標又は画素輝度等）を考慮するため、カメラ物標の概算距離を算出するための情報量が増加する。

【0068】

カメラ物標検知部３１は、カメラ物標の各時刻での方位に加えて、カメラ物標の深度推定に基づいて、カメラ物標の各時刻での概算距離を算出する（ステップＳ２）。

【0069】

レーダ物標検知部３２は、レーダ物標の各時刻での方位に加えて、レーダ物標のレーダ反射時間に基づいて、レーダ物標の各時刻での距離を算出する（ステップＳ５）。

【0070】

物標統合部３３は、カメラ物標の各時刻での方位及びカメラ物標の各時刻での概算距離と、レーダ物標の各時刻での方位及びレーダ物標の各時刻での距離と、の一致に基づいて、カメラ物標とレーダ物標とを同一物標に統合する（ステップＳ７）。

【0071】

図９では、カメラ物標検知部３１は、カメラ画像Ｃを入力し、カメラ物標の概算距離を出力する深度推定ＡＩを用いて、カメラ物標の概算距離を算出する（ステップＳ２）。

【0072】

図９に示していないが、カメラ物標検知部３１は、カメラ装置１の焦点距離、カメラ装置１の絞り値、カメラ画像Ｃの領域毎のボケ程度、カメラ物標の大きさ及びカメラ物標の周辺環境に基づいて、第一原理計算を用いて、カメラ物標の概算距離を算出してもよい。

【0073】

図９に示したように、人間等の物標が障害物等に隠れており、又は、人間等の物標が地面等に接触しておらず、又は、地面等が傾斜面であっても、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。そして、人間等の物標と障害物等との間の位置関係が時間変化しても、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。さらに、カメラ装置１が障害物等に隠されていても、カメラ装置１及びレーダ装置２が設置中心位置を揃えていれば、カメラ物標の概算距離を高精度に算出でき、カメラ画像とレーダ情報とを高精度に統合することができる。

【産業上の利用可能性】

【0074】

本開示の物標検知装置、物標検知プログラム及び物標検知システムは、自動車、農機、建機又はロボット等において、（１）周辺の人間又は障害物等を監視したうえで、周辺の人間又は障害物等と衝突しないような、人間又は障害物等の物標を検知する技術と、（２）周辺の人間等を特別に警告するために、周辺の障害物等をあえて注意しないような、人間又は障害物等の物標を識別する技術と、を提供することができる。

【符号の説明】

【0075】

Ｃ：カメラ画像、カメラ検知結果
Ｐ、Ｐ１、Ｐ２：人間
Ｏ：障害物
Ｂ、Ｂ１、Ｂ２：矩形領域
Ｇ：底部座標
ＣＴ：カメラ物標
ＣＤ１～ＣＤ５：カメラ方位情報
Ｄ：深度推定結果
Ｒ：レーダ情報
ＲＴ、ＲＴ１～ＲＴ６：レーダ物標
Ｉ：統合結果
ＩＴ１～ＩＴ６：統合物標
Ｍ：監視領域
Ｓ：物標検知システム
１：カメラ装置
２：レーダ装置
３：物標検知装置
３１：カメラ物標検知部
３２：レーダ物標検知部
３３：物標統合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】