特許 7461160 ３次元情報推定システム、３次元情報推定方法、及びコンピュータが実行可能なプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-26

(45)【発行日】2024-04-03

(54)【発明の名称】３次元情報推定システム、３次元情報推定方法、及びコンピュータが実行可能なプログラム

(51)【国際特許分類】

   G01S 13/86 20060101AFI20240327BHJP

【ＦＩ】

G01S13/86

【請求項の数】 7

(21)【出願番号】P 2020028737

(22)【出願日】2020-02-21

(65)【公開番号】P2021135061

(43)【公開日】2021-09-13

【審査請求日】2023-02-13

(73)【特許権者】

【識別番号】318006365

【氏名又は名称】ＪＲＣモビリティ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】星 将広

(72)【発明者】

【氏名】時枝 幸伸

【審査官】山下 雅人

(56)【参考文献】

【文献】特開２０１９－２１１４０３（ＪＰ，Ａ）

【文献】特開２０１６－１５３７７５（ＪＰ，Ａ）

【文献】特開２０１６－１７６７３６（ＪＰ，Ａ）

【文献】特開平０９－２６４９５４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０２９２４６８（ＵＳ，Ａ１）

【文献】国際公開第２０１４／１９５９９４（ＷＯ，Ａ１）

【文献】国際公開第２０１６／２０８３１８（ＷＯ，Ａ１）

【文献】特開２０１３－００２９２７（ＪＰ，Ａ）

【文献】特開２０１５－１０５８３６（ＪＰ，Ａ）

【文献】特開２０１４－１５３８７４（ＪＰ，Ａ）

【文献】特開２００５－０７１２０４（ＪＰ，Ａ）

【文献】特開２００６－０４７０５７（ＪＰ，Ａ）

【文献】特開２０１９－１５８６９２（ＪＰ，Ａ）

【文献】特開２００７－２６３９８６（ＪＰ，Ａ）

【文献】特開平０２－０６１５８１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１２０８４２（ＵＳ，Ａ１）

【文献】国際公開第２００５／０２６７６９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００－ ７／４２

Ｇ０１Ｓ １３／００－１３／９５

Ｇ０８Ｇ １／００－９９／００

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得するレーダと、
周辺を撮像して画像情報を取得するカメラと、
前記カメラから出力される画像情報の輪郭情報を抽出する輪郭情報抽出手段と、
前記レーダから出力されるレーダ信号について、各方位の最高強度点をサーチし、前記カメラから出力される画像情報上にレーダ信号をプロットする場合は、各レーダ信号はそれぞれの反射距離における高さゼロからの反射信号であると仮定して、物標が路面と接地している画像情報上の点にレーダ信号の各方位の最高強度点をプロットすることにより、前記カメラから出力される画像情報上での最近傍反射点を検出する物標検出手段と、
各方位の最近傍反射点を極座標系データ（ｒ、θ）から直交座標系データ（Ｘ，Ｙ）に変換し、各方位の距離情報を同方位の画像の輪郭情報に付与する距離情報付与手段と、
算出した各方位の画像の輪郭成分までの距離における画像の解像度（ｍ／ｐｉｘ）を計算し、解像度の情報を用いて高さ情報を計算し、前記画像情報の輪郭情報に高さ情報を付与する高さ情報付与手段と、
前記輪郭情報、前記距離情報及び前記高さ情報に従って３次元情報を推定する３次元情報推定手段と、
を備えたことを特徴とする３次元情報推定システム。

【請求項2】

前記カメラは、単眼カメラであることを特徴とする請求項１に記載の３次元情報推定システム。

【請求項3】

前記距離情報付与手段は、前記最近傍反射点について、隣り合う方位ビン間の距離情報は線形的に変化するものと仮定して、不足する方位の距離情報を補間することを特徴とする請求項１又は請求項２に記載の３次元情報推定システム。

【請求項4】

前記物標検出手段は、
前記レーダから出力されるレーダ信号について、各方位をサーチして、各方位における
最高強度点を決定し、
前記カメラから出力される画像情報上に各方位における前記最高強度点をプロットし、画像情報上の各最高強度点の近傍の輝度特性値を算出し、
算出された前記輝度特性値に基づいて、画像情報上の各最高強度点が実像か偽像かを判定して、実像と判定した場合には、当該最高強度点を前記最近傍反射点とし、
偽像と判定した場合には、当該方位の次に強度の高い信号点を取得し、実像と判定されるまで、処理を繰り返し、対象の信号がなくなった場合は、当該方位の実像なしと判断することを特徴とする請求項１～請求項３のいずれか１つに記載の３次元情報推定システム。

【請求項5】

前記レーダは、ミリ波レーダであることを特徴とする請求項１～請求項４のいずれか１つに記載の３次元情報推定システム。

【請求項6】

レーダが、周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得する工程と、
カメラが、周辺を撮像して画像情報を取得する工程と、
前記カメラから出力される画像情報の輪郭情報を抽出する工程と、
前記レーダから出力されるレーダ信号について、各方位の最高強度点をサーチし、前記カメラから出力される画像情報上にレーダ信号をプロットする場合は、各レーダ信号はそれぞれの反射距離における高さゼロからの反射信号であると仮定して、物標が路面と接地している画像情報上の点にレーダ信号の各方位の最高強度点をプロットすることにより、前記カメラから出力される画像情報上での最近傍反射点を検出する工程と、
各方位の最近傍反射点を極座標系データ（ｒ、θ）から直交座標系データ（Ｘ，Ｙ）に変換し、各方位の距離情報を同方位の画像の輪郭情報に付与する工程と、
算出した各方位の画像の輪郭成分までの距離における画像の解像度（ｍ／ｐｉｘ）を計算し、解像度の情報を用いて高さ情報を計算し、前記画像情報の輪郭情報に高さ情報を付与する工程と、
前記輪郭情報、前記距離情報及び前記高さ情報に従って３次元情報を推定する工程と、
を含むことを特徴とする３次元情報推定方法。

【請求項7】

コンピュータを、
周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得するレーダから出力されるレーダ信号について、各方位の最高強度点をサーチし、周辺を撮像して画像情報を取得するカメラから出力される画像情報上にレーダ信号をプロットする場合は、各レーダ信号はそれぞれの反射距離における高さゼロからの反射信号であると仮定して、物標が路面と接地している画像情報上の点にレーダ信号の各方位の最高強度点をプロットすることにより、前記カメラから出力される画像情報上での最近傍反射点を検出する物標検出手段と、
各方位の最近傍反射点を極座標系データ（ｒ、θ）から直交座標系データ（Ｘ，Ｙ）に変換し、各方位の距離情報を同方位の画像の輪郭情報に付与する距離情報付与手段と、
算出した各方位の画像の輪郭成分までの距離における画像の解像度（ｍ／ｐｉｘ）を計算し、解像度の情報を用いて高さ情報を計算し、前記画像情報の輪郭情報に高さ情報を付与する高さ情報付与手段と、
前記輪郭情報、前記距離情報及び前記高さ情報に従って３次元情報を推定する３次元情報推定手段と、
して機能させるためのコンピュータが実行可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元情報推定システム、３次元情報推定方法、及びコンピュータが実行可能なプログラムに関する。

【背景技術】

【0002】

従来、３次元情報の推定では、ステレオカメラ単体で左右の画像の視差を利用する技術やＬｉＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）を用いて計測する技術が提案されている。上述のステレオカメラやＬｉＤＡＲを用いた場合は、センサ自体が高額であるため、システムが高コストとなる。

【0003】

他方、近時、ミリ波レーダと単眼カメラを用いた周辺環境認識技術の研究が盛んに行われているが、動態のみをターゲットにした研究が多く、構造物の３次元情報を正確に認識する方法は提案されていない。安価なレーダと単眼カメラを用いて構造物の３次元情報が推定できれば、コストの面で優位となる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－２８６９２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上記に鑑みてなされたものであって、構造物の３次元情報を低コストな構成で推定することが可能な３次元情報推定システム、３次元情報推定方法、及びコンピュータが実行可能なプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明は、周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得するレーダと、周辺を撮像して画像情報を取得するカメラと、前記カメラから出力される画像情報の輪郭情報を抽出する輪郭情報抽出手段と、前記レーダから出力されるレーダ信号について、各方位の最高強度点をサーチして、前記カメラから出力される画像情報上での最近傍反射点を検出する物標検出手段と、各方位の最近傍反射点の距離情報を同方位の前記画像情報の輪郭情報に付与する距離情報付与手段と、前記画像情報の輪郭情報に高さ情報を付与する高さ情報付与部と、前記輪郭情報、前記距離情報及び前記高さ情報に従って３次元情報を推定する３次元情報推定手段と、を備えたことを特徴とする。

【0007】

また、本発明の一態様によれば、前記カメラは、単眼カメラであることにしてもよい。

【0008】

また、本発明の一態様によれば、前記距離情報付与手段は、前記最近傍反射点について、隣り合う方位ビン間の距離情報は線形的に変化するものと仮定して、不足する方位の距離情報を補間することにしてもよい。

【0009】

また、本発明の一態様によれば、前記物標検出手段は、前記レーダから出力されるレーダ信号について、各方位をサーチして、各方位における最高強度点を決定し、前記カメラから出力される画像情報上に各方位における前記最高強度点をプロットし、画像情報上の各最高強度点の近傍の輝度特性値を算出し、算出された前記輝度特性値に基づいて、画像情報上の各最高強度点が実像か偽像かを判定して、実像と判定した場合には、当該最高強度点を前記最近傍反射点とし、偽像と判定した場合には、当該方位の次に強度の高い信号点を取得し、実像と判定されるまで、処理を繰り返し、対象の信号がなくなった場合は、当該方位の実像なしと判断することにしてもよい。

【0010】

また、本発明の一態様によれば、前記レーダは、ミリ波レーダであることにしてもよい。

【0011】

また、上述した課題を解決し、目的を達成するために、本発明は、レーダが、周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得する工程と、カメラが、周辺を撮像して画像情報を取得する工程と、前記カメラから出力される画像情報の輪郭情報を抽出する工程と、前記レーダから出力されるレーダ信号について、各方位の最高強度点をサーチして、前記カメラから出力される画像情報上での最近傍反射点を検出する工程と、各方位の最近傍反射点の距離情報を同方位の前記画像情報の輪郭情報に付与する工程と、前記画像情報の輪郭情報に高さ情報を付与する工程と、前記輪郭情報、前記距離情報及び前記高さ情報に従って３次元情報を推定する工程と、を含むことを特徴とする。

【0012】

また、上述した課題を解決し、目的を達成するために、本発明は、コンピュータを、周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得するレーダから出力されるレーダ信号について、各方位の最高強度点をサーチして、周辺を撮像して画像情報を取得するカメラから出力される画像情報上での最近傍反射点を検出する前記物標検出手段と、前記カメラから出力される画像情報の輪郭情報を抽出する輪郭情報抽出手段と、各方位の最近傍反射点の距離情報を同方位の前記画像情報の輪郭情報に付与する輪郭情報付与手段と、前記画像情報の輪郭情報に高さ情報を付与する高さ情報付与手段と、前記輪郭情報、前記距離情報及び前記高さ情報に従って３次元情報を推定する３次元情報推定手段と、して機能させるためのコンピュータが実行可能なプログラムであることを特徴とする。

【発明の効果】

【0013】

本発明によれば、構造物の３次元情報を低コストな構成で推定することが可能になるという効果を奏する。

【図面の簡単な説明】

【0014】

【図1】図１は、本実施の形態に係る３次元情報推定システムの概略の構成例を示す図である。

【図2】図２は、本実施の形態に係る３次元情報システムの概略の動作を示すフローの一例を示す図である。

【図3】図３は、解像度の計算方法を説明するための図である。

【図4】図４は、カメラで撮像した画像にレーダ信号の最近傍の反射点と輝度分散値をプロットした例を示す図である。

【図5】図５は、解析に使用する信号と除外する信号を説明するための図である。

【図6】図６は、画像の輪郭情報と距離情報の紐付けを説明するための図である。

【図7】図７は、作成した３次元マップの一例を示す図である（第１のアングル）。

【図8】図８は、作成した３次元マップの一例を示す図である（第２のアングル）。

【図9】図９は、作成した３次元マップの一例を示す図である（第３のアングル）。

【図10】図１０は、作成した３次元マップの一例を示す図である（第４のアングル）。

【発明を実施するための形態】

【0015】

以下に、この発明にかかる３次元情報推定システム、３次元情報推定方法、及びコンピュータが実行可能なプログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、下記実施の形態における構成要素には、当業者が容易に想定できるものまたは実質的に同一のものが含まれる。本発明の構成要素は、本明細書の図面に一般に示してあるが、様々な構成で広く多様に配置して設計してもよいことは容易に理解できる。したがって、本発明のシステム及び装置の実施形態についての以下のより詳細な説明は、特許請求の範囲に示す本発明の範囲を限定するものではなく、単に本発明の選択した実施形態の一例を示すものである。本明細書は、参照により公知技術が組み込まれる。そのため、当業者は、公知技術を援用することで、特定の細目の１つ以上が無くても、または他の方法、部品、材料でも本発明を実現できることが理解できる。

【0016】

［１．本発明の原理］
本発明では、構造物の３次元情報を低コストな構成で推定するために、レーダと単眼カメラを使用し、レーダによって得られる距離・方位情報と、単眼カメラで撮像した画像によって得られる方位・高さ情報を用いて、周辺の構造物の３次元情報を推定する方法を提案する。

【0017】

レーダ信号を抽出する際、動態である歩行者や車両の信号と比較して、静態である構造物のレーダ信号は、クラッタや偽像等のノイズ成分の影響を受けやすく、レーダ信号の選別が困難になる。そこで、本発明では、所望の構造物信号を抽出する手法として、画像情報を用いることでレーダ信号のクラッタ成分を抑圧する。

【0018】

具体的には、レーダ信号により検知した偽像位置と同位置の画像上には不要な成分が写り込む可能性が低いという性質を利用して、検出した各方位のレーダ信号を画像上にプロットすることで、各信号が物標からの信号か否かを判別する。より具体的には、撮像した画像上にレーダ信号をプロットする場合は、各レーダ信号はそれぞれの反射距離における高さゼロからの反射信号であると仮定して、物標が路面と接地している画像上の点にレーダ信号をプロットする。画像上にプロットした各レーダ信号付近で画像の輝度分散値を取得し、取得した輝度分散値から各レーダ信号が実像であるか偽像であるかを分類する。レーダ信号が実像である場合は、画像上で物標と路面の切り替わり部分の輝度を評価することになるので、輝度分散値が大きい傾向となる。他方、偽像のレーダ信号をプロットしても画像上では何もない路面部分の輝度評価をする確率が高まるため、輝度分散値が小さい傾向となる。このように、各レーダ信号に紐づく画像上の輝度分散値を評価することで、実像と偽像を区別することが可能となる。このようにして、各方位毎に最も近傍にある物体までの距離を精度よく得ることができる。

【0019】

この際、物体が存在しない方位については信号を検出しない（除外する）。信号を検出した方位の距離情報を用いて、各方位における構造物の３次元情報を算出する。

【0020】

このように、本発明では、画像は水平軸に方位情報を持つ特性があるため、水平座標が同じであれば同方位の物体であると見なすことができる点に着目した。画像の方位情報とレーダの方位情報を統合し、レーダで信号を検出した方位の信号距離を、同方位の画像の輪郭情報に紐付する。これにより、一定の方位の画像情報に対して距離情報を付与することが可能となる。

【0021】

但し、画像の水平角分解能に対して、レーダの水平角分解能は非常に低いため、レーダの各方位ビンの間にあたる方位の距離情報を推定する必要が生じる。そこで、隣り合う方位ビン間の距離情報は線形的に変化するものと仮定し、不足する方位の距離情報を補間する。

【0022】

画像の水平軸（地面）の各画素成分に対して距離情報を付与し、方位に対応する距離毎に解像度を計算する。ここで求めた解像度を用いることで、各方位の輪郭成分のそれぞれの高さ情報を計算する。以上の手法を適用することで、周辺の構造物の３次元情報を推定することが可能となる。

【0023】

また、動態の検出をレーダと単眼カメラで行っているシステムに、本実施の形態の周辺構造物の３次元情報推定の技術を適用した場合、静態の情報が追加されることになるので、従来困難であった自己位置推定まで実現できる可能性がある。ＧＰＳに代表されるＧＮＳＳの発達により、自己位置のみであれば高精度に認識が可能となってきているが、瞬間的に絶対方位を導くことはできない。周辺の構造物との位置関係を正確に把握できれば、観測者の絶対方位を単一の計測で認識することが可能となる。

【0024】

［２．本実施の形態の３次元情報推定システムの構成例及び動作例］
図１～図３を参照して、本実施の形態の３次元情報推定システムの構成例及び動作例を説明する。図１は、本実施の形態に係る３次元情報推定システム１の概略の構成例を示す図である。図２は、本実施の形態に係る３次元情報推定システム１の概略の動作を示すフローの一例を示す図である。

【0025】

図１を参照して、本実施の形態に係る３次元情報推定システム１の構成を説明する。図１に示すように、本実施の形態に係る３次元情報推定システム１は、３次元情報推定装置１０と、レーダ２０と、カメラ３０とを備えている。

【0026】

レーダ２０は、周囲にレーダ波を送信して、対象物によって反射された反射波を受信して、レーダ信号として３次元情報推定装置１０に出力する。レーダ２０は、例えば、ＦＭ－ＣＷ方式のミリ波レーダ（７９ＧＨｚ帯、帯域幅４ＧＨｚ、ＭＩＭＯレーダ（送信アンテナ３個、受信アンテナ６個）であり、検出範囲は、水平角が－７５度～７５度、仰角が－３度～３度である。レーダ２０は、複数の送信アンテナを備える送信器からレーダ波を周囲に送信し、対象物によって反射された反射波を複数の受信アンテナを備える受信器で受信することによって対象物の距離、相対速度、角度、及び信号強度を検知するためのセンサである。

【0027】

レーダ２０から出力されるレーダ信号は、例えば、レーダ２０が備える信号処理回路において反射波が処理された対象物の１または複数の代表位置を示す点または点列からなる信号であっても良く、あるいは、未処理の反射波を示す信号であっても良い。本例では、レーダ２０から出力されるレーダ信号は、上述の信号処理回路において、公知のＦＭ－ＣＷ方式で算出した対象物の距離、方位、及び相対速度、信号強度の情報を含んでいるものとする。なお、未処理の受信波がレーダ信号として用いられる場合には、３次元情報推定装置１０においてこれらの信号処理が実行される。

【0028】

カメラ３０は、周囲を撮像した画像情報を３次元情報推定装置１０に出力する。カメラ３０は、可視光や赤外光を受光することによって対象物の外形情報である画像情報として出力するためのセンサである。カメラ３０は、例えば、単眼カメラであり、例えば、ＣＭＯＳグローバルシャッタセンサ（例えば、有効画素数：１９２０ピクセル×１２００ピクセル，フレームレート：４１．６ｆｐｓ、インターフェース：ＵＳＢ３．０）とメガピクセル対応ＣＣＴＶレンズ（例えば、画角：８６．７１度×６１．４４度、焦点距離６ｍｍ）の組み合わせで構成することができ、例えば、検出範囲は、水平角が－４３．３６度～４３．３６度、仰角が－３０．７２度～３０．７２度である。

【0029】

カメラ３０から出力される画像情報は、時系列的に連続する複数のフレーム画像によって構成されており、各フレーム画像は画素データにより表されている。画素データは、モノクロの画素データまたはカラーの画素データである。

【0030】

３次元情報推定装置１０は、物標検出部１１と、輪郭抽出部１２と、距離情報付与部１３と、高さ情報付与部１４と、３次元情報推定部１５とを備えている。

【0031】

物標検出部１１は、レーダ２０から出力されるレーダ信号について、各方位の最高強度点をサーチして、カメラ３０から出力される画像情報上での最近傍反射点を検出する。物標検出部１１は、動態成分（歩行者等）については、各方位の最近傍反射点として検出しない。

【0032】

物標検出部１１は、例えば、しきい値処理部４０と、ピークサーチ部４１と、プロット部４２と、輝度特性値算出部４３と、実像・偽像判定部４４と、を備えている。

【0033】

しきい値処理部４０は、レーダ２０から出力されるレーダ信号に対して、ＣＦＡＲ等のしきい値処理を施す。ピークサーチ部４１は、しきい値処理後のレーダ信号について、各方位における最高強度点を決定する。実像・偽像判定部４４で、最高強度点が偽像と判定された場合には、当該方位についての次に強度の高い信号点を取得する。

【0034】

プロット部４２は、カメラ３０から出力される画像上にレーダ信号の各方位における最高強度点をプロットする。画像上に最高強度点をプロットする場合は、レーダ信号はそれぞれの反射距離における高さゼロからの反射信号であると仮定して（レーダの仰角が小さいため）、物標が路面と接地している画像上の対応座標を算出して、レーダ信号点（最高強度点）をプロットする。プロット部４２は、ピークサーチ部４１で、当該方位の次に強度の高い信号点が取得された場合には、当該方位における次に強度の高い信号点をプロットする。

【0035】

輝度特性値算出部４３は、画像上の各最高強度点の近傍の輝度特性値（例えば、輝度分散値、輝度勾配）を算出する。輝度特性値算出部４３は、プロット部４２で、当該方位の次に強度の高い信号点がプロットされた場合には、当該次に強度の高い信号点の近傍の輝度特性値を算出する。

【0036】

実像・偽像判定部４４は、輝度特性値に基づいて、画像上の最高強度点が実像か偽像かを判定して、実像の結果を出力する。具体的には、実像・偽像判定部４４は、実像と判定した場合には、当該最高強度点を最近傍の反射点とし、偽像と判定した場合には、当該方位の次に強度の高い信号点を判定し、実像と判定されるまで、処理を繰り返し実行する。但し、対象の信号がなくなった場合は、当該方位の実像なしと判断する。
例えば、輝度特性値がしきい値以上の場合は、最高強度点が実像であると判定し、輝度特性値がしきい値以上でない場合には、当該最高強度点が偽像であると判定することができる。

【0037】

輪郭抽出部１２は、カメラ３０から出力される画像情報の輪郭情報を抽出して、距離情報付与部１３及び高さ情報付与部１４に出力する。

【0038】

距離情報付与部１３は、各方位の距離情報を同方位の画像の輪郭情報に付与する。距離情報付与部１３は、最近傍反射点について、隣り合う方位ビン間の距離情報は線形的に変化するものと仮定して、不足する方位の距離情報を補間することにしてもよい。

【0039】

高さ情報付与部１４は、画像の輪郭情報に高さ情報（Ｚ）を付与する。

【0040】

３次元情報推定部１５は、画像の輪郭情報に、算出した距離情報（Ｘ，Ｙ）及び高さ情報（Ｚ）に従って、３次元プロットして３次元情報を推定（描画）し、３次元マップを出力する。

【0041】

３次元情報推定装置１０は、ＣＰＵ（プロセッサ）、ＤＳＰ、ＲＡＭ、ＲＯＭやフラッシュメモリ等の不揮発性メモリ、Ｉ／Ｏ、モニタ等を搭載している。３次元情報推定装置１０の各機能は、ＣＰＵがＲＯＭまたはフラッシュメモリ等の不揮発メモリに記憶されているプログラムを実行することにより実現される。このプログラムが実行されることにより、プログラムに対応する方法が実行される。

【0042】

ＣＰＵがプログラムを実行することにより、物標検出部１１と、輪郭抽出部１２と、距離情報付与部１３と、高さ情報付与部１４と、３次元情報推定部１５の機能を実現する。

【0043】

３次元情報推定装置１０を構成するこれらの要素を実現する手法は、ソフトウェアに限るものではなく、その一部または全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

【0044】

図２を参照して、図１の３次元情報推定システム１の全体の処理を説明する。

【0045】

図２において、レーダ２０は、周囲にレーダ波を送信して、その反射波を受信してレーダ信号を取得し、３次元情報推定装置１０に出力する（ステップＳ１）。カメラ３０は、周囲を撮像して２次元の画像情報を取得して、３次元情報推定装置１０に出力する（ステップＳ２）。レーダ信号と画像情報のフレームは同期しているものとする。

【0046】

物標検出部１１は、カメラ３０から出力される画像情報とレーダ２０から出力されるレーダ信号に基づいて、レーダ信号の各方位における画像上の最近傍反射点を検出する（ステップＳ３）。物標検出部１１は、動態成分（歩行者等）については、各方位の最近傍反射点として検出しない。具体的には、物標検出部１１は、レーダ２０から出力されるレーダ信号について、各方位をサーチして、各方位における最高強度点を決定し、カメラ３０から出力される画像情報上に各方位における最高強度点をプロットし、画像情報上の各最高強度点の近傍の輝度特性値を算出し、算出された輝度特性値に基づいて、画像情報上の各最高強度点が実像か偽像かを判定して、実像と判定した場合には、当該最高強度点を最近傍の反射点とし、偽像と判定した場合には、当該方位の次に強度の高い信号点を取得し、実像と判定されるまで、処理を繰り返し実行する（各方位の最高強度点が実像と判定されるまで（最近傍の反射点を取得するまで）、同じ処理を繰り返し実行する）。但し、対象の信号がなくなった場合は、当該方位の実像なしと判断する。

【0047】

輪郭抽出部１２は、カメラ３０から出力される画像情報の輪郭情報を抽出する（ステップＳ４）。輪郭抽出部１２は、動態成分（歩行者等）については輪郭情報を抽出しない。画像中の動態成分は公知の方法で検出できるので、その説明は省略する。

【0048】

距離情報付与部１３は、各方位の距離情報を同方位の画像の輪郭情報に付与する（ステップＳ５）。具体的には、例えば、距離情報付与部１３は、各方位の最近傍反射点を極座標系データ（ｒ、θ）から直交座標系データ（Ｘ，Ｙ）に変換し、隣接方位ビンの信号を確認し、隣接信号間を補間した後、各方位の距離情報を同方位の画像の輪郭情報に付与する。ここで、隣接信号間を補間しているのは、画像の水平角分解能に対して、レーダの水平角分解能は非常に粗いため、レーダ信号の各方位ビンの間にあたる方位の距離情報を推定する必要が生じる。そこで、隣り合う方位ビン間の距離情報は線形的に変化するものと仮定し、不足する方位の距離情報を補間する。

【0049】

なお、過去フレーム（例えば、過去５フレーム分）における同方位の距離情報を加味して、各物標までの距離を平滑化することで、測距誤差を抑制することにしてもよい。

【0050】

高さ情報付与部１４は、画像の輪郭情報に高さ情報（Ｚ）を付与する（ステップＳ６）。ここで、高さ情報（Ｚ）の計算方法の一例を説明する。各方位の画像の輪郭成分までの 距離を算出したので、算出した距離における画像の解像度（ｍ／ｐｉｘ）を計算し、解像度の情報を用いて高さ情報を計算する。図３は、解像度の計算方法を説明するための図である。

【0051】

（１）下式（１）により、距離Ｙ（ｍ）における画像の垂直方向解像度を求める。
垂直方向解像度ｖＲｅｓｏ（ｍ／ｐｉｘ）＝Ｙ＊７．１３／６／１２００
・・・（１）
ここで、７．１３（ｍｍ）は、ＣＭＯＳセンササイズ、６（ｍｍ）は、ＣＣＴＶレンズの焦点距離、１２００（ｐｉｘ）は画素数である。

【0052】

（２）下式（２）により、距離Ｙ（ｍ）の路面高さにおける画像上の路面座標を求める。
路面座標ｒＣｏｌ（ｐｉｘ）＝ＣｏｌＣｒｏｓｓ＋（ＣａｍＨｇｔ／ｖＲｅｓｏ）
・・・（２）
ここでは、ＣｏｌＣｒｏｓｓ（ｐｉｘ）は、垂直成分の消失点座標、ＣａｍＨｇｔ（ｍ）はカメラ設置高さである。

【0053】

消失点とは遠近法において、実際のものでは平行線になっているものを平行でなく描く際に、その線が交わる点である。例えば、本来平行な通路も、画像上ではある一点で収束する。消失点とはこの収束する点を指す。消失点と画像中心が一致するように予めキャリブレーションした場合、消失点＝無限遠距離におけるカメラ設置高さの座標という等式が成り立つ。この前提より、消失点座標から各距離におけるカメラ設置高さ（ｐｉｘ）を引くことで、該当距離における路面座標ｒＣｏｌ（ｐｉｘ）が式（２）により求めることができる。

【0054】

（３）下式（３）により、各輪郭成分までの高さを求める。
注目点高さＺ（ｍ）＝（ＴｇｔＣｏｌ（ｐｉｘ）－ｒＣｏｌ（ｐｉｘ））＊ｖＲｅｓｏ
・・・（３）
ここでは、ＴｇｔＣｏｌ（ｐｉｘ）は、高さ算出の対象となる画素の垂直成分座標である。

【0055】

図２に戻り、３次元情報推定部１５は、輪郭情報、算出した距離情報及び高さ情報に従い、３次元プロットすることで３次元情報を推定し、３次元マップを作成する（ステップＳ７）。

【0056】

［３．本実施の形態の３次元情報推定装置の検証例（実施例）］
図４～図１０を参照して、本実施の形態の図１の３次元情報推定システム１の検証例（実施例）を説明する。図４に示すような周辺環境において３次元マップを作成する例を説明する。

【0057】

図４において、左側の図はカメラ３０で撮像した画像に最近傍反射点と輝度分散値をプロットした例を示す図であり、右側の図は、画像中の移動物標を説明するための図である。図４において、折れ線は輝度分散値、縦の点線はレーダ２０の方位、□は最近傍反射点を示している。上述の図２のフローのステップＳ３に従って、最近傍反射点を検出する。

【0058】

図４において、歩行者のような移動物標が存在する方位では、その物標からの信号に大きく影響を受けるので、移動物標が存在する方位を除く信号を用いて構造物（静止物全般）の３次元マップを作成する。

【0059】

図５は、解析に使用する信号と除外する信号を説明するための図である。同図において、構造物は解析に使用し、歩行者は除外する。解析に用いる信号の全点までの距離及び方位を算出し、上述の図２のフローのステップＳ４，Ｓ５に従って、画像の輪郭情報を抽出し、各方位の距離情報を同方位の画像の輪郭情報に付与する。

【0060】

図６は、画像の輪郭情報と距離情報の紐付けを説明するための図である。図６において、画像は、横軸が方位となるので、縦に並ぶ一列の輪郭ピクセル群全てを該当方位における距離の成分であると仮定する。画像の輪郭情報の縦軸毎に距離情報を紐付けする。なお、図６において、移動物標（歩行者）が示されているが、これは参考用に示したものであり、実際には、移動物標（歩行者）の輪郭情報は抽出しない。

【0061】

上述の図２のフローのステップＳ６に従って画像の輪郭情報の高さ情報を算出する。そして、上述の図２のフローのステップＳ７に従って、輪郭情報、算出した距離及び高さに従い、３次元プロットした３次元マップを作成する。図７～図１０は、作成した３次元マップを各アングルで示す図である。近距離の成分と、遠距離の成分を識別表示してもよい（例えば、近距離の成分を赤、遠距離の成分を緑で表示してもよい）。なお、図７～図１０において、移動物標（歩行者）が３次元表示されているが、これは参考用に示したものであり、実際には移動物標（歩行者）は描画されない。図７～図１０に示すように、レーダ信号の各方位で検出した最高強度点の情報を使用し、また、物体距離が線形的に変化するという推定情報（補間情報）を加味することで、ビルや倉庫等の静止物体の３次元情報を推定することができた。

【0062】

以上の検証結果により、本実施の形態の３次元情報推定システム１は、安価な単眼カメラとレーダの組み合わせで、周辺構造物の３次元情報を推定でき、周辺環境認識を実現するのに有用であることが確認された。

【0063】

以上説明したように、本実施の形態の３次元情報推定システム１によれば、周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得するレーダ２０と、周辺を撮像して画像情報を取得する単眼のカメラ３０と、カメラ３０から出力される画像情報の輪郭情報を抽出する輪郭抽出部１２と、レーダ２０から出力されるレーダ信号について、各方位の最高強度点をサーチして、カメラ３０から出力される画像情報上での最近傍反射点を検出する物標検出部１１と、各方位の最近傍反射点の距離情報を同方位の前記画像情報の輪郭情報に付与する距離情報付与部１３と、画像情報の輪郭情報に高さ情報を付与する高さ情報付与部１４と、輪郭情報、距離情報及び高さ情報に従って３次元情報を推定する３次元情報推定部１５と、を備えているので、構造物の３次元情報を低コストな構成で推定することが可能となる。

【0064】

本実施の形態の３次元情報推定システム１は、例えば、車載用レーダシステム、先進運転支援システム（ＡＤＡＳ）、及び周辺監視システム等の各種用途で好適に使用可能である。

【符号の説明】

【0065】

１ ３次元情報推定システム
１０ ３次元情報推定装置
１１ 物標検出部
１２ 輪郭抽出部
１３ 距離情報付与部
１４ 高さ情報付与部
１５ ３次元情報推定部（３次元マップ生成部）
２０ レーダ
３０ カメラ
４１ ピークサーチ部
４２ プロット部
４３ 輝度特性値算出部
４４ 実像・偽像判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】