特許 7401273 移動体の制御装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】移動体の制御装置及び方法

(51)【国際特許分類】

   G05D 1/02 20200101AFI20231212BHJP

   G08G 1/16 20060101ALI20231212BHJP

   G01S 13/86 20060101ALI20231212BHJP

   G01C 3/06 20060101ALI20231212BHJP

【ＦＩ】

G05D1/02 K

G08G1/16 C

G01S13/86

G01C3/06 130

【請求項の数】 10

(21)【出願番号】P 2019213480

(22)【出願日】2019-11-26

(65)【公開番号】P2021086298

(43)【公開日】2021-06-03

【審査請求日】2022-07-12

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110001829

【氏名又は名称】弁理士法人開知

(72)【発明者】

【氏名】城戸 英彰

(72)【発明者】

【氏名】門司 竜彦

(72)【発明者】

【氏名】早瀬 茂規

【審査官】杉山 悟史

(56)【参考文献】

【文献】特開２００６－２５２３４８（ＪＰ，Ａ）

【文献】特開２０１２－１７３２３０（ＪＰ，Ａ）

【文献】特開２０１１－１２７７８２（ＪＰ，Ａ）

【文献】特開２０１４－１３７２８８（ＪＰ，Ａ）

【文献】特開２０１１－１２７９７７（ＪＰ，Ａ）

【文献】特許第２９００７３７（ＪＰ，Ｂ２）

【文献】国際公開第２０１７／０５７０５８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００ ～ １／１２

Ｇ０８Ｇ １／００ ～ １／１６

Ｇ０１Ｓ １３／００ ～ １３／９５

Ｇ０１Ｃ ３／００ ～ ３／３２

(57)【特許請求の範囲】

【請求項1】

撮像装置とレーダ装置を有する移動体の制御装置であって、
前記撮像装置で撮像される画像から前記移動体の周辺の三次元地図を生成する三次元地図生成部と、
前記撮像装置で撮像される画像から検出される物体の属性を推定する属性推定部と、
前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを推定する重み推定部と、
前記重みに基づいて前記レーダ装置による検出結果を調整する調整部と、
を備え、
前記重み推定部は、
前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを、前記三次元地図の前記領域ごとの三次元の形状と前記物体の属性との組み合わせから推定し、
前記三次元地図の前記領域ごとの三次元の形状と前記物体の属性との組み合わせが、マルチパス又は強い反射が発生しやすい所定の組み合わせである場合、前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを下げる移動体の制御装置。

【請求項2】

請求項１に記載の移動体の制御装置であって、
前記重み推定部は、
前記三次元地図において所定の大きさ以上の第１の物体が存在する場合、前記第１の物体の周辺の前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを下げる
ことを特徴とする移動体の制御装置。

【請求項3】

請求項２に記載の移動体の制御装置であって、
前記重み推定部は、
前記三次元地図において前記第１の物体に近接する第２の物体が存在する場合に、前記第１の物体及び前記第２の物体の周辺の前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを下げる
ことを特徴とする移動体の制御装置。

【請求項4】

請求項１に記載の移動体の制御装置であって、
推定される前記物体の属性は、
歩行者、車両、壁、樹木、縁石、ガードレール、又はポールである
ことを特徴とする移動体の制御装置。

【請求項5】

請求項１に記載の移動体の制御装置であって、
推定される前記物体の属性としての材質は、
金属、石材、樹木、又はプラスチックである
ことを特徴とする移動体の制御装置。

【請求項6】

請求項１に記載の移動体の制御装置であって、
撮像装置による検出結果と前記重みに基づいて調整された前記レーダ装置による検出結果を合成して出力するセンサフュージョン部を備える
ことを特徴とする移動体の制御装置。

【請求項7】

請求項１に記載の移動体の制御装置であって、
前記三次元地図から次のフレームにおける三次元地図を予測する地図予測部を備え、
前記三次元地図生成部は、
前記地図予測部で予測された次のフレームの三次元地図と前記撮像装置で撮像される画像から前記移動体の周辺の三次元地図を生成する
ことを特徴とする移動体の制御装置。

【請求項8】

請求項６に記載の移動体の制御装置であって、
前記センサフュージョン部で合成された検出結果から三次元地図を作成する合成地図作成部と、
前記合成地図作成部で作成された三次元地図から次のフレームにおける三次元地図を予測する地図予測部と、を備え、
前記三次元地図生成部は、
予測された次のフレームの三次元地図と前記撮像装置で撮像される画像から前記移動体の周辺の三次元地図を生成する
ことを特徴とする移動体の制御装置。

【請求項9】

請求項１に記載の移動体の制御装置であって、
前記重み推定部は、
前記三次元の形状がコーナー状又は円状の場合、前記三次元の形状に対応する前記三次元地図の領域の前記レーダ装置による検出結果の重みを下げる
ことを特徴とする移動体の制御装置。

【請求項10】

撮像装置で撮像される画像から移動体の周辺の三次元地図を生成する三次元地図生成工程と、
前記三次元地図の領域ごとのレーダ装置による検出結果の重みを推定する重み推定工程と、
前記重みに基づいて前記レーダ装置による検出結果を調整する調整工程と、
を制御装置に実行させる方法であって、
重み推定工程は、
前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを、前記三次元地図の前記領域ごとの三次元の形状と物体の属性との組み合わせから推定し、
前記三次元地図の前記領域ごとの三次元の形状と前記物体の属性との組み合わせが、マルチパス又は強い反射が発生しやすい所定の組み合わせである場合、前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを下げる工程を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体の制御装置及び方法に関する。

【背景技術】

【0002】

自動運転や高度安全運転支援システムの実現においては、外界を監視し、障害物やレーン情報など自車走行に必要な物体を検知するセンサの重要性が高まっている。外界監視センサにはカメラやミリ波レーダ、ＬＩＤＡＲなどの種類があるがそれぞれにセンサの特性があり、走行するシーンにおいて得意不得意が存在する。

【0003】

例えばカメラにおいては逆光の場合に検知しにくくなる、ミリ波レーダにおいては検知したい物体の横に大きな反射物があると、レーダ波がその反射物に一度反射し別の物体に再度反射して戻って来るマルチパスが起こり距離や到来角度の誤計測や、クラッタによる誤検出を引き起こしやすくなる。

【0004】

この課題にあたり、例えば「特許文献１」には、ミリ波レーダで物体を検出する際に誤検出の要因となる側壁を、ナビゲーション用の地図情報を用いてその有無を判定し、ミリ波レーダの監視頻度を低下・停止させることで、信頼性の低い状態でセンサ情報を出力することを抑制する技術がある。例えば「特許文献２」では、ミリ波レーダの物体検出をステレオカメラで作成されたマップ情報と偏光領域の検出を組み合わせることで、路面上にある金属物からの反射波を抑制する技術を提案している。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第２９００７３７号明細書

【文献】国際公開第２０１７／０５７０５８号

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、ナビゲーション用の地図に登録されている物体については予測が出来るが、ナビゲーション用の地図には登録されていない物体がミリ波レーダの検知誤りを誘発する際に対応できない。例えば、検出対象の物体の横を大型トレーラーが走行していたり、地図に登録されていないガードレールが存在する場合に解決できない。

【0007】

特許文献２では、路面上にある金属物に対する検出方法は開示されているものの、マルチパスが起こりえる状況への対応については記載がない。

【0008】

本発明の目的は、撮像装置で撮像される画像から生成される三次元地図の領域ごとの三次元の形状に応じてレーダ装置による検出結果を調整することができる移動体の制御装置及び方法を提供することにある。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の一例は、撮像装置とレーダ装置を有する移動体の制御装置であって、前記撮像装置で撮像される画像から前記移動体の周辺の三次元地図を生成する三次元地図生成部と、前記撮像装置で撮像される画像から検出される物体の属性を推定する属性推定部と、前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを推定する重み推定部と、前記重みに基づいて前記レーダ装置による検出結果を調整する調整部と、を備え、前記重み推定部は、前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを、前記三次元地図の前記領域ごとの三次元の形状と前記物体の属性との組み合わせから推定し、前記三次元地図の前記領域ごとの三次元の形状と前記物体の属性との組み合わせが、マルチパス又は強い反射が発生しやすい所定の組み合わせである場合、前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを下げる。

【発明の効果】

【0010】

本発明によれば、撮像装置で撮像される画像から生成される三次元地図の領域ごとの三次元の形状に応じてレーダ装置による検出結果を調整することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】第一の実施形態に係る車載移動体制御装置の構成を説明する図である。

【図2】図１に示す移動体制御部の構成を説明する図である。

【図3】図２に示す三次元地図生成部の構成を説明する図である。

【図4】レーダ重みマップ推定部の構成を説明する図である。

【図5】特定形状データベースに登録される特定形状の例を説明する図である。

【図6-1】前方に複数の車両がいる状態のレーダ重みマップ推定部の挙動を示す図である。

【図6-2】三次元地図の俯瞰図である。

【図6-3】レーダ重みマップ推定部の動作を説明するための図である。

【図7】過去の地図情報を活用する図である。

【図8】過去の合成された地図情報を活用する図である。

【図9】移動体制御装置が実行する処理を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下に発明を実施する形態を示す。本実施形態は自動運転や高度安全運転システムにおいて高度に周辺環境を理解するシステムに関する。

【0013】

撮像装置とミリ波レーダを用いた車両制御システムを図１に示す。

【0014】

撮像装置１０１とミリ波レーダ装置１０２は車両１０３に搭載され、例えば前方の物体１０４までの距離や相対速度を計測して移動体制御部１０５に送信する。移動体制御部１０５はその物体１０４までの距離や相対速度からブレーキやアクセルの制御を決定し車両１０３を制御する。

【0015】

すなわち、移動体制御部１０５は、撮像装置１０１とミリ波レーダ装置１０２（レーダ装置）を有する車両１０３（移動体）の制御装置である。

【0016】

本発明を実施する移動体制御部１０５の第一の形態を図２に示す。なお、移動体制御部１０５は、例えば、ＥＣＵ（Electronic Control Unit）であり、メモリ（記憶装置）、ＣＰＵ（プロセッサ）、入出力回路（通信装置）等から構成される。

【0017】

撮像装置１０１とミリ波レーダ装置１０２に対してそれぞれ物体検出部２０１、２０２が移動体制御部１０５に設けられ、自車（車両１０３）から見える視界中に存在する様々な物体を検出する。撮像装置１０１は取得されたセンサ情報からリアルタイムに三次元地図を三次元地図生成部２０３で生成する。ここで三次元地図は、センサの視界中に存在する物体の奥行方向、高さ方向、横方向の情報（例えば、距離情報）を持つ。

【0018】

三次元地図は、ステレオカメラによる距離画像や、ＬＩＤＡＲの様に距離情報を持つ点群を取得するようなセンサを使用してもよいし、単眼カメラを用いた時系列解析による距離情報の生成や学習による距離画像の生成を用いてもよく、その手段を問わない。

【0019】

三次元地図を生成した後にレーダ重みマップ推定を実施する。レーダ重みマップ推定部２０４は、三次元地図の各点においてその点から到来したレーダ信号がどれだけ信頼できるかの重み値を生成する。重み調整部２０５は、ミリ波レーダ装置１０２（レーダ装置）側の物体検出部２０２で検出された物体の信頼度や存在確率、距離精度など、検出に関わる値の調整をレーダ重みマップ推定部２０４の結果を用いて実施する。その結果はセンサフュージョン部２０６に入力される。

【0020】

センサフュージョン部２０６は、撮像装置側の物体検出部２０１の結果と突き合わせて一つの信号とし、その信号を制御部１０９に送信する。すなわち、センサフュージョン部２０６は、撮像装置１０１による検出結果と重みに基づいて調整されたミリ波レーダ装置１０２（レーダ装置）による検出結果を合成して出力する。これにより、合成された検出結果の信頼度を確保することができる。制御部１０９はその結果に従って車両を制御する信号を生成する。

【0021】

図３に三次元地図生成部２０３の構成例を示す。

【0022】

ここでは撮像装置１０１の一例としてステレオカメラを用いた場合の例を示す。ステレオカメラでは設置された二つ以上のカメラの視差から三角測量の原理で距離を計測でき、それを距離画像生成部３０１として出力し、水平方向、鉛直方向に距離情報を持つ三次元地図として扱うことができる。三次元地図生成部２０３では少なくともこのような機能を備える。

【0023】

換言すれば、三次元地図生成部２０３は、撮像装置１０１で撮像される画像から車両１０３（移動体）の周辺の三次元地図を生成する。なお、ここで作成された三次元地図生成部２０３の結果は、撮像装置１０１の物体検出部２０１にも使われうる。

【0024】

また、撮像されたのちに画像解析によって距離毎の物体の属性や、物体の素材推定を実施する、物体属性推定部３０２を三次元地図生成部２０３は備える。物体の属性推定に関しては一般に知られる手法として画像に対して識別器の利用やセマンティックセグメンテーション、インスタンスセグメンテーションなどが公知技術として知られ、ここではその手法を問わない。

【0025】

換言すれば、三次元地図生成部２０３は、撮像装置１０１で撮像される画像から検出される物体の属性を推定する物体属性推定部３０２（属性推定部）を含む。推定される物体の属性は、例えば、歩行者、車両、壁、樹木、縁石、ガードレール、又はポールである。

【0026】

なお、レーダ重みマップ推定部２０４（重み推定部）は、三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを、三次元地図の領域ごとの三次元の形状（例えば、コーナー状）と物体の属性（例えば、ガードレール）との組み合わせから推定（設定）してもよい。例えば、三次元の形状としての「コーナー状」と物体の属性としての「ガードレール」との組み合わせに小さな重みを紐付けてメモリに記憶しておく。

【0027】

これにより、撮像装置で撮像される画像から生成される三次元地図の領域ごとの三次元の形状（例えば、コーナー状）と属性推定部で推定される物体の属性（例えば、ガードレール）との組み合わせに応じてレーダ装置による検出結果を調整することができる。

【0028】

図４にレーダ重みマップ推定部２０４の構成例を示す。

【0029】

レーダ重みマップ推定部２０４では、三次元地図生成部２０３で作成された情報が入力される。特定形状検出部４０２は、登録された特定形状データベース４０１を参照して特定形状を検出することで、マルチパスが起きる可能性のある場所を推定し、その検出された場所に重み設定部４０４において低い重みを割り当てさせる。

【0030】

換言すれば、レーダ重みマップ推定部２０４（重み推定部）は、三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを、三次元地図の領域ごとの三次元の形状から推定する。

【0031】

特定形状データベース４０１は、マルチパスを発生させやすそうな形状の特徴を保持する。特定形状データベース４０１では、後述するように形状の材質によって重み設定を変える必要がある場合があるため、形状の材質情報も重み設定部に送信することが考えられる。

【0032】

異なる実現方法として、マルチパスを発生させやすそうな大きな物体を物体サイズ測定部４０３が検出し、重み設定部４０４はその周辺に低い信頼度を割り当てる。

【0033】

換言すれば、レーダ重みマップ推定部２０４（重み推定部）は、三次元地図において所定の大きさ以上の物体（第１の物体）が存在する場合、その物体（第１の物体）の周辺の三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを下げる。これにより、例えば、マルチパスを誘発しやすい大型トレーラーが移動体（自車両）の周辺に存在する場合に、大型トレーラーの周辺のレーダ装置による検出結果の信頼度を下げることができる。

【0034】

なお、レーダ重みマップ推定部２０４（重み推定部）は、三次元地図において物体（第１の物体）に近接する別の物体（第２の物体）が存在する場合に、物体（第１の物体）及び別の物体（第２の物体）の周辺の三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを下げてもよい。これにより、例えば、大型トレーラーと乗用車が並走する場合に、それらの周辺のレーダ装置による検出結果の信頼度を下げることができる。

【0035】

図５に特定形状データベース４０１に登録される特定形状の例を示す。

【0036】

この特定形状はセンサからの到来角によって異なるが、ここでは５０１に図示した方向における形状を示す。この図では俯瞰した状態における特定形状を示す。マルチパスは５０２のように、コーナー状（凹状）になっている箇所において起こりやすい。その形状が連続的に変化する例や形状５０３も同様の現象が起こる可能性がある。逆に円状（凸状）のパタンが車両方向に向いている形状５０４では、強い反射が車両に対して入るため、そちらからの信号が支配的になり、他からの信号群に影響を与え、誤計測となる可能性がある。

【0037】

先述した通りこの特定形状はセンサの到来角によって異なる。特定形状データベース４０１への格納方法としては点列で特定形状を格納し、到来角度の絶対値と参照する距離をパラメータとして形状を調整して特定形状データベース４０１から出力することが考えられる。

【0038】

本実施形態では、レーダ重みマップ推定部２０４（重み推定部）は、三次元の形状がコーナー状又は円状の場合、三次元の形状に対応する三次元地図の領域のミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを下げる。これにより、三次元の形状がコーナー状又は円状であり、レーダ装置による誤検出を誘発しやすい形状である場合に、レーダ装置による検出結果の重みを下げることができる。

【0039】

図６（図６－１から図６－３）を用いて重み設定部４０４の例を説明する。

【0040】

図６－１のように自車両６０１があり、前方に２台の前方車両６０２、６０３が存在し、１台の大型トレーラー６０４がいる時のことを考える。撮像装置１０１から得られた三次元地図の俯瞰図が図６－２の様に得られたとする。図６－２に描画された破線はセンサ中心からの広がり角度の基準を示しており、左から２０°、１０°、０°、－１０°、－２０°を示す。

【0041】

図６－２を解析することで、重み設定部４０４は特定形状が存在すればその領域の重みを下げる。図６－３にその一例を示している。横軸はセンサ中心からの広がり角度、縦軸は距離である。今、特定形状データベース４０１（辞書）から特定形状が与えられた場合に、その特定形状（特殊形状）に当てはまる箇所が、－１５°、２０ｍ先の距離だと仮定すると、その領域のミリ波レーダ信頼度を他に比べて落とす。

【0042】

この表（図６－３）では、信頼度がＡ、Ｂ、Ｃの順に高い（Ａ＞Ｂ＞Ｃ）。＋２０°、３０ｍ先がＣになっているのは物体（前方車両６０２）が手前にある遮蔽領域であるため設定している。図６－３は俯瞰表現を元にしているため、2次元で表記しているが実際には3次元の情報を持つことも可能である。その場合、高さに応じて重みを変更することが可能である。

【0043】

この様な重みマップを持つことによってさらに後段の重み調整部２０５でミリ波レーダの検出結果の重要度を制御する。

【0044】

なお、特に当該形状が、ガードレールや金属物体と判断された領域においては一般に反射率が高く特定形状の影響する範囲が大きくなる。そのため、物体属性推定部３０２において金属体と推定される場合には、より大きい重みの調整を重み設定部４０４でかけることが必要となる。

【0045】

逆にプラスチックや木材など、反射率が低い物体に対しては反射の影響が低い可能性があるため、そのように物体属性推定部３０２において推定された場合には重み設定部４０４で影響を及ぼさないようにするような調整が必要である。例えばその場合、図６－３で与えられる表の重みを－１５°、２０ｍにおいてＡに変更する。

【0046】

換言すれば、三次元地図生成部２０３は、撮像装置１０１で撮像される画像から検出される物体の材質を推定する物体属性推定部３０２（属性推定部）を含む。推定される物体の材質は、例えば、金属、石材、樹木、又はプラスチックである。レーダ重みマップ推定部２０４（重み推定部）は、三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを、三次元地図の領域ごとの三次元の形状と物体の材質との組み合わせから推定（設定）する。例えば、三次元の形状としての「コーナー状」と物体の材質としての「金属」との組み合わせに小さな重みを紐付けてメモリに記憶しておく。

【0047】

これにより、撮像装置で撮像される画像から生成される三次元地図の領域ごとの三次元の形状（例えば、コーナー状）と属性推定部で推定される物体の材質（例えば、金属）との組み合わせに応じてレーダ装置による検出結果を調整することができる。

【0048】

重み調整部２０５は、上記のように設定された重みからミリ波レーダ装置１０２で検出された結果を調整する。ミリ波レーダ装置１０２の物体検出部２０２の時点で物体の存在確率や距離・相対速度精度が与えられる場合には、その精度や確率を調整することが考えられる。与えられない場合においては、その重みをセンサフュージョン部２０６で処理することとし、単純に物体検出部２０２の出力に付加してもよく、重みの扱いにおいてその手法を問わない。

【0049】

本実施形態では、重み調整部２０５（調整部）は重みに基づいてミリ波レーダ装置１０２（レーダ装置）による検出結果を調整する。具体的には、例えば、重みが小さくなるにつれてミリ波レーダ装置１０２（レーダ装置）による検出結果の信頼度を低く評価する。これにより、撮像装置で撮像される画像から生成される三次元地図の領域ごとの三次元の形状に応じてレーダ装置による検出結果を調整することができる。また、ナビゲーション用の地図に登録されていない物体をレーダ装置が検出する場合にも対応することができる。

【0050】

なお、移動体制御部１０５は、少なくとも図９に示すように、撮像装置１０１で撮像される画像から車両１０３（移動体）の周辺の三次元地図を生成し（Ｓ１０）、三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを、三次元地図の領域ごとの三次元の形状から推定し（Ｓ１５）、重みに基づいてミリ波レーダ装置１０２（レーダ装置）による検出結果を調整する（Ｓ２０）。

【0051】

センサフュージョン部２０６は、ミリ波レーダ装置１０２から検出された結果、撮像装置１０１から検出された結果を用いてそれらの検出結果を合成し、制御部２０７に出力する。フュージョンする方式としては単純に重みや確率が高いほうを検出結果として採用する、確率的にフュージョンして検出結果とするという手法が考えられ、その方式を問わない。

【0052】

図７では三次元地図生成部２０３に過去の履歴情報が入力される例を示す。

【0053】

図７の形態では、ある時刻ｔでの三次元地図からその次の時刻ｔ＋１の三次元地図を地図予測部７０１が自車挙動や各位置における速度などから適切に予測し、三次元地図を次に生成する際に時刻ｔで予測された地図と時刻ｔ＋１の地図を三次元地図生成部２０３で合成する。合成された地図は後段の処理で使用される。この様な仕組みを取ることで、現在のフレームから取得した三次元地図に誤差があった場合や情報の欠落があった場合でも過去の情報（三次元地図）から外挿を行い、統計的に精度を高めることが期待できる。

【0054】

換言すれば、移動体制御部１０５は、三次元地図から次のフレームにおける三次元地図を予測する地図予測部７０１を備える。三次元地図生成部２０３は、地図予測部７０１で予測された次のフレームの三次元地図と撮像装置１０１で撮像される画像から車両１０３（移動体）の周辺の三次元地図を生成する。これにより、フュージョン前の三次元地図を用いて三次元地図生成部で生成される三次元地図の精度を向上することができる。

【0055】

図８では過去の履歴情報がセンサフュージョンの後の各センサの情報から合成した地図情報を使用する例を説明する。

【0056】

車両制御システムは、そのフュージョンされた過去の地図情報から現在の地図情報を予測する地図予測部８０２を備え、三次元地図生成部２０３に反映する構成である。

【0057】

換言すれば、移動体制御部１０５は、センサフュージョン部２０６で合成された検出結果から三次元地図を作成する合成地図作成部８０１と、合成地図作成部８０１で作成された三次元地図から次のフレームにおける三次元地図を予測する地図予測部８０２と、を備える。三次元地図生成部２０３は、予測された次のフレームの三次元地図と撮像装置１０１で撮像される画像から車両１０３（移動体）の周辺の三次元地図を生成する。これにより、フュージョン後の三次元地図を用いて三次元地図生成部で生成される三次元地図の精度を向上することができる。

【0058】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0059】

上記実施形態では、撮像装置１０１はステレオカメラで距離を計測しているが、単眼カメラで計測してもよい。上記実施形態では、レーダ装置としてミリ波レーダ装置１０２を用いているが、ミリ波以外の波長の電波を用いるレーダ装置であってもよい。

【0060】

上記実施形態では、物体検出部２０１、２０２は移動体制御部１０５に設けられるが、それぞれ撮像装置１０１、ミリ波レーダ装置１０２に設けるようにしてもよい。上記実施形態では、移動体制御部１０５に設けられるが、別のＥＣＵに設けるようにしてもよい。

【0061】

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

【0062】

なお、本発明の実施形態は、以下の態様であってもよい。

【0063】

（１）．外界の物体を検出する撮像装置とミリ波レーダ装置を備える移動体制御装置であって、前記撮像装置の情報から移動体周辺の三次元地図を生成する三次元地図生成部と、前記三次元地図を用いて距離と方位に基づいた領域ごとの前記ミリ波レーダ装置による検出結果の重みを三次元の形状から推定するレーダ重み推定部と、前記レーダ重み推定部で推定した重みに基づいて前記レーダ装置によって検出された前記物体の信頼度を調整する重み調整部と、を備える移動体制御装置。

【0064】

（２）．（１）に記載のレーダ信頼度推定部は、（１）に記載の三次元地図に基づいて、所定以上の大きさを持つ物体が存在する場合、また、複数の近接した形状をもつ場合において、方位と距離毎に前記レーダ装置の信頼度を下げることを特徴とした移動体制御装置。

【0065】

（３）．（１）に記載の三次元地図生成部は、距離情報生成部と属性情報生成部を持ち、前記属性情報生成部は歩行者、車両、壁、樹木、縁石、ガードレール、ポールのうち1つ以上の属性を撮像対象に対して推定することを特徴とした移動体制御装置。

【0066】

（４）．（１）に記載の三次元地図生成部は、距離情報生成部と材質情報生成部を持ち、前記属性情報生成部は金属、石材、樹木、プラスチックのうち少なくとも一つ以上の属性を撮像対象に対して特徴とした移動体制御装置。

【0067】

（５）．外界の物体を検出する撮像装置とミリ波レーダ装置を備える移動体制御装置であって、前記撮像装置の情報から移動体周辺の三次元地図を生成する三次元地図生成部と、前記三次元地図を用いて距離と方位に基づいた領域ごとの前記ミリ波レーダ装置による検出結果の重みを三次元の形状から推定するレーダ重み推定部と、前記レーダ重み推定部で推定した重みに基づいて前記レーダ装置によって検出された前記物体の信頼度を調整する重み調整部と、前記重み調整部の結果に基づいて撮像装置とミリ波レーダの検出結果を合成して出力するセンサフュージョン部と、を備える移動体制御装置。

【0068】

（６）．外界の物体を検出する撮像装置とミリ波レーダ装置を備える移動体制御装置であって、前記撮像装置の情報から移動体周辺の三次元地図を生成する三次元地図生成部と、前記三次元地図を用いて距離と方位に基づいた領域ごとの前記ミリ波レーダ装置による検出結果の重みを三次元の形状から推定するレーダ重み推定部と、前記レーダ重み推定部で推定した重みに基づいて前記レーダ装置によって検出された前記物体の信頼度を調整する重み調整部と、前記三次元地図の情報から次のフレームにおける三次元地図を予測し、次のフレームの三次元地図生成部に反映させる地図予測部と、を備える移動体制御装置。

【0069】

（７）．外界の物体を検出する撮像装置とミリ波レーダ装置を備える移動体制御装置であって、前記撮像装置の情報から移動体周辺の三次元地図を生成する三次元地図生成部と、前記三次元地図を用いて距離と方位に基づいた領域ごとの前記ミリ波レーダ装置による検出結果の重みを三次元の形状から推定するレーダ重み推定部と、前記レーダ重み推定部で推定した重みに基づいて前記レーダ装置によって検出された前記物体の信頼度を調整する重み調整部と、前記重み調整部の結果に基づいて撮像装置とミリ波レーダの検出結果を合成して出力するセンサフュージョン部と、合成結果から地図を作成する合成地図作成部と、前記合成地図作成部の情報から次のフレームにおける三次元地図を予測し、次のフレームの三次元地図生成部に反映させる地図予測部と、を備える移動体制御装置。

【0070】

（１）～（７）によれば、ナビゲーション用の地図に登録されていない物体がミリ波レーダの検知誤りを誘発する際にもその誤りを低減し、信頼性の高いセンサシステムを提供することができる。

【符号の説明】

【0071】

１０１…撮像装置、１０２…ミリ波レーダ装置、１０３…車両、１０４…物体、１０５…移動体制御部、１０９…制御部、２０１…物体検出部、２０２…物体検出部、２０３…三次元地図生成部、２０４…レーダ重みマップ推定部、２０５…重み調整部、２０６…センサフュージョン部、２０７…制御部、３０１…距離画像生成部、３０２…物体属性推定部、４０１…特定形状データベース、４０２…特定形状検出部、４０３…物体サイズ測定部、４０４…重み設定部、６０１…自車両、６０２、６０３…前方車両、６０４…大型トレーラー、７０１…地図予測部、８０１…合成地図作成部、８０２…地図予測部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6-1】

【図6-2】

【図6-3】

【図7】

【図8】

【図9】