特許 6932664 信号処理システム、及びその評価システム、並びにその信号処理システムに用いられる信号処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6932664

(24)【登録日】2021年8月20日

(45)【発行日】2021年9月8日

(54)【発明の名称】信号処理システム、及びその評価システム、並びにその信号処理システムに用いられる信号処理装置

(51)【国際特許分類】

   G01S 17/86 20200101AFI20210826BHJP

   G01S 17/931 20200101ALI20210826BHJP

   G01S 13/86 20060101ALI20210826BHJP

   G01S 13/931 20200101ALI20210826BHJP

   G08G 1/16 20060101ALI20210826BHJP

【ＦＩ】

   G01S17/86

   G01S17/931

   G01S13/86

   G01S13/931

   G08G1/16 C

【請求項の数】16

【全頁数】30

(21)【出願番号】特願2018-41761(P2018-41761)

(22)【出願日】2018年3月8日

(65)【公開番号】特開2019-158390(P2019-158390A)

(43)【公開日】2019年9月19日

【審査請求日】2020年8月27日

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】特許業務法人平木国際特許事務所

(72)【発明者】

【氏名】中田 啓明

(72)【発明者】

【氏名】森岡 道雄

【審査官】 藤田 都志行

(56)【参考文献】

【文献】 特開２０１５−０５９８０８（ＪＰ，Ａ）

【文献】 特開２０１２−０１４５５３（ＪＰ，Ａ）

【文献】 特開２０１７−０７５８８１（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０１０５４６（ＷＯ，Ａ１）

【文献】 特開２００２−３０３６７１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０１１６５９３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｓ ７／００− ７／６４

Ｇ０１Ｓ １３／００−１７／９５

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

各々に外界センサが接続される複数の外界センサ用信号処理装置で構成され、各信号処理装置は、前記外界センサによりセンシングした情報から外界の物体を認識する機能を有する信号処理システムにおいて、第一の外界センサによるセンシングデータは第一の信号処理装置で認識処理を行い、第二の外界センサによるセンシングデータは第二の信号処理装置で認識処理を行い、第一の信号処理装置の出力を第二の信号処理装置が認識処理を行う際に参照する信号処理システムであって、
前記第一の信号処理装置は、処理対象としたセンシングデータのセンシング時刻と物体検出位置を管理し、前記物体検出位置は、前記第二の信号処理装置が処理対象とするセンシングデータのセンシング時刻における位置となるように補正され、前記第二の信号処理装置は、認識処理を行う際に前記補正された位置を用い、
前記補正された位置に対し、認識処理パラメータの変更を適用することを特徴とする、信号処理システム。

【請求項2】

各々に外界センサが接続される複数の外界センサ用信号処理装置で構成され、各信号処理装置は、前記外界センサによりセンシングした情報から外界の物体を認識する機能を有する信号処理システムにおいて、第一の外界センサによるセンシングデータは第一の信号処理装置で認識処理を行い、第二の外界センサによるセンシングデータは第二の信号処理装置で認識処理を行い、第一の信号処理装置の出力を第二の信号処理装置が認識処理を行う際に参照する信号処理システムであって、
前記第一の信号処理装置は、処理対象としたセンシングデータのセンシング時刻と物体検出位置を管理し、前記物体検出位置は、前記第二の信号処理装置が処理対象とするセンシングデータのセンシング時刻における位置となるように補正され、前記第二の信号処理装置は、認識処理を行う際に前記補正された位置を用い、
前記第一の外界センサのセンシングデータのセンシング時刻を、前記第一の外界センサ上のセンシング領域毎に、又は前記第一の外界センサ上の位置との関係を示す方法で、管理することを特徴とする、信号処理システム。

【請求項3】

請求項１又は２に記載の信号処理システムであって、
前記物体検出位置は、前記第一の信号処理装置が処理対象としたセンシングデータのセンシング時刻から前記第二の信号処理装置が処理対象とするセンシングデータのセンシング時刻までの経過時間を用いて補正されることを特徴とする、信号処理システム。

【請求項4】

請求項３に記載の信号処理システムであって、
前記第一の信号処理装置と前記第二の信号処理装置の時刻が同期されており、前記時刻の差分を用いて前記センシング時刻の経過時間を求めることを特徴とする、信号処理システム。

【請求項5】

請求項１又は２に記載の信号処理システムであって、
前記第二の信号処理装置が認識処理を行う際に参照する前記第一の信号処理装置の出力は、物体の種類まで特定した認識処理結果とは別の、前記認識処理結果より低遅延な物体検出結果であることを特徴とする、信号処理システム。

【請求項6】

請求項２に記載の信号処理システムであって、
前記補正された位置に対し、特定の認識処理アルゴリズムの適用、あるいは認識処理パラメータの変更の少なくとも一方を適用することを特徴とする、信号処理システム。

【請求項7】

請求項１又は２に記載の信号処理システムであって、
前記第一の外界センサのセンシングデータのセンシング時刻が前記第二の外界センサのセンシングデータの処理タイミングに合うように調整されていることを特徴とする、信号処理システム。

【請求項8】

請求項１に記載の信号処理システムであって、
前記第一の外界センサのセンシングデータのセンシング時刻を、前記第一の外界センサ上のセンシング領域毎に、前記第一の外界センサ上の位置との関係を示す方法で、又は前記第一の外界センサのセンシングデータを用いて検出した物体毎に管理することを特徴とする、信号処理システム。

【請求項9】

各々に外界センサが接続される複数の外界センサ用信号処理装置で構成され、各信号処理装置は、前記外界センサによりセンシングした情報から外界の物体を認識する機能を有する信号処理システムにおいて、第一の外界センサによるセンシングデータは第一の信号処理装置で認識処理を行い、第二の外界センサによるセンシングデータは第二の信号処理装置で認識処理を行い、第一の信号処理装置の出力を第二の信号処理装置が認識処理を行う際に参照する信号処理システムであって、
前記第一の信号処理装置は、処理対象としたセンシングデータのセンシング時刻と物体検出位置を管理し、前記物体検出位置は、前記第二の信号処理装置が処理対象とするセンシングデータのセンシング時刻における位置となるように補正され、前記第二の信号処理装置は、認識処理を行う際に前記補正された位置を用い、
前記第一の外界センサのセンシングデータのセンシング時刻を、前記第一の外界センサ上のセンシング領域毎に、前記第一の外界センサ上の位置との関係を示す方法で、又は前記第一の外界センサのセンシングデータを用いて検出した物体毎に管理する信号処理システムの評価システムにおいて、
前記信号処理システムの出力は、車両の動きを模擬するモデルに接続され、前記車両の動きを模擬するモデルは、車両の周辺環境を模擬するモデルに接続され、前記車両の動きを模擬するモデルと前記車両の周辺環境を模擬するモデルから外界センサのセンシングデータの模擬センシング信号を生成し、前記センシングデータの模擬センシング信号を前記信号処理システムの信号処理装置に入力する評価システムであって、
一回のセンシングにおけるセンシング時刻を、同一時刻として処理、又は一部の物体のみ物体毎に管理することを特徴とする、評価システム。

【請求項10】

請求項１又は２に記載の信号処理システムにおいて、第二の信号処理装置として用いられる信号処理装置であって、
前記第一の信号処理装置が処理対象としたセンシングデータのセンシング時刻から前記第二の信号処理装置が処理対象とするセンシングデータのセンシング時刻までの経過時間を用いて前記第一の信号処理装置の物体検出結果の位置情報を補正した結果を用いて、前記認識処理を行うことを特徴とする、信号処理装置。

【請求項11】

請求項１０に記載の信号処理装置であって、
前記第一の信号処理装置と前記第二の信号処理装置の時刻が同期されており、前記時刻の差分を用いて前記センシング時刻の経過時間を求めることを特徴とする、信号処理装置。

【請求項12】

請求項１又は２に記載の信号処理システムにおいて、第一の信号処理装置として用いられる信号処理装置であって、
物体の種類まで特定した認識処理結果とは別の、前記第二の信号処理装置が認識処理を行う際に用いる物体検出結果を、前記第二の外界センサによるセンシングデータから前記認識処理結果を出力するより低遅延に出力する機能を有することを特徴とする、信号処理装置。

【請求項13】

請求項１又は２に記載の信号処理システムにおいて、第一の信号処理装置として用いられる信号処理装置であって、
前記第二の信号処理装置が処理対象とするセンシングデータのセンシング時刻に合わせて補正された物体検出結果の位置情報を前記第二の信号処理装置に出力することを特徴とする、信号処理装置。

【請求項14】

複数の外界センサが接続され、前記外界センサによりセンシングした情報から外界の物体を認識する機能を有する信号処理装置において、第一の外界センサによるセンシングデータに対する第一の認識処理の出力を第二の外界センサによるセンシングデータに対する第二の認識処理を行う際に参照する信号処理装置であって、
前記第一の認識処理が処理対象としたセンシングデータのセンシング時刻から前記第二の認識処理が処理対象とするセンシングデータのセンシング時刻までの経過時間を用いて第一の認識処理の物体検出結果の位置情報を補正した結果を用いて、前記第二の認識処理を行い、
前記第一の外界センサのセンシングデータのセンシング時刻を、前記第一の外界センサ上のセンシング領域毎に、又は前記第一の外界センサ上の位置との関係を示す方法で、管理することを特徴とする、信号処理装置。

【請求項15】

請求項１４に記載の信号処理装置であって、
前記第一の外界センサのセンシングデータのセンシング時刻が前記第二の外界センサのセンシングデータの処理タイミングに合うように調整されていることを特徴とする、信号処理装置。

【請求項16】

請求項１０に記載の信号処理装置であって、
前記位置情報を補正する際に、前記位置情報を推定路面上に対応付けることを特徴とする、信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、協調動作機能を有する外界センサ用信号処理装置で構成される信号処理システム、及びその評価システム、並びにその信号処理システムに用いられる信号処理装置に係り、特に、車両の先進安全システムや自動運転システムを構成する、車両周辺の外界の状況をセンシングする車載外界センサから得られる信号を処理して車両周辺に存在する物体を検出あるいは認識する信号処理装置、その信号処理装置により構成される信号処理システム、及びそれら信号処理装置や信号処理システムを評価する評価システムに関する。

【背景技術】

【0002】

近年、衝突を回避あるいは衝突時の被害を軽減するために、緊急時に自動的にブレーキ操作などを行う先進安全システムを搭載した車両が普及してきている。また、自律的に移動することが可能な自動運転車も実験レベル、あるいは限定的な条件下においては実現されている。先進安全システムや自動運転車では、車両の外界の状況を認識するために、カメラやレーダ、レーザレンジファインダ、ソナーなどの外界センサと、外界センサで取り込んだセンシングデータを処理し、周辺の物体や状況を検出して認識する信号処理装置が通常搭載される。しかし、外界センサ毎に環境や対象物によって検出の得手不得手があり、未検知、誤検知や誤認識が発生する場合もあるので、認識の信頼性を高めるために、複数の外界センサを連携して統合処理することがある。

【0003】

複数の外界センサを統合処理する方法として、特許文献１には、レーダによる認識結果と画像による認識結果を統合して走行環境を認識する方法が記載されている。また、特許文献２には、レーダ装置のセンシング機能とカメラ装置のセンシング機能を効果的に重畳して、物体の検出精度を向上させるために、レーダ装置の補足領域からマーカを算出し、カメラ装置で取得した画像からエッジを算出し、これらの算出結果からコンポーネント領域を算出する方法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３−１６８１９７公報

【特許文献2】特開２０１６−１５３７７５公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、外界センサは、種類や形式によりセンシングタイミングやセンシング周期が異なることが多い。外界センサによっては、センシング範囲の中のセンシング対象物の位置により、センシング時刻が異なる場合もある。また、外界センサから得られた信号を処理し、物体の検出や認識結果を出すまでの処理時間が、センサ毎、あるいは外界の状況により異なる場合もある。センシング時刻が異なると、車載装置などのように外界センサの位置が車両の移動に伴い動く場合や外界の物体そのものが移動する場合、外界センサ毎に同一物体のセンサからの相対位置が変化してセンシングされる。そのため、ある外界センサによるセンシングデータに対する認識処理結果あるいは認識処理途中の物体位置情報を別の外界センサによるセンシングデータに対する認識処理を行う際に活用し、例えば当該位置に対して認識精度向上のために重点的な処理を行う場合、同一物体に対するセンシング位置が異なると、当該処理を適用する箇所にずれが発生し、認識精度を向上する効果が低下する場合がある。また、位置ずれを考慮して、当該処理の適用範囲に余裕（マージン）を持たせて大きくすると、認識処理に必要な処理負荷が増加することになる。

【0006】

本発明は、上記事情に鑑みてなされたものであって、その目的とするところは、複数の外界センサのセンシングデータを用いて認識処理を行う際、ある外界センサのセンシングデータの認識処理結果あるいは認識処理途中の物体位置情報を別の外界センサのセンシングデータの認識処理で利用する場合に、センシング時刻の違いによる位置ずれの影響を抑制することのできる信号処理システム、及びその評価システム、並びにその信号処理システムに用いられる信号処理装置を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明に係る信号処理システム等は、各々に外界センサが接続される複数の外界センサ用信号処理装置で構成され、各信号処理装置は、前記外界センサによりセンシングした情報から外界の物体を認識する機能を有する信号処理システムにおいて、第一の外界センサによるセンシングデータは第一の信号処理装置で認識処理を行い、第二の外界センサによるセンシングデータは第二の信号処理装置で認識処理を行い、第一の信号処理装置の出力を第二の信号処理装置が認識処理を行う際に参照する信号処理システムであって、前記第一の信号処理装置は、処理対象としたセンシングデータのセンシング時刻と物体検出位置を管理し、前記物体検出位置は、前記第二の信号処理装置が処理対象とするセンシングデータのセンシング時刻における位置となるように補正され、前記第二の信号処理装置は、認識処理を行う際に前記補正された位置を用いることを特徴とする。

【発明の効果】

【0008】

本発明によれば、複数の外界センサのセンシングデータを用いて認識処理を行う際、第一の外界センサの認識処理結果あるいは認識処理途中の情報である物体位置情報を用いて第二の外界センサの認識処理を行う場合において、第二の外界センサのセンシングデータに対して重点的な処理などの特定の処理を行う位置のずれを抑制でき、もって、位置精度の向上から第二の外界センサの認識精度の向上につながる。また、特定の処理を行う領域のマージンを削減でき、認識処理の処理負荷を低減できる。

【0009】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態における、外界センサＡのセンシング結果を用いて外界センサＢのセンシング結果の処理を行う信号処理システムの構成例。

【図2】第１実施形態における、外界センサＡのセンシング結果を用いて外界センサＢのセンシング結果の処理を行う信号処理システムにおける信号処理装置の内部構成例。

【図3】外界センサをライダーとカメラで構成する場合の、カメラ側の認識処理でライダーによるセンシングから得た位置情報の利用イメージ図。

【図4】センシング時刻としてセンシング領域ごとに時刻を付加する例を説明する図。

【図5】センシング時刻として時刻算出式を用いる例を説明する図。

【図6】センシング時刻として検出した物体毎に時刻を付加する例を説明する図。

【図7】第１実施形態の信号処理システムを車両システムに組み込んだ構成例。

【図8】図７に示す車両制御システムの内部構成例。

【図9】外界センサをミリ波レーダとカメラで構成する場合の、カメラの認識処理におけるミリ波レーダのセンシングから得た位置情報の利用イメージ図。

【図10】ミリ波レーダによる位置検出結果から補正した位置を推定する例を説明する図。

【図11】カメラによるセンシング結果にミリ波レーダによるセンシング領域を投影したイメージ図。

【図12】（ａ）、（ｂ）は、路面推定におけるおおまかな路面領域を示す図。

【図13】ステレオカメラの片眼画像とV-Disparity画像の関係例。

【図14】ミリ波レーダによるセンシングの信号処理の例を説明するフローチャート。

【図15】カメラによるセンシングの信号処理の例を説明するフローチャート。

【図16】第１実施形態における信号処理動作タイミングの例を説明するタイミングチャートであり、（ａ）は、外界センサＡに対する認識処理結果を外界センサＢに対する認識処理に利用する場合の信号処理動作タイミング、（ｂ）は、外界センサＡに対する前処理結果を外界センサＢに対する認識処理に利用する場合の信号処理動作タイミングを説明するタイミングチャート。

【図17】第１実施形態のセンサシステムのシミュレーション評価を行う評価システムの構成例。

【図18】第１実施形態のセンサシステムのシミュレーション評価を行う際の時刻情報の簡略化の一例（センシング一回単位で全体を同時にセンシングしたとして扱う場合）を説明する図。

【図19】第１実施形態のセンサシステムのシミュレーション評価を行う際の時刻情報の簡略化の他例（主要な物体のみ一回のセンシング内でのセンシング時刻の違いを考慮）を説明する図。

【図20】第２実施形態における、外界センサＡのセンシング結果を用いて外界センサＢのセンシング結果の処理を行う信号処理システムにおける信号処理装置の内部構成例。

【図21】第３実施形態における、外界センサＡのセンシング結果を用いて外界センサＢのセンシング結果の処理を行う信号処理装置の内部構成例。

【図22】第４実施形態における、外界センサＡのセンシング結果を用いて外界センサＢのセンシング結果の処理を行う信号処理システムにおける信号処理装置の内部構成例。

【図23】第４実施形態における信号処理動作タイミングの例を説明するタイミングチャート。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について図面を参照して説明する。

【0012】

［第１実施形態］
本発明の第１実施形態の全体構成について図１を用いて説明する。

【0013】

本実施形態の信号処理システム１０００は、外界センサＡ１０１、外界センサＢ２０１、センサＡ用信号処理装置１００、センサＢ用信号処理装置２００、フュージョン処理装置６５０を含んで構成される。

【0014】

外界センサＡ１０１は車両周辺の外界状況のセンシングを行う第一の外界センサ、外界センサＢ２０１は車両周辺の外界状況のセンシングを行う第２の外界センサである。車両周辺状況のセンシングを行うセンサの具体例としては、ミリ波レーダ、単眼カメラ、ステレオカメラ、ライダー（LiDAR：Light Detection and Ranging）などがある。外界センサＡ１０１と外界センサＢ２０１は異なる種類または形式のセンサが一般的であるが、同一種類または同一形式のセンサでも構わない。例えば、共にカメラであっても、赤外線カメラと一般的なカメラを用いることも考えられる。

【0015】

センサＡ用信号処理装置１００、センサＢ用信号処理装置２００はそれぞれ、外界センサＡ１０１、外界センサＢ２０１に接続され、外界センサＡ１０１のセンシングデータ出力、外界センサＢ２０１のセンシングデータ出力に対して信号処理を行う装置であり、車両に搭載する場合、ECU（Electronic Control Unit）、すなわち電子制御ユニットとして実装する。信号処理機能は、ECUの一部機能として実装することもあり得る。

【0016】

これらの信号処理装置１００、２００は、センシングデータに対して信号処理を行い、車両周辺に存在する物体を検出し、必要に応じて物体の識別を行うことで、最終的な認識結果を出力する。検出結果には、位置情報（物体検出位置）や方位だけでなく、ミリ波やレーザを利用する場合は信号の反射遅延時間、カメラを利用する場合は時間的な物体の移動、画像の特徴、視差（ステレオカメラの場合）などから算出する距離情報も含まれる。

【0017】

センサＡ用信号処理装置１００、センサＢ用信号処理装置２００は時刻同期情報１０を交換し、時刻同期して動作する。同期動作する方法としては、IEEE 802.11ASとして示されている方法などがある。より簡単に同一のクロック信号をセンサＡ用信号処理装置１００、センサＢ用信号処理装置２００の両方へ供給しても良い。

【0018】

センサＡ用信号処理装置１００は、センサＢ用信号処理装置２００へセンサＡ処理情報１０８を出力する。センサＡ処理情報１０８は、外界センサＡ１０１によるセンシングデータ出力に対する信号処理により検出した自車両周辺に存在する物体の位置情報（物体検出位置）とともに、センシングを行った時刻情報を含む。

【0019】

センサＢ用信号処理装置２００は、外界センサＢ２０１のセンシングデータを処理する際に、センサＡ処理情報１０８に含まれる自車両周辺に存在する物体の位置情報を、外界センサＢ２０１によるセンシング時刻に合わせて補正し、外界センサＢ２０１のセンシングデータに対する認識処理に活用する（後で詳述）。位置情報の補正を行う際に、自車両の位置及び向きの時間的な変化を考慮するため、外部から入力される自車両位置情報７０１を参照する。

【0020】

センサＡ処理情報１０８に含まれる物体の位置情報は、センサＡ用信号処理装置１００における最終的な処理結果でも良いが、物体の存在検出後で物体の種類判定処理前の情報を用いたほうが良い。センサＢ用信号処理装置２００が認識処理を行う際に必要とする情報が得られた時点での情報を用いたほうが、外界センサＡ１０１のセンシングタイミングからセンサＢ用信号処理装置２００へセンサＡ処理情報１０８が出力されるまでの遅延が少なく（これを低遅延という）、位置情報の補正における誤差を抑制できる。

【0021】

センサＡ用信号処理装置１００は、認識結果をセンサＡ認識結果１０５としてフュージョン処理装置６５０へ出力し、センサＢ用信号処理装置２００は、認識結果をセンサＢ認識結果２０５としてフュージョン処理装置６５０へ出力する。センサＡ認識結果１０５及びセンサＢ認識結果２０５はフュージョン処理装置６５０で統合され、統合認識結果５９５として出力される。フュージョン処理装置６５０によるフュージョン処理は、特許文献１に示されている手法などの公知技術を用いて実施する。

【0022】

図２を用いて前記信号処理システム１０００におけるセンサＡ用信号処理装置１００及びセンサＢ用信号処理装置２００の内部構成について説明する。尚、以降の説明では、センサＡ用信号処理装置１００とセンサＢ用信号処理装置２００は同期動作していることを前提に説明する。

【0023】

センサＡ用信号処理装置１００では、外界センサＡ１０１のセンシングデータ出力をセンサ入力部Ａ１１０を経由して認識処理を行う認識部Ａ１５０へ送り、認識部Ａ１５０の認識結果を結果出力部Ａ１２０を経てセンサＡ認識結果１０５として出力する。

【0024】

センサ入力部Ａ１１０では、外界センサＡ１０１の動作制御に必要なパラメータやタイミング信号を外界センサＡ１０１へ出力し、外界センサＡ１０１のセンシングデータ出力を受け取り、認識部Ａ１５０が処理を行うまで、受け取ったセンシングデータを保持する。外界センサＡ１０１のセンシング時刻とセンシングデータを対応付けて管理することも行う。

【0025】

認識部Ａ１５０の認識処理で得た物体の検出情報は、協調データ出力部Ａ１４０へ送られる。この際、検出情報は、複数の物体を検出した場合でも、連続するセンシングデータ間でどの物体が同一の物体であるかを区別するために必要な識別情報を含む。協調データ出力部Ａ１４０は、認識部Ａ１５０が認識処理に用いたセンシングデータのセンシング時刻をセンサ入力部Ａ１１０から取得し、センシング時刻情報と共に物体の検出情報をセンサＡ処理情報１０８としてセンサＢ用信号処理装置２００へ出力する。

【0026】

センサＡ処理情報１０８は、センサＢ用信号処理装置２００では、協調データ入力部Ｂ２３０で受け取り、位置補正部Ｂ２８０へ送る。

【0027】

センサＢ用信号処理装置２００では、外界センサＢ２０１のセンシングデータ出力をセンサ入力部Ｂ２１０を経由して認識処理を行う認識部Ｂ２５０へ送り、認識部Ｂ２５０の認識結果を結果出力部Ｂ２２０を経てセンサＢ認識結果２０５として出力する。

【0028】

センサ入力部Ｂ２１０では、外界センサＢ２０１の動作制御に必要なパラメータやタイミング信号を外界センサＢ２０１へ出力し、外界センサＢ２０１のセンシングデータ出力を受け取り、認識部Ｂ２５０が処理を行うまで、受け取ったセンシングデータを保持する。外界センサＢ２０１のセンシング時刻とセンシングデータを対応付けて管理することも行う。

【0029】

位置補正部Ｂ２８０は、センサＡ処理情報１０８を受け取ると、位置補正処理に要する時間を考慮した上で、位置補正結果を算出し（後で詳述）、その位置補正結果を用いて認識部Ｂ２５０で次に認識処理を行うセンシングデータがどのデータであるのかを認識部Ｂ２５０より受け取り、対応するデータのセンシング時刻をセンサ入力部Ｂ２１０より受け取る。位置補正部Ｂ２８０は、センサＡ処理情報１０８に含まれるセンシング時刻と外界センサＢ２０１のセンシングデータのセンシング時刻の差分、すなわちセンサＡ処理情報１０８に含まれる外界センサＡ１０１でのセンシング時刻から外界センサＢ２０１のセンシングデータのセンシング時刻までの経過時間を計算し、自車両位置情報７０１を用いて車両の移動量や向きの変化を計算し、さらにセンサＡ処理情報１０８として入力されたセンサＡ用信号処理装置１００から得た物体位置（物体検出位置）とそのセンシング時刻の履歴情報（あるいは、物体位置の履歴情報及び履歴間の経過時間情報）を用いて、センサＡ処理情報１０８に含まれる位置情報を外界センサＢ２０１がセンシングしたセンシング時刻に対応する位置情報に補正する。

【0030】

尚、外界センサＡ１０１と外界センサＢ２０１のセンシング時刻の差分を求めるために、本実施形態ではそれぞれのセンシングデータを処理する信号処理装置１００、２００間の時刻同期を行っているが、位置情報の補正処理に用いる範囲で時刻の差分が大きくずれることがない手法を用いれば、時刻同期を行わなくても構わない。例えば、それぞれの信号処理装置１００、２００が異なる水晶発振器で動作しており、時刻としては同期処理が行われていない場合でも、それぞれの信号処理装置１００、２００が１秒単位で共通の４ビット程度のカウント情報を受け取り、時刻に関する情報として直前に受け取った当該カウント情報と、直前に当該カウント情報を受け取ってからのそれぞれの信号処理装置１００、２００内での経過時間情報を組合せて時刻情報として利用すれば、１秒間に異なる水晶発振器が出力するパルス数の差は通常僅かであるため、センシング時刻の差分を求める上では、十分な時刻精度を得ることができる。

【0031】

補正した位置情報は認識部Ｂ２５０へ送られ、次のセンシングデータの認識処理を行う際に用いる。例えば、位置情報で示された領域については、処理が重くても性能の良いノイズ除去処理を用いたり、認識率の高い物体識別アルゴリズム（認識処理アルゴリズム）を適用したり、認識部Ｂ２５０の認識処理で物体が検出されない場合に、ノイズフィルタの強度を弱めて（つまり、認識処理パラメータを変更して）再度認識処理を実施したりする。認識部Ｂ２５０は、領域を選択して負荷の高い処理を行うことで効率的に認識処理を行うことが可能となり、また、物体を検出できない部分に対して再認識処理を行うことで未検出となるケースを抑制する（換言すれば、未検出率増加を抑制する）ことも可能となる。

【0032】

図３を用いて外界センサＡ１０１がライダーで外界センサＢ２０１がカメラである場合を想定して、センサＢ用信号処理装置２００の認識処理におけるセンサＡ処理情報１０８から得た位置情報の利用イメージを説明する。

【0033】

図３において、ライダー（外界センサＡ１０１）のセンシングＬａ９２０において位置９２２に存在した車両は、センシングＬｂ９３０で位置９３２に移動している。カメラ（外界センサＢ２０１）のセンシングＣａ９４０において位置９４２に存在した車両は、センシングＣｂ９５０において位置９５３に移動している。図３において、ライダーとカメラそれぞれでセンシングされている車両は、同一の車両である。センシングＣｂ９５０の位置９５２は、ライダーのセンシングＬｂ９３０における位置９３２をカメラのセンシングデータでの位置に調整して投影したものである。ライダーとカメラでは、車両での取り付け位置の違いにより、空間上の同一位置に存在する物体の位置がずれてセンシングされるため、位置の調整が必要である。

【0034】

位置９５２は、ライダーでセンシングＬｂ９３０における位置９３２をカメラのセンシングＣｂ９５０における位置に調整したものであるが、センシングＬｂ９３０とセンシングＣｂ９５０でセンシングの時間が異なるため、センシングＣｂ９５０における車両の位置９５３とずれが生じている。そこで、位置補正部Ｂ２８０（図２参照）では、センシングＬａ９２０におけるセンサＡ処理情報１０８とセンシングＬｂ９３０におけるセンサＡ処理情報１０８を用いて、センシングＣｂ９５０のセンシング時刻における車両の位置を推定し、センシングＣｂ９５０の認識部Ｂ２５０による認識処理に利用する位置として出力する。

【0035】

位置補正部Ｂ２８０は、センシングＬａ９２０とセンシングＬｂ９３０の結果から、センシングＣｂ９５０における位置を推定するため、ライダーによる物体検出結果である物体の自車両からの向きと距離、ライダーの自車両での取り付け位置、センシングＬａ９２０、センシングＬｂ９３０のそれぞれのセンシング時刻情報及び各センシング時刻に対応する自車両の位置及び向きの情報を用いて、センシングＬｂ９３０のセンシング時刻における自車両の位置及び向きを基準とした、検出対象車両の空間上位置を最初に求める。次に、位置補正部Ｂ２８０は、センシングＣｂ９５０のセンシング時刻に対応する空間上の位置を外挿して求める。その後、位置補正部Ｂ２８０は、センシングＬｂ９３０のセンシング時刻からセンシングＣｂ９５０のセンシング時刻までの自車両の移動及び向きの変化の影響を考慮し、センシングＣｂ９５０のセンシング時刻における、自車両に対する検出対象車両の空間上の位置を求める。最後に、位置補正部Ｂ２８０は、カメラの自車両での取り付け位置を考慮して、センシングＣｂ９５０における対象車両の位置（カメラのセンシング結果（画像）における２次元的な位置）を求める。

【0036】

尚、ここでは、センシングＬａ９２０とセンシングＬｂ９３０の２つの物体検出結果を用いてセンシングＣｂのセンシング時刻における位置を推定したが、より多くのライダーによるセンシング結果を用いて推定してもよい。

【0037】

センサＡ用信号処理装置１００からセンサＡ処理情報１０８を出力する際、物体検出結果に検出処理対象としたセンシングデータのセンシング時刻情報を付加して出力するが、このセンシング時刻は、簡単には、センシングの開始時刻、あるいはセンシング開始からセンシング終了の中間時刻などをセンシング１回分単位で付加すればよい。しかし、外界センサによっては１回のセンシングに時間を要する場合があり、時刻による位置補正に対しては、時間精度不足になることがある。その対策方法として、時刻情報を付加する方法を図４から図６を用いて説明する。

【0038】

図４に示す方法は、外界センサＡ１０１のセンシングデータを複数のセンシング領域に分割し、センシング領域単位でセンシング時刻を付加・管理する方法である。例えば、センシング時に水平方向の走査を垂直方向に進める場合、図４に示すようにセンシングデータをセンシング領域Ａ９８１からセンシング領域Ｄ９８４までの複数のセンシング領域に分割し、センシング領域ごとに代表センシング時刻を付加する。代表センシング時刻は、当該センシング領域のセンシングの開始時刻、あるいはセンシング開始からセンシング終了の中間時刻などを用いる。位置補正部Ｂ２８０がセンシング時刻を用いる場合は、位置補正対象とする物体（物体ｐ９９０、物体ｑ９９２）のセンシングデータ上の位置（物体の領域の中心）から物体の存在するセンシング領域を判断し、当該センシング領域に対応するセンシング時刻を用いる。尚、分割数や分割方向は、外界センサのセンシング時の走査順序や１回のセンシングに要する時刻、位置補正に求められる精度を考慮して決定する。

【0039】

図５に示す方法は、外界センサＡ１０１のセンシングデータ上の水平位置と垂直位置からセンシング時刻を算出する時刻算出式９８８を定義し、センシング時刻として時刻算出に必要な係数Tcv、Tch、オフセット時刻Tsを用いて管理する方法である。位置補正部Ｂ２８０がセンシング時刻を用いる場合、位置補正対象とする物体（物体ｐ９９０、物体ｑ９９２）のセンシングデータ上の水平位置及び垂直位置から時刻計算式９８８を用いて、当該物体（物体ｐ９９０、物体ｑ９９２）のセンシング時刻として用いる。

【0040】

この時刻算出式９８８は一例であり、計算しやすいように数式を変形したり、外界センサのセンシングに合わせて異なる数式を用いたりしてもよい。時刻算出式９８８に、入力値に対する出力値を定義したテーブルを用いてもよい。また、時刻算出に必要な係数Tcv、Tchやオフセット時刻Tsなどのパラメータは、変化しないパラメータに関しては１回のセンシング毎に送付しなくても良く、変化したときだけ、あるいは一定のセンシング回数毎に送付することも考えられる。

【0041】

図６に示す方法は、外界センサＡ１０１のセンシングデータを用いて検出した物体毎にセンシング時刻情報を付加・管理する方法である。各物体（物体ｐ９９０、物体ｑ９９２）の領域に対応する代表センシング時刻を付加することで、位置補正部Ｂ２８０がセンシング時刻を用いる場合、位置補正対象とする物体（物体ｐ９９０、物体ｑ９９２）に付加されている代表センシング時刻を参照する。

【0042】

位置補正部Ｂ２８０は、時刻情報に基づき位置補正を行う際、仮に外界センサＢ２０１のセンシング時刻がセンシングデータ上の位置により異なる場合、センサ入力部Ｂ２１０から当該センシングデータのセンシング時刻を得るために、センシングデータ上の位置とセンシング時刻の関係として管理しておき、センサＡ用信号処理装置１００から得た検出物体の位置から外界センサＢ２０１のセンシング時刻を求め、センサＡ処理情報１０８に含まれるセンシング時刻との差分を計算する。

【0043】

図７及び図８を用いて本実施形態の信号処理システム１０００を車両システムに組み込んだ構成の一例を説明する。

【0044】

図示実施形態の車両システムでは、外界センサＡ１０１はセンサＡ用信号処理装置１００、外界センサＢ２０１はセンサＢ用信号処理装置２００に直接接続する。センサＡ用信号処理装置１００及びセンサＢ用信号処理装置は、車載ネットワークとしての共通バス７９０（ＣＡＮバスや車載Ethernetなどで構成）に接続している。ここでは、外界センサＡ１０１とセンサＡ用信号処理装置１００、外界センサＢ２０１とセンサＢ用信号処理装置２００を直接接続し、点群や画像などの大きいデータ量の信号が共通バス７９０に流れることを抑止している。

【0045】

共通バス７９０には、センサＡ用信号処理装置１００のセンサＡ認識結果１０５及びセンサＢ用信号処理装置２００のセンサＢ認識結果２０５を統合した統合認識結果５９５（図１参照）を出力するフュージョン処理装置６５０の他に、自車両のドライバに自車両の状態を伝える情報表示装置６１０（メータ類を始めとするインジケータなどで構成）、ドライバからの操作を受け取るユーザ入力装置６２０（ステアリング、アクセル、ブレーキ、その他スイッチ類などで構成）、及び自車両の機械的部分に関連した制御を行う車両制御システム７００が接続される。共通バス７９０は、バスを流れるデータ量確保や安全性確保、セキュリティ確保のために、複数の物理的なバスに分割してもよく、そのような場合は、適宜物理的なバス間で情報を交換するための装置を用いたり、共通バス７９０に接続するそれぞれの装置が必要に応じて複数の物理的バスに接続可能な構成にしたりする必要がある。

【0046】

センサＢ用信号処理装置２００に入力する自車両位置情報７０１（図１参照）は、例えば車両制御システム７００から共通バス７９０を介して供給する。車両制御システム７００は、自車両の機械的部分に関連した制御を行うため、自車両の速度や加速度などをセンサで取得しており、このセンサのセンシングデータを基にした情報を自車両位置情報７０１として供給する。

【0047】

車両制御システム７００の内部構成は図８に示すようになっており、共通バス７９０は、車両の機械的部分の統合的な制御を行う車両統合制御装置７０５を介して、動力源の制御を行うエンジン制御装置７１０、動力伝達部分の制御を行うトランスミッション制御装置７２０、ブレーキの制御を行うブレーキ制御装置７３０、ステアリングの制御を行うステアリング制御装置７４０が接続される。それぞれの制御装置（７１０、７２０、７３０、７４０）には、関連する機械的部分の動きを制御するアクチュエータ（７１２、７２２、７３２、７４２）とその状態を監視するセンサ（７１４、７２４、７３４、７４４）が接続されており、適切に動作するように制御される。

【0048】

図８に示す車両制御システム７００の構成は一例であり、複数の制御装置が統合されたり、制御装置間の接続を共通バス７９０で行ったり、電気自動車の場合はエンジン制御装置７１０がモータ制御装置になるなど、自車両の構成により適宜変更してもよい。

【0049】

フュージョン処理装置６５０の出力する統合認識結果５９５は車両統合制御装置７０５へ伝えられ、車両統合制御装置７０５は、例えば、衝突の危険性が高い場合には緊急ブレーキ操作に必要な指示を出し、先行車に追従するクルーズコントロールが有効な場合は設定速度、前方車両までの距離や相対速度などに基づき速度制御に必要な指示を出す。

【0050】

信号処理装置１００、２００やフュージョン処理装置６５０が車線なども識別できる場合は、車両統合制御装置７０５は、その認識結果に基づきステアリング制御装置７４０などにステアリング操作指示を出すことで、車線内に自車両を保つ。

【0051】

より高いレベルの自動運転に対応する際には、共通バス７９０に自動運転制御装置を付加する場合もある。この場合、フュージョン処理装置６５０の出力及び車両制御システム７００から供給される自車両の状態から、自動運転制御装置が車両としてとるべき挙動を判断し、車両制御システム７００へ指示を出す。

【0052】

尚、クルーズコントロールやステアリング制御など部分的にでも車両を自動的に制御する場合には、車両システム全体として、十分安全性を検討した上で、万一の場合にも安全を確保できるような実装をする必要がある。

【0053】

図９を用いて、外界センサＡ１０１がほぼ路面に沿う形で平面的に位置検出を行うミリ波レーダ、外界センサＢ２０１がカメラである場合を想定して、センサＢ用信号処理装置２００の認識処理におけるセンサＡ処理情報１０８から得た位置情報の利用イメージを説明する。

【0054】

図９において、ミリ波レーダ（外界センサＡ１０１）のセンシングＲｃ９６０において位置９６２に存在した車両は、センシングＲｄ９７０で位置９７２に移動している。カメラ（外界センサＢ２０１）のセンシングＣｃ９４５において位置９４８に存在した車両は、センシングＣｄ９５５において位置９５８に移動している。図９において、ミリ波レーダとカメラそれぞれでセンシングされている車両は同一の車両である。

【0055】

ミリ波レーダが平面的に位置検出を行う外界センサである場合、センサＡ処理情報１０８に含まれる物体の位置も平面に対する位置（つまり、外界センサからの角度と距離）となり、高さ方向の情報を得ることができない。このような場合には、位置補正部Ｂ２８０は、図１０に示すように、まずミリ波レーダが検出を行う平面において、位置９６２と位置９７２、それぞれの位置９６２、９７２をセンシングしたセンシング時刻における自車両の位置及び向き、センシングＣｄ９５５のセンシング時刻、自車両の位置及び向きから、センシングＣｄ９５５のセンシング時刻における位置９７４を外挿により推定する。この際、センシングＲｃ９６０以前のミリ波レーダのセンシング結果も用いて外挿して推定しても良い。また、検出した物体の相対速度が分かる場合、相対速度を用いて推定を行ってもよい。その後、位置補正部Ｂ２８０は、センシングＣｄ９５５に対して路面推定を行い、図１１に示すようにセンシングＣｄ９５５における推定路面９５６に対してミリ波レーダによるセンシング領域を投影した領域９７１を求め、領域９７１に対応する位置９７４（図１０参照）を計算することで、カメラによるセンシングデータ上の位置９７５を（推定路面９５６上に対応付けて）求める。

【0056】

図１１の位置９７５で示される領域は、幅がミリ波レーダの分解能により誤差がある場合は、その分マージンをとって広げ、高さは検出対象物として想定する物体９５８の最大高さを予め決めておき、物体（対象物）９５８までの距離からセンシングデータ上の高さを算出する。センシングデータ上での縦位置は、位置９７５に推定路面９５６の位置を物体９５８の底面と仮定して求める。その結果、センシングＣｄ９５５のセンシングデータ上の領域９５９が求まる。

【0057】

尚、路面推定処理は、位置補正処理として位置補正部Ｂ２８０で行っても良いし、位置補正以外の認識処理にも利用することを考慮し、認識部Ｂ２５０で行って、その結果を位置補正部Ｂ２８０に提供しても良い。

【0058】

図１２及び図１３を用いて、カメラとしてステレオカメラを用いる場合の路面推定処理について説明する。

【0059】

路面推定を行うために、まず、センシングデータにおけるおおまかな路面領域を推定する。例えば、図１２（ａ）に示すように、カメラの片眼のセンシングデータ９０１に対して、画像の特徴から道路の可能性が高い領域を台形領域に近似して推定する。このような領域９０２は、進行方向が直線の道路が一定幅、一定勾配であることを仮定し、路面が画像上に投影される位置を算出することで求められる。

【0060】

実際には道路が曲がっている場合もあるので、画像から白線を検知したり、ステレオ視による視差から得られる距離情報の特徴を基に路肩を検出したりすることで、道路の曲がり具合を推定した上で、図１２（ｂ）に示すように、おおまかな路面領域９０３を推定する。

【0061】

次に、図１３右図に示すような垂直位置と視差による仮想平面を考え、センシングデータの垂直位置毎に、路面領域の部分における視差を投票した画像を生成する。投票の数は画像の濃淡として反映する。この画像をV-Disparity画像とする。V-Disparity画像では、図１３左図に示すように、近傍の平坦な路面９０４及び遠方の上り勾配の路面９０５は、それぞれ図１３右図の領域９１４の部分及び領域９１５の部分のように勾配の異なる斜め方向の直線状に投影される性質がある。また、先行車両のような障害物は、領域９１７のように垂直方向に直線状に投影される性質がある。

【0062】

V-Disparity画像を作成した後、V-Disparity画像において最も支配的な直線を検出するため、例えばまず一定の閾値で２値化した画像に変換し、ハフ変換を行う。検出される直線の例を図１３右図の直線９１１として示す。直線９１１は、推定された路面が画像上に投影される垂直位置と視差の関係を示しており、三次元空間上の奥行方向の距離と路面高さ位置に変換可能である。V-Disparity画像上では、検出された直線９１１は、近傍側（図１３右図の領域９１４部分）では視差の投票結果とよく一致しているが、勾配が変化している遠方側（図１３右図の領域９１５部分）ではずれが発生しており、直線９１１で表す路面推定結果の信頼性が低いと考えられる。

【0063】

信頼性が低い部分は、具体的には、直線９１１が通る場所の視差の投票数を確認し、投票数が一定以下になる場所が一定以上連続して発生した部分として判定する。この判定により、図１３右図の点９１６より垂直位置が上の部分に対応するセンシングデータの推定路面は無効と判断する。その結果、直線９１１から有効な推定路面を得ることができる。

【0064】

前記した信号処理装置１００、２００（の認識部Ａ１５０、認識部Ｂ２５０）での信号処理手順の例を図１４及び図１５に示す。図１４はミリ波レーダによるセンシングの信号処理を想定し、図１５はステレオカメラによるセンシングの信号処理を想定している。

【0065】

図１４において、センサ出力Ｒ（Ｓ５０１）では、時間的に周波数の変化するミリ波を送信し、その反射波を複数の受信アンテナで受信して、送信信号、各受信アンテナでの受信信号を共にセンシングデータとして出力する。出力されたセンシングデータは、センサ入力Ｒ（Ｓ５０２）でバッファに保存する。信号間の加算などのバッファ不要な簡易な処理は、バッファ前に行う。

【0066】

保存したデータから、極大点検出Ｒ（Ｓ５１２）で、センサ出力Ｒ（Ｓ５０１）にてミリ波レーダからミリ波を送信した後に反射波を受信するまでの経過時間、あるいは送信周波数と受信周波数のずれ（時間的に周波数を変化させると、反射波の遅延に応じて同一タイミングにおける送信周波数と受信周波数にずれが発生する）を基にミリ波を反射した物体までの距離を算出する。また、受信アンテナ間の受信波の位相差から物体の方位を検出する。この際、実際の処理としては、例えばRange-Doppler FFT処理を施した結果のピークとして現れるので、極大点を検出して、極大点毎に個々の物体の自車両からの方向、距離、相対速度を検出する。

【0067】

極大点検出Ｒ（Ｓ５１２）後、ノイズ除去Ｒ（Ｓ５１４）では、これまでの検出履歴から、時間的に突発的な検出でないかを確認し、突発的な検出であれば、ノイズとして除去する。

【0068】

ノイズ除去Ｒ（Ｓ５１４）後、物体追跡Ｒ（Ｓ５１６）では、各検出物体に対し、直前の検出結果の位置からの移動量や移動速度との関係を確認して、直前の検出結果と同一の物体がどの物体であるのかの対応付けを行う。別の外界センサに対して情報を提供する際、検出位置の時間的な補正を行う上で、物体毎に移動を予測する必要があるので、各物体の動く速度と方向の情報、もしくは同一物体を識別できる位置情報が必要となる。同一物体を識別するために、物体毎に識別ＩＤを付加して管理する。

【0069】

ここでは、この物体追跡Ｒ（Ｓ５１６）までが、前処理Ｒ（Ｓ５１０）として処理される。

【0070】

検出した各物体は、共通特徴パラメータ検出Ｒ（Ｓ５２２）で、検出物体の特徴パラメータを抽出する。例えば、物体の移動速度や移動パターン、反射波の強さ及びその変化を特徴パラメータとして抽出する。以降の認識処理Ｒ（Ｓ５２０）では、必要に応じてこのパラメータを参照する。

【0071】

自動車識別Ｒ（Ｓ５２４）では、特徴パラメータ及び物体追跡による当該物体の以前の識別情報を考慮して、自動車の特徴を満たす場合、当該物体を自動車としてマークする。自転車識別Ｒ（Ｓ５２６）では、特徴パラメータ及び物体追跡による当該物体の以前の識別情報を考慮して、自転車の特徴を満たす場合、当該物体を自転車としてマークする。同様に標識識別Ｒ（Ｓ５２８）では、標識の特徴を満たす場合、当該物体を標識としてマークする。ミリ波レーダでは標識の内容を識別することはできないが、後にフュージョン処理を行う際にカメラ等で検出した標識の検出情報の確認に利用することが可能であるため、標識の存在の確認は行う。

【0072】

最終的に、認識処理結果出力Ｒ（Ｓ５３０）では、個々の物体毎に物体認識結果（センサ認識結果）としての識別ＩＤ、方向、距離、相対速度、物体の種類を出力する。

【0073】

一方、図１５において、センサ出力Ｓ（Ｓ５３１）では、ステレオカメラにて外界を映像としてセンシングする。センシングの際、外界環境に応じて、露光時間や露光感度を適宜調整する。センシングデータは、センサ入力Ｓ（Ｓ５３２）でバッファされ、画像補正Ｓ（Ｓ５４１）では、カメラの取り付け位置や光学系の誤差に伴う画像の歪み補正、センサの特性誤差による明るさや色合いの補正、センサ出力Ｓ（Ｓ５３１）にてステレオカメラに存在する欠陥画素の画素情報の補間などを行う。

【0074】

画像補正Ｓ（Ｓ５４１）の後、視差検出Ｓ（Ｓ５４２）を行い、左右カメラの画像の各画素の視差を求める。その後、視差情報を活用し、路面検出Ｓ（Ｓ５４３）で推定路面を求める。

【0075】

路面検出Ｓ（Ｓ５４３）の後、物体検出Ｓ（Ｓ５４４）で同一視差の塊部分で推定路面と異なる部分を物体として検出する。検出した物体に対して、視差から距離を算出し、当該物体の領域の距離の平均値を求め、物体までの距離を算出する。また、映像上の位置から自車両の向きに対する物体の方向を算出する。この際、検出した物体の大きさも考慮しながら、小さく時間的にも安定的に検出されていない物体に関しては、検出対象外とする。

【0076】

物体検出Ｓ（Ｓ５４４）で検出した物体は、物体追跡Ｓ（Ｓ５４５）で、各検出物体に対し、直前の検出結果の位置からの移動量や移動速度との関係を確認して、直前の検出結果と同一の物体がどの物体であるのかの対応付けを行う。同一物体を識別するために、物体毎に識別ＩＤを付加して管理する。同一物体に関して距離の変化を求め、センシングの時間間隔を用いて計算することで、相対速度を算出する。

【0077】

ここでは、この物体追跡Ｓ（Ｓ５４５）までが、前処理Ｓ（Ｓ５４０）として処理される。

【0078】

検出した各物体は、共通特徴パラメータ検出Ｓ（Ｓ５５１）で、エッジ分布や輝度部分、実際の大きさなどの認識処理で共通的に用いるパラメータを算出する。以降の認識処理Ｓ（Ｓ５５０）では、必要に応じてこのパラメータを参照する。

【0079】

自動車識別Ｓ（Ｓ５５２）では、特徴パラメータ及び物体追跡による当該物体の以前の識別情報を考慮して、自動車の特徴を満たす場合、当該物体を自動車としてマークする。自転車識別Ｓ（Ｓ５５３）では、特徴パラメータ及び物体追跡による当該物体の以前の識別情報を考慮して、自転車の特徴を満たす場合、当該物体を自転車としてマークする。歩行者識別Ｓ（Ｓ５５４）も同様に、歩行者の特徴を満たす場合、当該物体を歩行者としてマークする。可能な場合、大人または子供の区別も行う。標識識別Ｓ（Ｓ５５５）では、特徴を満たす場合、当該物体を標識としてマークすると同時に、標識の内容を識別する。

【0080】

最終的に、認識処理結果出力Ｓ（Ｓ５６０）では、個々の物体毎に物体認識結果（センサ認識結果）としての識別ＩＤ、位置、距離、相対速度、物体の種類、付加情報（標識の内容など）を出力する。

【0081】

図１４、図１５に示すように、センサ信号処理には複数の処理が必要であり、おおまかに物体の検出に必要な前処理部分（図１４の前処理Ｒ（Ｓ５１０）、図１５の前処理Ｓ（Ｓ５４０））と、物体の識別や内容認識に必要な認識処理部分（図１４の認識処理Ｒ（Ｓ５２０）、図１５の認識処理Ｓ（Ｓ５５０））がある。

【0082】

図１６を用いて、センサＡ用信号処理装置１００側の外界センサＡ１０１に対する処理とセンサＢ用信号処理装置２００側の外界センサＢ２０１に対する信号処理の動作タイミングを説明する。

【0083】

基本動作として、外界センサＡ１０１に対する処理では、外界センサＡ１０１によるセンシングＡ１（Ｓ８１１）に対して前処理Ａ１（Ｓ８２１）を行い、前処理Ａ１（Ｓ８２１）の出力に対して認識処理Ａ１（Ｓ８３１）を行い、前述の認識処理結果を出力する。また、外界センサＡ１０１によるセンシングＡ２（Ｓ８１２）に対して前処理Ａ２（Ｓ８２２）を行い、前処理Ａ２（Ｓ８２２）の出力に対して認識処理Ａ２（Ｓ８３２）を行い、前述の認識処理結果を出力する。センシングＡ３（Ｓ８１３）以降の処理も同様に行う。すなわち、センシング、前処理、認識処理のパイプライン処理を行う。

【0084】

一方、外界センサＢ２０１に対する処理では、外界センサＢ２０１によるセンシングＢ１（Ｓ８６１）に対して前処理Ｂ１（Ｓ８７１）を行い、前処理Ｂ１（Ｓ８７１）の出力に対して認識処理Ｂ１（Ｓ８８１）を行い、前述の認識処理結果を出力する。また、外界センサＢ２０１によるセンシングＢ２（Ｓ８６２）に対して前処理Ｂ２（Ｓ８７２）を行い、前処理Ｂ２（Ｓ８７２）の出力に対して認識処理Ｂ２（Ｓ８８２）を行い、前述の認識処理結果を出力する。センシングＢ３（Ｓ８６３）以降の処理も同様である。すなわち、外界センサＡ１０１と同様に、センシング、前処理、認識処理のパイプライン処理を行う。

【0085】

外界センサＡ１０１の処理を利用して外界センサＢ２０１の処理を行うにあたり、図１６（ａ）では、外界センサＡ１０１に対する認識処理の結果を外界センサＢ２０１に対する認識処理に利用する場合の動作タイミングを示している。処理を行うタイミングの関係で、認識処理Ｂ２（Ｓ８８２）では位置補正Ｂ１（Ｓ８７５）の出力を利用している。すなわち、センシングＡ１（Ｓ８１１）までの情報を基に位置補正Ｂ１（Ｓ８７５）を行い、その位置補正Ｂ１（Ｓ８７５）をセンシングＢ２（Ｓ８６２）に対する認識処理に利用することになる。

【0086】

図１６（ｂ）では、外界センサＡ１０１に対する前処理の結果を外界センサＢ２０１に対する認識処理に利用する場合の動作タイミングを示している。処理を行うタイミングの関係で、認識処理Ｂ２（Ｓ８８２）では位置補正Ｂ２（Ｓ８７６）の出力を利用している。すなわち、（センシングＡ１（Ｓ８１１）までの情報に代えて）センシングＡ２（Ｓ８１２）までの情報を基に位置補正Ｂ２（Ｓ８７６）を行い、その位置補正Ｂ２（Ｓ８７６）をセンシングＢ２（Ｓ８６２）に対する認識処理に利用することになる。

【0087】

図１４及び図１５を用いて説明したように、センサ信号処理では、前処理で物体の位置検出を行うため、図１６（ａ）に示すように外界センサＡ１０１に対する認識処理の結果を用いる代わりに、図１６（ｂ）に示すように前処理の結果を用いることが可能である。図１６（ｂ）に示すタイミングを用いることにより、外界センサＢ２０１の認識処理において図１６（ａ）に比べてより直近の外界センサＡ１０１のセンシングデータを用いた処理結果（物体検出結果）を利用できる。位置補正では、外挿を用いるため、補正の精度を向上する上でより直近のセンシングデータを利用した方がよく、すなわち、外界センサＡ１０１のセンサ信号処理における中間処理結果（認識処理途中の前処理の結果）を外界センサＢ２０１のセンシングデータの認識処理に利用した方がよい。

【0088】

尚、補正の精度を若干犠牲にして、一部認識処理を行ってから、その認識情報もセンサＡ処理情報１０８（図１参照）に含めて、外界センサＢ２０１のセンシングデータの認識処理に用いることもあり得る。例えば、外界センサＡ１０１がミリ波レーダである場合は、図１４の自動車識別Ｒ（Ｓ５２４）まで行い、自動車であるかを判別した情報を外界センサＢ２０１のセンシングデータの認識処理で用いる場合、当該外界センサＢ２０１の認識処理で自動車識別を行う際に、自動車識別Ｒ（Ｓ５２４）の結果が真の場合は自動車の可能性がやや低い場合でも自動車と認識し、一方、自動車識別Ｒ（Ｓ５２４）の結果が偽の場合は自動車の可能性がやや高い場合でも自動車と認識しないことで、外界センサＢ２０１のセンシングデータに対する認識精度を向上させることが考えられる。

【0089】

図１７を用いて、図１に示す信号処理システム１０００（センサシステム）のシミュレーション評価を行う評価システム１００１の構成を説明する。

【0090】

この評価システム１００１の評価対象部分３４０は、前記信号処理システム１０００を構成するセンサＡ用信号処理装置１００、センサＢ用信号処理装置２００、及びフュージョン処理装置６５０で構成され、評価システム１００１は、外界センサＡ１０１及び外界センサＢ２０１でセンシングした結果を評価対象部分３４０の構成で物体としてどの程度認識可能であるかの評価を行うシステムである。

【0091】

本実施形態の評価システム１００１は、主に、車両制御システムモデル３７０、道路環境生成モデル３９０、情報表示装置モデル３１０、疑似ユーザ入力生成モデル３２０、疑似センシング信号生成装置３３０を含んで構成され、信号処理システム１０００（のフュージョン処理装置６５０）の出力（統合認識結果５９５）は、車両の動きを模擬する車両制御システムモデル３７０に接続され、車両制御システムモデル３７０は、車両の周辺環境を模擬する道路環境生成モデル３９０に接続され、疑似センシング信号生成装置３３０にて、車両制御システムモデル３７０（で生成した情報）と道路環境生成モデル３９０（で生成した情報）から外界センサＡ１０１及び外界センサＢ２０１のセンシングデータの模擬センシング信号を生成し、そのセンシングデータの模擬センシング信号を信号処理システム１０００の信号処理装置１００、２００に入力する。

【0092】

詳しくは、車両制御システムモデル３７０は、図７に示す車両制御システム７００をシミュレーション用にモデル化したものである。道路環境生成モデル３９０は、車両システムモデル３７０で計算した自車両の位置及び向きから、自車両周辺のあるシミュレーション時刻における外界の周辺環境（地形、道路、道路上の物体、道路周辺の物体など）に関する位置、移動方向、速度、光の状態や路面の状態などを求めるシミュレーションモデルである。道路環境生成モデル３９０は、車両制御システムモデル３７０と密に連携し、自車両の挙動のシミュレーションを行う。

【0093】

擬似ユーザ入力生成モデル３２０は、ドライバの操作に相当する信号を車両制御システムモデル３７０に供給するシミュレーションモデルであり、情報表示装置モデル３１０は、車両制御システムモデル３７０が出力する信号に基づき評価環境上の画面に擬似的にメータや警告灯表示を行ったり、車両制御システムモデル３７０の出力の時間的変化の記録を行ったりするシミュレーションモデルである。

【0094】

擬似センシング信号生成装置３３０は、道路環境生成モデル３９０で生成した情報を基にして、外界センサＡ１０１及び外界センサＢ２０１の信号（ＣＧやレーダ反射信号などの疑似センシング信号）を擬似的に生成する。擬似センシング信号生成装置３３０が実際の車両システムに相当するシミュレーションタイミングで擬似的な信号を信号処理システム１０００のセンサＡ用信号処理装置１００及びセンサＢ用信号処理装置２００に与えることで、評価対象部分３４０が動作し、その認識結果が車両制御システムモデル３７０に伝わり、これにより、評価対象部分３４０を含めて自車両の動きをシミュレーションできる。評価システム１００１では、シミュレーション実行中の評価対象部分３４０の入出力及び内部信号を収集・分析することで、評価対象部分３４０が十分な認識を行えているか否か、また車両制御システムモデル３７０に相当する車両で車両挙動として所望の動作を得ることができるか否かを評価可能である。

【0095】

図１８及び図１９を用いて、擬似センシング信号生成装置３３０がセンサＡ用信号処理装置１００及びセンサＢ用信号処理装置２００に与える擬似的な信号を生成する際の簡略化方法を説明する。

【0096】

前記のように、外界センサがセンシングを行う際、センシングする場所によりセンシング時刻が異なる場合がある。例えばカメラに用いるＣＭＯＳセンサでは、ピクセルやラインなどの単位で露光時刻が少しずつ異なる場合がある。擬似センシング信号生成装置３３０でこの時間的ずれを再現するのが困難である場合、センサＡ処理情報１０８で個々の物体毎にセンシング時刻が必要である場合には、図１８に示すように、センシング一回単位で全体を同時に（同一時刻で）センシングしたものとして擬似的な信号を生成した上で、当該センシング一回を行った時刻ftに全ての物体（物体ｐ９９０、物体ｑ９９２、物体ｒ９９４、物体ｓ９９６）のセンシング時刻を揃えて出力するように、シミュレーション環境用にセンサＡ用信号処理装置１００を改変する。物体毎にセンシング時刻が必要ではないが、図４を用いて説明したようにセンシング領域毎にセンシング時刻を示す場合は、全てのセンシング領域のセンシング時刻をftに揃え、図５を用いて説明したように時刻算出式９８８を用いてセンシング時刻を示す場合は、数式の係数を0にし、Ts=ftとしてセンシング時刻をセンシングの位置に依存しないようにすれば良い。

【0097】

図１８に示すように全ての物体のセンシング時刻を同一時刻にすると、位置補正の動作確認が不十分である場合には、図１９に示すように、擬似センシング信号生成装置３３０で主要な物体（道路上の車両など）（物体ｐ９９０、物体ｑ９９２）に限定し、一回のセンシングにおけるセンシング時刻の違いを考慮して擬似的なセンシング信号を生成する方法がある。図１９では、車両である物体ｐ９９０及び物体ｑ９９２を主要な物体とみなし、センシング時刻をそれぞれpt、qtとして、そのセンシング時刻pt、qtに対応する位置に車両のセンシング信号を生成し、物体ｒ９９４、物体ｓ９９６に関してはセンシング時刻ftとして当該一回のセンシングに対応する代表センシング時刻を用い、その代表センシング時刻ftにあわせた位置にセンシング信号を生成する。

【0098】

この方法のように、物体毎にセンシング時刻を付加してセンサＡ処理情報１０８に含める構成では、シミュレーション環境用にセンサ入力部Ａ１１０を一回のセンシングでは全体が同一の時刻にセンシングされたとしてセンシング時刻を管理させた上で、擬似センシング信号生成装置３３０からセンサＡ用信号処理装置１００の認識部Ａ１５０及び協調データ出力部Ａ１４０に当該主要な物体（例えば、物体ｐ９９０、物体ｑ９９２）のセンシング時刻に関する情報を送り、それらの物体のみ認識部Ａ１５０及び協調データ出力部Ａ１４０においてセンシング時刻をその情報に基づき上書きするように改変すればよい。

【0099】

図４を用いて説明したようにセンシング領域毎にセンシング時刻を示す場合や図５を用いて説明したように時刻算出式９８８を用いてセンシング時刻を示す場合は、センサＡ処理情報１０８で物体毎にセンシング時刻を付加できないため、協調データ出力部Ａ１４０に当該主要な物体（例えば、物体ｐ９９０、物体ｑ９９２）のセンシング時刻に関する情報を送る代わりに、位置補正部Ｂ２８０に当該主要な物体（例えば、物体ｐ９９０、物体ｑ９９２）のセンシング時刻に関する情報を送り、位置補正部Ｂ２８０でセンシング時刻をその情報に基づき上書き・管理するように改変する。

【0100】

カメラで用いられるＣＭＯＳセンサでは、例えばライン毎に露光タイミングが異なるなど、センシングの位置によりセンシング時刻が異なるセンサが多いが、このようなセンシングに対応する疑似センシング信号生成をＣＧ（コンピュータグラフィックス）を用いて描画する際、センシング時刻の違いの再現にはセンサ上に投影される位置毎に当該位置に描画される可能性のある物体の３次元位置再計算及びその結果に基づくレンダリング処理が必要となり、計算負荷が高くなる。前述した図１８あるいは図１９に示す方法を用いると、例えばカメラの信号を擬似センシング信号生成装置３３０で生成する場合、少なくとも物体毎に予め３次元位置を特定した上でＣＧ描画処理を行えるため、ＣＧ描画に伴う計算負荷を抑制できる。

【0101】

以上で説明したように、本実施形態では、それぞれの外界センサのセンシングデータに対する信号処理装置１００、２００を、同一クロック利用、あるいはIEEE 802.11ASで定義される方法などを用いて、時刻同期させる。また、接続されている外界センサのセンシングタイミングを管理する。センサＡ用信号処理装置１００は、認識処理結果あるいは認識処理途中の情報として、対象としている物体の位置情報とともに、処理対象としているセンシングデータを取得したセンシング時刻をセンサＢ用信号処理装置２００に対して出力する。外界センサＢ２０１のセンシングデータを処理するセンサＢ用信号処理装置２００は、センサＡ用信号処理装置１００から受け取った物体の位置情報とセンシング時刻の履歴から、外界センサＢ２０１で取得したセンシングデータのセンシング時刻に対応した物体の位置を推定し、外界センサＢ２０１で取得したセンシングデータの認識処理における重点処理領域として用いる。

【0102】

これにより、本実施形態によれば、複数の外界センサのセンシングデータを用いて認識処理を行う際、外界センサＡ１０１（第一の外界センサ）の認識処理結果あるいは認識処理途中の情報である物体位置情報を用いて外界センサＢ２０１（第二の外界センサ）の認識処理を行う場合において、外界センサＢ２０１のセンシングデータに対して重点的な処理などの特定の処理を行う位置のずれを抑制でき、もって、位置精度の向上から外界センサＢ２０１の認識精度の向上につながる。また、特定の処理を行う領域のマージンを削減でき、認識処理の処理負荷を低減できる。

【0103】

［第２実施形態］
図２０を用いて本発明の第２実施形態を説明する。

【0104】

本第２実施形態は、第１実施形態の図２で説明した構成に対し、位置補正部をセンサＢ用信号処理装置２００からセンサＡ用信号処理装置１００へ移動した構成となっている。

【0105】

図２０において、センサＡ用信号処理装置１００にて、外界センサＡ１０１から、センサ入力部Ａ１１０、認識部Ａ１５０、結果出力部Ａ１２０を経てセンサＡ認識結果１０５を出力する流れ、及び、センサＢ用信号処理装置２００にて、外界センサＢ２０１から、センサ入力部Ｂ２１０、認識部ＢＸ２５２、結果出力部Ｂ２２０を経てセンサＢ認識結果２０５を出力する流れは、上記第１実施形態と同じである。

【0106】

本実施形態において、センサＡ用信号処理装置１００に設けられた位置補正部ＡＸ１８２は、認識部Ａ１５０の認識処理で得た物体の検出情報、及び認識部Ａ１５０が認識処理に用いたセンシングデータのセンシング時刻をセンサ入力部Ａ１１０から取得する。この際、外界センサＡ１０１では、センシングデータ上の位置によりセンシング時刻が異なる場合は、検出した物体毎にセンシング時刻を管理する。

【0107】

センサＢ用信号処理装置２００の認識部ＢＸ２５２は、次の認識処理を行う時間から、センサＡ用信号処理装置１００から位置補正を施した物体の位置情報を取得するまでに要する時間以上前もって、協調データ入力部ＢＸ２３２に対し、センサＡ用信号処理装置１００から外界センサＡ１０１でセンシングして得た物体の位置情報を取得するように要請する。この際、取得する位置情報には、次の認識処理に利用する外界センサＢ２０１でのセンシングデータがどのタイミングのセンシングデータになるのかを区別する情報を含める。

【0108】

要請を受けた協調データ入力部ＢＸ２３２は、対応するセンシングデータのセンシング時刻をセンサ入力部Ｂ２１０より受け取り、当該センシング時刻に対応する外界センサＡ１０１のセンシングデータを基に検出した物体の位置情報を送信するように協調データ出力部ＡＸ１４２に要求する。この際、外界センサＢ２０１は、センシングデータ上の位置によりセンシング時刻が異なる場合は、当該センシング時刻をセンシングデータ上の位置とセンシング時刻の関係として受け取る。

【0109】

要求を受けた協調データ出力部ＡＸ１４２は、要求に含まれるセンシング時刻情報とともに、認識部Ａ１５０で検出した物体の位置を当該センシング時刻情報から求めた時刻の位置に合わせて補正した上で協調データ出力部ＡＸ１４２に送出するように、位置補正部ＡＸ１８２に要求する。

【0110】

位置補正部ＡＸ１８２は、協調データ出力部ＡＸ１４２から要求を受け取ると、認識部Ａ１５０から得ている最新の物体検出情報及びそれ以前の物体検出情報を用いて、協調データ出力部ＡＸ１４２からの要求に適合したセンシング時刻情報、すなわち外界センサＢ２０１のセンシング時刻情報に対応する位置情報を外挿で算出する。位置補正部ＡＸ１８２の算出結果は、協調データ出力部ＡＸ１４２及び協調データ入力部ＢＸ２３２を経由して認識部ＢＸ２５２に伝えられ（出力され）、認識部ＢＸ２５２は、その算出結果を次の認識処理の際に活用する。

【0111】

本第２実施形態においても、上記第１実施形態と同様の作用効果が得られることは勿論である。

【0112】

［第３実施形態］
図２１を用いて本発明の第３実施形態を説明する。

【0113】

本第３実施形態は、第１実施形態の図２で説明した構成に対し、センサＡ用信号処理装置１００とセンサＢ用信号処理装置２００をセンサＡＢ用信号処理装置３００に統合した構成となっている。

【0114】

図２１において、外界センサＡ１０１から、センサ入力部ＡＺ１１４、認識部ＡＺ１５４、結果出力部Ａ１２０を経てセンサＡ認識結果１０５を出力する流れ、及び、外界センサＢ２０１から、センサ入力部Ｂ２１０、認識部Ｂ２５０、結果出力部Ｂ２２０を経てセンサＢ認識結果２０５を出力する流れは、上記第１実施形態と同じである。

【0115】

本実施形態においては、センサＡＢ用信号処理装置３００に統合したのに伴い、センサＡ処理情報１０８の通信に必要となる入出力部（図２の協調データ出力部Ａ１４０及び協調データ入力部Ｂ２３０）が省略され、これに伴い、位置補正部の入出力が上記第１実施形態と異なるため、位置補正部ＢＺ３８４に置き換えられている。図２のセンサ入力部Ａ１１０、認識部Ａ１５０も位置補正部ＢＺ３８４に接続されることになるため、センサ入力部ＡＺ１１４、認識部ＡＺ１５４に置き換えられているが、そこでやりとりする情報は、実質的に第１実施形態でセンサ入力部Ａ１１０、認識部Ａ１５０が協調データ出力部Ａ１４０とやりとりする情報と同じである。また、位置補正部ＢＺ３８４がセンサ入力部ＡＺ１１４、認識部ＡＺ１５４から受け取る情報も、実質的に第１実施形態で位置補正部Ｂ２８０がセンサ入力部Ａ１１０及び認識部Ａ１５０から協調データ出力部Ａ１４０及び協調データ入力部Ｂ２３０を経て受け取る情報と同じである。位置補正部ＢＺ３８０がセンサ入力部Ｂ２１０及び認識部Ｂ２５０とやりとりする情報も、実質的に第１実施形態で位置補正部Ｂ２８０とやりとりする情報と同じである。

【0116】

本実施形態において、センサＡＢ用信号処理装置３００の位置補正部ＢＺ３８４は、第１実施形態の位置補正部Ｂ２８０と同様に、認識部ＡＺ１５４で検出した各物体の位置情報を外界センサＡ１０１及び外界センサＢ２０１のセンシング時刻情報を用いて補正した上で認識部Ｂ２５０に伝え、認識部Ｂ２５０は、その情報を認識処理を行う際に用いる。

【0117】

本第３実施形態においても、上記第１実施形態と同様の作用効果が得られることに加えて、当該センサＡＢ用信号処理装置３００の装置構成（ひいては、信号処理システムのシステム構成）を簡素化することができる。

【0118】

［第４実施形態］
図２２及び図２３を用いて本発明の第４実施形態を説明する。

【0119】

本第４実施形態は、第１実施形態の図２で説明した構成をもとに、外界センサＢ２０１のセンシングタイミングに合わせて外界センサＡ１０１のセンシングタイミングを制御する構成となっている。

【0120】

第４実施形態の信号処理装置１００、２００の内部構成を図２２に示す。

【0121】

図２２において、センサＡ用信号処理装置１００にて、外界センサＡ１０１から、センサ入力部ＡＹ１１３、認識部Ａ１５０、結果出力部Ａ１２０を経てセンサＡ認識結果１０５を出力する流れ、及び、センサＢ用信号処理装置２００にて、外界センサＢ２０１から、センサ入力部Ｂ２１０、認識部ＢＹ２５３、結果出力部Ｂ２２０を経てセンサＢ認識結果２０５を出力する流れは、上記第１実施形態と同じである。また、協調データ出力部ＡＹ１４３及び協調データ入力部ＢＹ２３３を経て、位置補正部Ｂ２８０で、認識部Ａ１５０で検出した物体の位置を、外界センサＡ１０１のセンシング時刻及び外界センサＢ２０１のセンシング時刻に基づき補正し、センサＢ用信号処理装置２００の認識部ＢＹ２５３で補正した位置を利用する流れも同じである。

【0122】

但し、本第４実施形態において、センサＡ用信号処理装置１００のセンサ入力部ＡＹ１１３は、センサＢ用信号処理装置２００から協調データ出力部ＡＹ１４３経由で来るセンシングタイミング情報に基づき、外界センサＡ１０１のセンシング動作タイミングを制御する機能を有する。また、センサＢ用信号処理装置２００の認識部ＢＹ２５３は、センシングデータの処理を開始する処理タイミングをタイミング算出部ＢＹ２９３に通知する機能を有する。

【0123】

また、協調データ入力部ＢＹ２３３及び協調データ出力部ＡＹ１４３は、図２の協調データ入力部Ｂ２３０及び協調データ出力部Ａ１４０に対し、それぞれタイミング算出部ＢＹ２９３から出力される外界センサＡ１０１へのセンシング開始要求を伝える機能を付加している。

【0124】

タイミング算出部ＢＹ２９３は、認識部ＢＹ２５３の処理の周期性、予め設定した外界センサＡ１０１の１回のセンシングに要する時間及びそのセンシングデータに対し、認識部Ａ１５０で前処理して物体の位置が算出され、その算出結果が位置補正部Ｂ２８０に送られ、位置補正結果が認識部ＢＹ２５３に到達する時刻（準備時間Ｔｐ８９９（図２３参照））、さらに予め設定したタイミング算出部ＢＹ２９３から要求信号が協調データ入力部ＢＹ２３３、協調データ出力部ＡＹ１４３、センサ入力部ＡＹ１１３を経て、外界センサＡ１０１に伝わり、外界センサＡ１０１のセンシングが開始するまでの遅延を用い、外界センサＡ１０１のセンシング開始要求を出すタイミングを算出し、そのタイミングで外界センサＡ１０１のセンシング開始要求を出す。

【0125】

図２３は、図２２に示す構成における動作タイミングを示す。

【0126】

センサＢ用信号処理装置２００からセンサＡ用信号処理装置１００へ外界センサＡ１０１のセンシングタイミングを指示することで、センシングＡ２（Ｓ８１２）、前処理Ａ２（Ｓ８２２）、位置補正Ｂ２（Ｓ８７６）、認識処理Ｂ２（Ｓ８８２）の処理の流れにおいて待ち時間が抑制され、以降の外界センサＡ１０１のセンシングデータに対する処理においても、センサＡ用信号処理装置１００とセンサＢ用信号処理装置２００の協調動作で待ち時間が抑制される。したがって、外界センサＢ２０１の認識処理を行う際に、外界センサＡ１０１のセンシングによる物体の位置検出結果のセンシング時刻による補正処理で行う外挿処理に伴う誤差を抑制できる。

【0127】

尚、本第４実施形態の構成は、第１実施形態の構成を基にして外界センサＡ１０１のセンシングタイミングを調整する構成としているが、外界センサ間でのセンシング及びその処理タイミングの調整を行えればよいので、第２実施形態または第３実施形態で示した構成を基にした構成も考えられる。また、外界センサＡ１０１のセンシングタイミングを基準として、センサＢ用信号処理装置２００を動作させる構成も考えられ、この場合は、センサＡ用信号処理装置１００の動作タイミングに合わせて、外界センサＢ２０１のセンシングタイミングを調整する必要がある。

【0128】

本第４実施形態においても、上記第１実施形態と同様の作用効果が得られることに加えて、一方の外界センサのセンシングデータのセンシング時刻が他方の外界センサのセンシングデータの処理タイミングに合うように調整されるので、センシング時刻の違いによる位置ずれを更に抑制でき、外界センサの認識精度を更に向上させることができる。

【0129】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0130】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0131】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0132】

１０…時刻同期情報、１００…センサＡ用信号処理装置、１０１…外界センサＡ、１０５…センサＡ認識結果、１０８…センサＡ処理情報、１１０…センサ入力部Ａ、１１３…センサ入力部ＡＹ、１１４…センサ入力部ＡＺ、１２０…結果出力部Ａ、１４０…協調データ出力部Ａ、１４２…協調データ出力部ＡＸ、１４３…協調データ出力部ＡＹ、１５０…認識部Ａ、１５４…認識部ＡＺ、１８２…位置補正部ＡＸ、２００…センサＢ用信号処理装置、２０１…外界センサＢ、２０５…センサＢ認識結果、２１０…センサ入力部Ｂ、２２０…結果出力部Ｂ、２３０…協調データ入力部Ｂ、２３２…協調データ入力部ＢＸ、２３３…協調データ入力部ＢＹ、２５０…認識部Ｂ、２５２…認識部ＢＸ、２５３…認識部ＢＹ、２８０…位置補正部Ｂ、２９３…タイミング算出部ＢＹ、３１０…情報表示装置モデル、３２０…疑似ユーザ入力生成モデル、３３０…疑似センシング信号生成装置、３４０…評価対象部分、３７０…車両制御システムモデル、３８４…位置補正部ＢＺ、３９０…道路環境生成モデル、５９５…統合認識結果、６１０…情報表示装置、６２０…ユーザ入力装置、６５０…フュージョン処理装置、７００…車両制御システム、７０１…自車両位置情報、７０５…車両統合制御装置、７１０…エンジン制御装置、７１２…エンジン制御系アクチュエータ、７１４…エンジン制御系センサ、７２０…トランスミッション制御装置、７２２…トランスミッション制御系アクチュエータ、７２４…トランスミッション制御系センサ、７３０…ブレーキ制御装置、７３２…ブレーキ制御系アクチュエータ、７３４…ブレーキ制御系センサ、７４０…ステアリング制御装置、７４２…ステアリング制御系アクチュエータ、７４４…ステアリング制御系センサ、７９０…共通バス、８９９…準備時間Ｔｐ、９０１…ステレオカメラの片眼のセンシングデータに道路の可能性が高い推定領域を重ねた図、９０２…道路の可能性が高い推定領域（直線の道路が一定幅一定勾配と仮定）、９０３…道路の可能性が高い推定領域（道路の曲がり具合を推定）、９０４…近傍の平坦な路面、９０５…上り勾配の路面、９１１…V-Disparity画像において最も支配的な直線、９１４…V-Disparity画像での近傍の平坦な路面領域、９１５…V-Disparity画像での遠方の上り勾配領域、９１６…垂直位置がこの点より上の部分に対応する推定路面は無効と判断する点、９１７…V-Disparity画像での先行車両のような障害物、９２０…センシングＬａ、９２２…センシングＬａでセンシングされた車両、９３０…センシングＬｂ、９３２…センシングＬｂでセンシングされた車両、９４０…センシングＣａ、９４２…センシングＣａでセンシングされた車両、９４５…センシングＣｃ、９４８…センシングＣｃでセンシングされた車両、９５０…センシングＣｂ、９５２…センシングＣｂに投影したセンシングＬｂでセンシングされた車両、９５３…センシングＣｂでセンシングされた車両、９５５…センシングＣｄ、９５６…推定路面、９５７…センシングＣｄに推定路面などを付加した説明図、９５８…センシングＣｄでセンシングされた車両、９５９…センシングＣｄのセンシングデータ上のミリ波レーダによる車両の推定領域、９６０…センシングＲｃ、９６２…センシングＲｃでセンシングされた車両、９７０…センシングＲｄ、９７１…センシングＣｄにおける推定路面に対してミリ波レーダによるセンシングを投影した領域、９７２…センシングＲｄでセンシングされた車両、９７４…センシングのセンシング時刻における推定位置、９７５…カメラによるセンシングデータ上にミリ波レーダによるセンシングから推定した車両の位置、９８１…領域Ａ、９８２…領域Ｂ、９８３…領域Ｃ、９８４…領域Ｄ、９８８…時刻算出式、９９０…物体ｐ、９９２…物体ｑ、９９４…物体r、９９６…物体ｓ、１０００…信号処理システム、１０００…評価システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】