特許 7530830 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-31

(45)【発行日】2024-08-08

(54)【発明の名称】情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置

(51)【国際特許分類】

   G01S 13/86 20060101AFI20240801BHJP

   G01S 13/931 20200101ALI20240801BHJP

   G08G 1/16 20060101ALI20240801BHJP

【ＦＩ】

G01S13/86

G01S13/931

G08G1/16 C

【請求項の数】 15

(21)【出願番号】P 2020527262

(86)(22)【出願日】2019-05-14

(86)【国際出願番号】 JP2019019028

(87)【国際公開番号】W WO2020003776

(87)【国際公開日】2020-01-02

【審査請求日】2022-03-17

(31)【優先権主張番号】P 2018125561

(32)【優先日】2018-06-29

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100101801

【弁理士】

【氏名又は名称】山田 英治

(74)【代理人】

【識別番号】100093241

【弁理士】

【氏名又は名称】宮田 正昭

(74)【代理人】

【識別番号】100095496

【弁理士】

【氏名又は名称】佐々木 榮二

(74)【代理人】

【識別番号】100086531

【弁理士】

【氏名又は名称】澤田 俊夫

(74)【代理人】

【識別番号】110000763

【氏名又は名称】弁理士法人大同特許事務所

(72)【発明者】

【氏名】玉置 晶宏

【審査官】山下 雅人

(56)【参考文献】

【文献】特開２００８－１７２４４１（ＪＰ，Ａ）

【文献】特開２０１２－１０１６２０（ＪＰ，Ａ）

【文献】特開２００７－１５５７２８（ＪＰ，Ａ）

【文献】特開平０７－１２９９００（ＪＰ，Ａ）

【文献】特開２００７－２５５９７９（ＪＰ，Ａ）

【文献】特開２００７－１３２７４８（ＪＰ，Ａ）

【文献】特開２００２－０７１７９６（ＪＰ，Ａ）

【文献】特表２００８－５０９４１３（ＪＰ，Ａ）

【文献】特開２０１７－２１５２１４（ＪＰ，Ａ）

【文献】特開２００８－０３７３６１（ＪＰ，Ａ）

【文献】特開２０１７－０６２６３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００－１７／９５

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

カメラ及びレーダーセンサユニットを搭載した車両において、
前記カメラは、撮像画像のうち前記車両のＥＣＵへ転送する情報量を制御する制御部を備え、
前記レーダーセンサユニットは、レーダーの反射波の受信信号を処理するレーダー信号処理部と、前記レーダー信号処理部による信号処理結果に基づいて物体を検出する第１物体検出部を備え、
前記ＥＣＵは、前記カメラの撮像画像に基づいて物体を検出する第２物体検出部を備え、
前記カメラが備える前記制御部は、前記レーダーセンサユニットが備える前記第１物体検出部による物体検出結果に基づいて前記情報量を制御する、
情報処理装置。

【請求項2】

前記制御部は、前記カメラによる撮像画像のうち物体検出のために前記ＥＣＵ内の前記第２物体検出部に転送する対象領域を前記第１物体検出部による物体検出結果に基づいて決定する、
請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、前記第１物体検出部により検出された物体の位置、速度、又はサイズのうち少なくとも１つの情報に基づいて、前記撮像画像の中から前記対象領域を決定する、
請求項２に記載の情報処理装置。

【請求項4】

前記カメラの撮影条件を判定する条件判定部をさらに備え、
前記制御部は、前記条件判定部の判定結果に基づいて設定された閾値を用いて前記第１物体検出部による物体検出結果に基づいて、前記撮像画像の中から前記対象領域を決定する、
請求項３に記載の情報処理装置。

【請求項5】

前記制御部は、前記カメラの撮影条件が良好な場合に低く設定された閾値、又は前記カメラの撮影条件が良くない場合に高く設定された閾値のいずれかで前記第１物体検出部による物体検出結果に基づいて、前記撮像画像の中から前記対象領域を決定する、
請求項４に記載の情報処理装置。

【請求項6】

前記レーダーが検出する反射波の強度に基づいて、前記対象領域のサイズを判定するサイズ判定部をさらに備え、
前記制御部は、前記サイズ判定部が判定したサイズに基づいて、前記撮像画像の中から前記対象領域を決定する、
請求項３に記載の情報処理装置。

【請求項7】

前記制御部は、前記対象領域の上限数を設定する、
請求項２に記載の情報処理装置。

【請求項8】

前記レーダーにより検出された各物体の優先度を判定する優先度判定部をさらに備え、
前記制御部は、前記優先度に基づいて、前記撮像画像の中から前記対象領域を決定する、
請求項２に記載の情報処理装置。

【請求項9】

前記優先度判定部は、前記第１物体検出部により検出された物体の位置及び相対速度に基づいて優先度を判定する、
請求項８に記載の情報処理装置。

【請求項10】

前記優先度判定部は、前記情報処理装置の正面で検出された物体、又は、前記情報処理装置に対する相対速度が負となる物体に対して高い優先度を判定する、
請求項９に記載の情報処理装置。

【請求項11】

カメラ及びレーダーセンサユニットを搭載した車両において、
前記カメラは、撮像画像のうち前記車両のＥＣＵへ転送する情報量を制御する制御部を備え、
前記レーダーセンサユニットは、レーダーの反射波の受信信号を処理するレーダー信号処理部と、前記レーダー信号処理部による信号処理結果に基づいて物体を検出する第１物体検出部を備え、
前記ＥＣＵは、前記カメラの撮像画像に基づいて物体を検出する第２物体検出部を備え、
前記カメラが備える前記制御部が、前記レーダーセンサユニットが備える前記第１物体検出部による物体検出結果に基づいて前記情報量を制御するステップを含む、
情報処理方法。

【請求項12】

カメラ及びレーダーセンサユニットを搭載した車両において、
前記カメラは、撮像画像のうち前記車両のＥＣＵへ転送する情報量を制御する制御部を備え、
前記レーダーセンサユニットは、レーダーの反射波の受信信号を処理するレーダー信号処理部と、前記レーダー信号処理部による信号処理結果に基づいて物体を検出する第１物体検出部を備え、
前記ＥＣＵは、前記カメラの撮像画像に基づいて物体を検出する第２物体検出部を備え、
前記カメラが備える前記制御部が前記レーダーセンサユニットが備える前記第１物体検出部による物体検出結果に基づいて前記情報量を制御するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラム。

【請求項13】

レーダーセンサユニットとともに車両に搭載され、撮像画像のうち前記車両のＥＣＵへ転送する情報量を制御する制御部を備える撮像装置であって、
前記レーダーセンサユニットは、レーダーの反射波の受信信号を処理するレーダー信号処理部と、前記レーダー信号処理部による信号処理結果に基づいて物体を検出する第１物体検出部を備え、
前記ＥＣＵは、前記撮像装置の撮像画像に基づいて物体を検出する第２物体検出部を備え、
前記制御部は、前記レーダーセンサユニットが備える前記第１物体検出部による物体検出結果に基づいて前記情報量を制御する、
撮像装置。

【請求項14】

カメラ及びレーダーセンサユニットを搭載した車両において、前記車両のＥＣＵ内で物体を検出する情報処理システムであって、
前記カメラは、撮像画像のうち前記車両のＥＣＵへ転送する情報量を制御する転送制御部を備え、
前記レーダーセンサユニットは、レーダーの反射波の受信信号を処理するレーダー信号処理部と、前記レーダー信号処理部による信号処理結果に基づいて物体を検出する第１物体検出部を備え、
前記ＥＣＵは、前記カメラの撮像画像に基づいて物体を検出する第２物体検出部を備え、
前記カメラが備える前記転送制御部は、前記レーダーセンサユニットが備える前記第１物体検出部による物体検出結果に基づいて前記情報量を制御し、
前記ＥＣＵは、前記第１物体検出部による物体検出結果と前記第２物体検出部による物体検出結果とをフュージョンして物体を判定する判定部を備える、
情報処理システム。

【請求項15】

カメラ及びレーダーセンサユニットを搭載した移動体装置であって、
前記カメラは、撮像画像のうち前記移動体装置のＥＣＵへ転送する情報量を制御する制御部を備え、
前記レーダーセンサユニットは、レーダーの反射波の受信信号を処理するレーダー信号処理部と、前記レーダー信号処理部による信号処理結果に基づいて物体を検出する第１物体検出部を備え、
前記ＥＣＵは、前記カメラの撮像画像に基づいて物体を検出する第２物体検出部を備え、
前記カメラが備える前記制御部は、前記レーダーセンサユニットが備える前記第１物体検出部による物体検出結果に基づいて前記情報量を制御し、
前記ＥＣＵは、前記第１物体検出部による物体検出結果と前記第２物体検出部による物体検出結果とをフュージョンして物体を判定する判定部を備え、
前記判定部による判定結果に基づいて前記移動体装置の駆動を制御する駆動制御部を具備する、移動体装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書で開示する技術は、主に外界を認識するための複数のセンサの検出情報を処理する情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置に関する。

【背景技術】

【0002】

自動運転やＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の実現のために、他の車両や人、レーンなど、さまざまな物体を検出する必要があり、また、晴天時の昼間に限らず、雨天ときや夜間などさまざまな環境で物体を検出する必要がある。このため、カメラ、ミリ波レーダー、レーザーレーダーなど、種類の異なる多くの外界認識センサが車両に搭載され始めている。

【0003】

各センサには得手不得手があり、認識対象物の種類や大きさ、対象物までの距離、あるいは、検出時の天候などに応じて、センサの認識性能が劣化することがある。例えば、車載用のレーダーは距離精度、相対速度精度は高いが、角度精度が低く、物体の種別を識別する識別機能は無いか、若しくは精度が低い。一方、カメラは距離精度、相対速度精度が比較的低いが、角度精度、識別精度はよい。そこで、個々のセンサを単独での使用に限らず、２以上のセンサを組み合わせて、各センサの特徴を生かすことによって、より高精度な外界認識に寄与している。２以上のセンサを組み合わせることを、以下では「センサフュージョン」又は「フュージョン」と呼ぶことにする。

【0004】

例えば、ミリ波レーダーと画像センサがそれぞれ検出したデータについてエリア分けを行い、所定のエリア内に存在する物体（ターゲット）については、両センサが取得した情報に基づいて、物体に関する情報を作成する周辺監視センサについて提案がなされている（特許文献１を参照のこと）。

【0005】

また、撮像手段の撮像範囲外に照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報に基づいて、撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際にその物体の物体領域を認識するための予測領域情報を作成して、撮像手段が検出対象の撮像を開始した時から車載装置が作動するまでの時間を短縮する画像処理装置について提案がなされている（特許文献２を参照のこと）。

【0006】

また、同一軸で車両に搭載された車載カメラ及び障害物検知用センサの軸方向と、車両の進行方向とのズレ角を補正する車両用外界センシング装置について提案がなされている（特許文献３を参照のこと）。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００１－９９９３０号公報

【文献】特開２０１５－１９５０１８号公報

【文献】特開２０１４－２２８９４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本明細書で開示する技術の目的は、主に外界を認識するための複数のセンサをフュージョン処理する情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置を提供することにある。

【課題を解決するための手段】

【0009】

本明細書で開示する技術の第１の側面は、第１のセンサでセンシングした第１の情報のうち物体検出に使用する情報量を、第２のセンサでセンシングした第２の情報に基づいて制御する制御部を備える、情報処理装置である。

【0010】

前記第１のセンサはカメラで、前記第２のセンサはレーダーである。そして、前記制御部は、前記レーダーにより検出された物体の位置、速度、又はサイズのうち少なくとも１つの情報に基づいて、前記撮影画像の中から物体検出に使用する対象領域を決定する。

【0011】

第１の側面に係る情報処理装置は、前記カメラの撮影条件を判定する条件判定部をさらに備えていてもよい。そして、前記制御部は、前記条件判定部の判定結果に基づいて閾値を設定し、その閾値を用いて前記レーダーにより検出された物体の情報に基づいて、前記撮影画像の中から前記対象領域を決定するようにしてもよい。

【0012】

また、第１の側面に係る情報処理装置は、前記レーダーが検出する反射波の強度に基づいて、前記対象領域のサイズを判定するサイズ判定部をさらに備えていてもよい。そして、前記制御部は、前記サイズ判定部が判定したサイズに基づいて、前記撮影画像の中から前記対象領域を決定するようにしてもよい。

【0013】

また、第１の側面に係る情報処理装置は、前記レーダーにより検出された各物体の優先度を判定する優先度判定部をさらに備えていてもよい。そして、前記制御部は、前記優先度に基づいて、前記撮影画像の中から前記対象領域を決定するようにしてもよい。

【0014】

また、本明細書で開示する技術の第２の側面は、第１のセンサでセンシングした第１の情報のうち物体検出に使用する情報量を、第２のセンサでセンシングした第２の情報に基づいて制御する制御ステップを有する、情報処理方法である。

【0015】

また、本明細書で開示する技術の第３の側面は、第１のセンサでセンシングした第１の情報のうち物体検出に使用する情報量を第２のセンサでセンシングした第２の情報に基づいて制御するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムである。

【0016】

第３の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、第３の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、第１の側面に係る情報処理装置と同様の作用効果を得ることができる。

【0017】

また、本明細書で開示する技術の第４の側面は、
撮像部と、
他のセンサでセンシングした情報に基づいて、前記撮像部の撮影画像のうち物体検出に使用する対象領域を決定する制御部と、
を具備する撮像装置である。

【0018】

また、本明細書で開示する技術の第５の側面は、
第１のセンサでセンシングした第１の情報のうち、第２のセンサでセンシングした第２の情報に基づいて決定した情報量に基づいて物体を検出する第１の物体検出部と、
前記第１の物体検出部による物体検出結果と前記第２のセンサを利用した物体検出結果とをフュージョンして物体を判定する判定部と、
を具備する情報処理システムである。

【0019】

但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

【0020】

また、本明細書で開示する技術の第６の側面は、
移動手段と、
第１のセンサと、
第２のセンサと、
第１のセンサでセンシングした第１の情報のうち、第２のセンサでセンシングした第２の情報に基づいて決定した情報量に基づいて物体を検出する第１の物体検出部と、
前記第１の物体検出部による物体検出結果と前記第２のセンサを利用した物体検出結果とをフュージョンして物体を判定する判定部と、
前記判定部による判定結果に基づいて前記移動手段の駆動を制御する駆動制御部と、
を具備する移動体装置である。

【発明の効果】

【0021】

本明細書で開示する技術によれば、主に外界を認識するための複数のセンサをフュージョン処理する情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置を提供することができる。

【0022】

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

【0023】

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

【図面の簡単な説明】

【0024】

【図1】図１は、車両制御システム１００の概略的な機能の構成例を示すブロック図である。

【図2】図２は、物体検出システム２００の機能的構成を模式的に示した図である。

【図3】図３は、同一の車両にカメラ２０１とミリ波レーダー２０２を搭載した様子を示した図である。

【図4】図４は、カメラ２０１とミリ波レーダー２０２（ロングレンジモード）の捕捉範囲の比較を示した図である。

【図5】図５は、カメラ２０１とミリ波レーダー２０２（ミドルレンジモード）の捕捉範囲の比較を示した図である。

【図6】図６は、カメラ２０１とミリ波レーダー２０２のセンサユニットの各々からＥＣＵへのデータ転送量の相違を示した図である。

【図7】図７は、物体検出システム７００の機能的構成を模式的に示した図である。

【図8】図８は、物体検出システム８００の機能的構成を模式的に示した図である。

【図9】図９は、ミリ波レーダー２０２の検出結果に基づいてカメラ２０１の撮影画像の転送を制御する仕組みを説明するための図である。

【図10】図１０は、物体検出システム１０００の機能的構成を示した図である。

【図11】図１１は、ＲＯＩのサイズを決定する機構を備えた物体検出システム１１００の機能的構成を示した図である。

【図12】図１２は、サイズ判定部１１０２において、レーダーの反射強度に基づいてＲＯＩのサイズを決定するための処理手順を示したフローチャートである。

【図13】図１３は、優先度の高いＲＯＩを優先処理する機構を備えた物体検出システム１３００の機能的構成を示した図である。

【図14】図１４は、優先度判定部１３０２において、物体検出部２０５が検出した各物体の優先度を判定するための処理手順を示したフローチャートである。

【発明を実施するための形態】

【0025】

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

【0026】

図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。

【0027】

なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

【0028】

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

【0029】

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

【0030】

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

【0031】

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

【0032】

例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

【0033】

また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からなる。

【0034】

さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

【0035】

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

【0036】

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である

【0037】

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。

【0038】

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

【0039】

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

【0040】

出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

【0041】

出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

【0042】

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

【0043】

駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。

【0044】

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

【0045】

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

【0046】

記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

【0047】

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

【0048】

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

【0049】

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

【0050】

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

【0051】

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

【0052】

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

【0053】

状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

【0054】

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

【0055】

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

【0056】

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ Ｍａｐ）とされる。

【0057】

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

【0058】

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

【0059】

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

【0060】

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

【0061】

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

【0062】

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

【0063】

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する

【0064】

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

【0065】

動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

【0066】

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

【0067】

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

【0068】

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

【0069】

自動運転やＡＤＡＳの実現に向けて、より高精度な外界認識を行うために、カメラ、ミリ波レーダー、レーザーレーダーなど、種類の異なる多くの外界認識センサが車両に搭載され始めている。ところが、各センサは、検出原理にも依拠して、得手不得手がある。例えば、可視光を撮影するカメラは暗所を苦手とし、電波の反射を検出するレーダーは人や動物などの電波を反射し難い物体を苦手とする。レーダー（ミリ波レーダー）、カメラ、及びレーザーレーダー（ＬｉＤＡＲ）の得手不得手を以下の表１にまとめておく。同表中で、◎は大得意（高い精度を持つ）、○は得意（良好な精度を持つ）、△は苦手（精度が十分でない）を意味する。

【0070】

【表1】

【0071】

そこで、２以上のセンサを組み合わせて、各センサの特徴を生かすことによって、より高精度な外界認識を実現するフュージョン技術が開発されている（例えば、特許文献１～３を参照のこと）。

【0072】

図２には、カメラ２０１とミリ波レーダー２０２をフュージョンして物体検出を行う物体検出システム２００の機能的構成を模式的に示している。カメラ２０１とミリ波レーダー２０２は、ともに同じ車両に、互いの捕捉範囲が重複するように搭載されているものとする。

【0073】

カメラ２０１による撮影画像は、現像処理された後、物体検出部２０３に供給される。物体検出部２０３は、所定の画像認識アルゴリズムに基づいて、撮像画像から、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部２０６に出力する。

【0074】

また、レーダー信号処理部２０４は、ミリ波レーダー２０２による送信レーダーの原波形データと、ミリ波レーダー２０２がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ、速度を測定する。そして、物体検出部２０５は、レーダー信号処理部２０４による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出して、その検出結果を後段のフュージョン処理部２０６に出力する。

【0075】

フュージョン処理部２０６は、物体検出部２０３がカメラ２０１の撮影画像から検出した物体の位置などの情報と、物体検出部２０５がミリ波レーダー２０２の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ（図示しない）が搭載されている場合には、フュージョン処理部２０６はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部２０６は、フュージョン処理して得られた物体判別結果を、車両制御システム２０７に出力する。

【0076】

車両制御システム２０７は、フュージョン処理部２０７における物体判別結果に基づいて、例えば自動車間制御（ＡＣＣ）、車線逸脱警報（ＬＤＷ）、レーンキープアシスト（ＬＫＡ）、自動緊急ブレーキ（ＡＥＢ）、死角検知（ＢＳＤ）といった、自動運転又は運転支援のための車両制御を実施する。さらに車両制御システム２０７は、ＡＣＣ、ＬＤＷ、ＬＫＡ、ＡＥＢ、ＢＳＤの実施のために、ＡＣＬ、ブレーキアクチュエータ（ＢＲＫ）、操舵装置（ＳＴＲ）など車両内の各駆動部の駆動を制御する。例えば、フュージョン処理部２０６によって道路のレーンが認識された場合には、車両制御システムは、当該車両がレーンを逸脱しないように、車線逸脱警報（ＬＤＷ）やレーンキープアシスト（ＬＫＡ）といった当該車両の走行を制御する。また、フュージョン処理部２０６によって他の車両や歩行者、道路脇の塀や看板といった障害物が認識された場合には、車両制御システムは、当該車両が障害物との衝突を回避するように、レーンキープアシスト（ＬＫＡ）や自動緊急ブレーキ（ＡＥＢ）といった当該車両の走行を制御する。

【0077】

なお、カメラ２０１用の物体検出部２０３は、フュージョン処理部２０６とともに、車両のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）内に搭載されることが一般的である。他方、ミリ波レーダー用の信号処理部２０４及び物体検出部２０４は、ミリ波レーダー２０２のセンサユニット内に装備されることが一般的である。

【0078】

ここで、カメラ２０１とミリ波レーダー２０２の捕捉範囲と解像度の相違について考察してみる。

【0079】

図３には、同一の車両にカメラ２０１とミリ波レーダー２０２を搭載した様子を、カメラ２０１及びミリ波レーダー２０２の各々の視野角（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）３０１、３０２とともに示している。カメラ２０１は、ルームミラー又はルーフ付近に、光軸が前方を向くように設置されている。また、ミリ波レーダー２０２は、例えばフロントバンパー付近に、レーダーの照射方向が前方を向くように設置されている。また、カメラ２０１の視野角３０１に比べて、ミリ波レーダー２０２の視野角３０２は狭い。但し、図３では、カメラ２０１の視野角を４０度としている。

【0080】

図４及び図５には、カメラ２０１の撮像画像にミリ波レーダー２０２の捕捉範囲を重ね合わせて示している。但し、カメラ２０１の解像度は１９２０×１０８０画素とする。また、図４には、ミリ波レーダー２０２のロングレンジモードにおける捕捉範囲４０１を示し、図５には、ミリ波レーダー２０２のミドルレンジモードにおける捕捉範囲５０１を示している。各モードにおいて図示したミリ波レーダー２０２の捕捉範囲４０１、５０１はいずれも垂直方向１サンプル×水平方向１００サンプルとする。

【0081】

図４及び図５からも分かるように、ミリ波レーダー２０２は、カメラ２０１と比べて解像度が低い、したがって、ミリ波レーダー２０２を利用した物体検出部２０５の検出精度も低く、誤判定を招くことが懸念される。このため、車両制御システム２００は、より解像度の高いカメラ２０１による物体検出結果とフュージョンすることが望ましい。なお、誤判定を防ぐために、物体検出部２０５が物体を検出する判定閾値を高く設定する必要がある。判定閾値を高く設定すれば、物体検出部２０５の判定結果が物体である尤度は高くなるが、検出数が少なくなる。

【0082】

一方で、上記の表１にも示したように、カメラ２０１は夜間など暗所や悪天候時には性能が劣化するケースがあるのに対し、ミリ波レーダー２０２は輝度や天候などの条件に依らず性能を保つことができる。したがって、車両制御システム２００は、カメラ２０１とミリ波レーダー２０２の検出結果をフュージョンして、互いの欠点を補い合いながら安定した性能を保つことが望ましい。

【0083】

ところが、カメラ２０１を使用した物体検出において、物体検出部２０３がカメラ２０１で撮影した画像を毎フレーム全画面スキャンして物体検出しようとすると、毎フレーム全画面分の画像データをカメラ２０１から物体検出部２０３に転送しなければならない。カメラ２０１用の物体検出部２０３を車両側のＥＣＵ内に搭載するという設計では、カメラ２０１とＥＣＵ間のデータ転送量が厖大になってしまう。例えば、カメラ２０１の解像度が１９２０×１０８０画素で、ＲＧＢの色毎の階調が８ビットとすると、フレームレートが３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の場合における転送レートは、以下に示す通り、１４，９２９，９２０，０００ｂｐｓ（ｂｉｔ ｐｅｒ ｓｅｃｏｎｄ）と厖大であり、ＥＣＵ（物体検出部２０３）の処理量も膨大になる。

【0084】

【数1】

【0085】

また、物体検出部２０３は、カメラ２０１の撮影画像を全画面スキャンする場合、物体が存在しない部分も検出処理を行うため、ＥＣＵの処理量が厖大になる。例えば、図４に示したような撮影画像の場合、自車両の前方を走行する先行車両のみを物体検出すれば十分であるとしても、背景や道路の両脇を含むすべての領域を処理してしまうので、処理量が厖大である。

【0086】

これに対し、ミリ波レーダー２０２のセンサユニット（図２を参照のこと）からＥＣＵへは、物体検出部２０５が検出した物体毎の、物体の識別情報（物体ＩＤ）と、その物体の相対方向、奥行き、相対速度の情報が毎フレーム転送される。したがって、フレームレートが３０ｆｐｓの場合におけるミリ波レーダー２０２のセンサユニットとＥＣＵ間の転送レートは、以下に示す通り、ｎ×１，９２０ｂｐｓであり（但し、ｎは検出した物体の個数）、カメラ２０１とＥＣＵ間のデータ転送量と比べてはるかに少ない。

【0087】

【数2】

【0088】

カメラ２０１とミリ波レーダー２０２のセンサユニットの各々からＥＣＵへのデータ転送量の相違について、図６を参照しながら説明する。

【0089】

参照番号６００は、カメラ２０１の撮影画像であり、物体検出部２０３が全画面スキャンする場合には画像６００全体がＥＣＵに転送される。この撮影画像６００中で必要なのは、障害物となり得る、自車両の前方を走行する先行車両６０１を含む領域のみであり、それ以外の領域は無駄である。

【0090】

また、参照番号６１０は、ミリ波レーダー２０２の捕捉範囲である。カメラ２０１の撮像画像６００とミリ波レーダー２０２の捕捉範囲６１０は、図３に示したように、対応がとれているものとする。参照番号６１１で示す、グレーの領域は、物体検出部２０５が検出した先行車両に相当する。したがって、物体検出部２０５（若しくは、ミリ波レーダー２０２のセンサユニット）からＥＣＵへ、検出領域６１１に関する物体ＩＤと、その相対方向、奥行き、相対速度の情報が所定のフレームレートで転送されることになる。

【0091】

要するに、カメラ２０１からＥＣＵに転送される情報量は多いが、無駄な情報を多く含む。カメラ２０１の撮影画像中で必要な情報は車両や障害物などであり、大半は無駄な情報である。これに対し、ミリ波レーダー２０２のセンサユニットに転送される情報量は少なく、物体の奥行や位置の検出精度は高いが、解像度が低いため物体のサイズに関しては検出精度が低い。

【0092】

そこで、本明細書では、カメラ２０１からＥＣＵに転送される情報量を制限して、検出精度を保ちつつ、ＥＣＵ（若しくは、物体検出部２０３）の処理負荷を軽減する物体検出システムについて、以下で提案する。

【0093】

図７には、その提案に係る、カメラ２０１からＥＣＵに転送される情報量を制限するように構成された、物体検出システム７００の機能的構成を模式的に示している。但し、図２に示した物体検出システム２００と同一の構成要素については、同一の参照番号で示すとともに、以下では詳細な説明を省略する。

【0094】

カメラ２０１を含むカメラユニットは、転送制御部７０１を備えている。転送制御部７０１は、カメラ２０１と物体検出部２０３の間に介在し、カメラ２０１から物体検出部２０３へ転送する情報を制御する。具体的には、転送制御部７０１は、カメラ２０１の撮影画像のうち、物体検出部２０３で物体を検出すべき対象領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を決定して、現像処理後の撮影画像からＲＯＩの画像データのみを切り出して、物体検出部２０３に出力する。カメラ２０１の撮影画像は、物体検出を主目的として使用され、ビューイング（ドライバーなどによる風景の観察）目的には使用されない。したがって、障害物などの物体が検出される可能性が極めて低い、ＲＯＩ以外の画像データは不要である。

【0095】

転送制御部７０１が撮影画像の中からＲＯＩを決定する方法はいくつか考えられる。例えば、物体検出部２０４がミリ波レーダー２０２を利用して検出した物体の位置に基づいて、ＲＯＩの位置及び大きさを決定することができる。あるいは、ミリ波レーダー２０２以外の外界認識用センサ（図示しない）が同じ車両に搭載されている場合には、そのセンサ出力に基づく物体検出結果を利用して、ＲＯＩの位置及び大きさを決定することができる。

【0096】

また、転送制御部７０１は、地図情報や物体検出部２０３における最近の物体検出結果に基づいて、経験則や学習した結果などを利用してＲＯＩを決定するようにしてもよい。もちろん、車両のドライバーなどのユーザが音声入力などに基づいてＲＯＩの位置及び大きさに関する情報を指示するようにしてもよい。

【0097】

転送制御部７０１が、後段の物体検出部２０３へ転送する画像をＲＯＩに制限することによって、カメラ２０１の撮影画像全体を転送する場合（上述）と比較して、カメラ２０１とＥＣＵ間のデータ転送量を削減することができる。また、データ転送量が減少する分だけ、物体検出部２０３若しくはＥＣＵの処理量も削減することができる。

【0098】

物体検出部２０３は、転送制御部７０１から受信した、ＲＯＩの画像データから、所定の画像認識アルゴリズムに基づいて、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部２０６に出力する。

【0099】

また、レーダー信号処理部２０４は、ミリ波レーダー２０２による送信レーダーの原波形データと、ミリ波レーダー２０２がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ（角度）、速度を測定する。そして、物体検出部２０５は、レーダー信号処理部２０４による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出して、その検出結果を後段のフュージョン処理部２０６に出力する。

【0100】

フュージョン処理部２０６は、物体検出部２０３がカメラ２０１の撮影画像から検出した物体の位置などの情報と、物体検出部２０５がミリ波レーダー２０２の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ（図示しない）が搭載されている場合には、フュージョン処理部２０６はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部２０６は、フュージョン処理して得られた物体判別結果を、車両制御システム２０７に出力する。

【実施例1】

【0101】

図８には、カメラ２０１以外の外界認識用センサの検出結果を利用してＲＯＩの位置及び大きさを決定して、カメラ２０１からＥＣＵに転送される情報量を制限するように構成された、物体検出システム８００の機能的構成を模式的に示している。但し、図２に示した物体検出システム２００と同一の構成要素については、同一の参照番号で示すとともに、以下では詳細な説明を省略する。

【0102】

レーダー信号処理部２０４は、ミリ波レーダー２０２による送信レーダーの原波形データと、ミリ波レーダー２０２がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ、速度を測定する。次いで、物体検出部２０５は、レーダー信号処理部２０４による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出する。そして、ミリ波レーダー２０２のセンサユニットからＥＣＵへ、物体検出部２０５が検出した物体毎の、物体ＩＤと、その物体の位置、速度、並びにサイズの情報が毎フレーム転送される。

【0103】

転送制御部８０１は、ＥＣＵから、ミリ波レーダー２０２のセンサユニットで検出された物体毎の位置、速度、並びにサイズの情報を受信して、ＲＯＩの位置及び大きさを決定する。そして、転送制御部８０１は、現像処理後の撮影画像からＲＯＩの画像データのみを切り出して、ＥＣＵ内の物体検出部２０３に出力する。

【0104】

物体検出部２０３は、転送制御部８０１から受信した、ＲＯＩの画像データから、所定の画像認識アルゴリズムに基づいて、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部２０６に出力する。

【0105】

フュージョン処理部２０６は、物体検出部２０３がカメラ２０１の撮影画像から検出した物体の位置などの情報と、物体検出部２０５がミリ波レーダー２０２の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ（図示しない）が搭載されている場合には、フュージョン処理部２０６はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部２０６は、フュージョン処理して得られた物体判別結果を、車両制御システム２０７に出力する。

【0106】

図８に示すように、転送制御部８０１が、後段の物体検出部２０３へ転送する画像データをＲＯＩに制限することによって、カメラ２０１の撮影画像全体を転送する場合（上述）と比較して、カメラ２０１とＥＣＵ間のデータ転送量を削減することができる。また、データ転送量が減少する分だけ、物体検出部２０３若しくはＥＣＵの処理量も削減することができる。

【0107】

なお、図８に示した物体検出システム８００の構成例では、転送制御部８０１は、ミリ波レーダー２０２の検出結果（物体の位置、速度、サイズなどの情報）をＥＣＵ経由で受信する構成となっている。これは、ＥＣＵに対してカメラ２０１側のカメラユニットとミリ波レーダー２０２側にミリ波レーダーセンサユニットがそれぞれ個別にＥＣＵに接続され、カメラユニットとミリ波レーダーセンサユニット間の通信手段がないという設計の都合などにも依拠する。例えば、転送制御部８０１が物体検出部２０５から直接情報を受信するように、物体検出システム８００を構成することも可能である。

【0108】

図８に示した物体検出システム８００において、転送制御部８０１が、ミリ波レーダー２０２の検出結果に基づいて、物体検出部２０３へ転送する画像をＲＯＩに制限する仕組みについて、図９を参照しながら説明する。

【0109】

参照番号９００は、カメラ２０１の撮影画像である。この撮影画像９００中で必要なのは、参照番号９０１で示す、自車両の前方を走行する先行車両を含むＲＯＩのみであり、それ以外の領域は無駄である。

【0110】

また、参照番号９１０は、ミリ波レーダー２０２の捕捉範囲である。カメラ２０１の撮像画像９００とミリ波レーダー２０２の捕捉範囲９１０は、図３に示したように、対応がとれているものとする。参照番号９１１で示す、グレーの領域は、物体検出部２０５が検出した先行車両に相当する。

【0111】

物体検出部２０５からＥＣＵへ、検出領域６１１に関する物体ＩＤと、その相対方向、奥行き、相対速度の情報が所定のフレームレートで転送される。また、物体検出システム８００では、ＥＣＵ経由で転送制御部８０１へ、物体ＩＤと、その物体の位置、速度、並びにサイズの情報が送信されることになる。

【0112】

図９に示す例では、参照番号９１１で示した物体（物体ＩＤ：１）すなわち先行車両の位置、速度、サイズなどの情報が、ＥＣＵから転送制御部８０１へ送信される。そして、転送制御部８０１は、受信した位置、速度、サイズなどの情報に基づいて、ＲＯＩの位置及び大きさを決定する。転送制御部８０１は、現像処理後の撮影画像９００からＲＯＩ９０１の画像データのみを切り出して、物体検出部２０３に出力する。ここで、転送制御部８０１が決定したＲＯＩ９０１のサイズが水平３００画素×垂直２００画素で、ＲＧＢの色毎の階調を８ビットとすると、フレームレートが３０ｆｐｓの場合における転送レートは、以下に示す通り、４，３２０，０００ｂｐｓとなり、撮像画像全体を転送する場合の１４，９２９，９２０，０００ｂｐｓと比較してはるかに少ない転送量で済む。

【0113】

【数3】

【0114】

このように、転送制御部８０１が、後段の物体検出部２０３へ転送する画像をＲＯＩに制限することによって、カメラ２０１の撮影画像全体を転送する場合（上述）と比較して、カメラ２０１とＥＣＵ間のデータ転送量を削減することができる。また、データ転送量が減少する分だけ、物体検出部２０３若しくはＥＣＵの処理量も削減することができる。

【0115】

図２に示した物体検出システム２００では、カメラ２０１から物体検出部２０３すなわちＥＣＵへ、毎フレーム全画面の画像データを転送するので、転送量が大きく、これに伴い物体検出部２０３での処理量も大きくなる。また、ミリ波レーダー２０２のセンサユニットにおいては、物体検出部２０５の判定閾値を高くして、ＥＣＵへは尤度の高い検出結果に限定して出力する必要があり、物体の検出数が少ない。これに対し、図８に示す物体検出システム８００では、カメラ２０１の撮影画像のうちＲＯＩに限定してＥＣＵに画像データを転送するので、転送量が小さくなり、これに伴い物体検出部２０３での処理量が削減される。また、ミリ波レーダー２０２のセンサユニットにおいては、物体検出部２０５の判定閾値を低く設定して、ＥＣＵに出力する物体検出数を多くすることができる。これによって、尤度の低い物体もＥＣＵに通知されることになるが、フュージョン処理部２０６において、カメラ２０１の撮影画像を利用した尤度の高い検出結果とフュージョンすることにより、物体の検出数を増やし、且つ、検出した物体の尤度を上げることができる。

【0116】

カメラ２０１並びにミリ波レーダー２０２をそれぞれ単体で使用して物体検出を行う場合、及び、物体検出システム８００においてカメラ２０１及びミリ波レーダー２０２の検出結果をフュージョン処理して物体検出を行う場合の性能を比較した結果を表２にまとめておく。同表中で、○は高性能（良好な精度を持つ）、△は性能が低い（精度が十分でない）、×は検出不能であることを、それぞれ示している。

【0117】

【表2】

【0118】

上記の表２から、物体検出システム８００によれば、すべての項目にわたって高い物体検出性能を安定して得られることが分かる。

【0119】

また、カメラ２０１とミリ波レーダー２０２を比較すると、ミリ波レーダー２０２は、解像度の点で劣るものの、悪天候や暗所などの悪条件下でも安定して検出性能を得ることができる。一方、カメラ２０１は、解像度の点では優れているが、データ量が大きく、且つ悪天候や暗所などの悪条件下では性能の低下が著しいという問題がある。

【0120】

したがって、カメラ２０１の撮影条件に応じてミリ波レーダー２０２の物体検出部２０５における判定閾値を調整して、撮影条件の変動に拘わらずフュージョン処理部２０６において安定した物体判別性能を得られるようにしてもよい。

【実施例2】

【0121】

カメラ２０１の撮影条件が良好な場合には、物体検出部２０５の判定閾値を低くする。判定閾値を低くすると、物体検出部２０５は、尤度の低いものも物体として検出するので、検出数は多くなる。これによって、ミリ波レーダー２０２の検出結果に基づいてより多くの物体を検出するようになり、誤検出を含むが、物体検出部２０３はカメラ２０１の撮影画像に基づいてより多くの物体を検出し、且つ誤検出を取り除くことができる。

【0122】

他方、カメラ２０１の撮影条件が良好でない場合には、物体検出部２０３で検出精度を補うことが難しくなるので、物体検出部２０５の判定閾値を高くする。判定閾値を高くすると、物体検出部２０５は、尤度の高いものしか物体として検出しなくなるので、検出数は少なくなる。これによって、ミリ波レーダー２０２の検出結果に基づく物体の誤検出を防いで、高い検出性能を保つようにする。また、カメラ２０１の撮影画像に基づく物体検出部２０３の物体検出結果を使用しないようにする。

【0123】

図１０には、カメラ２０１の撮影条件に応じてミリ波レーダー２０２の検出結果に基づく物体検出の判定閾値を調整する機構を備えた物体検出システム１０００の機能的構成を模式的に示している。但し、物体検出システム１０００は、図８に示した物体検出システム８００と同様に、ミリ波レーダー２０２の検出結果を利用して撮影画像中のＲＯＩを決定してＥＣＵへの画像データの転送を制御する機構を備えているものとする。また、図１０において、図２に示した物体検出システム２００と同一の構成要素については、同一の参照番号で示すとともに、以下では詳細な説明を省略する。

【0124】

カメラ２０１による撮影画像は、現像処理された後、転送制御部１００１並びに条件判定部１００２に供給される。条件判定部１００２は、撮影画像を解析して、例えば輝度コントラストなどに基づいて、撮影条件が良好であるかどうかを判定する。あるいは、条件判定部１００２は、撮影画像には依らず、（データ取得部１０２内の）環境センサの検出結果などに基づいて撮影条件が良好であるかどうかを判定するようにしてもよい。あるいは、条件判定部１００２は、インターネットなどを経由して外部から取得した天気予報などに基づいて、撮影条件が良好であるかどうかを判定するようにしてもよい。

【0125】

レーダー信号処理部２０４は、ミリ波レーダー２０２による送信レーダーの原波形データと、ミリ波レーダー２０２がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ、速度を測定する。

【0126】

物体検出部２０５は、レーダー信号処理部２０４による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出する。ここで、物体検出部２０５は、物体を判定する際に判定閾値を、条件判定部１００２で判定された撮影条件に基づいて調整する。カメラ２０１の撮影条件が良好な場合には、物体検出部２０５の判定閾値を低くする。これによって、ミリ波レーダー２０２の検出結果に基づいてより多くの物体を検出するようになり、誤検出を含むが、物体検出部２０３はカメラ２０１の撮影画像に基づいてより多くの物体を検出し、且つ誤検出を取り除くことができる。他方、カメラ２０１の撮影条件が良好でない場合には、物体検出部２０５の判定閾値を高くする。これによって、ミリ波レーダー２０２の検出結果に基づく物体の誤検出を防いで、高い検出性能を保つようにする。そして、ミリ波レーダー２０２のセンサユニットからＥＣＵへ、物体検出部２０５が検出した物体毎の、物体ＩＤと、その物体の位置、速度、並びにサイズの情報が毎フレーム転送される。

【0127】

また、転送制御部１００１は、ＥＣＵを経由して、ミリ波レーダー２０２のセンサユニットで検出された物体毎の位置、速度、並びにサイズの情報を受信して、ＲＯＩの位置及び大きさを決定する。そして、転送制御部１００１は、現像処理後の撮影画像からＲＯＩの画像データのみを切り出して、ＥＣＵ内の物体検出部２０３に出力する。物体検出部２０３は、転送制御部１００１から受信した、ＲＯＩの画像データから、所定の画像認識アルゴリズムに基づいて、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部２０６に出力する。

【0128】

フュージョン処理部２０６は、物体検出部２０３がカメラ２０１の撮影画像から検出した物体の位置などの情報と、物体検出部２０５がミリ波レーダー２０２の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ（図示しない）が搭載されている場合には、フュージョン処理部２０６はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部２０６は、フュージョン処理して得られた物体判別結果を、車両制御システム２０７に出力する。

【0129】

図２に示した物体検出システム２００では、カメラ２０１から物体検出部２０３すなわちＥＣＵへ、毎フレーム全画面の画像データを転送するので、転送量が大きく、これに伴い物体検出部２０３での処理量も大きくなる。また、ミリ波レーダー２０２のセンサユニットにおいては、物体検出部２０５の判定閾値を高くして、ＥＣＵへは尤度の高い検出結果に限定して出力する必要があり、物体の検出数が少ない。これに対し、図１０に示す物体検出システム１０００では、カメラ２０１の撮影画像のうちＲＯＩに限定してＥＣＵに画像データを転送するので、転送量が小さくなり、これに伴い物体検出部２０３での処理量が削減される。また、カメラ２０１の撮影条件が良好なときには、ミリ波レーダー２０２のセンサユニットにおいては、物体検出部２０５の判定閾値を低く設定して、ＥＣＵに出力する物体検出数を多くすることができる。これによって、尤度の低い物体もＥＣＵに通知されることになるが、フュージョン処理部２０６において、カメラ２０１の撮影画像を利用した尤度の高い検出結果とフュージョンすることにより、尤度を上げることができる。また、カメラ２０１の撮影条件が良好でないときには、誤検出を防ぐために、ミリ波レーダー２０２のセンサユニットにおいては、物体検出部２０５の判定閾値を高くして、ＥＣＵへは尤度の高い検出結果に限定して出力する必要があり、物体の検出数が少なくなる。また、カメラ２０１の撮影条件が良好でないときには、フュージョン処理部２０６はカメラ２０１の撮影画像に基づく物体検出部２０３の物体検出結果を使用しないようにする。

【実施例3】

【0130】

ミリ波レーダー２０２は、照射した電波の反射波に基づいて物体を検出することを原理とする。したがって、金属製の大型のボディからなる車両からの反射波の強度は強いが、バイクなどの小型車両からの反射波の強度はやや弱くなり、人や動物など金属以外の物体からの反射波はさらに弱くなるという傾向がある。そこで、ミリ波レーダー２０２における検出信号の強度に基づいて、カメラ２０１の撮影画像から切り出すＲＯＩのサイズを決定するようにしてもよい。適切なＲＯＩサイズを決定することにより、物体の一部を欠損することなく撮影画像から物体の画像を欠損することなく切り出して転送することができ、且つ、無駄な画像部分まで切り出してデータ転送量や処理量が無駄に増加しないようにすることができる。

【0131】

図１１には、ＲＯＩのサイズを決定する機構を備えた物体検出システム１１００の機能的構成を模式的に示している。但し、物体検出システム１１００は、図８に示した物体検出システム８００と同様に、ミリ波レーダー２０２の検出結果を利用して撮影画像中のＲＯＩを決定してＥＣＵへの画像データの転送を制御する機構を備えているものとする。また、図１１において、図２に示した物体検出システム２００と同一の構成要素については、同一の参照番号で示すとともに、以下では詳細な説明を省略する。

【0132】

レーダー信号処理部２０４は、ミリ波レーダー２０２による送信レーダーの原波形データと、ミリ波レーダー２０２がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ、速度を測定する。次いで、物体検出部２０５は、レーダー信号処理部２０４による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出する。そして、ミリ波レーダー２０２のセンサユニットからＥＣＵへ、物体検出部２０５が検出した物体毎の、物体ＩＤと、その物体の位置、速度、並びにサイズの情報が毎フレーム転送される。

【0133】

ＥＣＵ内では、サイズ判定部１１０２が、ミリ波レーダー２０２で検出した反射波の強度に基づいて、ＲＯＩのサイズを決定する。なお、サイズ判定部１１０２は、物体検出部２０５の出力を、そのまま後段のフュージョン処理部２０６に出力するものとする。転送制御部１１０１は、ＥＣＵから、ミリ波レーダー２０２のセンサユニットで検出された物体毎の位置、速度、並びにサイズの情報と、サイズ判定部１１０２で判定したＲＯＩのサイズの情報を受信する。そして、転送制御部１１０１は、現像処理後の撮影画像から、サイズ判定部１１０２で指定されたサイズからなるＲＯＩの画像データのみを切り出して、ＥＣＵ内の物体検出部２０３に出力する。

【0134】

物体検出部２０３は、転送制御部１１０１から受信した、ＲＯＩの画像データから、所定の画像認識アルゴリズムに基づいて、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部２０６に出力する。

【0135】

フュージョン処理部２０６は、物体検出部２０３がカメラ２０１の撮影画像から検出した物体の位置などの情報と、物体検出部２０５がミリ波レーダー２０２の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ（図示しない）が搭載されている場合には、フュージョン処理部２０６はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部２０６は、フュージョン処理して得られた物体判別結果を、車両制御システム２０７に出力する。

【0136】

図１２には、サイズ判定部１１０２において、レーダーの反射強度に基づいてＲＯＩのサイズを決定するための処理手順をフローチャートの形式で示している。但し、ここでは説明の便宜上、レーダーの反射強度を０～９の１０段階の強度レベルで扱うものとする。

【0137】

サイズ判定部１１０２は、レーダーの反射強度のレベルをチェックする。そして、レーダーの反射強度のレベルが７以上であれば（ステップＳ１２０１のＹｅｓ）、サイズ判定部１１０２は、物体検出部２０５で検出した物体は車両であると推定して、車両サイズのＲＯＩに決定し（ステップＳ１２０２）、車両サイズのＲＯＩを出力して、本処理を終了する。

【0138】

また、サイズ判定部１１０２は、レーダーの反射強度のレベルが４～６の範囲であれば（ステップＳ１２０３のＹｅｓ）、物体検出部２０５で検出した物体はバイクであると推定して、バイクサイズのＲＯＩに決定し（ステップＳ１２０４）、バイクサイズのＲＯＩを出力して、本処理を終了する。

【0139】

また、サイズ判定部１１０２は、レーダーの反射強度のレベルが２～３の範囲であれば（ステップＳ１２０５のＹｅｓ）、物体検出部２０５で検出した物体は歩行者であると推定して、歩行者サイズのＲＯＩに決定し（ステップＳ１２０６）、歩行者サイズのＲＯＩを出力して、本処理を終了する。

【0140】

また、サイズ判定部１１０２は、レーダーの反射強度のレベルが１以下であれば（ステップＳ１２０７のＹｅｓ）、その反射波はノイズであると判断して、ＲＯＩはないと決定して（ステップＳ１２０８）、本処理を終了する。

【0141】

なお、ミリ波レーダー２０２ではなく、ＬｉＤＡＲをカメラ２０１と併用する物体検出システムの場合には、例えば照射レーザーに対する反射光の強度に基づいてＲＯＩのサイズを決定するようにシステムを構築することもできる。

【実施例4】

【0142】

図８に示した物体検出システム８００においては、物体検出部２０５がミリ波レーダー２０２の検出結果から多数の物体を検出した場合に、転送制御部８０１がすべての検出物体をＲＯＩとして抽出すると、物体検出部２０３すなわちＥＣＵへの転送量が大きくなるとともに、ＥＣＵでの処理量も増大してしまう。そこで、転送制御部８０１は、カメラ２０１の撮影画像から切り出して転送するＲＯＩの数に上限を設定して、ＥＣＵへの転送量やＥＣＵの処理量が所定以上に増大しないようにしてもよい。

【0143】

また、重要なＲＯＩの画像データを優先的に転送し、重要でないＲＯＩの画像データの転送を抑制するようにすることが好ましい。車両に搭載して用いられる物体検出システムの場合、衝突回避の観点から、衝突する可能性がある障害物を含むＲＯＩは重要であるということができる。具体的には、正面に存在する物体は、車両が前方に進行すると衝突する可能性があるから、そのような物体を含むＲＯＩは重要である。また、相対速度が正の物体は自車両から遠ざかっていて衝突する可能性が低いが、相対速度が負の物体は自車両に接近していて衝突する可能性が高いので、後者の物体を含むＲＯＩは重要である。

【0144】

図１３には、ＲＯＩの優先度を判定して、優先度の高いＲＯＩを優先処理する機構を備えた物体検出システム１３００の機能的構成を模式的に示している。物体検出システム１３００は、さらにＲＯＩの上限数を設定する機能を備えていてもよい。但し、物体検出システム１３００は、図８に示した物体検出システム８００と同様に、ミリ波レーダー２０２の検出結果を利用して撮影画像中のＲＯＩを決定してＥＣＵへの画像データの転送を制御する機構を備えているものとする。また、図１３において、図２に示した物体検出システム２００と同一の構成要素については、同一の参照番号で示すとともに、以下では詳細な説明を省略する。

【0145】

レーダー信号処理部２０４は、ミリ波レーダー２０２による送信レーダーの原波形データと、ミリ波レーダー２０２がその送信レーダーの反射波の受信信号を信号処理して、レーダーを反射した各物体の距離、方位、大きさ、速度を測定する。次いで、物体検出部２０５は、レーダー信号処理部２０４による信号処理結果に基づいて、各物体の位置、速度、並びにサイズを検出する。そして、ミリ波レーダー２０２のセンサユニットからＥＣＵへ、物体検出部２０５が検出した物体毎の、物体ＩＤと、その物体の位置、速度、並びにサイズの情報が毎フレーム転送される。

【0146】

ＥＣＵ内では、優先度判定部１３０２が、物体検出部２０５が検出した各物体の優先度を判定する。ここでは、優先度判定部１３０２は、物体の位置と相対速度に基づいて、その優先度を判定する。正面に存在する物体は、車両が前方に進行すると衝突する可能性があるから、そのような物体の優先度は高い。また、相対速度が負の物体は自車両に接近していて衝突する可能性が高いので、そのような物体の優先度は高い。他方、正面以外で自車両の進路から外れた場所）に存在する物体や、相対速度が正で自車両から遠ざかっている物体は、衝突する可能性が低いので、そのような物体の優先度は低い。なお、優先度判定部１３０２は、物体検出部２０５の出力を、そのまま後段のフュージョン処理部２０６に出力するものとする。

【0147】

そして、転送制御部１３０１は、ＥＣＵから、ミリ波レーダー２０２のセンサユニットで検出された物体毎の位置、速度、並びにサイズの情報と、優先度判定部１３０２で判定した物体毎の優先度の情報を受信する。そして、転送制御部１３０１は、現像処理後の撮影画像から、優先度の高い物体から選択してＲＯＩの画像データを切り出して、ＥＣＵ内の物体検出部２０３に出力する。また、転送制御部１３０１は、転送可能なＲＯＩの上限数を設定しており、上限に到達すると画像データの転送を停止する。物体検出部２０３は、転送制御部１３０１から受信した、ＲＯＩの画像データから、所定の画像認識アルゴリズムに基づいて、歩行者や他車両、レーン、その他のさまざまな物体を検出して、その検出結果を後段のフュージョン処理部２０６に出力する。

【0148】

なお、転送可能なＲＯＩの上限は全画面分の画像データに相当する。全画面分の画像データを送信してしまうと、カメラユニットからＥＣＵへの転送量やＥＣＵにおける物体検出の処理量は、画像データの転送制御を行わない場合と同じになってしまう。

【0149】

フュージョン処理部２０６は、物体検出部２０３がカメラ２０１の撮影画像から検出した物体の位置などの情報と、物体検出部２０５がミリ波レーダー２０２の受信信号から検出した物体の位置、速度、サイズなどの情報とをフュージョン処理して、物体判別処理を実施する。同じ車両にさらに他の外界認識用のセンサ（図示しない）が搭載されている場合には、フュージョン処理部２０６はそのセンサによる検出信号もさらにフュージョン処理するようにしてもよい。そして、フュージョン処理部２０６は、フュージョン処理して得られた物体判別結果を、車両制御システム２０７に出力する。

【0150】

図１４には、優先度判定部１３０２において、物体検出部２０５が検出した各物体の優先度を判定するための処理手順をフローチャートの形式で示している。

【0151】

優先度判定部１３０２は、まず、物体検出部２０５で検出した物体の位置をチェックする（ステップＳ１４０１）。そして、物体が正面に存在する場合には（ステップＳ１４０１のＹｅｓ）、車両が前方に進行すると衝突する可能性がある。そこで、優先度判定部１３０２は、さらにその物体の相対速度をチェックする（ステップＳ１４０２）。そして、相対速度が負の場合には（ステップＳ１４０２のＹｅｓ）、その物体は自車両に接近していて衝突する可能性が高いので、その物体に対して高い優先度を割り当てて（ステップＳ１４０３）、その優先度を出力して、本処理を終了する。他方、相対速度が正の場合には（ステップＳ１４０２のＮｏ）、その物体は自車両から遠ざかっていて衝突する可能性がやや低いので、その物体に対して中程度の優先度を割り当て（ステップＳ１４０４）、その優先度を出力して、本処理を終了する。

【0152】

物体検出部２０５で検出した物体が正面以外に存在する場合には（ステップＳ１４０５のＹｅｓ）、正面に存在する場合よりも衝突する可能性が低い。優先度判定部１３０２は、さらにその物体の相対速度をチェックする（ステップＳ１４０６）。そして、相対速度が負の場合には（ステップＳ１４０６のＹｅｓ）、その物体は自車両に接近していて衝突する可能性があるので、その物体に対して中程度優先度を割り当て（ステップＳ１４０７）、その優先度を出力して、本処理を終了する。他方、相対速度が正の場合には（ステップＳ１４０６のＮｏ）、その物体は自車両から遠ざかっていて衝突する可能性がきわめて低いので、その物体に対して最も低い優先度を割り当て（ステップＳ１４０８）、その優先度を出力して、本処理を終了する。

【0153】

なお、ＥＣＵ側の物体検出部２０３内に複数の物体検出器を配置すれば、複数のＲＯＩを並列処理できるようになり、フレーム毎に処理可能なＲＯＩの数を上げることができるが、回路規模が増加する。したがって、上記のように、ミリ波レーダー２０２から検出された各物体に優先度を割り振って、物体検出部２０３では限られたハードウェア資源で優先度の高いＲＯＩから順に物体検出を実施することが好ましい。

【0154】

また、ＥＣＵ側の物体検出部２０３のハードウェアを拡張せず、カメラ２０１の撮像画像から抽出された各ＲＯＩの画像データを、ソフトウェアにより時分割処理するようにしてもよいが、フレーム内で処理可能な上限数以上のＲＯＩを処理することができない。したがって、上記のように、ミリ波レーダー２０２から検出された各物体に優先度を割り振って、物体検出部２０３では、フレーム毎の処理の上限数以内で、優先度の高いＲＯＩから順に物体検出を実施することが好ましい。

【産業上の利用可能性】

【0155】

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

【0156】

本明細書では、車載センサのフュージョンに関する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は車両に限定されない。例えば、ドローンなどの無人航空機、所定の作業空間（家庭、オフィス、工場など）を自律的に移動するロボット、船舶、航空機など、さまざまなタイプの移動体装置に対して、同様に本明細書で開示する技術を適用することができる。もちろん、移動体装置に設置される情報端末や、移動型でないさまざまな装置に対しても、同様に本明細書で開示する技術を適用することができる。

【0157】

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

【0158】

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）第１のセンサでセンシングした第１の情報のうち物体検出に使用する情報量を、第２のセンサでセンシングした第２の情報に基づいて制御する制御部を備える、
情報処理装置。
（２）前記第１のセンサはカメラであり、
前記制御部は、前記カメラによる撮像画像のうち物体検出に使用する対象領域を前記第２の情報に基づいて決定する、
上記（１）に記載の情報処理装置。
（３）前記制御部は、第２のセンサでセンシングした物体に関する前記第２の情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記（２）に記載の情報処理装置。
（４）前記第２のセンサはレーダーであり、
前記制御部は、前記レーダーにより検出された物体の位置、速度、又はサイズのうち少なくとも１つの情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記（２）又は（３）のいずれかに記載の情報処理装置。
（５）前記カメラの撮影条件を判定する条件判定部をさらに備え、
前記制御部は、前記条件判定部の判定結果に基づいて設定された閾値を用いて前記レーダーにより検出された物体の情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記（４）に記載の情報処理装置。
（６）前記制御部は、前記カメラの撮影条件が良好な場合に高く設定された閾値、又は前記カメラの撮影条件が良くない場合に低く設定された閾値のいずれかで前記レーダーにより検出された物体の情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記（５）に記載の情報処理装置。
（７）前記レーダーが検出する反射波の強度に基づいて、前記対象領域のサイズを判定するサイズ判定部をさらに備え、
前記制御部は、前記サイズ判定部が判定したサイズに基づいて、前記撮影画像の中から前記対象領域を決定する、
上記（４）乃至（６）のいずれかに記載の情報処理装置。
（８）前記制御部は、前記対象領域の上限数を設定する、
上記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）前記レーダーにより検出された各物体の優先度を判定する優先度判定部をさらに備え、
前記制御部は、前記優先度に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記（４）乃至（８）のいずれかに記載の情報処理装置。
（１）前記優先度判定部は、前記レーダーにより検出された物体の位置及び相対速度に基づいて優先度を判定する、
上記（９）に記載の情報処理装置。
（１１）前記優先度判定部は、前記情報処理装置の正面で検出された物体、又は、前記情報処理装置に対する相対速度が負となる物体に対して高い優先度を判定する、
上記（１０）に記載の情報処理装置。
（１２）第１のセンサでセンシングした第１の情報のうち物体検出に使用する情報量を、第２のセンサでセンシングした第２の情報に基づいて制御する制御ステップを有する、
情報処理方法。
（１３）第１のセンサでセンシングした第１の情報のうち物体検出に使用する情報量を第２のセンサでセンシングした第２の情報に基づいて制御するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラム。
（１４）撮像部と、
他のセンサでセンシングした情報に基づいて、前記撮像部の撮影画像のうち物体検出に使用する対象領域を決定する制御部と、
を具備する撮像装置。
（１４－１）前記他のセンサはレーダーであり、
前記制御部は、前記レーダー前記レーダーにより検出された物体の位置、速度、又はサイズのうち少なくとも１つの情報に基づいて、前記撮影画像の中から前記対象領域を決定する、
上記（１４）に記載の撮像装置。
（１５）第１のセンサでセンシングした第１の情報のうち、第２のセンサでセンシングした第２の情報に基づいて決定した情報量に基づいて物体を検出する第１の物体検出部と、
前記第１の物体検出部による物体検出結果と前記第２のセンサを利用した物体検出結果とをフュージョンして物体を判定する判定部と、
を具備する情報処理システム。
（１６）移動手段と、
第１のセンサと、
第２のセンサと、
第１のセンサでセンシングした第１の情報のうち、第２のセンサでセンシングした第２の情報に基づいて決定した情報量に基づいて物体を検出する第１の物体検出部と、
前記第１の物体検出部による物体検出結果と前記第２のセンサを利用した物体検出結果とをフュージョンして物体を判定する判定部と、
前記判定部による判定結果に基づいて前記移動手段の駆動を制御する駆動制御部と、
を具備する移動体装置。

【符号の説明】

【0159】

１００…車両制御システム
１０１…入力部、１０２…データ取得部、１０３…通信部
１０４…車内機器、１０５…出力制御部、１０６…出力部
１０７…駆動系制御部、１０８…駆動系システム
１０９…ボディ系制御部、１１０…ボディ系システム、１１１記憶部
１１２…自動運転制御部、１２１…通信ネットワーク
１３１…検出部、１３２…自己位置推定部、１３３…状況分析部
１３４…計画部、１３５…動作制御部
１４１…車外情報検出部、１４２…車内情報検出部
１４３…車両状態検出部
１５１…マップ解析部、１５２…交通ルール認識部
１５３…状況認識部、１５４…状況予測部
１６１…ルート計画部、１６２…行動計画部、１６３…動作計画部
１７１…緊急事態回避部、１７２…加減速制御部、１７３…方向制御部
２００…物体検出システム、２０１…カメラ、２０２…ミリ波レーダー
２０３…物体検出部、２０４…ミリ波レーダー信号処理部
２０５…物体検出部、２０６…フュージョン処理部
２０７…車両制御システム
７００…物体検出システム、７０１…転送制御部
８００…物体検出システム、８０１…転送制御部
１０００…物体検出システム、１００１…転送制御部
１００２…条件判定部
１１００…物体検出システム、１１０１…転送制御部
１１０２…サイズ判定部
１３００…物体検出システム、１３０１…転送制御部
１３０２…優先度判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】