特許 7561098 車両制御装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-25

(45)【発行日】2024-10-03

(54)【発明の名称】車両制御装置及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240926BHJP

【ＦＩ】

G08G1/16 C

【請求項の数】 8

(21)【出願番号】P 2021121920

(22)【出願日】2021-07-26

(65)【公開番号】P2023017574

(43)【公開日】2023-02-07

【審査請求日】2023-10-09

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(72)【発明者】

【氏名】小栗 崇治

(72)【発明者】

【氏名】土屋 滉一

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２０１５－２０３６７７（ＪＰ，Ａ）

【文献】特開２０１９－０２８８６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

自車両周辺の画像のパターン認識により得られた第１物体情報と、送信波及び反射波により得られた第２物体情報とにより物体を認識する車両制御装置（１０）であって、
前記第１物体情報が示す物体の存在領域と、前記第２物体情報が示す物体の存在領域とが重なることに基づいて、当該物体を認識する認識部と、
前記認識部により物体が認識されている状態から、前記第１物体情報が得られなくなったことを判定する状態判定部と、
前記状態判定部により前記第１物体情報が得られなくなったと判定された場合に、前記第２物体情報と、前記画像のピクセルごとの種別情報により得られた第３物体情報とにより物体の認識を継続する継続処理部と、
前記画像において前記第１物体情報が示す物体と前記第３物体情報が示す物体とが同一であるか否かを判定する同一判定部と、
を備え、
前記継続処理部は、前記状態判定部により前記第１物体情報が得られなくなったと判定された場合に、前記同一判定部により前記第１物体情報が示す物体と前記第３物体情報が示す物体とが同一であると判定されていることを条件に、前記第２物体情報と前記第３物体情報とによる物体認識を継続する、車両制御装置。

【請求項2】

前記同一判定部は、前記画像から前記第１物体情報が得られている期間と、前記画像から前記第３物体情報が得られている期間との重複期間が所定の閾値期間よりも長い場合に、前記第１物体情報が示す物体と前記第３物体情報が示す物体とが同一であると判定する、請求項１に記載の車両制御装置。

【請求項3】

自車両周辺の画像のパターン認識により得られた第１物体情報と、送信波及び反射波により得られた第２物体情報とにより物体を認識する車両制御装置（１０）であって、
前記第１物体情報が示す物体の存在領域と、前記第２物体情報が示す物体の存在領域とが重なることに基づいて、当該物体を認識する認識部と、
前記認識部により物体が認識されている状態から、前記第１物体情報が得られなくなったことを判定する状態判定部と、
前記状態判定部により前記第１物体情報が得られなくなったと判定された場合に、前記第２物体情報と、前記画像のピクセルごとの種別情報により得られた第３物体情報とにより物体の認識を継続する継続処理部と、
を備え、
前記継続処理部は、
前記状態判定部により前記第１物体情報が得られなくなったと判定された場合に、
その判定直後の所定時間において前記第２物体情報のみにより物体の認識を継続する第１継続処理と、
その第１継続処理に引き続き、前記第２物体情報と前記第３物体情報とにより物体の認識を継続する第２継続処理と、
を実施する、車両制御装置。

【請求項4】

自車両周辺の物体の認識結果に基づいて、当該物体に対する衝突を回避又は軽減すべく運転支援制御を実施する車両制御装置であって、
前記第１物体情報及び前記第２物体情報により物体が認識されている状態と、前記第２物体情報及び前記第３物体情報により物体が認識されている状態とで、前記運転支援制御の実施態様を変更する制御部を備える請求項１～３のいずれか一項に記載の車両制御装置。

【請求項5】

自車両周辺の画像のパターン認識により得られた第１物体情報と、送信波及び反射波により得られた第２物体情報とにより物体を認識し、その物体の認識結果に基づいて、当該物体に対する衝突を回避又は軽減すべく運転支援制御を実施する車両制御装置（１０）であって、
前記第１物体情報が示す物体の存在領域と、前記第２物体情報が示す物体の存在領域とが重なることに基づいて、当該物体を認識する認識部と、
前記認識部により物体が認識されている状態から、前記第１物体情報が得られなくなったことを判定する状態判定部と、
前記状態判定部により前記第１物体情報が得られなくなったと判定された場合に、前記第２物体情報と、前記画像のピクセルごとの種別情報により得られた第３物体情報とにより物体の認識を継続する継続処理部と、
前記第１物体情報及び前記第２物体情報により物体が認識されている状態と、前記第２物体情報及び前記第３物体情報により物体が認識されている状態とで、前記運転支援制御の実施態様を変更する制御部と、
を備える車両制御装置。

【請求項6】

自車両周辺の画像のパターン認識により得られた第１物体情報と、送信波及び反射波により得られた第２物体情報とにより物体を認識するプログラムであって、
コンピュータに、
前記第１物体情報が示す物体の存在領域と、前記第２物体情報が示す物体の存在領域とが重なることに基づいて、当該物体を認識する認識処理と、
前記認識処理により物体が認識されている状態から、前記第１物体情報が得られなくなったことを判定する状態判定処理と、
前記状態判定処理により前記第１物体情報が得られなくなったと判定された場合に、前記第２物体情報と、前記画像のピクセルごとの種別情報により得られた第３物体情報とにより物体の認識を継続する認識継続処理と、
前記画像において前記第１物体情報が示す物体と前記第３物体情報が示す物体とが同一であるか否かを判定する同一判定処理と、
を実行させ、
前記認識継続処理は、前記状態判定処理により前記第１物体情報が得られなくなったと判定された場合に、前記同一判定処理により前記第１物体情報が示す物体と前記第３物体情報が示す物体とが同一であると判定されていることを条件に、前記第２物体情報と前記第３物体情報とによる物体認識を継続する、プログラム。

【請求項7】

自車両周辺の画像のパターン認識により得られた第１物体情報と、送信波及び反射波により得られた第２物体情報とにより物体を認識するプログラムであって、
コンピュータに、
前記第１物体情報が示す物体の存在領域と、前記第２物体情報が示す物体の存在領域とが重なることに基づいて、当該物体を認識する認識処理と、
前記認識処理により物体が認識されている状態から、前記第１物体情報が得られなくなったことを判定する状態判定処理と、
前記状態判定処理により前記第１物体情報が得られなくなったと判定された場合に、前記第２物体情報と、前記画像のピクセルごとの種別情報により得られた第３物体情報とにより物体の認識を継続する認識継続処理と、
を実行させ、
前記認識継続処理として、
前記状態判定処理により前記第１物体情報が得られなくなったと判定された場合に、
その判定直後の所定時間において前記第２物体情報のみにより物体の認識を継続する第１継続処理と、
その第１継続処理に引き続き、前記第２物体情報と前記第３物体情報とにより物体の認識を継続する第２継続処理と、
を実行させる、プログラム。

【請求項8】

自車両周辺の画像のパターン認識により得られた第１物体情報と、送信波及び反射波により得られた第２物体情報とにより物体を認識し、その物体の認識結果に基づいて、当該物体に対する衝突を回避又は軽減すべく運転支援制御を実施するプログラムであって、
コンピュータに、
前記第１物体情報が示す物体の存在領域と、前記第２物体情報が示す物体の存在領域とが重なることに基づいて、当該物体を認識する認識処理と、
前記認識処理により物体が認識されている状態から、前記第１物体情報が得られなくなったことを判定する状態判定処理と、
前記状態判定処理により前記第１物体情報が得られなくなったと判定された場合に、前記第２物体情報と、前記画像のピクセルごとの種別情報により得られた第３物体情報とにより物体の認識を継続する認識継続処理と、
前記第１物体情報及び前記第２物体情報により物体が認識されている状態と、前記第２物体情報及び前記第３物体情報により物体が認識されている状態とで、前記運転支援制御の実施態様を変更する制御処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両周辺の物体を認識する車両制御装置及びプログラムに関する。

【背景技術】

【0002】

従来、撮像装置の画像により検出された物体情報と、測距センサの送信波及び反射波により検出された物体情報とを取得し、これら各物体情報が示す物体の存在領域が互いに重なることに基づいて、物体を認識する車両制御装置が知られている。また、物体の認識結果に基づいて、衝突回避制御等の運転支援処理を適宜実施する技術が知られている。

【0003】

例えば特許文献１の車両制御装置では、画像により検出された物体情報と、送信波及び反射波により検出された物体情報とに基づいて同一の物体が認識されている状態から、送信波及び反射波により検出された物体情報だけで物体が認識されている状態に推移した場合において、画像から物体情報を取得できない近傍領域に物体が位置していることを判定する。そして、衝突回避制御の作動条件を、画像により検出された物体情報と、送信波及び反射波により検出された物体情報とに基づいて物体が認識されている状態のまま維持するようにしている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－２１１９７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１の車両制御装置では、例えば、画像により検出された物体情報と送信波及び反射波により検出された物体情報とに基づいて歩行者が認識されている状態から、車両と歩行者とが近接することで画像による歩行者の検出がロストした場合であっても、歩行者が送信波及び反射波により検出されていれば、その歩行者の認識状態が維持される。しかしながら、仮に歩行者が認識位置から移動し、送信波及び反射波により歩行者に代えてマンホールの蓋などの物体が検出される場合には、歩行者が存在しないにも関わらず衝突回避制御等が不要に実施されることが懸念される。

【0006】

本発明は上記課題に鑑みたものであり、画像による物体情報と送信波及び反射波による物体情報とに基づいて物体を認識する車両制御装置において、物体を適切に認識することができる車両制御装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決する手段は、自車両周辺の画像のパターン認識により得られた第１物体情報と、送信波及び反射波により得られた第２物体情報とにより物体を認識する車両制御装置であって、前記第１物体情報が示す物体の存在領域と、前記第２物体情報が示す物体の存在領域とが重なることに基づいて、当該物体を認識する認識部と、前記認識部により物体が認識されている状態から、前記第１物体情報が得られなくなったことを判定する状態判定部と、前記状態判定部により前記第１物体情報が得られなくなったと判定された場合に、前記第２物体情報と、前記画像のピクセルごとの種別情報により得られた第３物体情報とにより物体の認識を継続する継続処理部と、を備える。

【0008】

上記構成では、第１物体情報と第２物体情報とにより物体が認識されている状態から、第１物体情報が得られなくなったと判定された場合に、この物体の認識を第２物体情報と第３物体情報とにより継続する。第３物体情報は、画像のピクセルごとの種別情報により得られる物体情報であるため、画像のパターン認識により得られる第１物体情報に比べて、例えば物体の存在領域の特定精度において信頼性が低いが、物体が存在しているか否かを判定することはできる。上記構成では、第１物体情報が得られなくなった場合において、第１物体情報が得られなくなる前に第１物体情報と第２物体情報とにより信頼性の高い物体認識がされていれば、第２物体情報と第３物体情報とにより物体の認識を継続するようにした。これにより、第１物体情報が得られなくなった状態でも、物体認識の信頼性を高く維持しつつ、画像と送信波及び反射波とを用いて物体を認識することができる。そのため、第３物体情報により物体が検出されない場合には、物体が存在しておらず、第２物体情報により物体が誤検出されている可能性が高いため、物体が認識されている状態の解除が可能となっている。

【図面の簡単な説明】

【0009】

【図1】走行制御システムの全体構成図。

【図2】画像ロスト後におけるレーダ情報の誤検出の説明図。

【図3】運転支援処理の処理手順を示すフローチャート。

【図4】物体認識の一例を示すタイムチャート。

【図5】検出回数と所定時間との関係を示すグラフ。

【発明を実施するための形態】

【0010】

以下、本発明に係る車両制御装置を、車載の走行制御システム１００に適用した実施形態について、図面を参照しつつ説明する。走行制御システム１００は、自車両の周囲に存在する物体（他車両、歩行者、路上障害物等）を認識するとともに、その認識結果に基づいて、衝突回避制御（ＰＣＳ制御）や車両の発進抑制制御等の運転支援制御を実施する。

【0011】

図１に示すように、本実施形態に係る走行制御システム１００は、車両制御装置としてのＥＣＵ１０と、センサ類２０と、被制御装置３０とを備えている。センサ類２０としては、例えば、撮像装置としてのカメラセンサ２１、レーダセンサ２２、ヨーレートセンサ２３、車速センサ２４等が備えられている。

【0012】

カメラセンサ２１は、例えば単眼カメラであり、自車両のフロントガラスの上端付近等に設置されている。カメラセンサ２１は、規定時間毎に自車両前方の所定領域を撮像し、撮像した画像Ｇを取得する。

【0013】

レーダセンサ２２は、自車両の周囲に探査波を送信し、その探査波の反射波を受信することで自車両の周囲に存在する物体の距離情報を取得する測距センサであり、例えば自車両の前部においてその光軸が自車両前方を向くように取り付けられている。レーダセンサ２２は、規定時間毎に自車両の前方に向かって、探査波であるミリ波帯の指向性のある送信波を走査するとともに、物体の表面で反射された反射波を複数のアンテナにより受信することで物体までの距離、物体の方位、及び物体の自車両に対する相対速度等を距離情報として取得する。レーダセンサ２２は、探査波の送信時刻と反射波の受信時刻とにより、物体までの距離を算出して取得する。また、レーダセンサ２２は、複数のアンテナが受信した反射波の位相差により、物体の方位を算出して取得する。さらに、レーダセンサ２２は、物体の表面で反射された反射波の、ドップラー効果により変化した周波数により、物体の相対速度を算出して取得する。

【0014】

ヨーレートセンサ２３は、自車両の旋回角速度を検出する周知のヨーレートセンサとして構成される。車速センサ２４は、車輪の回転速度、つまりは自車両の走行速度を検出する。これらのセンサ類２０による検出結果は、ＥＣＵ１０に出力される。

【0015】

ＥＣＵ１０は、ＣＰＵ，ＲＯＭ，ＲＡＭ，フラッシュメモリ等からなる周知のマイクロコンピュータを備えた制御装置である。ＥＣＵ１０は、カメラセンサ２１から取得される画像Ｇに基づいて検出される物体情報（以下、画像情報）と、レーダセンサ２２から取得される距離情報（以下、レーダ情報）とをそれぞれ取得する。

【0016】

詳細には、ＥＣＵ１０は、カメラセンサ２１から取得される画像Ｇに対して、テンプレートマッチング（パターン認識）等の周知の画像処理を行うことにより、画像Ｇ内に存在する物体とその種類（他車両、歩行者、路上障害物等）を検出する。本実施形態では、各物体の種類を特定するためのテンプレートとして、物体ごとの特徴を示す画像パターンである複数の辞書が記憶されている。辞書としては、物体全体の特徴をパターン化した全身辞書を記憶している。

【0017】

ＥＣＵ１０は、辞書に記憶された物体の実寸法と、画像Ｇ上の物体の大きさである画像寸法との比に基づいて物体までの距離を算出する。また、ＥＣＵ１０は、画像Ｇの下端部中央を原点として、原点に対する画像Ｇ上の物体の方位を算出する。ＥＣＵ１０は、画像Ｇから算出された物体までの距離及び物体の方位により物体の相対位置及び物体が存在する存在領域等を算出し、これらの情報を第１画像情報として取得する。

【0018】

また、ＥＣＵ１０は、レーダセンサ２２から取得される距離情報に含まれる物体までの距離及び物体の方位により物体の相対位置及び存在領域等を算出し、これらの情報をレーダ情報として取得する。本実施形態において、第１画像情報が「第１物体情報」に相当し、レーダ情報が「第２物体情報」に相当する。

【0019】

ＥＣＵ１０は、第１画像情報とレーダ情報に基づいて、つまり第１画像情報とレーダ情報とを融合（フュージョン）して、物体を認識する。より具体的には、ＥＣＵ１０は、第１画像情報に含まれる物体の存在領域と、レーダ情報に含まれる物体の存在領域とに重複部が存在する場合に、物体を認識する。

【0020】

また、ＥＣＵ１０は、認識した物体から自車両周辺に存在する物体を選出し、被制御装置３０を用いて自車両の駆動力及び制動力を調整することで、該物体への衝突を回避又は軽減する衝突被害軽減制御、つまりＰＣＳ（Ｐｒｅ Ｃｒａｓｈ Ｓａｆｅｔｙ）制御や、急な発進を抑制する発進抑制制御といった運転支援制御を実施する。被制御装置３０は、加速装置であるアクセル装置３１と減速装置であるブレーキ装置３２とを有し、「加減速装置」に相当する。アクセル装置３１は、ドライバのアクセル操作又はＥＣＵ１０からの制御指令により、自車両に駆動力を付与する。また、ブレーキ装置３２は、ドライバのブレーキ操作又はＥＣＵ１０からの制御指令により、自車両に制動力を付与する。

【0021】

ＥＣＵ１０は、ＰＣＳ制御として、自車両が物体に衝突するまでの衝突予測時間であるＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）に基づいてブレーキ装置３２を作動させる。また、ＥＣＵ１０は、発進抑制制御として、自車両の停止時や減速時において、自車両の進行方向前方の近距離に物体があることに基づいて、ドライバのアクセル操作による誤発進を抑制すべく自車両に駆動力を付与することを停止する。

【0022】

また、ＥＣＵ１０は、カメラセンサ２１から取得される画像Ｇに対して、ディープラーニングを利用したセマンテイックセグメンテーションによる画像処理を行うことにより、画像Ｇ内に存在するピクセルごとの種別情報（他車両、歩行者、立体物等）を検出する。ＥＣＵ１０は、同一の種別情報を有するピクセルの集まりにより、画像Ｇ内に存在する物体を検出し、この情報を第２画像情報として取得する。なお、ピクセルごとの種別情報には、物体の実寸法に関する情報が含まれないため、第２画像情報には、物体の相対位置を示す情報が含まれない。本実施形態において、第２画像情報が「第３物体情報」に相当する。

【0023】

ところで、例えば自車両４０の進行方向前方に歩行者５０が存在する場合において、第１画像情報とレーダ情報とに基づいて歩行者５０を認識した状態から、第１画像情報のみが得られない状態に移行することがあると考えられる。具体的には、自車両４０と歩行者５０とが近接することで、歩行者５０の一部がカメラセンサ２１の画角から外れ、画像Ｇによる歩行者５０の検出ができない画像ロストが生じることがある。この場合、第１画像情報のみが得られない状況に移行しても、すなわち画像ロストが生じても歩行者５０を適正に認識する必要がある。

【0024】

図２に、自車両４０が歩行者５０側に進行する場合における歩行者５０の検出状態の推移を示す。図２において、（Ａ）は、自車両４０の進行方向における自車両４０と歩行者５０との間の距離を示し、（Ｂ）は、カメラセンサ２１から取得される画像Ｇを示し、（Ｃ）は、歩行者５０の第１画像情報を示し、（Ｄ）は、歩行者５０の検出状態を示す。

【0025】

自車両４０は、時刻ｔ１から時刻ｔ２にかけて歩行者５０側に進行しており、時刻ｔ１，ｔ２では、画像Ｇに歩行者５０の全身が映り、ＥＣＵ１０は、全身辞書を用いて歩行者５０を検出する。ＥＣＵ１０は、第１画像情報とレーダ情報とに基づいて歩行者５０を認識する。一方、時刻ｔ３では、自車両４０と歩行者５０とが近接することで、画像Ｇに歩行者５０の下半身が映らず、画像ロストが生じている。この場合、画像ロスト前に第１画像情報とレーダ情報とに基づいて歩行者５０が認識されており、かつ画像ロスト後にレーダ情報により歩行者５０が検出されていれば、その歩行者５０の認識状態が維持されるとよい。

【0026】

しかしながら、例えば時刻ｔ３において、歩行者５０が立つ路面にマンホールの蓋５１等の段差物が存在していると、ＥＣＵ１０は、レーダ情報に基づいて歩行者５０とマンホールの蓋５１とを略同じ位置で検出する。そして、時刻ｔ４において、歩行者５０が自車両４０の進行方向前方から移動しても、レーダセンサ２２によりマンホールの蓋５１が検出された状態が継続されていると、歩行者５０が存在しないにも関わらず歩行者５０の認識状態が維持されることが考えられる。この場合、自車両４０の進行方向前方に歩行者５０が存在するとした誤認識により、自車両４０の発進抑制制御が不要に実施されることが懸念される。

【0027】

そこで、本実施形態では、第１画像情報とレーダ情報とのフュージョンにより歩行者５０等の物体が認識されており、かつ物体の画像ロストに伴い第１画像情報が得られなくなった場合に、第１画像情報に代えて第２画像情報を用い、第２画像情報とレーダ情報とに基づいて物体の認識を継続するようにしている。この構成によれば、画像ロスト後においても、画像Ｇを用いて歩行者５０等の有無を継続的に把握することができ、自車両４０の発進抑制制御が不要に実施されることを抑制される。

【0028】

図３に、本実施形態の運転支援処理のフローチャートを示す。ＥＣＵ１０は、所定周期毎に運転支援処理を繰り返し実施する。

【0029】

運転支援処理を開始すると、ステップＳ１１では第１，第２画像情報を取得し、ステップＳ１２ではレーダ情報を取得する。その後、ステップＳ１３では、第１画像情報とレーダ情報とによりフュージョンが成立し、物体が認識されているか否かを判定する。第１画像情報及びレーダ情報によりそれぞれ物体が検出され、かつ第１画像情報に含まれる物体の存在領域と、レーダ情報に含まれる物体の存在領域とに重複部が存在する場合、ステップＳ１４に進む。ステップＳ１４では、フュージョンフラグに１をセットする。なお、本実施形態において、ステップＳ１３の処理が「認識部」に相当する。

【0030】

ステップＳ１５では、ステップＳ１３で認識された物体、つまり第１画像情報により検出されている物体が、第２画像情報においても検出されているかを判定する。第１画像情報及び第２画像情報によりそれぞれ同一の物体が検出されている場合、ステップＳ１６に進む。このとき、第１画像情報及び第２画像情報により検出される物体の存在領域が重複していることに基づいて、これら各画像情報により同一の物体が検出されていると判定されるとよい。

【0031】

ステップＳ１６では、第１画像情報及び第２画像情報により同一の物体が連続して検出されている回数である検出回数ＤＮを記憶する。検出回数ＤＮは、ある物体について、画像Ｇから第１画像情報が得られている期間と、画像Ｇから第２画像情報が得られている期間との重複期間を示すものであり、第１画像情報により検出された物体ごとに設定されている。ステップＳ１６では、各画像情報で同一の物体が検出されている場合に、検出回数ＤＮに１が加算されて記憶される。

【0032】

その後、ステップＳ１７では、第１画像情報とレーダ情報とにより認識された物体の位置に基づいて、運転支援処理を実施する。具体的には、ステップＳ１３において第１画像情報とレーダ情報とに基づいて認識された物体に対して、自車両の衝突を回避又は軽減すべくＰＣＳ制御や発進抑制制御を適宜実施する。

【0033】

一方、ステップＳ１３でフュージョンが成立していなければ、ステップＳ２１に進む。ステップＳ２１では、第１画像情報及びレーダ情報の少なくとも一方により物体が検出されているか否かを判定する。ステップＳ２１で肯定判定すると、ステップＳ２２に進み、ステップＳ２１で否定判定すると、本処理を一旦終了する。

【0034】

ステップＳ２２では、フュージョンフラグがセットされているか否かを判定する。また、フュージョンフラグがセットされている場合、ステップＳ２３では、フュージョン成立により認識された物体について、レーザ情報による検出が継続されているか否かを判定する。ステップＳ２２，Ｓ２３で共に肯定判定する場合、ステップＳ２４に進む。一方、ステップＳ２２，Ｓ２３のいずれかで否定判定する場合、本処理を一旦終了する。このとき、過去に第１画像情報とレーダ情報とによりフュージョンが成立しており、その状態から第１画像情報のみが得られなくなっていれば、ステップＳ２２，Ｓ２３が共に肯定判定される。なお、本実施形態において、ステップＳ２２，Ｓ２３の処理が「状態判定部」に相当する。

【0035】

ステップＳ２４では、第１画像情報が得られなくなってからの経過時間ＴＣが所定時間Ｔｔｈを超過したか否かを判定する。所定時間Ｔｔｈは、例えば数秒程度である。経過時間ＴＣが所定時間Ｔｔｈよりも短い場合には、ステップＳ２５に進む。ステップＳ２５では、レーダ情報のみにより物体の認識を継続する処理（第１継続処理）を実施し、ステップＳ２６に進む。ステップＳ２６では、過去のフュージョン成立状態で認識されていた物体の位置に基づいて、自車両の衝突を回避又は軽減すべくＰＣＳ制御や発進抑制制御を適宜実施する。

【0036】

一方、経過時間ＴＣが所定時間Ｔｔｈよりも長い場合には、ステップＳ２７に進む。ステップＳ２７では、第１画像情報により検出されていた物体が第２画像情報により検出されているか否かを判定する。続くステップＳ２８では、ステップＳ１６で記憶した検出回数ＤＮに基づいて、第１画像情報及び第２画像情報により同一の物体が検出されていたことの信頼度を判定する。具体的には、検出回数ＤＮが所定の閾値回数Ｎｔｈよりも大きいか否かを判定する。そして、検出回数ＤＮが閾値回数Ｎｔｈよりも大きい場合に、それら各画像情報により同一の物体が検出されていた信頼度が高いと判定し、ステップＳ２９に進む。また、検出回数ＤＮが閾値回数Ｎｔｈよりも小さい場合に、それら各画像情報により同一の物体が検出されていた信頼度が低いと判定し、本処理を一旦終了する。なお、本実施形態において、閾値回数Ｎｔｈが「閾値期間」に相当する。

【0037】

ステップＳ２９では、第２画像情報とレーダ情報とにより物体の認識を継続する処理（第２継続処理）を実施し、ステップＳ３０に進む。ステップＳ３０では、過去のフュージョン成立状態で認識されていた物体の位置に基づいて、自車両の衝突を回避又は軽減すべくＰＣＳ制御や発進抑制制御を適宜実施する。なお、本実施形態において、ステップＳ２８の処理が「同一判定部」に相当し、ステップＳ２５，Ｓ２９の処理が「継続処理部」に相当する。

【0038】

本実施形態では、ＥＣＵ１０が、ステップＳ１３でフュージョン成立により物体を認識することに加え、ステップＳ２５において第１継続処理により物体を認識する一方、ステップＳ２８において第２継続処理により物体を認識することとしており、いずれのステップで物体を認識したかに応じて、異なる態様で運転支援制御を実施する（ステップＳ１７，Ｓ２６，Ｓ３０）。詳しくは、ステップＳ１７は基本となる運転支援制御であり、ＥＣＵ１０は、車両走行中において、制御対象となる物体に対するＴＴＣに基づいてＰＣＳ制御を実施するとともに、車両停止中において物体との相対位置に基づいて発進抑制制御を実施する。これに対して、ステップＳ２６では、ＥＣＵ１０は、画像ロスト前におけるステップＳ１７と同じ内容、すなわち画像ロスト前の実施態様を維持したままで運転支援制御を実施する。また、ステップＳ３０では、ＥＣＵ１０は、ＴＴＣにかかわらずＰＣＳ制御を実施しない。本実施形態において、ステップＳ１７，Ｓ３０の処理が「制御部」に相当する。

【0039】

なお、ステップＳ１７，Ｓ２６，Ｓ３０では、物体認識の信頼性に応じて運転支援制御の実施態様がそれぞれ異なるものであればよく、具体的な処理内容は適宜変更することが可能である。この場合、ステップＳ１７においてＰＣＳ制御が最も作動しやすく、ステップＳ３０においてＰＣＳ制御が最も作動しにくくなっていればよい。発進抑制制御については、ステップＳ１７では誤発進が抑制されやすく、ステップＳ３０では誤発進が抑制されにくくなっていればよい。

【0040】

続いて、図４に、運転支援処理における物体認識の一例を示す。図４は、図２に示したように、自車両４０と歩行者５０とが近接する場合において、歩行者５０について行われる物体認識の処理を示す。

【0041】

図４において、（Ａ）は、第１画像情報による歩行者５０の検出状態の推移を示し、（Ｂ）は、第２画像情報による歩行者５０の検出状態の推移を示し、（Ｃ）は、レーダ情報による歩行者５０の検出状態の推移を示す。また、（Ｄ）は、フュージョンフラグのオンオフ状態の推移を示し、（Ｅ）は、フュージョン成立後の画像ロストの状態の推移を示し、（Ｆ）は、経過時間ＴＣの推移を示す。

【0042】

図４に示すように、時刻ｔ１１に第１画像情報及び第２画像情報により歩行者５０が検出され、時刻ｔ１２にレーダ情報により歩行者５０が検出されると、時刻ｔ１２において第１画像情報に含まれる歩行者５０の存在領域と、レーダ情報に含まれる歩行者５０の存在領域とが重複することでフュージョンが成立し、フュージョンフラグがセットされる。なお、図４では、第１画像情報及び第２画像情報が同時に取得され、その後にレーダ情報が取得されるものとしているが、その時系列の順序は任意である。図４では、時刻ｔ１１以降において、画像Ｇによる歩行者５０の検出情報として第１画像情報と第２画像情報とが取得されている。

【0043】

その後、自車両４０と歩行者５０との近接により時刻ｔ１３に画像ロストが生じる。画像ロストが生じると、第１画像情報が得られなくなり、レーダ情報のみにより歩行者５０が検出される状態となるが、歩行者５０の認識状態は継続される。時刻ｔ１３以降、経過時間ＴＣの計時が開始される。

【0044】

そして、時刻ｔ１４に経過時間ＴＣが所定時間Ｔｔｈとなると、第２画像情報及びレーダ情報により歩行者５０が認識される。これにより、時刻ｔ１４以降においても、歩行者５０の認識状態が継続される。つまり、画像ロストが生じると、まず第１継続処理による歩行者５０の認識が行われ、画像ロストから所定時間Ｔｔｈが経過すると、その第１継続処理に引き続き、第２継続処理による歩行者５０の認識が行われる。

【0045】

その後、時刻ｔ１５では、歩行者５０が自車両の前方から移動することにより、歩行者５０に関する第２画像情報が得られなくなる。これにより、歩行者５０の認識状態が解除される。

【0046】

ここで、時刻ｔ１３で画像ロストが生じた後において、歩行者５０が立つ路面にマンホールの蓋５１等の段差物が存在していると、仮に歩行者５０が自車両の前方から移行しても、レーダセンサ２２によるマンホールの蓋５１の検出情報により歩行者５０が誤検出され、自車両４０の発進抑制制御が不要に実施されることが懸念される。この点、時刻ｔ１３以降において歩行者５０の有無が第２画像情報により判定されるため、歩行者５０の存在が適正に把握され、自車両４０の発進抑制制御が適正に実施される。

【0047】

以上詳述した本実施形態によれば、以下の効果が得られるようになる。

【0048】

・本実施形態では、第１画像情報とレーダ情報とにより歩行者５０が認識されている状態から、第１画像情報が得られなくなったと判定された場合に、歩行者５０の認識を第２画像情報とレーダ情報とにより継続する。第２画像情報は、画像Ｇのピクセルごとの種別情報により得られる情報であるため、画像Ｇのパターン認識により得られる第１画像情報に比べて、例えば歩行者５０の存在領域の特定精度において信頼性が低いが、歩行者５０が存在しているか否かを判定することはできる。本実施形態では、第１画像情報が得られなくなった場合において、第１画像情報が得られなくなる前に第１画像情報とレーダ情報とにより信頼性の高い歩行者５０の認識がされていれば、第２画像情報とレーダ情報とにより歩行者５０の認識を継続するようにした。これにより、第１画像情報が得られなくなった状態でも、歩行者認識の信頼性を高く維持しつつ、画像Ｇと距離情報とを用いて歩行者５０を認識することができる。そして、第２画像情報により歩行者５０が検出されない場合には、歩行者５０が存在しておらず、レーダ情報により歩行者５０が誤検出されている可能性が高いため、歩行者５０が認識されている状態の解除が可能となっている。

【0049】

・第２画像情報の歩行者認識の信頼性は第１画像情報に比べて低いが、第１画像情報が示す歩行者５０と第２画像情報が示す歩行者５０とが同一である場合には、第２画像情報の歩行者認識の信頼性は高いと考えることができる。本実施形態では、第１画像情報が示す歩行者５０と第２画像情報が示す歩行者５０とが同一であるか否かを判定し、同一であると判定された場合に、第２画像情報を用いて歩行者５０の認識を継続することとした。そのため、第２画像情報を用いて信頼性の高い歩行者認識を行うことができる。

【0050】

具体的には、歩行者５０について、第１画像情報が得られている期間と第２画像情報が得られている期間との重複期間が長いほど、第１画像情報が示す歩行者５０と第２画像情報が示す歩行者５０とが同一である可能性が高い。本実施形態では、該重複期間を示す検出回数ＤＮが閾値回数Ｎｔｈよりも大きい場合に、第２画像情報を用いて歩行者５０の認識を継続することとした。これにより、第２画像情報の歩行者認識の信頼性を確保しつつ、信頼性の高い歩行者認識を行うことができる。

【0051】

・第１画像情報が得られなくなった直後は、レーダ情報のみにより歩行者５０が認識されていても、それまでの第１画像情報とレーダ情報とによる歩行者認識により、歩行者認識の信頼性は高いと考えることができる。しかし、第１画像情報が得られなくなってからの経過時間ＴＣの増加に伴って、その信頼性は低下する。本実施形態では、第１画像情報が得られなくなってから所定時間Ｔｔｈが経過するまではレーダ情報のみによる歩行者５０の認識を継続しつつ、第１画像情報が得られなくなってから所定時間Ｔｔｈが経過した後は、第２画像情報とレーダ情報とにより歩行者５０を認識するようにした。これにより、第１画像情報が得られなくなった場合において、歩行者認識を継続しつつ、歩行者認識の信頼性の低下を抑制することができる。

【0052】

・第２画像情報の歩行者認識の信頼性は第１画像情報に比べて低いため、第２画像情報とレーダ情報とによる歩行者５０の認識精度は、第１画像情報とレーダ情報とによる歩行者５０の認識精度に比べて低い。本実施形態では、第１画像情報とレーダ情報とにより歩行者５０が認識されている状態と、第２画像情報とレーダ情報とにより歩行者５０が認識されている状態とで、運転支援制御の実施態様を変更するようにした。これにより、歩行者５０の認識精度に応じて、運転支援制御の実施態様を適宜変更することができる。

【0053】

（その他の実施形態）
上記各実施形態は、以下のように変更して実施してもよい。

【0054】

・図３のステップＳ２４において、第１画像情報が得られなくなってからの経過時間ＴＣを判定する所定時間Ｔｔｈを、第１画像情報が得られなくなる前の物体の検出回数ＤＮに基づいて可変に設定してもよい。具体的には、図５に示すように、第１画像情報が得られなくなる前の物体の検出回数ＤＮが大きいほど、所定時間Ｔｔｈが長くなるように設定する。

【0055】

・撮像装置は、単眼カメラに限られず、ステレオカメラであってもよい。送信波及び反射波を用いる装置は、レーダセンサ２２に限られず、レーザセンサであってもよい。

【0056】

・本開示に記載の車両制御装置及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の車両制御装置及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の車両制御装置及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【符号の説明】

【0057】

１０…ＥＣＵ、２１…カメラセンサ。

【図1】

【図2】

【図3】

【図4】

【図5】