特許 7385412 自動運転システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-14

(45)【発行日】2023-11-22

(54)【発明の名称】自動運転システム

(51)【国際特許分類】

   B60W 50/04 20060101AFI20231115BHJP

   B60W 50/035 20120101ALI20231115BHJP

   B60W 40/12 20120101ALI20231115BHJP

   B60W 60/00 20200101ALI20231115BHJP

   G08G 1/00 20060101ALI20231115BHJP

   B60R 11/02 20060101ALI20231115BHJP

【ＦＩ】

B60W50/04

B60W50/035

B60W40/12

B60W60/00

G08G1/00 X

B60R11/02 Z

【請求項の数】 6

(21)【出願番号】P 2019174717

(22)【出願日】2019-09-25

(65)【公開番号】P2021049892

(43)【公開日】2021-04-01

【審査請求日】2022-08-04

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】小山 哉

【審査官】藤村 泰智

(56)【参考文献】

【文献】特開２０１５－０７４２６５（ＪＰ，Ａ）

【文献】特開２０１６－０１５６３８（ＪＰ，Ａ）

【文献】特開２０１５－２０２８３５（ＪＰ，Ａ）

【文献】特開２００１－２３３１３９（ＪＰ，Ａ）

【文献】特開２０１７－１４０９８１（ＪＰ，Ａ）

【文献】特開２０１６－０５３７４８（ＪＰ，Ａ）

【文献】特開２０１９－０９９０５１（ＪＰ，Ａ）

【文献】特表２００５－５０５０７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ ３０／００ ～ ６０／００

Ｇ０８Ｇ １／００ ～ １／１６

Ｂ６０Ｒ １１／００ ～ １１／０２

(57)【特許請求の範囲】

【請求項1】

車両を自動運転で走行させる自動運転システムであって、
前記車両の可動部に設置され、前記車両の周囲に存在する物体を検出する第１の検出部と、
前記車両に設置され、物体の検出領域が前記第１の検出部の検出領域と部分的に重複する第２の検出部と、
前記第１の検出部の検出位置と前記車両の走行状態から推定される物体の挙動と前記第２の検出部によって検出される物体の位置とに基づいて、前記第１の検出部が正規の検出状態にあるか否かを判断する検出状態判断部と、
前記第１の検出部の検出状態によって前記自動運転の可否を判断し、前記第１の検出部が前記正規の検出状態にない場合、前記自動運転を不可とする自動運転可否判断部とを備え、
前記検出状態判断部は、
前記第１の検出部の検出位置における検出領域の設定範囲内に前記車両に設定した特徴部分が含まれる条件と、前記第１の検出部によって検出される物体の挙動と前記車両の走行状態から推定される該当物体の挙動とが一致する条件と、前記第１の検出部と前記第２の検出部とによって検出される同一物体の位置が前記第１の検出部と前記第２の検出部とで同じ位置である条件とのうち、何れかの条件が成立しない場合、前記第１の検出部は前記正規の検出状態ではないと判断する
ことを特徴とする自動運転システム。

【請求項2】

前記第１の検出部の検出位置を調整する検出位置調整部を備え、
前記検出位置調整部は、前記第１の検出部が前記正規の検出状態にないと判断された場合、前記可動部を動作させて前記第１の検出部の検出位置を調整し、前記第１の検出部が前記正規の検出状態にあるか否かを再度判断させることを特徴とする請求項１に記載の自動運転システム。

【請求項3】

前記第１の検出部が前記正規の検出状態にある場合、前記車両の前記特徴部分の位置情報に基づいて、前記第１の検出部の検出結果を較正する検出較正部を更に備えることを特徴とする請求項１又は請求項２に記載の自動運転システム。

【請求項4】

前記車両の前記特徴部分は、前記車両の一部の形状又は色であることを特徴とする請求項１から請求項３の何れか一項に記載の自動運転システム。

【請求項5】

前記車両の前記特徴部分は、前記車両に設けたマーカであることを特徴とする請求項１から請求項３の何れか一項に記載の自動運転システム。

【請求項6】

前記可動部は、格納位置と展開位置とに選択的に作動されるドアミラーであり、前記第１の検出部は前記ドアミラーに固定されたカメラであることを特徴とする請求項１から請求項５の何れか一項に記載の自動運転システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両を自動運転で走行させる自動運転システムに関する。

【背景技術】

【0002】

自動車等の車両においては、運転者の運転操作を要することなく車両を走行可能とする自動運転システムの開発が進んでいる。この自動運転システムは、一般に、カメラやレーダ等の複数のセンサによって車両の周囲に存在する物体を検出し、走行環境を認識するようにしているが、各センサの取り付け位置が振動等によって変化してしまうと、正確な認識が困難となる。

【0003】

このため、例えば、特許文献１（特開２０１５－１４９６１４号公報）には、監視領域内のカメラ画像の特徴量を記憶しておき、実画像との違いから車載カメラの取り付け位置の異常を検出する技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１４９６１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

車両周囲の認識を行う場合、車体のドアミラー等のように位置が変化する可動部に、カメラ等を設置することがある。ドアミラーは、格納位置と展開位置とに開閉動作するため、駐車等で格納位置に閉じられた場合や何らかの原因で通常の展開位置で停止しない場合等、可動部に設置された検出部が正規の検出状態にない場合には、正常な検出結果を得ることができず、自動運転に支障が生じる。

【0006】

本発明は上記事情に鑑みてなされたもので、車両の可動部に設置される検出部の検出状態が正規の検出状態にあるか否かを確実に判断し、自動運転の可否を適正に判断することのできる自動運転システムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の一態様の自動運転システムは、車両を自動運転で走行させる自動運転システムであって、前記車両の可動部に設置され、前記車両の周囲に存在する物体を検出する第１の検出部と、前記車両に設置され、物体の検出領域が前記第１の検出部の検出領域と部分的に重複する第２の検出部と、前記第１の検出部の検出位置と前記車両の走行状態から推定される物体の挙動と前記第２の検出部によって検出される物体の位置とに基づいて、前記第１の検出部が正規の検出状態にあるか否かを判断する検出状態判断部と、前記第１の検出部の検出状態によって前記自動運転の可否を判断し、前記第１の検出部が前記正規の検出状態にない場合、前記自動運転を不可とする自動運転可否判断部とを備え、前記検出状態判断部は、前記第１の検出部の検出位置における検出領域の設定範囲内に前記車両に設定した特徴部分が含まれる条件と、前記第１の検出部によって検出される物体の挙動と前記車両の走行状態から推定される該当物体の挙動とが一致する条件と、前記第１の検出部と前記第２の検出部とによって検出される同一物体の位置が前記第１の検出部と前記第２の検出部とで同じ位置である条件とのうち、何れかの条件が成立しない場合、前記第１の検出部は前記正規の検出状態ではないと判断する。

【発明の効果】

【0008】

本発明によれば、車両の可動部に設置される検出部の検出状態が正規の検出状態にあるか否かを確実に判断し、自動運転の可否を適正に判断することができる。

【図面の簡単な説明】

【0009】

【図1】自動運転システムの全体構成図

【図2】車両側方の検出領域を示す説明図

【図3】自動運転制御ユニットの機能構成を示すブロック図

【図4】正規位置におけるサイドカメラの画像例を示す説明図

【図5】非正規位置におけるサイドカメラの画像例１を示す説明図

【図6】非正規位置におけるサイドカメラの画像例２を示す説明図

【図7】正規位置における画像中のマーカを示す説明図

【図8】非正規位置における画像中のマーカを示す説明図

【図9】非正規位置におけるマーカ未検出の画像を示す説明図

【図10】図４の検出結果を再配置して物体の移動ベクトルを示す説明図

【図11】図５の検出結果を再配置して物体の移動ベクトルを示す説明図

【図12】図４の検出結果を再配置して物体の検出位置を示す説明図

【図13】図５の検出結果を再配置して物体の検出位置を示す説明図

【図14】マーカ位置に基づく画像の較正を示す説明図

【図15】自動運転可否判断処理のフローチャート

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施の形態を説明する。図１は自動運転システムの全体構成図である。図１に示す自動運転システム１は、自動車等の車両１０に搭載され、運転者の運転操作を要することなく車両１０を自動的に走行させる自動運転を制御する。この自動運転システム１は、車両１０に搭載した複数のセンサによって車両１０外部の所定範囲の検出領域内に存在する物体を検出して走行環境を認識し、安全を確保しながら自動運転を実行する。

【0011】

車両１０外部の物体を検出する複数のセンサとしては、ミリ波レーダやレーザレーダ等のレーダ装置、単眼のカメラやステレオカメラ等の撮像装置、ソナー等が用いられる。本実施の形態においては、車両１０には、複数のレーダ装置と複数のカメラが搭載されている。

【0012】

車載のレーダ装置としては、車両１０のフロントバンパのコーナ付近に、前方物体を検出するフロントレーダ装置１１ａ，１１ｂが設置され、リヤバンパのコーナ付近に、後方物体を検出するリヤレーダ装置１１ｃ，１１ｄが設置されている。

【0013】

また、車載のカメラとしては、フロントガラスの内側上部に、前方視界を撮像する１組のカメラ１２ａ，１２ｂからなるステレオカメラと、単眼のフロントカメラ１２ｃとが設置され、車両１０の後部に、後方視界を撮像するリヤカメラ１２ｄが設置されている。

【0014】

更に、車両１０の車室外の右側のドアミラー１３ａに、車両１０の右側方の検出領域を撮像するサイドカメラ１４ａが設置されるとともに、左側のドアミラー１３ｂに、車両１０の左側方の検出領域を撮像するサイドカメラ１４ｂが設置されている。

【0015】

ドアミラー１３ａ，１３ｂは、内蔵するモータ（図示せず）によって車両の側部で位置を可変可能に動作する可動部であり、コントローラ１５（図３参照）によって格納位置への閉動作と展開位置への開動作が制御される。サイドカメラ１４ａ，１４ｂは、ドアミラー１３ａ，１３ｂが展開位置にあることを前提として車両１０側方の領域を撮像し、物体を検出可能とする。

【0016】

また、車両１０には、サイドカメラ１４ａ，１４ｂを第１の検出部とするとき、この第１の検出部の検出領域と部分的に重複する検出領域を有する第２の検出部としてのカメラ１６ａ，１６ｂが備えられている。カメラ１６ａ，１６ｂは、サイドカメラ１４ａ，１４ｂに隣接する隣接カメラであり、例えば、ドアミラー１３ａ，１３ｂより前方のフロントピラー付近の車室内に設置されている。

【0017】

図２は車両側方の検出領域を示す説明図である。図２に示すように、隣接カメラ１６ａ，１６ｂは、その撮像視野がサイドカメラ１４ａ，１４ｂの検出領域（撮像視野）Ｒsと一部の領域Ｒcで重複し、サイドカメラ１４ａ，１４ｂよりも前方の領域Ｒfを撮像するように設定されている。

【0018】

次に、車両１０の制御系について説明する。車両１０には、自己位置を測位するロケータユニット２０、車両制御用の電子制御ユニット（車両制御ＥＣＵ）３０、自動運転を制御する自動運転制御ユニット（自動運転ＥＣＵ）４０が搭載されている。各ユニット２０，３０，４０は、それぞれ、単一のプロセッサ或いは複数のプロセッサを有するコンピュータを主として構成され、図示しない通信バスを介してネットワーク接続されている。

【0019】

ロケータユニット２０は、複数の衛星からの信号に基づく衛星航法による測位と車載センサを用いた自律航法による測位を併用して車両の位置座標を検出し、保有する高精細の地図情報と照合して車両の自己位置を特定する。このため、ロケータユニット２０には、ＧＮＳＳ(Global Navigation Satellite System)衛星等の複数の航法衛星からの信号を受信するアンテナ２１、ジャイロセンサ２２、路車間通信や車車間通信等の移動体通信のための通信端末２３が接続されている。

【0020】

車両制御ＥＣＵ３０は、車両１０の電動モータやエンジン等の駆動制御、ブレーキ制御、操舵制御等を実行する。例えば、エンジンの駆動制御として、車両制御ＥＣＵ３０は、エンジン運転状態を検出する各種センサ類からの信号及びネットワークを介して取得される各種制御情報に基づいて、エンジンの運転状態を制御する。

【0021】

また、車両制御ＥＣＵ３０は、ブレーキ制御として、ブレーキスイッチ、４輪の車輪速、操舵角、ヨーレート、その他の車両情報に基づき、４輪のブレーキ装置を、ドライバのブレーキ操作とは独立して制御し、更に、アンチロックブレーキ制御や横すべり防止制御等を行う。また、車両制御ＥＣＵ３０は、操舵制御として、車速、ドライバの操舵トルク、操舵角、ヨーレート、その他の車両情報に基づいて、電動パワーステアリング（ＥＰＳ）装置による操舵トルクを制御する。

【0022】

自動運転ＥＣＵ４０は、ドライバが操舵、加減速、ブレーキ等の全ての運転操作を行って自車両を走行させる手動運転モードに対して、ドライバの運転操作を支援する運転支援モードやドライバの運転操作を必要としない自動運転を制御する。この自動運転の制御は、例えば、多層ニューラルネットワーク（DNN ; deep neural network）を中心とする人工知能を用いて実行される。

【0023】

例えば、自動運転ＥＣＵ４０は、多層ニューラルネットワークの入力層に複数のセンサからのデータや各種制御情報を入力し、出力層から自動運転の制御パラメータを取得する。自動運転ＥＣＵ４０は、多層ニューラルネットワークから出力される制御パラメータを車両制御ＥＣＵ３０に送り、最適な自動運転を実行可能とする。

【0024】

この自動運転の制御パラメータの算出に際して、車両１０外部の物体を検出する複数のセンサからの入力が統合され、各センサで検出される同一物体は、単一のワールドマップ上で一意の物体として認識、登録される。この場合、サイドカメラ１４ａ，１４ｂは、車両１０の可動部であるドアミラー１３ａ，１３ｂに固定されているため、ドアミラー１３ａ，１３ｂが正規の展開位置にない場合や、サイドカメラ１４ａ，１４ｂの歪が大きくなった場合には、一意の物体の認識が正常に実行されず、誤認識が発生する虞がある。

【0025】

このため、自動運転ＥＣＵ４０は、サイドカメラ１４ａ，１４ｂからの入力をチェックし、自動運転の可否を判断する機能を備えている。図３は自動運転制御ユニットの機能構成を示すブロック図であり、自動運転ＥＣＵ４０は、検出状態判断部４１、自動運転可否判断部４２、検出位置調整部４３、検出較正部４４を備えている。

【0026】

検出状態判断部４１は、サイドカメラ１４ａ，１４ｂが自動運転を可能とする正規の検出状態（正規検出状態）にあるか否かを、以下の（１）～（３）の条件に基づいて判断する。
（１）サイドカメラ１４ａ，１４ｂの検出位置
検出状態判断部４１は、サイドカメラ１４ａ，１４ｂが正規検出状態となる条件の一つとして、サイドカメラ１４ａ，１４ｂの検出位置が正規位置にある条件が成立するか否かを判断する。サイドカメラ１４ａ，１４ｂの検出位置が正規位置にあるか否かは、ドアミラー１３ａ，１３ｂの開閉位置とサイドカメラ１４ａ，１４ｂの検出領域とに基づいて判断される。

【0027】

具体的には、検出状態判断部４１は、ドアミラー１３ａ，１３ｂが展開位置にあり、且つサイドカメラ１４ａ，１４ｂの画像に映り込む車両１０側方の車体の特徴部分が予め設定した閾値の範囲内にある場合、サイドカメラ１４ａ，１４ｂは正規位置にあると判断する。

【0028】

ドアミラー１３ａ，１３ｂの開閉位置は、ドアミラー１３ａ，１３ｂの開閉を制御するコントローラ１５の信号、或いはドアミラー１３ａ，１３ｂを手動で開閉するためのスイッチの信号を読み込むことにより判断される。また、サイドカメラ１４ａ，１４ｂの画像に映り込む車両１０の特徴部分としては、予め車体側部の一部の形状又は色が特徴部分として設定されている。

【0029】

尚、サイドカメラ１４ａ，１４ｂが正規位置か否かは、ドアミラー１３ａ，１３ｂの開閉位置の判断を省略し、サイドカメラ１４ａ，１４ｂの画像のみから判断するようにしても良い。

【0030】

図４は正規位置におけるサイドカメラの画像例を示す説明図である。以下では、右側のドアミラー１３ａに固定されたサイドカメラ１４ａの画像を例に取って説明するが、左側のドアミラー１３ｂに固定されたサイドカメラ１４ｂにおいても同様である。

【0031】

図４に示す画像には、後続車両５０と歩行者５１と道路白線５２が映し出されており、画像側部の道路白線５２の近辺に閾値Ｈの領域が設定されている。ドアミラー１３ａが展開位置にあるとき、サイドカメラ１４ａが正常であれば、図４に示すように、車体側部の特徴部分として設定された車体部分Ｐが閾値Ｈの領域の範囲内に映し出される。

【0032】

一方、ドアミラー１３ａが格納位置である場合、或いは不具合発生により通常の展開位置から離れた位置で停止している場合、更には、サイドカメラ１４ａの画像に歪が発生している場合等には、車体部分Ｐは閾値Ｈの領域の範囲外となる。このような場合、サイドカメラ１４ａは非正規位置であると判断される。

【0033】

図５は非正規位置におけるサイドカメラの画像例１を示す説明図である。図５においては、画像中の車体部分Ｐが閾値Ｈの領域を超えて画像中央部付近まではみ出しており、サイドカメラ１４ａは正規位置になく、非正規位置であると判断される。また、図６は非正規位置におけるサイドカメラの画像例２を示す説明図である。図６においては、画像中に車体部分Ｐが検出されておらず、同様に、サイドカメラ１４ａは正規位置になく、非正規位置であると判断される。

【0034】

ここで、図７に示すように、車体の特徴部分として、車体側部の形状又は色に代えて、より明示的なマーカを車体に設定しても良い。図７は正規位置における画像中のマーカを示す説明図であり、閾値Ｈの領域内にマーカＭＫが映し出されている。

【0035】

一方、図８は非正規位置における画像中のマーカを示す説明図であり、マーカＭＫが図７の正規位置からずれて画像中央部付近に映し出されており、サイドカメラ１４ａは正規位置になく、非正規位置であると判断される。また、図９は非正規位置におけるマーカ未検出の画像を示す説明図であり、マーカＭＫが画像中に検出されておらず、サイドカメラ１４ａは正規位置になく、非正規位置であると判断される。
（２）車両の走行状態から推定される物体の挙動
検出状態判断部４１は、サイドカメラ１４ａ，１４ｂが正規検出状態となる条件として、（１）の条件に加え、サイドカメラ１４ａ，１４ｂの画像から検出される物体の挙動が車両の走行状態から推定される該当物体の挙動と一致する条件が成立するか否かを判断する。

【0036】

詳細には、検出状態判断部４１は、サイドカメラ１４ａ，１４ｂの画像から自車両の速度よりも低速の静止状態に近い物体を選択し、選択した低速物体の移動ベクトルを自車両のヨーレートから推定する。そして、検出状態判断部４１は、低速物体の移動ベクトルを自車両の移動ベクトルと比較し、低速物体の移動ベクトルが自車両の移動ベクトルと設定範囲（例えば、方位角１８０度±設定角度の範囲）で逆方向の場合、サイドカメラ１４ａ，１４ｂは正規検出状態であると判断する。

【0037】

図１０は、図４の検出結果を再配置して物体の移動ベクトルを示す説明図であり、自車両１０の移動ベクトルＶ0に対して、静止状態に近い歩行者５１の移動ベクトルＶ1と道路白線５２の移動ベクトルＶ2が逆方向となっている。走行中の後続車両５０の移動ベクトルＶ3は、自車両の移動ベクトルＶ0と略同方向となっている。図１０の例では、サイドカメラ１４ａは、（１），（３）の何れかの条件が不成立とならない限り、正規検出状態であると判断される。

【0038】

一方、図１１は、図５の検出結果を再配置して物体の移動ベクトルを示す説明図であり、自車両１０の移動ベクトルＶ0に対して、静止状態に近い歩行者５１の移動ベクトルＶ11と道路白線５２の移動ベクトルＶ21が逆方向とならない。後続車両５０の移動ベクトルＶ31は、自車両の移動ベクトルＶ0に対して平行にならず斜め方向を向いている。図１１の例では、サイドカメラ１４ａは正規検出状態ではないと判断される。
（３）隣接カメラ１６ａ，１６ｂによって検出される物体の位置
検出状態判断部４１は、サイドカメラ１４ａ，１４ｂが正規検出状態となる条件として、（１）及び（２）の条件に加え、サイドカメラ１４ａ，１４ｂの画像から検出される物体の位置が隣接カメラ１６ａ，１６ｂの画像から検出される同一物体の位置と一致するか否かを判断する。

【0039】

図１２は、図４の検出結果を再配置して物体の検出位置を示す説明図であり、サイドカメラ１４ａで検出した歩行者５１の位置と隣接カメラ１６ａで検出した同じ歩行者５１ｆの位置が設定範囲内で一致するとみなされる。同様に、サイドカメラ１４ａで検出した道路白線５２も隣接カメラ１６ａで検出した同じ道路白線５２ａと一部重複して同方向に検出されている。図１２の例では、サイドカメラ１４ａは、（１），（２）の何れかの条件が不成立とならない限り、正規検出状態であると判断される。

【0040】

一方、図１３は、図５の検出結果を再配置して物体の検出位置を示す説明図であり、サイドカメラ１４ａで検出した歩行者５１の位置と隣接カメラ１６ａで検出した同じ歩行者５１ｆの位置が設定範囲外となって一致していない。同様に、サイドカメラ１４ａで検出した道路白線５２も隣接カメラ１６ａで検出した同じ道路白線５２ｆと一致せず、異なる方向に検出されている。図１３の例は、サイドカメラ１４ａは正規検出状態ではない場合の例であるが、検出状態判断部４１は、複数回（例えば、３回）連続して位置が一致しない場合、正規検出状態ではないと判断する。

【0041】

検出状態判断部４１は、以上の（１），（２），（３）の条件が全て成立する場合、サイドカメラ１４ａ，１４ｂは正規検出状態であると判断し、何れかの条件が成立しない場合には、サイドカメラ１４ａ，１４ｂは、正規検出状態ではないと判断する。この正規検出状態か否かの判断結果は、自動運転可否判断部４２に送られる。

【0042】

自動運転可否判断部４２は、サイドカメラ１４ａ，１４ｂの検出状態によって自動運転の可否を判断する。自動運転可否判断部４２は、サイドカメラ１４ａ，１４ｂが正規検出状態であると判断された場合、自動運転は可と判断し、正規検出状態ではないと判断された場合には、自動運転は不可と判断する。

【0043】

このとき、自動運転中であれば、自動運転可否判断部４２は、ドライバに手動運転への移行を促し、状況によって路肩等の安全な場所に退避走行して車両を停止させる。また、自動運転可否判断部４２は、自動運転が開始されていない場合には、自動運転の開始を禁止する。

【0044】

尚、本実施の形態においては、自動運転可否判断部４２は、サイドカメラ１４ａ，１４ｂの少なくとも一方が正規検出状態ではない場合、自動運転は不可と判断するものとするが、走行環境によっては、サイドカメラ１４ａ，１４ｂの一方の側の検出状態が正規検出状態であれば、限定した条件下で自動運転を許可することも可能である。

【0045】

検出位置調整部４３は、検出状態判断部４１によってサイドカメラ１４ａ，１４ｂが正規検出状態ではないと判断された場合、コントローラ１５を介してドアミラー１３ａ，１３ｂを展開位置と格納位置とに所定回数繰り返し開閉動作させた後、ドアミラー１３ａ，１３ｂを展開位置で停止させる。そして、再度、検出状態判断部４１でサイドカメラ１４ａ，１４ｂが正規検出状態か否かを判断する。

【0046】

検出状態判断部４１は、検出位置調整部４３によってドアミラー１３ａ，１３ｂを開閉動作させた後もサイドカメラ１４ａ，１４ｂが正規検出状態でない場合、異常と判断して自動運転可否判断部４２に通知する。自動運転可否判断部４２は、検出位置調整部４３からの異常通知を受けて自動運転を不可とする。

【0047】

検出較正部４４は、検出状態判断部４１によってサイドカメラ１４ａ，１４ｂが正規検出状態にあると判断された場合、画像中の特徴部分の位置情報に基づいて画像の較正が必要か否かを調べ、画像の較正が必要な場合、画像を調整する。ここでは、図１４に示すように、画像の特徴部分として前述のマーカＭＫを用いる例について説明する。図１４はマーカ位置に基づく画像の較正を示す説明図である。

【0048】

図１４に示す画像では、画像中のマーカＭＫの位置が本来の位置ＭＫＯからずれてしまい、車外の物体に対する検出領域の中心が本来の中心位置から若干ずれている。従って、検出較正部４４は、マーカＭＫの位置が本来あるべき位置ＭＫＯとなるように、画像全体を移動させる幾何学的な変換を行って画像を微調整し、本来の検出領域となるように較正する。

【0049】

次に、サイドカメラ１４ａ，１４ｂの検出状態による自動運転の可否判断について、図１５のフローチャートで例示される自動運転ＥＣＵ４０の動作を中心として説明する。図１５は自動運転可否判断処理のフローチャートである。

【0050】

自動運転ＥＣＵ４０は、最初のステップＳ１において、車両のドアが閉じられている状態でドアミラー１３ａ，１３ｂが展開位置にあるか否かを確認する。ドアミラー１３ａ，１３ｂが展開位置にあるか否かは、ドアミラー１３ａ，１３ｂの開閉を制御するコントローラ１５の信号、或いはドアミラー１３ａ，１３ｂを開閉するスイッチの信号を読み込むことにより確認する。

【0051】

自動運転ＥＣＵ４０は、車両のドアが開放されている場合或いはドアミラー１３ａ，１３ｂが展開位置にない場合、ステップＳ７で自動運転は不可と判断して、ステップＳ８の処理に進む。ステップＳ８の処理では、自動運転ＥＣＵ４０は、ドア閉の状態でコントローラ１５に指示してドアミラー１３ａ，１３ｂを展開位置と格納位置との間で開閉動作させてミラー位置の再調整を行う。

【0052】

その後、自動運転ＥＣＵ４０は、ステップＳ９でミラー位置の再調整を設定回数だけ実施したか否かを調べる。ミラー位置の再調整を設定回数実施していない場合、自動運転ＥＣＵ４０は、ステップＳ１へ戻ってドア閉且つドアミラー１３ａ，１３ｂが展開位置であることを再確認する。

【0053】

その結果、ドア閉且つドアミラー１３ａ，１３ｂが展開位置であることが確認された場合には、ステップＳ１からステップＳ２に進む。一方、ミラー位置の再調整を設定回数だけ実施してもドアミラー１３ａ，１３ｂが展開位置にならない場合、自動運転ＥＣＵ４０は異常発生と判断して自動運転を不可として本処理を終了する。

【0054】

ステップＳ２では、自動運転ＥＣＵ４０は、サイドカメラ１４ａ，１４ｂの画像中に映し込まれる自車両の車体の特徴部分となる車体部分Ｐ或いはマーカＭＫにより、サイドカメラ１４ａ，１４ｂの検出位置が正規位置か否かを調べる。そして、サイドカメラ１４ａ，１４ｂの検出位置が正規位置ではない場合には、ステップＳ７で自動運転は不可と判断し、サイドカメラ１４ａ，１４ｂの検出位置が正規位置の場合、ステップＳ３に進む。

【0055】

ステップＳ３では、自動運転ＥＣＵ４０は、サイドカメラ１４ａ，１４ｂの画像から検出される物体の移動方向と車両のヨーレートから推定される該当物体の移動方向が一致するか否かを調べる。検出物体の画像上の移動方向とヨーレートから推定される移動方向とが一致しない場合、自動運転ＥＣＵ４０は、ステップＳ７で自動運転は不可と判断し、両者の移動方向が一致する場合、ステップＳ４に進む。

【0056】

ステップＳ４では、自動運転ＥＣＵ４０は、サイドカメラ１４ａ，１４ｂの画像による物体の検出位置と、サイドカメラ１４ａ，１４ｂに隣接する隣接カメラ１６ａ，１６ｂによる該当物体の検出位置が一致するか否かを調べる。サイドカメラ１４ａ，１４ｂの画像による物体の検出位置と隣接カメラ１６ａ，１６ｂによる該当物体の検出位置が複数回連続して一致しない場合、自動運転ＥＣＵ４０は、ステップＳ７で自動運転は不可と判断する。

【0057】

一方、サイドカメラ１４ａ，１４ｂの画像による物体の検出位置と隣接カメラ１６ａ，１６ｂによる該当物体の検出位置が一致する場合には、自動運転ＥＣＵ４０は、ステップＳ５でサイドカメラ１４ａ，１４ｂの画像を較正する。尚、カメラ画像の較正は、画像中の車両の特徴部分の位置が本来の位置からずれている場合に実施され、特徴部分が本来の位置に対して許容範囲内にある場合には、較正は実施しない。

【0058】

そして、自動運転ＥＣＵ４０は、ステップＳ６でサイドカメラ１４ａ，１４ｂが正規検出状態にあって自動運転は可と判断し、本処理を終了する。これにより、複数のカメラで検出される車両外部の同一の物体を一意の物体として正しく認識することができ、走行環境を的確に認識して安全を確保しながら自動運転を実行することが可能となる。

【0059】

このように本実施の形態においては、自動運転システム１の中心となる自動運転ＥＣＵ４０は、ドアミラー１３ａ，１３ｂに設置されるサイドカメラ１４ａ，１４ｂの検出状態が正規の検出状態か否かを、サイドカメラ１４ａ，１４ｂの検出位置と、車両の走行状態から推定される物体の挙動と、サイドカメラ１４ａ，１４ｂと検出領域が部分的に重複する隣接カメラ１６ａ，１６ｂによって検出される物体の位置とに基づいて判断する。そして、サイドカメラ１４ａ，１４ｂが正規の状態にない場合、自動運転を不可とするので、車両の可動部に設置される検出部の検出状態が正規の検出状態にあるか否かを確実に判断し、自動運転の可否を適正に判断することが可能となる。

【符号の説明】

【0060】

１ 自動運転システム
１０ 車両
１３ａ，１３ｂ ドアミラー
１４ａ，１４ｂ サイドカメラ
１６ａ，１６ｂ 隣接カメラ
２０ ロケータユニット
３０ 車両制御ＥＣＵ（車両制御用の電子制御ユニット）
４０ 自動運転ＥＣＵ（自動運転制御ユニット）
４１ 検出状態判断部
４２ 自動運転可否判断部
４３ 検出位置調整部
４４ 検出較正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】