特開 2024-44266 車両用前方認識装置、及び車両制御ユニット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024044266

(43)【公開日】2024-04-02

(54)【発明の名称】車両用前方認識装置、及び車両制御ユニット

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240326BHJP

   G06T 7/11 20170101ALI20240326BHJP

   G08G 1/16 20060101ALI20240326BHJP

【ＦＩ】

G06T7/00 650A

G06T7/11

G06T7/00 350B

G08G1/16 C

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022149693

(22)【出願日】2022-09-21

(71)【出願人】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】間庭 宏貴

(72)【発明者】

【氏名】原田 玲央

(72)【発明者】

【氏名】倉持 拓明

(72)【発明者】

【氏名】佐藤 聖也

(72)【発明者】

【氏名】向井 成樹

(72)【発明者】

【氏名】高橋 和志

(72)【発明者】

【氏名】宗村 亘

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC04

5H181FF04

5H181FF07

5H181LL01

5H181LL02

5H181LL04

5H181LL06

5H181LL09

5L096BA04

5L096DA02

5L096FA02

5L096HA09

5L096HA11

5L096KA04

(57)【要約】

【課題】形状が特定し難く、学習データの蓄積が困難な対象物を学習させなくても、ＡＩにより誤った推論に基づく制御が実行されることを防止する。
【解決手段】前方認識部２３は、画像解析／ＡＩ推論部２３ａと道路情報取得部２３ｂと違和感領域検証部２３ｃとを備え、画像解析／ＡＩ推論部２３ａは自車両Ｍ前方の走行環境の画像を人工知能により解析して、属するクラス毎に画像領域を分割し、何れのクラスにも属さない路上の画像領域を違和感領域として分割する。道路情報取得部２３ｂは自車両Ｍ前方の高精度地図情報を取得する。違和感領域検証部２３ｃは、分割した違和感領域を自車両Ｍが通過可能か否かを検証し、通過不可能と判定した場合、運転者に報知する。
【選択図】図３

【特許請求の範囲】

【請求項1】

自車両前方の走行環境を撮像する撮像部と、
前記撮像部で撮像した前記走行環境の画像を人工知能により解析して、属するクラス毎に画像領域を分割する画像解析部と、
前記自車両前方の高精度地図情報を取得する道路情報取得部と
を備え、前記道路情報取得部で取得した前記高精度地図情報からは取得できない動的情報を前記画像解析部で解析した前記クラスから取得する車両用前方認識装置において、
前記画像解析部は、何れの前記クラスにも属さない路上の前記画像領域を違和感領域として前記走行環境の画像から分割する違和感領域分割部を有し、
前記違和感領域分割部で分割した前記違和感領域を自車両が通過可能か否かを検証する違和感領域検証部と、
前記違和感領域検証部で前記自車両は前記違和感領域を通過不可能と判定した場合、運転者に報知する報知部と
を更に有することを特徴とする車両用前方認識装置。

【請求項2】

前記違和感領域検証部は、前記画像解析部でクラス毎に分割した前記画像領域の前記動的情報以外の画像領域と前記道路情報取得部で取得した前記高精度地図情報とを照合して前記違和感領域を抽出する
ことを特徴とすることを特徴とする請求項１記載の車両用前方認識装置。

【請求項3】

前記違和感領域検証部は、前記違和感領域の領域面積が所定判定面積以上の場合、前記自車両は前記違和感領域を通過不可能と判定する
ことを特徴とする請求項１記載の車両用前方認識装置。

【請求項4】

前記判定面積は前記自車両が前記違和感領域に接触することなく、左右車輪間の車体下を通過させることの可能な値であり、前記領域面積は前記違和感領域の実最大横幅と実最大地上高とで設定されている
ことを特徴とする請求項３記載の車両用前方認識装置。

【請求項5】

請求項１～４の何れか１項に記載の車両用前方認識装置と、
運転モードとして自動運転モードと手動運転モードとを有する車両制御部と
を備え、
前記車両制御部は、前記違和感領域検証部で前記自車両は前記違和感領域を通過不可能と判定した場合、前記運転モードを前記自動運転モードから前記手動運転モードへ遷移させる
ことを特徴とする車両制御ユニット。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両前方の走行環境を撮像した画像を人工知能により画像解析する車両用前方認識装置、及び車両制御ユニットに関する。

【背景技術】

【0002】

自動運転システムでは、人工知能（ＡＩ:Artificial Intelligence）が特定の自動運転エリアにおける運転を運転者に代わって制御する。その際、自車両の現在位置（自車位置）はＧＰＳ衛星を代表とするＧＮＳＳ(Global Navigation Satellite System ）衛星の測位衛星から受信した位置情報に基づき、地図サーバに格納されている高精度地図情報（ダイナミックマップ）とのマッチングにより推定する。

【0003】

この高精度地図情報は階層構造をなしており、最下層の静的情報階層を基盤として、その上に、自動走行をサポートするために必要な付加的地図情報が重畳されている。静的情報階層には、変化の少ない高精度３次元地図情報（路面情報、車線情報、建物の位置情報等）が格納されている。

【0004】

付加的地図情報は、３階層に区分されており、下位階層から順に、準静的情報、準動的情報、動的情報の各階層を有している。この各階層は時間軸での変化（変動）度合いに応じて区分されている。この中で、動的情報階層は、対象物の識別（周辺車両、自転車、人物等）及び、対象物の位置情報等、リアルタイムに変化する情報が、例えば１[sec]に１回以上の回数で更新される。

【0005】

ところで、現状の高精度地図情報では動的情報階層は設定されていない。そのため、自動運転システムは、動的情報を、車載カメラが撮像した自車両前方のリアルタイムな画像を、人工知能（ＡＩ）が解析し推論した結果から取得している。例えば特許文献１（国際公開第２０２０／１１０９１５号公報）には、ＡＩを用いて動的情報である移動体を識別するに際し、セマンティックセグメンテーションを用いて、実際の移動体の形状やその他の特徴情報に基づき移動体識別用の辞書データ（学習済みデータ）と、画像内の移動体との一致度に基づいて、画像の構成画素（ピクセル）各々が、車両、人物等、どのクラス（カテゴリ）に属する画素であるかを識別する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０２０／１１０９１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、セマンティックセグメンテーション等を用いたＡＩでの画像解析による対象物の識別では、車両、自転車、人物等、形状が予め決められている対象物は学習データの蓄積が多く、高精度な推論で識別することができる。しかし、学習データの蓄積が少ない対象物に対しては、推論精度が低く、正確な識別が困難となる。

【0008】

ＡＩが、少ない蓄積の学習データに基づいて路上の対象物を固形障害物と識別した場合、自動運転システムでは、この対象物が実際にはゴミ袋や帽子であったとしても、ステアリングを転舵させる等の回避制御が実行される。しかし、運転者は対象物がゴミ袋や帽子と認識している状態で、自動運転システムが自車両を回避制御させた場合、運転者の意に反する制御が実行されるため、当該運転者に違和感を覚えさせてしまうことになる。

【0009】

本発明は、形状が特定し難く、学習データの蓄積が困難な対象物を学習させなくても、ＡＩにより誤った推論に基づく制御が実行されず、運転者の意に反する制御動作を未然に防止することのできる車両用前方認識装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明は、自車両前方の走行環境を撮像する撮像部と、前記撮像部で撮像した前記走行環境の画像を人工知能により解析して、属するクラス毎に画像領域を分割する画像解析部と、前記自車両前方の高精度地図情報を取得する道路情報取得部とを備え、前記道路情報取得部で取得した前記高精度地図情報からは取得できない動的情報を前記画像解析部で解析した前記クラスから取得する車両用前方認識装置において、前記画像解析部は、何れの前記クラスにも属さない路上の前記画像領域を違和感領域として前記走行環境の画像から分割する違和感領域分割部を有し、前記違和感領域分割部で分割した前記違和感領域を自車両が通過可能か否かを検証する違和感領域検証部と、前記違和感領域検証部で前記自車両は前記違和感領域を通過不可能と判定した場合、運転者に報知する報知部とを更に有する。

【発明の効果】

【0011】

本発明によれば、撮像部で撮像した走行環境の画像を人工知能により解析して、属するクラス毎に画像領域を分割するに際し、何れのクラスにも属さない路上の画像領域を違和感領域として走行環境の画像から分割し、この違和感領域を自車両が通過可能か否かを検証し通過不可能と判定した場合、運転者に報知するようにしたので、形状が特定し難く、学習データの蓄積が困難な対象物を違和感領域とし、学習させなくてもＡＩにより誤った推論に基づく制御が実行されることがない。その結果、運転者の意に反する制御動作を未然に防止することができる。

【図面の簡単な説明】

【0012】

【図1】高精度地図情報提供システムを示す概略構成図

【図2】ダイナミックマップの概念を示す説明図

【図3】自動運転システムの概略構成図

【図4】違和感領域検証ルーチンを示すフローチャート

【図5A】動的情報のない画像領域をセマンティックセグメンテーションによりクラス分けした状態を示す説明図

【図5B】動的情報が含まれている画像領域をセマンティックセグメンテーションによりクラス分けした状態を示す説明図

【発明を実施するための形態】

【0013】

以下、図面に基づいて本発明の一実施形態を説明する。図１に示す高精度地図情報提供システムは、地図サーバ１と基地局２とを有し、これらがインターネット３を介して接続されている。地図サーバ１は高精度地図情報（グローバルダイナミックマップ）を、自動運転を行う車両（図においては、自車両Ｍを代表として示す）に対し、インターネット３を介して基地局２から配信する。図２に示すように、高精度地図情報（グローバルダイナミックマップ）４は、具体的には階層構造をなしており、最下層の静的情報階層４ａを基盤として、その上に、自動走行をサポートするために必要な付加的地図情報が重畳されている。

【0014】

静的情報階層４ａは、高精度３次元地図情報であり、路面情報、車線情報、交差点情報、３次元構造物、及び恒久的な規制情報等、変化の最も少ない静的な情報が格納された最下層の基盤情報層である。又、この静的情報階層４ａに重畳される付加的地図情報は、３階層に区分されており、下位階層から順に、準静的情報階層４ｂ、準動的情報階層４ｃ、及び動的情報階層４ｄを有している。この各階層４ａ～４ｄは時間軸での変化（変動）度合いに応じて区分され、各階層４ａ～４ｄの情報は予め定めた期間（時間）毎に逐次更新される。すなわち、静的情報階層４ａは変化が少ないため、１ヶ月以内の周期で更新される。又、準静的情報階層４ｂには、変化する事象の状態が事前に計画もしくは予測される情報であり、静的情報階層４ａよりは情報の変化が多いが動的変化が最も変化が少ない情報が格納される。例えば、工事による車線規制の予定や季節・イベント規制予定や渋滞予測や広域気象予報等である。この準静的情報は動的変化が少ないため、１時間以内の周期で更新される。

【0015】

準動的情報階層４ｃには、準静的情報階層４ｂよりも動的変化の多い、予定若しくは予測されていない突発的事象による情報（動的情報）が格納される。例えば、事故情報や渋滞情報、ゲリラ豪雨のような狭域気象情報である。この準動的情報は動的変化が多いため１分以内の周期で更新される。

【0016】

更に、動的情報階層４ｄは最も変化が多く、車々間通信、路車間通信、歩車間通信等により情報が、１秒以内の周期でリアルタイムに更新される。例えば、この動的情報としては、信号現示（点灯色）情報、踏切遮断機情報、交差点直進車情報、交差点内歩行者・自転車情報等である。ただし、図２に一点鎖線で示されているように、現状の地図サーバ１に記憶されている高精度地図情報補（グローバルダイナミックマップ）４では、動的情報階層４ｄに動的情報は格納されず、動的情報は、後述するように、各車両（代表として示す自車両Ｍ）において生成される。

【0017】

自車両Ｍには自動運転を行うための自動運転システム１０が搭載されている。この自動運転システム１０は、ロケータユニット１１と、撮像部としてのカメラユニット２１と車両制御ユニット２２とを備えている。

【0018】

図３に自車両Ｍに搭載されている自動運転システム１０の構成を示す。ロケータユニット１１は、地図ロケータ演算部１２と、ＨＤＤ等の大容量記憶媒体からなる地図データベース１７とを有している。この地図ロケータ演算部１２、車両制御ユニット２２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、書き換え可能な不揮発性メモリ（フラッシュメモリ又はＥＥＰＲＯＭ）、及び周辺機器を備えるマイクロコントローラで構成されている。ＲＯＭにはＣＰＵにおいて各処理を実行させるために必要なプログラムや固定データ等が記憶されている。又、ＲＡＭはＣＰＵのワークエリアとして提供され、ＣＰＵでの各種データが一時記憶される。尚、ＣＰＵはＭＰＵ（Microprocessor）、プロセッサとも呼ばれている。又、ＣＰＵに代えてＧＰＵ（Graphics Processing Unit）やＧＳＰ(Graph Streaming Processor)を用いても良い。或いはＣＰＵとＧＰＵとＧＳＰとを選択的に組み合わせて用いても良い。

【0019】

又、地図データベース１７には、地図サーバ１からダウンロードした高精度地図情報が格納されている。この高精度地図情報は、自車両Ｍを自動走行させるに際し必要とする一部地域の高精度地図情報（ローカルダイナミップマップ）であり、上述した図２に示す地図サーバ１に記憶されている高精度地図情報（グローバルダイナミックマップ）４と同様の階層構造を有し、動的情報階層４ｄに格納する動的情報は、車両制御ユニット２２において生成される。

【0020】

又、地図ロケータ演算部１２の入力側に、ＧＮＳＳ(Global Navigation Satellite System / 全球測位衛星システム)受信機１３、地図情報受信機１４、自律走行センサ１５、及び目的地情報入力装置１６が接続されている。

【0021】

ＧＮＳＳ受信機１３は複数の測位衛星から発信される測位信号を受信する。地図情報受信機１４は、地図サーバ１にアクセスして高精度地図情報の送信を要求し、送信された高精度地図情報を受信する。

【0022】

自律走行センサ１５は、トンネル内走行等、ＧＮＳＳ衛星からの受信感度が低く測位信号を有効に受信することのできない環境において、自律走行を可能にするもので、車速センサ、ジャイロセンサ、及び前後加速度センサ等で構成されている。そして、地図ロケータ演算部１２は、車速センサで検出した自車両Ｍの車速（自車速）とジャイロセンサで検出した角速度、及び前後加速度センサで検出した前後加速度等に基づき移動距離と方位からローカライゼーションを行う。

【0023】

又、目的地情報入力装置１６は、操作者である運転者に対して目的地情報（住所、電話番号、施設名等）をモニタ操作や音声等によって入力させる外部入力手段である。尚、地図ロケータ演算部１２は目的地情報が入力されると、現在の自車位置から目的地までの走行経路を設定する。

【0024】

地図ロケータ演算部１２は、地図情報設定・更新部１２ａ、自車位置推定演算部１２ｂ、走行経路／目標進行路設定演算部１２ｃ、及び地図情報取得部１２ｄを備えている。

【0025】

地図情報設定・更新部１２ａは、地図サーバ１に格納されている高精度地図情報（グローバルダイナミックマップ）４の静的情報階層４ａを、所定周期（例えば、１ヶ月以内の周期）でダウンロードし、この静的情報階層４ａで地図データベース１７に記憶されている高精度地図情報の静的情報階層を更新する。自動運転を行う際の自車位置から目的地までの走行経路は、基盤となる最下層の静的情報階層に基づいて設定される。従って、地図データベース１７に記憶されている高精度地図情報の静的情報階層は、静的情報階層４ａで全て更新される。

【0026】

一方、地図サーバ１に格納されている高精度地図情報４の準静的情報階層４ｂ、準動的情報階層４ｃは、後述する目標進行路に沿った情報のみで良いため、地図情報設定・更新部１２ａは自車位置周辺及び目標進行路周辺に限定された一部地域の情報のみをダウンロードし、地図データベース１７に記憶されている高精度地図情報（ローカルダイナミックマップ）の静的情報階層に、準静的情報階層、準動的情報階層を重畳させて階層構造の高精度地図情報（ローカルダイナミックマップ）を構築する。

【0027】

自車位置推定演算部１２ｂは、ＧＮＳＳ受信機１３で受信した測位信号に基づき自車両Ｍの位置情報である位置座標（緯度、経度、高度）を取得する。又、ＧＮＳＳ受信機１３の感度低下により測位衛星からの有効な測位信号を受信することができない環境では、自律走行センサ１５からの信号に基づいて自車両Ｍの位置座標を推定する。

【0028】

走行経路／目標進行路設定演算部１２ｃは、自車位置推定演算部１２ｂで推定した自車両Ｍの位置座標（緯度、経度、高度）と目的地情報入力装置１６で入力した目的地情報（経由地情報も含む）とに基づき、高精度地図情報の静的情報階層４ａとマップマッチングし、自車位置と目的地とを特定する。次いで、自車位置と目的地とを結ぶ走行経路を、地図データベース１７の静的情報階層に格納されている静的情報に基づいて生成する。更に、走行経路／目標進行路設定演算部１２ｃは、生成した走行経路に、自車両Ｍを自動運転により走行させるための目標進行路を、自車位置を起点として予め設定された距離まで作成する。

【0029】

地図情報取得部１２ｄは、地図データベース１７の高精度地図情報に格納されている自車位置周辺から目標進行路周辺の高精度地図情報（ローカルダイナミックマップ）を取得する。この高精度地図情報は、後述する前方認識部２３の道路情報取得部２３ｂで読込まれる。

【0030】

又、カメラユニット２１は、自車両Ｍの車室内前部の上部中央に固定されており、車幅方向中央を挟んで左右対称な位置に所定の基線長を有して配設されている、撮像部としてのメインカメラ２１ａ及びサブカメラ２１ｂからなる車載カメラ（ステレオカメラ）と、両カメラ２１ａ，２１ｂで撮像した自車両Ｍ前方の走行環境の画像を所定に画像処理する画像処理ユニット（ＩＰＵ）２１ｃを有している。

【0031】

カメラユニット２１のＩＰＵ２１ｃで処理した画像は車両制御ユニット２２で読込まれる。この車両制御ユニット２２は、前方認識装置としての前方認識部２３と車両制御部２４とを備えている。前方認識部２３は、画像解析部としての画像解析／ＡＩ推論部２３ａ、道路情報取得部２３ｂ、違和感領域検証部２３ｃを備えている。

【0032】

又、車両制御ユニット２２の入力側に、運転者のハンドル把持を検出するハンドルセンサ１８、カメラユニット２１が接続されている。ハンドルセンサ１８としては、ステアリング軸の軸トルクを検出するトルクセンサやハンドルに配設されているタッチセンサ等がある。又、車両制御ユニット２２と地図ロケータ演算部１２とが車内通信回線（例えばＣＡＮ:Controller Area Network）を通じて双方向通信自在に接続されている。

【0033】

一方、この車両制御ユニット２２の出力側に、自車両Ｍを目標進行路に沿って走行させる操舵制御部３１、強制的なブレーキ制御により自車両Ｍを減速させるブレーキ制御部３２、自車速を制御する加減速制御部３３、及び、モニタ、スピーカ等、運転者に対して運転モードの切り替わり等を視覚的、聴覚的に報知する報知装置３４が接続されている。

【0034】

前方認識部２３の画像解析／ＡＩ推論部２３ａは、先ず、カメラユニット２１のＩＰＵ２１ｃで処理した画像を読込み、人工知能（ＡＩ）により撮像された対象物（オブジェクト）を画像認識し、属するクラス（カテゴリ）毎に画像領域を分割する。このＡＩ推論は、ＤＮＮ(Deep Neural Network)の学習済みモデル（辞書データ）を用い、セマンティックセグメンテーション等の手法にて行う。例えば、セマンティックセグメンテーションでは、画像全体に対し、ピクセル（画素）単位で、対象物がどのクラス（カテゴリ）に属しているかのラベル付けを行い、画像領域をクラス毎に分割する。

【0035】

図５Ａ、図５Ｂに、カメラユニット２１にて撮像された画像全体に対するセマンティックセグメンテーションによりクラス毎に画像領域を分割した結果を例示する。尚、図において、分割された各画像領域は、実際には属するクラス毎に色分けされている。例えば、柱の領域を灰色、塀の領域を桃色、道路の領域を紫色、草木の領域を緑色、人物の領域を赤色、車両の領域を紺色で表される。

【0036】

又、ＡＩにてクラスを推論することが困難な画像領域が道路を分割している場合、この画像領域の属するクラスを違和感領域に分類し白色で表す。この違和感領域としては、ゴミ袋等の落下物のように形状が特定されておらず、学習データが作成し難い領域が道路を分割している場合がある。尚、各クラスは、地図データベース１７の高精度地図情報（静的情報、準正的情報、準動的情報）に登録される対象物にほぼ対応しているが、違和感領域は何れにも対応していない。従って、前方認識部２３の画像解析／ＡＩ推論部２３ａは、本発明の違和感領域分割部としての機能を備えている。

【0037】

画像解析／ＡＩ推論部２３ａは、クラス毎に分割した領域を不揮発性メモリに一時記憶させる。ここで、例えば，図５Ａ、図５Ｂに示す画像領域において、柱、塀、道路の領域は静的情報、草木は準静的情報、車両（及び二輪車）や人物は動的情報の階層に分類される。

【0038】

道路情報取得部２３ｂは、地図ロケータ演算部１２の地図情報取得部１２ｄで取得した自車位置周辺から目標進行路周辺の高精度地図情報（静的情報、準静的情報、準動的情報）を読込む。

【0039】

そして、違和感領域検証部２３ｃは、画像解析／ＡＩ推論部２３ａでのＡＩ推論結果と、道路情報取得部２３ｂで読込んだ高精度地図情報とを照合し、画像解析／ＡＩ推論部２３ａに照合できない違和感領域がある場合、この違和感領域は自車両Ｍが通過可能か否かを検証する。この違和感領域検証部２３ｃによる違和感領域の検証は、具体的には、図４に示す違和感領域検証ルーチンに従って処理される。

【0040】

このルーチンでは、先ず、ステップＳ１で、画像解析／ＡＩ推論部２３ａでＡＩ推論し、不揮発性メモリに記憶されている、クラス毎に分割された画像領域を読込む。又、道路情報取得部２３ｂで読込んだ目標進行路周辺におけるＡＩ推論結果と同一地域の高精度地図情報を読込む。そして、高精度地図情報とＡＩ推論により分割したクラス毎の画像領域とを照合する。

【0041】

その後、ステップＳ２へ進み、高精度地図情報とＡＩ推論により分割したクラス毎の画像領域とを照合した結果、差異領域があるか否かを調べる。例えば、図５Ａに示すように、クラス別に分割された画像領域が高精度地図情報に全て存在している場合は、差異領域なしと判定し、ルーチンを抜ける。その際、図５Ａに一点鎖線で示す違和感領域が、例えば車線規制を示す機材（矢印板やコーン）であり、ＡＩでは推論できなかったが、高精度地図情報の静的情報、準正的情報、準動的情報の何れかと位置情報が一致している場合、差異領域なしと判定する。

【0042】

一方、図５Ｂに示すように、クラス別に分割された道路上の画像領域に、高精度地図情報には記憶されていない画像領域（同図では、人物領域や車両領域の動的情報、及び違和感領域）が存在する場合、差異領域ありと判定し、ステップＳ３へ進む。

【0043】

ステップＳ３では、差異領域がＡＩ推論では、全て動的情報に分類されるクラス（車両、人物等）か否かを調べる。そして、差異領域の全てが動的情報に分類されているクラスであると判定した場合は、ルーチンを抜ける。一方、差異領域に、ＡＩ推論では動的情報のクラスとして分類されていない違和感領域（図５Ｂ参照）が存在する場合、ステップＳ４へ進む。

【0044】

ステップＳ４では、動的情報として分類されていない違和感領域（図５Ｂ参照）を抽出する。次いで、ステップＳ５へ進み、違和感領域の領域面積を算出する。図５Ｂに示すように、違和感領域の領域面積は、違和感領域の実最大横幅と実最大地上高とによる矩形領域で表される。

【0045】

この最大横幅と最大地上高とは、例えば、以下のようにして求める。
１）メインカメラ２１ａの撮像面における最大横幅の画素数と最大地上高の画素数を求める。
２）メインカメラ２１ａの撮像面から焦点までの距離と、焦点から違和感領域までの距離の比率から、撮像面の画素ピッチにおける実距離を算出する。
３）最大横幅の画素数と最大地上高の画素数とに実距離を乗算して、実最大横幅と実最大地上高を算出する。

【0046】

次いで、ステップＳ６へ進み、違和感領域の領域面積と通過可能判定面積とを比較する。この通過可能判定面積は、自車両Ｍが違和感領域を回避することなく自動運転を継続できるか否かを判定する値である。換言すれば、この通過可能判定面積は、自車両Ｍが違和感領域に接触することなく、左右車輪間の車体下を通過させることの可能な値である。この通過可能判定面積は、予め車種毎に設定された通過可能横幅と通過可能地上高とで決定される固定値である。

【0047】

そして、違和感領域の領域面積が通過可能判定面積未満の場合（実最大横幅＜通過可能横幅、且つ、実最大地上高＜通過可能地上高）、自車両Ｍは違和感領域を通過可能と判定し、ルーチンを抜ける。又、違和感領域の面積が通過可能判定面積以上の場合（実最大横幅≧通過可能横幅、又は／且つ、実最大地上高≧通過可能地上高）、自車両Ｍは違和感領域を通過不可能と判定しステップＳ７へ進む。

【0048】

ステップＳ７へ進むと、違和感領域検証部２３ｃは報知装置３４へ警報信号を出力し、前方の違和感領域が通過可能か否かを判別できない旨を運転者に報知して注意を促す。次いで、ステップＳ８へ進み、自動運転フラグＦａをクリアして（Ｆａ←０）、ルーチンを抜ける。尚、ステップＳ７での警報は、運転モードを自動運転モードから手動運転モードに遷移する際に、運転者が運転を引き継ぐ時間を考慮した場合、自車両Ｍが違和感領域に到達する少なくとも５[sec]前には報知する必要がある。

【0049】

この自動運転フラグＦａは、車両制御部２４で読込まれる。車両制御部２４は、運転モードとして自動運転モードと手動運転モードとを備えている。車両制御部２４は自動運転フラグＦａがセットされている場合（Ｆａ＝１）、自動運転区間において、画像解析／ＡＩ推論部２３ａにおけるＡＩ推論結果と道路情報取得部２３ｂで読込んだ、自車両Ｍ前方の高精度地図情報とに基づいて、目標進行路に沿った自動運転を実行する。

【0050】

又、車両制御部２４は、自動運転フラグＦａがクリアされている場合（Ｆａ＝０）、運転モードを手動運転モードに遷移させて、運転者による運転操作へ移行させる。尚、運転モードが手動運転モードに遷移された状態であっても、車両制御部２４では、周知の衝突被害軽減ブレーキ（ＡＥＢ：Advanced Emergency Braking）制御、追従車間距離制御（ＡＣＣ：Adaptive Cruise Control）、車線逸脱抑制機能付き車線維持(ＡＬＫＢ:Active Lane Keep Bouncing)制御等の各種運転支援制御を実行させることは可能である。

【0051】

このように、本実施形態では、前方認識部２３の画像解析／ＡＩ推論部２３ａにおいて、カメラユニット２１が撮像した画像全体をクラス毎に分割する。その際、学習データが少なく、クラス分けすることのできない物体（対象物）は違和感領域として画像領域を分割する。

【0052】

次いで、違和感領域検証部２３ｃにおいて、道路情報取得部２３ｂで読込んだ自車両Ｍ前方の道路情報とＡＩ推論結果とを照合する。そして、ＡＩ推論結果に動的情報以外で高精度地図情報との差異領域がある場合、それを違和感領域として抽出し、この違和感領域の領域面積を、自車両Ｍが通過困難と判定した場合、運転者に注意を促し、運転モードを手動運転モードに遷移させる。

【0053】

その結果、本実施形態によれば、形状が特定し難く、学習データの蓄積が困難な対象物を学習させなくても、ＡＩにより誤った推論に基づく制御が実行されず、運転者の意に反する制御動作を未然に防止することができる。

【0054】

尚、本発明は上述した実施形態に限るものではなく、例えば、自車両Ｍが取得した違和感領域の情報（位置、形状、大きさ等）を車々間通信、路車間通信等を通じて後続の車両に提供するようにしても良い。

【符号の説明】

【0055】

１…地図サーバ、
２…基地局、
３…インターネット、
４…高精度地図情報、
４ａ…静的情報階層、
４ｂ…準静的情報階層、
４ｃ…動的情報階層、
４ｄ…動的情報階層、
１０…自動運転システム、
１１…ロケータユニット、
１２…地図ロケータ演算部、
１２ａ…地図情報設定・更新部、
１２ｂ…自車位置推定演算部、
１２ｃ…走行経路／目標進行路設定演算部、
１２ｄ…地図情報取得部、
１３…ＧＮＳＳ受信機、
１４…地図情報受信機、
１５…自律走行センサ、
１６…目的地情報入力装置、
１７…地図データベース、
１８…ハンドルセンサ、
２１…カメラユニット、
２１ａ…メインカメラ、
２１ｂ…サブカメラ、
２２…車両制御ユニット、
２３…前方認識部、
２３ａ…画像解析／ＡＩ推論部、
２３ｂ…道路情報取得部、
２３ｃ…違和感領域検証部、
２４…車両制御部、
３１…操舵制御部、
３２…ブレーキ制御部、
３３…加減速制御部、
３４…報知装置、
Ｆａ…自動運転フラグ、
Ｍ…自車両

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】