(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-15
(45)【発行日】2024-11-25
(54)【発明の名称】車両用制御装置
(51)【国際特許分類】
B60W 40/02 20060101AFI20241118BHJP
B60W 60/00 20200101ALI20241118BHJP
G08G 1/16 20060101ALI20241118BHJP
【FI】
B60W40/02
B60W60/00
G08G1/16 C
(21)【出願番号】P 2021201543
(22)【出願日】2021-12-13
【審査請求日】2023-11-28
(73)【特許権者】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100154380
【氏名又は名称】西村 隆一
(74)【代理人】
【識別番号】100081972
【氏名又は名称】吉田 豊
(72)【発明者】
【氏名】小西 達也
(72)【発明者】
【氏名】金田 祐也
(72)【発明者】
【氏名】石井 健太
(72)【発明者】
【氏名】横山 智之
(72)【発明者】
【氏名】田沢 奈緒
(72)【発明者】
【氏名】澤 明香利
【審査官】鶴江 陽介
(56)【参考文献】
【文献】特開2019-119266(JP,A)
【文献】特開2005-145396(JP,A)
【文献】特開2020-162035(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 30/00-60/00
G08G 1/00- 1/16
(57)【特許請求の範囲】
【請求項1】
自車両の周囲の外界をイメージセンサで撮像して物標の位置情報を取得するカメラと、
前記カメラの撮像領域内における検出対象からの反射波に基づいて物標の位置情報を取得する検出器と、
前記カメラにより取得された位置情報および前記検出器により取得された位置情報に基づいて車両の走行制御を行う走行制御部と、
前記イメージセンサからの信号値に基づいて算出され
、前記カメラで撮像された画像の所定領域であらかじめ定めた基準値よりも高い画素値を有する画素の割合を示す評価値と比較される閾値を設定する設定部と、
前記評価値
が前記閾値を超えると、前記カメラにおける撮像環境の悪化を判断する判断部と、
前記判断部で前記撮像環境の悪化が判断された場合に、前記走行制御の一部機能の制限または前記走行制御の禁止を前記走行制御部へ指示する縮退指示部と、を備え、
前記設定部は、前記カメラの撮像領域に太陽または太陽の周囲の空が含まれ得る場合に第1の閾値を、そうでない場合に前記第1の閾値よりも大きい第2の閾値を、前記閾値として設定することを特徴とする車両用制御装置。
【請求項2】
請求項1に記載の車両用制御装置において、
前記設定部は、太陽高度、太陽方位角および前記自車両の進行方向を示す情報に基づいて、前記第1の閾値または前記第2の閾値を設定することを特徴とする車両用制御装置。
【請求項3】
請求項1または2に記載の車両用制御装置において、
前記第1の閾値が設定された状態で前記判断部により前記撮像環境の悪化が判断されると、前記縮退指示部は、前記カメラで前記物標の位置情報が取得されておらず、かつ、前記検出器で前記物標の位置情報が取得されている場合に、前記走行制御の一部機能の制限または前記走行制御の禁止を前記走行制御部へ指示することを特徴とする車両用制御装置。
【請求項4】
請求項3に記載の車両用制御装置において、
前記第1の閾値が設定された状態で前記判断部により前記撮像環境の悪化が判断されると、前記縮退指示部は、前記カメラで前記物標の位置情報が取得されている場合に、前記走行制御の一部機能の制限および前記走行制御の禁止を前記走行制御部へ指示しないことを特徴とする車両用制御装置。
【請求項5】
請求項1から4のいずれか一項に記載の車両用制御装置において、
前記第2の閾値が設定された状態で前記判断部により前記撮像環境の悪化が判断されると、前記縮退指示部は、前記走行制御の一部機能の制限または前記走行制御の禁止を前記走行制御部へ指示することを特徴とする車両用制御装置。
【請求項6】
請求項1から5のいずれか一項に記載の車両用制御装置において、
前記判断部により前記撮像環境の悪化が判断されると、前記検出器で取得された位置情報の一部を、前記カメラで取得された位置情報よりも優先させるセンサ群管理部を備えることを特徴とする車両用制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外界を検出するセンサからの情報に基づいて車両を制御する車両用制御装置に関する。
【背景技術】
【0002】
この種の技術として、カメラとレーダとを用いたセンサフュージョンにより、自車両の前方を走行する前方車両を認識し、認識結果に応じて追従走行を制御するようにした装置が知られている(例えば特許文献1参照)。カメラは逆光および夜間の照明光等により前方車両等を認識する認識能力が低下する場合があるため、安全のために運転支援機能を制限する機能縮退が行われる
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、カメラの認識能力の低下を検知する際、対向車や路上看板の光源を過検知し、運転支援機能を制限する機能縮退が繰り返されるという問題があった。
【課題を解決するための手段】
【0005】
本発明の一態様である車両用制御装置は、自車両の周囲の外界をイメージセンサで撮像して物標の位置情報を取得するカメラと、カメラの撮像領域内における検出対象からの反射波に基づいて物標の位置情報を取得する検出器と、カメラにより取得された位置情報および検出器により取得された位置情報に基づいて車両の走行制御を行う走行制御部と、イメージセンサからの信号値に基づいて算出され、カメラで撮像された画像の所定領域であらかじめ定めた基準値よりも高い画素値を有する画素の割合を示す評価値と比較される閾値を設定する設定部と、評価値が閾値を超えると、カメラにおける撮像環境の悪化を判断する判断部と、判断部で撮像環境の悪化が判断された場合に、走行制御の一部機能の制限または走行制御の禁止を走行制御部へ指示する縮退指示部と、を備え、設定部は、カメラの撮像領域に太陽または太陽の周囲の空が含まれ得る場合に第1の閾値を、そうでない場合に第1の閾値よりも大きい第2の閾値を、閾値として設定する。
【発明の効果】
【0006】
本発明によれば、カメラの認識能力の低下を検知する際の過検知を、適切に抑制することができる。
【図面の簡単な説明】
【0007】
【
図1】実施の形態に係る車両用制御装置を有する自動運転車両の車両制御システムの全体構成を概略的に示すブロック図。
【
図2】実施の形態に係る車両用制御装置の要部構成を示すブロック図。
【
図3】機能縮退の要否判断を行う処理の流れを説明するフローチャート。
【
図4】
図3のステップS10の処理を詳細に説明するフローチャート。
【
図5B】機能縮退の要否判断結果の時間変化を示す図。
【
図6B】機能縮退の要否判断結果の時間変化を示す図。
【発明を実施するための形態】
【0008】
以下、
図1および
図2を参照して本発明の実施の形態について説明する。
本発明の実施の形態に係る車両用制御装置は、自動運転機能を有する車両、すなわち自動運転車両と、自動運転機能を有しない手動運転車両の両方に適用することができる。手動運転車両は、運転支援機能を備える車両を含む。以下では、車両用制御装置を自動運転車両に適用する例を説明する。
なお、実施の形態に係る車両用制御装置が適用される車両を、他車両と区別して自車両と呼ぶことがある。
【0009】
自車両は、内燃機関(エンジン)を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気自動車、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。自車両(自動運転車両)は、ドライバによる運転操作が不要な自動運転モードでの走行だけでなく、ドライバの運転操作による手動運転モード(運転支援機能を使用可能)での走行も可能である。
【0010】
<自動運転に係る概略構成>
先ず、自動運転に係る概略構成について説明する。
図1は、実施の形態に係る車両用制御装置を有する自動運転車両の車両制御システム100の全体構成を概略的に示すブロック図である。
図1に示すように、車両制御システム100は、コントローラ10と、CAN通信線等を介してコントローラ10にそれぞれ通信可能に接続された外部センサ群1と、内部センサ群2と、入出力装置3と、測位ユニット4と、地図データベース5と、ナビゲーション装置6と、通信ユニット7と、走行用のアクチュエータACとを主に有する。
【0011】
外部センサ群1は、自車両の周辺情報である外部状況を検出する複数のセンサ(外部センサ)の総称である。例えば、外部センサ群1にはレーザ(Laser)光を照射して反射光を検出することで、自車両の周辺の物体の位置(自車両からの距離および方向)を検出するライダ(LiDAR;Laser Imaging Detection and Ranging)、電磁波を照射し反射波を検出することで、自車両の周辺の物体の位置を検出するレーダ(Radar)、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子を有し、自車両の周辺を撮像するカメラ等が含まれる。撮像素子は、イメージセンサ(image sensor)とも称される。ライダおよびレーダは、カメラの撮像領域内で物体を検出することができる。ライダおよびレーダは、検出器と呼んでもよい。
【0012】
内部センサ群2は、自車両の走行状態を検出する複数のセンサ(内部センサ)の総称である。内部センサ群2には、例えば、自車両の走行速度(車速)を検出する車速センサ、自車両の前後方向および左右方向の加速度を検出する加速度センサ、自車両の回転や向きの変化を角速度として検知するジャイロセンサ、走行駆動源の回転数を検出する回転数センサ等が含まれる。手動運転モードでのドライバの運転操作、例えばアクセルペダルの操作、ブレーキペダルの操作、ステアリングホイールの操作等を検出するセンサも内部センサ群2に含まれる。
【0013】
入出力装置3は、ドライバから指令が入力されたり、ドライバに対し情報が出力されたりする装置の総称である。例えば入出力装置3には、操作部材の操作によりドライバが各種指令を入力する各種スイッチ、ドライバが音声で指令を入力するマイク、ドライバに表示画像を介して情報を提供するディスプレイ、ドライバに音声で情報を提供するスピーカ等が含まれる。
【0014】
測位ユニット(GNSS(Global Navigation Satellite System)ユニット)4は、測位衛星から送信された測位用の信号を受信する測位センサを有する。測位センサを内部センサ群2に含めることもできる。測位衛星は、GPS衛星や準天頂衛星等の人工衛星である。測位ユニット4は、測位センサが受信した測位情報を利用して、自車両の現在位置(緯度、経度、高度)を測定する。
【0015】
地図データベース5は、ナビゲーション装置6に用いられる一般的な地図情報を記憶する装置であり、例えばハードディスクや半導体素子により構成される。地図情報には、道路の位置情報、道路形状(曲率等)の情報、交差点や分岐点の位置情報が含まれる。
なお、地図データベース5に記憶される地図情報は、コントローラ10の記憶部12に記憶される高精度な地図情報とは異なる。
【0016】
ナビゲーション装置6は、ドライバにより入力された目的地までの道路上の目標経路を探索するとともに、目標経路に沿った案内を行う装置である。目的地の入力および目標経路に沿った案内は、入出力装置3を介して行われる。目標経路は、測位ユニット4により測定された自車両の現在位置と、地図データベース5に記憶された地図情報とに基づいて演算される。外部センサ群1の検出値を用いて自車両の現在位置を測定することもでき、この現在位置と記憶部12に記憶された高精度な地図情報とに基づいて目標経路を演算するようにしてもよい。
【0017】
通信ユニット7は、インターネット網や携帯電話網等に代表される無線通信網を含むネットワークを介して図示しない各種サーバと通信し、地図情報、走行履歴情報および交通情報等を定期的に、あるいは任意のタイミングでサーバから取得する。ネットワークには、公衆無線通信網だけでなく、所定の管理地域毎に設けられた閉鎖的な通信網、例えば無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)等も含まれる。取得した地図情報は、地図データベース5や記憶部12に出力され、地図情報が更新される。
【0018】
アクチュエータACは、自車両の走行を制御するための走行用アクチュエータである。走行駆動源がエンジンである場合、アクチュエータACには、エンジンのスロットルバルブの開度(スロットル開度)を調整するスロットル用アクチュエータが含まれる。走行駆動源が走行モータである場合、走行モータがアクチュエータACに含まれる。自車両の制動装置を作動するブレーキ用アクチュエータと転舵装置を駆動する転舵用アクチュエータもアクチュエータACに含まれる。
【0019】
コントローラ10は、電子制御ユニット(ECU; Electronic Control Unit)により構成される。より具体的には、コントローラ10は、CPU(マイクロプロセッサ)等の演算部11と、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶部12と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。なお、エンジン制御用ECU、走行モータ制御用ECU、制動装置用ECU等、機能の異なる複数のECUを別々に設けることができるが、
図1では、便宜上、これらECUの集合としてコントローラ10が示される。
【0020】
記憶部12には、高精度の道路地図情報が記憶される。この道路地図情報には、道路の位置情報、道路形状(曲率等)の情報、道路の勾配の情報、交差点や分岐点の位置情報、車線数の情報、車線の幅員および車線毎の位置情報(車線の中央位置や車線位置の境界線の情報)、地図上の目印としてのランドマーク(信号機、標識、建物等)の情報、路面の凹凸等の路面プロファイルの情報が含まれる。ランドマークの情報(ランドマーク情報)には、ランドマークの形状(輪郭)、特性、位置等の情報が含まれる。
【0021】
演算部11は、機能的構成として、自車位置認識部13と、外界認識部14と、行動計画生成部15と、走行制御部16と、センサ群管理部17とを有する。
【0022】
自車位置認識部13は、測位ユニット4で得られた自車両の位置情報および地図データベース5の地図情報に基づいて、地図上の自車両の位置(自車位置)を認識する。記憶部12に記憶された地図情報と、外部センサ群1が検出した自車両の周辺情報とを用いて自車位置を認識してもよく、これにより自車位置を高精度に認識することができる。なお、道路上や道路脇の外部に設置されたセンサで自車位置を測定可能であるとき、そのセンサと通信ユニット7を介して通信することにより、自車位置を認識することもできる。
自車位置認識部13はさらに、外部センサ群1を構成するカメラが撮像する方向の方位角を、内部センサ群2を構成するジャイロセンサの出力に基づいて算出することも可能である。
【0023】
外界認識部14は、ライダ、レーダ、カメラ等の外部センサ群1からの信号に基づいて自車両の周囲の外部状況を認識する。例えば自車両の周辺を走行する周辺車両(前方車両や後方車両)の位置、速度、加速度、自車両の周囲に停車または駐車している周辺車両の位置、および他の物体の位置や状態等を認識する。他の物体には、標識、信号機、道路の区画線や停止線等の標示、建物、ガードレール、電柱、看板、歩行者、自転車、トンネル入口等が含まれる。他の物体の状態には、信号機の色(赤、青、黄)、歩行者や自転車の移動速度や向き等が含まれる。
【0024】
外部センサ群1の検出対象である物体を物標と呼ぶ。物標には、人と物の両方および移動体と静止物体の両方が含まれる。外界認識部14は、外部センサ群1を構成する異なる種類のセンサ(例えばカメラと検出器)の検出データを統合的に処理(フュージョン処理)し、各センサにより同一物標が検出されたか否かを判定するとともに、物標の位置データを導出する。例えば同一物標が検出された場合に、検出データの座標変換やデータの補完、平均化等のフュージョン処理を行って物標の位置データを導出する。これにより物標の位置を精度よく認識することができる。
【0025】
行動計画生成部15は、例えばナビゲーション装置6で演算された目標経路と、記憶部12に記憶された地図情報と、自車位置認識部13で認識された自車位置と、外界認識部14で認識された外部状況(物標)とに基づいて、現時点から所定時間先までの自車両の走行軌道(目標軌道)を生成する。目標経路上に目標軌道の候補となる複数の軌道が存在するときには、行動計画生成部15は、その中から法令を順守し、かつ効率よく安全に走行する等の基準を満たす最適な軌道を選択し、選択した軌道を目標軌道とする。そして、行動計画生成部15は、生成した目標軌道に応じた行動計画を生成する。行動計画生成部15は、先行車両を追い越すための追い越し走行、走行車線を変更する車線変更走行、先行車両に追従する追従走行、走行車線を逸脱しないように車線を維持するレーンキープ走行、定速走行、減速走行または加速走行等に対応した種々の行動計画を生成する。行動計画生成部15は、目標軌道を生成する際に、まず走行態様を決定し、走行態様に基づいて目標軌道を生成する。
【0026】
走行制御部16は、自動運転モードにおいて、行動計画生成部15で生成された目標軌道に沿って自車両が走行するように各アクチュエータACを制御する。より具体的には、走行制御部16は、自動運転モードにおいて道路勾配等により定まる走行抵抗を考慮して、行動計画生成部15で算出された単位時間毎の目標加速度を得るための要求駆動力を算出する。そして、例えば内部センサ群2により検出された実加速度が目標加速度となるようにアクチュエータACをフィードバック制御する。すなわち、自車両が目標車速および目標加速度で走行するようにアクチュエータACを制御する。
なお、手動運転モードでは、走行制御部16は、内部センサ群2により取得されたドライバからの走行指令(ステアリング操作等)に応じて各アクチュエータACを制御する。
【0027】
センサ群管理部17は、外部センサ群1を構成する異なる種類のセンサ(カメラと検出器)の状態を管理する。例えば、カメラの撮像環境の悪化を判断したり、自動運転機能および運転支援機能における機能縮退の必要または不要を判断したりする。撮像環境の悪化の判断および機能縮退の要否判断については後に詳述する。
【0028】
<カメラにおける白飛び>
ところで、本実施の形態では、カメラとレーダ等の異なる種類の外部センサ群1の検出値に基づいて同一物標の位置データを求める。一般にカメラは、撮像領域に太陽または太陽の周囲の明るい空が含まれる等の逆光状態により、イメージセンサに強い光が入射される場合がある。イメージセンサに入射された光が強すぎると、カメラで撮像される画像(カメラ画像と呼ぶ)の階調が失われて白く表現される状態(いわゆる白飛び)が生じる。画像に白飛びが生じると、カメラの認識能力が低下し、カメラ画像に基づいて物標の位置データを精度よく検出することが困難になる。
【0029】
<撮像環境の悪化に対する判断>
そこで、実施の形態では、白飛びが生じてカメラの認識能力を低下させるようなカメラの撮像環境の悪化を以下のように判断する。先ず、カメラ画像について、画像を構成する画素(Pixel)値があらかじめ定めた基準値より高ければ白へ、基準値より低ければ黒へと二値化して二値画像を得る。この二値画像のうちの所定領域において、白を構成する画素数の上記所定領域内の全画素数に対する割合(評価値と呼ぶことにする)があらかじめ定めた閾値を超える状態が、所定時間継続する(換言すると、所定周期で撮像された複数のカメラ画像に基づいてそれぞれ算出された評価値が所定回数続けて閾値を超える)場合に、カメラの撮像環境が悪化したと判断する。評価値は、0から100の間の値をとるものとする。
【0030】
<閾値について>
実施の形態では、太陽光に起因する逆光の可能性がある場合とない場合とで2つの閾値を使い分けて、カメラの撮像環境の悪化を判断する。例えば、カメラの撮像領域に太陽または太陽の周囲の空が含まれ得る場合に第1の閾値(例えば、評価値80に相当する値)を、そうでない場合に第1の閾値よりも大きい第2の閾値(例えば、評価値99に相当する値)を、それぞれ閾値として設定する。
【0031】
カメラの撮像領域に太陽または太陽の周囲の空が含まれ得る場合とは、カメラが撮像する方向の方位角(内部センサ群2を構成するジャイロセンサの出力に基づいて自車位置認識部13で算出される)と、自車両の現在位置(測位ユニット4で測定される)および現時刻における太陽方位角(公知の計算式によりセンサ群管理部17で算出される)とが略一致し、かつ、カメラが撮像する方向の仰角(内部センサ群2を構成するジャイロセンサの出力に基づいて自車位置認識部13で算出される)と、自車両の現在位置(測位ユニット4で測定される)および現時刻における太陽高度(公知の計算式によりセンサ群管理部17で算出される)とが略一致する状態をいう。
【0032】
なお、上記方位角および仰角(太陽高度)が略一致したとしても、曇天の場合にはカメラの撮像領域に太陽または太陽の周囲の空が含まれず、必ずしも太陽光に起因する逆光が生じるとは限らないため、カメラの撮像領域に太陽または太陽の周囲の空が「含まれ得る」場合と説明した。
【0033】
また、太陽光に起因する逆光の可能性がある場合とない場合とで2つの閾値を使い分ける理由は、太陽光に起因して逆光が生じた場合と、夜間走行時等における対向車のヘッドライトの光、または路上看板の光源の光に起因して逆光が生じた場合とで、カメラの撮像環境の悪化を判断した後に行う処理(後に詳述する機能縮退の要否判断処理)を異ならせるためである。
【0034】
<機能縮退について>
上述した白飛びが生じるようなカメラの撮像環境の悪化は、フュージョン処理に用いる物標の位置データの精度の低下につながる。そこで、実施の形態では安全を担保するために、カメラの撮像環境が悪化したと判断した場合には自動運転モードにおける自動運転機能および手動運転モードにおける運転支援機能について、一部または全部の機能を制限した状態に切替える機能縮退を行うか否か、すなわち機能縮退が必要または不要の要否判断処理を行う。
【0035】
機能縮退の一例を挙げると、例えば、先行車両の認識結果に基づいて、自車両のアクセル制御とブレーキ制御の双方を自動的に行い、自車両と先行車両との車間距離を適切に維持しながら先行車両に追従走行するクルーズコントロール(Adaptive Cruise Control;ACC)機能を一時的にオフさせることは、ACC機能の全部を休止(禁止と呼んでもよい)させる点で、機能縮退に該当する。
また、車線の認識結果に基づいて、自車両のステアリング操作を自動的に行い、自車両が走行レーンの中央付近を走行するようにドライバのステアリング操作を支援する車線維持支援(Lane Keep Assist System;LKAS)機能を一時的にオフさせることは、LKAS機能の全部を休止(禁止と呼んでもよい)させる点で、機能縮退に該当する。
さらにまた、ACC機能およびLKAS機能がともにオンされている状態で、一方の機能のみを一時的にオフさせることは、運転支援機能の一部を休止させる点で、機能縮退に該当する。
【0036】
<機能縮退の要否判断処理>
機能縮退の要否判断処理について、太陽光に起因する逆光の可能性がある場合(第1の閾値を設定した場合)と、太陽光に起因する逆光の可能性がない場合(第2の閾値を設定した場合)とに分けて説明する。
(1)太陽光に起因する逆光の可能性がある場合(第1の閾値を設定した場合)
太陽光に起因する逆光の可能性がある場合は、閾値を例えば評価値80相当まで下げて、評価値が100に近づく前の早い段階(評価値が80を超えた時点)から機能縮退が必要か否かの判断を行う。第1の閾値を設定した場合における機能縮退の要否判断は、カメラによる物標の検知の可否および検出器による物標の検知状況を用いて総合的に判断する。具体的には、カメラと検出器とで検知されていた同一物標がカメラで検知されなくなり、かつ検出器で検知されている場合は、逆光に起因するカメラ不検知とみなして、機能縮退が必要と判断する。カメラと検出器とで検知されていた同一物標が、継続してカメラと検出器で検知される場合は、機能縮退が不要と判断する。
【0037】
(2)太陽光に起因する逆光の可能性がない場合(第2の閾値を設定した場合)
太陽光に起因する逆光の可能性がない場合は、閾値を上げて、例えば評価値が100になる場合にのみ機能縮退が必要と判断する。換言すると、第2の閾値を設定した場合における機能縮退の要否判断は、評価値が99以下であれば機能縮退が不要と判断する。このように構成することにより、夜間走行時等における対向車のヘッドライトの光、または路上看板の光源の光に起因する逆光では、評価値99を超えることが稀であるため、略全てが機能縮退不要になる。
【0038】
<車両用制御装置の要部構成>
図2は、実施の形態に係る車両用制御装置50の要部構成を示すブロック図である。車両用制御装置50は、
図1の車両制御システム100の一部を構成する。
図2に示すように、車両用制御装置50は、カメラ1aと、検出器1bと、コントローラ10と、アクチュエータACとを有する。
【0039】
カメラ1aは、上記CCDまたはCMOSセンサ等の撮像素子を有する単眼カメラであり、
図1の外部センサ群1の一部を構成する。カメラ1aはステレオカメラであってもよい。カメラ1aは、例えば自車両の前部の所定位置に取り付けられ、自車両の前方空間を連続的に撮像し、物標の画像(カメラ画像)を取得する。物標には自車両の前方を走行する前方車両と、人や構造物等が含まれる。カメラ画像に基づいて、物標の位置と種類とを認識することができる。すなわち、二次元のカメラ画像の横(水平)方向をx方向、縦(鉛直)方向をy方向とすると、カメラ画像上のx方向の位置により物標の車幅方向の位置が、y方向の位置により物標の高さ方向と進行方向における位置とを求めることができる。つまり、カメラ1aにより物標の位置データ(位置情報)を取得することができる。
【0040】
検出器1bは、検出対象(物標)からの反射波に基づいて自車両から物標までの距離を検出する検出器であり、レーダおよびライダのいずれか一方または両方を含む。検出器1bにより、自車両を基準とした物標の位置データ(位置情報)を取得することができる。位置データには物標の位置と速度のデータとが含まれる。検出器1bによる検出範囲は、カメラ1aの撮像領域に含まれる。したがって、カメラ1aで検知された物標と検出器1bで検知された物標とが同一である場合、センサフュージョン処理を行うことで、当該物標の位置および速度を導出できる。
【0041】
図2のコントローラ10は、演算部11(
図1)が担う機能的構成として、設定部17aと、判断部17bと、縮退指示部17cと、走行制御部16とを有する。設定部17a、判断部17bおよび縮退指示部17cは、機能縮退の要否判断および走行制御部16への指示を行うために、センサ群管理部17内に設けられている。
【0042】
<フローチャートの説明>
図3および
図4は、
図2のコントローラ10で実行される処理のうち、特にセンサ群管理部17で行われる処理の一例を示すフローチャートである。
図3は、機能縮退の要否判断を行う処理の流れを説明するフローチャートである。
図4は、
図3のステップS10の処理を詳細に説明するフローチャートである。
【0043】
図3および
図4のフローチャートに示す処理は、例えば、カメラ1aにより所定周期でカメラ画像の撮像が開始されると、カメラ画像が撮像される毎に行われる。コントローラ10のセンサ群管理部17は、カメラ画像が撮像される毎に、太陽光に起因する逆光の可能性判断、撮像環境の悪化を判断するための閾値の設定、撮像環境の悪化の判断、機能縮退の要否判断および走行制御部16への指示を行う。
【0044】
図3のステップS10において、センサ群管理部17は、撮像環境に関する判断を行ってステップS20Aへ進む。センサ群管理部17の判断部17bは、撮像環境に関する判断として撮像環境の悪化を判断する。
【0045】
ステップS20Aにおいて、センサ群管理部17は、判断部17bで第1の閾値に基づいて悪化が判断されたか否かを判断する。センサ群管理部17は、第1の閾値に基づいて撮像環境の悪化が判断されている場合はステップS20Aを肯定判定してステップS30へ進む。センサ群管理部17は、第1の閾値に基づいて撮像環境の悪化が判断されていない場合には、ステップS20Aを否定判定してステップS20Bへ進む。
【0046】
ステップS20Bにおいて、センサ群管理部17は、判断部17bで第2の閾値に基づいて悪化が判断されたか否かを判断する。センサ群管理部17は、第2の閾値に基づいて撮像環境の悪化が判断されている場合はステップS20Bを肯定判定してステップS90へ進む。センサ群管理部17は、第2の閾値に基づいて撮像環境の悪化が判断されていない場合には、ステップS20Bを否定判定してステップS70へ進む。
【0047】
ステップS30において、センサ群管理部17は、外部センサ群1で取得された位置情報の優先度を変更してステップS40へ進む。具体的には、カメラ1aで取得されたカメラ画像上のx方向の位置情報を物標の車幅方向の位置情報として優先して採用する設定がなされている場合には、検出器1bで取得された物標の位置データ(位置情報)を優先して採用する設定へ変更する。このように構成したので、撮像環境の悪化に起因してカメラ1aの認識能力が低下しているおそれがある場合には、検出器1bで取得された物標の位置データ(位置情報)を、物標の車幅方向の位置情報として採用することが可能になる。
【0048】
ステップS40において、センサ群管理部17は、カメラ1aで物標を検知しているか否かを判定する。センサ群管理部17は、例えば、カメラ1aと検出器1bとで検知されていた同一物標をカメラ1aで検知している場合にステップS40を肯定判定してステップS80へ進む。ステップS40を肯定判定する場合とは、撮像環境の悪化に起因してカメラ1aの認識能力が低下しているおそれがあるものの、カメラ1aで物標を検知できている場合である。センサ群管理部17は、カメラ1aと検出器1bとで検知されていた同一物標をカメラ1aで検知していない場合には、ステップS40を否定判定してステップS50へ進む。
【0049】
ステップS50において、センサ群管理部17は、検出器1bで物標を検知しているか否かを判定する。センサ群管理部17は、例えば、カメラ1aと検出器1bとで検知されていた同一物標を検出器1bで検知している場合にステップS50を肯定判定してステップS60へ進む。ステップS50を肯定判定する場合には、撮像環境の悪化に起因してカメラ1aで物標が検知できなくなった可能性が高い。センサ群管理部17は、カメラ1aと検出器1bとで検知されていた同一物標を検出器1bで検知していない場合にはステップS50を否定判定してステップS80へ進む。ステップS50を否定判定する場合とは、物標がカメラ1aと検出器1bの検知範囲から外れた場合である。
【0050】
ステップS60において、センサ群管理部17の縮退指示部17cは、機能縮退が必要と判断して
図3による処理を終了する。縮退指示部17cは、機能縮退が必要と判断すると、走行制御部16へ機能縮退を指示する。
【0051】
上述したステップS20Bを否定判定した場合に進むステップS70において、センサ群管理部17は、外部センサ群1で取得された位置情報の優先度が変更されている場合には、優先度を元に戻してステップS80へ進む。具体的には、検出器1bで取得された物標の位置データ(位置情報)を優先して採用する設定がなされている場合には、カメラ1aで取得されたカメラ画像上のx方向の位置情報を物標の車幅方向の位置情報として優先して採用する設定へ変更する。このように構成したので、撮像環境が悪化しておらず、カメラ1aの認識能力が低下しているおそれがない場合には、カメラ1aで取得されたカメラ画像に基づく物標の位置情報を優先して採用することが可能になる。
【0052】
上述したステップS70の次、上述したステップS40を肯定判定した場合、および上述したステップS50を否定判定した場合に進むステップS80において、センサ群管理部17の縮退指示部17cは、機能縮退が不要と判断して
図3による処理を終了する。縮退指示部17cは、機能縮退が不要と判断すると、過去に走行制御部16へ機能縮退を指示していた場合には、機能縮退を通常の機能へ戻す指示を行う。
【0053】
上述したステップS20Bを肯定判定した場合に進むステップS90において、センサ群管理部17は、ステップS30の場合と同様に、外部センサ群1で取得された位置情報の優先度を変更してステップS60へ進む。このように構成したので、撮像環境の悪化に起因してカメラ1aの認識能力が低下しているおそれがある場合には、検出器1bで取得された物標の位置データ(位置情報)を、物標の車幅方向の位置情報として採用することが可能になる。
【0054】
図4を参照して、
図3のステップS10の処理を詳細に説明する。
ステップS101において、センサ群管理部17は、カメラ1aの撮像領域に太陽または太陽の周囲の空が含まれ得るか否かを判定する。センサ群管理部17は、上述したようにカメラ1aが撮像する方向の方位角と、太陽方位角とが略一致し、かつ、カメラ1aが撮像する方向の仰角と、太陽高度とが略一致する場合にステップS101を肯定判定してステップS102へ進む。センサ群管理部17は、上記方位角および仰角(太陽高度)が略一致しない場合には、ステップS101を否定判定してステップS103へ進む。
【0055】
ステップS102において、センサ群管理部17の設定部17aは、第1の閾値(例えば評価値80相当)を設定してステップS104へ進む。ステップS103において、センサ群管理部17の設定部17aは、第2の閾値(例えば評価値99相当)を設定してステップS104へ進む。
【0056】
ステップS104において、センサ群管理部17は、評価値>閾値が成立するか否かを判定する。センサ群管理部17は、評価値>閾値が成立する場合にステップS104を肯定判定してステップS105へ進む。センサ群管理部17は、評価値>閾値が成立しない場合にはステップS104を否定判定してステップS106へ進む。
【0057】
ステップS105において、センサ群管理部17の判断部17bは、カメラ1aにおける撮像環境の悪化を判断して
図4による処理を終了する。
ステップS106において、センサ群管理部17の判断部17bは、カメラ1aにおける撮像環境は悪化していないと判断して
図4による処理を終了する。
【0058】
<機能縮退の要否判断例>
図5A,5Bおよび
図6A,6Bを参照して、実施の形態に係る車両用制御装置を有する車両制御システム100で行われた機能縮退の要否判断例を説明する。
図5A,5Bおよび
図6A,6Bは、東西に走る高速道路を夕刻に夕日の方向に向かって走行する自車両の車両制御システム100で得られた情報をグラフ化した図である。
図5Aは、評価値および閾値の時間変化を示す図である。
図5Aの横軸は、カメラ1aによる撮像が開始されてからの経過時間(単位;秒)を示す。
図5Aの縦軸は、センサ群管理部17で算出された評価値(実線で示す)および設定部17aで設定された閾値(破線で示す)を示す。
図5Aにおいて、閾値の初期値は99(第2の初期値)とする。10秒経過時に撮像領域に明るい空が含まれるようになり、センサ群管理部17で算出される評価値(実線で示す)が0から81へ変化する。この時点では評価値>閾値が成立しないので、センサ群管理部17は、カメラ1aにおける撮像環境は悪化していないと判断する(ステップS106)。
【0059】
25秒経過時に、センサ群管理部17によって、カメラ1aの撮像領域に太陽または太陽の周囲の空が含まれ得ると判定された(ステップS101を肯定判定)ため、設定部17aによって閾値が80(第1の閾値)に設定される。センサ群管理部17で算出される評価値(実線で示す)は、81のままである。これにより、評価値>閾値が成立するので、センサ群管理部17の判断部17bは、カメラ1aにおける撮像環境の悪化を判断する(ステップS105)。以降、センサ群管理部17により、
図3のステップS30からS50の処理が行われる。
【0060】
図5Bは、機能縮退の要否判断結果の時間変化を示す図である。
図5Bの横軸は、
図5Aの横軸と同じで、カメラ1aによる撮像が開始されてからの経過時間(単位;秒)を示す。
図5Bの縦軸は、センサ群管理部17の縮退指示部17cで判断された機能縮退の判断結果を示す。
図5Bにおいて、機能縮退は不要と判断されたままである。
【0061】
図6Aは、評価値および閾値の時間変化を示す図である。
図6Aの横軸は、カメラ1aによる撮像が開始されてからの経過時間(単位;秒)であり、325秒から375秒までを抜粋して示す。
図6Aの縦軸は、センサ群管理部17で算出された評価値(実線で示す)および設定部17aで設定された閾値(破線で示す)を示す。
図6Aにおいて、閾値は80(第1の閾値)に設定されたままで、センサ群管理部17で算出される評価値(実線)も、81のままである。これにより、評価値>閾値が成立するので、センサ群管理部17の判断部17bは、カメラ1aにおける撮像環境の悪化の判断(ステップS105)を継続する。センサ群管理部17は、
図3のステップS30からS50の処理を行う。
【0062】
図6Bは、機能縮退の要否判断結果の時間変化を示す図である。
図6Bの横軸は、
図6Aの横軸と同じで、カメラ1aによる撮像が開始されてからの経過時間(単位;秒)であり、325秒から375秒までを抜粋して示す。
図6Bの縦軸は、センサ群管理部17の縮退指示部17cで判断された機能縮退の判断結果を示す。
340秒経過時に、カメラ1aで物標が検知されなくなり(ステップS40を否定判定)、かつ、検出器1bで物標が検知されている(ステップS50を肯定判定)ので、縮退指示部17cで機能縮退が必要と判断される(ステップS60)。以降、カメラ1aで再び物標が検知される370秒経過時まで、機能縮退が必要とする判断が継続される。
【0063】
以上説明した実施の形態によれば、以下のような作用効果を奏する。
(1)実施の形態に係る車両用制御装置50を有する自動運転車両の車両制御システム100は、自車両の周囲の外界をイメージセンサで撮像して物標の位置情報を取得するカメラ1aと、カメラ1aの撮像領域内における検出対象からの反射波に基づいて物標の位置情報を取得する検出器1bと、カメラ1aにより取得された位置情報および検出器1bにより取得された位置情報に基づいて車両の走行制御を行う走行制御部16と、イメージセンサからの信号値に基づいて算出される評価値と比較される閾値を設定する設定部17aと、評価値を閾値と比較してカメラ1aにおける撮像環境の悪化を判断する判断部17bと、判断部17bで撮像環境の悪化が判断された場合に、走行制御の一部機能の制限または走行制御の禁止を走行制御部16へ指示する縮退指示部17cとを備え、設定部17aは、カメラ1aの撮像領域に太陽または太陽の周囲の空が含まれ得る場合に第1の閾値(評価値80相当)を、そうでない場合に第1の閾値よりも大きい第2の閾値(評価値99相当)を、閾値として設定する。
このように構成したので、太陽光に起因する逆光の可能性がある場合は、閾値を評価値80相当まで下げて(ステップS102)、評価値が100(撮像領域に太陽が含まれる強い逆光に相当)に近づく前の早い段階(評価値が80を超えた時点)で逆光に至る可能性を検知し(ステップS20Aを肯定判定)、機能縮退が必要か否かの判断処理(ステップS40、S50)を行うことが可能になる。一方、太陽光に起因する逆光の可能性がない場合は、閾値を評価値99相当まで上げて(ステップS103)、評価値が100になる場合(ステップS20Bを肯定判定)にのみ機能縮退が必要と判断する。一般に、夜間走行時等における対向車のヘッドライトの光、または路上看板の光源の光に起因する逆光の大半は評価値99以下であるため、逆光に対する過検知を抑制するとともに、機能縮退を避けることが可能になる。
【0064】
(2)車両用制御装置50において、設定部17aは、太陽高度、太陽方位角および自車両の進行方向を示す情報に基づいて、第1の閾値または第2の閾値を設定する。
このように構成したので、カメラ1aの撮像領域に太陽または太陽の周囲の空が含まれ得る場合を適切に判断し、太陽光に起因する逆光の可能性がある場合と、太陽光に起因する逆光の可能性がない場合とで、それぞれ適切に第1の閾値、第2の閾値を設定することが可能になる。
【0065】
(3)車両用制御装置50において、第1の閾値が設定された状態で判断部17bにより撮像環境の悪化が判断されると、縮退指示部17cは、カメラ1aで物標の位置情報が取得されておらず、かつ、検出器1bで物標の位置情報が取得されている場合に、走行制御の一部機能の制限または走行制御の禁止を走行制御部16へ指示する。
このように構成したので、例えば、カメラ1aと検出器1bとで検知されていた同一物標がカメラ1aで検知されなくなり(ステップS40を否定判定)、かつ検出器1bで検知されている場合(ステップS50を肯定判定)は、逆光に起因するカメラ不検知とみなして、機能縮退を行うことが可能になる。
【0066】
(4)車両用制御装置50において、第1の閾値が設定された状態で判断部17bにより撮像環境の悪化が判断されると、縮退指示部17cは、カメラ1aで物標の位置情報が取得されている場合に、走行制御の一部機能の制限および走行制御の禁止を走行制御部16へ指示しない。
このように構成したので、例えば、カメラ1aと検出器1bとで検知されていた同一物標が、継続してカメラ1aで検知される場合(ステップS40を肯定判定)は、機能縮退を避けることが可能になる。
【0067】
(5)車両用制御装置50において、第2の閾値が設定された状態で判断部17bにより撮像環境の悪化が判断されると、縮退指示部17cは、走行制御の一部機能の制限または走行制御の禁止を走行制御部16へ指示する。
このように構成したので、太陽光に起因する逆光の可能性がなくても、評価値が100になる場合(ステップS20Bを肯定判定)には、機能縮退を行うことが可能になる。
【0068】
(6)車両用制御装置50において、判断部17bにより撮像環境の悪化が判断されると、検出器1bで取得された位置情報の一部を、カメラ1aで取得された位置情報よりも優先させるセンサ群管理部17を備える。
このように構成したので、撮像環境の悪化に起因してカメラ1aの認識能力が低下しているおそれがある場合には、検出器1bで取得された物標の位置データ(位置情報)を、物標の車幅方向の位置情報として採用することが可能になる。なお、車幅方向の速度情報についても、優先して採用してもよい。
【0069】
上記実施の形態は、種々の形態に変形することができる。以下、変形例について説明する。
(変形例1)
機能縮退には、いわゆる自動運転レベルをレベル5からレベル4あるいはレベル3~1のいずれかへ引き下げることも含まれる。また、自動運転レベルをレベル4からレベル3あるいはレベル2または1へ引き下げることも含まれる。同様に、自動運転レベルをレベル3からレベル2あるいはレベル1へ、自動運転レベルをレベル2からレベル1へ、それぞれ引き下げることも含まれる。また、自動運転機能の全部を休止することも機能縮退の一例である。
【0070】
なお、自動運転レベルは以下の通りである。レベル5は、常に車両制御システム100が全ての運転タスクを実施する完全自動運転機能である。
レベル4は、高速道路等の特定の場所において車両制御システム100が全ての運転タスクを実施する、特定条件下における完全自動運転機能である。
レベル3は、高速道路等の特定の場所において車両制御システム100が全ての運転タスクを実施するが、車両制御システム100の介入・要求等に対してドライバが適切に対応することが必要な、条件付自動運転機能である。
【0071】
レベル2は、車両制御システム100がステアリング補正および加減速を部分的にサポートする運転支援機能である。
レベル1は、車両制御システム100がステアリング補正および加減速の一方をサポートし、ドライバが他方をコントロールする運転支援機能である。
【0072】
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施の形態および変形例により本発明が限定されるものではない。上記実施の形態と変形例を任意に組み合わせることも可能である。
【符号の説明】
【0073】
1a カメラ、1b 検出器、10 コントローラ、16 走行制御部、17 センサ群管理部、17a 設定部、17b 判断部、17c 縮退指示部、50 車両用制御装置、AC アクチュエータ