(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-15
(45)【発行日】2023-06-23
(54)【発明の名称】車両用制御装置
(51)【国際特許分類】
B60W 50/00 20060101AFI20230616BHJP
B60W 50/029 20120101ALI20230616BHJP
B60W 50/10 20120101ALI20230616BHJP
G08G 1/16 20060101ALN20230616BHJP
【FI】
B60W50/00
B60W50/029
B60W50/10
G08G1/16 C
(21)【出願番号】P 2020017988
(22)【出願日】2020-02-05
【審査請求日】2022-07-19
(73)【特許権者】
【識別番号】000003137
【氏名又は名称】マツダ株式会社
(73)【特許権者】
【識別番号】507219491
【氏名又は名称】エヌエックスピー ビー ヴィ
【氏名又は名称原語表記】NXP B.V.
【住所又は居所原語表記】High Tech Campus 60, NL-5656 AG Eindhoven, Netherlands
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】寳神 永一
(72)【発明者】
【氏名】土山 浄之
(72)【発明者】
【氏名】石橋 真人
(72)【発明者】
【氏名】濱野 大輔
(72)【発明者】
【氏名】布田 智嗣
(72)【発明者】
【氏名】堀籠 大介
(72)【発明者】
【氏名】田崎 篤
(72)【発明者】
【氏名】橋本 陽介
(72)【発明者】
【氏名】木原 裕介
(72)【発明者】
【氏名】アーノルド ヴァン デン ボッシュ
(72)【発明者】
【氏名】レイ マーシャル
(72)【発明者】
【氏名】レオナルド スリコ
【審査官】平井 功
(56)【参考文献】
【文献】特開2020-4402(JP,A)
【文献】特開2019-79126(JP,A)
【文献】特開2020-142770(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 10/00-10/30
B60W 30/00-60/00
G08G 1/00-99/00
G06T 7/00- 7/90
(57)【特許請求の範囲】
【請求項1】
車両に搭載され、車両の外部環境に応じて該車両の走行を制御可能な車両用制御装置であって、
前記車両に搭載されかつ該車両の外部環境を撮影するカメラの出力に対して画像処理を行って、該画像処理により得られる画像処理データを出力する第1IC(Integrated Circuit)ユニットと、
前記第1ICユニットとは別のユニットで構成され、前記画像処理データに基づいて前記車両の外部環境の認識処理を行って、該認識処理により得られる外部環境データを出力する第2ICユニットと、
前記第1ICユニット及び前記第2ICユニットとは別のユニットで構成され、前記画像処理データ又は前記外部環境データに基づいて、前記車両の走行制御のための判断処理を行う第3ICユニットと、
前記車両の状況に応じて、前記第2ICユニットにおける前記車両の外部環境の認識機能のオン及びオフを制御可能なパワーマネジメントユニットと、
前記第2ICユニットによる前記車両の外部環境の認識処理を行わずに、前記第1ICユニットから前記第3ICユニットへのデータ通信を可能にするバイパス経路とを備えることを特徴とする車両用制御装置。
【請求項2】
請求項1に記載の車両用制御装置において、
前記第2ICユニットは、前記画像処理データを基に深層学習を利用して外部環境の認識処理を行うように構成されていることを特徴とする車両用制御装置。
【請求項3】
請求項1又は2に記載の車両用制御装置において、
前記バイパス経路は、前記第2ICユニットを迂回して、第1ICユニットと第3ICユニットとを接続する通信線で構成されていることを特徴とする車両用制御装置。
【請求項4】
請求項1~3のいずれか1つに記載の車両用制御装置において、
前記車両の乗員の意思により前記第2ICユニットの前記認識機能をオン状態にするか又はオフ状態にするかを選択可能なスイッチを更に備え、
前記パワーマネジメントユニットは、前記スイッチにより前記第2ICユニットの前記認識機能をオフ状態にすることが選択されたときには、前記第2ICユニットの前記認識機能をオフ状態にすることを特徴とする車両用制御装置。
【請求項5】
請求項1~4のいずれか1つに記載の車両用制御装置において、
前記第2ICユニットに異常があるか否かを診断する異常診断部を更に備え、
前記パワーマネジメントユニットは、前記異常診断部により前記第2ICユニットに異常があると判定されたときには、前記車両の状況に関わらず、前記第2ICユニットの前記認識機能をオフ状態にすることを特徴とする車両用制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
ここに開示された技術は、車両用制御装置に関する技術分野に属する。
【背景技術】
【0002】
従来より、車両の走行を制御する制御装置が知られている。例えば、特許文献1には、自動運転を行う車両の制御装置として、自動運転制御装置が設けられている。
【0003】
特許文献1の自動運転制御装置は、車両の自動運転制御を実行する制御部と、車両の運転に用いられる電力を供給するバッテリの温度を検出するバッテリ温度検出部と、を備え、制御部はバッテリ温度検出部が正常であって、バッテリ温度が適正範囲にないときには、自動運転制御の機能の少なくとも一部を制限する第1制限制御、及びバッテリから自動運転制御のために供給される電力を増加させるために車両の機能のうち自動運転制御に必要ではない機能である非自動運転機能の少なくとも一部を制限する第2制限制御のうちの一方又は両方を実行する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、車両の外部環境に応じて車両の走行を制御する場合、まず、カメラ等により取得された画像データに基づいて外部環境の認識が行われるのが一般的である。この外部環境の認識には膨大な画像データを処理する必要がある。このため、制御装置における外部環境の認識処理を行う部分には大きな演算負荷がかかる。制御装置の演算負荷が大きいと、制御装置での消費電力が大きくなるとともに、制御装置の温度が上昇しやすくなる。
【0006】
また、車両の外部環境に応じて車両の走行を制御する場合、外部環境の認識処理を行う部分が失陥したときには、車両の走行制御を適切に行うことが困難になる。
【0007】
ここに開示された技術は、斯かる点に鑑みてなされたものであり、その目的とするとこは、車両の走行を制御する車両用制御装置において、消費電力を抑制するとともに、外部環境の認識機能が失陥したとしても適切な走行制御を実行できるようにすることにある。
【課題を解決するための手段】
【0008】
前記課題を解決するために、ここに開示された技術では、車両に搭載され、車両の外部環境に応じて該車両の走行を制御可能な車両用制御装置を対象として、前記車両に搭載されかつ該車両の外部環境を撮影するカメラの出力に対して画像処理を行って、該画像処理により得られる画像処理データを出力する第1IC(Integrated Circuit)ユニットと、前記第1ICユニットとは別のユニットで構成され、前記画像処理データに基づいて前記車両の外部環境の認識処理を行って、該認識処理により得られる外部環境データを出力する第2ICユニットと、前記第1ICユニット及び前記第2ICユニットとは別のチップで構成され、前記画像処理データ又は前記外部環境データに基づいて、前記車両の走行制御のための判断処理を行う第3ICユニットと、前記車両の状況に応じて、前記第2ICユニットにおける前記車両の外部環境の認識機能のオン及びオフを制御可能なパワーマネジメントユニットと、前記第2ICユニットによる前記車両の外部環境の認識処理を行わずに、前記第1ICユニットから前記第3ICユニットへのデータ通信を可能にするバイパス経路とを備える、という構成とした。
【0009】
すなわち、車両が都市部を走行しているときには、周囲に物標が多いため、第2ICユニットにより認識処理された詳細な外部環境データを算出することが望ましい。一方で、車両が高速道路を走行しているときや駐車場に駐車するときは、詳細な外部環境データはなくてもよい。つまり、車両がこれらの状況にあるときには、認識処理を行っていない外部環境データ(外部環境を撮影した画像データ等)から車両の走行に関するパラメータを算出する程度の制御でも、車両の走行に大きな影響を与えない。前記構成では、第3ICユニットは、バイパス経路を介して第1ICユニットから画像処理データを取得できるとともに、該画像処理データに基づいて車両の走行に関するパラメータを算出できる。このため、車両の状況に応じて、第2ICユニットの認識機能を適宜オフ状態にしても、車両の走行に大きな影響を与えない。したがって、第2ICユニットの認識機能を適宜オフ状態にして、第2ICユニットでの膨大な演算処理を抑制することで、車両用制御装置での消費電力を抑制することができる。また、第2ICユニットの発熱を抑えることができ、発熱による消費電力の増加も抑制することができる。
【0010】
また、第3ICユニットは、画像処理データから車両の走行に関するパラメータを算出することができる。このため、第2ICユニットが故障する等にして外部環境の認識機能が失陥したとしても、第3ICユニットは、バイパス経路を介して取得した画像処理データにより適切な走行制御を実行できる。
【0011】
前記車両用制御装置において、前記第2ICユニットは、前記画像処理データを基に深層学習を利用して外部環境の認識を行うように構成されている、というものでもよい。
【0012】
この構成によると、第2ICユニットが深層学習を利用するため、第2ICユニットによる外部環境の認識処理は演算負荷が大きい。したがって、第2ICユニットにおける外部環境の認識機能を適宜オフ状態にすることで、消費電力をより効果的に抑制することができる。
【0013】
前記車両用制御装置において、前記バイパス経路は、前記第2ICユニットを構成するチップを迂回して、第1ICユニットと第3ICユニットとを接続する通信線で構成されている、というものでもよい。
【0014】
この構成によると、第2ICユニットの全機能をオフ状態にしたとしても、第3ICユニットは第1ICユニットから画像処理データを取得することができる。これにより、消費電力を一層効果的に抑制することができる。
【0015】
前記車両用制御装置において、前記車両の乗員の意思により前記第2ICユニットの前記認識機能をオン状態にするか又はオフ状態にするかを選択可能なスイッチを更に備え、前記制御部は、前記スイッチにより前記第2ICユニットの前記認識機能をオフ状態にすることが選択されたときには、前記第2ICユニットの前記認識機能をオフ状態にする、という構成でもよい。
【0016】
この構成によると、車両の乗員の意思によって第2ICユニットの認識機能をオフ状態にすることが可能であるため、例えば、車両が都市部を走行しているときであっても、第2ICユニットの認識機能を適宜オフ状態にすることができる。この結果、消費電力をより一層効果的に抑制することができる。
【0017】
前記車両用制御装置において、前記第2ICユニットに異常があるか否かを判定する異常診断部を更に備え、前記制御部は、前記異常診断部により前記第2ICユニットに異常があると判定されたときには、前記車両の状況に関わらず、前記第2ICユニットの前記認識機能をオフ状態にする、という構成でもよい。
【0018】
すなわち、第2ICユニットに異常があるときには、第2ICユニットが出力する外部環境データに誤りが含まれる可能性が高くなる。このため、第2ICユニットに異常があるときにまで、第2ICユニットが出力する外部環境データに基づいて車両の走行に関するパラメータを算出すると、車両の走行制御を適切に行うことができなくなるおそれがある。前記の構成では、第2ICユニットに異常があると判定されたときには、車両の状況に関わらず、第2ICユニットの認識機能をオフ状態にする。これにより、第3ICユニットが誤った外部環境データに基づいて車両の走行に関するパラメータを算出することを抑制することができる。したがって、外部環境の認識機能が失陥したとしても適切な走行制御をより効果的に実行できるようになる。
【発明の効果】
【0019】
以上説明したように、ここに開示された技術によると、第2ICユニットによる外部環境の認識処理を行わずに、第1ICユニットから第3ICユニットへのデータ通信を可能にするバイパス経路を備える。これにより、第2ICユニットの外部環境の認識機能をオフ状態にしたとしても、第3ICユニットは画像処理データに基づいて車両の走行に関するパラメータを算出することができる。この結果、消費電力を抑制するとともに、外部環境の認識機能が失陥したとしても適切な走行制御を実行できるようになる。
【図面の簡単な説明】
【0020】
【
図1】例示的な実施形態に係る車両用走行制御装置の機能構成を示すブロック図である。
【
図2】各ICユニットの具体的な構成例を示すブロック図である。
【
図3】信号処理ICユニットによる画像処理により得られる画像処理データの一例を示す図である。
【
図4】認識処理ICユニットによる認識処理により生成されるセグメンテーション画像の一例を示す図である。
【
図5】判断処理ICユニットにより外部環境の推定を行って得られる統合データの一例を示す図である。
【
図6】第2パワーマネジメントユニットによる認識処理ICユニットのオン/オフ制御を示すフローチャートである。
【
図7】車両用走行制御装置の変形例を示すブロック図である。
【発明を実施するための形態】
【0021】
以下、例示的な実施形態について、図面を参照しながら詳細に説明する。
【0022】
図1は、本実施形態に係る車両用走行制御装置1(以下、単に走行制御装置1という)の機能構成を概略的に示す。この走行制御装置1は、4輪自動車などの車両に設けられる。この車両は、マニュアル運転と自動運転とに切り換え可能である。マニュアル運転は、ドライバの操作(例えばアクセルの操作など)に応じて走行する運転である。アシスト運転は、ドライバの操作を支援して走行する運転である。自動運転は、ドライバの操作なしに走行する完全自動運転と車両の運転者による走行を支援するアシスト運転とを含む。走行制御装置1は、自動運転において、車両に設けられたアクチュエータを制御することで車両の動作を制御する。例えば、アクチュエータは、エンジン、トランスミッション、ブレーキ、ステアリングなどを含む。
【0023】
信号処理IC(Integrated Circuit)ユニット10と、認識処理ICユニット20と、判断処理ICユニット30の3チップ構成となっている。具体的な図示は省略するが、信号処理ICユニット10、認識処理ICユニット20及び判断処理ICユニット30は、例えば、乗員の座席下部やトランクルーム等、車両内の特定の場所に設置された単一の筐体内に格納されている。信号処理ICユニット10、認識処理ICユニット20及び判断処理ICユニット30は、それぞれ、単一のIC(Integrated Circuit)チップで構成されてもよいし、複数のICチップにより1つのユニットが構成されていてもよい。また、各ICチップ内には、単一のコアまたはダイが収容されていてもよく、連携する複数のコアまたはダイが収容されていてもよい。
【0024】
信号処理ICユニット10は、外部環境を撮像するカメラ101から受信された撮像信号の画像処理を行い、画像処理データとして出力する。カメラ101は、例えば、自動車の周囲を水平方向に360°撮影できるようにそれぞれ配置されている。各カメラ101の撮像データは、信号処理ICユニット10に集約される。信号処理ICユニット10では、集約された撮像データの画像処理を行い、画像処理データD1として認識処理ICユニット20に出力する。信号処理ICユニット10は、第1パワーマネジメントユニット41によりオン/オフ制御される。信号処理ICユニット10は第1ICユニットに相当する。
図2には、信号処理ICユニット10の具体的なブロック構成例を示している。
図2については、後ほど説明する。
【0025】
認識処理ICユニット20は、信号処理ICユニット10から出力された画像処理データを受信するとともに、レーダ102の検出結果を受信する。認識処理ICユニット20は、取得したデータを基に深層学習を利用して、画像処理データを基に道路と障害物を含む外部環境を推定する。深層学習では、例えば、多層ニューラルネットワーク(DNN:Deep Neural Network)が用いられる。多層ニューラルネットワークとして、例えば、CNN(Convolutional Neural Network)がある。各レーダ102は、自車両の外部環境を自車両の周囲360°に渡って検出ように、自車両の車体に配置されている。レーダ102は、例えば、ミリ波(探知波の一例)を送信するミリ波レーダで構成されている。尚、レーザ光(探知波の一例)を送信するライダ(Light Detection and Ranging)であってもよいし、赤外線(探知波の一例)を送信する赤外線レーダであってもよいし、超音波(探知波の一例)を送信する超音波センサであってもよい。認識処理ICユニット20は第2ICユニットに相当する。
【0026】
認識処理ICユニット20は、推定された外部環境に基づいて道路上であって障害物を回避する少なくとも1つの経路候補を生成し、経路候補データとして出力する。複数のレーダ102は、互いに同様の構成を有する。
図2には、認識処理ICユニット20の具体的なブロック構成例を示している。
図2については後ほど説明する。
【0027】
認識処理ICユニット20は、第2パワーマネジメントユニット42によりオン/オフ制御される。本実施形態では、第2パワーマネジメントユニット42により、認識処理ICユニット20自体がオン/オフ制御されることで、認識処理ICユニット20における車両の外部環境の認識機能がオン/オフ制御される。
【0028】
判断処理ICユニット30は、認識処理ICユニット20から出力された経路候補データを受信し、経路候補データを基に自動車の走行経路を決定する。また、判断処理ICユニット30は、決定された走行経路に沿って走行する際の自動車の目標運動を決定する。その後、判断処理ICユニット30は、決定された目標運動を実現するための駆動力と制動力と操舵角を算出する。判断処理ICユニット30は、第3パワーマネジメントユニット43によりオン/オフ制御される。判断処理ICユニット30は第3ICユニットに相当する。
図2には、判断処理ICユニット30の具体的なブロック構成例を示している。
図2については後ほど説明する。
【0029】
〈信号処理ICユニット〉
信号処理ICユニット10は、
図2に示すように、2つの画像処理部141,151を有する。画像処理部141,151は、カメラ101の撮影した画像に対して、画像の歪み(この例ではカメラ101の広角化による歪み)を補正する歪み補正処理や、画像のホワイトバランスを調整するホワイトバランス調整処理などを行う。また、画像処理部141,151は、画像を構成する素子のうち認識処理ICユニット20での処理(物体の認定など)に不要な画素を削除したり、色彩に関するデータを間引いたり(車両を全て同じ色で表すなど)して、画像処理データD1を生成する。画像処理部141で作成された画像処理データD1は、認識処理ICユニット20の物体認識部241に入力される。画像処理部151で作成された画像処理データD1は、判断処理ICユニット30の物体認識部251に入力される。尚、詳しくは後述するが、走行制御装置1は、認識処理ICユニット20による自車両の外部環境の認識処理を行わずに、信号処理ICユニット10から判断処理ICユニット30へのデータ通信を可能にするバイパス経路90を有している。
【0030】
図3は、画像処理データD1の一例を示す。この画像処理データD1に示された自車両の外部環境には、車道50と歩道71と空地72が含まれている。車道50は、自車両が移動することができる移動可能領域である。車道50には、センターライン51が含まれている。また、このマップに示された自車両の外部環境には、他車両61と標識62と街路樹63と建物80が含まれている。他車両61(自動四輪車)は、時間経過により変位する動体の一例である。動体の他の例としては、自動二輪車、自転車、歩行者などが挙げられる。標識62と街路樹63は、時間経過により変位しない静止体の一例である。静止体の他の例としては、中央分離帯、センターポール、建物などが挙げられる。動体と静止体は、物標60の一例である。
【0031】
図3に示す例では、車道50の外側に歩道71が設けられ、歩道71の外側(車道50から遠い側)に空地72が設けられている。また、
図3に示す例では、車道50においてセンターライン51で分けられる2つの車線のうち自車両が走行する車線を1台の他車両61が走行し、2つの車線のうち対向車線を2台の他車両61が走行している。そして、歩道71の外側に沿うように標識62と街路樹63が並んでいる。また、自車両の前方の遠い位置に建物80が設けられている。
【0032】
〈認識処理ICユニット〉
認識処理ICユニット20は、
図2に示すように、物体認識部241と、マップ生成部242と、外部環境推定部243と、外部環境モデル244と、経路探索部246と、経路生成部247とを備える。
【0033】
物体認識部241は、信号処理ICユニット10から出力される画像処理データD1(映像データを含む)と、レーダ72で検出された反射波のピークリストとを受信する。物体認識部241は、受信した画像処理データD1及びピークリストに基づいて車外の物体を認識する。従来から知られている画像や電波に基づく物体認識技術を適用することができる。物体認識部241で認識処理された結果は、マップ生成部242に送られる。
【0034】
マップ生成部242では、自車両の周囲を複数の領域(例えば、前方、左右方向、後方)に分け、その領域毎のマップを作成する処理を行う。具体的には、マップ生成部242では、それぞれの領域に対して、カメラ101で認識された物体情報と、レーダ102で認識された物体情報とを統合し、マップに反映させる。
【0035】
マップ生成部242で生成されたマップは、外部環境推定部243において、深層学習を用いた画像認識処理により外部環境の推定に使用される。具体的に、外部環境推定部243では、深層学習を利用して構築された外部環境モデル244に基づく画像認識処理により外部環境を表す3Dマップを作成する。深層学習では、多層ニューラルネットワークが用いられる。多層ニューラルネットワークとして、例えば、CNNがある。
【0036】
より具体的に、外部環境推定部243では、(1)領域毎のマップが結合され、自車両の周囲を表した統合マップが生成され、(2)その統合マップ内の動体物及び静止体に対し、動体物及び静止体の種類、自車両との距離、方向、相対速度の変位が予測され、(3)その結果が、外部環境モデル244に組み込まれる。さらに、外部環境推定部243では、(4)車内または車外から取り込んだ高精度地図情報(
図2ではExternal Input104と記載している)、GPS103等で取得された位置情報・車速情報・6軸情報の組み合わせによって統合マップ上での自車両の位置を推定するとともに、(5)前述の経路コストの計算を行い、(6)その結果が、各種センサで取得された自車両の運動情報とともに外部環境モデル244に組み込まれる。これらの処理により、外部環境推定部243では、随時、外部環境モデル244が更新され、経路生成部247による経路生成に使用される。
【0037】
図4は、外部環境推定部243の認識処理により得られるセグメンテーション画像D2の一例を示す。このセグメンテーション画像D2では、画素単位で、車道50、センターライン51、車両61、標識62、街路樹63、歩道71、空地72、及び建物80のいずれかに分類されている。また、セグメンテーション画像D2では、各物標60に対して、形状に関する情報まで認識されている。このセグメンテーション画像D2は認識処理データの一例である。
【0038】
GPS103等の測位システムの信号、車外ネットワークから送信される例えばカーナビゲーション用のデータは、経路探索部246に送られる。経路探索部246は、GPS等の測位システムの信号、車外ネットワークから送信される例えばナビゲーション用のデータを用いて、車両の広域経路を探索する。
【0039】
経路生成部247では、前述の外部環境モデル244と、経路探索部246の出力とを基にして、車両の走行経路を生成する。走行経路は、例えば、安全性、燃費等をスコア化し、そのスコアが小さくなるような走行経路が少なくとも1つ生成される。また、経路生成部247は、例えば、上記走行経路とドライバの操作量に応じて調整した走行経路、のように複数の観点に基づいた走行経路を生成するように構成されてもよい。この経路生成部247により生成される走行経路に関する情報は外部環境データに含まれる。
【0040】
また、認識処理ICユニット20は、
図2に示すように、第1車両モデル248と、第2車両モデル249とを有する。
【0041】
第1車両モデル248は、車両の挙動を示す車両6軸モデルである。車両6軸モデルとは、走行中の車両の「前後」「左右」「上下」の3軸方向の加速度と、「ピッチ」「ロール」「ヨー」の3軸方向の角速度を、モデル化したものである。すなわち、車両の動きを古典的な車両運動工学的な平面上のみ(車両の前後左右(X-Y移動)とヨー運動(Z軸)のみ)で捉えるのではなく、4つの車輪にサスペンションを介して乗っている車体のピッチング(Y軸)およびロール(X軸)運動とZ軸の移動(車体の上下動)の、合計6軸を用いて車両の挙動を再現する数値モデルである。この第1車両モデル248は、後述する目標運動決定部343において、車両の目標運動量を算出する際に用いられる。
【0042】
第2車両モデル249は、車両のエネルギー消費を示すモデルである。具体的には、車両のアクチュエータ類ACの動作に対する燃費や電費を示すモデルである。より詳しくは、第2車両モデル249は、例えば、所定量のエンジントルクを出力する上で、最も燃費が向上するような、吸排気バルブ(図示省略)の開閉タイミング、インジェクタ(図示省略)の燃料噴射タイミング、排気環流システムのバルブ開閉タイミング等がモデル化されたものである。この第2車両モデル249は、後述するエネルギーマネジメント部345において、車両のアクチュエータの制御量を算出する際に用いられる。
【0043】
〈判断処理ICユニット〉
判断処理ICユニット30は、認識処理ICユニット20とは別に、車両の走行経路を算出する機能を有している。判断処理ICユニット30での経路生成は、従来より自動車等に採用されている方法で、車両が安全に通過できる安全領域を設定し、その安全領域を通過するような経路を自動車が通過すべき走行経路として設定する。具体的には、判断処理ICユニット30は、物体認識部251と、分類部351と、前処理部352と、フリースペース探索部353と、予備経路生成部354とを備える。
【0044】
物体認識部251は、物体認識部241と同様に、信号処理ICユニット10から出力される画像処理データD1(映像データを含む)と、レーダ102で検出された反射波のピークリストとを受信する。物体認識部251は、受信した画像処理データD1及びピークリストに基づいて車外の物体を認識する。従来から知られている画像や電波に基づく物体認識技術を適用することができる。
【0045】
分類部351では、物体認識部251による物体の認識結果を受信し、認識された物体を動体と静止体とに分類する。具体的に、分類部351では、(1)自車両の周囲が複数の領域(例えば、前方、左右方向、後方)に分けられ、(2)各領域で、カメラ101からの画像に基づいて物体情報と、レーダ102からの情報に基づいて認識された物体情報(物体の大きさ等)とが統合され、(3)各領域に対する動体及び静止体の分類情報が生成される。
【0046】
前処理部352では、分類部351において生成された領域毎の分類結果を統合する。また、前処理部352では、動体物について、自車両との距離、方向、相対速度が予測され、その結果が動体物の付属情報として組み込まれる。さらに、前処理部352では、車内外から取得された高精度地図情報、位置情報、車速情報、6軸情報等を組み合わせて、動体・静止体に対する自車両の位置を推定する。
【0047】
前述のように、分類部351や前処理部352では、深層学習等を用いずに、画像処理データD1とレーダ102からの情報とにより外部環境を推定する。
図5は、前処理部352での処理により得られる統合データD3を示す。この統合データD3では、物体の種類等については認識されず、自車両周囲の物体は一律に物標60と認識される(厳密には、動体と静止体とは分けられている)。また、各物標の細かい形状は認識されず、
図5に示すように、大雑把な各物標の大きさや相対位置等が認識される。
【0048】
フリースペース探索部353は、前処理部352で位置が推定された動体・静止体(以下、対象物ともいう)との衝突を回避可能なフリースペースを探索する。例えば、フリースペース探索部353は、対象物の周囲数mを回避不能範囲とみなす等の所定のルールに基づいて設定される。フリースペース探索部353は、対象物が動体の場合には、移動速度を考慮してフリースペースを設定する。フリースペースとは、例えば、道路上であって、他の車両や歩行者等の動的な障害物、及び中央分離体やセンターポールなどの静的な障害物が存在しない領域をいう。フリースペースは、緊急駐車が可能な路肩のスペースを含んでいてもよい。
【0049】
予備経路生成部354は、フリースペース探索部353で探索されたフリースペースを通るような経路を算出する。予備経路生成部354による経路の算出方法は、特に限定されないが、例えば、フリースペースを通過する複数の経路を生成し、その複数の経路の中から経路コストが最も小さい経路を選択する。予備経路生成部354で算出された経路は、後述する目標運動決定部343に出力される。
【0050】
判断処理ICユニット30は、車両が走行すべき走行経路を決定して、該走行経路を追従するための車両の目標運動を算出する。具体的には、判断処理ICユニット30は、危険状態判断部341と、経路決定部342と、目標運動決定部343と、車両運動エネルギー設定部344と、エネルギーマネジメント部345とを備える。
【0051】
危険状態判断部341では、外部環境モデル244を基に、対象物との衝突や、車線の逸脱の可能性があると判断した場合に、それを回避するための走行経路(例えば、目標位置と車速)を設定する。
【0052】
経路決定部342では、認識処理ICユニット20の経路生成部247で設定された走行経路と、判断処理ICユニット30の予備経路生成部354で設定された走行経路と、ドライバの操作量とに基づいて、車両の走行経路を決定する。この走行経路の決定方法は、特に限定されないが、例えば、通常走行時は、経路生成部247で設定された走行経路を最優先するとしてもよい。また、経路生成部247で設定された走行経路が、フリースペース探索部353で探索されたフリースペースを通らない場合に、予備経路生成部354で設定された走行経路を選択するとしてもよい。また、ドライバの操作量や操作方向に応じて、選択された走行経路に調整を加えたり、ドライバの操作を優先したりするようにしてもよい。
【0053】
目標運動決定部343では、例えば、経路決定部342で決定された走行経路に対して、6軸の目標運動(例えば、加速度、角速度等)を決定する。目標運動決定部343は、6軸の目標運動の決定に際し、所定の第1車両モデル248を用いるようにしてもよい。第1車両モデル248は、例えば、車両毎に設定された車両の6軸の運動状態(例えば、加速度、角速度)をモデル化したものである。第1車両モデル248は、例えば、あらかじめ設定された車両の基本運動機能、車内外の環境情報等に基づいて生成され、適宜更新される。
【0054】
車両運動エネルギー設定部344では、目標運動決定部343で決定された6軸の目標運動に対して、駆動系、操舵系、制動系に要求するトルクを計算する。駆動系とは、例えば、エンジンシステム、モータ、トランスミッションである。操舵系とは、例えば、ステアリングである。制動系とは、例えば、ブレーキである。
【0055】
エネルギーマネジメント部345は、目標運動決定部343で決定された目標運動を達成する上で、最もエネルギー効率がよくなるようにアクチュエータ類ACの制御量を算出する。具体的に例示すると、エネルギーマネジメント部345は、目標運動決定部343で決定されたエンジントルクを達成する上で、最も燃費が向上するような、吸排気バルブ(図示省略)の開閉タイミングやインジェクタ(図示省略)の燃料噴射タイミング等を算出する。アクチュエータ類ACには、例えば、エンジンシステムと、ブレーキと、ステアリングと、トランスミッションとが含まれる。エネルギーマネジメント部345は、エネルギーマネジメントを行うのに際して、所定の第2車両モデル249を用いるようにしてもよい。第2車両モデル249は、例えば、現在または所定の指定時間先のプラント状態(例えば、トルク、電力、熱量等)をモデル化したものである。第2車両モデル249は、例えば、車両の走行中に生成され、適宜更新される。
【0056】
判断処理ICユニット30は、認識処理ICユニット20に与える自車両の運動情報を生成するために車両状態検出部346を有する。車両状態検出部346は、各種メカセンサー105から入力される情報に基づいて、自車両の現在の運動状態を検出する。メカセンサー105は、例えば、車速センサやヨーセンサ等である。
【0057】
判断処理ICユニット30は、走行経路を決定するための情報としてドライバの操作量や操作方向を認識するドライバ操作認識部347を有する。ドライバ操作認識部347は、ドライバの操作を反映するセンサ情報を取得して、ドライバの操作量や操作方向に関する情報を経路決定部342に入力する。ドライバの操作を反映するセンサは、アクセルペダル、ブレーキペダル、ステアリング、各種スイッチ等の各種操作対象物への運転者の操作を検出するセンサを含むものである。
【0058】
判断処理ICユニット30は、認識処理ICユニット20の故障、特に、認識処理ICユニット20の認識処理機能に異常があるか否かを診断する故障診断部356を有する。故障診断部356は、認識処理ICユニット20の認識処理機能に異常があると判断したときには、第2パワーマネジメントユニット42に情報を伝達する。該情報を受信した第2パワーマネジメントユニット42は、車両の状況に関わらず認識処理ICユニット20をオフ状態にする。故障診断部356は、例えば、マップ生成部242により作成されたマップにおいて、対向車両の位置が大きくずれていたり、経路生成部247により生成された走行経路が、フリースペース探索部353で探索されたフリースペースを通らない場合が所定回数以上あったりしたときに、認識処理ICユニット20の認識処理機能に異常があると判断するように構成することができる。
【0059】
判断処理ICユニット30は、外部環境に基づいて車両のシーンを認識するシーン認識部357を有する。シーン認識部357は、外部環境推定部243や前処理部352からの情報に基づいて、車両のシーンを認識する。ここで認識される車両のシーンは、例えば、車両の走行場所、走行状態(前進走行、駐車のためのバック走行等)、自車両周囲の物標の量等である。
【0060】
〈認識処理ICユニットのオン/オフ制御〉
ここで、走行制御装置1の中でも認識処理ICユニット20は、外部環境を認識するために膨大な量の画像データやレーダ102の情報を処理するため、演算負荷が大きい。特に、本実施形態では、認識処理ICユニット20は、深層学習を利用した外部環境の認識をするとともに、認識後の外部環境から経路生成を行うため、演算負荷がかなり大きい。このため、認識処理ICユニット20は消費電力が大きく、さらに温度が上昇しやすい。したがって、認識処理ICユニット20を常に稼働状態にすると、走行制御装置1の発熱及び過剰な電力消費を招くおそれがある。
【0061】
そこで、本実施形態では、第2パワーマネジメントユニット42により、車両の状況に応じて認識処理ICユニット20における車両の外部環境の認識機能のオン/オフ制御できるようにした。尚、ここでいう「車両の状況」とは、車両が属するシーン(高速道路の走行中、駐車のためのバック走行中等)に限らず、ドライバの意思による車両の運転状況(自動運転機能をオフにしてマニュアル運転を実行中)や、認識処理ICユニット20の失陥も含まれる。
【0062】
具体的には、車両が都市部における市街地を自動運転で走行中であるとする。このときには、交通量が多く、周囲に物標が多数存在するため、認識処理ICユニット20を用いて車両の外部環境の認識をすることが好ましい。このため、車両の状況が前記の状況であるときには、第2パワーマネジメントユニット42は、認識処理ICユニット20をオン状態にする。
【0063】
一方で、車両が高速道路を自動運転で走行中であるとする。このときには、周囲に物標が少なく、走行経路も単純なものでいいため、認識処理ICユニット20を利用してまで車両の外部環境を認識する必要はない。このときには、第2パワーマネジメントユニット42は、認識処理ICユニット20をオフ状態にする。
【0064】
認識処理ICユニット20をオフ状態にして自動運転を継続するときには、走行制御装置1は、認識処理ICユニット20を用いずに外部環境をある程度認識する必要がある。そこで、本実施形態では、信号処理ICユニット10から判断処理ICユニットへのデータ通信を可能にするために、認識処理ICユニット20を迂回して、信号処理ICユニット10と判断処理ICユニット30とを接続する通信線で構成されるバイパス経路90を設けた。また、判断処理ICユニット30に車両の外部環境を認識して経路を生成する機能として、前述したように、物体認識部251と、分類部351と、前処理部352と、フリースペース探索部353と、予備経路生成部354とを設けた。
【0065】
すなわち、認識処理ICユニット20をオフ状態にして自動運転を継続するときには、信号処理ICユニット10の画像処理部151で画像処理された後の画像処理データD1が、バイパス経路90を通って、判断処理ICユニット30の物体認識部251に入力される。そして、物体認識部251に入力された画像処理データD1に基づいて、前述したような分類処理により外部環境を表す統合データD3が生成される。そして、前述したように、この統合データD3に基づいて走行経路が生成される。したがって、認識処理ICユニット20をオフ状態にしたとしても簡易的な自動運転を継続することができる。
【0066】
このように、車両の状況に応じて、認識処理ICユニット20の認識機能を適宜オフ状態にすれば、認識処理ICユニット20での膨大な演算処理が抑制されて、認識処理ICユニット20の発熱を抑えることができる。これにより、走行制御装置1の消費電力を抑制することができる。
【0067】
車両の状況のうち、外部環境に基づく車両のシーンについては、本実施形態では、判断処理ICユニット30のシーン認識部357により特定される。そして、図示は省略しているが、第2パワーマネジメントユニット42には、認識処理ICユニット20をオフにすべきシーン(以下、特定シーンという)を規定したテーブルが格納されている。第2パワーマネジメントユニット42は、シーン認識部357で特定されたシーンと該テーブルとを対比して、認識処理ICユニット20をオフにする。尚、該テーブルを判断処理ICユニット30に格納させてもよい。この場合、判断処理ICユニット30が、シーン認識部357で特定されたシーンと該テーブルとを対比して、第2パワーマネジメントユニット42に認識処理ICユニット20をオフにするように制御信号を出力する。
【0068】
尚、「特定シーン」は、例えば、前述した「高速道路を走行中」、「駐車のためのバック走行中」の他にも、「郊外を走行中」、「深夜帯に走行中」等、基本的には、自車両の周囲に物標が少ない状況が主に含まれる。また、「イグニッションオンの状態で駐車場に停車中」等、認識処理自体を行う必要がない状況も含まれる。
【0069】
本実施形態では、
図1に示すように、走行制御装置1は、ドライバの意思により認識処理ICユニット20の認識機能をオン状態にするか又はオフ状態にするかを選択可能なスイッチ108を備える。このスイッチ108は、例えば、車両の自動運転機能をオン又はオフするためのスイッチとして構成されている。このスイッチ108からの信号は、判断処理ICユニット30及び第2パワーマネジメントユニット42に入力される。スイッチ108から自動運転機能をオフにする信号を受信した判断処理ICユニット30は、物体認識部251等による処理を停止させる。また、第2パワーマネジメントユニット42は、認識処理ICユニット20をオフ状態にする。これにより、認識処理ICユニット20の認識機能をオフ状態にすることができる。
【0070】
次に、
図6を用いて、第2パワーマネジメントユニット42による認識処理ICユニット20のオン/オフ制御の処理動作について説明する。
【0071】
まず、ステップS1において、第2パワーマネジメントユニット42は、各種情報を取得する。この各種情報には、スイッチ108からの信号やシーン認識部357からの車両のシーンに関する情報が含まれる。
【0072】
次に、ステップS2において、第2パワーマネジメントユニット42は、自動運転のスイッチ108がオン状態であるか否かを判定する。スイッチ108がオン状態であって、自動運転機能が作動中であるYESのときには、ステップS3に進む一方、スイッチ108がオフ状態であって、自動運転機能が非作動であるNOのときには、ステップS5に進む。
【0073】
次いで、ステップS3において、第2パワーマネジメントユニット42は、車両の状況が特定シーンに該当しないか否かを判定する。車両の状況が特定シーンに該当しないYESのときには、ステップS3に進む一方、車両の状況が特定シーンに該当するNOのときには、ステップS5に進む。
【0074】
前記ステップS4では、第2パワーマネジメントユニット42は、認識処理ICユニット20の電源をオン状態に維持する。ステップS4の後はリターンする。
【0075】
一方、前記ステップS5では、第2パワーマネジメントユニット42は、認識処理ICユニット20の電源をオフ状態する。ステップS5の後はリターンする。
【0076】
したがって、本実施形態では、車両に搭載されかつ該車両の外部環境を撮影するカメラ101の出力に対して画像処理を行って、該画像処理により得られる画像処理データD1を出力する信号処理ICユニット10と、信号処理ICユニット10とは別のユニットで構成され、画像処理データD1に基づいて車両の外部環境の認識処理を行って、該認識処理により得られる外部環境データを出力する認識処理ICユニット20と、信号処理ICユニット10及び認識処理ICユニット20とは別のユニットで構成され、画像処理データD1又は外部環境データに基づいて、車両の走行制御のための判断処理を行う判断処理ICユニット30と、車両の状況に応じて、認識処理ICユニット20における車両の外部環境の認識機能のオン及びオフを制御可能な第2パワーマネジメントユニット42と、認識処理ICユニット20による車両の外部環境の認識処理を行わずに、信号処理ICユニット10から判断処理ICユニット30へのデータ通信を可能にするバイパス経路90とを備える。これにより、判断処理ICユニット30は、バイパス経路90を介して信号処理ICユニット10から画像処理データD1を取得できるとともに、該画像処理データD1に基づいて車両の走行に関するパラメータを算出できる。このため、車両の状況に応じて、認識処理ICユニット20の認識機能を適宜オフ状態にして、認識処理ICユニット20での膨大な演算処理を抑制することで、走行制御装置1での消費電力を抑制することができる。また、認識処理ICユニット20の発熱を抑えることができ、消費電力の増加を抑制することもできる。
【0077】
また、判断処理ICユニット30は、画像処理データD1から車両の走行に関するパラメータを算出することができる。このため、認識処理ICユニット20が故障する等にして外部環境の認識機能が失陥したとしても、判断処理ICユニット30は、バイパス経路90を介して取得した画像処理データD1により適切な走行制御を実行できる。
【0078】
特に、本実施形態では、認識処理ICユニット20は、画像処理データD1を基に深層学習を利用して外部環境の認識処理を行うように構成されている。認識処理ICユニット20が深層学習を利用するため、認識処理ICユニット20による外部環境の認識処理は演算負荷が大きい。したがって、認識処理ICユニット20における外部環境の認識機能を適宜オフ状態にすることで、消費電力をより効果的に抑制することができる。
【0079】
また、本実施形態では、車両のドライバの意思により認識処理ICユニット20の認識機能をオン状態にするか又はオフ状態にするかを選択可能なスイッチ108を更に備え、第2パワーマネジメントユニット42は、スイッチ108により認識処理ICユニット20の認識機能をオフ状態にすることが選択されたときには、認識処理ICユニット20の認識機能をオフ状態にする。これにより、車両のドライバの意思によって認識処理ICユニット20の認識機能をオフ状態にすることが可能であるため、例えば、車両が都市部を走行しているときであっても、認識処理ICユニット20の認識機能を適宜オフ状態にすることができる。この結果、消費電力をより一層効果的に抑制することができる。
【0080】
また、本実施形態では、認識処理ICユニット20に異常があるか否かを診断する故障診断部356を更に備え、第2パワーマネジメントユニット42は、故障診断部356により認識処理ICユニット20に異常があると判定されたときには、車両の状況に関わらず、認識処理ICユニット20の認識機能をオフ状態にする。すなわち、認識処理ICユニット20に異常があるときには、認識処理ICユニット20が出力する外部環境データに誤りが含まれる可能性が高くなる。このため、認識処理ICユニット20に異常があるときにまで、認識処理ICユニット20が出力する外部環境データに基づいて車両の走行に関するパラメータを算出すると、車両の走行制御を適切に行うことができなくなるおそれがある。そこで、認識処理ICユニット20に異常があると判定されたときには、車両の状況に関わらず、認識処理ICユニット20の認識機能をオフ状態にする。これにより、判断処理ICユニット30が誤った外部環境データに基づいて車両の走行に関するパラメータを算出することを抑制することができる。したがって、外部環境の認識機能が失陥したとしても適切な走行制御をより効果的に実行できるようになる。
【0081】
図7は、本実施形態に係る走行制御装置1の変形例を示す。この変形例では、バイパス経路290は、認識処理ICユニット20を迂回するのではなく、認識処理ICユニット20内に形成されている。具体的には、認識処理ICユニット20内に認識処理を行う通信経路と認識処理を行わない通信経路であるバイパス経路290が設けられている。認識処理を行う通信経路は、物体認識部241等の各プロセッサ241~247による演算処理が実行されて、演算後の認識処理データ(走行経路のデータ等)が判断処理ICユニット30に伝達されるようになっている。一方で、バイパス経路290では、各認識処理が実行されずに画像処理データD1がそのまま判断処理ICユニット30に伝達されるようになっている。
【0082】
そして、この変形例では、特定シーンであっても認識処理ICユニット20自体はオフされず、認識処理ICユニット20における認識処理用の各プロセッサ241~247の作動がオフされる。また、スイッチ108操作により自動運転機能をオフするときも同様に、認識処理ICユニット20自体はオフされず、認識処理ICユニット20における認識処理用の各プロセッサ241~247の作動がオフされる。このとき、
図7に示すように、認識処理ICユニット20における車両の外部環境の認識機能のオン及びオフを制御可能なパワーマネジメントユニットは、認識処理ICユニット20内に組み込まれている。
【0083】
この構成であっても、認識処理ICユニット20の認識機能を適宜オフ状態にして、認識処理ICユニット20での膨大な演算処理を抑制することができるため、走行制御装置1での消費電力を抑制することができる。
【0084】
ここに開示された技術は、前述の実施形態に限られるものではなく、請求の範囲の主旨を逸脱しない範囲で代用が可能である。
【0085】
例えば、前述の実施形態では、認識処理ICユニット20と判断処理ICユニット30との両方で、同時進行で走行経路の生成がされる場合について説明した。これに限らず。基本的には認識処理ICユニット20により走行経路の生成を行うようにして、認識処理ICユニット20による認識機能をオフにしたときのみ、判断処理ICユニット30による走行経路の生成を行うようにしてもよい。
【0086】
また、前述の実施形態では、認識処理ICユニット20による認識機能のオン/オフに関わらず、バイパス経路90,290を通って信号処理ICユニット10から判断処理ICユニット30に画像処理データD1が送信される場合について説明した。これに限らず、認識処理ICユニット20による認識機能をオフにしたときのみ、バイパス経路90,290を通って信号処理ICユニット10から判断処理ICユニット30に画像処理データD1が送信されるようにしてもよい。
【0087】
また、前述の実施形態では、シーン認識部357は判断処理ICユニット30に設けられていた。これに限らず、シーン認識部357が認識処理ICユニット20に設けられていてもよい。
【0088】
また、前述の実施形態では、パワーマネジメントユニットは、ICユニット10,20,30毎に設けられていた。これに限らず、1つのパワーマネジメントユニットにより、各ICユニット10,20,30のオン/オフ制御を実行するようにしてもよい。
【0089】
前述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均等範囲に属する変形や変更は、全て本開示の範囲内のものである。
【産業上の利用可能性】
【0090】
ここに開示された技術は、車両に搭載され、車両の外部環境に応じて該車両の走行を制御可能な車両用制御装置として有用である。
【符号の説明】
【0091】
1 車両用走行制御装置
10 信号処理ICユニット(第1ICユニット)
20 認識処理ICユニット(第2ICユニット)
30 判断処理ICユニット(第3ICユニット)
42 第2パワーマネジメントユニット
90 バイパス経路
101 カメラ
108 スイッチ
290 バイパス経路
356 故障診断部(異常診断部)