(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-29
(45)【発行日】2022-09-06
(54)【発明の名称】自動車用演算システム
(51)【国際特許分類】
B60W 50/00 20060101AFI20220830BHJP
B60W 30/09 20120101ALI20220830BHJP
B62D 6/00 20060101ALN20220830BHJP
【FI】
B60W50/00
B60W30/09
B62D6/00
(21)【出願番号】P 2019043108
(22)【出願日】2019-03-08
【審査請求日】2021-08-24
(73)【特許権者】
【識別番号】000003137
【氏名又は名称】マツダ株式会社
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】堀籠 大介
(72)【発明者】
【氏名】坂下 真介
(72)【発明者】
【氏名】石橋 真人
(72)【発明者】
【氏名】寳神 永一
(72)【発明者】
【氏名】三谷 明弘
(72)【発明者】
【氏名】土山 浄之
【審査官】平井 功
(56)【参考文献】
【文献】特開2015-203972(JP,A)
【文献】特開2017-204145(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 10/00-10/30
B60W 30/00-60/00
B62D 6/00- 6/10
G08G 1/00-99/00
(57)【特許請求の範囲】
【請求項1】
自動車に搭載される自動車用演算システムであって、
車外環境の情報を取得する車外情報取得手段からの出力を基にして、深層学習を利用して道路と障害物を含む車外環境を推定し、推定された車外環境を基にして前記自動車の走行経路を生成する主演算部と、
前記車外情報取得手段から出力を基にして、深層学習を利用せずに、予め設定されたルールにより道路と障害物の存在を推定し、道路上であって当該障害物の存在しないフリースペースにルールベース走行経路を生成する副演算部と、
前記車外情報取得手段からの出力を基にして、深層学習を利用せずに、自動車が予め設定した基準を満たす安全停車位置に停車するまでの走行経路である安全経路を生成する安全経路生成部と、
前記主演算部による走行経路と、前記副演算部によるルールベース走行経路と、前記安全経路生成部による安全経路のうちのいずれかの一の経路を他より優先し、当該一の経路に沿って走行する際の自動車の目標運動を決定するオーバーライド処理部とを備える
ことを特徴とする自動車用演算システム。
【請求項2】
請求項1に記載の自動車用演算システムにおいて、
前記オーバーライド処理部は、車両状態および運転者状態を含む車内環境の情報を取得する車内情報取得手段からの出力を基にして、優先する一の経路を決定する
ことを特徴とする自動車用演算システム。
【請求項3】
請求項2に記載の自動車用演算システムにおいて、
前記車内情報取得手段から受けた前記車両状態に基づいて車両の故障が判定されたとき、前記オーバーライド処理部は、前記安全経路を優先する一の経路とする
ことを特徴とする自動車用演算システム。
【請求項4】
請求項2に記載の自動車用演算システムにおいて、
前記車内情報取得手段から受けた前記車両状態に基づいて運転者の運転能力低下が判定されたとき、前記オーバーライド処理部は、前記安全経路を優先する一の経路とする
ことを特徴とする自動車用演算システム。
【請求項5】
請求項3または4に記載の自動車用演算システムにおいて、
前記オーバーライド処理部が前記安全経路を前記優先する一の経路に設定した場合に、前記オーバーライド処理部は、前記自動車に搭載された灯火装置、吹鳴装置及び無線通信装置の少なくともいずれか1つについて、予め定められた通常走行時とは異なる態様で動作させる
ことを特徴とする自動車用演算システム。
【発明の詳細な説明】
【技術分野】
【0001】
ここに開示する技術は、例えば自動車の自動運転のために用いられる自動車用演算システムに関する。
【背景技術】
【0002】
昨今、ニューラルネットワークを用いた深層学習を利用して、車内外の環境認識を行う技術が自動車に対しても利用されるようになっている。
【0003】
例えば、特許文献1には、車両の装備に対する乗員の状態を推定する推定装置であって、ニューラルネットワークを利用した深層学習により構築されたモデルを記憶する記憶部と、装備を含む画像を入力し、モデルを用いて乗員の状態を推定し、乗員の特定部位の骨格位置を示す第1の情報と、装備に対する乗員の状態を示す第2の情報と、を出力する処理部とを備える推定装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、昨今では、国家的に自動運転システムの開発が推進されている。自動運転システムでは、一般に、カメラ等により車外環境情報が取得され、取得された車外環境情報に基づいて自動車が走行すべき経路が算出される。この経路の算出においては、車外環境の認定が重要であり、この車外環境の認定において、深層学習を利用することが検討されている。
【0006】
ここで、自動運転を担う演算装置における機能安全のソフトウェア設計のコンセプトとして、プログラムを構成する複数のモジュールの機能安全の適用に関し、例えば、自動車用機能安全規格(ISO 26262)では、ハザードを評価する指標としてASIL(Automotive Safety Integrity Level)が提案されている。ASILでは、ASIL-AからASIL-Dまでの各機能安全レベルに見合った設計レベルでの開発が要求されている。
【0007】
これに対し、深層学習を利用した車外環境の認定及び経路の算出は、未だ発展途上の状態であり、ASIL-B程度に留まるとされている。このため、自動運転機能を有する自動車においてASIL-D程度の機能安全レベルを満たすためには、演算装置を、深層学習を利用する機能のみで構成するのでは不十分である。
【0008】
ここに開示された技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、深層学習を利用する機能を有する自動車用演算システムにおいて、機能安全レベルを向上させることにある。
【課題を解決するための手段】
【0009】
前記課題を解決するために、ここに開示された技術では、自動車に搭載される自動車用演算システムを対象として、車外環境の情報を取得する車外情報取得手段からの出力を基にして、深層学習を利用して道路と障害物を含む車外環境を推定し、推定された車外環境を基にして前記自動車の走行経路を生成する主演算部と、前記車外情報取得手段から出力を基にして、深層学習を利用せずに、予め設定されたルールにより道路と障害物の存在を推定し、道路上であって当該障害物の存在しないフリースペースにルールベース走行経路を生成する副演算部と、前記車外情報取得手段からの出力を基にして、深層学習を利用せずに、自動車が予め設定した基準を満たす安全停車位置に停車するまでの走行経路である安全経路を生成する安全経路生成部と、前記主演算部による走行経路と、前記副演算部によるルールベース走行経路と、前記安全経路生成部による安全経路のうちのいずれかの一の経路を他より優先し、当該一の経路に沿って走行する際の自動車の目標運動を決定するオーバーライド処理部とを備える、構成とした。
【0010】
この構成によると、深層学習を利用する主演算部とともに、深層学習を利用しない副演算部及び安全経路生成部を設け、オーバーライド処理部によりいずれかの一の経路を他より優先するように構成されている。すなわち、車両の状態等に応じて、安全が担保された走行経路を選択することができるようになっている。これにより、深層学習を利用する機能を有する自動車用演算システムにおいて、機能安全レベルを向上させることができる。
【0011】
また、安全経路生成部の目標運動の決定に際して、車外情報取得手段の出力を基に安全経路を生成し、その安全経路を走行するための目標運動の決定に際して、車内環境の情報に応じて目標運動を決定するようにしているので、車内環境に適した目標運動にすることができる。
【0012】
ここで、車内環境の情報とは、車両の状態を示す情報と、運転者の状態を示す情報とが含まれる概念である。車両の状態を示す情報には、例えば、車両に取り付けられた各種センサ等から取得された情報や運転者が車両に対して実施した操作の情報等が含まれる。また、運転者の状態を示す情報には、例えば、車内を撮影するカメラ、車内に設置された運転者の生体情報を取得するための各種センサ、車内の温度・湿度等の車内の運転環境を測定するためのセンサ等から取得した情報や、転者が車両に対して実施した操作(ハンドル操作)の情報等が含まれる。
【0013】
前記自動車用演算システムの一実施形態では、前記オーバーライド処理部は、車両状態および運転者状態を含む車内環境の情報を取得する車内情報取得手段からの出力を基にして、優先する一の経路を決定する。
【0014】
この構成によると、車内環境に適した目標運動にすることができる。具体的に、例えば、前記車内情報取得手段から受けた前記車両状態に基づいて車両の故障が判定されたとき、前記オーバーライド処理部は、前記安全経路を優先する一の経路としてもよい。また、例えば、前記車内情報取得手段から受けた前記車両状態に基づいて運転者の運転能力低下が判定されたとき、前記オーバーライド処理部は、前記安全経路を優先する一の経路としてもよい。
【0015】
さらに、前記オーバーライド処理部が前記安全経路を前記優先する一の経路に設定した場合に、前記オーバーライド処理部は、前記自動車に搭載された灯火装置、吹鳴装置及び無線通信装置の少なくともいずれか1つについて、予め定められた通常走行時とは異なる態様で動作させるようにしてもよい。
【0016】
この構成によると、車両の故障や運転者の運転能力低下が発生した場合に、周囲の車両等との関係において、安全レベルを向上させることができる。また、例えば、無線通信装置を動作させた場合には、外部に車両の故障や運転者の運転能力低下の状態を知らせることができる。
【発明の効果】
【0017】
以上説明したように、ここに開示された技術によると、深層学習を利用する機能を有する演算装置において、安全レベルを向上させるとともに、走行中の車両や搭乗者に応じた安全行動ができる。
【図面の簡単な説明】
【0018】
【
図1】実施形態1に係る自動車用演算システムの機能構成を示すブロック図である。
【
図2】演算システムにより設定される走行経路の一例を示す図である。
【
図3】第1演算部により設定される安全領域と第2演算部により設定される安全領域とを比較する図である。
【
図4】深層学習により推定された車外環境に基づいて算出された経路候補と安全領域との関係の一例を示す図である。
【
図5】深層学習により推定された車外環境に基づいて算出された経路候補と安全領域との関係を示す別の図である。
【
図6】演算システムの動作処理を示すフローチャートである。
【
図7】自動車の運転経路を決定する際のフローチャートである。
【
図8】自動車の運転経路を決定する際のフローチャートである。
【
図9A】実システムへの導入例の機能構成を示すブロック図である。
【
図9B】実システムへの導入例の機能構成を示すブロック図である。
【
図10】実施形態2に係る自動車用演算システムの機能構成を示すブロック図である。
【
図11A】実施形態2に係る演算システムの動作処理を示すフローチャートである。
【
図11B】実施形態2に係る演算システムの動作処理を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、例示的な実施形態について、図面を参照しながら詳細に説明する。
【0020】
(実施形態1)
図1は、本実施形態1に係る自動車用演算システムSY(以下、単に演算システムSYともいう)の構成を示す。演算システムSYは、例えば、四輪の自動車1に搭載される演算システムである。自動車1は、運転者によるアクセル等の操作に応じて走行するマニュアル運転と、運転者の操作をアシストして走行するアシスト運転と、運転者の操作なしに走行する自動運転とが可能な自動車である。尚、以下の説明では、演算システムSYが搭載された自動車1を他の車両と区別するために、自車両1ということがある。
【0021】
演算システムSYは、複数のセンサ等からの出力に基づいて、自動車1の目標運動を決定して、デバイスの作動制御を行う。
【0022】
演算システムSYに自動車1の車外環境の情報を出力するセンサ等で構成される車外情報取得手段M1は、例えば、(1)自動車1のボディ等に設けられかつ車外環境を撮影する複数のカメラ50と、(2)自動車1のボディ等に設けられかつ車外の物標等を検知する複数のレーダ51と、(3)自動車1の絶対速度を検出する車速センサ52と、(4)自動車1のアクセルペダルの踏み込み量を検出するアクセル開度センサ53と、(5)自動車1のステアリングホイールの回転角度(操舵角)を検出する操舵角センサ54と、(6)自動車1のブレーキペダルの踏み込み量を検出するブレーキセンサ55と、(7)全地球測位システム(Global Positioning System:GPS)を利用して、自動車1の位置(車両位置情報)を検出する位置センサ56と、を含んでいる。
【0023】
各カメラ50は、例えば、自動車1の周囲を水平方向に360°撮影できるようにそれぞれ配置されている。各カメラ50は、車外環境を示す光学画像を撮像して画像データを生成する。各カメラ50は、生成した画像データを主演算装置100に出力する。カメラ50は、車外環境の情報を取得する情報取得手段の一例である。
【0024】
各レーダ51は、カメラ50と同様に、検出範囲が自動車1の周囲を水平方向に360°広がるようにそれぞれ配置されている。レーダ51の種類が特に限定されず、例えば、ミリ波レーダや赤外線レーダを採用することができる。レーダ51は、車外環境の情報を取得する情報取得手段の一例である。
【0025】
演算システムSYに自動車1の車内環境の情報を出力するセンサ等で構成される車内情報取得手段M2は、(1)自動車1の車内ミラーやダッシュボード等に設けられかつ運転者の表情や姿勢、社内環境等を撮影する車内カメラ58と、(2)運転者の生体情報(体温、心拍数、呼吸等)を取得する車内センサ59と、を含んでいる。また、車内情報取得手段M2は、自動車の各構成要素に付設され、車両の状態を測定する各種センサ(図示省略)を含んでいてもよい。また、車内情報取得手段M2として、車外情報取得手段M1の一部と共通のセンサを用いるようにしてもよい。
【0026】
演算システムSYが制御する対象は、例えば、エンジン10と、ブレーキ20と、ステアリング30と、トランスミッション40とを含んでいる。以下の説明では、説明の便宜上、演算システムSYが制御する対象(エンジン10、ブレーキ20、ステアリング30及びトランスミッション40を含む)を総称して、アクチュエータ類ACと呼ぶものとする。
【0027】
エンジン10は、動力駆動源であり、内燃機関(ガソリンエンジン、ディーゼルエンジン)を含む。演算システムSYは、自動車1を加速又は減速させる必要がある場合に、エンジン10に対してエンジン出力変更信号を出力する。エンジン10は、マニュアル運転時には、運転者のアクセルペダルの操作量等により制御されるが、アシスト運転や自動運転時には、演算システムSYから出力された目標運動を示す目標運動信号(以下、単に目標運動信号という)に基づいて制御される。尚、図示は省略しているが、エンジン10の回転軸には、エンジン10の出力により発電する発電機が連結されている。
【0028】
ブレーキ20は、ここでは電動ブレーキである。演算システムSYは、自動車1を減速させる必要がある場合に、ブレーキ20に対してブレーキ要求信号を出力する。ブレーキ要求信号を受けたブレーキ20は、該ブレーキ要求信号に基づいてブレーキアクチュエータ(図示省略)を作動させて、自動車1を減速させる。ブレーキ20は、マニュアル運転時には、運転者のブレーキペダルの操作量等により制御されるが、アシスト運転や自動運転時には、演算システムSYから出力された目標運動信号に基づいて制御される。
【0029】
ステアリング30は、ここではEPS(Electric Power Steering)である。演算システムSYは、自動車1の進行方向を変更する必要がある場合に、ステアリング30に対して操舵方向変更信号を出力する。ステアリング30は、マニュアル運転時には、運転者のステアリングホイール(所謂ハンドル)の操作量等により制御されるが、アシスト運転や自動運転時には、演算システムSYから出力された目標運動信号に基づいて制御される。
【0030】
トランスミッション40は、有段式のトランスミッションである。主演算装置100は、出力すべき駆動力に応じて、トランスミッション40に対してギヤ段変更信号を出力する。トランスミッション40は、マニュアル運転時には、運転者のシフトレバーの操作や運転者のアクセルペダルの操作量等により制御されるが、アシスト運転や自動運転時には、主演算装置100により算出された目標運動に基づいて制御される。
【0031】
演算システムSYは、マニュアル運転時には、アクセル開度センサ53等の出力に基づく制御信号をエンジン10等に出力する。一方で、演算システムSYは、アシスト運転時や自動運転時には、自動車1の走行経路を設定して、自動車1が該走行経路を走行するように、エンジン10等に制御信号を出力する。
【0032】
<1.演算システムの構成>
図1に示すように、演算システムSYは、主演算装置100と、バックアップ演算装置300と、モニタリング手段400と、異常検出部450と、選択手段500とを備える。
【0033】
主演算装置100は、アシスト運転や自動運転をする場合に、車外情報取得手段M1からの出力に基づいて、自動車1の目標運動を決定し、アクチュエータ類ACをその目標運動に沿って動作させるための制御信号を出力する。
【0034】
バックアップ演算装置300は、車外情報取得手段M1からの出力に基づいて安全経路を生成し、その安全経路を走行させるための目標運動であるバックアップ目標運動を決定する。さらに、バックアップ演算装置300は、アクチュエータ類ACをそのバックアップ目標運動に沿って動作させるための制御信号であるバックアップ制御信号を出力する。ここで、安全経路とは、走行中の自動車が予め設定した基準を満たす安全停車位置TPに停車するまでの走行経路を指すものとする。安全停車位置TPは、例えば、自動車1が安全に停車できる位置であれば特に限定されないが、例えば、道路上において自動車1が通過していない領域である無車両領域や、路肩8(
図3参照)等が例示される。バックアップ目標運動には、例えば、後述する異常検出部450で異常が検出された場合に、(1)直ちに車速を徐行速度レベルに落として、安全停車位置TPまでハザード・クラクションを吹鳴しながらゆっくり走る、(2)周囲の交通量にあわせてなるべく周囲に差し障りがないように走りつつ、安全停車位置TPまで自車両1を走行させる、ための目標運動が含まれる。
【0035】
主演算装置100及びバックアップ演算装置300は、それぞれが、1つ又は複数のチップで構成されたマイクロプロセッサであって、CPUやメモリ等を有している。そうすることで、両方ともに故障するリスクを低減できる。尚、
図1においては、本実施形態に係る機能(後述する経路生成機能)を発揮するための構成を示しており、主演算装置100及びバックアップ演算装置300が有する全ての機能を示しているわけではない。
【0036】
モニタリング手段400は、車内情報取得手段M2からの出力を基にして、運転者の状態をモニタリングし、その結果を異常検出部450に出力する。
【0037】
異常検出部450は、主演算装置100の故障の検出ができるように構成されている。主演算装置100の故障検出方法は、特に限定されないが、例えば、従来から知られている、ハードウェア冗長性回路(例えば、デュアルコア型ロックステップ等)、チップ内の演算結果の監視、チップ内の異常状態を示すフラグレジスタの監視、チップ内のテスト回路(LBIST(Logic build-in self-test)回路)、チップ間の相互監視等を適用することができる。また、異常検出部450は、車内情報取得手段M2から受けた運転者の情報をもとに、運転者の異常を検出することができるように構成されている。
【0038】
選択手段500は、例えば、セレクター回路で実現され、異常検出部450の検出結果を基に、主演算装置100から出力された制御信号、または、バックアップ演算装置300から出力されたバックアップ制御信号のいずれかを選択して、自動車1のアクチュエータ類ACに出力する。具体的に、選択手段500は、通常運転時は、主演算装置100から出力された制御信号を選択する一方で、主演算装置100または運転者のいずれかに異常が検出された場合、バックアップ演算装置300から出力されたバックアップ制御信号を選択して出力する。
【0039】
以下、演算システムSYの各構成要素について、より具体的に説明する。
【0040】
-1-1.主演算装置の構成-
主演算装置100は、第1演算部110と、第2演算部120と、目標運動決定部130と、エネルギーマネジメント部140とを備える。
【0041】
第1演算部110は、深層学習を利用して車外環境を推定し、推定した車外環境を基にした経路である第1経路を生成する機能を有する。すなわち、第1演算部110は、経路生成部としての機能を包含している。具体的に、第1演算部110は、車外環境推定部111と、第1安全領域設定部112と、第1経路算出部113とを含む。なお、「第1経路」については、後述する「2.演算システムの動作」において具体例を示して説明する。
【0042】
車外環境推定部111は、カメラ50及びレーダ51からの出力を基にして、深層学習を用いた画像認識処理により車外環境を推定する。具体的には、車外環境推定部111は、カメラ50からの画像データを基に深層学習により物体識別情報を構築するとともに、該物体識別情報にレーダによる測位情報を統合して車外環境を表す3Dマップを作成する。また、該3Dマップに対して、深層学習に基づく各物体の挙動予測等を統合して環境モデルを生成する。 深層学習では、例えば、多層ニューラルネットワーク(DNN:Deep Neural Network)が用いられる。多層ニューラルネットワークとして、例えば、CNN(Convolutional Neural Network)がある。
【0043】
第1安全領域設定部112は、車外環境推定部111で推定された車外環境(例えば、3Dマップ)に対して、第1安全領域SA1(
図3参照)を設定する。この第1安全領域SA1は、深層学習を利用して構築されたモデルを用いて、自車両が通過可能な領域として設定される。モデルは、例えば、自動車1の車種毎に予め構築されたモデルを、運転者の過去の運転履歴等を基に再構築することで構築される。尚、第1安全領域SA1は、いわゆるフリースペースを指し、例えば、道路上であって、他の車両や歩行者等の動的な障害物、及び中央分離体やセンターポールなどの静的な障害物が存在しない領域をいう。第1安全領域SA1は、緊急駐車が可能な路肩のスペースを含んでいてもよい。
【0044】
第1経路算出部113は、強化学習を利用して、第1安全領域設定部112で設定された第1安全領域SA1内を通るような第1経路候補を算出する。強化学習は、一連のシミュレーションの結果(ここでは経路候補)に対して評価関数を設定し、ある目的に適ったシミュレーションには良い評価を与え、そうでない結果に対しては低い評価を与えることで、目的に適った経路候補を学習する機能である。実際の算出方法については後述する。
【0045】
第2演算部120は、車外情報取得手段M1(例えば、カメラ50及びレーダ51)からの出力を基にして、深層学習を利用せずに、所定のルールにより車外の物体を認識し、認識された車外の物体を基にして安全領域を特定する機能を有する。加えて、第2演算部120は、その特定された安全領域を通る第2経路を生成する機能を有する。すなわち、第2演算部120は、経路生成部としての機能を包含する。具体的に、第2演算部120は、対象物認定部121(物体認識部に相当)と、第2安全領域設定部122(安全領域特定部に相当)と、第2経路算出部123とを含む。
【0046】
対象物認定部121は、対象物認定ルール(所定のルールに相当)に基づいて対象物を認定する。対象物は、例えば、道路上に存在する、走行車両、駐車車両、歩行者等である。対象物認定部121は、自車両と対象物との間の相対距離や相対速度についても認定する。また、対象物認定部121は、カメラ50及びレーダ51からの出力を基にして、走行路(区画線等を含む)についても認定する。
【0047】
第2安全領域設定部122は、対象物認定部121が認定した対象物との衝突を回避可能な領域として、第2安全領域SA2を設定する。この第2安全領域SA2は、例えば、対象物の周囲数mを回避不能範囲とみなす等の所定のルールに基づいて設定される。第2安全領域設定部122は、走行車両の速度や歩行者の速度を考慮して第2安全領域SA2を設定可能に構成されている。なお、「対象物認定ルール」及び「所定のルール」は、従来より自動車等に採用されている物標等の認定方法及びその回避方法をルールベースに落とし込んだものであって、ASIL-D相当の機能安全レベルである。また、第2安全領域SA2は、第1安全領域SA1と同様に、いわゆるフリースペースを指し、例えば、道路上であって、他の車両や歩行者等の動的な障害物、及び中央分離体やセンターポールなどの静的な障害物が存在しない領域をいう。第2安全領域SA2は、緊急駐車が可能な路肩のスペースを含んでいてもよい。
【0048】
第2経路算出部123は、第2安全領域設定部122で設定された第2安全領域SA2内を通るような第2経路(ルールベース走行経路に相当)を算出する。実際の算出方法については後述する。
【0049】
目標運動決定部130は、第1及び第2演算部110,120からの出力を受けて自動車1の目標運動を決定する。目標運動決定部130は、特に、第1及び第2安全領域SA1,SA2の情報、並びに第1経路候補及び第2経路候補の情報を受けて自動車1の目標運動を決定する。具体的に、目標運動決定部130は、自動車1が走行すべき経路を設定して、該経路を自動車1が走行するように、アクチュエータ類AC(主にエンジン10、ブレーキ20、ステアリング30、トランスミッション40)への要求作動量(例えば、エンジントルクやブレーキアクチュエータの作動量等)を決定する。
【0050】
エネルギーマネジメント部140は、目標運動決定部130で決定された目標運動を達成する上で、最もエネルギー効率がよくなるようにアクチュエータ類ACの制御量を算出する。具体的に例示すると、例えば、エネルギーマネジメント部140は、目標運動決定部130で決定されたエンジントルクを達成する上で、最も燃費が向上するような、吸排気バルブ(図示省略)の開閉タイミングやインジェクタ(図示省略)の燃料噴射タイミング等を算出する。なお、より具体的なエネルギーマネジメント部140の動作例は、後述する。
【0051】
目標運動決定部130で決定された目標運動のデータ、及び、エネルギーマネジメント部140で算出された制御量のデータは、アクチュエータ類ACを制御するための制御信号として選択手段500に出力される。
【0052】
-1-2.バックアップ演算装置の構成-
バックアップ演算装置300は、バックアップ演算部310と、目標運動決定部330と、エネルギーマネジメント部340とを備える。
【0053】
バックアップ演算部310は、車外情報取得手段M1からの出力を基にして、安全停車位置TPまで経路である安全経路を生成する機能を有する。すなわち、バックアップ演算部310は、安全経路生成部としての機能を包含している。具体的に、バックアップ演算部310は、車外環境推定部311と、第3安全領域設定部312と、安全経路算出部313とを含む。なお、「安全経路」については、後述する「2.演算システムの動作」において具体例を示して説明する。
【0054】
車外環境推定部311は、第2演算部120の対象物認定部121で認定された対象物のデータを利用して、車外環境を推定する。また、対象物認定部121からの出力を基にして、走行路(区画線等を含む)や、自動車1が安全に停車できる位置である安全停車位置TPについても認定する。安全停車位置TPは、例えば、自動車1が安全に停車できる位置であれば特に限定されないが、例えば、路肩8(
図3参照)や、道路上において自動車1が通過していない領域である無車両領域、等が例示される。尚、例えば、自車両1の周囲数mに他の車両がいないことが確認された場合、自車両1の現在位置または少し進んだ先が、安全停車位置TPとなり得る場合もある。そのような場所に停車させる場合は、例えば、ハザード等の報知手段を作動させながら自動車1を停車させる。
【0055】
第3安全領域設定部312は、車外環境推定部311が認定した対象物との衝突を回避可能な領域として、第3安全領域SA3を設定する。この第3安全領域SA3は、例えば、対象物の周囲数mを回避不能範囲とみなす等の所定のルールに基づいて設定される。尚、第3安全領域設定部312と、第2安全領域設定部122とが、同じような構成となってもよい。その場合、第3安全領域SA3と第2安全領域SA2とが同じ領域として指定される場合がある。また、第2安全領域設定部122と、第3安全領域設定部312とを共通の回路で実現してもよい。ただし、故障への耐性を高める観点からは、第2安全領域設定部122と第3安全領域設定部312とを別々に分けて設けるのが好ましい。ここでの「所定のルール」についても、前述の「所定のルール」と同様であり、ASIL-D相当の機能安全レベルである。
【0056】
安全経路算出部313は、第3安全領域設定部312で設定された第3安全領域SA3内を通り、かつ、安全停車位置TPまでの走行経路である安全経路RSを算出する。実際の算出方法については後述する。
【0057】
目標運動決定部330は、バックアップ演算部310からの出力を受けて自動車1の目標運動を決定する。目標運動決定部330は、特に、第3安全領域SA3及び安全停車位置TPの情報を受けて自動車1の目標運動を決定する。具体的に、目標運動決定部330は、自動車1が安全停車位置TPまで走行すべき安全経路を設定して、該安全経路を自動車1が走行するように、アクチュエータ類AC(主にエンジン10、ブレーキ20、ステアリング30)への要求作動量(例えば、エンジントルクやブレーキアクチュエータの作動量等)を決定する。
【0058】
エネルギーマネジメント部340は、自車両1や運転者の異常状態の有無等を加味しつつ、目標運動決定部330で決定された目標運動を達成する上で、最も安全でかつエネルギー効率がよくなるようにアクチュエータ類AC(後述のエンジン10等)の制御量を算出する。具体的に例示すると、例えば、エネルギーマネジメント部140は、目標運動決定部130で決定されたエンジントルクを達成する上で、最も燃費が向上するような、吸排気バルブ(図示省略)の開閉タイミングやインジェクタ(図示省略)の燃料噴射タイミング等を算出する。また、例えば、運転者に異常がある場合には、エネルギーマネジメント部140は、運転者に対する負担ができるだけ小さくなるようなアクチュエータ類ACの制御方法を算出する。
【0059】
目標運動決定部130で決定された目標運動のデータ、及び、エネルギーマネジメント部140で算出された制御量のデータは、アクチュエータ類ACを制御するための制御信号として選択手段500に出力される。
【0060】
<2.演算システムの動作>
次に、図面を参照しつつ、演算システムの動作について説明する。
【0061】
-2-1.第1経路、第2経路の算出-
ここでは、
図2を参照しながら、第1経路及び第2経路の算出方法について説明する。前述のとおり、第1経路及び第2経路は、ともに、主演算装置100で算出される。
【0062】
図2の例では、第1安全領域SA1については図示を省略しているが、算出される第1経路は第1安全領域SA1内を通る経路である。尚、第1経路の算出が行われるのは、自動車1の運転モードがアシスト運転か自動運転のときであり、マニュアル運転のときには第1経路の算出は実行されない。
【0063】
まず、第1経路算出部121は、
図2に示すように、走行路情報に基づいて、グリッド点設定処理を実行する。グリッド点設定処理において、主演算装置100は、先ず走行路5の形状(即ち、走行路5の延びる方向,走行路幅等)を特定し、走行路5上にグリッド点Gn(n=1,2,・・・N)を含むグリッド領域RWを設定する。
【0064】
グリッド領域RWは、走行路5に沿って自車両1の周囲から自車両1の所定距離前方まで延びる。この距離(縦方向長さ)Lは、自車両1の現在の車速に基づいて計算される。本実施形態では、距離Lは、現在の車速(V)で所定の固定時間t(例えば、3秒)に走行すると予想される距離である(L=V×t)。しかしながら、距離Lは、所定の固定距離(例えば、100m)であってもよいし、車速(及び加速度)の関数であってもよい。また、グリッド領域RWの幅Wは、走行路5の幅に設定される。
【0065】
グリッド領域RWは、走行路5の延伸方向Xと幅方向(横方向)Yとに沿ってそれぞれ延びる複数のグリッド線によって多数の矩形のグリッド区画に分割される。X方向とY方向のグリッド線の交点がグリッド点Gnである。グリッド点GnのX方向の間隔、及びY方向の間隔は、それぞれ固定値に設定される。本実施形態では、例えば、X方向のグリッド間隔は10m、Y方向のグリッド間隔は0.875mである。
【0066】
尚、グリッド間隔を、車速等に応じて可変値としてもよい。また、
図2では、走行路5が直線区間であるため、グリッド領域RW及びグリッド区画が矩形状に設定されている。走行路が曲線区間を含む場合には、グリッド領域及びグリッド区画は、矩形状に設定されてもよいし、矩形状にならなくてもよい。
【0067】
次に、第1経路算出部113は、第1経路候補の計算において、外部信号に応じて、グリッド領域RW内の所定のグリッド点GTを目標到達位置PEに設定すると共に、目標到達位置PE(GT)での目標速度を設定する。外部信号は、例えば、自車両1に搭載されたナビゲーションシステム(図示省略)から送信される目的地(パーキングエリア等)への誘導指示信号である。
【0068】
次に、第1経路算出部113は、経路設定のための演算処理を実行する。この演算処理において、第1経路算出部113は、まず複数の第1経路候補R1m(m=1,2,3・・・)を計算する経路候補計算処理を実行する。この処理は、従前のステートラティス法を用いた経路候補の計算と同様である。
【0069】
経路候補の計算の概略を説明する。第1経路算出部113は、自車両1の現在位置PS(始点)からグリッド領域RW内の各グリッド点Gn(終点)までの経路候補を作成する。また、第1経路算出部113は、終点における速度情報を設定する。
【0070】
始点と終点は、1又は複数のグリッド点Gnを介して、又はグリッド点Gnを介さないで、連結される。第1経路算出部113は、各第1経路候補R1mについて、グリッド点間を経路曲線パターンでフィッティングすることにより位置情報を計算し、速度変化パターンに適合するように速度変化プロファイルを計算する。速度変化パターンは、急加速(例えば、0.3G)、緩加速(例えば、0.1G)、車速維持、緩減速(例えば、-0.1G)、急加速(例えば、-0.3G)の組み合わせで生成され、グリッド毎ではなく当該第1経路候補R1mの所定長さ(例えば、50m~100m)にわたって設定される。
【0071】
さらに、第1経路算出部113は、各経路候補について、サンプリング点SPを設定し、各サンプリング点SPでの速度情報を計算する。
図2には、多数の経路候補のうち、3つの第1経路候補R11,R12,R13のみが示されている。なお、本実施形態では、各第1経路候補R1mは、始点から固定時間(例えば、3秒)後の到達位置までの経路である。
【0072】
次に、第1経路算出部113は、得られた第1経路候補R1mの経路コストを計算する。各第1経路候補R1mの経路コストの計算において、第1経路算出部113は、例えば、各サンプリング点SPについて、車両1の運動による慣性力Fi,障害物(ここでは、他車両3)との衝突確率Pc,及びこの衝突により乗員が受ける衝撃力Fc(又は衝突に対する反作用力)を計算し、これらの値に基づいて乗員に掛かる外力FCを計算して、第1経路候補R1m上のすべてのサンプリング点SPでの外力FC(絶対値)の合計値を、第1経路候補R1mの経路コスト(候補経路コスト)EPmとして算出することができる。
【0073】
そして、第1経路算出部113は、すべての第1経路候補R1mをそれぞれの経路コスト情報とともに、目標運動決定部130に出力する。
【0074】
以上のようにして、第1経路が設定される。
【0075】
第2経路も基本的には前述の第1経路と同様に算出される。ただし、第2経路は、経路コストが最も小さい経路が選択されて、目標運動決定部130に出力される。
【0076】
ここで、本実施形態1では、目標運動決定部130に出力される経路として、第1演算部110で算出される第1経路と第2演算部120で算出される第2経路とがあるが、目標運動決定部130は、基本的には、第1経路を採用するようにしている。これは、深層学習や強化学習を利用して設定される第1経路の方が、運転者の意思を反映した経路、すなわち、障害物を回避するに当たって慎重過ぎるなどの冗長さを運転者に感じさせない経路 となりやすいためである。
【0077】
しかしながら、深層学習を利用した車外環境の認定は、未だ発展途上の状態である。すなわち、深層学習を利用して構築された環境モデルは、環境モデルの基となった情報と類似するような範囲については正確な情報を算出することができるが、実際の車外環境等が環境モデルと大きく異なると、実際の車外環境と乖離した車外環境を推定することがある。
【0078】
例えば、
図3には、第1安全領域設定部112で設定される第1安全領域SA1と、第2安全領域設定部122で設定される第2安全領域SA2とを示す。第1安全領域SA1は、
図3におけるハッチングをした部分であり、第2安全領域SA2は、
図3におけるハッチングをした部分から点線で示す枠よりも内側を除いた部分である(
図4参照)。
図3に示すように、第1安全領域SA1では他車両3の一部まで安全領域に設定されている。これは、深層学習による画像認定において他車両3の車幅を正確に推定できなかった場合等に起こり得る。
【0079】
このように、深層学習を利用した車外環境の認定では、実際の車外環境と乖離した車外環境を推定することがあるため、自動車用機能安全規格(ISO 26262)で提案されている機能安全レベル(ASIL)においては、深層学習を利用した機能はASIL-Bに相当するものとされている。このため、機能安全レベルを向上させる工夫が必要である。
【0080】
そこで、本実施形態1では、演算装置100の目標運動決定部130は、第1経路が第2安全領域SA2内にあるときには、該第1経路を自動車1(自車両1)が走行すべき経路として選択して、自動車1が第1経路を通るように該自動車1の目標運動を決定する一方、第1経路が第2安全領域SA2を逸脱しているときには、該第1経路を自動車1が走行すべき経路としては選択しないようにしている。より具体的には、目標運動決定部130は、第1経路を算出する際に、経路候補として設定される複数の第1経路候補R1n(n=1,2,3・・・)の全てが第2安全領域SA2から逸脱しているときには、第2経路候補を自動車1が走行すべき経路として選択する。
【0081】
例えば、
図4に示すように、第1経路算出部113により、第1経路候補R11,R12,R13が設定されたとする。この3つの第1経路候補R11~R13のうち経路R11と経路R12については、経路の一部が第2安全領域SA2を逸脱しているが、経路R13については、第2安全領域SA2内を通っている。このときには、目標運動決定部130は、第2安全領域SA2を逸脱した経路R11,R12は、自動車1が走行すべき経路としては選択せず、経路R13を自動車1が走行すべき経路として選択する。
【0082】
一方で、
図5に示すように、第1経路算出部113により、第1経路候補R14,R15,R16が設定されたとする。この3つの第1経路候補R14~R16は、全て経路の一部が第2安全領域SA2を逸脱している。このときには、目標運動決定部130は、第2演算部120で算出される複数の第2経路候補のうち最も経路コストが小さい第2経路候補R2を自動車1が走行すべき経路として選択する。
【0083】
対象物認定部121は、従来より存在する所定のルールに基づいて対象物の認定を行うため、対象物の大きさ等を精度良く認定できる。また、第2安全領域設定部122は、対象物の周囲数mを回避不能範囲とみなす等の所定のルールに基づいて第2安全領域SA2を設定するため、第2経路候補は、他車両3を回避する場合でも、他車両3との間に十分な距離を確保することができる経路となる。すなわち、第2演算部120の機能はASIL-D相当にすることができる。このため、目標運動決定部130が、第1経路候補を算出する際に、経路候補として設定される複数の第1経路候補R1nの全てが第2安全領域SA2から逸脱しているときには、第2経路候補を自動車1が走行すべき経路として選択することで、自動車1が安全性の高い経路を走行できるようになる。これにより、深層学習を利用する機能を有する演算装置100において、機能安全レベルを向上させることができる。
【0084】
-2-2.安全経路の算出-
ここでは、安全経路の算出方法について説明する。前述のとおり、安全経路は、バックアップ演算装置300で算出される。
【0085】
安全経路は、基本的には前述の第2経路と同様に算出されるので、ここでは、相違点を中心に説明するものとし、共通する構成や動作について、説明を省略する場合がある。
【0086】
まず、走行路5上にグリッド点Gn(n=1,2,・・・N)を含むグリッド領域RWを設定し、複数の経路候補を計算する経路候補計算処理を実行する点は共通の技術を適用することができる。
【0087】
そして、安全経路算出部313が、第3安全領域設定部312で特定された第3安全領域SA3内にある経路候補の中から、自動車1(自車両1)が走行すべき安全経路を算出する。
【0088】
ここで、前述のとおり、バックアップ演算装置300では、自動車1が安全に停車できる位置である安全停車位置TPが設定され、第3安全領域SA3内を通って安全停車位置TPまで向かう走行経路が安全経路RS(
図4参照)として設定される。したがって、原則として、安全経路RSは、第3安全領域SA3内を通って安全停車位置TPまで向かう経路候補のうち、経路コストが最も小さい経路が選択されて、目標運動決定部330に出力される。
【0089】
尚、バックアップ演算装置300が出力する安全経路RSを使用するシーンとして想定されるのは、主演算装置100に故障等の不具合が発生したり、運転者が運転を継続することが困難になった場合のように、異常事態が発生している場合である。そこで、バックアップ演算装置300が、異常情報を加味して、安全停車位置TP及び/または安全経路RSを設定するようにしてもよい。
【0090】
例えば、主演算装置100での故障が検出され、運転の継続に支障をきたす可能性がある場合には、十分に速度を落とし、できるだけ早く車を停めることができる場所に移動させた方がよいと判断できる場合がある。そのような場合に、バックアップ演算装置300が、例えば、
図4に示すように、最も近くで車両が安全に停車できる路肩8を安全停車位置TPに設定し、その路肩8までの最短ルートを安全経路RSに設定するとよい。
【0091】
また、退避可能な路肩がない場合、ハザードランプを点灯し、周囲に異常状態を警告した後に同一車線内で減速し、停車してもよい。
【0092】
また、例えば、自車両1は故障していないが、運転者が急な病気等により運転不能になっていることが確認された場合に、例えば、ナビゲーションシステムやGPS測定結果等と連携して、病院や最寄りの公共施設を安全停車位置TPに設定し、各自車両1の位置において特定される第3安全領域SA3を通りつつ、設定された安全停車位置TPまで車両を自動走行させるようにしてもよい。このように、安全経路算出部313は、自車両1の異常状態や、運転者の状態も加味しつつ安全経路RSを設定するようにしてもよい。
【0093】
-2-3.演算システムの処理動作-
次に、自動車1の運転経路を決定する際の演算システムSYの処理動作について
図6~
図8のフローチャートを参照しながら説明する。尚、自動車1の運転モードは、アシスト運転又は自動運転であるものとする。
【0094】
図6に示すように、演算システムSYにおいて、アシスト運転又は自動運転の動作が開始されると、主演算装置100による処理(ステップS100)と、バックアップ演算装置300による処理(ステップS200)とが並行して実行される。
【0095】
(A)主演算装置による処理
ここでは、
図7を参照しながら、ステップS100の主演算装置100による処理について説明する。
【0096】
まず、ステップS101において、主演算装置100は、車外情報取得手段M1(各カメラ50、各レーダ51、及び各センサ52~56)からの情報を読み込む。
【0097】
次に、主演算装置100(第1演算部110、第2演算部120)は、第1経路候補の算出と第2経路候補の算出とを並行して行う。
【0098】
ステップS102では、第1演算部110は、深層学習を利用して車外環境を推定する。
【0099】
次のステップS103では、第1演算部110は、第1安全領域SA1を設定する。
【0100】
次のステップS104では、第1演算部110は、強化学習を使用して第1経路候補を算出し、目標運動決定部130に出力する。
【0101】
一方で、ステップS105では、第2演算部120は、所定のルールに基づいて対象物の認定をする。
【0102】
ステップS106では、第2演算部120は、第2安全領域SA2を設定する。
【0103】
ステップS107では、第2演算部120は、所定のルールに基づいて第2経路候補を算出し、目標運動決定部130に出力する。
【0104】
続く、ステップS108において、目標運動部130では、第1演算部110から受けた第1経路候補が、第2安全領域SA2内にあるか否かを判定する。このステップS108において、第1演算部110から受けた第1経路候補の中に、その全走行経路にわたって第2安全領域SA2に含まれる経路がある場合(YES判定)、フローはステップS109に進む。一方で、ステップS108において、第1演算部110から受けた第1経路候補の全てにおいて、その経路内の少なくとも一部が第2安全領域SA2から逸脱する場合(NO判定)、フローはステップS110に進む。
【0105】
ステップS109では、目標運動決定部130は、第1経路候補を自動車1が走るべき経路として選択する。一方、ステップS110では、目標運動決定部130は、第2経路候補を自動車1が走るべき経路として選択する。
【0106】
次のステップS111では、目標運動決定部130は、ステップS109での選択結果に基づく自動車1の目標運動を算出する。
【0107】
続くステップS112では、エネルギーマネジメント部140は、ステップS111で算出された目標運動を達成しかつエネルギー効率が最大となるように、目標制御量を設定する。具体的に、エネルギーマネジメント部140は、例えば、目標運動決定部130で決定された要求駆動力を出力するにあたり、エンジン10の燃料消費量が最も少なくなるように、トランスミッション40の段数と、吸排気バルブ(図示省略)の開閉タイミングやインジェクタ(図示省略)の燃料噴射タイミング等を算出する。また、エネルギーマネジメント部140は、目標の制動力を出力するにあたり、エンジンブレーキが最小となるように、エンジン10に接続された前記発電機の回生発電量や冷房用コンプレッサの駆動負荷を強めることにより前記制動力を生成する。また、エネルギーマネジメント部140は、コーナリング時に自動車1にかかる転がり抵抗が最も小さくなるように、車速と舵角とを制御する。具体的には、ローリングと自動車1の前部が沈み込むピッチングとを同期して発生させてダイアゴナルロール姿勢が生じるように、制動力の発生と操舵タイミングとを調整する。ダイアゴナルロール姿勢が生じることにより、前側の旋回外輪にかかる荷重が増大して、小さな舵角で旋回でき、自動車1にかかる転がり抵抗を小さくすることができる。
【0108】
次のステップS113では、演算装置100は、アクチュエータ類ACの制御量がステップS112で算出した目標制御量となるように、各アクチュエータ類ACの運転制御をおこなう。ステップS113の後、フローは
図6のステップS300に進む。
【0109】
(B)バックアップ演算装置による処理
ここでは、
図8を参照しながら、ステップS200のバックアップ演算装置300による処理について説明する。
【0110】
まず、ステップS301において、バックアップ演算装置300は、車外情報取得手段M1を基にして認定された対象物の情報を取得する(
図1ではSEで信号の流れを示している)。例えば、バックアップ演算装置300は、第2演算部120の対象物認定部121で認定された対象物の情報を取得する。尚、バックアップ演算装置30が、第2演算部120の対象物認定部121と同様の機能を有して、自装置内で、車外情報取得手段M1を基にして認定された対象物の情報を取得するようにしてもよい。
【0111】
次に、ステップS304において、バックアップ演算部310では、車を安全に停車させることができるフリースペースを探索し、そのフリースペースの中から安全停車位置TPを設定する。または、バックアップ演算部310は、GPSやカーナビゲーション等と連携し、運転者に異常がある場合に安全停車位置TPとして設定する最寄りの施設情報を取得する。
【0112】
ステップS305では、バックアップ演算部310は、第3安全領域SA3を設定する。
【0113】
続く、ステップS308において、目標運動部130では、バックアップ演算部310から受けた安全経路の中から、第3安全領域SA3内にある経路を選択し、その選択された安全経路を自動車1が走るべき経路として設定する。
【0114】
次のステップS311では、目標運動決定部330は、ステップS308で選択された経路を自動車1に走行させるため目標運動を算出する。
【0115】
続くステップS312では、エネルギーマネジメント部340は、ステップS311で算出された目標運動を達成しかつエネルギー効率が最大となるように、目標制御量を設定し、フローは
図6のステップS300に進む。
【0116】
図6に戻り、ステップS300において、演算システムSYでは、異常検出部450において、運転者及び/または自車両1に異常が検出されたか否かが判断される。
【0117】
ステップS300において、異常検出部450で異常が検出されていない場合(NO判定)、フローは、ステップS400の「通常運転モード」に進む。ステップS400の「通常運転モード」では、選択手段500は、主演算装置から出力された目標運動を実現するための制御信号を選択して出力する。
【0118】
一方で、ステップS300において、異常検出部450で異常が検出された場合(YES判定)、フローは、ステップS500の安全運転モードに進む。ステップS400の「通常」運転モードでは、選択手段500は、主演算装置から出力された目標運動を実現するための制御信号を選択して出力する。
【0119】
以上をまとめると、自動車1に搭載される自動車用演算システムSYは、主演算装置100と、バックアップ演算装置300と、選択手段500とを備えている。主演算装置100は、車外環境の情報を取得する車外情報取得手段M1からの出力を基にして、深層学習を利用して車外環境を推定し、推定した車外環境を基にして第1経路を生成する第1経路算出部113(経路生成部に相当)を有し、第1経路算出部113の出力を用いて目標運動を決定し、該目標運動を実現するための制御信号を出力する。バックアップ演算装置300は、車外情報取得手段M1からの出力を基にして、車両が安全に停車できる安全停車位置TPに停車するまでの走行経路である安全経路を生成する安全経路算出部313(安全経路生成部に相当)を有し、該安全経路を走行させるためのバックアップ目標運動を決定し、該バックアップ目標運動を実現するためのバックアップ制御信号を出力する。選択手段500は、主演算装置100から出力された制御信号及びバックアップ演算装置300から出力されたバックアップ制御信号を受け、通常運転時は、主演算装置100から出力された制御信号を選択して出力する一方で、主演算装置100の故障が検出された場合に、バックアップ演算装置300から出力されたバックアップ制御信号を選択して出力する。
【0120】
この構成によると、深層学習を利用する機能を有する演算装置100において、機能安全レベルを向上させることができる。
【0121】
(実施形態2)
図10は、本実施形態2に係る自動車用演算システムSY(以下、単に演算システムSYともいう)の構成を示す。
図10において、
図1と共通の構成要素には、同じ符号を付しており、その詳細説明を省略する場合がある。
【0122】
図10に示すように、演算システムSYは、主演算装置100と、バックアップ演算装置300と、オーバーライド処理部410とを備える。
【0123】
主演算装置100は、第1演算部110と、第2演算部120とを備える。
【0124】
第1演算部110(主演算部に相当)は、深層学習を利用して道路と障害物を含む車外環境を推定し、推定された車外環境を基にした自動車の走行経路である第1経路を生成する機能を有する。尚、第1演算部110の具体的構成及び動作は、実施形態1と同様であり、ここではその詳細説明を省略する。第1演算部110の第1経路算出部113で生成された第1経路候補(自動車の走行経路に相当)は、オーバーライド処理部410に出力される。
【0125】
第2演算部120(副演算部に相当)は、車外情報取得手段M1(例えば、カメラ50及びレーダ51)からの出力を基にして、深層学習を利用せずに、予め設定された所定のルールにより道路と障害物の存在を推定し、道路上であって当該障害物の存在しないフリースペースにルールベース走行経路を生成する機能を有する。尚、第2演算部120の具体的構成及び動作は、実施形態1と同様であり、ここではその詳細説明を省略する。第2演算部120の第2経路算出部123で生成された第2経路候補は、オーバーライド処理部410に出力される。
【0126】
バックアップ演算装置300(安全経路生成部に相当)は、車外情報取得手段M1からの出力を基にして、深層学習を利用せずに、自動車が予め設定した基準を満たす安全停車位置に停車するまでの走行経路である安全経路を生成する機能を有する。尚、バックアップ演算装置300の具体的構成及び動作は、実施形態1と同様であり、ここではその詳細説明を省略する。バックアップ演算装置300の安全経路算出部313で生成された安全経路RSは、オーバーライド処理部410に出力される。
【0127】
オーバーライド処理部410は、オーバーライド部420と、目標運動決定部130と、エネルギーマネジメント部140とを備える。
【0128】
オーバーライド部420は、第1経路算出部113で生成された第1経路候補と、第2経路算出部123で生成された第2経路候補と、安全経路算出部313で生成された安全経路RSとを受けて、その中から優先する一の経路を決定して出力する。
【0129】
オーバーライド部420は、例えば、車内情報取得手段M2からの出力を受け、その出力を基にして、優先する一の経路を決定する。より具体的に、オーバーライド部420は、車内情報取得手段M2から受けた車両状態(例えば、車内センサでの測定結果)に基づいて車両の故障が判定されたとき、安全経路算出部313で生成された安全経路RSを優先する一の経路とするようにしてもよい。また、オーバーライド部420は、車内情報取得手段M2から受けた車両状態に基づいて運転者の運転能力低下が判定されたとき、安全経路RSを優先する一の経路とするようにしてもよい。なお、オーバーライド部420の具体的な動作例については、後ほど
図11A,11Bを用いて説明する。
【0130】
目標運動決定部130は、オーバーライド部420からの出力を受けて自動車1の目標運動を決定する。目標運動決定部130は、第1実施形態と同様に、自動車1が走行すべき経路を設定して、該経路を自動車1が走行するように、アクチュエータ類ACへの要求作動量を決定する。
【0131】
エネルギーマネジメント部140は、目標運動決定部130で決定された目標運動を達成する上で、最もエネルギー効率がよくなるようにアクチュエータ類ACの制御量を算出する。なお、より具体的なエネルギーマネジメント部140の動作例は、後述する「実システムへの導入例」に例示している。
【0132】
目標運動決定部130で決定された目標運動のデータ、及び、エネルギーマネジメント部140で算出された制御量のデータは、アクチュエータ類ACを制御するための制御信号としてアクチュエータ類ACに出力される。
【0133】
また、オーバーライド処理部410は、オーバーライド部420が、安全経路RSを優先する一の経路として出力した場合に、自動車に搭載された灯火装置41、吹鳴装置42及び無線通信装置43の少なくともいずれか1つについて、予め定められた通常走行時とは異なる態様で動作させるようにしてもよい。例えば、オーバーライド部420が、安全経路RSを優先する一の経路として出力した場合に、直ちに車速を徐行速度レベルに落としつつ、灯火装置41を点滅させ、吹鳴装置42としてのクラクションを吹鳴しながらゆっくり走るようにしてもよい。また、外部との通信が可能に構成された無線通信装置43を介して、救急施設や管理サーバー等に対して、車両で発生している事象(車両の故障状態や運転者の状態)等を連絡するようにしてもよい。
【0134】
次に、自動車1の運転経路を決定する際の演算システムSYの処理動作について
図11A,11Bのフローチャートを参照しながら説明する。尚、自動車1の運転モードは、アシスト運転又は自動運転であるものとする。また、以下の説明では、
図11A及び
図11Bをまとめて、単に
図9と呼ぶものとする。また、
図6~
図8と対応する動作については、同じ符号を付しており、その詳細説明を省略する場合がある。
【0135】
ステップS101において、主演算装置100は、車外情報取得手段M1(各カメラ50、各レーダ51、及び各センサ52~56)からの情報を読み込む。
【0136】
ステップS102~S104は、第1演算部110で行われる処理であり、
図7と同様の処理が行われる。また、S105~S107は、第2演算部120で行われる処理であり、
図7と同様の処理が行われる。
【0137】
ステップS105において第2演算部120の対象物認定部121で認定された対象物の情報は、バックアップ演算部310に出力される。
【0138】
バックアップ演算部310では、対象物認定部121から受けた対象物の情報を基に、ステップS304,S305,S308として、
図7と同様の処理が行われる。
【0139】
次のステップS300では、演算システムSYにおいて、運転者及び/または自車両1に異常が検出されたか否かが判定され、続くステップS108では、第1演算部110から受けた第1経路候補が第2安全領域SA2内にあるか否かが判定される。オーバーライド部420は、この2つの判定処理の結果に基づいて、(1)第1経路算出部113で生成された第1経路候補、(2)第2経路算出部123で生成された第2経路候補、(3)安全経路算出部313で生成された安全経路RS、の中から優先する一の経路を決定して出力する。
【0140】
具体的に、ステップS300において、車内情報取得手段M2の出力から車両の故障または運転者の運転能力低下の少なくとも一方が検出された場合(YES判定)、オーバーライド部420は、オーバーライド部420は、安全経路算出部313で生成された安全経路RS(
図11Bでは第3経路候補と記載)を選択する(ステップS310)。
【0141】
一方で、車内情報取得手段M2の出力に異常が検出されなかった場合(NO判定)、フローは、ステップS108に進む。
【0142】
ステップS108において、第1演算部110から受けた第1経路候補の中に、その全走行経路にわたって第2安全領域SA2に含まれる経路がある場合(YES判定)、オーバーライド部420は、第1経路算出部113で生成された第1経路候補の中から一の経路を選択して出力する(ステップS109)。一方で、ステップS108において、第1演算部110から受けた第1経路候補の全てにおいて、その経路内の少なくとも一部が第2安全領域SA2から逸脱する場合(NO判定)、オーバーライド部420は、第2経路算出部123で生成された第2経路候補の中から一の経路を選択して出力する(ステップS110)。
【0143】
次のステップS111では、目標運動決定部130は、自動車1の目標運動を算出する。
【0144】
続くステップS112では、エネルギーマネジメント部140は、実施形態1の場合と同様に、ステップS111で算出された目標運動を達成しかつエネルギー効率が最大となるように、目標制御量を設定する。
【0145】
次のステップS113では、演算装置100は、アクチュエータ類ACの制御量がステップS112で算出した目標制御量となるように、各アクチュエータ類ACの運転制御をおこなう。
【0146】
以上のように、本実施形態によると、深層学習を利用する機能を有する演算装置100において、機能安全レベルを向上させることができる。
【0147】
(その他の実施形態)
上述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均等範囲に属する変形や変更は、全て本開示の範囲内のものである。すなわち、ここに開示された技術は、上記実施形態に限られるものではなく、請求の範囲の主旨を逸脱しない範囲で代用が可能である。
【0148】
例えば、前述の実施形態1及び2では、目標運動決定部130で目標運動を決定したあと、エネルギーマネジメント部140により目標運動を達成しかつエネルギー効率が最大となるように目標制御量を設定していた。これに限らず、エネルギーマネジメント部140は省略してもよい。すなわち、目標運動決定部130が目標運動を達成する目標制御量を設定してもよい。
【0149】
例えば、上記実施形態では、主演算装置100と、バックアップ演算装置300とが、それぞれ、異なるチップで構成されているものとしたが、これに限定されない。例えば、主演算装置とバックアップ演算装置とが、物理的には分離された構成をとりつつ、同一の筐体またはパッケージに格納されていてもよい。
【0150】
また、異常検出部450は、車外情報取得手段M1の出力自体や、車内情報取得手段M2からの出力自体に異常があることを検出することができるように構成されていてもよい。例えば、カメラ50が故障したり、カメラ50からの信号入力が途絶えた場合のように、主演算装置100での経路生成に支障が出るような状態が発生したときに、その状態を検出できるように構成されていてもよい。そして、異常検出部450において、カメラ50等の車外情報取得手段M1の出力に異常が検出された場合に、選択手段500が、バックアップ演算装置300から出力されたバックアップ制御信号を選択して出力するように構成されていてもよい。
【0151】
また、上記実施形態では、選択手段500が設けられているものとしたが、これに限定されない。例えば、異常検出部450の検出結果が、主演算装置100と、バックアップ演算装置300との両方に与えるようにしてよい。そして、通常運転時は、バックアップ演算装置300の出力を停止させ、主演算装置100の制御信号をアクチュエータ類ACに出力させる。一方で、主演算装置の故障が検出された場合には、主演算装置100の出力を停止させ、バックアップ演算装置300から出力されたバックアップ制御信号をアクチュエータ類ACに出力させるように構成されていてもよい。
【0152】
また、第1演算部110の第1経路生成部705に、第2演算部120の第2安全領域設定部122で設定された安全領域の情報を与えるようにしてもよい。そして、第1演算部110の第1経路算出部113において、第2安全領域設定部122で設定された安全領域も加味して、第1経路が設定されるようにしてもよい。
【0153】
(実システムへの導入例)
図9A及び
図9Bを参照しながら、実システムへの導入例について説明する。なお、以下の説明では、
図9A及び
図9Bをまとめて、単に
図9と呼ぶものとする。
【0154】
-1.概要-
まず、本開示に係る自動車用演算システムSY(以下、単に演算システムSYという)は、機能的には、(1)車外環境、車内環境(運転者の状態を含む)を認知するための構成(以下、認知系ブロックB1ともいう)と、(2)認知系ブロックB1での認知結果に基づいて各種状態・状況等を判断し、自動車1の動作を決定するための構成(以下、判断系ブロックB2ともいう)と、(3)判断系ブロックB2での決定を基に、具体的にアクチュエータ類に伝達する信号・データ等を生成するための構成(以下、操作系ブロックB3ともいう)、とに分かれている。本開示の技術は、認知系ブロックB1、判断系ブロックB2及び操作系ブロックB3が、1つのユニットに集約されて、実現されている点に特徴を有する。
【0155】
また、本演算システムSYは、(1)通常運転時における自動運転を実現するための認知系ブロックB1、判断系ブロックB2及び操作系ブロックB3とで構成された主演算部700と、(2)主に主演算部700の認知系ブロックB1及び判断系ブロックB2を補完する機能を有するセーフティ機能部800と、(3)主演算部700やセーフティ機能部800の機能が失陥した場合等の異常事態が発生した際に、自動車1を安全な位置まで移動させるバックアップセーフティ機能部900とを備えている。
【0156】
本演算システムSYにおいて、主演算部700の認知系ブロックB1および判断系ブロックB2では、ニューラルネットワークを利用した深層学習により構築された各種モデルを利用して処理を実行する。このようなモデルを使用した処理を行うことで、車両状態、車外環境、運転者の状態等の総合的な判断に基づく運転制御、すなわち、大量の入力情報をリアルタイムで協調させて制御することができるようになる。一方で、前述のとおり、深層学習を利用した車外環境の認定及び経路の算出は、未だ発展途上の状態であり、ASIL-B程度に留まるとされている。なお、
図9では、参考情報として、各ブロックのASIL情報を記載しているが、本記載に限定されるものではなく、各ブロックが
図9とは異なる機能安全レベルを有していてもよい。
【0157】
そこで、本演算システムSYでは、主演算部700で実行される深層学習により、ある特定の許容範囲を逸脱するような判断や処理(以下、単に逸脱処理という)が導き出される可能性を想定し、そのような逸脱処理を監視するとともに、逸脱処理を検出した場合には、ASIL-D相当の機能安全レベルを実現するセーフティ機能部800による判断や処理に置き換えるまたは補完するものである。
【0158】
具体的に、例えば、セーフティ機能部800は、
(1)従来より自動車等に採用されている物標等の認定方法に基づいて、車外にある物体(本開示では、対象物と呼んでいる)を認識する、
(2)従来より自動車等に採用されている方法で、車両が安全に通過できる安全領域を設定し、その安全領域を通過するような経路を自動車が通過すべき走行経路として設定する、
ように構成されている。このような、いわゆるルールベースの判断や処理を行うことにより、ASIL-D相当の機能安全レベルを実現することができる。
【0159】
そして、本演算システムSYは、主演算部700とセーフティ機能部800とが、同一の入力情報(車外情報取得手段M1や車内情報取得手段M2で取得された情報を含む)に基づいて、同一の目的の処理(例えば、経路生成)を、並列に進めるようにしている点に特徴がある。これにより、主演算部700から逸脱処理が導き出されることを監視することができるとともに、必要に応じて、セーフティ機能部800による判断や処理の方を採用したり、主演算部700に再演算をさせたりすることができるようになっている。
【0160】
主演算部700とセーフティ機能部800とは、両機能をあわせて(以下、両機能をあわせたものを車両制御機能ともいう)、それを1つ又は複数のチップで構成するようにしてもよいし、主演算部700とセーフティ機能部800のそれぞれを独立したチップで構成するようにしてもよい。
【0161】
前述の実施形態では、主演算部700による逸脱処理の対応例として、主演算部700によりセーフティ機能部800が設定した安全領域を逸脱する経路が設定された場合について、セーフティ機能部800で生成されたルールベースの経路に置き換える例を示している。
【0162】
さらに、本演算システムSYでは、主演算部700及びセーフティ機能部800の両方が故障するような事態にも対処できるように、バックアップセーフティ機能部900(バックアップ演算装置30に相当)を設けている。バックアップセーフティ機能部900は、車外情報に基づいてルールベースで経路を生成し、安全な位置に停車させるまでの車両制御を実行する機能を、主演算部700及びセセーフティ機能部800とは別構成として用意したものである。したがって、主演算部700及びセーフティ機能部800とは、別々の装置(チップ)で構成されるのが好ましい。
【0163】
これにより、例えば、主演算部700とセーフティ機能部800とを共通のチップで構成した場合に、そのチップ自体に故障が発生しても、車両を安全な場所に停車させることができる。換言すると、このようなバックアップセーフティ機能部900を設けることで、車両制御機能またはバックアップ機能の故障を、他方の機能によって補完し、故障時の安全動作を確保することができる。
【0164】
-2.構成-
以下において、
図9を参照しつつ、本演算システムSYの具体的構成について、実施形態との対比を交えつつ説明する。なお、実施形態と共通の構成については、共通の符号を使用して説明する場合がある。また、共通の構成についての詳細説明を省略する場合がある。
【0165】
演算システムSYには、自動車の車外環境の情報を取得する車外情報取得手段M1、及び、車内環境の情報を取得する車内情報取得手段M2のそれぞれで取得されたデータが入力信号として与えられる。また、演算システムSYへの入力信号として、クラウドコンピューティングのように、車外ネットワーク(例えば、インターネット等)に接続されたシステムやサービスからの情報が入力されるようにしてもよい(
図9では「外部入力」と記載)。
【0166】
車外情報取得手段M1として、例えば、(1)複数のカメラ50、(2)複数のレーダ51、(3)車速センサ52等のメカセンサー520、(4)アクセル開度センサ53、操舵角センサ54、ブレーキセンサ55等のドライバ入力部530、(5)GPS等の測位システムを含む位置センサ56等が例示される。
【0167】
車内情報取得手段M2として、例えば、車内カメラ58、車内センサ59等が例示される。車内センサ59には、例えば、アクセルペダル、ブレーキペダル、ステアリング、各種スイッチ等の各種操作対象物への運転者の操作を検出するセンサを含む。なお、
図9では、車内情報取得手段M2の図示を省略している。
【0168】
-2-1.主演算部-
ここでは、主演算部700の構成例及び主演算部700による深層学習を用いた経路生成について説明する。
【0169】
図9に示すように、主演算部700は、カメラ50及び/またはレーダ51の入力に基づいて、車外の物体(対象物)を認識する物体認識部701を有する。物体認識部701は、カメラ50で撮像された社外の画像(映像を含む)や、レーダ51を用いた反射波のピークリストにより、車外の物体を認識する機能を有する。また、主演算部700は、実施形態に示したとおり、深層学習を利用して、認識された物体が何かを判別する機能を有する。物体認識部701には、従来から知られている画像や電波に基づく物体認識技術を適用することができる。
【0170】
物体認識部701で認識された結果は、マップ生成部702に送られる。マップ生成部702では、自車両の周囲を複数の領域(例えば、前方、左右方向、後方)に分け、各領域ごとにマップ作成処理を行う。マップ作成処理では、それぞれの領域に対して、カメラ50で認識された物体情報と、レーダ51で認識された物体情報とを統合し、マップに反映させる。
【0171】
マップ生成部702で生成されたマップは、車外環境推定部703(車外環境推定部111に相当)において、深層学習を用いた画像認識処理により車外環境の推定に使用される。具体的に、車外環境推定部703では、深層学習を利用して構築された環境モデル704に基づく画像認識処理により車外環境を表す3Dマップを作成する。深層学習では、多層ニューラルネットワーク(DNN:Deep Neural Network)が用いられる。多層ニューラルネットワークとして、例えば、CNN(Convolutional Neural Network)がある。より具体的に、車外環境推定部703では、(1)各領域ごとのマップが結合され、自車両1の周囲を表した統合マップが生成され、(2)その統合マップ内の動体物に対し、自車両1との距離、方向、相対速度の変位が予測され、(3)その結果が、車外環境モデル704に組み込まれる。さらに、車外環境推定部703では、(4)車内または車外から取り込んだ高精度地図情報、GPS等で取得された位置情報・車速情報・6軸情報の組み合わせによって統合マップ上での自車両1の位置を推定するとともに、(5)前述の経路コストの計算を行い、(6)その結果が、各種センサで取得された自車両1の運動情報とともに車外環境モデル704に組み込まれる。これらの処理により、車外環境推定部703では、随時、車外環境モデル704が更新され、経路生成部705による経路生成に使用される。
【0172】
GPS等の測位システムの信号、車外ネットワークから送信される例えばカーナビゲーション用のデータは、経路探索部706に送られる。経路探索部706は、GPS等の測位システムの信号、車外ネットワークから送信される例えばナビゲーション用のデータを用いて、車両の広域経路を探索する。
【0173】
経路生成部705では、車外環境モデル704と、経路探索部706の出力とを基にして、車両の走行経路を生成する。主演算部700による具体的な経路探索方法については、実施形態の「2-1.第1経路、第2経路の算出」において、第1経路の算出方法として例示している。ここまでの機能が、深層学習による経路生成の一例であり、ASIL-B相当の機能安全レベルを実現する経路生成である。
【0174】
-2-2.セーフティ機能部-
ここでは、セーフティ機能部800の構成及びセーフティ機能部800によるルールベースの経路生成について説明する。
【0175】
図9に示すように、セーフティ機能部800は、主演算部700と同じ、カメラ50及び/またはレーダ51の入力に基づいて、車外の物体(対象物)を認識する物体認識部801を有する。セーフティ機能部800では、主演算部700と同様の手法により車外の物体を認識した後に、深層学習を利用せずに、従来から知られているルールベースの手法により認識された物体が何かを判別するようにしている。例えば、従来から知られており、ASIL-D相当の機能安全レベルを実現している識別機を通して、認識された物体が何かを判別する。
【0176】
物体認識部801で認識された結果は、動体と静止物とに分類される。
図9では、802の符号を付して「動体・静止物分類」と記載した回路ブロックで実行される。具体的に、ここでは、(1)自車両の周囲が複数の領域(例えば、前方、左右方向、後方)に分けられ、(2)各領域で、カメラ50で認識された物体情報と、レーダ51で認識された物体情報とが統合され、(3)各領域に対する導体及び静止物との分類情報が生成される。そして、(4)各領域ごとの分類結果が統合され、(5)自車両周辺の導体及び静止物との分類情報として、例えば、例えば、
図2に示されるようなグリッドマップ上で管理される。また、動体物に対しては、(6)自車両との距離、方向、相対速度が予測され、その結果が動体物の付属情報として組み込まれるとともに、(7)車内または車外から取り込んだ高精度地図情報、GPS等で取得された位置情報・車速情報・6軸情報の組み合わせによって、動体・静止物に対する自車両の位置が推定される。また、セーフティ機能部800では、車速情報・6軸情報に基づく車両状態を検出し、自車両1の付属情報として経路生成に使用する。セーフティ機能部800では、ここで推定された動体・静止物に対する自車両の位置と、安全領域の探索結果に基づいて、経路が生成される。なお、ここでの安全領域は、実施形態における第2安全領域SA2が相当する。安全領域の設定は、上記実施形態における安全領域設定部122による第2安全領域SA2と同様である。また、経路生成についても、第2経路算出部123による経路生成と同様であり、ここではその詳細説明を省略する。ここまでの機能が、ルールベースによる経路生成の一例であり、ASIL-D相当の機能安全レベルを実現する経路生成である。
【0177】
主演算部700及びセーフティ機能部800で生成された経路は、目標運動決定部710に送られ、両経路の比較結果等に応じて最適な目標運動が決定される。例えば、前述の実施形態に記載しているように、主演算部700で生成した経路が、セーフティ機能部800で探索された安全領域から外れる時には、セーフティ機能部800で生成された経路が採用される。目標運動決定部730、車両運動エネルギー操作部740、エネルギーマネジメント部750は、前述の実施形態の目標運動決定部130、エネルギーマネジメント部140に相当するものであり、ここではその詳細説明を省略する。
【0178】
-2-3.バックアップセーフティ機能部-
ここでは、バックアップセーフティ機能部900の構成及びバックアップセーフティ機能部900によるルールベースの経路生成について説明する。バックアップセーフティ機能部900は、ルールベースで最低限の安全停車位置への移動動作、停車動作ができるようにするために必要な構成を備えたものとなっている。大枠の構成は、セーフティ機能部800を同じような機能で実現することができる。
【0179】
図9に示すように、バックアップセーフティ機能部900では、物体認識部801で認識された結果を基に、動体と静止物とが分類される。
図9では、903の符号を付して「動体・静止物分類」と記載した回路ブロックで実行される。物体認識部801は、
図9に示すように、セーフティ機能部800と共通のものを使用してもよいし、個別に、バックアップセーフティ機能部900に設けられていてもよい。さらに、バックアップセーフティ機能部900は、車両状態を計測する車両状態計測部901と、運転者の操作状態を把握するドライバ操作認知部902とを備えている。車両状態計測部901は、自車両1の付属情報として経路生成に使用するために、車速情報・6軸情報に基づく車両状態を取得する。ドライバ操作認知部902は、モニタリング手段400に相当する機能である。それ以外の機能については、主演算部700及びセーフティ機能部800とは独立して設けられているものの、実質的な機能は、これまで説明してきた構成と同様であり、ここではその詳細説明を省略する。
【産業上の利用可能性】
【0180】
ここに開示された技術は、自動車に搭載される自動車用演算システムとして有用である。
【符号の説明】
【0181】
SY 自動車用演算システム
110 第1演算部(主演算部)
120 第2演算部(副演算部)
300 バックアップ演算装置(安全経路生成部)
M1 車外情報取得手段
M2 車内情報取得手段