IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マツダ株式会社の特許一覧 ▶ エヌエックスピー ビー ヴィの特許一覧

<>
  • 特許-車両用制御装置 図1
  • 特許-車両用制御装置 図2A
  • 特許-車両用制御装置 図2B
  • 特許-車両用制御装置 図3
  • 特許-車両用制御装置 図4
  • 特許-車両用制御装置 図5
  • 特許-車両用制御装置 図6
  • 特許-車両用制御装置 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-14
(45)【発行日】2023-08-22
(54)【発明の名称】車両用制御装置
(51)【国際特許分類】
   G06T 7/00 20170101AFI20230815BHJP
   G08G 1/16 20060101ALI20230815BHJP
   B60W 50/12 20120101ALI20230815BHJP
   B60W 50/02 20120101ALI20230815BHJP
【FI】
G06T7/00 650
G08G1/16 C
B60W50/12
B60W50/02
【請求項の数】 2
(21)【出願番号】P 2020017985
(22)【出願日】2020-02-05
(65)【公開番号】P2021124957
(43)【公開日】2021-08-30
【審査請求日】2022-07-19
(73)【特許権者】
【識別番号】000003137
【氏名又は名称】マツダ株式会社
(73)【特許権者】
【識別番号】507219491
【氏名又は名称】エヌエックスピー ビー ヴィ
【氏名又は名称原語表記】NXP B.V.
【住所又は居所原語表記】High Tech Campus 60, NL-5656 AG Eindhoven, Netherlands
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】石橋 真人
(72)【発明者】
【氏名】土山 浄之
(72)【発明者】
【氏名】濱野 大輔
(72)【発明者】
【氏名】布田 智嗣
(72)【発明者】
【氏名】堀籠 大介
(72)【発明者】
【氏名】寳神 永一
(72)【発明者】
【氏名】田崎 篤
(72)【発明者】
【氏名】橋本 陽介
(72)【発明者】
【氏名】木原 裕介
(72)【発明者】
【氏名】アーノルド ヴァン デン ボッシュ
(72)【発明者】
【氏名】レイ マーシャル
(72)【発明者】
【氏名】レオナルド スリコ
【審査官】真木 健彦
(56)【参考文献】
【文献】特開2017-182771(JP,A)
【文献】国際公開第2019/181591(WO,A1)
【文献】国際公開第2013/008300(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 1/00
G08G 1/16
H04N 7/18
B60W 50/12
B60W 50/02
(57)【特許請求の範囲】
【請求項1】
車両用制御装置であって、
車両に設置されたカメラの出力を受信し、そのカメラの出力に対して画像処理を行い、画像データとして出力する画像処理部を有する信号処理IC(Integrated Circuit)ユニットと、
前記画像処理部で処理された前記画像データを受信し、深層学習を利用して構築された外部環境モデルに基づく画像認識処理により車両の周囲を表した統合マップを作成するマップ生成部と、前記統合マップに基づいて道路上であって障害物を回避しかつ安全性スコア及び燃費スコアが小さくなる走行経路候補を生成して出力する経路生成部とを有する認識処理ICユニットと、
前記認識処理ICユニットから出力された前記走行経路候補に沿って走行する際の車両の目標運動を決定する目標運動決定部と、前記目標運動決定部で決定された目標運動を実現するための駆動力と制動力と操舵角を算出し、その算出結果に基づいて自車両の駆動と制動と操舵を制御する信号である走行制御信号を出力する算出部とを有する判断処理ICユニットとを備え
前記信号処理ICユニット、前記認識処理ICユニットおよび前記判断処理ICユニットは、互いに物理的に分離された3チップ構成となっている
ことを特徴とする車両用制御装置。
【請求項2】
車両用制御装置であって、
車両に設置されたカメラの出力を受信し、そのカメラの出力に対して画像処理を行い、その画像処理で得られた画像データを出力する信号処理IC(Integrated Circuit)ユニットと、
前記信号処理ICユニットとは別ユニットとして構成され、前記画像データを受信し、その画像データに基づいて車両の外部環境の認識処理を行い、その認識処理で得られた外部環境データを出力する認識処理ICユニットと、
前記信号処理ICユニット及び前記認識処理ICユニットとは別ユニットとして構成され、前記外部環境データを受信し、その外部環境データに基づいて車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力する判断処理ICユニットとを備え、
前記信号処理ICユニットから出力された画像データを受信し、深層学習を利用せずに、所定のルールに基づいて前記画像データから車両の外部環境の認識処理を行い、その認識処理で得られた外部環境に基づいて車両の走行制御のための判断処理をするバックアップセーフティICユニットをさらに備え、
前記判断処理ICユニットは、前記バックアップセーフティICユニットの判断処理の結果を受信し、車両または乗員の少なくとも一方に異常が検出された場合に、前記走行制御信号に代えて、前記バックアップセーフティICユニットの判断処理結果に基づくバックアップ走行制御信号を出力する
ことを特徴とする車両用制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
ここに開示する技術は、例えば自動車の自動運転のために用いられる車両用制御装置に関する。
【背景技術】
【0002】
特許文献1には、自動運転制御情報に基づいて生成される第一の制御信号と自車と周辺物体との相対情報に基づいて生成される第二の制御信号との何れか一方を駆動装置に出力し、自動運転制御情報に異常が検出された場合には、第一の制御信号に代えて、第二の制御信号を前記駆動装置に出力する技術が示されている。
【0003】
特許文献2には、周辺環境取得装置、認知判断ECU、統合制御ECUのいずれかの異常を検知した場合に、その異常を検知してからの経過時間に従って、複数の周辺環境取得装置、認知判断ECU及び統合制御ECUのそれぞれが実行すべき動作が規定される特定制御を順次切り替えながら実行する技術が示されている。
【0004】
特許文献3には、車両の周辺に存在する物体を認識する認識部と、認識した物体に基づいて自動制御モードにおける車両の走行経路を算出する経路算出部と、認識した物体を回避した走行経路を算出できない場合に手動制御モードへ移行させるモード制御部とを備える半導体装置が示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2017-47694号公報
【文献】国際公開第2018/225225号
【文献】特許第6289284号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、昨今では、国家的に自動運転システムの開発が推進されている。自動運転システムでは、一般に、カメラ等により車外環境情報が取得され、取得された車外環境情報に基づいて自動車が走行すべき経路が算出される。この経路の算出においては、車外環境の認定が重要であり、この車外環境の認定において、深層学習を利用することが検討されている。深層学習を利用した車外環境の認定及び経路の算出は、未だ発展途上の状態であり、車両制御装置として、車両の安全性を担保しつつ、技術の進歩、変遷に適合させる必要がある。また、互いに機能やグレードの異なる車種への展開に適合させやすい車両制御装置が望まれている。
【0007】
上記の引用文献1~3は、自動運転に関する技術ではあるものの、車両の安全性を担保しつつ、技術の変遷や車種展開に適合させするという観点において改善の余地がある。
【0008】
ここに開示された技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、車両の安全性を担保しつつ、技術の変遷(将来展開)及び/または車種展開(機能・グレード・仕向地の異なる車種への展開)に適合した車両用制御装置を提供することにある。
【課題を解決するための手段】
【0009】
前記課題を解決するために、ここに開示された技術では、車両用制御装置を対象として、車両に設置されたカメラの出力を受信し、そのカメラの出力に対して画像処理を行い、その画像処理で得られた画像データを出力する信号処理IC(Integrated Circuit)ユニットと、前記信号処理ICユニットとは別ユニットとして構成され、前記画像データを受信し、その画像データに基づいて車両の外部環境の認識処理を行い、その認識処理で得られた外部環境データを出力する認識処理ICユニットと、前記信号処理ICユニット及び前記認識処理ICユニットとは別ユニットとして構成され、前記外部環境データを受信し、その外部環境データに基づいて車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力する判断処理ICユニットとを備える、という構成とした。
【0010】
ここで、互いに機能・グレード・仕向地の異なる車種の展開(以下、単に車種展開という)において、車両に設置されるカメラの台数や設置場所、カメラの解像度が互いに異なる場合がある。また、車種展開に応じて、カメラから出力された画像処理について、アルゴリズムや画像の処理能力を変える場合がある。そこで、本態様では、カメラの出力に対して画像処理を行うための信号処理ICユニットを、他の構成から独立させた構成にしている。これにより、車種展開があった場合においても、信号処理ICユニットの交換で対応することができる。そうすると、車種展開する場合に、例えば、後段の認識処理ICユニット、判断処理ICユニットとして共通のICユニットを用いることができる。
【0011】
また、前述のとおり、「車両の外部環境の認識処理」について、技術の進化の過程にあり、今後も技術の変遷が大きいことが予測される。そこで、認識処理を行うための認識処理ICユニットを設け、他の構成から独立させた構成にしている。これにより、車両のモデルサイクルの中で、適宜認識処理ICユニットを最新のものに置き換えることができる。
【0012】
そして、認識処理ICユニットの後段に、最終的な車両の走行制御のための判断処理をする判断処理ICユニットを設けている。このような構成にすることで、例えば、判断処理ICユニットでは、成熟したプロセスを採用することが可能になり、車両の走行制御のための判断処理の信頼性を高めることができる。
【0013】
上記態様の車両制御装置において、前記認識処理ICユニットは、深層学習を利用して車両の外部環境の認識処理を行うように構成されている、というのでもよい。
【0014】
この構成によると、認識処理ICユニットが深層学習を利用するため、車両の外部環境の認識精度を高めることができる。
【0015】
上記態様の車両制御装置において、前記信号処理ICユニットから出力された画像データを受信し、深層学習を利用せずに、所定のルールに基づいて前記画像データから車両の外部環境の認識処理を行い、その認識処理で得られた外部環境に基づいて車両の走行制御のための判断処理をするバックアップセーフティICユニットをさらに備え、前記判断処理ICユニットは、前記バックアップセーフティICユニットの判断処理の結果を受信し、車両または乗員の少なくとも一方に異常が検出された場合に、前記走行制御信号に代えて、前記バックアップセーフティICユニットの判断処理結果に基づくバックアップ走行制御信号を出力する、というのでもよい。
【0016】
この構成によると、車両または乗員の少なくとも一方に異常が検出された場合に、ルールベースのセーフティバックアップICユニットの判断処理結果を使用するので、機能安全レベルを向上させることができる。
【発明の効果】
【0017】
以上説明したように、ここに開示された技術によると技術の変遷及び/または車種展開に適合した車両用制御装置を提供することができる。
【図面の簡単な説明】
【0018】
図1】実施形態1に係る車両用制御装置の構成を示すブロック図である。
図2A】車両用制御装置の機能構成の一例を示すブロック図である。
図2B】車両用制御装置の機能構成の一例を示すブロック図である。
図3】各ICユニットの構成例を示すブロック図である。
図4】信号処理ICユニットによる画像処理により得られる画像データの一例を示す図である。
図5】認識処理ICユニットによる認識処理により生成されるセグメンテーション画像の一例を示す図である。
図6】判断処理ICユニットにより外部環境の推定を行って得られる統合データの一例を示す図である。
図7】実施形態2に係る車両用制御装置の構成を示すブロック図である。
【発明を実施するための形態】
【0019】
以下、例示的な実施形態について、図面を参照しながら詳細に説明する。
【0020】
(実施形態1)
図1は、本実施形態に係る車両用制御装置の構成を示すブロック図である。
【0021】
図1に示すように、本実施形態の車両用制御装置CUは、信号処理IC(Integrated Circuit)ユニット10と、認識処理ICユニット20と、判断処理ICユニット30の3チップ構成となっている。具体的な図示は省略するが、信号処理ICユニット10、認識処理ICユニット20及び判断処理ICユニット30は、例えば、乗員の座席下部やトランクルーム等、車両内の特定の場所に設置された単一の筐体内に格納されている。信号処理ICユニット10、認識処理ICユニット20及び判断処理ICユニット30は、それぞれ、単一のIC(Integrated Circuit)チップで構成されてもよいし、複数のICチップにより1つのユニットが構成されていてもよい。また、各ICチップ内には、単一のコアまたはダイが収容されていてもよく、連携する複数のコアまたはダイが収容されて互いに接続されていてもよい。コアやダイには、例えば、CPUと、CPUを動作させるためのプログラムやCPUでの処理結果等を一時格納するためのメモリとが搭載されている。
【0022】
信号処理ICユニット10は、車外環境を撮像するカメラ71から受信された撮像信号の画像処理を行い、画像データとして出力する。カメラ71の数は、特に限定されないが、例えば、自動車の周囲を水平方向に360°撮影できるようにそれぞれ配置されている。各カメラ71の撮像データは、信号処理ICユニット10に集約される。信号処理ICユニット10では、集約された撮像データの画像処理を行い、画像データとして認識処理ICユニット20に出力する。カメラ71は、車外環境を撮像する撮像装置の一例である。図3には、信号処理ICユニット10の具体的なブロック構成例を示している。図3については、後ほど説明する。
【0023】
認識処理ICユニット20は、信号処理ICユニット10から出力された画像データを受信し、その画像データに基づいて車両の外部環境の認識処理を行い、その認識処理で得られた外部環境データを出力する。例えば、認識処理ICユニット20は、深層学習を利用して、上記の画像データを基に道路と障害物を含む外部環境を認識する。深層学習では、例えば、多層ニューラルネットワーク(DNN:Deep Neural Network)が用いられる。多層ニューラルネットワークとして、例えば、CNN(Convolutional Neural Network)がある。認識処理ICユニット20は、推定された車外環境に基づいて道路上であって障害物を回避する少なくとも1つの経路候補を生成し、経路候補データとして出力する。図3には、認識処理ICユニット20の具体的なブロック構成例を示している。図3については後ほど説明する。
【0024】
判断処理ICユニット30は、認識処理ICユニット20から出力された外部環境データを受信し、その外部環境データに基づいて車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力する。具体的に、判断処理ICユニット30は、上記の外部環境データを基に自動車の走行経路を決定し、決定された走行経路に沿って走行する際の自動車の目標運動を決定する。その後、判断処理ICユニット30は、決定された目標運動を実現するための駆動力と制動力と操舵角を算出し、その算出結果に基づく走行制御信号を出力する。図3には、判断処理ICユニット30の具体的なブロック構成例を示している。図3については後ほど説明する。
【0025】
-1.機能構成-
図2A図2Bは、車両用制御装置CUの機能構成例を示すブロック図である。なお、以下の説明では、図2A及び図2Bをまとめて、単に図2と呼ぶものとする。
【0026】
まず、本開示に係る自動車用制御装置CU(以下、単に制御装置CUという)は、機能的には、認知系ブロックB1と、判断系ブロックB2と、操作系ブロックB3とに分かれている。認知系ブロックB1は、車外環境、車内環境(運転者の状態を含む)を認知するための構成である。判断系ブロックB2は、認知系ブロックB1での認知結果に基づいて各種状態・状況等を判断し、自動車の動作を決定するための構成である。操作系ブロックB3は、判断系ブロックB2での決定を基に、具体的にアクチュエータ類に伝達する信号・データ等を生成するための構成である。
【0027】
また、制御装置CUは、(1)通常運転時における自動運転を実現するための認知系ブロックB1、判断系ブロックB2及び操作系ブロックB3とで構成された主演算部40と、(2)主に主演算部40の認知系ブロックB1及び判断系ブロックB2を補完する機能を有するセーフティ機能部50と、(3)主演算部40やセーフティ機能部50の機能が失陥した場合等の異常事態が発生した際に、自動車を安全な位置まで移動させるバックアップセーフティICユニット60とを備える。
【0028】
本制御装置CUにおいて、主演算部40の認知系ブロックB1および判断系ブロックB2では、ニューラルネットワークを利用した深層学習により構築された各種モデルを利用して処理を実行する。このようなモデルを使用した処理を行うことで、車両状態、車外環境、運転者の状態等の総合的な判断に基づく運転制御、すなわち、大量の入力情報をリアルタイムで協調させて制御することができるようになる。一方で、前述のとおり、深層学習を利用した車外環境の認定及び経路の算出は、未だ発展途上の状態であり、ASIL-B程度に留まるとされている。
【0029】
そこで、制御装置CUでは、主演算部40で実行される深層学習により、ある特定の許容範囲を逸脱するような判断や処理(以下、単に逸脱処理という)が導き出される可能性を想定し、そのような逸脱処理を監視する。制御装置CUは、逸脱処理を検出した場合に、ASIL-D相当の機能安全レベルを実現するセーフティ機能部50による判断や処理に置き換えたり、主演算部40による再処理を行わせる。
【0030】
具体的に、例えば、セーフティ機能部50では、
(1)従来より自動車等に採用されている物標等の認定方法に基づいて、車外にある物体(以下、対象物と呼ぶ場合がある)を認識する、
(2)従来より自動車等に採用されている方法で、車両が安全に通過できる安全領域を設定し、その安全領域を通過するような経路を自動車が通過すべき走行経路として設定する、
ように構成されている。このような、いわゆるルールベースの判断や処理を行うことにより、ASIL-D相当の機能安全レベルを実現する。
【0031】
そして、本制御装置CUは、主演算部40とセーフティ機能部50とが、同一の入力情報(後述する情報取得手段70で取得された情報を含む)に基づいて、同一の目的の処理(例えば、経路生成)を、並列に進める。これにより、主演算部40から逸脱処理が導き出されることを監視することができるとともに、必要に応じて、セーフティ機能部50による判断や処理の方を採用したり、主演算部40に再演算をさせたりすることができる。
【0032】
さらに、本制御装置CUでは、主演算部40及びセーフティ機能部50の両方が故障するような事態にも対処できるように、バックアップセーフティICユニット60を設けている。バックアップセーフティICユニット60は、車外情報に基づいてルールベースで経路を生成し、安全な位置に停車させるまでの車両制御を実行する機能を、主演算部40及びセセーフティ機能部50とは別構成として用意したものである。
【0033】
制御装置CUには、自動車の車内外環境の情報を取得する情報取得手段70で取得されたデータが入力信号として与えられる。また、制御装置CUへの入力信号として、クラウドコンピューティングのように、車外ネットワーク(例えば、インターネット等)に接続されたシステムやサービスからの情報が入力されるようにしてもよい(図2では「EXTERNAL INPUT」と記載する)。
【0034】
情報取得手段70として、例えば、(1)複数のカメラ71、(2)複数のレーダ72、(3)GPS等の測位システムを含む位置センサ73、(4)上記の車外のネットワーク等からの外部入力74、(5)車速センサ等のメカセンサー75、(6)ドライバ入力部76等が例示される。ドライバ入力部76は、例えば、アクセル開度センサ、操舵角センサ、ブレーキセンサ等である。また、ドライバ入力部76には、例えば、アクセルペダル、ブレーキペダル、ステアリング、各種スイッチ等の各種操作対象物への運転者の操作を検出するセンサを含む。各レーダ72は、自車両の外部環境を自車両の周囲360°に渡って検出できるように、自車両の車体に配置されている。レーダ72は、例えば、ミリ波(探知波の一例)を送信するミリ波レーダで構成されている。尚、レーザ光(探知波の一例)を送信するライダ(Light Detection and Ranging)であってもよいし、赤外線(探知波の一例)を送信する赤外線レーダであってもよいし、超音波(探知波の一例)を送信する超音波センサであってもよい。
【0035】
-1-1.主演算部(1)-
ここでは、主演算部40の構成について、主演算部40による深層学習を用いた経路生成の例を交えつつ説明する。
【0036】
図2に示すように、主演算部40は、車外の物体を認識する物体認識部241と、マップ生成部243と、外部環境推定部244と、外部環境モデル245と、経路探索部246と、経路生成部247と、車両状態検出部346とを備える。
【0037】
物体認識部241は、カメラ71で撮像された車外の画像(映像を含む)を受信し、受信した画像に基づいて車外の物体を認識する。物体認識部241は、カメラ71で撮像された画像を受信し、画像処理を行う画像処理部241a(図3参照)と、画像処理部で処理された画像に基づいて車外の物体を認識する認識部241b(図3参照)とを備える。物体認識部241には、従来から知られている画像や電波に基づく物体認識技術を適用することができる。
【0038】
物体認識部241で認識された結果は、マップ生成部243に送られる。マップ生成部243では、自車両の周囲を複数の領域(例えば、前方、左右方向、後方)に分け、その領域毎のマップを作成する処理を行う。具体的には、マップ生成部243では、それぞれの領域に対して、カメラ71で認識された物体情報と、レーダ72で認識された物体情報とを統合し、マップに反映させる。
【0039】
車両状態検出部346は、自車両の運動情報を生成する。具体的に、車両状態検出部346は、各種メカセンサー75から入力される情報に基づいて、自車両の現在の運動状態を検出する。メカセンサー75は、例えば、車速センサやヨーセンサ等である。
【0040】
マップ生成部243で生成されたマップ及び車両状態検出部346での検出結果は、外部環境推定部244において、深層学習を用いた画像認識処理により車外環境の推定に使用される。具体的に、外部環境推定部244では、深層学習を利用して構築された環境モデル245に基づく画像認識処理により車外環境を表す3Dマップを作成する。深層学習では、多層ニューラルネットワーク(DNN : Deep Neural Network)が用いられる。多層ニューラルネットワークとして、例えば、CNN(Convolutional Neural Network)がある。
【0041】
より具体的に、外部環境推定部244では、(1)領域毎のマップが結合され、自車両の周囲を表した統合マップが生成され、(2)その統合マップ内の動体物に対し、自車両との距離、方向、相対速度の変位が予測され、(3)その結果が、外部環境モデル245に組み込まれる。さらに、外部環境推定部244では、(4)車内または車外から取り込んだ高精度地図情報、GPS等で取得された位置情報・車速情報・6軸情報の組み合わせによって統合マップ上での自車両の位置を推定するとともに、(5)前述の経路コストの計算を行い、(6)その結果が、各種センサで取得された自車両の運動情報とともに外部環境モデル245に組み込まれる。これらの処理により、外部環境推定部244では、随時、外部環境モデル245が更新され、後述する経路生成部247による経路生成に使用される。
【0042】
GPS等の測位システムの信号、車外ネットワークから送信される例えばカーナビゲーション用のデータは、経路探索部246に送られる。経路探索部246は、GPS等の測位システムの信号、車外ネットワークから送信される例えばナビゲーション用のデータを用いて、車両の広域経路を探索する。
【0043】
経路生成部247では、前述の外部環境モデル245と、経路探索部246の出力とを基にして、車両の走行経路を生成する。走行経路は、例えば、安全性、燃費等をスコア化し、そのスコアが小さくなるような走行経路が少なくとも1つ生成される。また、経路生成部247は、例えば、上記走行経路とドライバの操作量に応じて調整した走行経路、のように複数の観点に基づいた走行経路を生成するように構成されてもよい。この経路生成部247により生成される走行経路に関する情報は外部環境データに含まれる。
【0044】
-1-2.セーフティ機能部-
ここでは、セーフティ機能部50の構成について、セーフティ機能部50によるルールベースの経路生成の例を交えつつ説明する。
【0045】
図2に示すように、セーフティ機能部50は、車外の物体をパターン認識する物体認識部251及び物体認識部252と、分類部351と、前処理部352と、フリースペース探索部353と、経路生成部354とを備える。
【0046】
物体認識部251は、カメラ71で撮像された車外の画像(映像を含む)を受信し、受信した画像に基づいて車外の物体を認識する。物体認識部251は、カメラ71で撮像された画像を受信し、画像処理を行う画像処理部251a(図3参照)と、画像処理部で処理された画像に基づいて車外の物体を認識する認識部251b(図3参照)とを備える。物体認識部252は、レーダ72で検出された反射波のピークリストにより、車外の物体を認識する。
【0047】
分類部351や前処理部352では、深層学習等を用いずに、認識部251bで認識された画像データとレーダ72からの情報とにより、所定のルールに基づくルールベースの手法により外部環境を推定する。ルールベースの外部環境推定方法は、従来から知られている方法を適用することができる。従来から知られているルールベースの外部環境推定方法は、ASIL-D相当の機能安全レベルである。
【0048】
具体的に、分類部351では、物体認識部252による物体の認識結果を受信し、認識された物体を動体と静止物とに分類する。具体的に、分類部351では、(1)自車両の周囲が複数の領域(例えば、前方、左右方向、後方)に分けられ、(2)各領域で、カメラ71で認識された物体情報と、レーダ72で認識された物体情報とが統合され、(3)各領域に対する動体及び静止物の分類情報が生成される。
【0049】
前処理部352では、分類部351において生成された領域毎の分類結果を統合する。統合された情報は、例えば、自車両周辺の動体及び静止物との分類情報として、グリッドマップ(図示省略)上で管理される。また、動体物について、自車両との距離、方向、相対速度が予測され、その結果が動体物の付属情報として組み込まれる。さらに、前処理部352では、車内外から取得された高精度地図情報、位置情報、車速情報、6軸情報等を組み合わせて、動体・静止物に対する自車両の位置を推定する。
【0050】
図6は、前処理部352での処理により得られる統合データD3を示す。この統合データD3では、物体の種類等については認識されず、自車両周囲の物体は一律に物標85と認識される(厳密には、動体と静止体とは分けられている)。また、各物標の細かい形状は認識されず、図6に示すように、大雑把な各物標の大きさや相対位置等が認識される。
【0051】
フリースペース探索部353は、前処理部352で位置が推定された動体・静止物(以下、対象物ともいう)との衝突を回避可能なフリースペースを探索する。例えば、フリースペース探索部353は、対象物の周囲数mを回避不能範囲とみなす等の所定のルールに基づいて設定される。フリースペース探索部353は、対象物が動体の場合には、移動速度を考慮してフリースペースを設定する。フリースペースとは、例えば、道路上であって、他の車両や歩行者等の動的な障害物、及び中央分離体やセンターポールなどの静的な障害物が存在しない領域をいう。フリースペースは、緊急駐車が可能な路肩のスペースを含んでいてもよい。
【0052】
経路生成部354は、フリースペース探索部353で探索されたフリースペースを通るような経路を算出する。経路生成部354による経路の算出方法は、特に限定されないが、例えば、フリースペースを通過する複数の経路を生成し、その複数の経路の中から経路コストが最も小さい経路を選択する。経路生成部354で算出された経路は、後述する目標運動決定部343に出力される。
【0053】
なお、上記で説明したセーフティ機能部50の機能は、従来から自動車等に採用されている物標等の認定方法及びその回避方法をルールベースに落とし込んだものであり、例えば、ASIL-D相当の機能安全レベルである。
【0054】
-1-3.主演算部(2)-
主演算部40は、「1-1.主演算部(1)」で説明したブロックに加えて、危険状態判断部341、第1車両モデル248、第2車両モデル249、経路決定部342、目標運動決定部343、車両運動エネルギー設定部344、エネルギーマネジメント部345、ドライバ操作認識部347及び、セレクタ410,420を備える。
【0055】
危険状態判断部341では、前処理部352の出力を基に、対象物との衝突や、車線の逸脱の可能性があると判断した場合に、それを回避するための走行経路(例えば、目標位置と車速)を設定する。
【0056】
ドライバ操作認識部347は、走行経路を決定するための情報としてドライバの操作量や操作方向を認識する。具体的には、ドライバ操作認識部347は、ドライバの操作を反映するセンサ情報を取得して、ドライバの操作量や操作方向に関する情報を経路決定部342に入力する。ドライバの操作を反映するセンサは、アクセルペダル、ブレーキペダル、ステアリング、各種スイッチ等の各種操作対象物への運転者の操作を検出するセンサを含むものである。
【0057】
経路決定部342では、経路生成部247で設定された走行経路と、セーフティ機能部50の経路生成部354で設定された走行経路と、ドライバ操作認識部347での認識結果とに基づいて、車両の走行経路を決定する。この走行経路の決定方法は、特に限定されないが、例えば、通常走行時は、経路生成部247で設定された走行経路を最優先するとしてもよい。また、経路生成部247で設定された走行経路が、フリースペース探索部353で探索されたフリースペースを通らない場合に、セーフティ機能部50の経路生成部354で設定された走行経路を選択するとしてもよい。また、ドライバの操作量や操作方向に応じて、選択された走行経路に調整を加えたり、ドライバの操作を優先したりするようにしてもよい。
【0058】
目標運動決定部343では、例えば、経路決定部342で決定された走行経路に対して、6軸の目標運動(例えば、加速度、角速度等)を決定する。目標運動決定部343は、6軸の目標運動の決定に際し、所定の第1車両モデル248を用いるようにしてもよい。車両6軸モデルとは、走行中の車両の「前後」「左右」「上下」の3軸方向の加速度と、「ピッチ」「ロール」「ヨー」の3軸方向の角速度を、モデル化したものである。すなわち、車両の動きを古典的な車両運動工学的な平面上のみ(車両の前後左右(X-Y移動)とヨー運動(Z軸)のみ)で捉えるのではなく、4つの車輪にサスペンションを介して乗っている車体のピッチング(Y軸)およびロール(X軸)運動とZ軸の移動(車体の上下動)の、合計6軸を用いて車両の挙動を再現する数値モデルである。第1車両モデル248は、例えば、あらかじめ設定された車両の基本運動機能、車内外の環境情報等に基づいて生成され、適宜更新される。
【0059】
車両運動エネルギー設定部344では、目標運動決定部343で決定された6軸の目標運動に対して、駆動系、操舵系、制動系に要求するトルクを計算する。駆動系とは、例えば、エンジンシステム、モータ、トランスミッションである。操舵系とは、例えば、ステアリングである。制動系とは、例えば、ブレーキである。
【0060】
エネルギーマネジメント部345は、目標運動決定部343で決定された目標運動を達成する上で、最もエネルギー効率がよくなるようにアクチュエータ類ACの制御量を算出する。具体的に例示すると、エネルギーマネジメント部345は、目標運動決定部343で決定されたエンジントルクを達成する上で、最も燃費が向上するような、吸排気バルブ(図示省略)の開閉タイミングやインジェクタ(図示省略)の燃料噴射タイミング等を算出する。アクチュエータ類ACには、例えば、エンジンシステムと、ブレーキと、ステアリングと、トランスミッションとが含まれる。エネルギーマネジメント部345は、エネルギーマネジメントを行うのに際して、所定の第2車両モデル249を用いるようにしてもよい。第2車両モデル249は、車両のエネルギー消費を示すモデルである。具体的には、車両のアクチュエータ類ACの動作に対する燃費や電費を示すモデルである。より詳しくは、第2車両モデル249は、例えば、所定量のエンジントルクを出力する上で、最も燃費が向上するような、吸排気バルブ(図示省略)の開閉タイミング、インジェクタ(図示省略)の燃料噴射タイミング、排気環流システムのバルブ開閉タイミング等がモデル化されたものである。第2車両モデル249は、例えば、車両の走行中に生成され、適宜更新される。
【0061】
セレクタ410は、主演算部40から出力された制御信号と、バックアップセーフティICユニット60から出力されたバックアップ制御信号とを受信する。セレクタ410は、通常運転時は、主演算部40から出力された制御信号を選択して出力する。一方、セレクタ410は、主演算部40の故障が検出された場合、バックアップセーフティICユニット60から出力されたバックアップ制御信号を選択して出力する。なお、バックアップセーフティICユニット60については、第2実施形態で説明する。
【0062】
-2.各ICユニットの構成例-
図3は、車両用制御装置CUは、各ICユニットの構成例を示すブロック図である。図3において、図2と対応するブロックについて共通の符号を付している。
【0063】
-2-1.信号処理ICユニット-
信号処理ICユニット10は、前述のとおり、車外環境を撮像するカメラ71から受信された撮像信号の画像処理を行い、画像データとして出力する。信号処理ICユニット10は、図3に示すように、物体認識部241の画像処理部241aと、物体認識部251の画像処理部251aとを有する。
【0064】
画像処理部241a,251aは、カメラ71の撮影した画像に対して、画像の歪み(この例ではカメラ71の広角化による歪み)を補正する歪み補正処理や、画像のホワイトバランスを調整するホワイトバランス調整処理などを行う。また、画像処理部241a,251aは、画像を構成する素子のうち認識処理ICユニット20での処理(物体の認定など)に不要な画素を削除したり、色彩に関するデータを間引いたり(車両を全て同じ色で表すなど)して、画像データD1を生成する。この画像データD1の段階では、画像に撮影されている物体等の外部環境の認識処理は行われていない。
【0065】
画像処理部241aで作成された画像データD1は、認識処理ICユニット20に設けられた、物体認識部241の認識部241bに入力される。画像処理部251aで作成された画像データD1は、認識処理ICユニット20に設けられた認識部251bに入力される。
【0066】
このように、本開示の技術では、物体認識部241,251の機能について、画像処理を行う画像処理部241a,251aについては信号処理ICユニット10に設ける一方で、物体等の車両の外部環境を認識するための認識処理を行う認識部241b,251bについては認識処理ICユニット20に設けている。
【0067】
図4は、画像データD1の一例を示す。この画像データD1に示された自車両の外部環境には、車道90と歩道92と空地93が含まれている。車道90は、自車両が移動することができる移動可能領域である。車道90には、センターライン91が含まれている。また、この画像データD1の自車両の外部環境には、他車両81と標識82と街路樹83と建物80が含まれている。他車両81(自動四輪車)は、時間経過により変位する動体の一例である。動体の他の例としては、自動二輪車、自転車、歩行者などが挙げられる。標識82と街路樹83は、時間経過により変位しない静止体の一例である。静止体の他の例としては、中央分離帯、センターポール、建物などが挙げられる。動体と静止体は、物標の一例である。
【0068】
図4に示す例では、車道90の外側に歩道92が設けられ、歩道92の外側(車道90から遠い側)に空地93が設けられている。また、図4に示す例では、車道90においてセンターライン91で分けられる2つの車線のうち自車両が走行する車線を1台の他車両81が走行し、2つの車線のうち対向車線を2台の他車両81が走行している。そして、歩道92の外側に沿うように標識82と街路樹83が並んでいる。また、自車両の前方の遠い位置に建物80が設けられている。
【0069】
-2-2.認識処理ICユニット-
認識処理ICユニット20は、前述のとおり、信号処理ICユニット10から出力された画像データを受信し、深層学習を利用して、画像データを基に道路と障害物を含む車外環境を推定する。認識処理ICユニット20は、図3に示すように、認識部241b,251bと、マップ生成部243と、外部環境推定部244と、外部環境モデル245と、経路探索部246と、経路生成部247と、第1車両モデル248と、第2車両モデル249とを備える。
【0070】
認識部241bは、信号処理ICユニット10から出力される画像データD1(映像データを含む)と、レーダ72で検出された反射波のピークリストとを受信する。認識部241bは、受信した画像データD1及び上記のピークリストに基づいて車外の物体を認識する。車外の物体認識には、従来から知られている画像や電波に基づく物体認識技術を適用することができる。認識部241bで認識処理された結果は、マップ生成部243に送られる。
【0071】
なお、マップ生成部243、外部環境推定部244、外部環境モデル245、経路探索部246及び経路生成部247についての機能・動作については、すでに説明しているので、ここではその詳細説明を省略する。第1車両モデル248及び第2車両モデル249についても、すでに説明しているので、ここではその詳細説明を省略する。
【0072】
図5は、外部環境推定部244の認識処理により得られるセグメンテーション画像D2の一例を示す。このセグメンテーション画像D2では、画素単位で、車道90、センターライン91、他車両81、標識82、街路樹83、歩道92、空地93、及び建物80のいずれかに分類されている。また、セグメンテーション画像D2では、各物標に対して、形状に関する情報まで認識されている。
【0073】
認識部251bは、認識部241bと同様に、信号処理ICユニット10から出力される画像データD1(映像データを含む)と、レーダ72で検出された反射波のピークリストとを受信する。認識部251bは、受信した画像データD1及びピークリストに基づいて車外の物体を認識する。なお、認識部251bはパターン認識を行う点で認識部241bと異なる。認識部251bによるパターン認識には、従来から知られている画像や電波に基づく物体認識技術を適用することができる。
【0074】
-2-3.判断処理ICユニット-
判断処理ICユニット30は、前述のとおり、認識処理ICユニット20から出力された外部環境データを受信し、その外部環境データに基づいて車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力する。判断処理ICユニット30は、認識処理ICユニット20とは別に、車両の走行経路を算出する機能を有している。判断処理ICユニット30での経路生成は、従来より自動車等に採用されている方法で、車両が安全に通過できる安全領域を設定し、その安全領域を通過するような経路を自動車が通過すべき走行経路として設定する。具体的には、判断処理ICユニット30は、分類部351と、前処理部352と、フリースペース探索部353と、経路生成部354とを備える。また、判断処理ICユニット30は、車両が走行すべき走行経路を決定して、該走行経路を追従するための車両の目標運動を算出するために、危険状態判断部341と、経路決定部342と、目標運動決定部343と、車両運動エネルギー設定部344と、エネルギーマネジメント部345とを備える。
【0075】
なお、分類部351、前処理部352、フリースペース探索部353、経路生成部354、危険状態判断部341、経路決定部342、目標運動決定部343、車両運動エネルギー設定部344及びエネルギーマネジメント部345についての機能・動作については、すでに説明しているので、ここではその詳細説明を省略する。
【0076】
以上のように、本実施形態によると、カメラの出力に対して画像処理を行うための信号処理ICユニット10を、他の構成から独立させた構成にしている。前述のとおり、車種展開において、車両に設置されるカメラの台数や設置場所、カメラの解像度が互いに異なる場合がある。また、車種展開に応じて、カメラから出力された画像処理について、アルゴリズムや処理能力を変える場合がある。そこで、本実施形態のような構成にすることにより、車種展開があった場合においても、信号処理ICユニット10の交換で対応することができる。そうすると、車種展開する場合に、例えば、後段の認識処理ICユニット20及び/または判断処理ICユニット30として車種間で共通のICユニットを用いることができる。
【0077】
また、前述のとおり、「車両の外部環境の認識処理」については、技術の進化の過程にあり、今後も技術の変遷が大きいことが予測される。そこで、認識処理を行うための認識処理ICユニット20を他の構成から独立させた構成にしている。これにより、車両のモデルサイクルの中で、適宜認識処理ICユニット20を最新のものに置き換えることができる。
【0078】
そして、認識処理ICユニット20の後段に、深層学習等を用いずに、認識部251bで認識された画像データとレーダ72からの情報とにより、所定のルールに基づくルールベースの手法により外部環境を推定する機能を有する判断処理ICユニット30を設けている。判断処理ICユニット30では、上記のルールベースの外部環境認識結果と、認識処理ICユニット20での認識結果を基に、車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力するようにしている。このような構成にすることで、例えば、判断処理ICユニット30では、成熟したプロセスを採用することが可能になり、車両の走行制御のための判断処理の信頼性を高めることができる。
【0079】
(実施形態2)
図7は、本実施形態に係る車両用制御装置CUの構成を示すブロック図である。図7の車両用制御装置CUでは、信号処理ICユニット10及び認識処理ICユニット20が、それぞれ2つずつ並列に設けられる点で図1の構成と異なる。また、本実施形態では、バックアップセーフティICユニット60を備える点で図1の構成と異なる。以下の説明では、図1との相違点を中心に説明するものとし、共通の構成について説明を省略する場合がある。
【0080】
本実施形態では、説明の便宜上、並列に設けられた信号処理ICユニット10に対して、10a,10bの符号を付している。同様に、並列に設けられた認識処理ICユニット20に対して、20a,20bの符号を付している。信号処理ICユニット10a,10bは、互いに同じであってもよいし、一部の機能や構成が互いに異なっていてもよい。認識処理ICユニット20a,20bは、互いに同じであってもよいし、一部の機能や構成が互いに異なっていてもよい。
【0081】
図7に示すように、信号処理ICユニット10aは、複数のカメラ71の一部であるカメラ71aから受信された撮像信号の画像処理を行い、画像データとして出力する。信号処理ICユニット10bは、複数のカメラ71の残部であるカメラ71bから受信された撮像信号の画像処理を行い、画像データとして出力する。信号処理ICユニット10a,10bの構成及び動作は、実施形態1で説明した信号処理ICユニット10と同様でよいので、ここではその詳細説明を省略する。
【0082】
認識処理ICユニット20aは、信号処理ICユニット10aから出力された画像データを受信し、その画像データに基づいて車両の外部環境の認識処理を行い、その認識処理で得られた外部環境データを出力する。ここで、認識処理ICユニット20aでは、マップ生成部243において、カメラ71aで認識された物体情報と、複数のレーダ72の一部であるレーダ72aで認識された物体情報とを統合し、マップに反映させる。それ以外の構成は、実施形態1で説明した認識処理ICユニット20と同様でよいので、ここではその詳細説明を省略する。
【0083】
認識処理ICユニット20bは、信号処理ICユニット10bから出力された画像データを受信し、その画像データに基づいて車両の外部環境の認識処理を行い、その認識処理で得られた外部環境データを出力する。ここで、認識処理ICユニット20bでは、マップ生成部243において、カメラ71bで認識された物体情報と、複数のレーダ72の一部であるレーダ72bで認識された物体情報とを統合し、マップに反映させる。
【0084】
ここで、例えば、カメラ71a及びレーダ72aは、両方の検出範囲を重ねると、自車両の外部環境を自車両の周囲360°に渡って認識できるように配置されている。同様に、カメラ71b及びレーダ72bは、両方の検出範囲を重ねると、自車両の外部環境を自車両の周囲360°に渡って認識できるように配置されている。
【0085】
認識処理ICユニット20bで処理された外部環境データは、例えば、認識処理ICユニット20aに出力される。認識処理ICユニット20aでは、自ユニットで処理された外部環境データと、認識処理ICユニット20bで処理された外部環境データとを統合して、判断処理ICユニット30に出力する。判断処理ICユニット30の構成及び動作は、実施形態1と同様でよいので、ここではその詳細説明を省略する。
【0086】
なお、認識処理ICユニット20a,20bが、それぞれ、処理された外部環境データを判断処理ICユニット30に出力してもよい。この場合、判断処理ICユニット30において、両方の認識処理ICユニット20a,20bからの外部環境データを用いて、車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力するとよい。
【0087】
-バックアップセーフティ機能部-
ここでは、バックアップセーフティICユニット60の構成及びバックアップセーフティICユニット60によるルールベースの経路生成について説明する。バックアップセーフティICユニット60は、ルールベースで最低限の安全停車位置への移動動作、停車動作ができるようにするために必要な構成を備えたものとなっている。より具体的には、走行中の車両が予め設定した基準を満たす停車位置に停車するまでの安全走行経路を生成するように構成され、その安全走行経路に沿って走行させるためのバックアップ目標運動を決定し、そのバックアップ目標運動を実現するためのバックアップ制御信号を各アクチュエータに出力するように構成されている。なお、具体的なブロック構成及びその機能については、セーフティ機能部50と同じような構成で実現することができる。
【0088】
以下、バックアップセーフティICユニット60の具体的な構成及び動作について説明する。
【0089】
図2に示すように、バックアップセーフティICユニット60では、物体認識部251(認識部251b)で認識された結果を基に、動体と静止物とが分類される。図2では、603の符号を付して「動体・静止物分類」と記載した回路ブロックで実行される。なお、物体認識部として、図2に示すように、セーフティ機能部50と共通のもの(物体認識部251)を使用してもよいし、個別に、バックアップセーフティICユニット60に設けられていてもよい。
【0090】
バックアップセーフティICユニット60は、車両状態を計測する車両状態計測部601と、運転者の操作状態を把握するドライバ操作認識部602とを備える。車両状態計測部601は、自車両の付属情報として経路生成に使用するために、車速情報・6軸情報に基づく車両状態を取得する。ドライバ操作認識部602は、ドライバ操作認識部347に相当する機能である。それ以外の機能については、主演算部40及びセーフティ機能部50とは独立して設けられているものの、実質的な機能は、これまで説明してきた構成と同様であり、ここではその詳細説明を省略する。具体的には、前処理部604は前処理部352に相当し、フリースペース探索部605はフリースペース探索部353に相当し、経路生成部606は経路生成部354に相当し、危険状態判断部607は危険状態判断部341に相当し、目標運動決定部608は目標運動決定部343に相当し、経路決定部609は経路決定部342に相当し、車両運動エネルギー設定部610は車両運動エネルギー設定部344に相当し、エネルギーマネジメント部611はエネルギーマネジメント部345に相当する。
【0091】
セレクタ410は、主演算部40から出力された制御信号と、バックアップセーフティICユニット60から出力されたバックアップ制御信号とを受信する。セレクタ410は、通常運転時は、主演算部40から出力された制御信号を選択して出力する。一方、セレクタ410は、主演算部40の故障が検出された場合のように車両に異常が検出された場合や、運転者の疾患のように運転者に異常を検知した場合に、バックアップセーフティICユニット60から出力されたバックアップ制御信号を選択して出力する。
【0092】
以上のように、本実施形態によると、実施形態1と同様の作用効果が得られる。さらに、本実施形態では、信号処理ICユニット10a,10b及び認識処理ICユニット20a,20bにおいて、2重処理系としているので、冗長性を確保することができる。具体的には、一方の処理系統が失陥しても、他方の処理系統でバックアップ処理をすることができる。また、一方の処理系統の処理結果を、他方の処理系統の処理結果で検証することができるので、機能安全レベルを向上させることができる。
【0093】
また、本実施形態では、バックアップセーフティICユニット60を設けているので、車両または乗員の少なくとも一方に異常が検出された場合に、ルールベースのセーフティバックアップICユニットの判断処理結果を使用することができる。これにより、機能安全レベルを向上させることができる。
【産業上の利用可能性】
【0094】
ここに開示された技術は、自動車に搭載される車両用制御装置として有用である。
【符号の説明】
【0095】
CU 車両用制御装置
10 信号処理ICユニット
20 認識処理ICユニット
30 判断処理ICユニット
60 バックアップセーフティICユニット
図1
図2A
図2B
図3
図4
図5
図6
図7