IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立オートモティブシステムズ株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089824
(43)【公開日】2024-07-04
(54)【発明の名称】走行支援装置、及び走行支援方法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20240627BHJP
   B60W 40/04 20060101ALI20240627BHJP
   B60W 30/08 20120101ALI20240627BHJP
   G06T 7/00 20170101ALI20240627BHJP
【FI】
G08G1/16 D
B60W40/04
B60W30/08
G06T7/00 350C
G06T7/00 650Z
【審査請求】未請求
【請求項の数】22
【出願形態】OL
(21)【出願番号】P 2022205275
(22)【出願日】2022-12-22
(71)【出願人】
【識別番号】509186579
【氏名又は名称】日立Astemo株式会社
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】伊藤 浩朗
(72)【発明者】
【氏名】岸本 真
(72)【発明者】
【氏名】小松 咲絵
【テーマコード(参考)】
3D241
5H181
5L096
【Fターム(参考)】
3D241BA31
3D241BA50
3D241CD09
3D241CD19
3D241CE05
3D241DC02Z
3D241DC05Z
3D241DC11Z
3D241DC18Z
3D241DC25Z
3D241DC30Z
5H181AA01
5H181BB20
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181FF27
5H181LL01
5H181LL02
5H181LL04
5H181LL09
5H181LL15
5L096BA04
5L096HA11
5L096JA16
5L096KA04
(57)【要約】
【課題】危険性の早期認識(安全の確保)と演算能力の適切な割り振りを図ることで、コンピュータ資源を有効に活用しながら、安全な走行支援を行うことができる走行支援装置、及び走行支援方法を提供する。
【解決手段】センサデータの画像情報の中から自車両の周囲の交通参加物が含まれる特定領域を抽出する領域抽出部11と、抽出した特定領域の交通参加物について、自車両にとって安全に走行する上でのリスク度合いを導出するリスク導出部15と、リスク度合いに対応して特定領域の処理優先度を設定する優先度設定部16と、処理優先度に対応して、特定領域の情報の処理負荷を設定する処理負荷設定部18と、前記処理負荷設定部からの処理負荷情報に基づいて交通参加物の認識を行う認識処理部19とを有する。
【選択図】図1
【特許請求の範囲】
【請求項1】
センサで取得したセンサデータの情報を処理する情報処理部と、前記情報処理部によって処理された情報を用いて車両の走行支援を行う車両制御部とを有する走行支援装置において、
前記情報処理部は、
前記センサデータの情報の中から自車両の周囲の交通参加物が含まれる特定領域を抽出する領域抽出部と、
抽出した前記特定領域の前記交通参加物について、前記自車両にとって安全に走行する上でのリスク度合いを導出するリスク導出部と、
前記リスク度合いに対応して前記特定領域の処理優先度を設定する優先度設定部と、
前記処理優先度に対応して、前記特定領域の前記交通参加物の情報の処理負荷を設定する処理負荷設定部と、
前記処理負荷設定部からの処理負荷情報に基づいて前記交通参加物の認識を行う認識処理部とを有する
ことを特徴とする走行支援装置。
【請求項2】
請求項1に記載の走行支援装置において、
前記優先度設定部は、
前記リスク度合いが高い前記特定領域を高リスク特定領域と設定し、前記高リスク特定領域に比べて前記リスク度合いが低い前記特定領域を低リスク特定領域と設定する
ことを特徴とする走行支援装置。
【請求項3】
請求項2に記載の走行支援装置において、
前記センサデータは、カメラによる画像情報であり、
前記領域抽出部は、前記画像情報から前記自車両の周囲の前記交通参加物が含まれる前記特定領域を抽出する
ことを特徴とする走行支援装置。
【請求項4】
請求項3に記載の走行支援装置において、
前記領域抽出部は、一枚の前記画像情報から前記特定領域を抽出する
ことを特徴とする走行支援装置。
【請求項5】
請求項4に記載の走行支援装置において、
前記領域抽出部は、前記画像情報から全体領域と、前記全体領域に存在する特定領域とを抽出し、
前記優先度設定部は、前記全体領域の処理優先度を前記特定領域の処理優先度よりも低く設定する
ことを特徴とする走行支援装置。
【請求項6】
請求項1に記載の走行支援装置において、
前記リスク導出部は、移動する移動交通参加物の挙動から、前記移動交通参加物の移動を予測して前記リスク度合いを導き出す
ことを特徴とする走行支援装置。
【請求項7】
請求項6に記載の走行支援装置において、
前記リスク導出部は、前記移動交通参加物の挙動に加えて、移動しない非移動交通参加物から前記移動交通参加物の移動を予測して前記リスク度合いを導き出す
ことを特徴とする走行支援装置。
【請求項8】
請求項6に記載の走行支援装置において、
前記リスク導出部は、前記移動交通参加物が前記自車両にとって安全に走行する上での障害になるまでの推定接触時間を推定し、前記推定接触時間に対応して前記リスク度合いを導き出す
ことを特徴とする走行支援装置。
【請求項9】
請求項8に記載の走行支援装置において、
前記リスク導出部によって推定される推定接触時間は、前記移動交通参加物が前記自車両と接触するまでの推定接触時間であり、前記推定接触時間に対応して前記リスク度合いを導き出す
ことを特徴とする走行支援装置。
【請求項10】
請求項9に記載の走行支援装置において、
前記リスク導出部は、前記移動交通参加物の大きさ、走行方向、走行速度、走行加速度を用いて前記推定接触時間を推定する
ことを特徴とする走行支援装置。
【請求項11】
請求項7に記載の走行支援装置において、
前記非移動交通参加物は、前記移動交通参加物の周囲の障害物、及び/または道路状況であり、
前記リスク導出部は、前記障害物、及び/または前記道路状況から前記移動交通参加物の挙動を予測し、前記移動交通参加物の移動を予測して前記リスク度合いを導き出す
ことを特徴とする走行支援装置。
【請求項12】
請求項1において、
前記車両制御部は、
前記リスク導出部のリスク度合いに関係する統計値によって危険な走行状態を検出し、危険な走行状態を脱するように制御出力を修正する
ことを特徴とする走行支援装置。
【請求項13】
請求項1において、
前記車両制御部は、
前記リスク導出部のリスク度合いの統計値によって危険な走行状態を検出し、警告を報知する
ことを特徴とする走行支援装置。
【請求項14】
請求項2に記載の走行支援装置において、
前記処理負荷設定部は、前記処理優先度に対応して前記高リスク特定領域の画像の解像度を、前記高リスク特定領域以外の画像の解像度に比べて高く設定する
ことを特徴とする走行支援装置。
【請求項15】
請求項2に記載の走行支援装置において、
前記処理負荷設定部は、前記処理優先度に対応して前記高リスク特定領域の画像の解像度を、前記低リスク特定領域の画像の解像度に比べて高く設定する
ことを特徴とする走行支援装置。
【請求項16】
請求項2に記載の走行支援装置において、
前記処理負荷設定部は、前記処理優先度に対応して前記高リスク特定領域の演算の処理周期を、前記高リスク特定領域以外の演算の処理周期に比べて短く設定する
ことを特徴とする走行支援装置。
【請求項17】
請求項2に記載の走行支援装置において、
前記処理負荷設定部は、前記処理優先度に対応して前記高リスク特定領域の演算の処理周期を、前記低リスク特定領域の演算の処理周期に比べて短く設定する
ことを特徴とする走行支援装置。
【請求項18】
請求項2に記載の走行支援装置において、
前記特定領域の画像は、畳み込みニューラルネットワークを用いて画像認識され、
前記処理負荷設定部は、前記処理優先度に対応して前記高リスク特定領域の前記畳み込みニューラルネットワークの縮約率を、前記特定領域以外の領域の前記畳み込みニューラルネットワークの前記縮約率に比べて小さく設定する
ことを特徴とする走行支援装置。
【請求項19】
請求項18に記載の走行支援装置において、
前記処理負荷設定部は、前記特定領域と前記特定領域以外の領域の合計処理時間が、目標処理時間以下となるように前記畳み込みニューラルネットワークの前記縮約率を設定する
ことを特徴とする走行支援装置。
【請求項20】
請求項1に記載の走行支援装置において、
前記領域抽出部は、前記センサデータの画像情報から死角領域を抽出し、
前記リスク導出部は、前記死角領域が前記自車両にとって安全に走行する上での障害になるまでの推定接触時間を推定し、前記推定接触時間に対応して前記リスク度合いを導き出す
ことを特徴とする走行支援装置。
【請求項21】
請求項1に記載の走行支援装置において、
前記センサは、レーザー距離センサとカメラであって、
前記レーザー距離センサの点群情報は前記領域抽出部に入力され、
前記カメラの画像情報は前記認識処理部に入力される
ことを特徴とする走行支援装置。
【請求項22】
センサで取得したセンサデータの情報を処理する情報処理部と、前記情報処理部によって処理された情報を用いて車両の走行支援を行う車両制御部とを有する走行支援装置の走行支援方法において、
前記情報処理部は、
前記センサデータの情報の中から自車両の周囲の交通参加物が含まれる特定領域を抽出し、
抽出した前記特定領域の前記交通参加物について、前記自車両にとって安全に走行する上でのリスク度合いを導出し、
前記リスク度合いに対応して前記特定領域の処理優先度を設定し、
前記処理優先度に対応して、前記特定領域の前記交通参加物の情報の処理負荷を設定し、
前記処理負荷に基づいて前記交通参加物の認識を行う
ことを特徴とする走行支援装置の走行支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は車両の走行を支援する走行支援装置、及び走行支援方法に係り、特に自動運転を行う車両に好適な走行支援装置、及び走行支援方法に関する。
【背景技術】
【0002】
最近では、高速道での高度な自動運転や、一般道での複雑な走行環境での運転支援等で走行制御の高度化が求められており、このためには精度の高い外界認識が必要である。外界認識の精度を高めるには、外界認識用センサの高性能化(例えば、カメラの高解像度化)や、外界認識用センサの搭載台数の増加といったことが考えられる。
【0003】
そして、外界認識の認識処理をリアルタイムに実行するには、画像処理を行うコンピュータの高い演算能力が必要であるが、現在のコンピュータの演算能力は十分であるとは言えない状況である。したがって、コンピュータ資源を有効に活用する手法が必要である。
【0004】
このための対策として、例えば特開2018-568383号公報(特許文献1)に記載されているように、認識処理する対象に優先度を設定し、この優先度に対応して演算能力を設定して、外界認識の精度向上と演算能力の適切な割り振りを図ることが提案されている。
【0005】
特許文献1においては、撮像画像を矩形状の複数の領域に分割し、直進方向、左折方向、及び右折方向に対応して、複数の領域に異なる解像度を設定している。具体的には、直進方向では撮像画像の中央領域付近の解像度を高く、中央領域以外は解像度を低く設定し、また左折方向では撮像画像の左側領域付近の解像度を高く、左側領域以外は解像度を低く設定し、同様に右折方向では撮像画像の右側領域付近の解像度を高く、右側領域以外は解像度を低く設定している。
【0006】
このように、車両の進行方向に対応して解像度の優先度を設定することで、外界認識の精度向上と演算能力の適切な割り振りを図ることができるようになる。これによって、コンピュータ資源を有効に活用することができる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2018-56838号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
ところで、特許文献1に記載されている外界認識では、車両の進行方向に対応して複数の領域に異なる解像度を設定している。しかしながら、この方法だと以下に述べるような状況には対応できないことが想定される。
【0009】
例えば、直進走行を行っている状況では、撮像画像の中央領域付近の解像度を高くしているので、この中央領域付近の外側の領域では解像度は高くない。このため、左側の領域や右側の領域に、自車両に接近してくる他車両が存在している場合、この他車両を認識する認識精度が高くないので、接近してくる他車両を認識するまでに時間が掛かり自車両と接触する恐れがある。もちろん左折方向や右折方向に自車両が進行している場合も同様の恐れがある。
【0010】
このように、接触等に代表される安全上の危険性の早期認識と演算能力の適切な割り振りを図り、コンピュータ資源を有効に活用しながら、安全な走行支援を行うことが求められている。
【0011】
本発明の目的は、危険性の早期認識(安全の確保)と演算能力の適切な割り振りを図ることで、コンピュータ資源を有効に活用しながら、安全な走行支援を行うことができる走行支援装置、及び走行支援方法を提供することにある。
【課題を解決するための手段】
【0012】
本発明は、
センサで取得したセンサデータの情報を処理する情報処理部と、情報処理部によって処理された情報を用いて車両の走行支援を行う車両制御部とを有する走行支援装置において、
情報処理部は、
センサデータの画像情報の中から自車両の周囲の交通参加物が含まれる特定領域を抽出する領域抽出部と、
抽出した特定領域の交通参加物について、自車両にとって安全に走行する上でのリスク度合いを導出するリスク導出部と、
リスク度合いに対応して特定領域の処理優先度を設定する優先度設定部と、
処理優先度に対応して、特定領域の情報の処理負荷を設定する処理負荷設定部と、
処理負荷設定部からの処理負荷情報に基づいて交通参加物の認識を行う認識処理部とを有する
ことを特徴とする。
【発明の効果】
【0013】
本発明によれば、危険性の早期認識(安全の確保)と演算能力の適切な割り振りを図ることができる。これによって、コンピュータ資源を有効に活用しながら、安全な走行支援を行うことができるようになる。
【図面の簡単な説明】
【0014】
図1】本発明の第1の実施形態になる走行支援装置の構成図である。
図2図1に示す走行支援装置における処理優先度を設定する制御フローを説明するフローチャート図である。
図3】カメラによって撮影された車両の前方画像であって、交通参加物の例を示す説明図である。
図4図3に示す画像の中の交通参加物が含まれる特定領域の例を示す説明図である。
図5図4に示す特定領域の交通参加物の衝突リスクを求める制御フローを説明するフローチャート図である。
図6A】衝突リスクの第1の例を示す説明図である。
図6B】衝突リスクの第2の例を示す説明図である。
図6C】衝突リスクの第3の例を示す説明図である。
図7】交通参加物の衝突リスクに基づく処理優先度を求める制御フローを説明するフローチャート図である。
図8】交通参加物の処理優先度に基づき解像度を調整する制御フローを説明するフローチャート図である。
図9図8の制御フローに基づいて調整された解像度による特定領域の画像の例を示す説明図である。
図10】交通参加物の処理優先度に基づき認識処理のレベルを調整する制御フローを説明するフローチャート図である。
図11】危険な走行状態を検出するためのパラメータを示す説明図である。
図12】危険な走行状態を検出するためのパラメータの具体例を示す説明図である。
図13A】危険な状態を避けるための第1の制御例の制御フローを説明するフローチャート図である。
図13B】危険な状態を避けるための第2の制御例の制御フローを説明するフローチャート図である。
図13C】危険な状態を避けるための第3の制御例の制御フローを説明するフローチャート図である。
図14】本発明の第2の実施形態になる交通参加物の処理優先度に基づき処理周期を調整する制御フローを説明するフローチャート図である。
図15図14の制御フローに基づき調整される処理周期の具体的な例を示す説明図である。
図16】本発明の第3の実施形態になる認識処理のための画像認識用ニューラルネットワークの構成を示す説明図である。
図17】本発明の第3の実施形態になる交通参加物の処理優先度に基づきニューロンの数を調整する制御フローを説明するフローチャート図である。
図18図17に示す制御フローによって調整される縮約率が大きい画像認識用ニューラルネットワークの例を示す説明図である。
図19図17に示す制御フローによって調整される縮約率が小さい画像認識用ニューラルネットワークの例を示す説明図である。
図20図17の制御フローに基づき調整された縮約率に基づいた処理スロットの処理の具体的な例を示す説明図である。
図21】カメラによって撮影された車両の前方画像であって、増加した交通参加物が含まれる特定領域の例を示す説明図である。
図22】本発明の第3の実施形態の変形例になる交通参加物の処理優先度に基づきニューロンの数を調整する制御フローを説明するフローチャート図である。
図23図22の制御フローに基づき調整された縮約率に基づいた処理スロットの処理の具体的な例を示す説明図である。
図24】カメラによって撮影された車両の前方画像であって、死角領域が含まれる特定領域の例を示す説明図である。
図25】本発明の第4の実施形態になる死角領域の衝突リスクを求める制御フローを説明するフローチャート図である。
図26】本発明の第5の実施形態になる走行支援装置の構成図である。
図27図26に示す処理負荷設定部に入力されるカメラの画像の例を示す説明図である。
図28】本発明の第6の実施形態になる走行支援装置の構成図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を用いて詳細に説明するが、本発明は以下の実施形態に限定されることなく、本発明の技術的な概念の中で種々の変形例や応用例をもその範囲に含むものである。
【実施例0016】
[全体のシステム構成の説明]
図1は、本発明の実施形態に係る走行支援装置の構成を示す機能ブロックを示している。尚、この走行支援装置は「車両の自動運転」や「車両の走行支援」を行うものである。また車両は代表的には自動車であるが、これ以外の走行車両(例えば、倉庫等で使用される荷物運搬車両)を対象とすることもできる。
【0017】
走行支援装置10は、少なくとも情報処理部11と車両制御部12とを備えており、車両制御部12からの制御出力は、アクチュエータ13に供給されている。制御出力は車両の走行状態を制御するものであり、代表的にはブレーキ制御、アクセル制御、ステアリング制御等の制御出力を、アクチュエータ13に与えて車両の走行を制御する。ブレーキ制御、アクセル制御、ステアリング制御等のアクチュエータは、公知のアクチュエータを使用することができる。
【0018】
情報処理部11は、例えば、中央演算処理装置であるCPU(Central Processing Unit)を含んで構成される。ただし、CPUに加えて、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等を含んで構成されても良いし、いずれか1つにより構成されても良い。
【0019】
本発明では情報処理部11を対象とするので、以下では主に情報処理部11の実施形態について説明を行うが、本実施形態の基本的な考え方は以下の通りである。
【0020】
本実施形態では図1に示すように、情報処理部11は少なくとも、センサデータの画像情報の中から自車両の周囲の交通参加物が含まれる特定領域を抽出する領域抽出部14と、抽出した特定領域の交通参加物について、自車両にとって安全に走行する上でのリスク度合いを導出するリスク導出部15と、リスク度合いに対応して特定領域の処理優先度を設定する優先度設定部16と、処理優先度に対応して、特定領域の情報の処理負荷を設定して画像の認識を行う画像認識部17を有することを特徴とする。
【0021】
ここで、画像認識部17は、情報の処理負荷に関する設定を行う処理負荷設定部18と、認識処理部19を備えている。尚、以下では画像認識部17として説明する場合と、交通参加物を認識する処理負荷設定部18と認識処理部19として説明することもある。
【0022】
情報処理部11は、上述のように、領域抽出部14、リスク導出部15、優先度設定部16、画像認識部17を有しているが、これらの制御機能は、情報処理部11が備える記憶部に格納されている所定の制御プログラムを実行することで実現することができる。
【0023】
図2は、処理優先度を設定する代表的な制御フローを示しており、これは上述の制御プログラムによって実行されるものである。
【0024】
≪S01≫
ステップS01においては、撮像した画像の画面全体を同一の優先度で設定する。この優先度は、初期設定なのでいずれの優先度であっても良い。初期設定の優先度を設定するとステップS02に移行する。
【0025】
≪S02≫
ステップS02においては、撮像した画像の画面全体の中で、自車両と接触の可能性がある交通参加物があるか否かを検出する。自車両と接触の可能性がある交通参加物があると判断される場合は交通参加物の含まれる領域を検出する。そして、接触可能性がある交通参加物が無いと判断されると再びステップS02の処理を実行する。一方、接触可能性がある交通参加物があると判断されるとステップS03に移行する。尚、接触可能性においても「大/中/小」いったレベルを付与することもできる。
【0026】
≪S03≫
ステップS03においては、接触可能性のレベルや交通参加物の数に対応して各領域の処理優先度を設定する。処理優先度を設定するとステップS04に移行する。ここで、優先度が設定されると、処理優先度に対応した演算処理が実行される。
【0027】
例えば、処理優先度に対応した演算処理として、画像の解像度、画像処理の周期、認識処理の処理内容、ニューラルネットワークでの縮約率といった処理を処理優先度に対応して変更することができる。尚、これらについては後述する。
【0028】
≪S04≫
ステップS04においては、前回の処理動作の結果に比べて接触可能性のある交通参加物の増減が発生したか否かを検出する。接触可能性のある交通参加物に増減が発生していない場合は再びステップS04の処理を実行する。一方、接触可能性のある交通参加物に増減が発生した場合はステップS05に移行する。
【0029】
≪S05≫
ステップS05においては、接触可能性がある全ての交通参加物が消滅したか否かを検出する。接触可能性のある交通参加物が消滅していない場合は再びステップS03の処理を実行する。一方、接触可能性のある交通参加物が消滅した場合はステップS01に戻って同じ処理を繰り返すことになる。
【0030】
これによれば、接触等に代表される危険性の早期認識(安全の確保)と演算能力の適切な割り振りを図ることができ、コンピュータ資源を有効に活用しながら、安全な走行支援を行うことができるようになる。
【0031】
次に、図1に戻って走行支援装置10を構成する夫々の構成要素の機能について説明する。
【0032】
[領域抽出部の説明]
領域抽出部14には、カメラ、レーダ(RADAR)、ライダー(LiDAR)等のセンサ群20からのセンサデータが入力されている。例えば、本実施形態では図3にカメラによる画像情報(センサデータ)が示されている。この画像情報は、自車両から見た前方の或る時刻での一枚の画像情報であり、自車両付近の駐車車両201、対向車両202、203、及び自転車204が撮像されて示されている。そして、領域抽出部14は、この一枚の画像情報から交通参加物(いわゆるオブジェクト)が存在する特定領域を抽出する。
【0033】
ここで、交通参加物は、移動する移動交通参加物と移動しない非移動交通参加物とがある。移動交通参加物は、例えば、対向車両202、203や自転車204である。また、非移動交通参加物は、駐車車両201や道路状況(道路の形状、縁石等の道路の構成物、落下した荷物等)である。
【0034】
そして、画像情報から交通参加物が存在する特定領域を抽出する方法として、例えば、(1)Region Proposal Network、(2)Selective Search、(3)CPMC(Constrained Parametric Min-Cuts)等の手法を用いれば、交通参加物が含まれる領域を特定することができる。
【0035】
図4に特定領域を抽出した例を示しており、例えば、駐車車両201を含む矩形の特定領域301、対向車両202、203を含む矩形の特定領域302、303、及び自転車204を含む矩形の特定領域304が抽出されて示されている。尚、このとき特定領域の抽出と共に、画像情報の全体領域305を同時に抽出している。これは、後述するが、特定領域301~304と特定領域を除く全体領域305とで、演算能力を割り振るために抽出しているものである。
【0036】
領域抽出部14で特定領域の抽出が行われると、これらの特定領域のリスク度合いが、リスク導出部15で判断される。
【0037】
[リスク導出部の説明]
リスク導出部15は、領域抽出部14で抽出された交通参加物201~204が自車両に対して危険な挙動を行っていないかどうかのリスク度合いの判断を実行する。リスク度合いとは、自車両に対して安全に走行する上でのリスクの大きさ、つまり「危険度」であり、例えば、自車両に他車両が接近して接触、衝突するといった状況である。このため、接触、衝突しそうな他車両を速い時期に認識しなければならず、この認識に演算能力を多く割り当てることが必要である。
【0038】
本実施形態では、推定接触時間TTC(Time To Collision)を用いてリスク度合いの判断に利用している。このため、リスク導出部15には、GPS部21から位置情報が入力され、MAP部22から地図情報が入力され、車速センサ23から車速情報が入力されている。尚、これら以外の情報を用いることもできる。これらの情報によって自車両に他車両が接触、衝突するまでの推定接触時間が求められる。そして、この推定接触時間TTCが短いほどリスク度合いが高いと見做される。尚、推定接触時間TTCの算出方法は良く知られているので詳細な説明は省略する。
【0039】
次にこのリスク度合いを判断する制御フローについて図5を用いて説明する。尚、特定領域の個数は(N)個であり、図4では特定領域は4個である。
【0040】
≪ステップS10≫
ステップS10においては、1個目の第1特定領域のリスク判断であることを示すため、「(i)=1」にセットする。これによって、第1特定領域のリスク度合いの判断を実行する。(i)が「1」にセットされるとステップS11に移行する。
【0041】
≪ステップS11≫
ステップS11においては、自車両の速度を取得する。この自車両の速度は自身の速度センサからの出力によって求めることができる。尚、GPS部21からの位置信号の変化によっても求めることができ、その手段は限定されないものである。自車両の速度を取得するとステップS12に移行する。
【0042】
≪ステップS12≫
ステップS12においては、特定領域(i=1)の速度を取得する。この特定領域(i=1)の速度は、画像情報から求めることができ、この速度を求める手法も良く知られている。特定領域(i=1)の速度を取得するとステップS13に移行する。
【0043】
≪ステップS13≫
ステップS13においては、特定領域(i=1)と自車両との間の距離(車間距離)を取得する。この車間距離も画像情報から取得でき、この車間距離を求める手法も良く知られている。特定領域(i=1)と自車両の間の距離を取得するとステップS14に移行する。
【0044】
≪ステップS14≫
ステップS14においては、特定領域(i=1)の進行経路を予測する。この進行経路は、地図情報を基に予測することができる。また、地図情報から道路形状、道路領域、白線、交通標識等の道路状況を求めることができる。特定領域(i=1)の進行経路を予測するとステップS15に移行する。
【0045】
≪ステップS15≫
ステップS15においては、上述した制御ステップで求めた特定領域(i=1)の進行経路と自車両の進行経路の交点があるか、つまり接触、衝突の恐れがあるか否かの判断を実行する。自車両の進行経路と特定領域(i=1)の進行経路の交点があると判断されるとステップS16に移行し、進行経路の交点がないと判断されるとステップS19に移行する。
【0046】
≪ステップS16≫
ステップS16においては、特定領域(i=1)と自車両の推定接触時間TTC(i=1)を算出する。推定接触時間TTC(i=1)の算出は、上述した制御ステップで求めた特定領域(i=1)と自車両の速度差(相対速度)と、自車両と特定領域(i=1)の間の距離とから求めることができる。推定接触時間TTC(i=1)が求まると、ステップS17に移行する。
【0047】
≪ステップS17≫
ステップS17においては、ステップS17で求めた推定接触時間TTC(i=1)が、予め定めた推定接触時間閾値TTCthに比べて、短いか否かが判断される。推定接触時間TTC(i=1)が、予め定めた推定接触時間閾値TTCthに比べて短いと判断されると接触、衝突の危険性が高いと見做してステップS18に移行し、推定接触時間TTC(i=1)が、予め定めた推定接触時間閾値TTCthに比べて長いと判断されると接触、衝突の危険性が低いと見做してステップS19に移行する。
【0048】
≪ステップS18≫
ステップS18においては、ステップS17で接触、衝突の危険性が高いと見做されているので、リスク度合いを「risk(i)=1」として、ステップS20に移行する。ここで、右辺の「1」は高リスクであることを示している。これによって、特定領域(i=1)は高リスク特定領域とされる。
【0049】
≪ステップS19≫
ステップS19においては、ステップS15で進行経路の交点がないと見做されている、或いはステップS17で接触、衝突の危険性が低いと見做されているので、リスク度合いを「risk(i)=0」としてステップS20に移行する。ここで、右辺の「0」は低リスクであることを示している。これによって、特定領域(i=1)は低リスク特定領域とされる。
【0050】
≪ステップS20≫
ステップS20においては、現在のリスク度合いの判断が全ての特定領域(N)に対して実行されたか否かを判断している。したがって、全ての特定領域(N)に対してリスク度合いの判断が実行された場合は終了に抜けることになる。
【0051】
一方、全ての特定領域(N)に対してリスク度合いの判断が実行されていない場合、ここでは特定領域(i=1)のリスク度合いの判断を実行しているので、ステップS21に移行する。
【0052】
≪ステップS21≫
ステップS21においては、(i)を「i+1」にセットすることによって、再びステップS12に戻って第2特定領域のリスク度合いの判断を実行する。以下、(i)が「N」に達するまで、上述の制御ステップが実行される。図3では、自転車204が駐車車両201を避けて右側に寄ると推測され、自車両と衝突の恐れがあるので、図4において、特定領域304は高リスク特定領域となり、特定領域301~302は対向車両なので、自車両の走行に影響を及ぼさず衝突の恐れがないので、低リスク特定領域となる。また、特定領域301は駐車車両なので、自車両の走行に影響を及ぼさず衝突の恐れがないので、低リスク特定領域となる。
【0053】
ここで、特定領域のリスクの判定は高リスクと低リスクの2つのレベルで説明しているが、これに限らず3つ以上のレベルに設定することもできる。例えば、特定領域を除いた画像情報を背景レベルとすることによって、図4にあるように、リスク度合いを「高リスク特定領域304>低リスク特定領域301、302、303>背景領域305」のように設定できる。もちろん、高リスク特定領域、低リスク特定領域を更に細かくレベル分けすることも可能である。
【0054】
このように、本実施形態では、推定接触時間TTCを利用してリスク度合いを判断することができる。尚、図6A図6Cに高リスク特定領域の例を示している。
【0055】
図6Aでは、駐車車両を避けるために自車両に他車両が接触する可能性がある場合の例である。自車両の周囲に駐車車両301、対向車両302、303、自転車304が存在している。駐車車両301、対向車両302、303は自車両と接触、衝突する危険性は低く、低リスク特定領域と判断される。一方、上述したように自転車304は側方に位置する駐車車両301を避けるため、自車両の前に移動することが予測されるので、高リスク特定領域と判断される。尚、対向車両302、303や自転車304は、「移動交通参加物」の一種である。
【0056】
図6Bは、道路状況の変化により自車両に周辺車両305が接触する可能性がある場合の例である。周辺車両305の前方には、自車両の進行方向に向けて道路の方向が変化する曲がり形状領域306が存在している。このため周辺車両305は現在の走行車線から自車両の走行車線に進入して自車両の前に移動することが予測されるので、高リスク特定領域と判断される。尚、地図情報から求められる曲がり形状領域306等の道路状況は、「非移動交通参加物」の一種である。
【0057】
図6Cは、後方からの追い抜き等により、自車両に他車両が接触する可能性がある場合の例である。自車両と周辺車両305とが併進している状態で、後方から高速の自動二輪車307が追い抜きを行い、自車両の前に移動することが予測されるので、高リスク特定領域と判断される。尚、周辺車両305や自動二輪車307は、「移動交通参加物」の一種である。
【0058】
このように、リスク導出部15は、領域抽出部14で抽出された、自車両の前方、側方、及び後方に存在する交通参加物が、自車両に対して危険な挙動を行うか否かを予測してリスク度合いの判断を実行する機能を備えている。
【0059】
更に詳しくは、リスク導出部15は、移動する移動交通参加物の挙動から、移動交通参加物の移動を予測してリスク度合いを導き出す機能を備えている。また、リスク導出部15は、移動交通参加物の挙動に加えて、移動しない非移動交通参加物から、移動交通参加物の移動を予測して上記リスク度合いを導き出す機能を備えている。
【0060】
更に、リスク導出部15は、移動交通参加物が自車両にとって安全に走行する上での障害になるまでの推定接触時間を推定し、推定接触時間に対応してリスクを導き出す機能を備えている。また、リスク導出部15によって推定される推定接触時間は、移動交通参加物が自車両と接触するまでの推定接触時間であり、推定接触時間に対応してリスクを導き出す機能を備えている。
【0061】
更に、リスク導出部15は、移動交通参加物の大きさ、走行方向、走行速度、走行加速度を用いて推定接触時間を推定する機能を備えている。また、非移動交通参加物は、移動交通参加物の周囲の障害物、及び/または道路状況であり、リスク導出部15は、障害物、及び/または道路状況から移動交通参加物の挙動を予測し、移動交通参加物の移動を予測してリスク度合いを導き出す機能を備えている。
【0062】
ここで、図5の制御フローでは、自車両との推定接触時間TTCを元にリスク度合いを、高リスクと低リスクの2レベルで判定しているが、これとは別に自車両との接触可能性が低くても、通常と異なる挙動をしている移動交通参加物の場合は高リスクとすることもできる。
【0063】
例えば、(1)移動交通参加物の走行軌跡がふらついている、(2)周辺車両に対して極端に車間を詰めている、(3)周辺車両より極端に速い、或いは遅い、(4)加速・減速が激しい、などといった挙動であり、これらの挙動に基づいてリスク度合いを求めることもできる。
【0064】
また、移動交通参加物以外もリスク度合いを算出する対象物としても良い。例えば、(1)道路上の落下物、(2)走行道路に接続された路地から飛び出してくるボールや動物、(3)周辺車両から落ちた荷物、外れたタイヤ、などといった事物である。
【0065】
更に図5では、自車両との推定接触時間TTCを元にリスク度合いを判定しているが、自車両との接触の危険性が小さい特定領域であっても、自車両との距離が短い場合にはリスク度合いを高く設定することも可能である。これにより、何らかの状況の変化が発生した場合に、特定領域に対する認識処理の優先度を高く設定することが可能になる。
【0066】
リスク導出部15で、特定領域のリスク度合いが導き出されると、リスク度合いに対応した処理優先度が設定される。
【0067】
[優先度設定部の説明]
優先度設定部16は、リスク導出部15で導き出された特定領域のリスク度合いに対応して特定領域の処理優先度を設定する機能を実行する。この処理優先度は、コンピュータの演算能力を割り振るための指標であり、リスク度合いと紐付けられている。後述するが、処理優先度の高い特定領域では、認識処理の処理負荷は大きいが、認識精度が高くできる。逆に処理優先度の低い特定領域では、認識精度はさほど高くないが、認識処置の処理負荷を低減することができる。
【0068】
次にこの処理優先度を設定する制御フローについて図7を用いて説明する。尚、特定領域の個数は(N)個であり、図4では特定領域は4個である。
【0069】
≪ステップS30≫
ステップS30においては、1個目の第1特定領域の処理優先度を設定することを示すため、「(i)=1」にセットする。これによって、第1特定領域の処理優先度の設定を実行する。(i)が「1」にセットされるとステップS31に移行する。
【0070】
≪ステップS31≫
ステップS31においては、第1特定領域のリスク度合いが高リスク「1」かどうかを判断する。このリスク度合いは、図5のステップS18~S19の判断結果を参照している。そして、リスク度合いが高リスク「1」と判断されるとステップS32に移行し、リスク度合いが高リスク「1」でない、言い換えると低リスク「0」と判断されるとステップS33に移行する。
【0071】
≪ステップS32≫
ステップS31でリスク度合いが高リスク「1」と判断されているので、ステップS32においては、処理優先度を高処理優先度「priority(i)=1」と設定する。ここで、右辺の「1」は高処理優先度であることを示している。これは上述したように、認識処理の処理負荷は大きいが、認識精度を高くすることができるようにコンピュータの演算能力を割り振るものである。処理優先度を設定するとステップS34に移行する。
【0072】
≪ステップS33≫
ステップS31でリスク度合いが低リスク「0」と判断されているので、ステップS33においては、処理優先度を低処理優先度「priority(i)=0」と設定する。ここで、右辺の「0」は低処理優先度であることを示している。これは上述したように、認識精度はさほど高くないが、認識処置の処理負荷を低減することができるようにコンピュータの演算能力を割り振るものである。処理優先度を設定するとステップS34に移行する。
【0073】
≪ステップS34≫
ステップS34においては、現在の処理優先度の設定が全ての特定領域(N)に対して実行されたか否かを判断している。したがって、全ての特定領域(N)に対して処理優先度の設定が実行された場合は、終了に抜けることになる。
【0074】
一方、全ての特定領域(N)に対して処理優先度の設定が実行されていない場合、ここでは特定領域(i=1)の処理優先度の設定を実行しているので、ステップS35に移行する。
【0075】
≪ステップS35≫
ステップS35においては、(i)を「i+1」にセットすることによって、再びステップS31に戻って第2特定領域のリスク度合いの判断を実行する。以下、(i)が「N」に達するまで、上述の制御ステップが実行される。図4では、特定領域304は処理優先度が高くなり、特定領域301~303は処理優先度が低くなる。
【0076】
優先度設定部16で特定領域の処理優先度が設定されると、処理優先度に対応した優先処理が画像認識部17で実行される。
【0077】
[画像認識部の説明]
画像認識部17は、少なくとも処理負荷設定部18と認識処理部19とから構成されている。
【0078】
[(1)処理負荷設定部の説明]
画像認識部17を構成する処理負荷設定部18は、優先度設定部16で設定された特定領域の処理優先度に対応して特定領域の処理負荷を設定して実行する機能を備える。この処理負荷設定部18は、後続する認識処理部19での認識処理の負荷を、特定領域の処理優先度に合せて割り振るものである。
【0079】
次にこの特定領域の処理負荷を設定して実行する制御フローについて図8を用いて説明する。尚、特定領域の個数は(N)個であり、図4では特定領域は4個である。また、処理負荷の設定として画像の解像度を調整する事例を説明する。
【0080】
≪ステップS40≫
ステップS40においては、1個目の第1特定領域の処理負荷を設定/実行することを示すため、「(i)=1」にセットする。これによって、以下の第1特定領域の処理負荷が設定されて実行される。(i)が「1」にセットされるとステップS41に移行する。
【0081】
≪ステップS41≫
ステップS41においては、第1特定領域の処理優先度が高処理優先度「1」かどうかを判断する。この処理優先度は、図7のステップS32~S33の判断結果を参照している。そして、処理優先度が高処理優先度「1」と判断されるとステップS42に移行し、処理優先度が高処理優先度「1」でない、言い換えると低処理優先度「0」と判断されるとステップS43に移行する。
【0082】
≪ステップS42≫
ステップS41で処理優先度が高処理優先度「1」と判断されているので、ステップS42においては、画像の解像度を縦/横とも「1」と設定する。これは特定領域の画像情報をそのまま使用して認識処理を実行することになる。特定領域の画像情報の処理を実行するとステップS44に移行する。
【0083】
≪ステップS43≫
ステップS41で処理優先度が低処理優先度「0」と判断されているので、ステップS43においては、画像の解像度を縦/横とも「1/2」と設定する。これは特定領域の画像情報を1/2に圧縮して画像情報を低減して認識処理を実行することになる。特定領域の画像情報の処理を実行するとステップS44に移行する。
【0084】
≪ステップS44≫
ステップS44においては、現在の処理負荷の設定と実行が全ての特定領域(N)に対して実行されたか否かを判断している。したがって、全ての特定領域(N)に対して処理負荷の設定と実行が完了された場合は終了に抜けることになる。
【0085】
一方、全ての特定領域(N)に対して処理負荷の設定と実行が完了されていない場合、ここでは特定領域(i=1)の処理負荷の設定と実行を行っているので、ステップS45に移行する。
【0086】
≪ステップS45≫
ステップS45においては、(i)を「i+1」にセットすることによって、再びステップS41に戻って第2特定領域の処理優先度の判断を実行する。以下、(i)が「N」に達するまで、上述の制御ステップが実行される。図4では、特定領域304の解像度は「1/1」であり、特定領域301~303の解像度は「1/2」である。
【0087】
図8に示す制御フローによって実行される画像情報の処理を、図9によって簡単に説明する。図9は、特定領域と、特定領域で抽出した画像と、処理負荷設定部18での処理負荷の設定と、認識処理部19に入力される特定領域の画像を示している。この場合、図4に示す状態を基礎としている。
【0088】
特定領域301は駐車車両であり、リスク度合い、及び処理優先度は「0」である。このため、処理負荷設定部18では、解像度を縦横とも「1/2」に設定して画像情報を1/2に低減して認識処理部19に送ることになる。
【0089】
同様に、特定領域302、303は対向車両であり、リスク度合い、及び処理優先度は「0」である。このため、処理負荷設定部18では、解像度を縦横とも「1/2」に設定して画像情報を1/2に低減して認識処理部19に送ることになる。
【0090】
一方、特定領域304は自転車であり、リスク度合い、及び処理優先度は「1」である。このため、処理負荷設定部18では、解像度を縦横とも「1」に設定して画像情報をそのまま認識処理部19に送ることになる。
【0091】
[(2)認識処理部の説明]
次に、画像認識部17を構成する認識処理部19においては、処理負荷設定部18から送られてきた画像情報から、特定領域の交通参加物のクラスを識別する。ここでクラスとは例えば、車両、二輪車、歩行者等を意味しており、これらの種類を識別して認識することができる。更に、これらの車両、二輪車、歩行者等の移動方向、移動速度、移動加速度等についても識別して認識することができる。
【0092】
したがって、処理負荷設定部18で、処理優先度に応じて特定領域の解像度(画像サイズ)を設定しているため、認識処理部19は、優先度の高い特定領域では高い解像度が設定されているため、認識処理の処理負荷は大きいが、高い認識精度が期待できる。一方、優先度の低い特定領域では低い解像度が設定されているため、処理負荷の低減が期待できる。
【0093】
尚、認識処理部19では、処理優先度に対応して認識すべき項目を調整して設定することも可能である。図10にその制御フローを示している。
【0094】
≪ステップS50≫
ステップS50においては、1個目の第1特定領域の処理負荷を設定/実行することを示すため、「(i)=1」にセットする。これによって、以下の第1特定領域の認識処理が設定されて実行される。(i)が「1」にセットされるとステップS51に移行する。
【0095】
≪ステップS51≫
ステップS51においては、第1特定領域の処理優先度が高処理優先度「1」かどうかを判断する。この処理優先度は、図7のステップS32~S33の判断結果を参照している。そして、処理優先度が高処理優先度「1」と判断されるとステップS52に移行し、処理優先度が高処理優先度「1」でない、言い換えると低処理優先度「0」と判断されるとステップS53に移行する。
【0096】
≪ステップS52≫
ステップS51で処理優先度が高処理優先度「1」と判断されているので、ステップS52においては、詳細な認識処理を実行する。詳細な認識処理とは、特定領域の交通参加物のクラス(車両/二輪車/歩行者等)の識別と、車両/二輪車/歩行者等の移動方向、移動速度、移動加速度等を認識する処理である。特定領域の交通参加物の認識処理を実行するとステップS54に移行する。
【0097】
≪ステップS53≫
ステップS51で処理優先度が低処理優先度「0」と判断されているので、ステップS53においては、簡易な認識処理を実行する。簡易な認識処理とは、特定領域の交通参加物のクラス(車両/二輪車/歩行者等)を識別する処理である。車両/二輪車/歩行者等の移動方向、移動速度、移動加速度等を認識する処理は実行されない。特定領域の交通参加物の認識処理を実行するとステップS54に移行する。
【0098】
≪ステップS54≫
ステップS54においては、認識処理が全ての特定領域(N)に対して実行されたか否かを判断している。したがって、全ての特定領域(N)に対して認識処理が完了された場合は終了に抜けることになる。
【0099】
一方、全ての特定領域(N)に対して認識処理が完了されていない場合、ここでは特定領域(i=1)の認識処理を行っているので、ステップS55に移行する。
【0100】
≪ステップS55≫
ステップS55においては、(i)を「i+1」にセットすることによって、再びステップS51に戻って第2特定領域の認識処理を実行する。以下、(i)が「N」に達するまで、上述の制御ステップが実行される。
【0101】
これによれば、更に演算能力の適切な割り振りを図ることができ、コンピュータ資源を有効に活用することができる。
【0102】
[車両制御部、及びアクチュエータの説明]
車両制御部12は、認識処理部19で認識された交通参加物の挙動等に合せてアクチュエータに送る制御信号を演算する。代表的にはブレーキ制御、アクセル制御、ステアリング制御等の制御出力を、アクチュエータ13に与えて自車両の走行を制御する。
【0103】
尚、車両制御部12は、上述したリスク導出部15のリスク度合い、推定接触時間TTCや、アクチュエータ13による車両の加速度、減速度、操舵角速度等の統計値によって危険な走行状態を検出して、走行制御のために制御出力を修正したり、運転者等に警告を報知したりすることができる。以下、その具体的な例を説明する。
【0104】
図11は、危険な走行状態を検出するためのパラメータを示している。第1のパラメータは、リスク導出部15において求められるリスク度合いが「高い」と設定された特定領域数の統計値(例えば、単位時間当たりの平均個数など)であり、第2のパラメータは、リスク導出部15において求められたリスク度合いが「高い」と設定された特定領域における接触推定時間TTCの統計値(例えば、平均値等)であり、第3のパラメータは、アクチュエータ13における加速度、減速度、操舵角速度の統計値(平均値等)である。
【0105】
図12にその具体例を示している。図12においては、(1)走行エリア、(2)走行日、(3)単位時間あたりの高リスク特定領域の平均個数、(4)高リスク特定領域の平均接触推定時間TTC、(5)自車両の平均加速度の5項目に対する異なった日時の夫々の平均値を示している。また、これ以外にも自車両の速度をパラメータとすることもできる。尚、全体的な夫々の統計値(平均値)は図示している計算式(1)~(3)で求めている。
【0106】
そして、これらのパラメータを使用して、通常動作時の状態を算出、或いは学習し、通常状態から大きく外れる状態の場合には、走行状態が危険になっているとして、制御出力を修正したり、運転者に警告を報知したりすることができる。
【0107】
次に、これの具体的な制御フローを図13A図13Cに基づいて説明する。図13Aは運転者に警告を報知する例である。
【0108】
≪ステップS60≫
ステップS60においては、図11図12に示すような手法によって、リスク度合いが「高い」と設定された特定領域数の平均個数Naveを取得し、更に現時点のリスク度合いが「高い」と設定された特定領域数Ncurrを取得する。これらの情報を取得するとステップS61に移行する。
【0109】
≪ステップS61≫
ステップS61においては、現時点のリスク度合いが「高い」と設定された特定領域数Ncurrが、リスク度合いが「高い」と設定された特定領域数の平均個数Naveより大きいか否かを判断する。これによって、通常走行時に比べてリスク度合いが「高い」と設定された特定領域数Ncurrが大きい場合は危険な状態と判断することができる。
【0110】
そして、現時点のリスク度合いが「高い」と設定された特定領域数Ncurrがリスク度合いが「高い」と設定された特定領域数の平均個数Naveより大きいとステップS69に移行し、現時点のリスク度合いが「高い」と設定された特定領域数Ncurrが、リスク度合いが「高い」と設定された特定領域数の平均個数Naveより小さいと終了に抜けて処理を終了する。
【0111】
≪ステップS69≫
ステップS61で、現時点のリスク度合いが「高い」と設定された特定領域数Ncurrが、リスク度合いが「高い」と設定された特定領域数の平均個数Naveより大きいと判断されて危険な状態と見做されている。このためステップS69では、現在の状況に危険があることを表示装置やスピーカで報知して運転者に注意を促すことを行っている。
【0112】
次に、図13Bは制御出力として自車両と他車両の目速車両間隔を修正する例である。尚、車両間隔は接触推定時間TTCを代替パラメータとして使用している。
【0113】
≪ステップS63≫
ステップS63においては、図11図12に示すような手法によって、リスク度合いが「高い」と設定された特定領域の平均TTC値TTCaveを取得し、更に現時点のリスク度合いが「高い」と設定された特定領域のTTC値TTCcurrを取得する。これらの情報を取得するとステップS64に移行する。
【0114】
≪ステップS64≫
ステップS64においては、現時点のリスク度合いが「高い」と設定された特定領域のTTC値TTCcurrが、リスク度合いが「高い」と設定された特定領域の平均TTC値TTCaveより大きいか否かを判断する。これによって、通常走行時に比べて現時点のリスク度合いが「高い」と設定された特定領域のTTC値TTCcurrが小さいので危険な状態と判断することができる。そして、現時点のリスク度合いが「高い」と設定された特定領域のTTC値TTCcurrが、リスク度合いが「高い」と設定された特定領域の平均TTC値TTCaveより小さいとステップS65に移行し、現時点のリスク度合いが「高い」と設定された特定領域のTTC値TCCcurrが、リスク度合いが「高い」と設定された特定領域の平均TTC値TTCaveより大きいと終了に抜けて処理を終了する。
【0115】
≪ステップS65≫
ステップS64で、現時点のリスク度合いが「高い」と設定された特定領域のTTC値TTCcurrが、リスク度合いが「高い」と設定された特定領域の平均TTC値TTCaveより小さいと判断されて危険な状態と見做されている。このためステップS65においては、リスク度合いが「高い」と設定された特定領域の平均TTC値TCCaveから補正値TTCcomを加算して、新たな目標車両間隔TTCtarを求める。これによって,自車両が危険な車両間隔で走行されるのを防ぐことができる。この処理を完了すると、終了に抜けて処理を終了する。
【0116】
尚。ステップS65に替えてステップS69を実行することもできる。ステップS69では、現在の状況に危険があることを表示装置やスピーカで報知して運転者に注意を促すことを行っている。また、ステップS65とステップS69の両方の制御を行うこと可能である。
【0117】
次に、図13Cは制御出力として自車両の目標加速度を修正する例である。
【0118】
≪ステップS66≫
ステップS66においては、図11図12に示すような手法によって、通常加速度ACCaveを取得し、更に現在の制御出力である加速度ACCcurrを取得する。これらの情報を取得するとステップS67に移行する。
【0119】
≪ステップS67≫
ステップS67においては、現時点の加速度ACCcurrが通常加速度ACCaveより大きいか否かを判断する。これによって、通常走行時に比べて現時点の加速度ACCcurrが大きいので危険な状態と判断することができる。
【0120】
そして、現時点の加速度ACCcurrが通常加速度ACCaveより大きいとステップS68に移行し、現時点の加速度ACCcurrが通常加速度ACCaveより小さいと終了に抜けて処理を終了する。
【0121】
≪ステップS68≫
ステップS67で、現時点の加速度ACCcurrが通常加速度ACCaveより大きいと判断されて危険な状態と見做されている。このためステップS68においては、通常加速度ACCaveから補正値ACCcomを減算して、新たな目標加速度ACCtarを求める。これによって、自車両が危険な加速度で走行されるのを防ぐことができる。この処理を完了すると、終了に抜けて処理を終了する。
【0122】
尚。ステップS68に替えてステップS69を実行することもできる。ステップS70では、現在の状況に危険があることを表示装置やスピーカで報知して運転者に注意を促すことを行っている。また、ステップS68とステップS69の両方の制御を行うこと可能である。
【0123】
以上に述べたように、本実施形態によれば接触等に代表される危険性の早期認識(安全の確保)と演算能力の適切な割り振りを図ることができ、コンピュータ資源を有効に活用しながら、安全な走行支援を行うことができるようになる。
【0124】
次に本実施形態に関係する他の実施形態(変形例も含む)について説明する
【実施例0125】
本発明の第1の実施形態では、処理負荷設定部18は、入力された特定領域の画像の解像度を処理優先度に対応して調整しているが、第2の実施形態では、処理負荷設定部18は、入力された画像の処理周期を処理優先度に対応して調整する点で異なっている。
【0126】
ここで、領域抽出部14、リスク導出部15、優先度設定部16の機能は、第1の実施例と同様の機能であるので、ここでは説明を省略する。
【0127】
本実施形態では、処理負荷設定部18に入力された特定領域の画像情報は、処理優先度が高い場合は短い周期で画像処理が実行され、処理優先度が低い場合は長い周期で画像処理が実行される。尚、画像処理は、入力された画像の取り込み処理や転送処理等を含むものである。
【0128】
図14にその具体的な制御フローを示しているので、以下、図面を用いて説明する。尚、この説明の場合も図3図4に示す状態を基礎にしている。
【0129】
≪ステップS70≫
ステップS70においては、1個目の第1特定領域の処理負荷を設定/実行することを示すため、「(i)=1」にセットする。これによって、以下の第1特定領域の画像処理が設定されて実行される。(i)が「1」にセットされるとステップS71に移行する。
【0130】
≪ステップS71≫
ステップS71においては、第1特定領域の処理優先度が高処理優先度「1」かどうかを判断する。この処理優先度は、図7のステップS32~S33の判断結果を参照している。そして、処理優先度が高処理優先度「1」と判断されるとステップS72に移行し、処理優先度が高処理優先度「1」でない、言い換えると低処理優先度「0」と判断されるとステップS73に移行する。
【0131】
≪ステップS72≫
ステップS71で処理優先度が高処理優先度「1」と判断されているので、ステップS72においては、短い処理周期を設定する。処理周期とは画像処理(画像の取り込み処理や転送処理等を含む)の周期であり、短いほど多くの画像処理が可能となる。特定領域の画像処理の周期を設定するとステップS74に移行する。
【0132】
≪ステップS73≫
ステップS71で処理優先度が低処理優先度「0」と判断されているので、ステップS73においては、長い処理周期を設定する。処理周期とは画像処理の周期であり、長いほど少ない画像処理(画像の取り込み処理や転送処理等を含む)となる。特定領域の画像処理の周期を設定するとステップS74に移行する。
【0133】
≪ステップS74≫
ステップS74においては、画像の処理周期の設定が全ての特定領域(N)に対して実行されたか否かを判断している。したがって、全ての特定領域(N)に対して画像の処理周期の設定が完了された場合は終了に抜けることになる。
【0134】
一方、全ての特定領域(N)に対して画像の処理周期の設定が完了されていない場合、ここでは特定領域(i=1)の画像処理を行っているので、ステップS75に移行する。
【0135】
≪ステップS75≫
ステップS75においては、(i)を「i+1」にセットすることによって、再びステップS71に戻って第2特定領域の画像の処理周期の設定を実行する。以下、(i)が「N」に達するまで、上述の制御ステップが実行される。
【0136】
図15に短い処理周期と長い処理周期における画像処理の違いを示している。尚、図中の「T」は処理周期を示しており、この処理周期内で処理スロットの処理が実行される。
【0137】
高処理優先度が設定された特定領域304の処理スロットSLT304は、処理周期毎に実行されている。これに対して、低処理優先度が設定された特定領域301~特定領域303の処理スロットSLT301~処理スロット303は、2回の処理周期に対して1回の処理が実行されている。このように、低処理優先度が付与された特定領域は、高処理優先度が付与された特定領域より処理実行回数が少なくなっている。
【0138】
したがって、認識処理部19の演算負荷を小さくすることが可能となり、コンピュータ資源を有効に活用しながら、安全な走行支援を行うことができるようになる。
【実施例0139】
本発明の第1の実施形態では、処理負荷設定部18は、入力された特定領域の画像の解像度を処理優先度に対応して調整し、第2の実施形態では、処理負荷設定部18は、入力された画像の処理周期を処理優先度に対応して調整しているが、第3の実施形態では、画像認識用ニューラルネットワークの縮約率を調整する点で異なっている。
【0140】
ここで、領域抽出部14、リスク導出部15、優先度設定部16の機能は、第1の実施例と同様の機能であるので、ここでは説明を省略する。
【0141】
そして本実施形態では、処理負荷設定部18に設けられた画像認識用ニューラルネットワークに入力される特定領域の画像情報は、処理優先度が高い場合は縮約率が小さくされて画像処理が実行され、処理優先度が低い場合は縮約率が大きくされて画像処理が実行される。尚、認識処理部19に画像認識用ニューラルネットワークが設けられていても良い。
【0142】
図16は、画像認識用ニューラルネットワークを示している。図16において、画像認識用ニューラルネットワークは、入力層Nu10、後続の第1層Nu11、第2層Nu12、第3層Nu13、及び出力層Nu15から構成されている、入力層Nu10には画像情報が入力され、入力された入力情報は、第1層Nu11~第3層Nu13で、複数のニューロンNu14を用いて畳み込み処理を実行して出力情報を出力層Nu15から出力する。このような畳み込みニューラルネットワークは、画像認識処理に有効な方法である。
【0143】
次に、図17を用いて処理優先度に合せて縮約率を調整する制御フローを説明する。尚、この説明の場合も図3図4に示す状態を基礎にしている。
【0144】
ここで、縮約率は、全体のニューロンの数に対する使用しないニューロンの数の割合であり、縮約率が小さい(使用するニューロンの数が多い)と、演算時間は必要とするが認識精度を高めることができ、縮約率が大きい(使用するニューロンの数が少ない)と、認識精度は低減するが演算時間を短くできる。
【0145】
≪ステップS80≫
ステップS80においては、1個目の第1特定領域の処理負荷を設定/実行することを示すため、「(i)=1」にセットする。これによって、以下の第1特定領域の画像処理が設定されて実行される。(i)が「1」にセットされるとステップS81に移行する。
【0146】
≪ステップS81≫
ステップS81においては、第1特定領域の処理優先度が高処理優先度「1」かどうかを判断する。この処理優先度は、図7のステップS32~S33の判断結果を参照している。そして、処理優先度が高処理優先度「1」と判断されるとステップS82に移行し、処理優先度が高処理優先度「1」でない、言い換えると低処理優先度「0」と判断されるとステップS83に移行する。
【0147】
≪ステップS82≫
ステップS81で処理優先度が高処理優先度「1」と判断されているので、ステップS82においては、小さい縮約率を設定する。上述したように、縮約率が小さいと演算時間は必要とするが、認識精度を高めることができる。特定領域の画像処理の縮約率を設定するとステップS84に移行する。
【0148】
≪ステップS83≫
ステップS81で処理優先度が低処理優先度「0」と判断されているので、ステップS83においては、大きい縮約率を設定する。上述したように。縮約率が大きいと認識精度は低減するが演算時間を短くできる。特定領域の画像処理の縮約率を設定するとステップS84に移行する。
【0149】
≪ステップS84≫
ステップS84においては、画像の縮約率の設定が全ての特定領域(N)に対して実行されたか否かを判断している。したがって、全ての特定領域(N)に対して画像の縮約率の設定が完了された場合は終了に抜けることになる。
【0150】
一方、全ての特定領域(N)に対して画像の縮約率の設定が完了されていない場合、ここでは特定領域(i=1)の画像処理を行っているので、ステップS85に移行する。
【0151】
≪ステップS85≫
ステップS85においては、(i)を「i+1」にセットすることによって、再びステップS81に戻って第2特定領域の画像の縮約率の設定を実行する。以下、(i)が「N」に達するまで、上述の制御ステップが実行される。
【0152】
図18図19に大きい縮約率と小さい縮約率における認識処理の違いを示している。尚、図中の破線の「灰色丸」は使用されないニューロンを示している。また、使用するニューロンは、認識処理に適したニューロンが適切に選択されて決定されている。
【0153】
図18は大きい縮約率の場合を示しており、使用されるニューロンNu14useの数に対して、使用されないニューロンNu14delの数が多いので、認識精度は低下するが、ニューロ演算の演算負荷を小さくすることができる。
【0154】
図19は小さい縮約率の場合を示しており、使用されるニューロンNu14useの数に対して、使用されないニューロンNu14delの数が少ないので、ニューロ演算の演算負荷が大きくなるが、認識精度を高めることができる。
【0155】
図20は、処理周期「T」と処理スロットの時間的な関係を示しており、高処理優先度の特定領域304の処理スロットSLT304における処理の実行の後に、低処理優先度の特定領域301~特定領域303の処理スロットSLT301~処理スロットSLT303における処理の実行が行われている。処理周期「T」の区間内に処理スロットSLT301~処理スロットSLT304が実行されているので、十分な処理を行うことができる。
【0156】
このように、衝突の危険性が低い低処理優先度の特定領域では、ニューロ演算の演算負荷を小さくすることが可能となり、コンピュータ資源を有効に活用しながら、安全な走行支援を行うことができるようになる。
【0157】
次に、本実施形態の変形例について説明を行う。図21においては、新たな自転車を含む特定領域310(この場合、処理優先度は「1」である)と、新たな対向車両を含む特定領域311(この場合、処理優先度は「0」である)が出現している。したがって、特定領域の数が多くなると、処理周期「T」内で、全ての特定領域の処理スロットの処理が完了しない恐れがある。
【0158】
このため本変形例では、処理周期「T」内で、全ての特定領域の処理スロットの処理が完了するように、特定領域の画像の縮約率を大きくして、個別のニューロ演算の処理負荷を小さくすることで、処理周期「T」内で、全ての特定領域の処理スロットの処理が完了することができるようになる。以下、この動作を実行する制御フローを、図22を用いて説明する。尚、図17と同じ制御ステップの説明は省略する。
【0159】
≪ステップS80≫~≪ステップS85≫
ステップS80~ステップS85で全ての特定領域の縮約率を設定すると、ステップS86に移行する。
【0160】
≪ステップS86≫
ステップS86においては、全ての特定領域の処理スロットの合計処理時間が処理周期「T」より大きいか、つまり全ての処理スロットが処理周期「T」内に処理できるか否かを判断している。
【0161】
この判断で、全ての処理スロットが処理周期「T」内に処理できると判断されると終わりに抜けて制御フローを終了する。一方、全ての処理スロットが処理周期「T」内に処理できないと判断されると、ステップS87に移行する。
【0162】
≪ステップS87≫
ステップS87においては、現在の縮約率から、更に縮約率を大きく更新してニューロ演算の処理負荷を小さくする。これの繰り返しによって、全ての処理スロットが、処理周期「T」内に処理できるようになる。そして再びステップS86で、全ての処理スロットが処理周期「T」内に処理できると判断されると、終わりに抜けて制御フローを終了する。
【0163】
図23は、処理周期「T」と処理スロットの時間的な関係を示しており、高処理優先度の特定領域304、特定領域310の処理スロットSLT304、処理スロットSLT310は、図20における処理スロットSLT304に比べて縮約率が大きく調整されて、ニューロ演算の演算負荷が小さく変更されている。
【0164】
同様に、低処理優先度の特定領域301~特定領域303、特定領域311の処理スロットSLT301~処理スロットSLT303、処理スロットSLT311は、図20における処理スロットSLT301~処理スロット303に比べて縮約率が大きく調整されて、ニューロ演算の演算負荷が小さく変更されている。
【0165】
このように、特定領域の数が増えても、処理周期「T」の区間内に処理スロットSLT301~処理スロットSLT304、処理スロットSLT310~処理スロットSLT311のニューロ演算の縮約率が大きくなるように調整される。つまり、全ての特定領域の処理スロットの処理が完了するように、特定領域の画像の縮約率を大きくして、個別の特定領域のニューロ演算の処理負荷を小さくすることで、処理周期「T」内で、全ての特定領域の処理スロットの処理が完了することができるようになる
【実施例0166】
本発明の第1の実施形態では、リスク導出部15は、カメラで撮像された交通参加物の衝突の危険性を判断していたが、第4の実施形態では、これ以外に画像の死角となる空間に交通参加物が存在している場合もリスクを導出する点で異なっている。
【0167】
例えば、図24にあるように、特定領域304の背後に死角領域312が予測され、また特定領域301~特定領域303の背後に、これも特定領域として死角領域313~死角領域315が予測され、交通参加物が存在する場合が想定される。したがって本実施形態では、これらの死角領域についてもリスクの導出を行うようにしている。
【0168】
リスク導出部15は、領域抽出部14で抽出された死角領域に存在すると仮定された交通参加物が、自車両に対して危険な挙動を行っていないかどうかのリスク度合いの判断を実行する。
【0169】
次にこのリスク度合いを判断する制御フローについて図25を用いて説明する。尚、死角領域の個数は(N)個であり、図4では死角領域は4個である。
【0170】
≪ステップS90≫
ステップS90においては、1個目の第1死角領域のリスク判断であることを示すため、「(i)=1」にセットする。これによって、第1死角領域のリスク度合いの判断を実行する。(i)が「1」にセットされるとステップS91に移行する。
【0171】
≪ステップS91≫
ステップS91においては、自車両の速度を取得する。この自車両の速度は自身の速度センサからの出力によって求めることができる。尚、GPS部21からの位置信号の変化によっても求めることができ、その手段は限定されないものである。自車両の速度を取得するとステップS92に移行する。
【0172】
≪ステップS92≫
ステップS92においては、死角領域(i=1)の速度を取得する。この死角領域(i=1)の速度は、死角領域に対応する特定領域の交通参加物の速度を用いて求めることができ、第1の実施形態と同様に画像情報から求めることができ、この速度を求める手法も良く知られている。以下の説明でも、死角領域は、この領域に対応した交通参加物と見做して処理を実行する。死角領域(i=1)の速度を取得するとステップS93に移行する。
【0173】
≪ステップS93≫
ステップS93においては、死角領域(i=1)と自車両との間の距離(車間距離)を取得する。この車間距離も画像情報から取得でき、この車間距離を求める手法も良く知られている。死角領域(i=1)と自車両の間の距離を取得するとステップS94に移行する。
【0174】
≪ステップS94≫
ステップS90においては、死角領域(i=1)の進行経路を予測する。この進行経路は、地図情報を基に予測することができる。また、地図情報から道路形状、道路領域、白線、交通標識等の道路状況を求めることができる。死角領域(i=1)の進行経路を予測するとステップS95に移行する。
【0175】
≪ステップS95≫
ステップS95においては、上述した制御ステップで求めた死角領域(i=1)の進行経路と自車両の進行経路の交点があるか、つまり接触、衝突の恐れがあるか否かの判断を実行する。自車両の進行経路と死角領域(i=1)の進行経路の交点があると判断されるとステップS96に移行し、進行経路の交点がないと判断されるとステップS99に移行する。
【0176】
≪ステップS96≫
ステップS96においては、死角領域(i=1)と自車両の推定接触時間TTC(i=1)を算出する。推定接触時間TTC(i=1)の算出は、上述した制御ステップで求めた死角領域(i=1)と自車両の速度差(相対速度)と、自車両と死角領域(i=1)の間の距離とから求めることができる。推定接触時間TTC(i=1)が求まると、ステップS97に移行する。
【0177】
≪ステップS97≫
ステップS97においては、ステップS97で求めた推定接触時間TTC(i=1)が、予め定めた推定接触時間閾値TTCthに比べて、短いか否かが判断される。推定接触時間TTC(i=1)が、予め定めた推定接触時間閾値TTCthに比べて短いと判断されると接触、衝突の危険性が高いと見做してステップS98に移行し、推定接触時間TTC(i=1)が、予め定めた推定接触時間閾値TTCthに比べて長いと判断されると接触、衝突の危険性が低いと見做してステップS99に移行する。
【0178】
≪ステップS98≫
ステップS98においては、ステップS97で接触、衝突の危険性が高いと見做されているので、リスク度合いを「risk(i)=1」として、ステップS20に移行する。ここで、右辺の「1」は高リスクであることを示している。これによって、死角領域(i=1)は高リスク死角領域とされる。
【0179】
≪ステップS99≫
ステップS99においては、ステップS95で進行経路の交点がないと見做されている、或いはステップS97で接触、衝突の危険性が低いと見做されているので、リスク度合いを「risk(i)=0」としてステップS20に移行する。ここで、右辺の「0」は低リスクであることを示している。これによって、死角領域(i=1)は低リスク死角領域とされる。
【0180】
≪ステップS100≫
ステップS100においては、現在のリスク度合いの判断が全ての死角領域(N)に対して実行されたか否かを判断している。したがって、全ての死角領域(N)に対してリスク度合いの判断が実行された場合は終了に抜けることになる。
【0181】
一方、全ての死角領域(N)に対してリスク度合いの判断が実行されていない場合、ここでは死角領域(i=1)のリスク度合いの判断を実行しているので、ステップS21に移行する。
【0182】
≪ステップS101≫
ステップS101においては、(i)を「i+1」にセットすることによって、再びステップS92に戻って第2死角領域のリスク度合いの判断を実行する。以下、(i)が「N」に達するまで、上述の制御ステップが実行される。
【0183】
図24では、自転車304が駐車車両201を避けて右側に寄ると推測され、自車両と衝突の恐れがあるので、死角領域312も高リスク死角領域となり、死角領域313~314は対向車両なので、自車両の走行に影響を及ぼさず衝突の恐れがないので、低リスク死角領域となる。これらのリスク情報は信頼度設定部16に送られ、実施例1と同様に使用される。
【実施例0184】
本発明の第1の実施形態では、センサ群20、ここではカメラの画像情報は領域抽出部14に入力されて、特定領域を抽出しているが、第5の実施形態では、領域抽出部14以外に、画像情報が処理負荷設定部18にも入力されている点で異なっている。
【0185】
ここで、領域抽出部14、リスク導出部15、優先度設定部16の機能は、第1の実施例と同様の機能であるので、ここでは説明を省略する。
【0186】
そして、図26に示されているように、カメラの画像情報は、領域抽出部14とは別に処理負荷設定部18にも並行して入力されている。処理負荷設定部18に入力された画像情報(自車前方の全体画像)は、上述した特定領域とは異なって処理優先度が低いので、全体を縮小して解像度を下げる動作が実行される。
【0187】
図27に示されるような縮小された全体画像は、この後に認識処理部19に入力され、認識処理部19では、走行道路上の白線400の抽出、道路領域401の抽出、交通標識402の抽出等の処理が実行される。
【0188】
このように、車両に対する危険性がさほど大きくない走行道路の情報を認識する際に、自車前方画像の全体を縮小して認識を行うようにしているため、認識処理部19の演算負荷を小さくすることが可能となり、コンピュータ資源を有効に活用しながら、安全な走行支援を行うことができるようになる。
【実施例0189】
本発明の第1の実施形態では、センサ群としてカメラ20が使用されており、このカメラ20の画像情報は領域抽出部14に入力されて、特定領域を抽出しているが、第6の実施形態では、ライダー(LiDAR)のようなレーザー距離センサの信号を領域抽出部14に入力し、カメラの画像は認識処理19に入力されている点で異なっている。
【0190】
ここで、領域抽出部14、リスク導出部15、優先度設定部16の機能は、第1の実施例と同様の機能であるので、ここでは説明を省略する。
【0191】
図28に示されているように、ライダー21の点群情報は領域検出部14に入力されており、第1の実施形態と同様に交通参加物の領域を特定して抽出することができる。ライダー21の情報は、点群情報のため情報処理の上で有利であり、また、交通参加物の認識精度が高いので、より精度の高い領域抽出が可能である。
【0192】
ただ、ライダー21では、白線情報、標識情報等の色情報を判断することが困難なので、カメラ20の画像情報を認識処理部19に入力している。この場合、カメラ20の画像情報は、認識処理部19において走行道路上の白線400の抽出、道路領域401の抽出、交通標識402の抽出等の処理が実行される。
【0193】
以上述べた通り、本発明は、センサで取得したセンサデータの情報を処理する情報処理部と、情報処理部によって処理された情報を用いて車両の走行支援を行う車両制御部とを有する走行支援装置において、情報処理部は、センサデータの画像情報の中から自車両の周囲の交通参加物が含まれる特定領域を抽出する領域抽出部と、抽出した特定領域の交通参加物について、自車両にとって安全に走行する上でのリスク度合いを導出するリスク導出部と、リスク度合いに対応して特定領域の処理優先度を設定する優先度設定部と、処理優先度に対応して、特定領域の情報の処理負荷を設定する処理負荷設定部と、処理負荷設定部からの処理負荷情報に基づいて交通参加物の認識を行う画像認識処理部とを有する、ことを特徴とする。
【0194】
本発明によれば、危険性の早期認識(安全の確保)と演算能力の適切な割り振りを図ることができる。これによって、コンピュータ資源を有効に活用しながら、安全な走行支援を行うことができるようになる。
【0195】
尚、本発明は上記したいくつかの実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、車両は工場内を走行する搬送車両でも良く、この場合、交通参加物は他の搬送車両や工場内を歩く歩行者等であっても良い。上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。各実施形態の構成について、他の構成の追加、削除、置換をすることも可能である。
【符号の説明】
【0196】
10…走行支援装置、11…情報処理部、12…車両制御部、13…アクチュエータ車両制御装置、14…領域抽出部、15…リスク導出部、16…優先度設定部、17…画像認識部、18…処理負荷設定部、19…認識処理部、20…センサ群。
図1
図2
図3
図4
図5
図6A
図6B
図6C
図7
図8
図9
図10
図11
図12
図13A
図13B
図13C
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28