特許 7702037 演算処理装置、演算処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-24

(45)【発行日】2025-07-02

(54)【発明の名称】演算処理装置、演算処理方法

(51)【国際特許分類】

   B60W 50/023 20120101AFI20250625BHJP

   B60W 60/00 20200101ALI20250625BHJP

【ＦＩ】

B60W50/023

B60W60/00

【請求項の数】 10

(21)【出願番号】P 2024510784

(86)(22)【出願日】2022-03-29

(86)【国際出願番号】 JP2022015426

(87)【国際公開番号】W WO2023187979

(87)【国際公開日】2023-10-05

【審査請求日】2024-06-27

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】塩見 恵史

【審査官】村山 美保

(56)【参考文献】

【文献】国際公開第２０１９／１８１５９１（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１８８１２０（ＷＯ，Ａ１）

【文献】特開２０２０－４７０５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ ５０／０２３

Ｂ６０Ｗ ６０／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載された複数のセンシング機器に接続される演算処理装置において、
前記複数のセンシング機器を制御する演算を行うマイコンと、
第一の演算処理プログラムと、第二の演算処理プログラムとが格納されたメモリと、を備え、
前記第一の演算処理プログラムは、前記センシング機器および前記マイコンの故障に対して冗長化されていないものであって、
前記第二の演算処理プログラムは、前記センシング機器または前記マイコンの故障に対して冗長化されたものであって、
前記マイコンは、前記車両の走行環境または制御状態に応じて、前記第一の演算処理プログラムまたは前記第二の演算処理プログラムのうち、前記マイコン上で動かす演算処理プログラムを切り替えるプログラム切り替え部を有することを特徴とする演算処理装置。

【請求項2】

請求項１に記載の演算処理装置において、
前記センシング機器はステレオカメラであって、
前記第一の演算処理プログラムは、ステレオ視用の画像処理コンフィギュレーションであって、
前記第二の演算処理プログラムは、単眼視用の画像処理コンフィギュレーションであることを特徴とする演算処理装置。

【請求項3】

請求項１に記載の演算処理装置において、
前記車両は、前記センシング機器でのセンシング結果を用いて、所定のレベルで自動制御されるものであって、
前記プログラム切り替え部は、前記レベルに応じて、前記第一の演算処理プログラムまたは前記第二の演算処理プログラムのうち、前記マイコン上で動かす演算処理プログラムを切り替えることを特徴とする演算処理装置。

【請求項4】

請求項３に記載の演算処理装置において、
前記所定のレベルでの自動制御は、ドライバの監視および運転操作によらず、システムの監視による自動運転制御であることを特徴とする演算処理装置。

【請求項5】

請求項１に記載の演算処理装置において、
前記車両の走行環境を判断する周辺状況判断部を有し、
前記プログラム切り替え部は、前記周辺状況判断部の判断結果に基づいて、前記第一の演算処理プログラムまたは前記第二の演算処理プログラムのうち、前記マイコン上で動かす演算処理プログラムを切り替えることを特徴とする演算処理装置。

【請求項6】

請求項５に記載の演算処理装置において、
前記周辺状況判断部は、地図データに基づいて、前記車両が一般道路または高速道路のいずれを走行しているかを判断し、
前記プログラム切り替え部は、前記車両が一般道路を走行しているときは前記第一の演算処理プログラムを動作させ、前記車両が高速道路を走行しているときは前記第二の演算処理プログラムを動作させることを特徴とする演算処理装置。

【請求項7】

車両に搭載された複数のセンシング機器を制御する演算処理方法において、
（ａ）車両の走行環境または制御状態に基づいて、当該車両が一般道路または高速道路のいずれを走行しているかを判断するステップと、
（ｂ）前記（ａ）ステップでの判断結果に応じて、前記センシング機器およびマイコンの故障に対して冗長化されていない第一の演算処理プログラムまたは前記センシング機器または前記マイコンの故障に対して冗長化された第二の演算処理プログラムのいずれかを選択するステップと、
（ｃ）前記（ｂ）ステップで選択した演算処理プログラムに基づいて、前記マイコン上で動かす演算処理プログラムを書き換えるステップと、
を有することを特徴とする演算処理方法。

【請求項8】

請求項７に記載の演算処理方法において、
前記センシング機器はステレオカメラであって、
前記第一の演算処理プログラムは、ステレオ視用の画像処理コンフィギュレーションであって、
前記第二の演算処理プログラムは、単眼視用の画像処理コンフィギュレーションであることを特徴とする演算処理方法。

【請求項9】

請求項７に記載の演算処理方法において、
前記車両は、前記センシング機器でのセンシング結果を用いて、所定のレベルで自動制御されるものであって、
前記（ｂ）ステップにおいて、前記レベルに応じて、前記第一の演算処理プログラムまたは前記第二の演算処理プログラムのいずれかを選択することを特徴とする演算処理方法。

【請求項10】

請求項９に記載の演算処理方法において、
前記所定のレベルでの自動制御は、ドライバの監視および運転操作によらず、システムの監視による自動運転制御であることを特徴とする演算処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載器を制御するための演算処理を行う演算処理装置の構成とその制御に係り、特に、ステレオカメラの演算処理装置に適用して有効な技術に関する。

【背景技術】

【0002】

車載外界認識装置（車載カメラ）のセンシング結果によって車両を制御する運転支援機能の開発が進んでおり、前方障害物に対する緊急ブレーキ制御や先行車追従機能など、アクセル・ブレーキ操作及びハンドル操作の部分的な自動化制御が実用化されている。また、システムがすべての運転操作を行い、ドライバによる運転操作及び走行環境の監視を想定しない自動運転制御の開発も進んでいる。

【0003】

ドライバによる運転操作及び走行環境の監視を想定している場合、故障時にはシステムを停止しドライバへ故障を通知するフェールセーフを行うが、ドライバによる運転操作及び走行環境の監視を想定しない場合、故障時にも安全に制御を行うフェールオペレーションを行う必要がある。

【0004】

カメラによる前方センシングを行う車載外界認識装置を例に挙げると、カメラの撮像部と画像処理部をそれぞれ２個ずつ搭載することで冗長化し、片方の撮像部または画像処理部が故障した場合には、もう片方の正常な撮像部と画像処理部によって外界認識し、車両制御を続行することで故障時にも安全を確保する方法がある。このような冗長化の方法では、正常時の機能は同一であるにも関わらず、ハードウェアの増加によるコスト増と消費電力が増加してしまうという問題がある。

【0005】

こうした問題の改善のため、例えば特許文献１に記載されているように、２個の撮像部と、ステレオ画像処理部と単眼画像処理部の両方を備えて、正常時には２個の撮像部からの画像によってステレオ画像処理を行い、故障によりステレオ画像処理ができない場合は、単眼画像処理に切り替える例がある。この方法によって、フェールオペレーションを達成するとともに、正常時はステレオ画像処理をすることで外界認識性能を高めることができる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２０－４７０５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、車両が一般道路を走行する際には、周囲を走行する他車との車間距離が比較的近く、路肩を走行する自転車や駐停車中の車など障害物が存在する場合も多いため、ステレオ画像処理による高い外界認識性能が求められるとともに、車載外界認識装置に故障が発生した場合には、車載外界認識装置の機能を停止し、ドライバへ故障を通知するフェールセーフを行う必要がある。

【0008】

一方、車両が高速道路を走行する際には、他車との車間距離が比較的離れている場合が多く、周辺の障害物も少ないため、車載外界認識装置の故障した部分の機能を停止し、正常な部分の機能を活かして部分的な自動運転制御あるいは運転支援を継続するフェールオペレーションが求められている。

【0009】

これらの条件を両立させるためには、上記特許文献１のように２個の撮像部と、ステレオ画像処理部と単眼画像処理部の両方を備える構成や、撮像部と単眼画像処理部をそれぞれ２個ずつ搭載する冗長化した構成が考えられる。

【0010】

しかしながら、上記特許文献１の技術では、ステレオ画像処理と単眼画像処理を並行して動かすため、高性能なマイコンが必要となり、消費電力も増加してしまう。

【0011】

また、撮像部と単眼画像処理部をそれぞれ２個ずつ搭載する冗長化した構成では、上述したように、正常時の機能は同一であるにも関わらず、コスト及び消費電力が増加してしまう。

【0012】

そこで、本発明の目的は、コスト及び消費電力の増加を抑えつつ、状況に応じて、画像処理部の設定を切り替え可能な演算処理装置及び演算処理方法を提供することにある。

【課題を解決するための手段】

【0013】

上記課題を解決するために、本発明は、車両に搭載された複数のセンシング機器に接続される演算処理装置において、前記複数のセンシング機器を制御する演算を行うマイコンと、第一の演算処理プログラムと、第二の演算処理プログラムとが格納されたメモリと、を備え、前記第一の演算処理プログラムは、前記センシング機器および前記マイコンの故障に対して冗長化されていないものであって、前記第二の演算処理プログラムは、前記センシング機器または前記マイコンの故障に対して冗長化されたものであって、前記マイコンは、前記車両の走行環境または制御状態に応じて、前記第一の演算処理プログラムまたは前記第二の演算処理プログラムのうち、前記マイコン上で動かす演算処理プログラムを切り替えるプログラム切り替え部を有することを特徴とする。

【0014】

また、本発明は、車両に搭載された複数のセンシング機器を制御する演算処理方法において、（ａ）車両の走行環境または制御状態に基づいて、当該車両が一般道路または高速道路のいずれを走行しているかを判断するステップと、（ｂ）前記（ａ）ステップでの判断結果に応じて、前記センシング機器およびマイコンの故障に対して冗長化されていない第一の演算処理プログラムまたは前記センシング機器または前記マイコンの故障に対して冗長化された第二の演算処理プログラムのいずれかを選択するステップと、（ｃ）前記（ｂ）ステップで選択した演算処理プログラムに基づいて、前記マイコン上で動かす演算処理プログラムを書き換えるステップと、を有することを特徴とする。

【発明の効果】

【0015】

本発明によれば、コスト及び消費電力の増加を抑えつつ、状況に応じて、画像処理部の設定を切り替え可能な演算処理装置及び演算処理方法を実現することができる。

【0016】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施例１に係る車載外界認識装置の概略構成を示す図である。

【図2】図１の車載外界認識装置の一般道路での動作を概念的に示す図である。

【図3】図１の車載外界認識装置の一般道路での動作を示すフローチャートである。

【図4】図１の車載外界認識装置の高速道路での動作を概念的に示す図である。

【図5】図１の車載外界認識装置の高速道路での動作を示すフローチャートである。

【図6】本発明の実施例２に係る車載外界認識装置の概略構成を示す図である。

【図7】図６の車載外界認識装置の自動運転制御不可判断時の動作を概念的に示す図である。

【図8】図６の車載外界認識装置の自動運転制御不可判断時の動作を示すフローチャートである。

【図9】図６の車載外界認識装置の自動運転制御可能判断時の動作を概念的に示す図である。

【図10】図６の車載外界認識装置の自動運転制御可能判断時の動作を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、図面を用いて本発明の実施例を説明する。なお、各図面において同一の構成については同一の符号を付し、重複する部分についてはその詳細な説明は省略する。

【0019】

また、以下の各実施例では、車載器を制御するための演算処理を行う演算処理装置について、車載外界認識装置（車載カメラ）を例に説明する。

【実施例1】

【0020】

図１から図５を参照して、本発明の実施例１に係る車載外界認識装置について説明する。図１は、本実施例の車載外界認識装置の概略構成を示す図である。

【0021】

図１に示すように、本実施例の車載外界認識装置は、主要な構成として、ステレオカメラ１０１と、地図データユニット１０５とを備えている。ステレオカメラ１０１と地図データユニット１０５は、CAN（Controller Area Network）やOTA（Over The Air）などの車載ネットワークにより接続されており、地図データユニット１０５からステレオカメラ１０１へ周辺状況が通知される。

【0022】

ステレオカメラ１０１は、外界を認識し画像データを得る撮像素子１０２ａ，１０２ｂと、画像データを元に演算を行い車両制御に必要な情報を得る画像処理マイコン１０３と、画像処理マイコン１０３の画像処理設定が格納されたメモリ１０４を備えている。

【0023】

地図データユニット１０５は、周辺状況を含む走行環境の情報をステレオカメラ１０１に伝える。

【0024】

画像処理マイコン１０３は、画像処理のための演算論理を持ち動的リコンフィギュレーションによる論理の再構築が可能な画像処理部２０１と、地図データユニット１０５の情報を受け取り、画像処理部２０１の設定を決定するモード指示部２０２を備えている。

【0025】

なお、「コンフィギュレーション」とは、機器やソフトウェアの動作や構成などについて利用者が指定・変更できる設定項目、環境設定を意味する。また、本明細書において「動的リコンフィギュレーション」とは、画像処理を行うマイコンがシステムを起動しながら一部演算論理を書き換える処理を意味する。

【0026】

メモリ１０４は、画像処理部２０１に書き込むステレオ画像処理設定３０１と単眼画像処理冗長化設定３０２を備えている。

【0027】

本実施例では、地図データユニット１０５から取得した周辺状況に基づいた画像処理部２０１の切り替え処理及び故障検出時の処理について説明する。

【0028】

本実施例の車両制御は、一般道路では前方障害物に対する緊急ブレーキ制御、先行車追従機能、レーンキープアシストのような部分的な自動化制御を行う。高速道路または高速道路上での一部条件では、上記の部分的な自動化制御に加えて、ドライバによる運転操作及び走行環境の監視を必要としない、すべての運転操作を自動化した制御を行う。すべての運転操作を自動化した制御を行っている間は、ドライバはナビ操作など運転操作以外の操作が許される。

【0029】

これらは、すべて車両に搭載されたカメラやレーダなどの外界を認識するセンシング機器からの出力に基づいて、車両の制御の一部または全部を行うものである。上記のように、部分的な自動化制御（運転支援ともいう）から完全な自動化制御まで、車両の自動制御のレベルには様々なレベルが存在する。

【0030】

本発明における車両は、完全な手動運転（すなわち非自動化制御）モード以外に、少なくとも一つまたは複数のレベルの所定の自動化制御モード（運転支援も含む）で制御されるものとする。

【0031】

なお、本発明では、国や業界団体によって決められた自動運転レベルだけでなく、これらを総称して「所定のレベル」の自動制御としている。

【0032】

この自動化制御モードのONまたはOFFは、外界の環境に応じて自動的に設定されてもよいし、運転者が選択的に設定してもよい。また、当該車両において自動化制御モードのレベルが複数選択可能である場合には、このレベルの設定も同様に外界の環境または運転者の選択によって設定され得る。

【0033】

図２を用いて、本実施例の車載外界認識装置の一般道路での動作について説明する。図２は、図１の車載外界認識装置の一般道路での動作を概念的に示す図である。

【0034】

図２に示すように、地図データユニット１０５から一般道路の情報をモード指示部２０２が受信した場合、メモリ１０４からステレオ画像処理設定３０１を読み出し、画像処理部２０１を書き換える。

【0035】

ステレオ画像処理設定３０１に書き換えられた画像処理部２０１は、ステレオ画像処理部２０４と、撮像素子１０２ａ，１０２ｂ及びステレオ画像処理部２０４のいずれかの故障を検出できるステレオ画像処理時故障検出部２０３とを有することとなる。

【0036】

画像処理部２０１にステレオ画像処理設定３０１が書き込まれた場合、部分的な自動化制御のみを使用可能であり、すべての運転操作を自動化した制御は使用できない。

【0037】

ステレオ画像処理時故障検出部２０３が故障検出した場合、ステレオカメラ１０１のシステムを停止し、車両へ故障を通知するフェールセーフの動作を行う。すべての運転操作を自動化した制御ではないため、フェールセーフの動作で安全を確保できる。

【0038】

図３を用いて、上記の動作を説明する。図３は、図１の車載外界認識装置の一般道路での動作を示すフローチャートである。

【0039】

ステップＳ１０１において、車載外界認識装置の動作が開始すると、先ず、ステップＳ１０２において、地図データユニット１０５がモード指示部２０２へ一般道路判定を通知する。

【0040】

次に、ステップＳ１０３において、モード指示部２０２がメモリ１０４のステレオ画像処理設定３０１を読出し、画像処理部２０１を書き換える。

【0041】

続いて、ステップＳ１０４において、撮像素子１０２ａ，１０２ｂ及びステレオ画像処理部２０４での故障の有無を判定する。

【0042】

撮像素子１０２ａ，１０２ｂ及びステレオ画像処理部２０４のいずれかの故障を検出した場合、ステップＳ１０６に進み、ステレオカメラ１０１の機能を停止し、車両へ故障を通知し、処理を終了する（ステップＳ１０７）。

【0043】

一方、撮像素子１０２ａ，１０２ｂ及びステレオ画像処理部２０４のいずれも故障していないと判定した場合は、ステップＳ１０５に進み、部分的な自動化制御を行うとともに、ステップＳ１０４に戻り、ステップＳ１０４以降の処理を繰り返す。

【0044】

図４を用いて、本実施例の車載外界認識装置の高速道路での動作について説明する。図４は、図１の車載外界認識装置の高速道路での動作を概念的に示す図である。

【0045】

図４に示すように、地図データユニット１０５から高速道路の情報をモード指示部２０２が受信した場合、メモリ１０４から単眼画像処理冗長化設定３０２を読み出し、画像処理部２０１を書き換える。

【0046】

単眼画像処理冗長化設定３０２に書き換えられた画像処理部２０１は、単眼画像処理部２０６ａ，２０６ｂと、撮像素子１０２ａ，１０２ｂ及び単眼画像処理部２０６ａ，２０６ｂのいずれかの故障を検出できる単眼画像処理時故障検出部２０５とを有することとなる。

【0047】

画像処理部２０１に単眼画像処理冗長化設定３０２が書き込まれた場合、すべての運転操作を自動化した制御を使用可能とする。

【0048】

単眼画像処理時故障検出部２０５が撮像素子１０２ａまたは単眼画像処理部２０６ａの故障を検出した場合は、正常な単眼画像処理２０６ｂの結果を元に車両制御を続行し、また、撮像素子１０２ｂまたは単眼画像処理部２０６ｂの故障を検出した場合は、正常な単眼画像処理２０６ａの結果を元に車両制御を続行することによってフェールオペレーションを達成することができる。

【0049】

図５を用いて、上記の動作を説明する。図５は、図１の車載外界認識装置の高速道路での動作を示すフローチャートである。

【0050】

ステップＳ２０１において、車載外界認識装置の動作が開始すると、先ず、ステップＳ２０２において、地図データユニット１０５がモード指示部２０２へ高速道路判定を通知する。

【0051】

次に、ステップＳ２０３において、モード指示部２０２がメモリ１０４の単眼画像処理冗長化設定３０２を読出し、画像処理部２０１を書き換える。

【0052】

続いて、ステップＳ２０４において、撮像素子１０２ａ，１０２ｂ及び単眼画像処理部２０６ａ，２０６ｂでの故障の有無を判定する。

【0053】

撮像素子１０２ａまたは単眼画像処理部２０６ａのいずれかの故障を検出した場合、ステップＳ２０５に進み、単眼画像処理部２０６ｂの結果を元に制御を行い、処理を終了する（ステップＳ２０８）。

【0054】

また、撮像素子１０２ｂまたは単眼画像処理部２０６ｂのいずれかの故障を検出した場合、ステップＳ２０６に進み、単眼画像処理部２０６ａの結果を元に制御を行い、処理を終了する（ステップＳ２０８）。

【0055】

一方、撮像素子１０２ａ，１０２ｂ及び単眼画像処理部２０６ａ，２０６ｂのいずれも故障していないと判定した場合は、ステップＳ２０７に進み、すべての運転操作を自動化した制御を行うとともに、ステップＳ２０４に戻り、ステップＳ２０４以降の処理を繰り返す。

【0056】

以上説明したように、本実施例の車載外界認識装置を制御するための演算処理を行う演算処理装置は、車両に搭載された複数のセンシング機器（撮像素子１０２ａ，１０２ｂ）に接続される演算処理装置であり、複数のセンシング機器（撮像素子１０２ａ，１０２ｂ）を制御する演算を行う画像処理マイコン１０３と、第一の演算処理プログラム（ステレオ画像処理設定３０１）と、第二の演算処理プログラム（単眼画像処理冗長化設定３０２）とが格納されたメモリ１０４を備えている。

【0057】

第一の演算処理プログラム（ステレオ画像処理設定３０１）は、センシング機器（撮像素子１０２ａ，１０２ｂ）および画像処理マイコン１０３の故障に対して冗長化されていない。すなわち、センシング機器（撮像素子１０２ａ，１０２ｂ）または画像処理マイコン１０３のいずれかが故障した場合、ステレオ画像処理を実行することができない。

【0058】

また、第二の演算処理プログラム（単眼画像処理冗長化設定３０２）は、センシング機器（撮像素子１０２ａ，１０２ｂ）または画像処理マイコン１０３の故障に対して冗長化されている。すなわち、撮像素子１０２ａまたは単眼画像処理部２０６ａのいずれかが故障した場合は、撮像素子１０２ｂ及び単眼画像処理部２０６ｂにより単眼画像処理を実行する。一方、撮像素子１０２ｂまたは単眼画像処理部２０６ｂのいずれかが故障した場合は、撮像素子１０２ａ及び単眼画像処理部２０６ａにより単眼画像処理を実行する。

【0059】

また、画像処理マイコン１０３は、地図データユニット１０５から取得した車両の走行環境情報に応じて、第一の演算処理プログラム（ステレオ画像処理設定３０１）または第二の演算処理プログラム（単眼画像処理冗長化設定３０２）のうち、画像処理マイコン１０３上で動かす演算処理プログラムを切り替えるプログラム切り替え部（モード指示部２０２）を有する。

【0060】

第一の演算処理プログラム（ステレオ画像処理設定３０１）は、ステレオ視用の画像処理コンフィギュレーションであり、第二の演算処理プログラム（単眼画像処理冗長化設定３０２）は、単眼視用の画像処理コンフィギュレーションである。

【0061】

また、車両は、センシング機器（撮像素子１０２ａ，１０２ｂ）でのセンシング結果を用いて、所定の自動化制御レベルで自動制御され、プログラム切り替え部（モード指示部２０２）は、所定の自動化制御レベルに応じて、第一の演算処理プログラム（ステレオ画像処理設定３０１）または第二の演算処理プログラム（単眼画像処理冗長化設定３０２）のうち、画像処理マイコン１０３上で動かす演算処理プログラムを切り替える。

【0062】

本発明によれば、画像処理を行うマイコンはシステムを起動しながら一部演算論理を書き換える動的リコンフィギュレーションが可能で、周辺状況に応じて画像処理部の設定を書き換える。画像処理部はステレオ画像処理と単眼画像処理を同時に両方動かすことはなく、必ずどちらか片方のみを動かすため、特許文献１のようにステレオ画像処理と単眼画像処理の両方を行う場合と比べてマイコンの処理負荷を減らすことができる。よって、マイコンのコスト低減と消費電力低下による周辺部品のコスト低減に繋がる。

【0063】

また、冗長化していないステレオ画像処理での故障検知時にはフェールセーフの動作を行うことができ、冗長化された単眼画像処理での故障検知時にはフェールオペレーションを行うことができる。

【実施例2】

【0064】

図６から図１０を参照して、本発明の実施例２に係る車載外界認識装置について説明する。

【0065】

実施例１では、地図データユニット１０５から取得した情報に基づいて、モード指示部２０２によりステレオ画像処理設定３０１または単眼画像処理冗長化設定３０２のいずれかを選択する例を説明した。これに対し、本実施例では、車両通信線を介して取得したステレオカメラ１０１以外の他外界認識センサの情報に基づいて、運転制御モードを選択する例を説明する。

【0066】

図６は、本実施例の車載外界認識装置の概略構成を示す図である。

【0067】

図６に示すように、本実施例の車載外界認識装置は、主要な構成として、ステレオカメラ１０１と、セントラルユニット１０６と、車両通信線１０８を介してセントラルユニット１０６と接続された他外界認識センサ１０７とを備えている。他外界認識センサ１０７は、ミリ波レーダやソナーセンサといったステレオカメラ１０１以外の外界認識センサである。

【0068】

ステレオカメラ１０１とセントラルユニット１０６と他外界認識センサ１０７は、実施例１と同様に、CANやOTAなどの車載ネットワークにより接続されており、相互に情報を送受信することができる。車両通信線１０８は車載ネットワークの一部である。

【0069】

セントラルユニット１０６は、ステレオカメラ１０１及び他外界認識センサ１０７の検知結果を受信することによって周辺状況を判断する周辺状況判断部４０１を備えている。その他の構成は、基本的に実施例１（図１）と同様である。

【0070】

本実施例では、周辺状況判断部４０１の判断によってシステムによる制御のみで安全に制御可能か否かを判断し、すべての運転操作を自動化した制御の使用可否を決定する。

【0071】

図７を用いて、本実施例の車載外界認識装置の一般道路での動作について説明する。図７は、図６の車載外界認識装置の自動運転制御不可判断時の動作を概念的に示す図である。

【0072】

図７に示すように、周辺状況判断部４０１が自動運転制御不可と判断し、モード指示部２０２に通知された場合は、部分的な自動化制御のみを使用可能とする。

【0073】

画像処理部２０１の切り替え方法及び故障検出時の処理は、実施例１（図２）の一般道路の場合と同じである。

【0074】

図８を用いて、上記の動作を説明する。図８は、図６の車載外界認識装置の自動運転制御不可判断時の動作を示すフローチャートである。

【0075】

ステップＳ３０１において、車載外界認識装置の動作が開始すると、先ず、ステップＳ３０２において、周辺状況判断部４０１が周囲状況を判断し、自動運転制御不可の判断をモード指示部２０２に通知する。

【0076】

次に、ステップＳ３０３において、モード指示部２０２がメモリ１０４のステレオ画像処理設定３０１を読出し、画像処理部２０１を書き換える。

【0077】

続いて、ステップＳ３０４において、撮像素子１０２ａ，１０２ｂ及びステレオ画像処理部２０４での故障の有無を判定する。

【0078】

撮像素子１０２ａ，１０２ｂ及びステレオ画像処理部２０４のいずれかの故障を検出した場合、ステップＳ３０６に進み、ステレオカメラ１０１の機能を停止し、車両へ故障を通知し、処理を終了する（ステップＳ３０７）。

【0079】

一方、撮像素子１０２ａ，１０２ｂ及びステレオ画像処理部２０４のいずれも故障していないと判定した場合は、ステップＳ３０５に進み、部分的な自動化制御を行うとともに、ステップＳ３０４に戻り、ステップＳ３０４以降の処理を繰り返す。

【0080】

図９を用いて、本実施例の車載外界認識装置の高速道路での動作について説明する。図９は、図６の車載外界認識装置の自動運転制御可能判断時の動作を概念的に示す図である。

【0081】

図９に示すように、周辺状況判断部４０１が、ドライバによる運転操作及び走行環境の監視をせずにシステムによる車両制御のみで安全に走行可能な状況であると判断し、モード指示部２０２に通知された場合は、すべての運転操作を自動化した制御を使用可能とする。

【0082】

画像処理部２０１の切り替え方法及び故障検出時の処理は、実施例１（図４）の高速道路の場合と同じである。

【0083】

図１０を用いて、上記の動作を説明する。図１０は、図６の車載外界認識装置の自動運転制御可能判断時の動作を示すフローチャートである。

【0084】

ステップＳ４０１において、車載外界認識装置の動作が開始すると、先ず、ステップＳ４０２において、周辺状況判断部４０１が周囲状況を判断し、自動運転制御可能の判断をモード指示部２０２に通知する。

【0085】

次に、ステップＳ４０３において、モード指示部２０２がメモリ１０４の単眼画像処理冗長化設定３０２を読出し、画像処理部２０１を書き換える。

【0086】

続いて、ステップＳ４０４において、撮像素子１０２ａ，１０２ｂ及び単眼画像処理部２０６ａ，２０６ｂでの故障の有無を判定する。

【0087】

撮像素子１０２ａまたは単眼画像処理部２０６ａのいずれかの故障を検出した場合、ステップＳ４０５に進み、単眼画像処理部２０６ｂの結果を元に制御を行い、処理を終了する（ステップＳ４０８）。

【0088】

また、撮像素子１０２ｂまたは単眼画像処理部２０６ｂのいずれかの故障を検出した場合、ステップＳ４０６に進み、単眼画像処理部２０６ａの結果を元に制御を行い、処理を終了する（ステップＳ４０８）。

【0089】

一方、撮像素子１０２ａ，１０２ｂ及び単眼画像処理部２０６ａ，２０６ｂのいずれも故障していないと判定した場合は、ステップＳ４０７に進み、すべての運転操作を自動化した制御を行うとともに、ステップＳ４０４に戻り、ステップＳ４０４以降の処理を繰り返す。

【0090】

以上説明したように、本実施例の車載外界認識装置を制御するための演算処理を行う演算処理装置では、画像処理マイコン１０３は、ステレオカメラ１０１以外の他外界認識センサ１０７から取得した車両の走行環境情報や制御状態情報に応じて、第一の演算処理プログラム（ステレオ画像処理設定３０１）または第二の演算処理プログラム（単眼画像処理冗長化設定３０２）のうち、画像処理マイコン１０３上で動かす演算処理プログラムを切り替える。

【0091】

セントラルユニット１０６は、車両の走行環境を判断する周辺状況判断部４０１を有しており、プログラム切り替え部（モード指示部２０２）は、周辺状況判断部４０１の判断結果に基づいて、第一の演算処理プログラム（ステレオ画像処理設定３０１）または第二の演算処理プログラム（単眼画像処理冗長化設定３０２）のうち、画像処理マイコン１０３上で動かす演算処理プログラムを切り替える。

【0092】

なお、周辺状況判断部４０１が、実施例１（図１）の地図データユニット１０５から取得した地図データに基づいて、車両が一般道路または高速道路のいずれを走行しているかを判断し、プログラム切り替え部（モード指示部２０２）が、車両が一般道路を走行しているときは第一の演算処理プログラム（ステレオ画像処理設定３０１）を動作させ、車両が高速道路を走行しているときは第二の演算処理プログラム（単眼画像処理冗長化設定３０２）を動作させるように制御することも可能である。

【0093】

つまり、カメラやレーダなどによるセンシング結果や地図データの情報を元に周辺状況を判断して、画像処理設定を切り替える。周辺状況から判断して自動運転制御ができない状況では、画像処理部をステレオ画像処理に書き換え、自動運転制御が可能な状況では、単眼画像処理の設定に書き換える。

【0094】

実施例１と同様に、本実施例により、特許文献１のようにステレオ画像処理と単眼画像処理をどちらも行う場合に比べてマイコンの処理量を抑えることができる。

【0095】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0096】

１０１…ステレオカメラ、１０２ａ，１０２ｂ…撮像素子、１０３…画像処理マイコン、１０４…メモリ、１０５…地図データユニット、１０６…セントラルユニット、１０７…他外界認識センサ、１０８…車両通信線、２０１…画像処理部、２０２…モード指示部、２０３…ステレオ画像処理時故障検出部、２０４…ステレオ画像処理部、２０５…単眼画像処理時故障検出部、２０６ａ，２０６ｂ…単眼画像処理部、３０１…ステレオ画像処理設定、３０２…単眼画像処理冗長化設定、４０１…周辺状況判断部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】