特許 6571424 故障診断装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6571424

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】故障診断装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20190826BHJP

   B60R 1/00 20060101ALI20190826BHJP

   G06T 1/00 20060101ALI20190826BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   G06T1/00 330A

【請求項の数】9

【全頁数】17

(21)【出願番号】特願2015-134975(P2015-134975)

(22)【出願日】2015年7月6日

(65)【公開番号】特開2017-17635(P2017-17635A)

(43)【公開日】2017年1月19日

【審査請求日】2018年4月3日

(73)【特許権者】

【識別番号】391008559

【氏名又は名称】株式会社トランストロン

(74)【代理人】

【識別番号】100092978

【弁理士】

【氏名又は名称】真田 有

(72)【発明者】

【氏名】菱沼 芳昭

(72)【発明者】

【氏名】漆崎 直之

(72)【発明者】

【氏名】杉田 博一

(72)【発明者】

【氏名】小林 一彦

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１４−１８７４９６（ＪＰ，Ａ）

【文献】 特開２０１３−１５７７７０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０１９４４２４（ＵＳ，Ａ１）

【文献】 特開２００３−２５５４３０（ＪＰ，Ａ）

【文献】 特開平９−１１３２２１（ＪＰ，Ａ）

【文献】 特開２００５−７３２９６（ＪＰ，Ａ）

【文献】 特開平９−３１９８７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車載カメラで撮影された画像を処理するシステムの故障を診断する故障診断装置において、
路面上の車線を前記車線以外のアスファルト面と区別して検知する検知部と、
前記車線の検知中に撮影された第一画像において、前記車線に対応する第一エリアと前記アスファルト面に対応する第二エリアとを設定する設定部と、
車両走行中かつ前記車線の非検知時に撮影された第二画像において、前記第一エリアの第一輝度と前記第二エリアの第二輝度とを算出する算出部と、
前記第一輝度及び前記第二輝度の少なくとも一方に基づき、前記故障を診断する診断部と、
を備えたことを特徴とする、故障診断装置。

【請求項2】

前記診断部は、前記第一輝度が第一閾値未満である場合、又は、前記第二輝度が前記第一閾値よりも大きい第二閾値を超える場合に、前記故障が発生したものと診断する
ことを特徴とする、請求項１記載の故障診断装置。

【請求項3】

前記第一閾値が、前記第一画像における前記第二エリアの最小輝度に応じて設定される
ことを特徴とする、請求項２記載の故障診断装置。

【請求項4】

前記第二閾値が、前記第一画像における前記第一エリアの最大輝度に応じて設定される
ことを特徴とする、請求項２又は３記載の故障診断装置。

【請求項5】

前記算出部は、前回の演算周期で前記検知部が前記車線を検知していない場合に、前記第二画像における前記第一エリア及び前記第二エリアに対応する第三エリアの平均輝度を算出し、
前記診断部が、前記平均輝度に基づき、前記故障を診断する
ことを特徴とする、請求項１〜４の何れか１項に記載の故障診断装置。

【請求項6】

前記診断部は、前記平均輝度が第三閾値未満である場合、又は、前記平均輝度が前記第三閾値よりも大きい第四閾値を超える場合に、前記故障が発生したものと診断する
ことを特徴とする、請求項５記載の故障診断装置。

【請求項7】

前記第三閾値及び前記第四閾値が、直近の前記第一画像における前記第三エリアの平均輝度、前記第二エリアの最小輝度、及び、前記第一エリアの最大輝度に応じて設定されることを特徴とする、請求項６記載の故障診断装置。

【請求項8】

前記車両の車速が所定車速以上であることを、前記故障診断の実施条件の一つとする
ことを特徴とする、請求項１〜７の何れか１項に記載の故障診断装置。

【請求項9】

前記車両の操舵角又はヨーレートの大きさが所定値以上であることを、前記故障診断の実施条件の一つとする
ことを特徴とする、請求項１〜８の何れか１項に記載の故障診断装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラで撮影された画像を処理するシステムの故障を診断する故障診断装置に関する。

【背景技術】

【0002】

近年、車両事故の発生を未然に防ぐための予防安全技術の一つとして、車載カメラで撮影された画像に解析処理を施すことで周囲の状況を認識する画像処理システムが開発されている。画像処理システムでは、路面上の車線（白線，黄色線）や他車両，障害物，道路標識等が認識される。これらの認識結果は、例えば乗員に通知，報知され、あるいはオートクルーズ制御や自動ブレーキ制御，オートパイロット制御等に反映されて、車両の走行状態が制御される。

【0003】

ところで、車載カメラで撮影される画像の明るさは、撮影時刻や走行環境によって変化する。そのため、画像処理システムでは、撮影された画像の明るさを補正する露出制御が実施される。例えば、撮像範囲の照度が高い状況（晴天の昼間，逆光時等）では、露出が低くなるように露光時間，絞り，感度等が制御される、反対に、照度が低い状況（夜間，トンネル内）では、露出が高くなるようにそれらが制御される。

【0004】

一方、車載カメラの故障により露出制御に不具合が生じている場合には、画像中に含まれる認識対象を精度よく抽出することが困難となり、認識精度が低下しうる。そこで、車載カメラの露出制御が適切であるか否かを判断するためのさまざまな技術が検討されている。例えば、車外照度と検出する照度センサを別設し、車外照度と車載カメラで撮影された画像中における車体部分の輝度とを比較することで、故障の有無を判断することが提案されている。また、車載カメラの露光時間や露光ゲインを考慮して算出される路面の光量に基づいて、故障の有無を判定することも提案されている（特許文献１，２参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開2005-33680号公報

【特許文献2】特開2014-187496号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記のような従来の手法では、故障の診断精度を向上させることが難しい。例えば、車載カメラで撮影された画像中における車体部分の輝度は、車外照度だけでなく、車体表面の塗装や表面加工の種類，汚れの状態等に応じて変化する。また、路面の光量も、照度や路面の施工状態等に応じて変動する。そのため、車載カメラの露出制御が適切であるにも関わらず、画像処理システムに故障が発生しているものと誤判定されるおそれがあり、故障の診断精度が低下しうる。

【0007】

本件の目的の一つは、上記のような課題に鑑み創案されたものであり、画像処理システムの故障診断精度を向上させた故障診断装置を提供することである。また、この目的に限らず、後述する「発明を実施するための形態」に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的として位置づけることができる。

【課題を解決するための手段】

【0008】

開示の故障診断装置は、車載カメラで撮影された画像を処理するシステムの故障を診断する故障診断装置である。この故障診断装置には、検知部，設定部，算出部，診断部が設けられる。
検知部は、路面上の車線を前記車線以外のアスファルト面と区別して検知する。
設定部は、前記車線の検知中に撮影された第一画像において、前記車線に対応する第一エリアと前記アスファルト面に対応する第二エリアとを設定する。
算出部は、車両走行中かつ前記車線の非検知時に撮影された第二画像において、前記第一エリアの第一輝度と前記第二エリアの第二輝度とを算出する。
診断部は、前記第一輝度及び前記第二輝度の少なくとも一方に基づき、前記故障を診断する。

【発明の効果】

【0009】

画像処理システムの故障診断精度を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】故障診断装置が適用された車両の構成を例示する図である。

【図2】故障診断装置のハードウェア構成を例示する図である。

【図3】故障診断装置の機能を模式的に示すブロック図である。

【図4】車線が検知された第一画像を例示する図である。

【図5】（Ａ），（Ｃ）は第一画像における第一エリアの輝度分布を例示するグラフ、（Ｂ）は第二エリアの輝度分布を例示するグラフである。

【図6】車線が検知されなかった第二画像を例示する図である。

【図7】第二画像における第三エリアの輝度分布を例示するグラフである。

【図8】閾値の設定手法を説明するためのグラフである。

【図9】故障診断装置での制御手順を例示するフローチャートである。

【発明を実施するための形態】

【0011】

図面を参照して、実施形態としての故障診断装置について説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形や技術の適用を排除する意図はない。すなわち、本実施形態をその趣旨を逸脱しない範囲で種々変形（実施形態及び各変形例を組み合わせる等）して実施することができる。なお、以下の説明では、路面上の白線や黄色線（走行領域の区画線であって、車道中央線，車線境界線，車道外側線等）のことを「車線」と呼ぶ。

【0012】

［１．車両］
本実施形態の故障診断装置は、車両２０に搭載された画像処理システムに適用される。この画像処理システムは、車載カメラ２１で周囲の画像を撮影し、画像認識装置１０でその画像に解析処理を施すことによって、周囲の認識対象物を認識するものである。ここでいう認識対象物には、例えば路面上の車線，他車両，障害物，人物，道路標識等が含まれる。画像認識装置１０における画像認識の具体的な手法は任意であり、公知の手法を採用することができる。例えば、車載カメラ２１で得られた画像の明るさを補正する露出制御やフィルタ処理，二値化処理等を施したのち、エッジ検出処理，色彩解析処理，パターンマッチング処理等を施すことによって、認識対象物の存在やその種類，位置，挙動等が把握される。

【0013】

画像認識装置１０には、画像処理システムの故障を診断する故障診断装置としての機能が実装される。この機能を担う部位を故障診断部１とし、図１中に示す。故障診断部１は、ハードウェア（電子制御回路）で実現してもよいし、画像認識装置１０内で処理されるソフトウェアで実現してもよく、あるいはハードウェアとソフトウェアとを併用して実現してもよい。本実施形態の故障診断部１は、ソフトウェア（故障診断プログラム）で実装される。

【0014】

車両２０には、上記の車載カメラ２１のほか、車速センサ２２，ヨーレートセンサ２３，操舵角センサ２４，ディスプレイ２５，スピーカ２６，車両制御装置３０が搭載される。車載カメラ２１は、車両２０の周囲の画像を撮影する撮像素子〔CCD（Charge-Coupled Device），CMOS（Complementary Metal-Oxide-Semiconductor）等〕を内蔵した撮影装置である。ここでは、車両２０の周囲の路面を含む画像が撮影され、その画像（画像データ）が画像認識装置１０に伝達される。また、車速センサ２２，ヨーレートセンサ２３，操舵角センサ２４はそれぞれ、車両２０の車速，ヨーレート，操舵角を検出するセンサである。これらの車両情報は画像認識装置１０に伝達され、車両２０の走行状態の判定に使用される。

【0015】

ディスプレイ２５，スピーカ２６は画像認識装置１０の出力装置であり、画像認識装置１０での認識結果や故障診断結果はこれらに出力される。なお、車両２０にカーナビゲーションシステムやカーオーディオシステム，マルチメディアシステム等が搭載されている場合には、ディスプレイ２５，スピーカ２６に代えて、あるいは加えて、これらのシステムに含まれる汎用の映像表示装置，音声出力装置を利用してもよい。

【0016】

車両制御装置３０は、車両２０に搭載される各種装置を制御するための電子制御装置である。車両制御装置３０には、例えばエンジン制御装置，ブレーキ制御装置，変速機制御装置，サスペンション制御装置，車体姿勢制御装置等が含まれる。この車両制御装置３０は、車載通信網を介して画像認識装置１０と互いに通信可能に接続される。これにより、画像認識装置１０での認識結果が車両２０の各種制御に利用可能となる。

【0017】

［２．ハードウェア］
図２は、画像認識装置１０のハードウェア構成を例示する図である。画像認識装置１０には、プロセッサ１１，メモリ１２（メインメモリ，主記憶装置），補助記憶装置１３，インタフェース装置１４，記録媒体ドライブ１５等が内蔵され、内部バス１６を介して互いに通信可能に接続される。これらの各装置１１〜１５は、図示しない電力源（例えば、車載バッテリーやボタン電池等）からの電力供給を受けて動作する。

【0018】

プロセッサ１１は、制御ユニット（制御回路）や演算ユニット（演算回路），キャッシュメモリ（レジスタ群）等を内蔵する中央処理装置である。また、メモリ１２は、プログラムや作業中のデータが格納される記憶装置であり、例えばROM（Read Only Memory），RAM（Random Access Memory）がこれに含まれる。一方、補助記憶装置１３は、メモリ１２よりも長期的に保持されるデータやプログラムが格納されるメモリ装置であり、例えばフラッシュメモリやEEPROM（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリがこれに含まれる。

【0019】

インタフェース装置１４は、画像認識装置１０と外部との間の入出力（Input and Output；I/O）を司るものである。画像認識装置１０は、インタフェース装置１４を介して車載ネットワーク網と接続される。あるいは、インタフェース装置１４を介して、車両２０に搭載された車載カメラ２１及び各種センサ２２〜２４に接続される。車載カメラ２１，各種センサ２２〜２４や車両制御装置３０と画像認識装置１０との情報の授受は、インタフェース装置１４を介してなされる。記録媒体ドライブ１５は、光ディスクや半導体メモリ等の記録媒体１７（リムーバブルメディア）に記録，保存された情報を読み取る読取装置である。

【0020】

画像認識装置１０で実施される制御のプログラムは、例えばメモリ１２内に記録，保存されることとしてもよいし、補助記憶装置１３の内部に記録，保存されることとしてもよい。あるいは、記録媒体１７上にプログラムが記録，保存され、その記録媒体１７に書き込まれている情報が、インタフェース装置１４や記録媒体ドライブ１５を介して画像認識装置１０に読み込まれることとしてもよい。

【0021】

［３．故障診断部］
図３は、画像認識装置１０の故障診断に関する故障診断部１での処理内容を説明するためのブロック図である。故障診断部１での処理内容は、例えばアプリケーションプログラムとして補助記憶装置１３や記録媒体１７に記録，保存され、プロセッサ１１内のメモリ空間やメモリ１２上に展開されて実行される。ここでの処理内容を機能的に分類すると、故障診断部１には、検知部２，設定部３，判定部４，算出部５，診断部６が設けられる。

【0022】

［３−１．検知部］
検知部２は、路面上の車線を車線以外のアスファルト面と区別して検知するものである。ここでは、路面上にプリントされた車線と、車線がプリントされていないアスファルト面とが画像上で識別され、その識別結果が設定部３，判定部４に伝達される。車線とアスファルト面との識別には、前述した認識対象物の把握手法と同様に、公知の車線認識アルゴリズムを採用することができる。したがって、画像認識装置１０で認識対象物がすでに認識されている場合には、その認識結果から車線とアスファルト面とを検知してもよい。
以下、車載カメラ２１で撮影された画像のうち、車線が検知されたものを第一画像４０と呼び、車線が検知されていないものを第二画像５０と呼ぶ。また、図４，図６に示すように、これらの画像中に存在する車線及びアスファルト面のそれぞれに符号４１，４２を付して説明する。

【0023】

［３−２．設定部］
設定部３は、故障診断の対象となるエリア（領域）を設定するものである。検知部２で車線が検知されている場合、設定部３は、第一画像４０に基づいて三種類のエリア４３〜４５を設定する。これらのエリア４３〜４５は、路面の旋回半径，勾配，走行レーン幅などに応じた位置に設定される。一方、検知部２で車線が検知されていない場合、設定部３は、一種類のエリア（第三エリア４６）のみを設定する。これらのエリア４３〜４６の位置を、図４，図６中に例示する。

【0024】

第一エリア４３，４４は、第一画像４０において車線４１に対応するエリア（好ましくは、車線４１を多く含むエリア）である。車線４１は車両２０の左右それぞれに配設されうることから、左側の車線４１に対応する第一エリア４３と、右側の車線４１に対応する第一エリア４４とが設定される。図４に示すように、第一エリア４３，４４は、矩形の画像における下端辺との距離が寸法Yとなる仮想線Hに沿って、水平方向に間隔を空けて並置される。第一画像４０中における車線４１の位置は、路面の旋回半径，勾配，走行レーン幅などによって変化する。したがって、第一エリア４３，４４の水平方向の位置も、路面に応じて変動する。

【0025】

第二エリア４５は、第一画像４０においてアスファルト面４２に対応するエリア（好ましくは、アスファルト面４２を多く含むエリア）である。ここでは、車両２０の走行レーンとなるアスファルト面４２の中央部を含むエリアが、第二エリア４５として設定される。本実施形態の第二エリア４５は、左右の第一エリア４３，４４に挟まれた範囲内において、仮想線Hに沿って水平方向に延びる帯状領域として設定される。図４に示すように、第二エリア４５の横幅は、左右の第一エリア４３，４４のそれぞれに対して、水平方向に所定の間隔が空くように設定される。

【0026】

第三エリア４６は、上記の三種類のエリア４３〜４５に対応するエリアを含む広域のエリアである。ここでは、矩形の画像のほぼ全幅にわたって、仮想線Hに沿って水平方向に延びる帯状領域が第三エリア４６として設定される。なお、第三エリア４６の位置は、あらかじめ設定しておいてもよい。また、第一エリア４３，４４がすでに設定されている場合には、少なくとも第一エリア４３，４４を含む程度に、第三エリア４６の左右両端部を切り詰めてもよい。ここで設定された各エリア４３〜４６の位置の情報は、算出部５に伝達される。

【0027】

［３−３．判定部］
判定部４は、故障診断に関する条件を判定するものである。ここでは、車両２０の走行状態に関する判定と、車線４１の検知状態に関する判定とが実施される。前者の判定は、車両２０の走行中に故障診断を実施するためのものである。判定部４は、例えば以下の何れかの条件が成立する場合に「車両走行中である」と判断し、その情報を算出部５，診断部６に伝達する。条件中の「所定速度」は、車線４１が描かれている道路を走行しているか否かを推定するための閾値であり、例えば法定速度相当の値（数十km/h）とされる。
・車速が所定速度以上である
・ヨーレートが所定値以上である
・操舵角が所定角以上である

【0028】

後者の判定は、故障診断の手法を切り替えるためのものである。判定部４は、検知部２が車線４１を検知したか否かを表す情報を記憶，保持するとともに、その情報を算出部５，診断部６に伝達する。情報を記憶，保持し続ける時間は、少なくとも一回の演算周期に相当する時間以上であり、好ましくは数回の演算周期に相当する時間とされる。つまり、判定部４は、直近の過去に車線４１が検知されたという事実を記憶する機能を持つ。

【0029】

上記の事実を記憶する機能は、故障診断精度を向上させる上で有用である。なぜならば、車線４１が直近の過去（例えば、前回の演算周期）で検知されている場合には、第一エリア４３，４４や第二エリア４５の鮮度（領域が設定された位置の精度）が高く、路面の状態が急変しているとは考えにくいからである。故障診断を実施する直前に得られた第一画像４０に基づいて第一エリア４３，４４や第二エリア４５を設定することで、車線４１やアスファルト面４２であった確度の高い領域（例えば、水たまりによって車線４１が見えにくくなっている路面や、車線４１のペイントが消えかかっている路面など）を診断対象とすることができ、故障の診断精度が向上する。

【0030】

［３−４．算出部］
算出部５は、車線４１が検知されていない第二画像５０を対象として、設定部３で設定された各エリア４３〜４６の輝度を算出するものである。ここでは、第一エリア４３，４４のそれぞれの平均輝度A_L，A_R（第一輝度）と、第二エリア４５の平均輝度B（第二輝度）と、第三エリア４６の平均輝度Cとが算出される。平均輝度A_L，A_Rは「第一画像４０では車線４１が検知されていたはずのエリア（第二画像５０で車線４１が検知されなくなったエリア）」の平均輝度に相当する。

【0031】

同様に、平均輝度Bは「第一画像４０ではアスファルト面４２が検知されていたはずのエリア」の平均輝度に相当する。また、平均輝度Cは「車線４１，アスファルト面４２に相当するだろうと予想されるエリア」の平均輝度に相当する。
平均輝度の算出手法は種々考えられる。例えば、各エリア内に存在する各画素の輝度の算術平均値（相加平均値）を算出してもよいし、相乗平均値を算出してもよい。あるいは、相加平均値と相乗平均値とを混合した値を求めてもよい。ここで算出された輝度の情報は診断部６に伝達される。

【0032】

［３−５．診断部］
診断部６は、算出部５で算出された輝度を用いて故障診断を実施するものである。この故障診断では、画像処理システムの内的要因による故障や環境要因による性能低下を含む故障状態が三種類に分類されて判定される。故障診断の実施条件は、車両走行中であって、検知部２が車線４１を検知していないことである。本実施形態の診断部６は、前回の演算周期で車線４１が検知されているか否かによって、二通りの故障診断手法の何れかが選択される。この選択に際し、判定部４が記憶，保持している車線４１の検知履歴が参照される。

【0033】

第一の故障診断手法は、前回の演算周期で車線４１が検知されているときに選択される。この場合、算出部５で算出された平均輝度A_L，A_Rのそれぞれと黒つぶれ閾値K₁（第一閾値）との大小関係が比較されるとともに、平均輝度Bと白飛び閾値K₂（第二閾値）との大小関係が比較される。白飛び閾値K₂は、黒つぶれ閾値K₁よりも大きい値（より高い輝度に相当する値）を持つ。

【0034】

ここで、平均輝度A_Lが黒つぶれ閾値K₁未満である場合には、画像処理システムに「黒つぶれ傾向」の故障が発生したものと判定される。同様に、平均輝度A_Rが黒つぶれ閾値K₁未満である場合にも、画像処理システムに「黒つぶれ傾向」の故障が発生したものと判定される。また、平均輝度Bが白飛び閾値K₂を超える場合には、画像処理システムに「白飛び傾向」の故障が発生したものと判定される。一方、図５（Ａ）〜（Ｃ）に示すように、平均輝度A_L，A_Rがともに黒つぶれ閾値K₁以上であり、かつ、平均輝度Bが白飛び閾値K₂以下である場合には、画像処理システムに性能低下が発生しているものと判定される。

【0035】

第二の故障診断手法は、前回の演算周期で車線４１が検知されていないときに選択される。この場合、第一エリア４３，４４及び第二エリア４５が設定されていない可能性があり、仮に設定されていたとしても、その情報はやや古いものと考えられる。そこで診断部６は、算出部５で算出された平均輝度Cと黒つぶれ閾値K₃（第三閾値）との大小関係を比較するとともに、平均輝度Cと白飛び閾値K₄（第四閾値）との大小関係を比較する。白飛び閾値K₄は、黒つぶれ閾値K₃よりも大きい値（より高い輝度に相当する値）を持つ。また、閾値K₃，K₄のそれぞれは、上述の閾値K₁，K₂のそれぞれと同一値であってもよいし、異なる値であってもよい。

【0036】

ここで、平均輝度Cが黒つぶれ閾値K₃未満である場合には、画像処理システムに「黒つぶれ傾向」の故障が発生したものと判定される。また、平均輝度Cが白飛び閾値K₄を超える場合には、画像処理システムに「白飛び傾向」の故障が発生したものと判定される。一方、図７に示すように、平均輝度Cが黒つぶれ閾値K₃以上であり、かつ、白飛び閾値K₄以下である場合には、画像処理システムに性能低下が発生しているものと判定される。

【0037】

また、診断部６は、診断結果に対応する故障診断コード（ダイアグノーシスコード）を補助記憶装置１３や記録媒体１７へと出力してその情報を記録する。また、診断部６は、同一種類の故障診断コードが記録された回数をカウントし、所定回数以上になったときにその故障診断コードに対応する警報情報，診断情報を乗員に報知する。これらの警報情報，診断情報は、ディスプレイ２５に表示されるとともに、スピーカ２６から音声案内として出力される。

【0038】

以下に、故障診断コードの種類とそのコードが出力される原因との関係を例示する。故障診断コード１は、黒つぶれ傾向の故障が発生した可能性が高いことを示し、故障診断コード２は、白飛び傾向の故障が発生した可能性が高いことを示す。これらのコードは、画像処理システムの内的要因による故障だけでなく、環境要因による性能低下によって出力されうる。これに対し、故障診断コード３は、環境要因による性能低下が発生している可能性が高いことを示す。したがって、故障診断コードの種類が故障診断コード３であるか否かを判定することで、システムの内的要因による故障の有無を精度よく診断することができる。

【表1】

【0039】

上記の故障診断で用いられる閾値K₁，K₂，K₃，K₄の具体的な値は、予め設定された固定値としてもよいし、適宜算出される演算値としてもよい。
例えば、第一エリア４３，４４及び第二エリア４５の設定時に参照された第一画像４０に基づいて、閾値K₁，K₂を設定することが考えられる。この場合、図８に示すように、第一エリア４３，４４の最大輝度E（車線輝度最大値）を算出するとともに、第二エリア４５の最小輝度F（アスファルト輝度最小値）を算出する。これらの最小輝度F，最大輝度Eに所定のマージンを与える定数η，γを乗じたものが、それぞれ閾値K₁，K₂として機能しうる（黒つぶれ閾値K₁＝F×η，白飛び閾値K₂＝E×γ）。定数γ，ηの値は、試験，実験を通じて予め取得しておくことができる。

【0040】

また、第一画像４０に基づいて、閾値K₃，K₄を設定してもよい。この場合、第一画像４０における第三エリア４６の平均輝度Dと最大輝度E（車線輝度最大値）との差を第一輝度差ΔSとして算出するとともに、平均輝度Dと最小輝度F（アスファルト輝度最小値）との差を第二輝度差ΔAとして算出する。第二輝度差ΔAに定数βを乗じて、これを平均輝度Dから減じたものが、黒つぶれ閾値K₃として機能しうる（黒つぶれ閾値K₃＝D−ΔA×β）。同様に、第一輝度差ΔSに所定のマージンを与える定数αを乗じて、これを平均輝度Dに加算したものが、白飛び閾値K₄として機能しうる（白飛び閾値K₄＝D＋ΔS×α）。

【0041】

［４．フローチャート］
図９は、故障診断部１で実行される故障診断プログラムの手順を例示するフローチャートである。このフローは、例えばアプリケーションプログラムとして補助記憶装置１３や記録媒体１７に記録，保存されており、プログラムの実行時にプロセッサ１１へと読み込まれて所定の周期で繰り返し実行される。

【0042】

画像認識装置１０は、車載カメラ２１で撮影された画像を取得するとともに（ステップＡ１）、車速センサ２２で検出された車速の情報を取得する（ステップＡ２）。このとき、ヨーレートセンサ２３で検出されたヨーレートや操舵角センサ２４で検出された操舵角など、車両２０の走行状態に関する車両情報を取得してもよい。また、画像認識装置１０は、画像に解析処理を施して周囲の認識対象物を認識する（ステップＡ３）。ここでは、少なくとも路面上の車線４１とアスファルト面４２とが識別される。

【0043】

ステップＡ４では、検知部２が画像中の車線４１とアスファルト面４２とが識別されるとともに、車線４１が検知されたか否かが判定される。ここで、車線４１が検知されている場合にはステップＡ５に進み、車線４１が検知されていない場合にはステップＡ６に進む。ステップＡ５では、設定部３が故障診断の対象となる第一エリア４３，４４及び第二エリア４５を設定する。これらのエリア４３〜４５の縦軸方向の座標は、図４に示すように、仮想線Hの位置に固定されている。

【0044】

なお、後述するステップＡ９〜Ａ１０で用いられる閾値K₁，K₂を第一画像４０に基づいて設定する場合には、ここで黒つぶれ閾値K₁及び白飛び閾値K₂が算出される。黒つぶれ閾値K₁は、第一画像４０における第二エリア４５の最小輝度Fに定数ηを乗じた値とされる。また、白飛び閾値K₂は、第一画像４０における第一エリア４３，４４の最大輝度Eに定数γを乗じた値とされる。その後、故障診断が実施されることなくこの演算周期での処理が終了し、次回の演算周期では再びステップＡ１から処理が開始される。したがって、車線４１が認識されている間は、第一エリア４３，４４及び第二エリア４５の位置が、所定の周期で繰り返し更新されることになる。一方、車線４１が検知されなくなると、ステップＡ６以降の処理が実行される。

【0045】

ステップＡ６では、判定部４において、車両２０が走行中であるか否かが判定される。ここで、例えば車速が所定速度以上であれば、車両２０が車線のある道路を走行しているものと判断されてステップＡ７に進む。一方、車速が所定速度未満であれば、車両２０が車線のない道路を走行している（例えば、狭い私道や路地を走行している）ものと判断されて、この演算周期での処理が終了する。なお、車速を判定する代わりに、車両２０の操舵角又はヨーレートの大きさが所定値以上であることを判定してもよい。
ステップＡ７では、判定部４において、車線４１が前回の演算周期で検知されているか否かが判定される。この条件が成立するとステップＡ８に進み、今回の演算周期で得られた第二画像５０を対象として、算出部５が第一エリア４３，４４及び第二エリア４６の平均輝度A_L，A_R，Bを算出する。

【0046】

ステップＡ９では、診断部６において、第一エリア４３，４４の平均輝度A_L，A_Rが、ともに黒つぶれ閾値K₁以上であるか否かが判定される。なお、第一エリア４３，４４の平均輝度A_L，A_Rは、第二エリア４５の平均輝度Bよりも高い値となりやすい傾向を持つ。したがって、比較的小さい輝度に相当する黒つぶれ閾値K₁を用いた判定において、誤判定を発生しにくくするためには、第二エリア４５の平均輝度Bを使用するよりも第一エリア４３，４４の平均輝度A_L，A_Rを使用した方が有利となる。ここで、平均輝度A_L，A_Rの何れかが黒つぶれ閾値K₁未満である場合にはステップＡ１１に進み、診断部６が故障診断コード１を出力して、この演算周期での処理が終了する。一方、平均輝度A_L，A_Rがともに黒つぶれ閾値K₁以上であれば、ステップＡ１０に進む。

【0047】

ステップＡ１０では、第二エリア４５の平均輝度Bが白飛び閾値K₂以下であるか否かが判定される。第二エリア４５の平均輝度Bは、第一エリア４３，４４の平均輝度A_L，A_Rよりも低い値となりやすい傾向を持つ。したがって、比較的大きい輝度に相当する白飛び閾値K₂を用いた判定において、誤判定を発生しにくくするためには、第一エリア４３，４４の平均輝度A_L，A_Rを使用するよりも第二エリア４５の平均輝度Bを使用した方が有利となる。ここで、平均輝度Bが白飛び閾値K₂を超える場合にはステップＡ１２に進み、診断部６が故障診断コード２を出力して、この演算周期での処理が終了する。一方、平均輝度Bが白飛び閾値K₂以下ならばステップＡ１３に進み、診断部６が故障診断コード３を出力して、この演算周期での処理が終了する。

【0048】

一方、ステップＡ７において、前回の演算周期で車線４１が検知されていない場合にはステップＡ１４に進み、今回の演算周期で得られた第二画像５０を対象として、算出部５が第三エリア４６の平均輝度Cを算出する。なお、これに続くステップＡ１５〜Ａ１６で用いられる閾値K₃，K₄を直近の第一画像４０に基づいて設定する場合には、ここで黒つぶれ閾値K₃及び白飛び閾値K₄が算出される。黒つぶれ閾値K₃は、直近の第一画像４０における第三エリア４６の平均輝度Dと最小輝度Fとに基づいて算出される。同様に、白飛び閾値K₄は、平均輝度Dと最大輝度Eとに基づいて算出される。

【0049】

ステップＡ１５では、診断部６において、第三エリア４６の平均輝度Cが黒つぶれ閾値K₃以上であるか否かが判定される。ここで、平均輝度Cが黒つぶれ閾値K₃未満である場合にはステップＡ１７に進み、診断部６が故障診断コード１を出力して、この演算周期での処理が終了する。また、平均輝度Cが黒つぶれ閾値K₃以上ならばステップＡ１６に進み、平均輝度Cが白飛び閾値K₄以下であるか否かが判定される。ここで、平均輝度Cが白飛び閾値K₄を超える場合にはステップＡ１８に進み、診断部６が故障診断コード２を出力して、この演算周期での処理が終了する。一方、平均輝度Cが白飛び閾値K₄以下ならばステップＡ１９に進み、診断部６が故障診断コード３を出力して、この演算周期での処理が終了する。このような処理が繰り返された後、何れかの故障診断コードの出力回数が所定回数以上に達すると、その故障診断コードに対応する警報情報，診断情報がディスプレイ２５，スピーカ２６へと伝達され、乗員に報知される。

【0050】

［５．作用，効果］
（１）上記の故障診断部１（または、これを含む画像認識装置１０）では、車線４１の検知中に撮影された第一画像４０に基づき、第一エリア４３，４４と第二エリア４５とが設定される。また、その後に車線４１が検知されなくなると、第二画像５０における第一エリア４３，４４の平均輝度A_L，A_Rと、第二エリア４５の平均輝度Bとが算出される。これらの平均輝度A_L，A_R，Bに基づいて故障を判定することで、車線やアスファルト面であった可能性の高い領域を診断対象領域とすることができ、故障診断精度を向上させることができる。また、上記の故障診断部１では、表１に示すように、システムの内的要因による故障と環境要因による性能低下とを識別して診断することができるため、故障診断精度を向上させることができる。

【0051】

（２）上記の故障診断部１では、輝度に基づく判定に際し、第一エリア４３，４４の平均輝度A_L，A_Rのそれぞれが黒つぶれ閾値K₁未満である場合に、画像処理システムに「黒つぶれ傾向」の故障が発生したものと判定される。このように、比較的大きな輝度値を持ちやすい平均輝度A_L，A_Rと、比較的小さい輝度に相当する黒つぶれ閾値K₁との大小関係を判定することで、低露出（暗すぎること）による誤判定を抑制することができる。
また、上記の故障診断部１では、輝度に基づく判定に際し、第二エリア４５の平均輝度Bが白飛び閾値を超える場合に、画像処理システムに「白飛び傾向」の故障が発生したものと判定される。このように、比較的小さな輝度値を持ちやすい平均輝度Bと、比較的大きい輝度に相当する白飛び閾値K₂との大小関係を判定することで、高露出（明るすぎること）による誤判定を抑制することができる。
したがって、露出故障の誤判定の発生を抑制することができ、故障診断精度を向上させることができる。

【0052】

（３）上記の故障診断で用いられる黒つぶれ閾値K₁は、第一画像４０における第二エリア４５の最小輝度F（アスファルト輝度最小値）に応じて設定可能である。この場合、車線４１が検知されたときの走行シーンにおけるアスファルト面４２の実測値に基づいて黒つぶれ閾値K₁を与えることができ、走行シーンの環境を基準とした故障診断を実現することができる。したがって、日射量や時間帯に左右されることなく、第一エリア４３，４４が黒つぶれしているか否かを精度よく判断することができ、画像処理システムの故障診断精度をさらに向上させることができる。

【0053】

（４）同様に、本件の故障診断で用いられる白飛び閾値K₂は、第一画像４０における第一エリア４３，４４の最大輝度E（車線輝度最大値）に応じて設定可能である。この場合、車線４１が検知されたときの走行シーンにおける車線４１の実測値に基づいて白飛び閾値K₂を与えることができる。したがって、第二エリア４５が白飛びしているか否かを精度よく判断することができ、画像処理システムの故障診断精度をさらに向上させることができる。

【0054】

（５）上記の故障診断部１では、第一エリア４３，４４や第二エリア４５だけでなく、第三エリア４６も設定される。この第三エリア４６は、図４，図６中に示すように、左右の第一エリア４３，４４及び第二エリア４５に対応するエリアを含む広域のエリアとして設定される。また、算出部５では、第三エリア４６の平均輝度Cが算出され、この平均輝度Cに基づいて故障診断が実施される。このような判定手法を採用することで、前回の演算周期で車線４１を検知していない場合であっても、車線４１やアスファルト面４２であるはずのエリアについての平均輝度Cを診断することができ、故障診断精度を向上させることができる。

【0055】

（６）上記の故障診断部１では、第三エリア４６の平均輝度Cが黒つぶれ閾値K₃未満である場合に、画像処理システムに「黒つぶれ傾向」の故障が発生したものと判定される。また、平均輝度Cが白飛び閾値K₄を超える場合には、画像処理システムに「白飛び傾向」の故障が発生したものと判定される。これにより、車線４１が検知されていない状態での故障判定を実施することができる。また、車載カメラ２１の露出状態に起因する誤検出を抑制することができ、故障判定精度を向上させることができる。

【0056】

（７）上記の故障診断で用いられる黒つぶれ閾値K₃及び白飛び閾値K₄は、直近の第一画像４０における第三エリア４６の平均輝度D，第二エリア４５の最小輝度F，第一エリア４３，４４の最大輝度Eに応じて設定される。これにより、過去（例えば、前回の演算周期）に車線４１が検知されていなかったとしても、走行シーンの環境を基準とした閾値K₃，K₄を与えることができ、画像処理システムの故障診断精度をさらに向上させることができる。

【0057】

（８）上記の故障診断部１では、車両２０が走行中であることを条件として、故障診断が実施される。例えば、車速が所定車速以上であるときには、狭い私道や路地を走行しているのではなく、車線４１が描かれている道路を走行しているものと判断されて、故障診断が実施される。これにより、診断に適した路面環境を特定することが可能となり、故障診断精度をさらに向上させることができる。
また、車速が所定車速未満の状態では、故障診断が実施されない。これにより、例えば駐車場やガソリンスタンドの路面にペイントされた車線４１以外の表示記号に基づく誤診断を防止することができる。このような点においても、「車両の車速が所定車速以上であること」を故障診断の実施条件の一つとすることは、故障診断精度の向上に貢献しうる。

【0058】

（９）上記の故障診断部１では、ヨーレートが所定値以上であることや、操舵角が所定各以上であることも、故障診断の実施条件の一つとされている。このように、車両２０の操舵角やヨーレートが大きい旋回状態では、車両２０が車線のある道路を走行中であると推定できる。したがって、故障診断精度をさらに向上させることができる。

【0059】

［６．変形例］
上述の実施形態では、画像認識装置１０の内部に故障診断部１が設けられたものを例示したが、故障診断部１を画像認識装置１０の外部に設けることも可能である。例えば、故障診断部１を車両制御装置３０に内蔵させてもよいし、故障診断部１を独立した一つの電子制御装置として設けてもよい。また、車両２０が無線通信機能を搭載している場合には、ネットワーク上のコンピュータやサーバ内に故障診断部１を設けることが可能である。さらに、故障診断部１としての機能を複数の電子制御装置に分散させて配置することも可能である。

【0060】

また、上述の実施形態では、車両２０の走行状態の判定に際し、車速，ヨーレート，操舵角を用いるものを例示したが、この判定に係る具体的なパラメータは種々考えられる。例えば、車両２０に搭載されたエンジンやモータの回転数，トルク，駆動軸回転数，駆動軸トルク等が所定値以上である場合に「車両走行中である」と判断してもよい。あるいは、車両２０の横加速度や駆動輪の切れ角に基づき、旋回状態を判断してもよい。

【0061】

また、上述の実施形態では、例えば図９のステップＡ９，Ａ１０に示すように、第一エリア４３，４４の平均輝度A_L，A_Rと第二エリア４５の平均輝度Bとを併用した故障診断手法を例示したが、これらの何れか一方のみを用いて故障診断を実施してもよい。さらに、上述の実施形態では、左側の車線４１に対応する第一エリア４３と右側の車線４１に対応する第一エリア４４とが設定されているが、これらの何れか一方のみを設定することも可能である。少なくとも一つ以上の平均輝度情報を用いることで、上記の表１における故障診断コード１又は２に対応する状態と、故障診断コード３に対応する状態とを識別することができ、故障診断精度を向上させることができる。

【0062】

［７．付記］
以上の変形例を含む実施形態に関し、さらに以下の付記を開示する。
［７−１．プロセッサを含む故障診断装置］
（付記１）
車載カメラで撮影された画像を処理するシステムの故障を診断する故障診断装置において、
プロセッサと、メモリと、
前記プロセッサで実行され、路面上の車線を前記車線以外のアスファルト面と区別して検知する検知部と、
前記プロセッサで実行され、前記車線の検知中に撮影された第一画像において、前記車線に対応する第一エリアと前記アスファルト面に対応する第二エリアとを設定する設定部と、
前記プロセッサで実行され、車両走行中かつ前記車線の非検知時に撮影された第二画像において、前記第一エリアの第一輝度と前記第二エリアの第二輝度とを算出する算出部と、
前記プロセッサで実行され、前記第一輝度及び前記第二輝度の少なくとも一方に基づき、前記故障を診断する診断部と、
を備えたことを特徴とする、故障診断装置。
（付記２）
前記診断部は、前記第一輝度が第一閾値未満である場合、又は、前記第二輝度が前記第一閾値よりも大きい第二閾値を超える場合に、前記故障が発生したものと診断する
ことを特徴とする、付記１記載の故障診断装置。
（付記３）
前記第一閾値が、前記第一画像における前記第二エリアの最小輝度に応じて設定される
ことを特徴とする、付記２記載の故障診断装置。
（付記４）
前記第二閾値が、前記第一画像における前記第一エリアの最大輝度に応じて設定される
ことを特徴とする、付記２又は３記載の故障診断装置。
（付記５）
前記算出部は、前回の演算周期で前記検知部が前記車線を検知していない場合に、前記第二画像における前記第一エリア及び前記第二エリアに対応する第三エリアの平均輝度を算出し、
前記診断部が、前記平均輝度に基づき、前記故障を診断する
ことを特徴とする、付記１〜４の何れか１項に記載の故障診断装置。
（付記６）
前記診断部は、前記平均輝度が第三閾値未満である場合、又は、前記平均輝度が前記第三閾値よりも大きい第四閾値を超える場合に、前記故障が発生したものと診断する
ことを特徴とする、付記５記載の故障診断装置。
（付記７）
前記第三閾値及び前記第四閾値が、直近の前記第一画像における前記第三エリアの平均輝度、前記第二エリアの最小輝度、及び、前記第一エリアの最大輝度に応じて設定される
ことを特徴とする、付記５又は６記載の故障診断装置。
（付記８）
前記故障診断の実施条件の一つは、前記車両の車速が所定車速以上であることである
ことを特徴とする、付記１〜７の何れか１項に記載の故障診断装置。
（付記９）
前記故障診断の実施条件の一つは、前記車両の操舵角又はヨーレートの大きさが所定値以上であることである
ことを特徴とする、付記１〜８の何れか１項に記載の故障診断装置。
（付記１０）
前回の演算周期で前記検知部が前記車線を検知したことを判定する判定部を備える
ことを特徴とする、付記１〜９の何れか１項に記載の故障診断装置。
（補足）
付記１〜１０において、前記算出部が前記第一輝度と前記第二輝度とを算出するのは、前回の演算周期で前記検知部が前記車線を検知した場合であることが好ましい。
また、前記診断部は、前記第一輝度及び前記第二輝度の少なくとも一方と閾値とを比較することで前記故障診断をすることが好ましい。この場合、前記第一輝度及び前記第二輝度が所定範囲内にあるか否かを判定することが好ましい。
さらに、前記診断部は、前記システムの内的要因による故障や環境要因による性能低下を含む故障状態を診断することが好ましい。また、前記診断部は、前記内的要因による故障と環境要因による性能低下とを識別することが好ましい。

【0063】

［７−２．故障診断プログラム］
（付記１１）
車載カメラ(で撮影された画像を処理するシステムの故障を診断する故障診断プログラムにおいて、
路面上の車線を前記車線以外のアスファルト面と区別して検知し、
前記車線の検知中に撮影された第一画像において、前記車線に対応する第一エリアと前記アスファルト面に対応する第二エリアとを設定し、
車両走行中かつ前記車線の非検知時に撮影された第二画像において、前記第一エリアの第一輝度と前記第二エリアの第二輝度とを算出し、
前記第一輝度及び前記第二輝度の少なくとも一方に基づき、前記故障を診断する
処理をコンピュータに実行させる、故障診断プログラム。
（付記１２）
前記第一輝度が第一閾値未満である場合、又は、前記第二輝度が前記第一閾値よりも大きい第二閾値を超える場合に、前記故障が発生したものと診断する
処理をコンピュータに実行させる、付記１１記載の故障診断プログラム。
（付記１３）
前記第一閾値が、前記第一画像における前記第二エリアの最小輝度に応じて設定される
処理をコンピュータに実行させる、付記１２記載の故障診断プログラム。
（付記１４）
前記第二閾値が、前記第一画像における前記第一エリアの最大輝度に応じて設定される
処理をコンピュータに実行させる、付記１２または１３記載の故障診断プログラム。
（付記１５）
前回の演算周期で前記検知部が前記車線を検知していない場合に、前記第二画像における前記第一エリア及び前記第二エリアに対応する第三エリアの平均輝度を算出し、
前記平均輝度に基づき、前記故障を診断する
処理をコンピュータに実行させる、付記１１〜１４の何れか１項に記載の故障診断プログラム。
（付記１６）
前記平均輝度が第三閾値未満である場合、又は、前記平均輝度が前記第三閾値よりも大きい第四閾値を超える場合に、前記故障が発生したものと診断する
処理をコンピュータに実行させる、付記１５記載の故障診断プログラム。
（付記１７）
前記第三閾値及び前記第四閾値が、直近の前記第一画像における前記第三エリアの平均輝度、前記第二エリアの最小輝度、及び、前記第一エリアの最大輝度に応じて設定される
処理をコンピュータに実行させる、付記１５又は１６記載の故障診断プログラム。
（付記１８）
前記車両の車速が所定車速以上であることを、前記故障診断の実施条件の一つとする
処理をコンピュータに実行させる、付記１１〜１７の何れか１項に記載の故障診断プログラム。
（付記１９）
前記車両の操舵角又はヨーレートの大きさが所定値以上であることを、前記故障診断の実施条件の一つとする
処理をコンピュータに実行させる、付記１１〜１８の何れか１項に記載の故障診断プログラム。
（付記２０）
前回の演算周期で前記検知部が前記車線を検知したことを判定する
処理をコンピュータに実行させる、付記１１〜１９の何れか１項に記載の故障診断プログラム。

【符号の説明】

【0064】

１ 故障診断部
２ 検知部
３ 設定部
４ 判定部
５ 算出部
６ 診断部
１０ 画像認識装置
２０ 車両
２１ 車載カメラ
２２ 車速センサ
２３ ヨーレートセンサ
２４ 操舵角センサ
２５ ディスプレイ
２６ スピーカ
４０ 第一画像
４１ 車線
４２ アスファルト面
４３ 第一エリア（左側）
４４ 第一エリア（右側）
４５ 第二エリア
４６ 第三エリア
５０ 第二画像
K₁ 黒つぶれ閾値（第一閾値）
K₂ 白飛び閾値（第二閾値）
K₃ 黒つぶれ閾値（第三閾値）
K₄ 白飛び閾値（第四閾値）
A_L，A_R 第一エリアの平均輝度（第一輝度）
B 第二エリアの平均輝度（第二輝度）
C 第三エリアの平均輝度（今回の演算周期）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】