特許 7505530 異常判定装置、異常判定方法、及び異常判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-17

(45)【発行日】2024-06-25

(54)【発明の名称】異常判定装置、異常判定方法、及び異常判定プログラム

(51)【国際特許分類】

   G01S 7/497 20060101AFI20240618BHJP

   G01S 17/931 20200101ALI20240618BHJP

【ＦＩ】

G01S7/497

G01S17/931

【請求項の数】 14

(21)【出願番号】P 2022162553

(22)【出願日】2022-10-07

(65)【公開番号】P2023082659

(43)【公開日】2023-06-14

【審査請求日】2023-10-12

(31)【優先権主張番号】P 2021196331

(32)【優先日】2021-12-02

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】赤松 駿一

(72)【発明者】

【氏名】大石 智之

【審査官】▲高▼場 正光

(56)【参考文献】

【文献】国際公開第２０２１／０７５４０４（ＷＯ，Ａ１）

【文献】特開平１０－２１３６５０（ＪＰ，Ａ）

【文献】特開平７－０６３８５６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０００３７１１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２１／００４１５３９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － Ｇ０１Ｓ ７／５１

Ｇ０１Ｓ １７／００ － Ｇ０１Ｓ １７／９５

(57)【特許請求の範囲】

【請求項1】

検出エリアに発光部によって照射した光の反射光をＬｉＤＡＲ装置（３，３ｂ）の受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を受光素子（３２１，８１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得部（４０１，４０１ｂ）と、
前記画像取得部で逐次取得する前記反射光画像及び前記背景光画像から、所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定部（４０３，４０３ａ，４０３ｃ）と、
前記変化特定部で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせを用いて、前記ＬｉＤＡＲ装置の異常の種類を区別して判定する異常判定部（４０５，４０５ｃ）とを備える異常判定装置。

【請求項2】

請求項１に記載の異常判定装置であって、
移動体で用いることが可能なものであって、
前記移動体が移動中か否かを特定する移動特定部（４０２）を備え、
前記変化特定部（４０３，４０３ｃ）は、前記移動特定部で前記移動体が移動中と特定している期間の前記所定時間における、前記反射光画像の光強度の変化である反射光強度変化の有無と前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する異常判定装置。

【請求項3】

請求項１に記載の異常判定装置であって、
移動体で用いることが可能なものであって、
前記移動体が移動中か否かを特定する移動特定部（４０２）を備え、
前記変化特定部（４０３ａ）は、前記移動特定部で前記移動体が移動中と特定している場合には、前記所定時間を、前記移動特定部で前記移動体が停止中と特定している場合に比べて短く切り替えて、前記所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する異常判定装置。

【請求項4】

請求項１に記載の異常判定装置であって、
前記変化特定部（４０３）は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引いた光強度の変化の有無を特定するものであり、
前記異常判定部は、前記変化特定部で前記反射光強度変化を無しと特定する一方、前記背景光強度変化を有りと特定した場合には、前記異常の種類を、前記発光部の故障と判定する異常判定装置。

【請求項5】

請求項１に記載の異常判定装置であって、
前記変化特定部（４０３ｃ）は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
前記変化特定部で前記光強度の変化の有無を特定するのに用いる、前記背景光画像の光強度を差し引かない前記反射光画像の光強度と、前記背景光画像の光強度とが同一か否かを判定する比較部（４０６）を備え、
前記異常判定部（４０５ｃ）は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも有りと特定する場合であって、且つ、前記比較部で前記反射光画像と前記背景光画像との光強度が同一と特定する場合には、前記異常の種類を、前記発光部の故障と判定する異常判定装置。

【請求項6】

請求項１に記載の異常判定装置であって、
前記画像取得部で取得する前記反射光画像及び前記背景光画像のそれぞれの輝度の高低を特定する輝度特定部（４０４，４０４ｃ）を備え、
前記異常判定部は、前記変化特定部で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせに加え、前記輝度特定部で特定する前記反射光画像の輝度の高低と前記背景光画像の輝度の高低との組み合わせも用いて、前記ＬｉＤＡＲ装置の異常の種類を区別して判定する異常判定装置。

【請求項7】

請求項６に記載の異常判定装置であって、
前記異常判定部は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像の輝度が高いと特定するが前記背景光画像の輝度は低いと特定する場合には、前記異常の種類を、前記検出エリアと前記ＬｉＤＡＲ装置の受光素子との間に位置する前記ＬｉＤＡＲ装置の光学窓の汚れと判定する異常判定装置。

【請求項8】

請求項６に記載の異常判定装置であって、
前記変化特定部（４０３ｃ）は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
前記輝度特定部（４０４ｃ）は、前記反射光画像及び前記背景光画像のそれぞれの輝度の高低として、前記背景光画像の光強度を差し引かない前記反射光画像と、前記背景光画像との輝度の高低を特定するものであり、
前記異常判定部（４０５ｃ）は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像及び前記背景光画像のいずれの輝度も高いと特定する場合には、前記異常の種類を、前記ＬｉＤＡＲ装置の受光素子の異常若しくは前記検出エリアに輝度の高い光源が存在することによる異常と判定する異常判定装置。

【請求項9】

請求項６に記載の異常判定装置であって、
前記変化特定部（４０３ｃ）は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
前記輝度特定部（４０４ｃ）は、前記反射光画像及び前記背景光画像のそれぞれの輝度の高低として、前記背景光画像の光強度を差し引かない前記反射光画像と、前記背景光画像との輝度の高低を特定するものであり、
前記異常判定部（４０５ｃ）は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像の輝度は低いと特定するが前記背景光画像の輝度は高いと特定する場合には、前記異常の種類を、前記ＬｉＤＡＲ装置の受光素子の異常と判定する異常判定装置。

【請求項10】

請求項６に記載の異常判定装置であって、
前記異常判定部は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像及び前記背景光画像のいずれの輝度も高い若しくは低いと特定する場合には、前記異常の種類を、前記ＬｉＤＡＲ装置の受光素子の異常と判定する異常判定装置。

【請求項11】

請求項１～１０のいずれか１項に記載の異常判定装置であって、
前記画像取得部（４０１）は、前記検出エリアに照射した光の反射光を、可視外領域に感度を持つ受光素子（３２１）にて検出することにより得られる、反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を、その受光素子（３２１）にて前記反射光の検出と異なるタイミングで検出することにより得られる、環境光の強度分布を表す背景光画像とを取得する異常判定装置。

【請求項12】

請求項１～１０のいずれか１項に記載の異常判定装置であって、
前記画像取得部（４０１ｂ）は、前記検出エリアに照射した光の反射光を、可視外領域に感度を持つ前記ＬｉＤＡＲ装置の受光素子（３２１）にて検出することにより得られる、反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を、その受光素子とは異なる、可視領域に感度を持つ受光素子（８１１）にて検出することにより得られる、環境光の強度分布を表す背景光画像とを取得する異常判定装置。

【請求項13】

少なくとも１つのプロセッサにより実行される、
検出エリアに発光部によって照射した光の反射光をＬｉＤＡＲ装置（３，３ｂ）の受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を受光素子（３２１，８１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、
前記画像取得工程で逐次取得する前記反射光画像及び前記背景光画像から、所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定工程と、
前記変化特定工程で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせを用いて、前記ＬｉＤＡＲ装置の異常の種類を区別して判定する異常判定工程とを含む異常判定方法。

【請求項14】

少なくとも１つのプロセッサに、
検出エリアに発光部によって照射した光の反射光をＬｉＤＡＲ装置（３，３ｂ）の受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を受光素子（３２１，８１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、
前記画像取得工程で逐次取得する前記反射光画像及び前記背景光画像から、所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定工程と、
前記変化特定工程で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせを用いて、前記ＬｉＤＡＲ装置の異常の種類を区別して判定する異常判定工程とを含む処理を実行させる異常判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、測距装置の異常を検出する異常判定装置、異常判定方法、及び異常判定プログラムに関するものである。

【背景技術】

【0002】

特許文献１には、レーザ光を用いて物体を検出する測距装置としてのＬｉＤＡＲ装置が開示されている。特許文献１には、受光対象領域における入射光強度の特性と受光非対象領域における入射光強度の特性との相違に応じてＬｉＤＡＲ装置の受光部及び発光部の少なくともいずれか一方に関する異常を判定する技術が開示されている。特許文献１には、ＬｉＤＡＲ装置の受光部及び発光部の少なくともいずれか一方に関する異常として、発光素子、受光素子アレイ、カバーガラス、走査機構の異常が挙げられている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１５３７５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示の技術では、ＬｉＤＡＲ装置の受光部及び発光部の少なくともいずれか一方に関する異常を判定するものの、その詳細を区別して判定することができなかった。

【0005】

この開示のひとつの目的は、ＬｉＤＡＲ装置の異常をより詳細に判定することを可能にする異常判定装置、異常判定方法、及び異常判定プログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

【0007】

上記目的を達成するために、本開示の異常判定装置は、検出エリアに発光部によって照射した光の反射光をＬｉＤＡＲ装置（３，３ｂ）の受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子（３２１，８１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得部（４０１，４０１ｂ）と、画像取得部で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化である反射光強度変化の有無と、所定時間における背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定部（４０３，４０３ａ，４０３ｃ）と、変化特定部で特定する反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いて、ＬｉＤＡＲ装置の異常の種類を区別して判定する異常判定部（４０５，４０５ｃ）とを備える。

【0008】

上記目的を達成するために、本開示の異常判定方法は、少なくとも１つのプロセッサにより実行される、検出エリアに発光部によって照射した光の反射光をＬｉＤＡＲ装置（３，３ｂ）の受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子（３２１，８１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、画像取得工程で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化である反射光強度変化の有無と、所定時間における背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定工程と、変化特定工程で特定する反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いて、ＬｉＤＡＲ装置の異常の種類を区別して判定する異常判定工程とを含む。

【0009】

上記目的を達成するために、本開示の異常判定プログラムは、少なくとも１つのプロセッサに、検出エリアに発光部によって照射した光の反射光をＬｉＤＡＲ装置（３，３ｂ）の受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子（３２１，８１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、画像取得工程で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化である反射光強度変化の有無と、所定時間における背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定工程と、変化特定工程で特定する反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いて、ＬｉＤＡＲ装置の異常の種類を区別して判定する異常判定工程とを含む処理を実行させる。

【0010】

これによれば、検出エリアについての背景光画像と反射光画像とのそれぞれの光強度の所定時間における変化（背景光強度変化，反射光強度変化）の有無を用いて、ＬｉＤＡＲ装置の異常の種類を区別して判定することになる。背景光強度変化，反射光強度変化は、所定時間における背景光画像，反射光画像の光強度の変化なので、この変化の有無で背景光画像，反射光画像を得るのに用いる部材の異常の有無を判定することが可能になる。また、背景光画像は環境光の強度分布を表す一方、反射光画像は発光部によって照射した光の反射光の強度分布を表すものである。よって、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、ＬｉＤＡＲ装置のうちの、背景光画像を得るのと反射光画像を得るのとで異なる部材の異常なのか共通の部材の異常なのかを区別して異常を判定することが可能になる。その結果、ＬｉＤＡＲ装置の異常をより詳細に判定することが可能になる。

【図面の簡単な説明】

【0011】

【図1】車両用システム１の概略的な構成の一例を示す図である。

【図2】画像処理装置４の概略的な構成の一例を示す図である。

【図3】処理部４１での異常判定関連処理の流れの一例を示すフローチャートである。

【図4】処理部４１での両方変化無し時処理の流れの一例を示すフローチャートである。

【図5】車両用システム１ａの概略的な構成の一例を示す図である。

【図6】画像処理装置４ａの概略的な構成の一例を示す図である。

【図7】処理部４１ａでの異常判定関連処理の流れの一例を示すフローチャートである。

【図8】車両用システム１ｂの概略的な構成の一例を示す図である。

【図9】画像処理装置４ｂの概略的な構成の一例を示す図である。

【図10】車両用システム１ｃの概略的な構成の一例を示す図である。

【図11】画像処理装置４ｃの概略的な構成の一例を示す図である。

【図12】処理部４１ｃでの異常判定関連処理の流れの一例を示すフローチャートである。

【図13】処理部４１ｃでの両方変化無し時処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。

【0013】

＜車両用システム１の概略構成＞
車両用システム１は、車両で用いることが可能なものである。車両用システム１は、図１に示すように、センサユニット２、車速センサ５、ＨＣＵ（Human Machine Interface Control Unit）６、及び提示装置７を含む。例えば、センサユニット２、車速センサ５、及びＨＣＵ６は車内ＬＡＮ（図１のＬＡＮ参照）と接続される構成とすればよい。車両用システム１を用いる車両は、必ずしも自動車に限るものではないが、以下では自動車に用いる場合を例に挙げて説明を行う。車両用システム１を用いる車両を以下では自車と呼ぶ。

【0014】

車速センサ５は、自車の速度を検出する。ＨＣＵ６は、プロセッサ、揮発性メモリ、不揮発性メモリ、Ｉ／Ｏ、これらを接続するバスを備えるコンピュータを主体として構成される。ＨＣＵ６は、不揮発性メモリに記憶された制御プログラムを実行することにより、乗員と自車のシステムとのやり取りに関する各種の処理を実行する。

【0015】

提示装置７は、自車に設けられて、自車の室内に向けて情報提示を行う。提示装置７は、ＨＣＵ６の指示に従って情報提示を行う。提示装置７は、少なくとも運転者に向けて情報提示を行えばよい。提示装置７は、運転者以外の同乗者にも情報提示を行っても構わない。提示装置７としては、表示器，音声出力装置等が挙げられる。

【0016】

表示器は、情報を表示することで情報提示を行う。表示器としては、例えばメータＭＩＤ（Multi Information Display），ＣＩＤ（Center Information Display），ＨＵＤ（Head-Up Display）を用いることができる。メータＭＩＤは、車室内のうちの運転席の正面に設けられる表示装置である。一例として、メータＭＩＤは、メータパネルに設けられる構成とすればよい。ＣＩＤは、自車のインスツルメントパネルの中央に配置される表示装置である。ＨＵＤは、車室内のうちの例えばインスツルメントパネルに設けられる。ＨＵＤは、プロジェクタによって形成される表示像を、投影部材としてのフロントウインドシールドに既定された投影領域に投影する。フロントウインドシールドによって車室内側に反射された画像の光は、運転席に着座するドライバによって知覚される。これにより、ドライバは、フロントウインドシールドの前方にて結像される表示像の虚像を、前景の一部と重ねて視認可能となる。ＨＵＤは、フロントウインドシールドの代わりに、運転席の正面に設けられるコンバイナに表示像を投影する構成としてもよい。音声出力装置は、音声を出力することで情報提示を行う。音声出力装置としては、スピーカ等が挙げられる。

【0017】

センサユニット２は、図１に示すように、ＬｉＤＡＲ装置３及び画像処理装置４を含む。センサユニットは、センサパッケージと言い換えることもできる。ＬｉＤＡＲ装置３は、自車周辺の所定の範囲に光を照射し、その光が物標によって反射された反射光を検出する光学センサである。この所定の範囲は、任意に設定可能である。以下では、ＬｉＤＡＲ装置３の測定対象とする範囲を検出エリアと呼ぶ。ＬｉＤＡＲ装置３は、ＳＰＡＤ（Single Photon Avalanche Diode） ＬｉＤＡＲとすればよい。ＬｉＤＡＲ装置３の概略構成については後述する。

【0018】

画像処理装置４は、ＬｉＤＡＲ装置３と接続される。画像処理装置４は、ＬｉＤＡＲ装置３から出力される後述の反射光画像及び背景光画像といった画像データを取得し、これらの画像データから物標を検出する。また、画像処理装置４は、これらの画像データからＬｉＤＡＲ装置３の異常の種類を区別して判定する。以下では、画像処理装置４でＬｉＤＡＲ装置３の異常の種類を区別して判定する構成について説明を行う。画像処理装置４の概略構成については後述する。

【0019】

＜ＬｉＤＡＲ装置３の概略構成＞
ここで、図１を用いて、ＬｉＤＡＲ装置３の概略構成について説明する。図１に示すように、ＬｉＤＡＲ装置３は、発光部３１、受光部３２、及び制御ユニット３３を備える。

【0020】

発光部３１は、光源から発光された光ビームを、可動光学部材を用いて走査することにより、検出エリアへ向けて照射する。可動光学部材としては、例えばポリゴンミラーが挙げられる。光源としては、例えば半導体レーザを用いればよい。なお、ＬｉＤＡＲ装置３は、機械的回転式に限らず、ＭＥＭＳミラー式であってもよい。発光部３１は、制御ユニット３３からの電気信号に応じて、例えば可視外領域の光ビームをパルス状に照射する。可視外領域とは、人間から視認不能な波長域である。一例として、発光部３１は、可視外領域の光ビームとして近赤外域の光ビームを照射すればよい。

【0021】

受光部３２は、受光素子３２１を有している。なお、受光部３２は、集光レンズも有する構成とすればよい。集光レンズは、検出エリア内の物標によって反射された光ビームの反射光、及び反射光に対する背景光を集光し、受光素子３２１に入射させる。受光素子３２１は、光電変換により光を電気信号に変換する素子である。受光素子３２１は、可視外領域に感度を持つものとする。受光素子３２１としては、光ビームの反射光を効率的に検出するため、可視域に対して近赤外域の感度が高く設定されたＣＭＯＳセンサを用いればよい。受光素子３２１の各波長域に対する感度は、光学フィルタによって調整されてもよい。受光素子３２１は、１次元方向又は２次元方向にアレイ状に配列された複数の受光画素を有しているものとすればよい。個々の受光画素は、ＳＰＡＤを用いた構成とすればよい。この受光画素は、フォトンの入射で発生した電子をアバランシェ倍増によって増幅することにより、高感度な光検出を可能にしているものとすればよい。

【0022】

制御ユニット３３は、発光部３１及び受光部３２を制御する。制御ユニット３３は、例えば受光素子３２１と共通の基板上に配置すればよい。制御ユニット３３は、例えばマイクロコントローラ（以下、マイコン）又はＦＰＧＡ（Field-Programmable Gate Array）等の広義のプロセッサを主体に構成されている。制御ユニット３３は、走査制御機能、反射光測定機能、及び背景光測定機能を実現している。

【0023】

走査制御機能は、発光部３１による光ビームの走査を制御する機能である。制御ユニット３３は、ＬｉＤＡＲ装置３に設けられたクロック発振器の動作クロックに基づいたタイミングにて、光源から光ビームをパルス状に複数回発振させる。加えて制御ユニット３３は、光ビームの照射に同期させて、可動光学部材を動作させる。

【0024】

反射光測定機能は、光ビームの走査のタイミングに合わせて、個々の受光画素にて受光された反射光に基づく電圧値を読み出し、反射光の強度を測定する機能である。制御ユニット３３は、受光素子３２１の出力パルスにおけるピークの発生タイミングにより、反射光の到来時刻を感知する。制御ユニット３３は、光源からの光ビームの射出時刻と反射光の到来時刻との時間差を計測することにより、光の飛行時間（Time of Flight）を測定する。

【0025】

以上の走査制御機能及び反射光測定機能の連携により、画像状のデータである反射光画像が生成される。制御ユニット３３は、ローリングシャッター方式で反射光を測定し、反射光画像を生成すればよい。詳しくは、以下の通りである。制御ユニット３３は、例えば水平方向への光ビームの走査に合わせて、検出エリアに対応した画像平面上にて横方向に並ぶ画素群の情報を、一行又は複数行ずつ生成する。制御ユニット３３は、行ごとに順次生成した画素情報を縦方向に合成し、１つの反射光画像を生成する。

【0026】

反射光画像は、発光部３１からの光照射に応じた反射光を受光素子３２１が検出することによって得られる距離情報を含む画像データである。反射光画像の各画素には、光の飛行時間を示す値が含まれている。光の飛行時間を示す値は、ＬｉＤＡＲ装置３から検出エリアに位置する物体の反射点までの距離を示す距離値と言い換えることもできる。また、反射光画像の各画素には、反射光の強度を示す値が含まれている。反射光の強度分布は、諧調値化によって輝度分布としてデータ化されるものとすればよい。つまり、反射光画像は、反射光の輝度分布を表す画像データとなる。反射光画像は、物標からの反射光の強度を画素値化した画像と言い換えることもできる。

【0027】

背景光測定機能は、反射光を測定する直前のタイミングにて、各受光画素が受光した環境光に基づく電圧値を読み出し、環境光の強度を測定する機能である。ここで言うところの環境光とは、反射光を実質的に含まない、検出エリアから受光素子３２１へ入射する入射光を意味する。入射光は、自然光、外界の表示等から入射する表示光等が含まれる。以下では、環境光を背景光と呼ぶ。背景光画像は、物標表面の明るさを画素値化した画像と言い換えることもできる。

【0028】

制御ユニット３３は、反射光画像と同様に、ローリングシャッター方式で背景光を測定し、背景光画像を生成する。背景光の強度分布は、諧調値化によって輝度分布としてデータ化されるものとすればよい。背景光画像は、光照射前での背景光の輝度分布を表す画像データであり、反射光画像と同一の受光素子３２１により検出される背景光の輝度情報を含んでいる。つまり、背景光画像において２次元状に並ぶ各画素の値は、検出エリアの対応する箇所における背景光の強度を示す輝度値である。

【0029】

反射光画像及び背景光画像は、共通の受光素子３２１により感知され、受光素子３２１を含む共通の光学系から取得される。従って、反射光画像の座標系と背景光画像の座標系とは、互いに一致する同座標系とみなすことができる。加えて、反射光画像と背景光画像との間には、測定タイミングのずれが殆どないものとする。よって、連続的に取得された一組の反射光画像と背景光画像とは、時刻同期もとれているとみなし得る。また、反射光画像及び背景光画像は、個々の画素同士の対応を一義的に取ることが可能となっている。制御ユニット３３は、反射光画像及び背景光画像を、各画素に対応して、反射光の強度、物体までの距離、及び背景光の強度の３チャンネルのデータを含む一体的な画像データとして、画像処理装置４へ逐次出力する。なお、反射光画像に用いる反射光の強度分布は、背景光による外乱を除くため、背景光の強度分布を差し引いたものとすることがより好ましい。本実施形態では、反射光画像に用いる反射光の強度分布が、背景光の強度分布を差し引いたものである場合を例に挙げて説明する。

【0030】

＜画像処理装置４の概略構成＞
続いて、図１及び図２を用いて、画像処理装置４の概略構成を説明する。図１に示すように、画像処理装置４は、処理部４１、ＲＡＭ４２、記憶部４３、及び入出力インターフェース（以下、Ｉ／О）４４を備えた演算回路を主体として含む電子制御装置である。処理部４１、ＲＡＭ４２、記憶部４３、及びＩ／О４４は、バスで接続される構成とすればよい。

【0031】

処理部４１は、ＲＡＭ４２と結合された、演算処理のためのハードウェアである。処理部４１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ等の演算コアを少なくとも１つ含んでいる。処理部４１は、他の専用機能を備えたＩＰコア等をさらに含んでなる画像処理チップとして構成可能である。こうした画像処理チップは、自動運転用途専用に設計されたＡＳＩＣ（Application Specific Integrated Circuit）であってよい。処理部４１は、ＲＡＭ４２へのアクセスにより、後述する各機能ブロックの機能を実現するための種々の処理を実行する。

【0032】

記憶部４３は、不揮発性の記憶媒体を含む構成である。この記憶媒体は、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスク等によって実現される。記憶部４３には、処理部４１によって実行される異常判定プログラム等の種々のプログラムが格納されている。

【0033】

図２に示すように、画像処理装置４は、ＬｉＤＡＲ装置３の異常の判定について、画像取得部４０１、走行特定部４０２、変化特定部４０３、輝度特定部４０４、及び異常判定部４０５を機能ブロックとして備える。この画像処理装置４が異常判定装置に相当する。また、コンピュータによって画像処理装置４の各機能ブロックの処理が実行されることが、異常判定方法が実行されることに相当する。なお、画像処理装置４が実行する機能の一部又は全部を、１つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。また、画像処理装置４が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。

【0034】

画像取得部４０１は、ＬｉＤＡＲ装置３から出力されてくる反射光画像及び背景光画像を逐次取得する。つまり、画像取得部４０１は、検出エリアに照射した光の反射光を受光素子３２１にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子３２１にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する。この画像取得部４０１での処理が画像取得工程に相当する。

【0035】

本実施形態では、画像取得部４０１は、検出エリアに照射した光の反射光を可視外領域に感度を持つ受光素子３２１にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光をその受光素子３２１にて反射光の検出と異なるタイミングで検出することにより得られる環境光の強度分布を表す背景光画像とを取得することになる。ここで言うところの異なるタイミングとは、時刻が反射光を測定するタイミングと完全一致はしないが反射光画像と背景光画像との時刻同期がとれているとみなせる程度に僅かにずれたタイミングである。つまり、画像取得部４０１は、前述の時刻同期がとれている反射光画像及び背景光画像を互いに紐付けて取得するものとする。

【0036】

走行特定部４０２は、自車が走行中か否かを特定する。この走行特定部４０２が移動特定部に相当する。走行特定部４０２は、車速センサ５で検出した車速から、自車が走行中か否かを特定すればよい。なお、走行特定部４０２は、車速センサで検出した車速以外から、自車が走行中か否かを特定してもよい。例えば、エンジン回転速度，走行駆動用のモータの回転数等から、自車が走行中か否かを特定してもよい。

【0037】

変化特定部４０３は、画像取得部４０１で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化（以下、反射光強度変化）の有無と、その所定時間における背景光画像の光強度の変化（以下、背景光強度変化）の有無とを特定する。この変化特定部４０３での処理が変化特定工程に相当する。ここで言うところの所定時間は、任意に設定可能な値とすればよい。反射光強度変化及び背景光強度変化を特定する単位は、画素単位であってもよいし、複数画素からなる領域単位であってもよい。反射光強度変化及び背景光強度変化の特定は、互いに紐付けられた画素，領域についてそれぞれ行うものとする。反射光強度変化及び背景光強度変化の特定は、画素のちらつきによる影響を抑えてロバスト性を高めるために、領域単位で行うことが好ましい。なお、領域単位は、画素数個単位とすればよい。変化特定部４０３では、反射光強度変化の有無として、反射光画像の光強度から背景光画像の光強度を差し引いた光強度の変化の有無を特定する。

【0038】

変化特定部４０３は、光強度の変化の有無の特定を、光強度の変化量が閾値以上か否かによって行えばよい。この閾値は、光強度の変化がほぼない誤差範囲の値と誤差範囲以上の値とを区分する値とすればよい。なお、反射光強度変化の有無を特定するための閾値と、背景光強度変化の有無を特定するための閾値とは、異なる値とすればよい。

【0039】

変化特定部４０３は、走行特定部４０２で自車が走行中と特定している期間の所定時間における反射光強度変化の有無と背景光強度変化の有無とを特定することが好ましい。これによれば、反射光強度変化の有無と背景光強度変化の有無とを特定する精度がより高くなる。詳しくは、以下の通りである。自車が走行中の場合には、ＬｉＤＡＲ装置３の検出エリア内の物標が移動する。よって、反射光画像，背景光画像の光強度の変化がある場合には、より変化が大きく特定される。従って、自車が走行中の場合には、光強度の変化の有無の差が拡大しやすく、光強度の変化の有無をより精度良く特定することが可能になる。

【0040】

輝度特定部４０４は、画像取得部４０１で取得する反射光画像及び背景光画像のそれぞれの輝度の高低を特定する。輝度特定部４０４は、変化特定部４０３で反射光強度変化及び背景光強度変化を特定するのに用いた反射光画像及び背景光画像のそれぞれの輝度の高低を特定すればよい。

【0041】

例えば、変化特定部４０３で反射光強度変化を特定するのに用いた反射光画像の時系列データをもとに、反射光強度変化を特定した単位で輝度の平均値を算出する。画素単位であれば画素ごとの平均値を算出する。領域単位であれば領域ごとの平均値を算出する。そして、算出した平均値が閾値以上の場合に、反射光画像の輝度が高いと特定する。一方、算出した平均値が閾値未満の場合に、反射光画像の輝度が低いと特定する。また、変化特定部４０３で背景光強度変化を特定するのに用いた背景光画像の時系列データをもとに、背景光強度変化を特定した単位で輝度の平均値を算出する。そして、算出した平均値が閾値以上の場合に、背景光画像の輝度が高いと特定する。一方、算出した平均値が閾値未満の場合に、背景光画像の輝度が低いと特定する。反射光画像の輝度の高低の特定に用いる閾値と、背景光画像の輝度の高低の特定に用いる閾値とは異なっているものとする。これらの閾値は任意に設定可能とすればよい。

【0042】

輝度特定部４０４は、画素単位で反射光画像の輝度の高低を特定した場合には、以下のようにすればよい。輝度特定部４０４は、輝度が高いと特定した画素が、輝度が低いと特定した画素以上だった場合に、反射光画像の輝度が高いと特定すればよい。一方、輝度特定部４０４は、輝度が高いと特定した画素が、輝度が低いと特定した画素未満だった場合に、反射光画像の輝度が低いと特定すればよい。輝度特定部４０４は、領域単位で反射光画像の輝度の高低を特定した場合には、以下のようにすればよい。輝度特定部４０４は、輝度が高いと特定した領域が、輝度が低いと特定した領域以上だった場合に、反射光画像の輝度が高いと特定すればよい。一方、輝度特定部４０４は、輝度が高いと特定した領域が、輝度が低いと特定した領域未満だった場合に、反射光画像の輝度が低いと特定すればよい。

【0043】

輝度特定部４０４は、画素単位で背景光画像の輝度の高低を特定した場合には、以下のようにすればよい。輝度特定部４０４は、輝度が高いと特定した画素が、輝度が低いと特定した画素以上だった場合に、背景光画像の輝度が高いと特定すればよい。一方、輝度特定部４０４は、輝度が高いと特定した画素が、輝度が低いと特定した画素未満だった場合に、背景光画像の輝度が低いと特定すればよい。輝度特定部４０４は、領域単位で背景光画像の輝度の高低を特定した場合には、以下のようにすればよい。輝度特定部４０４は、輝度が高いと特定した領域が、輝度が低いと特定した領域以上だった場合に、背景光画像の輝度が高いと特定すればよい。一方、輝度特定部４０４は、輝度が高いと特定した領域が、輝度が低いと特定した領域未満だった場合に、背景光画像の輝度が低いと特定すればよい。

【0044】

なお、輝度特定部４０４は、変化特定部４０３で反射光強度変化及び背景光強度変化を特定するのに用いた反射光画像及び背景光画像のうちの一部の反射光画像及び背景光画像から、反射光画像及び背景光画像のそれぞれの輝度の高低を特定してもよい。

【0045】

異常判定部４０５は、変化特定部４０３で特定する反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いて、ＬｉＤＡＲ装置３の異常の種類を区別して判定する。これによれば、検出エリアについての背景光画像と反射光画像とのそれぞれの光強度の所定時間における変化の有無を用いて、ＬｉＤＡＲ装置３の異常の種類を区別して判定することになる。背景光強度変化，反射光強度変化は、所定時間における背景光画像，反射光画像の光強度の変化なので、この変化の有無で背景光画像，反射光画像を得るのに用いる部材の異常の有無を判定することが可能になる。また、背景光画像は環境光の強度分布を表す一方、反射光画像は発光部によって照射した光の反射光の強度分布を表すものである。よって、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、ＬｉＤＡＲ装置３のうちの、背景光画像を得るのと反射光画像を得るのとで異なる部材の異常なのか共通の部材の異常なのかを区別して異常を判定することが可能になる。その結果、ＬｉＤＡＲ装置３の異常をより詳細に判定することが可能になる。異常判定部４０５での処理が異常判定工程に相当する。

【0046】

異常判定部４０５は、変化特定部４０３で反射光強度変化を無しと特定する一方、背景光強度変化を有りと特定した場合には、異常の種類を、発光部３１の故障と判定すればよい。これは、環境光の変化があるにもかかわらず、反射光の変化がない場合は、発光部３１からの光照射が行われていないと推定されるためである。

【0047】

異常判定部４０５は、変化特定部４０３で特定する反射光強度変化の有無と背景光強度変化の有無との組み合わせに加え、輝度特定部４０４で特定する反射光画像の輝度の高低と背景光画像の輝度の高低との組み合わせも用いて、ＬｉＤＡＲ装置３の異常の種類を区別して判定することが好ましい。これによれば、反射光強度変化の有無と背景光強度変化の有無との組み合わせだけでは区別して判定することが難しかった異常も、区別して判定することが可能になる。

【0048】

異常判定部４０５は、変化特定部４０３で反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部４０４で反射光画像の輝度が高いと特定するが背景光画像の輝度は低いと特定する場合には、異常の種類を、検出エリアとＬｉＤＡＲ装置３の受光素子３２１との間に位置するＬｉＤＡＲ装置３の光学窓の汚れと判定すればよい。これは、環境光及び反射光の変化がなく、環境光の輝度が低いのにもかかわらず、反射光の輝度が高い場合には、光学窓の汚れによって照射光が反射されていると推定されるためである。光学窓は、ＬｉＤＡＲ装置３に設けられるものである。光学窓は、発光部３１からの照射光及びその照射光の反射光を透光する透光部材により形成されている。

【0049】

なお、異常判定部４０５は、輝度特定部４０４で反射光画像の輝度の高低を画素若しくは領域単位で特定し、反射光画像の輝度が高いと特定された画素若しくは領域の分布から、光学窓の汚れの種別までを区別して判定してもよい。例えば、点々とした分布の場合に汚れの種類を砂ぼこりと判定する等すればよい。

【0050】

異常判定部４０５は、変化特定部４０３で反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部４０４で反射光画像及び背景光画像のいずれの輝度も高い若しくは低いと特定する場合には、異常の種類を、ＬｉＤＡＲ装置３の受光素子３２１の異常と判定すればよい。これは、環境光及び反射光の変化がなく、環境光と反射光との輝度の高低の傾向に差がない場合には、受光素子３２１自体に異常があると推定されるためである。

【0051】

異常判定部４０５は、変化特定部４０３で反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部４０４で反射光画像の輝度が低いと特定するが背景光画像の輝度は高いと特定する場合には、ＬｉＤＡＲ装置３の前面の明る過ぎる光源の存在と判定すればよい。これは、環境光及び反射光の変化がなく、反射光の輝度が低いのにもかかわらず、背景光の輝度が高い場合には、ＬｉＤＡＲ装置３の前面に明る過ぎる光源が存在すると推定されるためである。ここで言うところの明る過ぎるとは、例えば背景光画像を物標の検出に用いるのに適していないと推定される輝度とすればよい。異常判定部４０５は、ＬｉＤＡＲ装置３の前面の明る過ぎる光源の存在を、異常の種類として特定してもよいし、異常以外の状況として特定してもよい。

【0052】

異常判定部４０５は、変化特定部４０３で背景光強度変化を無しと特定する一方、反射光強度変化を有りと特定した場合には、暗所若しくは夜間であると判定してもよい。これは、反射光の変化があるにもかかわらず、背景光の変化がない場合は、暗所若しくは夜間である状況と推定されるためである。異常判定部４０５は、暗所若しくは夜間であることを、異常の種類として特定してもよいし、異常以外の状況として特定してもよい。

【0053】

異常判定部４０５は、変化特定部４０３で反射光強度変化及び背景光強度変化のいずれも有りと特定する場合には、異常なしと判定すればよい。これは、環境光及び反射光のいずれも変化する場合には、ＬｉＤＡＲ装置３に異常がない可能性が高いためである。

【0054】

異常判定部４０５で異常を判定した場合には、ＨＣＵ６に異常の判定結果を送り、異常についての警告を行わせればよい。ＨＣＵ６は、提示装置７から情報提示を行わせることで警告を行わせればよい。警告については、アイコンの表示，テキストの表示，音声出力等で行わせればよい。警告については、異常判定部４０５で区別して判定した異常に種類に応じた警告を行わせればよい。また、異常判定部４０５で光学窓の汚れの種類までを異常として判定した場合に、光学窓の汚れの種類に応じた警告を行わせればよい。なお、異常判定部４０５でＬｉＤＡＲ装置３の異常に該当しない状況を判定した場合には、その判定した状況についての情報を提示させたりしてもよい。他にも、ＬｉＤＡＲ装置３での物標の検出の信頼度の判断等に利用してもよい。

【0055】

＜処理部４１での異常判定関連処理＞
ここで、処理部４１でのＬｉＤＡＲ装置３の異常の判定に関連する処理（以下、異常判定関連処理）の一例について、図３のフローチャートを用いて説明を行う。図３のフローチャートは、例えば自車の内燃機関又はモータジェネレータを始動させるためのスイッチ（以下、パワースイッチ）がオンになった状態において開始される構成とすればよい。なお、パワースイッチがオンになった状態において定期的に開始される構成としてもよい。

【0056】

まず、ステップＳ１では、走行特定部４０２で自車が走行中と特定した場合（Ｓ１でＹＥＳ）には、ステップＳ３に移る。一方、走行特定部４０２で自車が停止中と特定した場合（Ｓ１でＮＯ）には、ステップＳ２に移る。

【0057】

ステップＳ２では、異常判定関連処理の終了タイミングであった場合（Ｓ２でＹＥＳ）には、異常判定関連処理を終了する。一方、異常判定関連処理の終了タイミングでなかった場合（Ｓ２でＮＯ）には、Ｓ１に戻って処理を繰り返す。異常判定関連処理の終了タイミングの一例としては、自車のパワースイッチがオフになったこと等が挙げられる。

【0058】

ステップＳ３では、画像取得部４０１が、ＬｉＤＡＲ装置３から出力されてくる反射光画像及び背景光画像を取得する。図中では、背景光画像をＢｌｉと示し、反射光画像をＲｌｉと示す。

【0059】

ステップＳ４では、変化特定部４０３が、Ｓ３で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化（つまり、反射光強度変化）の有無と、その所定時間における背景光画像の光強度の変化（つまり、背景光強度変化）の有無を特定する。ステップＳ５では、輝度特定部４０４が、Ｓ４で光強度の変化の有無を特定した反射光画像及び背景光画像を用いて、それぞれの輝度の高低を特定する。

【0060】

ステップＳ６では、Ｓ４で反射光強度変化及び背景光強度変化のいずれも有りと特定した場合（Ｓ６でＹＥＳ）には、ステップＳ７に移る。一方、Ｓ４で反射光強度変化及び背景光強度変化のいずれかでも無しと特定した場合（Ｓ６でＮＯ）には、ステップＳ８に移る。ステップＳ７では、異常判定部４０５が、異常なしと判定し、異常判定関連処理を終了する。

【0061】

ステップＳ８では、Ｓ４で反射光強度変化及び背景光強度変化のいずれも無しと特定した場合（Ｓ８でＹＥＳ）には、ステップＳ１２に移る。一方、Ｓ４で反射光強度変化及び背景光強度変化の一方のみが無しと特定した場合（Ｓ８でＮＯ）には、ステップＳ９に移る。

【0062】

ステップＳ９では、Ｓ４で背景光強度変化及び反射光強度変化のうちの背景光強度変化のみ有りと特定した場合（Ｓ９でＹＥＳ）には、ステップＳ１０に移る。一方、Ｓ４で背景光強度変化及び反射光強度変化のうちの反射光強度変化のみ有りと特定した場合（Ｓ９でＮＯ）には、ステップＳ１１に移る。

【0063】

ステップＳ１０では、異常判定部４０５が、発光部３１の故障と判定し、異常判定関連処理を終了する。一方、ステップＳ１１では、異常判定部４０５が、暗所若しくは夜間と判定し、異常判定関連処理を終了する。Ｓ１１では、異常判定部４０５が、異常なしと判定し、異常判定関連処理を終了する構成としてもよい。

【0064】

ステップＳ１２では、両方変化無し時処理を行って、異常判定関連処理を終了する。ここで、図４のフローチャートを用いて、両方変化無し時処理の流れの一例について説明する。

【0065】

まず、ステップＳ１２１では、輝度特定部４０４で反射光画像及び背景光画像のいずれの輝度も高い若しくは低いと特定した場合（Ｓ１２１でＹＥＳ）には、ステップＳ１２２に移る。一方、輝度特定部４０４で特定した反射光画像及び背景光画像の輝度の高低が、反射光画像と背景光画像とで食い違っていた場合（Ｓ１２１でＮＯ）には、ステップＳ１２３に移る。ステップＳ１２２では、異常判定部４０５が、受光素子３２１の異常と判定し、異常判定関連処理を終了する。

【0066】

ステップＳ１２３では、輝度特定部４０４で反射光画像の輝度が高いと特定したが背景光画像の輝度は低いと特定した場合（Ｓ１２３でＹＥＳ）には、ステップＳ１２４に移る。一方、輝度特定部４０４で反射光画像の輝度が低いと特定したが背景光画像の輝度は高いと特定した場合（Ｓ１２３でＮＯ）には、ステップＳ１２５に移る。

【0067】

ステップＳ１２４では、異常判定部４０５が、異常の種類を、ＬｉＤＡＲ装置３の光学窓の汚れと判定し、異常判定関連処理を終了する。一方、ステップＳ１２５では、異常判定部４０５が、ＬｉＤＡＲ装置３の前面に明る過ぎる光源が存在すると判定し、異常判定関連処理を終了する。Ｓ１２５では、異常判定部４０５が、異常なしと判定し、異常判定関連処理を終了する構成としてもよい。

【0068】

なお、Ｓ５の処理よりも前にＳ６の処理を行い、Ｓ４で反射光強度変化及び背景光強度変化のいずれも有りと特定した場合には、輝度特定部４０４での処理を省略する構成としてもよい。これによれば、輝度特定部４０４での無駄な処理を軽減することが可能になる。

【0069】

＜実施形態１のまとめ＞
実施形態１の構成によれば、前述したように、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、ＬｉＤＡＲ装置３の異常をより詳細に判定することが可能になる。

【0070】

また、実施形態１の構成によれば、受光素子３２１にＳＰＡＤを用いるので、反射光画像が得られるのと共通の受光素子３２１によって、背景光画像も得ることが可能になる。また、実施形態１の構成によれば、反射光画像と背景光画像が共通の受光素子３２１で得られるので、反射光画像と背景光画像との時刻同期，キャリブレーションの手間を抑えることが可能になる。

【0071】

（実施形態２）
前述の実施形態では、走行特定部４０２で自車が走行中と特定している場合に限って変化特定部４０３で反射光強度変化及び背景光強度変化の有無を特定する構成を示したが、必ずしもこれに限らない。例えば、走行特定部４０２で自車が走行中か否かに応じて、反射光強度変化及び背景光強度変化を特定する際の所定時間の長さを切り替える構成（以下、実施形態２）としてもよい。

【0072】

＜車両用システム１ａの概略構成＞
車両用システム１ａは、車両で用いることが可能なものである。車両用システム１ａは、図５に示すように、センサユニット２ａ、車速センサ５、ＨＣＵ６、及び提示装置７を含む。車両用システム１ａは、センサユニット２の代わりにセンサユニット２ａを含む点を除けば、実施形態１の車両用システム１と同様である。センサユニット２ａは、図５に示すように、ＬｉＤＡＲ装置３、画像処理装置４ａ、及び外界カメラ８を含む。

【0073】

＜画像処理装置４ａの概略構成＞
続いて、図５を用いて、画像処理装置４ａの概略構成を説明する。図５に示すように、画像処理装置４ａは、処理部４１ａ、ＲＡＭ４２、記憶部４３、及びＩ／О４４を備えた演算回路を主体として含む電子制御装置である。画像処理装置４ａは、処理部４１の代わりに処理部４１ａを備える点を除けば、実施形態１の画像処理装置４と同様である。

【0074】

図６に示すように、画像処理装置４ａは、画像取得部４０１、走行特定部４０２、変化特定部４０３ａ、輝度特定部４０４、及び異常判定部４０５を機能ブロックとして備える。この画像処理装置４ａも異常判定装置に相当する。また、コンピュータによって画像処理装置４ａの各機能ブロックの処理が実行されることも、異常判定方法が実行されることに相当する。画像処理装置４ａの機能ブロックは、変化特定部４０３の代わりに変化特定部４０３ａを備える点を除けば、実施形態１の画像処理装置４と同様である。

【0075】

変化特定部４０３ａは、走行特定部４０２で自車が走行中と特定している場合には、所定時間を、走行特定部４０２で自車が停止中と特定している場合に比べて短く切り替えて、反射光強度変化の有無と背景光強度変化の有無とを特定する。以上の構成でも、反射光強度変化の有無と背景光強度変化の有無とを特定する精度がより高くなる。詳しくは、以下の通りである。自車が走行中の場合には、ＬｉＤＡＲ装置３の検出エリア内の物標が移動する。よって、反射光画像，背景光画像の光強度の変化がある場合には、より短時間であっても、より変化が大きく特定される。従って、自車が走行中の場合には、所定時間を自車が停止中の場合よりも短く切り替えても、光強度の変化の有無の差が拡大しやすく、光強度の変化の有無をより精度良く特定することが可能になる。

【0076】

なお、変化特定部４０３ａは、走行特定部４０２で自車が停止中と特定している場合には、所定時間を、走行特定部４０２で自車が走行中と特定している場合に比べて長く切り替えて、反射光強度変化の有無と背景光強度変化の有無とを特定する構成とすればよい。本実施形態では、変化特定部４０３ａが、反射光強度変化の有無と背景光強度変化の有無とを特定するために用いる所定時間（以下、監視時間）として、短めの監視時間と長めの監視時間とを、自車が走行中か否かに応じて設定するものとする。短めの監視時間と長めの監視時間とは、短めの監視時間が長めの監視時間よりも短い時間であればよく、任意に設定可能とすればよい。

【0077】

＜処理部４１ａでの異常判定関連処理＞
ここで、処理部４１ａでの異常判定関連処理の一例について、図７のフローチャートを用いて説明を行う。図７のフローチャートも、例えば自車のパワースイッチがオンになった状態において開始される構成とすればよい。なお、パワースイッチがオンになった状態において定期的に開始される構成としてもよい。

【0078】

まず、ステップＳ２１では、走行特定部４０２で自車が走行中と特定した場合（Ｓ２１でＹＥＳ）には、ステップＳ２２に移る。一方、走行特定部４０２で自車が停止中と特定した場合（Ｓ２１でＮＯ）には、ステップＳ２３に移る。

【0079】

ステップＳ２２では、変化特定部４０３ａが、監視時間を短めに設定し、ステップＳ２４に移る。一方、ステップＳ２３では、変化特定部４０３ａが、監視時間を長めに設定し、ステップＳ２４に移る。ステップＳ２４では、Ｓ３と同様にして、画像取得部４０１が、ＬｉＤＡＲ装置３から出力されてくる反射光画像及び背景光画像を取得する。

【0080】

ステップＳ２５では、変化特定部４０３ａが、Ｓ２４で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化（つまり、反射光強度変化）の有無と、その所定時間における背景光画像の光強度の変化（つまり、背景光強度変化）の有無を特定する。Ｓ２５では、この所定時間として、Ｓ２２若しくはＳ２３で設定された所定時間を用いる。

【0081】

ステップＳ２６～ステップＳ３３では、Ｓ５～Ｓ１２と同様の処理を行う。なお、Ｓ３３の両方変化無し時処理としては、Ｓ１２と同様の両方変化無し時処理を行う。

【0082】

なお、図７のフローチャートでも、Ｓ２６の処理よりも前にＳ２７の処理を行い、Ｓ２５で反射光強度変化及び背景光強度変化のいずれも有りと特定した場合には、輝度特定部４０４での処理を省略する構成としてもよい。

【0083】

＜実施形態２のまとめ＞
実施形態２の構成は、自車が停止中の場合も反射光強度変化及び背景光強度変化の有無を特定する点を除けば、実施形態１の構成と同様である。よって、実施形態１と同様に、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、ＬｉＤＡＲ装置３の異常をより詳細に判定することが可能になる。

【0084】

（実施形態３）
前述の実施形態では、反射光画像と背景光画像が共通の受光素子３２１で得られる構成を示したが、必ずしもこれに限らない。例えば、反射光画像と背景光画像とが異なる受光素子で得られる構成（以下、実施形態３）としてもよい。以下、実施形態３の構成について説明する。

【0085】

＜車両用システム１ｂの概略構成＞
車両用システム１ｂは、車両で用いることが可能なものである。車両用システム１ｂは、図８に示すように、センサユニット２ｂ、車速センサ５、ＨＣＵ６、及び提示装置７を含む。車両用システム１ｂは、センサユニット２の代わりにセンサユニット２ｂを含む点を除けば、実施形態１の車両用システム１と同様である。センサユニット２ｂは、図８に示すように、ＬｉＤＡＲ装置３ｂ、画像処理装置４ｂ、及び外界カメラ８を含む。

【0086】

＜ＬｉＤＡＲ装置３ｂの概略構成＞
ＬｉＤＡＲ装置３ｂは、図８に示すように、発光部３１、受光部３２、及び制御ユニット３３ｂを備える。ＬｉＤＡＲ装置３ｂは、制御ユニット３３の代わりに制御ユニット３３ｂを備える点を除けば、実施形態１のＬｉＤＡＲ装置３と同様である。

【0087】

制御ユニット３３ｂは、背景光測定機能を有していない点を除けば、実施形態１の制御ユニット３３と同様である。ＬｉＤＡＲ装置３ｂの受光素子３２１は、ＳＰＡＤを用いてもよいし、ＳＰＡＤを用いなくてもよい。

【0088】

＜外界カメラ８の概略構成＞
外界カメラ８は、自車の外界の所定範囲を撮像する。外界カメラ８は、例えば自車のフロントウインドシールドの車室内側に配置される等すればよい。外界カメラ８の撮像範囲は、ＬｉＤＡＲ装置３ｂの測定範囲と少なくとも一部が重複しているものとする。

【0089】

外界カメラ８は、図８に示すように、受光部８１及び制御ユニット８２を含む。受光部８１は、撮像範囲から入射する入射光を、例えば受光レンズにより集光して、受光素子８１１へ入射させる。この入射光が背景光にあたる。受光素子８１１は、カメラ素子と言い換えることもできる。受光素子８１１は、光電変換により光を電気信号に変換する素子であり、例えばＣＣＤセンサ又はＣＭＯＳセンサを採用することが可能である。受光素子８１１では、可視域の自然光等を効率的に受光するために、近赤外域に対して可視域の感度が高く設定されている。受光素子８１１は、複数の受光画素を２次元方向に並ぶようにアレイ状に有する。互いに隣接する受光画素には、例えば赤色、緑色、青色のカラーフィルタが配置されている。各受光画素は、配置されたカラーフィルタに対応した色の可視光を受光する。赤色の強度、緑色の強度、青色の強度がそれぞれ測定されることによって、外界カメラ８が撮影するカメラ画像は、可視域のカラー画像となる。よって、外界カメラ８は、カラーカメラと言い換えることもできる。外界カメラ８で得られるカメラ画像も背景光画像にあたる。

【0090】

制御ユニット８２は、受光部８１を制御するユニットである。制御ユニット８２は、例えば受光素子８１１と共通の基板上に配置すればよい。制御ユニット８２は、例えばマイコン又はＦＰＧＡ等の広義のプロセッサを主体に構成されている。制御ユニット８２は、撮影機能を実現している。

【0091】

撮影機能は、上述のカラー画像を撮影する機能である。制御ユニット８２は、外界カメラ８に設けられたクロック発振器の動作クロックに基づいたタイミングにて、例えばグローバルシャッタ方式を用いて各受光画素が受光した入射光に基づく電圧値を読み出し、入射光の強度を感知して測定する。制御ユニット８２は、撮像範囲に対応した画像平面上の２次元座標に入射光の強度が関連付けられた画像状のデータであるカメラ画像を、生成することができる。こうしたカメラ画像が、画像処理装置４ｂへ逐次出力される。

【0092】

＜画像処理装置４ｂの概略構成＞
続いて、図８及び図９を用いて、画像処理装置４ｂの概略構成を説明する。図８に示すように、画像処理装置４ｂは、処理部４１ｂ、ＲＡＭ４２、記憶部４３、及びＩ／О４４を備えた演算回路を主体として含む電子制御装置である。画像処理装置４ｂは、処理部４１の代わりに処理部４１ｂを備える点を除けば、実施形態１の画像処理装置４と同様である。

【0093】

図９に示すように、画像処理装置４ｂは、画像取得部４０１ｂ、走行特定部４０２、変化特定部４０３、輝度特定部４０４、及び異常判定部４０５を機能ブロックとして備える。この画像処理装置４ｂも異常判定装置に相当する。また、コンピュータによって画像処理装置４ｂの各機能ブロックの処理が実行されることも、異常判定方法が実行されることに相当する。画像処理装置４ｂの機能ブロックは、画像取得部４０１の代わりに画像取得部４０１ｂを備える点を除けば、実施形態１の画像処理装置４と同様である。

【0094】

画像取得部４０１ｂは、ＬｉＤＡＲ装置３ｂから出力されてくる反射光画像を逐次取得する。画像取得部４０１ｂは、外界カメラ８から出力されてくる背景光画像としてのカメラ画像を逐次取得する。ＬｉＤＡＲ装置３ｂで反射光画像が得られる測定範囲と、外界カメラ８で背景光画像が得られる撮像範囲とは一部が重複している。この重複した範囲を検出エリアとする。よって、画像取得部４０１ｂは、検出エリアに照射した光の反射光を可視外領域に感度を持つ受光素子３２１にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子３２１とは異なる可視領域に感度を持つ受光素子８１１にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する。この画像取得部４０１ｂでの処理も画像取得工程に相当する。

【0095】

なお、画像処理装置４ｂでは、ＬｉＤＡＲ装置３ｂから出力されてくる反射光画像と、外界カメラ８から出力されてくる背景光画像とは、タイムスタンプ等を利用して時刻同期させればよい。また、画像処理装置４ｂでは、ＬｉＤＡＲ装置３ｂの測定の基点と外界カメラ８の撮像の基点とのずれに応じたキャリブレーションも行う。これによって、反射光画像の座標系と背景光画像の座標系とを、互いに一致する同座標系として扱うことを可能にする。

【0096】

＜実施形態３のまとめ＞
実施形態３の構成は、背景光画像がＬｉＤＡＲ装置３で得られるか外界カメラ８で得られるかに関する構成を除けば、実施形態１の構成と同様である。よって、実施形態１と同様に、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、ＬｉＤＡＲ装置３の異常をより詳細に判定することが可能になる。なお、実施形態２と実施形態３とを組み合わせてもよい。

【0097】

（実施形態４）
前述の実施形態では、反射光画像に用いる反射光の強度分布が、背景光の強度分布を差し引いたものである構成を示したが、必ずしもこれに限らない。例えば、反射光画像に用いる反射光の強度分布が、背景光の強度分布を差し引かないものである構成（以下、実施形態４）としてもよい。以下、実施形態４の構成について説明する。

【0098】

＜車両用システム１ｃの概略構成＞
車両用システム１ｃは、車両で用いることが可能なものである。車両用システム１ｃは、図１０に示すように、センサユニット２ｃ、車速センサ５、ＨＣＵ６、及び提示装置７を含む。車両用システム１ｃは、センサユニット２の代わりにセンサユニット２ｃを含む点を除けば、実施形態１の車両用システム１と同様である。センサユニット２ｃは、図１０に示すように、ＬｉＤＡＲ装置３、画像処理装置４ｃ、及び外界カメラ８を含む。

【0099】

＜画像処理装置４ｃの概略構成＞
続いて、図１０を用いて、画像処理装置４ｃの概略構成を説明する。図１０に示すように、画像処理装置４ｃは、処理部４１ｃ、ＲＡＭ４２、記憶部４３、及びＩ／О４４を備えた演算回路を主体として含む電子制御装置である。画像処理装置４ｃは、処理部４１の代わりに処理部４１ｃを備える点を除けば、実施形態１の画像処理装置４と同様である。

【0100】

図１１に示すように、画像処理装置４ｃは、画像取得部４０１、走行特定部４０２、変化特定部４０３ｃ、輝度特定部４０４ｃ、異常判定部４０５ｃ、及び比較部４０６を機能ブロックとして備える。画像処理装置４ｃの機能ブロックは、変化特定部４０３の代わりに変化特定部４０３ｃを備える。画像処理装置４ｃの機能ブロックは、輝度特定部４０４の代わりに輝度特定部４０４ｃを備える。画像処理装置４ｃの機能ブロックは、異常判定部４０５の代わりに異常判定部４０５ｃを備える。画像処理装置４ｃの機能ブロックは、比較部４０６を備える。画像処理装置４ｃは、これらの点を除けば、実施形態１の画像処理装置４と同様である。この画像処理装置４ｃも異常判定装置に相当する。また、コンピュータによって画像処理装置４ｃの各機能ブロックの処理が実行されることも、異常判定方法が実行されることに相当する。

【0101】

変化特定部４０３ｃは、一部の処理が異なる点を除けば、実施形態１の変化特定部４０３と同様である。以下では、この異なる点について説明する。変化特定部４０３ｃは、反射光強度変化の有無として、反射光画像の光強度から背景光画像の光強度を差し引かない光強度の変化の有無を特定する。つまり、変化特定部４０３ｃで用いる反射光画像は、背景光の輝度情報も含んでいる。これによれば、反射光画像から背景光の輝度情報を差し引く処理を省略しつつ、ＬｉＤＡＲ装置３の異常をより詳細に判定することが可能になる。この変化特定部４０３ｃでの処理も変化特定工程に相当する。

【0102】

輝度特定部４０４ｃは、一部の処理が異なる点を除けば、実施形態１の輝度特定部４０４と同様である。以下では、この異なる点について説明する。輝度特定部４０４ｃは、反射光画像及び背景光画像のそれぞれの輝度の高低として、背景光画像の光強度を差し引かない反射光画像と、背景光画像との輝度の高低を特定する。つまり、輝度特定部４０４ｃで用いる反射光画像も、背景光の輝度情報も含んでいる。これによれば、反射光画像から背景光の輝度情報を差し引く処理を省略しつつ、ＬｉＤＡＲ装置３の異常をより詳細に判定することが可能になる。

【0103】

比較部４０６は、変化特定部４０３ｃで光強度の変化の有無を特定するのに用いる、背景光画像の光強度を差し引かない反射光画像の光強度と、背景光画像の光強度とが同一か否かを判定する。比較部４０６は、同一か否かを、光強度が実質的に同一か否かで判定すればよい。例えば、誤差程度のずれを含んでいてもよい。例えば、比較部４０６で同一か否かの判定に用いる光強度は、光強度の変化の有無を特定するのに用いた光強度の平均値とすればよい。他にも、比較部４０６で同一か否かの判定に用いる光強度は、光強度の変化の有無を特定するのに用いた光強度の数値群としてもよい。この場合、光強度の数値群の個々の数値同士を逐次比較し、実質的に同一でない組み合わせが存在しなかった場合に、光強度が同一と判定してもよい。

【0104】

異常判定部４０５ｃは、一部の処理が異なる点を除けば、実施形態１の異常判定部４０５と同様である。以下では、この異なる点について説明する。異常判定部４０５ｃでの処理も異常判定工程に相当する。実施形態４では、反射光画像に背景光の輝度情報も含んでいる。よって、実施形態４では、変化特定部４０３ｃで反射光強度変化を無しと特定する一方、背景光強度変化を有りと特定する組み合わせはないものとする。

【0105】

異常判定部４０５ｃは、変化特定部４０３ｃで反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部４０４ｃで反射光画像の輝度は低い一方、背景光画像の輝度は高いと特定する場合には、異常の種類を、ＬｉＤＡＲ装置３の受光素子３２１の異常と判定すればよい。これは、環境光及び反射光の変化がない場合において、背景光の輝度情報も含んでいる反射光の輝度が低いにもかかわらず、背景光の輝度が高くなることは、受光素子３２１自体に異常がなければ起こり得ないためである。

【0106】

異常判定部４０５ｃは、変化特定部４０３ｃで反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部４０４ｃで反射光画像及び背景光画像のいずれの輝度も高いと特定する場合には、異常の種類を、ＬｉＤＡＲ装置３の受光素子３２１の異常、若しくは検出エリアに輝度の高い光源が存在することによる異常と判定すればよい。これは、環境光及び反射光の変化がなく、環境光と反射光との輝度がともに高い場合には、以下の２つの理由が推定されるためである。１つ目の理由は、受光素子３２１自体に異常があると推定されるためである。２つ目の理由は、検出エリアに存在する輝度の高い光源によって、背景光画像の光強度、及び背景光の輝度情報も含む反射光画像の光強度の両方が、飽和してしまっていると推定されるためである。検出エリアに輝度の高い光源が存在するとは、実施形態１で述べた、ＬｉＤＡＲ装置３の前面に明る過ぎる光源が存在することに相当する。

【0107】

なお、異常判定部４０５ｃは、変化特定部４０３ｃで反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部４０４ｃで反射光画像及び背景光画像のいずれの輝度も高いと特定する場合に、異常の種類を、上述した２種類のうちの、ＬｉＤＡＲ装置３の受光素子３２１の異常のみと判定する構成としてもよい。つまり、実施形態１の異常判定部４０５と同様にしてもよい。これは、ここで述べたような場合において、検出エリアに輝度の高い光源が存在することによる異常が原因である可能性が非常に低いためである。この傾向は、自車が移動中により顕著となる。詳しくは、自車が移動中の場合、ＬｉＤＡＲ装置３の前面に明る過ぎる光源が常に存在し続ける可能性が特に低くなるためである。よって、異常判定部４０５ｃは、変化特定部４０３ｃで反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、走行特定部４０２で自車が走行中と特定している場合であって、且つ、輝度特定部４０４ｃで反射光画像及び背景光画像のいずれの輝度も高いと特定する場合に、異常の種類を、上述した２種類のうちの、ＬｉＤＡＲ装置３の受光素子３２１の異常のみと判定する構成としてもよい。

【0108】

異常判定部４０５ｃは、変化特定部４０３ｃで反射光強度変化及び背景光強度変化のいずれも有りと特定する場合であって、且つ、比較部４０６で反射光画像と背景光画像との光強度が同一でないと特定する場合には、異常なしと判定すればよい。これは、環境光及び環境光の輝度情報も含む反射光のいずれも変化する場合であって、それらの光強度が同一でない場合には、ＬｉＤＡＲ装置３に異常がない可能性が高いためである。

【0109】

異常判定部４０５ｃは、変化特定部４０３ｃで反射光強度変化及び背景光強度変化のいずれも有りと特定した場合であって、且つ、比較部４０６で反射光画像と背景光画像との光強度が同一と特定する場合には、異常の種類を、発光部３１の故障と判定すればよい。これは、環境光及び環境光の輝度情報も含む反射光のいずれも変化する場合であって、それらの光強度が同一である場合には、発光部３１が発光していないと推定されるためである。

【0110】

＜処理部４１ｃでの異常判定関連処理＞
続いて、処理部４１ｃでの異常判定関連処理の一例について、図１２のフローチャートを用いて説明を行う。図１２のフローチャートは、例えば自車のパワースイッチがオンになった状態において開始される構成とすればよい。なお、パワースイッチがオンになった状態において定期的に開始される構成としてもよい。

【0111】

まず、ステップＳ４１では、走行特定部４０２で自車が走行中と特定した場合（Ｓ４１でＹＥＳ）には、ステップＳ４３に移る。一方、走行特定部４０２で自車が停止中と特定した場合（Ｓ４１でＮＯ）には、ステップＳ４２に移る。

【0112】

ステップＳ４２では、Ｓ２と同様に、異常判定関連処理の終了タイミングであった場合（Ｓ４２でＹＥＳ）には、異常判定関連処理を終了する。一方、異常判定関連処理の終了タイミングでなかった場合（Ｓ４２でＮＯ）には、Ｓ４１に戻って処理を繰り返す。

【0113】

ステップＳ４３では、画像取得部４０１が、ＬｉＤＡＲ装置３から出力されてくる反射光画像及び背景光画像を取得する。図中では、背景光画像をＢｌｉと示し、反射光画像をＲｌｉと示す。

【0114】

ステップＳ４４では、変化特定部４０３ｃが、Ｓ３で逐次取得する反射光画像及び背景光画像から、所定時間における反射光強度変化の有無と、その所定時間における背景光強度変化の有無を特定する。前述したように、実施形態４では、変化特定部４０３ｃで用いる反射光画像は、背景光の輝度情報も含んでいる。ステップＳ４５では、輝度特定部４０４ｃが、Ｓ４４で光強度の変化の有無を特定した反射光画像及び背景光画像を用いて、それぞれの輝度の高低を特定する。前述したように、実施形態４では、輝度特定部４０４ｃで用いる反射光画像も、背景光の輝度情報を含んでいる。

【0115】

ステップＳ４６では、比較部４０６が、Ｓ４４で光強度の変化の有無を特定した反射光画像及び背景光画像を用いて、背景光画像の光強度を差し引かない反射光画像の光強度と、背景光画像の光強度とが同一か否かを判定する。

【0116】

ステップＳ４７では、Ｓ４４で反射光強度変化及び背景光強度変化のいずれも有りと特定した場合（Ｓ４７でＹＥＳ）には、ステップＳ４８に移る。一方、Ｓ４４で反射光強度変化及び背景光強度変化のいずれかでも無しと特定した場合（Ｓ４７でＮＯ）には、ステップＳ５１に移る。

【0117】

ステップＳ４８では、Ｓ４６で同一と判定した場合（Ｓ４８でＹＥＳ）には、ステップＳ４９に移る。一方、Ｓ４６で同一でないと判定した場合（Ｓ４８でＮＯ）には、ステップＳ５０に移る。ステップＳ４９では、異常判定部４０５ｃが、発光部３１の故障と判定し、異常判定関連処理を終了する。ステップＳ５０では、異常判定部４０５ｃが、異常なしと判定し、異常判定関連処理を終了する。

【0118】

ステップＳ５１では、Ｓ４４で反射光強度変化及び背景光強度変化のいずれも無しと特定した場合（Ｓ５１でＹＥＳ）には、ステップＳ５３に移る。一方、Ｓ４４で反射光強度変化及び背景光強度変化の一方のみが無しと特定した場合（Ｓ５１でＮＯ）には、ステップＳ５１に移る。

【0119】

ステップＳ５２では、異常判定部４０５ｃが、暗所若しくは夜間と判定し、異常判定関連処理を終了する。実施形態４では、前述したように、変化特定部４０３ｃで反射光強度変化を無しと特定する一方、背景光強度変化を有りと特定する組み合わせはないものとする。

【0120】

ステップＳ５３では、両方変化無し時処理を行って、異常判定関連処理を終了する。ここで、図１３のフローチャートを用いて、両方変化無し時処理の流れの一例について説明する。

【0121】

まず、ステップＳ５３１では、輝度特定部４０４ｃで反射光画像及び背景光画像のいずれの輝度も高いと特定した場合（Ｓ５３１でＹＥＳ）には、ステップＳ５３２に移る。一方、輝度特定部４０４ｃで反射光画像及び背景光画像の少なくともいずれかの輝度が低いと特定した場合（Ｓ５３１でＮＯ）には、ステップＳ５３３に移る。

【0122】

ステップＳ５３２では、異常判定部４０５ｃが、異常の種類を、ＬｉＤＡＲ装置３の受光素子３２１の異常、若しくは検出エリアに輝度の高い光源が存在することによる異常と判定し、異常判定関連処理を終了する。

【0123】

ステップＳ５３３では、輝度特定部４０４ｃで反射光画像及び背景光画像のいずれの輝度も低いと特定した場合（Ｓ５３３でＹＥＳ）には、ステップＳ５３４に移る。一方、輝度特定部４０４ｃで特定した反射光画像及び背景光画像の輝度の高低が、反射光画像と背景光画像とで食い違っていた場合（Ｓ５３３でＮＯ）には、ステップＳ５３５に移る。ステップＳ５３４では、異常判定部４０５ｃが、受光素子３２１の異常と判定し、異常判定関連処理を終了する。

【0124】

ステップＳ５３５では、輝度特定部４０４ｃで反射光画像の輝度が高いと特定したが背景光画像の輝度は低いと特定した場合（Ｓ５３５でＹＥＳ）には、ステップＳ５３６に移る。一方、輝度特定部４０４ｃで反射光画像の輝度が低いと特定したが背景光画像の輝度は高いと特定した場合（Ｓ５３５でＮＯ）には、ステップＳ５３４に移る。つまり、異常判定部４０５ｃが、受光素子３２１の異常と判定し、異常判定関連処理を終了する。

【0125】

ステップＳ５３６では、異常判定部４０５ｃが、異常の種類を、ＬｉＤＡＲ装置３の光学窓の汚れと判定し、異常判定関連処理を終了する。なお、Ｓ４５の処理よりも前にＳ４７の処理を行い、Ｓ４４で反射光強度変化及び背景光強度変化のいずれも有りと特定した場合には、輝度特定部４０４ｃでの処理を省略する構成としてもよい。これによれば、輝度特定部４０４ｃでの無駄な処理を軽減することが可能になる。また、Ｓ４６の処理よりも前にＳ４７の処理を行い、Ｓ４４で反射光強度変化及び背景光強度変化のいずれかでも無しと特定した場合には、比較部４０６での処理を省略する構成としてもよい。これによれば、比較部４０６での無駄な処理を軽減することが可能になる。他にも、Ｓ４５とＳ４６との処理を、順序を入れ替えて行ってもよいし、並行して行ってもよい。

【0126】

＜実施形態４のまとめ＞
実施形態４の構成によっても、前述したように、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、ＬｉＤＡＲ装置３の異常をより詳細に判定することが可能になる。また、実施形態４の構成と実施形態２，３との構成とを組み合わせてもよい。

【0127】

（実施形態５）
前述の実施形態では、センサユニット２，２ａ，２ｂ，２ｃが走行特定部４０２を備える構成を示したが、必ずしもこれに限らない。例えば、センサユニット２，２ａ，２ｂ，２ｃが走行特定部４０２を備えない構成としてもよい。つまり、自車が走行中か否かに応じて処理を異ならせない構成としてもよい。

【0128】

（実施形態６）
前述の実施形態では、センサユニット２，２ａ，２ｂ，２ｃが車両で用いられる場合を例に挙げて説明したが、必ずしもこれに限らない。例えば、センサユニット２，２ａ，２ｂ，２ｃが車両以外の移動体で用いられる構成としてもよい。車両以外の移動体としては、例えばドローン等が挙げられる。ドローン等の車両以外の移動体でセンサユニット２，２ａ，２ｂ，２ｃを用いる場合には、車速センサ５の検出結果から走行中か否かを特定する代わりに、加速度センサの検出結果から移動体が移動中か否かを特定すればよい。また、センサユニット２，２ａ，２ｂ，２ｃが移動体以外の静止物体で用いられる構成としてもよい。静止物体としては、例えば路側機等が挙げられる。静止物体でセンサユニット２，２ａ，２ｂ，２ｃを用いる場合には、センサユニット２，２ａ，２ｂ，２ｃを用いる物体が移動中か否かを特定する機能をセンサユニット２，２ａ，２ｂ，２ｃが備えない構成とすればよい。

【0129】

なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【0130】

（開示されている技術的思想）
この明細書は、以下に列挙された複数の項に記載された複数の技術的思想を開示している。いくつかの項は、後続の項において先行する項を択一的に引用する多項従属形式（a multiple dependent form）により記載されている場合がある。さらに、いくつかの項は、他の多項従属形式の項を引用する多項従属形式（a multiple dependent form referring to another multiple dependent form）により記載されている場合がある。これらの多項従属形式で記載された項は、複数の技術的思想を定義している。

【0131】

（技術的思想１）
検出エリアに発光部によって照射した光の反射光をＬｉＤＡＲ装置（３，３ｂ）の受光素子（３２１）にて検出することにより得られる反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を受光素子（３２１，８１１）にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得部（４０１，４０１ｂ）と、
前記画像取得部で逐次取得する前記反射光画像及び前記背景光画像から、所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定部（４０３，４０３ａ，４０３ｃ）と、
前記変化特定部で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせを用いて、前記ＬｉＤＡＲ装置の異常の種類を区別して判定する異常判定部（４０５，４０５ｃ）とを備える異常判定装置。

【0132】

（技術的思想２）
技術的思想１に記載の異常判定装置であって、
移動体で用いることが可能なものであって、
前記移動体が移動中か否かを特定する移動特定部（４０２）を備え、
前記変化特定部（４０３，４０３ｃ）は、前記移動特定部で前記移動体が移動中と特定している期間の前記所定時間における、前記反射光画像の光強度の変化である反射光強度変化の有無と前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する異常判定装置。

【0133】

（技術的思想３）
技術的思想１に記載の異常判定装置であって、
移動体で用いることが可能なものであって、
前記移動体が移動中か否かを特定する移動特定部（４０２）を備え、
前記変化特定部（４０３ａ）は、前記移動特定部で前記移動体が移動中と特定している場合には、前記所定時間を、前記移動特定部で前記移動体が停止中と特定している場合に比べて短く切り替えて、前記所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する異常判定装置。

【0134】

（技術的思想４）
技術的思想１～３のいずれか１項に記載の異常判定装置であって、
前記変化特定部（４０３）は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引いた光強度の変化の有無を特定するものであり、
前記異常判定部は、前記変化特定部で前記反射光強度変化を無しと特定する一方、前記背景光強度変化を有りと特定した場合には、前記異常の種類を、前記発光部の故障と判定する異常判定装置。

【0135】

（技術的思想５）
技術的思想１～３のいずれか１項に記載の異常判定装置であって、
前記変化特定部（４０３ｃ）は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
前記変化特定部で前記光強度の変化の有無を特定するのに用いる、前記背景光画像の光強度を差し引かない前記反射光画像の光強度と、前記背景光画像の光強度とが同一か否かを判定する比較部（４０６）を備え、
前記異常判定部（４０５ｃ）は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも有りと特定する場合であって、且つ、前記比較部で前記反射光画像と前記背景光画像との光強度が同一と特定する場合には、前記異常の種類を、前記発光部の故障と判定する異常判定装置。

【0136】

（技術的思想６）
技術的思想１～５のいずれか１項に記載の異常判定装置であって、
前記画像取得部で取得する前記反射光画像及び前記背景光画像のそれぞれの輝度の高低を特定する輝度特定部（４０４，４０４ｃ）を備え、
前記異常判定部は、前記変化特定部で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせに加え、前記輝度特定部で特定する前記反射光画像の輝度の高低と前記背景光画像の輝度の高低との組み合わせも用いて、前記ＬｉＤＡＲ装置の異常の種類を区別して判定する異常判定装置。

【0137】

（技術的思想７）
技術的思想６に記載の異常判定装置であって、
前記異常判定部は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像の輝度が高いと特定するが前記背景光画像の輝度は低いと特定する場合には、前記異常の種類を、前記検出エリアと前記ＬｉＤＡＲ装置の受光素子との間に位置する前記ＬｉＤＡＲ装置の光学窓の汚れと判定する異常判定装置。

【0138】

（技術的思想８）
技術的思想６又は７に記載の異常判定装置であって、
前記変化特定部（４０３ｃ）は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
前記輝度特定部（４０４ｃ）は、前記反射光画像及び前記背景光画像のそれぞれの輝度の高低として、前記背景光画像の光強度を差し引かない前記反射光画像と、前記背景光画像との輝度の高低を特定するものであり、
前記異常判定部（４０５ｃ）は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像及び前記背景光画像のいずれの輝度も高いと特定する場合には、前記異常の種類を、前記ＬｉＤＡＲ装置の受光素子の異常若しくは前記検出エリアに輝度の高い光源が存在することによる異常と判定する異常判定装置。

【0139】

（技術的思想９）
技術的思想６～８のいずれか１項に記載の異常判定装置であって、
前記変化特定部（４０３ｃ）は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
前記輝度特定部（４０４ｃ）は、前記反射光画像及び前記背景光画像のそれぞれの輝度の高低として、前記背景光画像の光強度を差し引かない前記反射光画像と、前記背景光画像との輝度の高低を特定するものであり、
前記異常判定部（４０５ｃ）は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像及び前記背景光画像のいずれの輝度も低いと特定する場合には、前記異常の種類を、前記ＬｉＤＡＲ装置の受光素子の異常と判定する異常判定装置。

【0140】

（技術的思想１０）
技術的思想６又は７に記載の異常判定装置であって、
前記異常判定部は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像及び前記背景光画像のいずれの輝度も高い若しくは低いと特定する場合には、前記異常の種類を、前記ＬｉＤＡＲ装置の受光素子の異常と判定する異常判定装置。

【0141】

（技術的思想１１）
技術的思想１～１０のいずれか１項に記載の異常判定装置であって、
前記画像取得部（４０１）は、前記検出エリアに照射した光の反射光を、可視外領域に感度を持つ受光素子（３２１）にて検出することにより得られる、反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を、その受光素子（３２１）にて前記反射光の検出と異なるタイミングで検出することにより得られる、環境光の強度分布を表す背景光画像とを取得する異常判定装置。

【0142】

（技術的思想１２）
技術的思想１～１０のいずれか１項に記載の異常判定装置であって、
前記画像取得部（４０１ｂ）は、前記検出エリアに照射した光の反射光を、可視外領域に感度を持つ前記ＬｉＤＡＲ装置の受光素子（３２１）にて検出することにより得られる、反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を、その受光素子とは異なる、可視領域に感度を持つ受光素子（８１１）にて検出することにより得られる、環境光の強度分布を表す背景光画像とを取得する異常判定装置。

【符号の説明】

【0143】

１，１ａ，１ｂ，１ｃ 車両用システム、２，２ａ，２ｂ，２ｃ センサユニット、３，３ｂ ＬｉＤＡＲ装置、４，４ａ，４ｂ，４ｃ 画像処理装置（異常判定装置）、８ 外界カメラ、３２１ 受光素子、４０１，４０１ｂ 画像取得部、４０２ 走行特定部（移動特定部）、４０３，４０３ａ，４０３ｃ 変化特定部、４０４，４０４ｃ 輝度特定部、４０５，４０５ｃ 異常判定部、４０６ 比較部、８１１ 受光素子

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】