知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022025650
(43)【公開日】2022-02-10
(54)【発明の名称】カメラ異常検出装置、及びカメラ異常検出方法
(51)【国際特許分類】
H04N 5/225 20060101AFI20220203BHJP
B60R 1/06 20060101ALI20220203BHJP
B60R 11/02 20060101ALI20220203BHJP
G06T 7/00 20170101ALI20220203BHJP
H04N 5/232 20060101ALI20220203BHJP
G03B 15/00 20210101ALI20220203BHJP
【ＦＩ】
H04N5/225 430
B60R1/06 D
B60R11/02 Z
G06T7/00 650Z
H04N5/232 290
H04N5/232 990
G03B15/00 V
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2020128599
(22)【出願日】2020-07-29
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】特許業務法人クシブチ国際特許事務所
(72)【発明者】
【氏名】宮武 嘉晃
(72)【発明者】
【氏名】小堀 隆行
【テーマコード（参考）】
3D020
3D053
5C122
5L096
【Ｆターム（参考）】
3D020BA20
3D020BB01
3D020BC13
3D053FF31
3D053GG06
5C122DA14
5C122EA02
5C122EA36
5C122FH10
5C122FH12
5C122FH14
5C122GD04
5C122HA76
5C122HA82
5C122HB01
5L096AA06
5L096BA04
5L096CA04
5L096DA02
5L096FA67
5L096FA69
5L096HA08
(57)【要約】
【課題】車両に搭載されたカメラのレンズの異常を簡素な構成で検出する。
【解決手段】カメラ異常検出装置１は、車両１００に搭載されたカメラ１２０のレンズＬＳの異常を検出するカメラ異常検出装置１であって、カメラ１２０の位置、及び姿勢の少なくとも一方が変化する前後において、カメラ１２０によって撮影された複数の撮影画像Ｐを取得する取得部１１３と、複数の撮影画像Ｐの各々を構成する画素において、画素値が変化しない画素の有無を検出する画素検出部１１４と、画素検出部１１４の検出結果に応じて、レンズＬＳの異常の有無を判定する判定部１１５と、を備える。
【選択図】図１
【解決手段】カメラ異常検出装置１は、車両１００に搭載されたカメラ１２０のレンズＬＳの異常を検出するカメラ異常検出装置１であって、カメラ１２０の位置、及び姿勢の少なくとも一方が変化する前後において、カメラ１２０によって撮影された複数の撮影画像Ｐを取得する取得部１１３と、複数の撮影画像Ｐの各々を構成する画素において、画素値が変化しない画素の有無を検出する画素検出部１１４と、画素検出部１１４の検出結果に応じて、レンズＬＳの異常の有無を判定する判定部１１５と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両に搭載されたカメラのレンズの異常を検出するカメラ異常検出装置であって、
前記カメラの位置、及び姿勢の少なくとも一方が変化する前後において、前記カメラによって撮影された複数の撮影画像を取得する取得部と、
前記複数の撮影画像の各々を構成する画素において、画素値が変化しない画素の有無を検出する画素検出部と、
前記画素検出部の検出結果に応じて、前記レンズの異常の有無を判定する判定部と、
を備える、カメラ異常検出装置。
前記カメラの位置、及び姿勢の少なくとも一方が変化する前後において、前記カメラによって撮影された複数の撮影画像を取得する取得部と、
前記複数の撮影画像の各々を構成する画素において、画素値が変化しない画素の有無を検出する画素検出部と、
前記画素検出部の検出結果に応じて、前記レンズの異常の有無を判定する判定部と、
を備える、カメラ異常検出装置。
【請求項2】
前記画素検出部は、前記複数の撮影画像の画素毎のオプティカルフローを求め、前記オプティカルフローが発生しない画素の有無を検出する、
請求項１に記載のカメラ異常検出装置。
請求項１に記載のカメラ異常検出装置。
【請求項3】
前記カメラの位置、及び姿勢の少なくとも一方を変更させる変更指示部を更に備える、
請求項１、又は請求項２に記載のカメラ異常検出装置。
請求項１、又は請求項２に記載のカメラ異常検出装置。
【請求項4】
前記変更指示部は、サスペンションの状態を変更させることによって、前記カメラの位置を変更させる、
請求項３に記載のカメラ異常検出装置。
請求項３に記載のカメラ異常検出装置。
【請求項5】
前記カメラは、ドアミラーに設置され、
前記変更指示部は、前記ドアミラーを開閉することによって、前記カメラの位置及び姿勢を変更させる、
請求項３、又は請求項４に記載のカメラ異常検出装置。
前記変更指示部は、前記ドアミラーを開閉することによって、前記カメラの位置及び姿勢を変更させる、
請求項３、又は請求項４に記載のカメラ異常検出装置。
【請求項6】
前記カメラの位置、及び姿勢の少なくとも一方の変化を検出する位置検出部を更に備える、
請求項１から請求項５のいずれか１項に記載のカメラ異常検出装置。
請求項１から請求項５のいずれか１項に記載のカメラ異常検出装置。
【請求項7】
前記レンズの異常は、前記レンズの傷、ひび割れ、曇り、及び汚れを含む、
請求項１から請求項６のいずれか１項に記載のカメラ異常検出装置。
請求項１から請求項６のいずれか１項に記載のカメラ異常検出装置。
【請求項8】
車両に搭載されたカメラのレンズの異常を検出するカメラ異常検出装置のカメラ異常検出方法であって、
前記カメラの位置、及び姿勢の少なくとも一方が変化する前後において、前記カメラによって撮影された複数の撮影画像を取得する取得ステップ、
前記複数の撮影画像の各々を構成する画素において、画素値が変化しない画素の有無を検出する検出ステップ、及び、
前記検出ステップでの検出結果に応じて、前記レンズの異常の有無を判定する判定ステップ、
を含む、カメラ異常検出方法。
前記カメラの位置、及び姿勢の少なくとも一方が変化する前後において、前記カメラによって撮影された複数の撮影画像を取得する取得ステップ、
前記複数の撮影画像の各々を構成する画素において、画素値が変化しない画素の有無を検出する検出ステップ、及び、
前記検出ステップでの検出結果に応じて、前記レンズの異常の有無を判定する判定ステップ、
を含む、カメラ異常検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ異常検出装置、及びカメラ異常検出方法に関する。
【背景技術】
【0002】
従来、車両に搭載されたカメラのレンズ等の異常を検出する技術が、例えば特許文献１に開示されている。
特許文献１に記載の撮影異常診断装置は、車載カメラによって撮影された車両周囲の画像を取得する画像取得部と、三次元センサによって検出された車両周囲の三次元情報を取得する三次元情報取得部と、三次元情報取得部によって取得された三次元情報に基づいて画像上の物体が表されているべき領域を特定する領域特定部と、画像の解析により画像の所定の領域に物体が写っている度合いである映り度合いを検出する映り度合い検出部と、物体が表されているべき領域における映り度合いが所定度合い以下であるときには車載カメラによる撮影に異常が生じていると判断する診断部と、を備える。
特許文献１に記載の撮影異常診断装置は、車載カメラによって撮影された車両周囲の画像を取得する画像取得部と、三次元センサによって検出された車両周囲の三次元情報を取得する三次元情報取得部と、三次元情報取得部によって取得された三次元情報に基づいて画像上の物体が表されているべき領域を特定する領域特定部と、画像の解析により画像の所定の領域に物体が写っている度合いである映り度合いを検出する映り度合い検出部と、物体が表されているべき領域における映り度合いが所定度合い以下であるときには車載カメラによる撮影に異常が生じていると判断する診断部と、を備える。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－８８４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載の撮影異常診断装置では、三次元センサを備える必要があり、カメラによって撮影された画像と三次元センサの検出結果とを比較する必要があるため、装置の構成及び処理が複雑になる。
本発明は、車両に搭載されたカメラのレンズの異常を簡素な構成で検出することの可能なカメラ異常検出装置、及びカメラ異常検出方法を提供することを目的とする。
本発明は、車両に搭載されたカメラのレンズの異常を簡素な構成で検出することの可能なカメラ異常検出装置、及びカメラ異常検出方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するために本実施形態のカメラ異常検出装置は、車両に搭載されたカメラのレンズの異常を検出するカメラ異常検出装置であって、前記カメラの位置、及び姿勢の少なくとも一方が変化する前後において、前記カメラによって撮影された複数の撮影画像を取得する取得部と、前記複数の撮影画像の各々を構成する画素において、画素値が変化しない画素の有無を検出する画素検出部と、前記検出部の検出結果に応じて、前記レンズの異常の有無を判定する判定部と、を備える。
【0006】
また、上記目的を達成するために本実施形態のカメラ異常検出方法は、車両に搭載されたカメラのレンズの異常を検出するカメラ異常検出装置のカメラ異常検出方法であって、前記カメラの位置、及び姿勢の少なくとも一方が変化する前後において、前記カメラによって撮影された複数の撮影画像を取得する取得ステップ、前記複数の撮影画像の各々を構成する画素において、画素値が変化しない画素の有無を検出する検出ステップ、及び、前記検出ステップでの検出結果に応じて、前記レンズの異常の有無を判定する判定ステップ、を含む。
【発明の効果】
【0007】
本実施形態によれば、カメラの位置、及び姿勢の少なくとも一方が変化する前後において撮影された複数の撮影画像の各々を構成する画素において、画素値が変化しない画素の有無を検出し、その検出結果に応じて、レンズの異常の有無を判定するため、車両に搭載されたカメラのレンズの異常を簡素な構成で検出できる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係るカメラ異常検出装置の構成の一例を示す図である。
【図2】カメラ異常検出装置が搭載される車両の構成の一例を示す側面図である。
【図3】画素検出部及び判定部の処理の具体例を示す図である。
【図4】第１実施形態に係る制御部の処理の一例を示すフローチャートである。
【図5】第２実施形態に係る制御部の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して本実施形態について説明する。本実施形態に係るカメラ異常検出装置１は、図１～図４を参照して説明するカメラ異常検出装置１Ａと、図１～図３及び図５を参照して説明するカメラ異常検出装置１Ｂとを含む。
【0010】
［１．カメラ異常検出装置、及び車両の構成］
図１は、本実施形態に係るカメラ異常検出装置１の構成の一例を示す図である。
図２は、カメラ異常検出装置１が搭載される車両１００の構成の一例を示す側面図である。図２の矢印ＦＲは、車両１００の前方向を示し、矢印ＵＰは、車両１００の上方向を示す。
以下、図１及び図２を参照して、カメラ異常検出装置１の構成について説明する。
図１は、本実施形態に係るカメラ異常検出装置１の構成の一例を示す図である。
図２は、カメラ異常検出装置１が搭載される車両１００の構成の一例を示す側面図である。図２の矢印ＦＲは、車両１００の前方向を示し、矢印ＵＰは、車両１００の上方向を示す。
以下、図１及び図２を参照して、カメラ異常検出装置１の構成について説明する。
【0011】
図１に示すように、カメラ異常検出装置１は、制御部１１を備える。
また、車両１００は、制御部１１に加えて、車両本体１０と、撮像部１２と、サスペンション制御部２１と、サスペンション駆動機構２２と、ドアミラー制御部３１と、ドアミラー駆動機構３２と、ドアミラー３３と、表示部４と、を備える。
また、車両１００は、制御部１１に加えて、車両本体１０と、撮像部１２と、サスペンション制御部２１と、サスペンション駆動機構２２と、ドアミラー制御部３１と、ドアミラー駆動機構３２と、ドアミラー３３と、表示部４と、を備える。
【0012】
図２に示すように、車両本体１０は、車体５、ドア６、及び車輪７を含む。
ドア６は、右前ドア６１、左前ドア６２、右後ドア６３、及び左後ドア６４を含む。
右前ドア６１は、車体５の前部の右側に配置される。左前ドア６２は、車体５の前部の左側に配置される。右後ドア６３は、車体５の後部の右側に配置される。左後ドア６４は、車体５の後部の左側に配置される。
車体５は、サスペンション制御部２１、サスペンション駆動機構２２、ドアミラー制御部３１、及び表示部４を収容する。
車輪７は、車体５を支持する。車輪７は、右前輪７１、右後輪７２、左前輪７３、及び左後輪７４、を含む。
ドア６は、右前ドア６１、左前ドア６２、右後ドア６３、及び左後ドア６４を含む。
右前ドア６１は、車体５の前部の右側に配置される。左前ドア６２は、車体５の前部の左側に配置される。右後ドア６３は、車体５の後部の右側に配置される。左後ドア６４は、車体５の後部の左側に配置される。
車体５は、サスペンション制御部２１、サスペンション駆動機構２２、ドアミラー制御部３１、及び表示部４を収容する。
車輪７は、車体５を支持する。車輪７は、右前輪７１、右後輪７２、左前輪７３、及び左後輪７４、を含む。
【0013】
図１及び図２に示すように、ドアミラー３３は、右側ドアミラー３３１と、左側ドアミラー３３２と、を備える。右側ドアミラー３３１は、車両本体１０の前方右側に設置される。具体的には、右側ドアミラー３３１は、運転席の右側のドアの前部に配置される。左側ドアミラー３３２は、車両本体１０の前方左側に設置される。具体的には、左側ドアミラー３３２は、助手席の左側のドアの前部に配置される。
【0014】
撮像部１２は、右前方カメラ１３と、右後方カメラ１４と、左前方カメラ１５と、左後方カメラ１６と、を備える。右前方カメラ１３、右後方カメラ１４、左前方カメラ１５、及び左後方カメラ１６の各々は、制御部１１からの指示に従って、撮像画像を生成する。
右前方カメラ１３は、右側ドアミラー３３１の前部に配置され、車両１００の右側前方を撮像する。右後方カメラ１４は、右側ドアミラー３３１の後部に配置され、車両１００の右側後方を撮像する。左前方カメラ１５は、左側ドアミラー３３２の前部に配置され、車両１００の左側前方を撮像する。左後方カメラ１６は、左側ドアミラー３３２の後部に配置され、車両１００の左側後方を撮像する。
右前方カメラ１３、右後方カメラ１４、左前方カメラ１５、及び左後方カメラ１６の各々は、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサ１３１、イメージセンサ１４１、イメージセンサ１５１、及びイメージセンサ１６１と、レンズ１３２、レンズ１４２、レンズ１５２、及びレンズ１６２と、を備える。
以下の説明において、右前方カメラ１３、右後方カメラ１４、左前方カメラ１５、及び左後方カメラ１６を、区別しない場合には、カメラ１２０と記載する場合がある。
また、レンズ１３２、レンズ１４２、レンズ１５２、及びレンズ１６２を、区別しない場合には、レンズＬＳと記載する場合がある。
右前方カメラ１３は、右側ドアミラー３３１の前部に配置され、車両１００の右側前方を撮像する。右後方カメラ１４は、右側ドアミラー３３１の後部に配置され、車両１００の右側後方を撮像する。左前方カメラ１５は、左側ドアミラー３３２の前部に配置され、車両１００の左側前方を撮像する。左後方カメラ１６は、左側ドアミラー３３２の後部に配置され、車両１００の左側後方を撮像する。
右前方カメラ１３、右後方カメラ１４、左前方カメラ１５、及び左後方カメラ１６の各々は、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサ１３１、イメージセンサ１４１、イメージセンサ１５１、及びイメージセンサ１６１と、レンズ１３２、レンズ１４２、レンズ１５２、及びレンズ１６２と、を備える。
以下の説明において、右前方カメラ１３、右後方カメラ１４、左前方カメラ１５、及び左後方カメラ１６を、区別しない場合には、カメラ１２０と記載する場合がある。
また、レンズ１３２、レンズ１４２、レンズ１５２、及びレンズ１６２を、区別しない場合には、レンズＬＳと記載する場合がある。
【0015】
サスペンション駆動機構２２は、いわゆる「アクティブサスペンション」のアクチュエータとして機能する。サスペンション駆動機構２２は、車両本体１０と路面との距離を調整することによって、路面の凹凸に起因する車両本体１０の揺れを軽減する。
サスペンション駆動機構２２は、右前油圧シリンダ２２１と、右後油圧シリンダ２２２と、左前油圧シリンダ２２３と、左後油圧シリンダ２２４とを備える。
右前油圧シリンダ２２１は、右前輪７１と車体５との間隔を調整する。右後油圧シリンダ２２２は、右後輪７２と車体５との間隔を調整する。左前油圧シリンダ２２３は、左前輪７３と車体５との間隔を調整する。左後油圧シリンダ２２４は、左後輪７４と車体５との間隔を調整する。
サスペンション駆動機構２２は、右前油圧シリンダ２２１と、右後油圧シリンダ２２２と、左前油圧シリンダ２２３と、左後油圧シリンダ２２４とを備える。
右前油圧シリンダ２２１は、右前輪７１と車体５との間隔を調整する。右後油圧シリンダ２２２は、右後輪７２と車体５との間隔を調整する。左前油圧シリンダ２２３は、左前輪７３と車体５との間隔を調整する。左後油圧シリンダ２２４は、左後輪７４と車体５との間隔を調整する。
【0016】
右前油圧シリンダ２２１は、右前油圧シリンダ２２１のストロークを検出する右前ストロークセンサＳ１１を備える。右前ストロークセンサＳ１１は、サスペンション制御部２１を経由して、制御部１１に、右前油圧シリンダ２２１のストロークを示す右前ストローク信号ＳＧ１１を出力する。
右後油圧シリンダ２２２は、右後油圧シリンダ２２２のストロークを検出する右後ストロークセンサＳ１２を備える。右後ストロークセンサＳ１２は、サスペンション制御部２１を経由して、制御部１１に、右後油圧シリンダ２２２のストロークを示す右後ストローク信号ＳＧ１２を出力する。
左前油圧シリンダ２２３は、左前油圧シリンダ２２３のストロークを検出する左前ストロークセンサＳ１３を備える。左前ストロークセンサＳ１３は、サスペンション制御部２１を経由して、制御部１１に、左前油圧シリンダ２２３のストロークを示す左前ストローク信号ＳＧ１３を出力する。
左後油圧シリンダ２２４は、左後油圧シリンダ２２４のストロークを検出する左後ストロークセンサＳ１４を備える。左後ストロークセンサＳ１４は、サスペンション制御部２１を経由して、制御部１１に、左後油圧シリンダ２２４のストロークを示す左後ストローク信号ＳＧ１４を出力する。
右前ストロークセンサＳ１１～左後ストロークセンサＳ１４の各々は、例えば、測距センサ等で構成される。
以下の説明において、右前ストロークセンサＳ１１～左後ストロークセンサＳ１４を区別しない場合には、ストロークセンサＳ１と記載する場合がある。また、右前ストローク信号ＳＧ１１～左後ストローク信号ＳＧ１４を区別しない場合には、ストローク信号ＳＧ１と記載する場合がある。
右後油圧シリンダ２２２は、右後油圧シリンダ２２２のストロークを検出する右後ストロークセンサＳ１２を備える。右後ストロークセンサＳ１２は、サスペンション制御部２１を経由して、制御部１１に、右後油圧シリンダ２２２のストロークを示す右後ストローク信号ＳＧ１２を出力する。
左前油圧シリンダ２２３は、左前油圧シリンダ２２３のストロークを検出する左前ストロークセンサＳ１３を備える。左前ストロークセンサＳ１３は、サスペンション制御部２１を経由して、制御部１１に、左前油圧シリンダ２２３のストロークを示す左前ストローク信号ＳＧ１３を出力する。
左後油圧シリンダ２２４は、左後油圧シリンダ２２４のストロークを検出する左後ストロークセンサＳ１４を備える。左後ストロークセンサＳ１４は、サスペンション制御部２１を経由して、制御部１１に、左後油圧シリンダ２２４のストロークを示す左後ストローク信号ＳＧ１４を出力する。
右前ストロークセンサＳ１１～左後ストロークセンサＳ１４の各々は、例えば、測距センサ等で構成される。
以下の説明において、右前ストロークセンサＳ１１～左後ストロークセンサＳ１４を区別しない場合には、ストロークセンサＳ１と記載する場合がある。また、右前ストローク信号ＳＧ１１～左後ストローク信号ＳＧ１４を区別しない場合には、ストローク信号ＳＧ１と記載する場合がある。
【0017】
第１実施形態に係るカメラ異常検出装置１Ａでは、サスペンション駆動機構２２は、制御部１１からの指示に従って、右前油圧シリンダ２２１～左後油圧シリンダ２２４の各々のストロークを伸縮することによって、車両本体１０の位置を上下方向に移動する。その結果、右前方カメラ１３、右後方カメラ１４、左前方カメラ１５、及び左後方カメラ１６の各々の位置を変更する。
【0018】
第２実施形態に係るカメラ異常検出装置１Ｂでは、運転者等が車両１００に乗車することによって、右前油圧シリンダ２２１～左後油圧シリンダ２２４の各々のストロークが伸縮し、車両本体１０の位置が上下方向に移動する。その結果、右前方カメラ１３、右後方カメラ１４、左前方カメラ１５、及び左後方カメラ１６の各々の位置が変化する。
【0019】
サスペンション制御部２１は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）として構成される。サスペンション制御部２１は、制御部１１からの指示に従って、サスペンション駆動機構２２を制御する。
第１実施形態では、サスペンション制御部２１は、車両本体１０の位置が上下方向に移動するように、サスペンション駆動機構２２を制御する。
第１実施形態では、サスペンション制御部２１は、車両本体１０の位置が上下方向に移動するように、サスペンション駆動機構２２を制御する。
【0020】
ドアミラー駆動機構３２は、右側ドアミラー駆動機構３２１と、左側ドアミラー駆動機構３２２と、を含む。
右側ドアミラー駆動機構３２１は、制御部１１からの指示に従って、右側ドアミラー３３１を開閉する。左側ドアミラー駆動機構３２２は、制御部１１からの指示に従って、左側ドアミラー３３２を開閉する。
右側ドアミラー駆動機構３２１は、制御部１１からの指示に従って、右側ドアミラー３３１を開閉する。左側ドアミラー駆動機構３２２は、制御部１１からの指示に従って、左側ドアミラー３３２を開閉する。
【0021】
右側ドアミラー駆動機構３２１は、右側ドアミラー３３１の開閉を検出する右開閉センサＳ２１を備える。右開閉センサＳ２１は、ドアミラー制御部３１を経由して、制御部１１に、右側ドアミラー３３１の開閉を示す右開閉信号ＳＧ２１を出力する。
左側ドアミラー駆動機構３２２は、左側ドアミラー３３２の開閉を検出する左開閉センサＳ２２を備える。左開閉センサＳ２２は、ドアミラー制御部３１を経由して、制御部１１に、左側ドアミラー３３２の開閉を示す左開閉信号ＳＧ２２を出力する。
右開閉センサＳ２１及び左開閉センサＳ２２の各々は、例えば、測距センサや近接センサ等によって構成される。
以下の説明において、右開閉センサＳ２１と左開閉センサＳ２２とを区別しない場合には、開閉センサＳ２と記載する。また、右開閉信号ＳＧ２１と左開閉信号ＳＧ２２とを区別しない場合には、開閉信号ＳＧ２と記載する場合がある。
左側ドアミラー駆動機構３２２は、左側ドアミラー３３２の開閉を検出する左開閉センサＳ２２を備える。左開閉センサＳ２２は、ドアミラー制御部３１を経由して、制御部１１に、左側ドアミラー３３２の開閉を示す左開閉信号ＳＧ２２を出力する。
右開閉センサＳ２１及び左開閉センサＳ２２の各々は、例えば、測距センサや近接センサ等によって構成される。
以下の説明において、右開閉センサＳ２１と左開閉センサＳ２２とを区別しない場合には、開閉センサＳ２と記載する。また、右開閉信号ＳＧ２１と左開閉信号ＳＧ２２とを区別しない場合には、開閉信号ＳＧ２と記載する場合がある。
【0022】
ドアミラー制御部３１は、例えば、ＥＣＵとして構成され、右側ドアミラー制御部３１１と、左側ドアミラー制御部３１２と、を含む。
右側ドアミラー制御部３１１は、制御部１１からの指示に従って、右側ドアミラー駆動機構３２１に、右側ドアミラー３３１を開閉させる。左側ドアミラー制御部３１２は、制御部１１からの指示に従って、左側ドアミラー駆動機構３２２に、左側ドアミラー３３２を開閉させる。
右側ドアミラー制御部３１１は、制御部１１からの指示に従って、右側ドアミラー駆動機構３２１に、右側ドアミラー３３１を開閉させる。左側ドアミラー制御部３１２は、制御部１１からの指示に従って、左側ドアミラー駆動機構３２２に、左側ドアミラー３３２を開閉させる。
【0023】
第１実施形態に係るカメラ異常検出装置１Ａでは、サスペンション駆動機構２２が、車両本体１０の位置を上下方向に移動することによって、右前方カメラ１３～左後方カメラ１６の各々の位置を変更する場合について説明するが、第１実施形態に係るカメラ異常検出装置１Ａはこれに限定されない。例えば、右側ドアミラー３３１を開閉することによって、右前方カメラ１３、及び右後方カメラ１４、の各々の位置を変更し、左側ドアミラー３３２を開閉することによって、左前方カメラ１５、及び左後方カメラ１６の各々の位置を変更してもよい。
【0024】
第２実施形態に係るカメラ異常検出装置１Ｂでは、右前ストロークセンサＳ１１～左後ストロークセンサＳ１４の各々が、右前方カメラ１３～左後方カメラ１６の各々の位置の変化を検出するが、第２実施形態に係るカメラ異常検出装置１Ｂはこれに限定されない。例えば、右開閉センサＳ２１及び左開閉センサＳ２２が、右前方カメラ１３～左後方カメラ１６の各々の位置の変化を検出してもよい。
【0025】
表示部４は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を備え、ＬＣＤに種々の画像を表示する。本実施形態では、表示部４は、制御部１１からの指示に従って、レンズ１３２、１４２、１５２、１６２の異常の有無を表示する。
【0026】
［２．制御部の構成］
制御部１１は、例えば、ＥＣＵとして構成される。制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ１１Ａと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリ１１Ｂと、を備える。
制御部１１は、これらの装置の他に、センサ類や周辺機器等を接続するためのインターフェース回路、車載ネットワークを介して他の車載装置と通信する車載ネットワーク通信回路等を備える。
制御部１１は、例えば、ＥＣＵとして構成される。制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ１１Ａと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリ１１Ｂと、を備える。
制御部１１は、これらの装置の他に、センサ類や周辺機器等を接続するためのインターフェース回路、車載ネットワークを介して他の車載装置と通信する車載ネットワーク通信回路等を備える。
【0027】
制御部１１は、変更指示部１１１と、位置検出部１１２と、取得部１１３と、画素検出部１１４と、判定部１１５と、報知部１１６と、を備える。具体的には、制御部１１のプロセッサ１１Ａが、メモリ１１Ｂに記憶された制御プログラムを実行することによって、変更指示部１１１、位置検出部１１２、取得部１１３、画素検出部１１４、判定部１１５、及び報知部１１６、として機能する。
【0028】
変更指示部１１１は、サスペンションの状態を変更させることによって、カメラ１２０の位置を変更させる。変更指示部１１１は、例えば、サスペンション駆動機構２２に対して、車両本体１０の位置を上下方向に移動させることによって、右前方カメラ１３～左後方カメラ１６の各々の位置を変更する。
変更指示部１１１は、例えば、右前油圧シリンダ２２１～左後油圧シリンダ２２４の各々のストロークを所定長さだけ短くすることを示すコマンドＣＭ１をサスペンション制御部２１に出力する。この場合には、車両本体１０の位置が所定長さに対応する距離だけ低くなる。
変更指示部１１１は、例えば、右前油圧シリンダ２２１～左後油圧シリンダ２２４の各々のストロークを所定長さだけ短くすることを示すコマンドＣＭ１をサスペンション制御部２１に出力する。この場合には、車両本体１０の位置が所定長さに対応する距離だけ低くなる。
【0029】
位置検出部１１２は、カメラ１２０の位置の変化を検出する。例えば、位置検出部１１２は、例えば、ストローク信号ＳＧ１に基づいて、車両本体１０の位置の上下方向の変化を検出する。
【0030】
取得部１１３は、カメラ１２０の位置が変化する前後において、カメラ１２０によって撮影された複数の撮影画像Ｐを取得する。
取得部１１３は、例えば、カメラ１２０の位置が変化する前の撮像画像である前撮像画像ＰＳと、カメラ１２０後撮像画像ＰＥとを撮像する。前撮像画像ＰＳは、第１前撮像画像ＰＳ１、第２前撮像画像ＰＳ２、第３前撮像画像ＰＳ３、及び第４前撮像画像ＰＳ４を含む。後撮像画像ＰＥは、第１後撮像画像ＰＥ１、第２後撮像画像ＰＥ２、第３後撮像画像ＰＥ３、及び第４後撮像画像ＰＥ４を含む。
第１前撮像画像ＰＳ１及び第１後撮像画像ＰＥ１は、右前方カメラ１３によって撮像された撮像画像である。第２前撮像画像ＰＳ２及び第２後撮像画像ＰＥ２は、右後方カメラ１４によって撮像された撮像画像である。第３前撮像画像ＰＳ３及び第３後撮像画像ＰＥ３は、左前方カメラ１５によって撮像された撮像画像である。第４前撮像画像ＰＳ４及び第４後撮像画像ＰＥ４は、左後方カメラ１６によって撮像された撮像画像である。
取得部１１３は、例えば、カメラ１２０の位置が変化する前の撮像画像である前撮像画像ＰＳと、カメラ１２０後撮像画像ＰＥとを撮像する。前撮像画像ＰＳは、第１前撮像画像ＰＳ１、第２前撮像画像ＰＳ２、第３前撮像画像ＰＳ３、及び第４前撮像画像ＰＳ４を含む。後撮像画像ＰＥは、第１後撮像画像ＰＥ１、第２後撮像画像ＰＥ２、第３後撮像画像ＰＥ３、及び第４後撮像画像ＰＥ４を含む。
第１前撮像画像ＰＳ１及び第１後撮像画像ＰＥ１は、右前方カメラ１３によって撮像された撮像画像である。第２前撮像画像ＰＳ２及び第２後撮像画像ＰＥ２は、右後方カメラ１４によって撮像された撮像画像である。第３前撮像画像ＰＳ３及び第３後撮像画像ＰＥ３は、左前方カメラ１５によって撮像された撮像画像である。第４前撮像画像ＰＳ４及び第４後撮像画像ＰＥ４は、左後方カメラ１６によって撮像された撮像画像である。
【0031】
画素検出部１１４は、複数の撮影画像の各々を構成する画素において、画素値が変化しない画素の有無を検出する。例えば、第１前撮像画像ＰＳ１及び第１後撮像画像ＰＥ１の各々を構成する画素において、画素値が変化しない画素の有無を検出する。また、例えば、第２前撮像画像ＰＳ２及び第２後撮像画像ＰＥ２の各々を構成する画素において、画素値が変化しない画素の有無を検出する。
【0032】
また、画素検出部１１４は、例えば、複数の撮影画像の画素毎のオプティカルフローを求め、オプティカルフローが発生しない画素の有無を検出することによって、画素値が変化しない画素の有無を検出する。
「オプティカルフロー」とは、カメラ１２０の位置が変化する前後で、撮影画像中の点や図形が、どのような方向へ、どの程度の距離を移動するかを示すベクトルのことであり、異なるタイミングで撮像された複数の撮影画像の差分によって求めることができる。
すなわち、「オプティカルフロー」は、例えば、第１前撮像画像ＰＳ１中のある点や図形が、第１後撮像画像ＰＥ１において、どのような方向へ、どの程度の距離を移動するかを示すベクトルのことである。また、「オプティカルフロー」は、第１前撮像画像ＰＳ１と第１後撮像画像ＰＥ１との差分によって求めることができる。
「オプティカルフロー」とは、カメラ１２０の位置が変化する前後で、撮影画像中の点や図形が、どのような方向へ、どの程度の距離を移動するかを示すベクトルのことであり、異なるタイミングで撮像された複数の撮影画像の差分によって求めることができる。
すなわち、「オプティカルフロー」は、例えば、第１前撮像画像ＰＳ１中のある点や図形が、第１後撮像画像ＰＥ１において、どのような方向へ、どの程度の距離を移動するかを示すベクトルのことである。また、「オプティカルフロー」は、第１前撮像画像ＰＳ１と第１後撮像画像ＰＥ１との差分によって求めることができる。
【0033】
判定部１１５は、画素検出部１１４の検出結果に応じて、レンズＬＳの異常の有無を判定する。レンズＬＳは、レンズ１３２、レンズ１４２、レンズ１５２、及びレンズ１６２の各々を示す。
なお、レンズＬＳの各々の異常は、レンズＬＳの傷、ひび割れ、曇り、及び汚れを含む。
例えば、判定部１１５は、第１前撮像画像ＰＳ１及び第１後撮像画像ＰＥ１に対する画素検出部１１４の検出結果に応じて、レンズ１３２の異常の有無を判定する。
また、例えば、判定部１１５は、第２前撮像画像ＰＳ２及び第２後撮像画像ＰＥ２に対する画素検出部１１４の検出結果に応じて、レンズ１４２の異常の有無を判定する。
また、例えば、判定部１１５は、第３前撮像画像ＰＳ３及び第３後撮像画像ＰＥ３に対する画素検出部１１４の検出結果に応じて、レンズ１５２の異常の有無を判定する。
また、例えば、判定部１１５は、第４前撮像画像ＰＳ４及び第４後撮像画像ＰＥ４に対する画素検出部１１４の検出結果に応じて、レンズ１６２の異常の有無を判定する。
なお、レンズＬＳの各々の異常は、レンズＬＳの傷、ひび割れ、曇り、及び汚れを含む。
例えば、判定部１１５は、第１前撮像画像ＰＳ１及び第１後撮像画像ＰＥ１に対する画素検出部１１４の検出結果に応じて、レンズ１３２の異常の有無を判定する。
また、例えば、判定部１１５は、第２前撮像画像ＰＳ２及び第２後撮像画像ＰＥ２に対する画素検出部１１４の検出結果に応じて、レンズ１４２の異常の有無を判定する。
また、例えば、判定部１１５は、第３前撮像画像ＰＳ３及び第３後撮像画像ＰＥ３に対する画素検出部１１４の検出結果に応じて、レンズ１５２の異常の有無を判定する。
また、例えば、判定部１１５は、第４前撮像画像ＰＳ４及び第４後撮像画像ＰＥ４に対する画素検出部１１４の検出結果に応じて、レンズ１６２の異常の有無を判定する。
【0034】
判定部１１５は、例えば、画素値が変化しない画素、すなわち、オプティカルフローが発生しない画素が有る場合に、レンズＬＳの異常があると判定する。
また、判定部１１５は、例えば、画素値が変化しない画素、すなわち、オプティカルフローが発生しない画素が無い場合に、レンズＬＳの異常がないと判定する。
また、判定部１１５は、例えば、画素値が変化しない画素、すなわち、オプティカルフローが発生しない画素が無い場合に、レンズＬＳの異常がないと判定する。
【0035】
報知部１１６は、判定部１１５の判定結果を、運転者に報知する。報知部１１６は、例えば、レンズＬＳの異常があると判定部１１５が判定した場合に、表示部４のＬＣＤにレンズＬＳの異常がある旨のガイダンスＧＤを表示する。
また、報知部１１６は、レンズ１３２、レンズ１４２、レンズ１５２、及びレンズ１６２のうち、どのレンズに異常があるかを示す画像を表示部４のＬＣＤに表示することが好ましい。
また、報知部１１６は、レンズの異常がある位置を示す画像を表示部４のＬＣＤに表示することが好ましい。
また、報知部１１６は、レンズ１３２、レンズ１４２、レンズ１５２、及びレンズ１６２のうち、どのレンズに異常があるかを示す画像を表示部４のＬＣＤに表示することが好ましい。
また、報知部１１６は、レンズの異常がある位置を示す画像を表示部４のＬＣＤに表示することが好ましい。
【0036】
なお、第１実施形態に係るカメラ異常検出装置１Ａでは、制御部１１は、位置検出部１１２を備えなくてもよい。
また、第２実施形態に係るカメラ異常検出装置１Ｂでは、制御部１１は、変更指示部１１１を備えなくてもよい。
また、第２実施形態に係るカメラ異常検出装置１Ｂでは、制御部１１は、変更指示部１１１を備えなくてもよい。
【0037】
第１実施形態に係るカメラ異常検出装置１Ａでは、変更指示部１１１は、車両本体１０の位置を上下方向に移動することによって、カメラ１２０の位置を変更するが、第１実施形態に係るカメラ異常検出装置１Ａはこれに限定されない。例えば、変更指示部１１１は、右側ドアミラー３３１及び左側ドアミラー制御部３１２を開閉することによって、カメラ１２０の位置を変更してもよい。この場合には、変更指示部１１１は、例えば、右側ドアミラー３３１及び左側ドアミラー制御部３１２を閉状態から開状態にすることを示すコマンドＣＭ２をドアミラー制御部３１に出力する。
【0038】
第２実施形態に係るカメラ異常検出装置１Ｂでは、位置検出部１１２は、ストローク信号ＳＧ１に基づいて、車両本体１０の位置の上下方向の変化を検出するが、第２実施形態係るカメラ異常検出装置１Ｂはこれに限定されない。位置検出部１１２は、開閉信号ＳＧ２に基づいて、ドアミラー３３の開閉を検出してもよい。
【0039】
［３．画素検出部及び判定部の処理の具体例］
図３は、画素検出部１１４及び判定部１１５の処理の具体例を示す図である。
図３では、左後方カメラ１６が撮像する第４前撮像画像ＰＳ４及び第４後撮像画像ＰＥ４について説明する。また、図３では、車両本体１０の位置を下方向に移動する場合について説明する。
図３は、画素検出部１１４及び判定部１１５の処理の具体例を示す図である。
図３では、左後方カメラ１６が撮像する第４前撮像画像ＰＳ４及び第４後撮像画像ＰＥ４について説明する。また、図３では、車両本体１０の位置を下方向に移動する場合について説明する。
【0040】
図３の上段には、左後方カメラ１６の位置の変化を示す。左側は、車両本体１０の位置を下方向に移動する前の左後方カメラ１６の位置を示し、右側は、車両本体１０の位置を下方向に移動した後の左後方カメラ１６の位置を示す。
中心線ＬＣ１は、車両本体１０の位置を下方向に移動する前の左後方カメラ１６の中心位置を示し、中心線ＬＣ２は、車両本体１０の位置を下方向に移動した後の左後方カメラ１６の中心位置を示す。中心線ＬＣ１及び中心線ＬＣ２は、水平方向に延びる。
距離Ｌ１は、中心線ＬＣ１と中心線ＬＣ２との間の距離を示す。すなわち、車両本体１０が下方向に距離Ｌ１だけ移動する。
また、図３の上段に示すように、左後方カメラ１６のレンズ１６２には汚れＤＴが付着している。
中心線ＬＣ１は、車両本体１０の位置を下方向に移動する前の左後方カメラ１６の中心位置を示し、中心線ＬＣ２は、車両本体１０の位置を下方向に移動した後の左後方カメラ１６の中心位置を示す。中心線ＬＣ１及び中心線ＬＣ２は、水平方向に延びる。
距離Ｌ１は、中心線ＬＣ１と中心線ＬＣ２との間の距離を示す。すなわち、車両本体１０が下方向に距離Ｌ１だけ移動する。
また、図３の上段に示すように、左後方カメラ１６のレンズ１６２には汚れＤＴが付着している。
【0041】
図３の下段には、左側に、車両本体１０の位置が変化する前の左後方カメラ１６の撮像画像である第４前撮像画像ＰＳ４を示し、右側に、車両本体１０の位置が変化した後の左後方カメラ１６の撮像画像である第４後撮像画像ＰＥ４を示す。
第４前撮像画像ＰＳ４及び第４後撮像画像ＰＥ４に含まれる物体画像ＰＢは、車両本体１０の左側後方に位置する物体の画像である。
上端線ＬＣ３は、第４前撮像画像ＰＳ４における物体画像ＰＢの上端位置を示し、上端線ＬＣ４は、第４後撮像画像ＰＥ４における物体画像ＰＢの上端位置を示す。上端線ＬＣ３及び上端線ＬＣ４は、水平方向に延びる。
距離Ｌ２は、上端線ＬＣ３と上端線ＬＣ４との間の距離を示す。すなわち、車両本体１０が下方向に距離Ｌ１だけ移動することによって、物体画像ＰＢは、上方向に距離Ｌ２だけ移動する。距離Ｌ２を示すベクトルは、物体画像ＰＢを構成する画素のオプティカルフローを示す。オプティカルフローは、画素検出部１１４によって求められる。
第４前撮像画像ＰＳ４及び第４後撮像画像ＰＥ４に含まれる物体画像ＰＢは、車両本体１０の左側後方に位置する物体の画像である。
上端線ＬＣ３は、第４前撮像画像ＰＳ４における物体画像ＰＢの上端位置を示し、上端線ＬＣ４は、第４後撮像画像ＰＥ４における物体画像ＰＢの上端位置を示す。上端線ＬＣ３及び上端線ＬＣ４は、水平方向に延びる。
距離Ｌ２は、上端線ＬＣ３と上端線ＬＣ４との間の距離を示す。すなわち、車両本体１０が下方向に距離Ｌ１だけ移動することによって、物体画像ＰＢは、上方向に距離Ｌ２だけ移動する。距離Ｌ２を示すベクトルは、物体画像ＰＢを構成する画素のオプティカルフローを示す。オプティカルフローは、画素検出部１１４によって求められる。
【0042】
図３の下段に示すように、物体画像ＰＢが上方向に距離Ｌ２だけ移動するに対して、汚れＤＴがレンズ１６２に付着しているため、汚れ画像ＰＤＴは移動しない。汚れ画像ＰＤＴは、汚れＤＴの画像である。
したがって、画素検出部１１４は、画素値が変化しない画素、すなわち、オプティカルフローが発生しない画素として、汚れ画像ＰＤＴを構成する画素を検出する。この場合には、判定部１１５は、レンズ１６２に異常が有ると判定する。
したがって、画素検出部１１４は、画素値が変化しない画素、すなわち、オプティカルフローが発生しない画素として、汚れ画像ＰＤＴを構成する画素を検出する。この場合には、判定部１１５は、レンズ１６２に異常が有ると判定する。
【0043】
［４．第１実施形態に係る制御部の処理］
図４は、第１実施形態に係るカメラ異常検出装置１Ａの制御部１１の処理の一例を示すフローチャートである。
まず、ステップＳ１０１において、変更指示部１１１が、サスペンションの状態を変更させることによって、カメラ１２０の位置を変更させるか否かを判定する。例えば、変更指示部１１１が、コマンドＣＭ１をサスペンション制御部２１に出力したか否かを判定する。
カメラ１２０の位置を変更させないと変更指示部１１１が判定した場合（ステップＳ１０１；ＮＯ）には、処理が待機状態になる。カメラ１２０の位置を変更させると変更指示部１１１が判定した場合（ステップＳ１０１；ＹＥＳ）には、処理がステップＳ１０３に進む。
そして、ステップＳ１０３において、取得部１１３は、カメラ１２０の位置が変化する前の撮像画像である前撮像画像ＰＳを取得する。
図４は、第１実施形態に係るカメラ異常検出装置１Ａの制御部１１の処理の一例を示すフローチャートである。
まず、ステップＳ１０１において、変更指示部１１１が、サスペンションの状態を変更させることによって、カメラ１２０の位置を変更させるか否かを判定する。例えば、変更指示部１１１が、コマンドＣＭ１をサスペンション制御部２１に出力したか否かを判定する。
カメラ１２０の位置を変更させないと変更指示部１１１が判定した場合（ステップＳ１０１；ＮＯ）には、処理が待機状態になる。カメラ１２０の位置を変更させると変更指示部１１１が判定した場合（ステップＳ１０１；ＹＥＳ）には、処理がステップＳ１０３に進む。
そして、ステップＳ１０３において、取得部１１３は、カメラ１２０の位置が変化する前の撮像画像である前撮像画像ＰＳを取得する。
【0044】
次に、ステップＳ１０５において、位置検出部１１２は、カメラ１２０の位置の変化が開始したことを検出する。
次に、ステップＳ１０７において、位置検出部１１２は、カメラ１２０の位置の変化が終了したか否かを判定する。
カメラ１２０の位置の変化が終了していないと位置検出部１１２が判定した場合（ステップＳ１０７；ＮＯ）には、処理が待機状態になる。カメラ１２０の位置の変化が終了したと位置検出部１１２が判定した場合（ステップＳ１０７；ＹＥＳ）には、処理がステップＳ１０９に進む。
そして、ステップＳ１０９において、取得部１１３は、カメラ１２０の位置が変化した後の撮像画像である後撮像画像ＰＥを取得する。
次に、ステップＳ１１１において、画素検出部１１４は、前撮像画像ＰＳと後撮像画像ＰＥとの画素毎のオプティカルフローを算出する。
次に、ステップＳ１０７において、位置検出部１１２は、カメラ１２０の位置の変化が終了したか否かを判定する。
カメラ１２０の位置の変化が終了していないと位置検出部１１２が判定した場合（ステップＳ１０７；ＮＯ）には、処理が待機状態になる。カメラ１２０の位置の変化が終了したと位置検出部１１２が判定した場合（ステップＳ１０７；ＹＥＳ）には、処理がステップＳ１０９に進む。
そして、ステップＳ１０９において、取得部１１３は、カメラ１２０の位置が変化した後の撮像画像である後撮像画像ＰＥを取得する。
次に、ステップＳ１１１において、画素検出部１１４は、前撮像画像ＰＳと後撮像画像ＰＥとの画素毎のオプティカルフローを算出する。
【0045】
次に、ステップＳ１１３において、画素検出部１１４は、オプティカルフローが発生しない画素が有るか否かを判定する。
オプティカルフローが発生しない画素が無いと画素検出部１１４が判定した場合（ステップＳ１１３；ＮＯ）には、処理がステップＳ１１５に進む。
そして、ステップＳ１１５において、判定部１１５は、レンズＬＳの異常が無いと判定し、処理が終了する。
オプティカルフローが発生しない画素が有ると画素検出部１１４が判定した場合（ステップＳ１１３；ＹＥＳ）には、処理がステップＳ１１７に進む。
そして、ステップＳ１１７において、判定部１１５は、レンズＬＳの異常が有ると判定する。
次に、ステップＳ１１９において、報知部１１６は、レンズＬＳの異常が有る旨のガイダンスＧＤを表示部４のＬＣＤに表示する。その後、処理が終了する。
オプティカルフローが発生しない画素が無いと画素検出部１１４が判定した場合（ステップＳ１１３；ＮＯ）には、処理がステップＳ１１５に進む。
そして、ステップＳ１１５において、判定部１１５は、レンズＬＳの異常が無いと判定し、処理が終了する。
オプティカルフローが発生しない画素が有ると画素検出部１１４が判定した場合（ステップＳ１１３；ＹＥＳ）には、処理がステップＳ１１７に進む。
そして、ステップＳ１１７において、判定部１１５は、レンズＬＳの異常が有ると判定する。
次に、ステップＳ１１９において、報知部１１６は、レンズＬＳの異常が有る旨のガイダンスＧＤを表示部４のＬＣＤに表示する。その後、処理が終了する。
【0046】
なお、ステップＳ１０３及びステップＳ１０９は、「取得ステップ」の一例に対応する。ステップＳ１１１及びステップＳ１１３は、「検出ステップ」の一例に対応する。ステップＳ１１５、及びステップＳ１１７は、「判定ステップ」の一例に対応する。
【0047】
図４を参照して説明したように、カメラ１２０の位置を変更して、前撮像画像ＰＳ及び後撮像画像ＰＥを取得し、前撮像画像ＰＳと後撮像画像ＰＥとの画素毎のオプティカルフローを算出する。そして、オプティカルフローが発生しない画素が有る場合には、レンズＬＳの異常が有ると判定する。したがって、簡素な処理で、レンズＬＳの異常の有無を検出できる。
【0048】
なお、第１実施形態に係るカメラ異常検出装置１Ａでは、変更指示部１１１が、カメラ１２０の位置を変更する場合について説明したが、第１実施形態に係るカメラ異常検出装置１Ａは、これに限定されない。変更指示部１１１が、カメラ１２０の位置及び姿勢の少なくとも一方を変更すればよい。変更指示部１１１が、例えば、カメラ１２０の姿勢を変更してもよい。
具体的には。カメラ１２０の撮像方向を調整するために、車両１００がカメラ１２０の姿勢、すなわちカメラ１２０の向きを調整するカメラ姿勢調整機構を備え、変更指示部１１１がカメラ姿勢調整機構に対して、カメラ１２０の姿勢を変更させてもよい。
具体的には。カメラ１２０の撮像方向を調整するために、車両１００がカメラ１２０の姿勢、すなわちカメラ１２０の向きを調整するカメラ姿勢調整機構を備え、変更指示部１１１がカメラ姿勢調整機構に対して、カメラ１２０の姿勢を変更させてもよい。
【0049】
［５．第２実施形態に係る制御部の処理］
図５は、第２実施形態に係るカメラ異常検出装置１Ｂの制御部１１の処理の一例を示すフローチャートである。
まず、ステップＳ２０１において、位置検出部１１２は、カメラ１２０の位置の変化の開始を検出したか否かを判定する。
なお、カメラ１２０の位置の変化は、例えば、車両１００にユーザが搭乗する場合に発生する。すなわち、ユーザが搭乗することによって、ユーザの体重が車両本体１０を下方向に押下するため、車両本体１０の位置が下方に移動し、その結果、カメラ１２０の位置が下方向に移動する。
カメラ１２０の位置の変化の開始を検出していないと位置検出部１１２が判定した場合（ステップＳ２０１；ＮＯ）には、処理が待機状態になる。カメラ１２０の位置の変化の開始を検出したと位置検出部１１２が判定した場合（ステップＳ２０１；ＹＥＳ）には、処理がステップＳ２０３に進む。
そして、ステップＳ２０３において、取得部１１３は、カメラ１２０の位置の変化の開始直後の撮像画像を前撮像画像ＰＳとして取得する。
図５は、第２実施形態に係るカメラ異常検出装置１Ｂの制御部１１の処理の一例を示すフローチャートである。
まず、ステップＳ２０１において、位置検出部１１２は、カメラ１２０の位置の変化の開始を検出したか否かを判定する。
なお、カメラ１２０の位置の変化は、例えば、車両１００にユーザが搭乗する場合に発生する。すなわち、ユーザが搭乗することによって、ユーザの体重が車両本体１０を下方向に押下するため、車両本体１０の位置が下方に移動し、その結果、カメラ１２０の位置が下方向に移動する。
カメラ１２０の位置の変化の開始を検出していないと位置検出部１１２が判定した場合（ステップＳ２０１；ＮＯ）には、処理が待機状態になる。カメラ１２０の位置の変化の開始を検出したと位置検出部１１２が判定した場合（ステップＳ２０１；ＹＥＳ）には、処理がステップＳ２０３に進む。
そして、ステップＳ２０３において、取得部１１３は、カメラ１２０の位置の変化の開始直後の撮像画像を前撮像画像ＰＳとして取得する。
【0050】
次に、ステップＳ２０５において、位置検出部１１２は、カメラ１２０の位置の変化の終了を検出したか否かを判定する。
カメラ１２０の位置の変化の終了を検出していないと位置検出部１１２が判定した場合（ステップＳ２０５；ＮＯ）には、処理が待機状態になる。カメラ１２０の位置の変化の終了を検出したと位置検出部１１２が判定した場合（ステップＳ２０５；ＹＥＳ）には、処理がステップＳ２０７に進む。
そして、ステップＳ２０７において、取得部１１３は、カメラ１２０の位置の変化の終了後の撮像画像を後撮像画像ＰＥとして取得する。
ステップＳ２０９～ステップＳ２１７の各々は、図４におけるステップＳ１１１～ステップＳ１１９の各々に対応するため、その説明を省略する。
カメラ１２０の位置の変化の終了を検出していないと位置検出部１１２が判定した場合（ステップＳ２０５；ＮＯ）には、処理が待機状態になる。カメラ１２０の位置の変化の終了を検出したと位置検出部１１２が判定した場合（ステップＳ２０５；ＹＥＳ）には、処理がステップＳ２０７に進む。
そして、ステップＳ２０７において、取得部１１３は、カメラ１２０の位置の変化の終了後の撮像画像を後撮像画像ＰＥとして取得する。
ステップＳ２０９～ステップＳ２１７の各々は、図４におけるステップＳ１１１～ステップＳ１１９の各々に対応するため、その説明を省略する。
【0051】
なお、ステップＳ２０３及びステップＳ２０７は、「取得ステップ」の一例に対応する。ステップＳ２０９及びステップＳ２１１は、「検出ステップ」の一例に対応する。ステップＳ２１３、及びステップＳ２１５は、「判定ステップ」の一例に対応する。
【0052】
図５を参照して説明したように、カメラ１２０の位置の変化を検出して、前撮像画像ＰＳ及び後撮像画像ＰＥを取得し、前撮像画像ＰＳと後撮像画像ＰＥとの画素毎のオプティカルフローを算出する。そして、オプティカルフローが発生しない画素が有る場合には、レンズＬＳの異常が有ると判定する。したがって、簡素な処理で、レンズＬＳの異常の有無を検出できる。
【0053】
なお、第２実施形態に係るカメラ異常検出装置１Ｂでは、位置検出部１１２が、カメラ１２０の位置の変化を検出する場合について説明したが、第２実施形態に係るカメラ異常検出装置１Ｂは、これに限定されない。位置検出部１１２が、カメラ１２０の位置及び姿勢の少なくとも一方の変化を検出すればよい。位置検出部１１２が、例えば、カメラ１２０の姿勢の変化を検出してもよい。
具体的には、カメラ１２０の撮像方向を調整するために、運転者がカメラ１２０の姿勢、すなわちカメラ１２０の向きを調整するときに、位置検出部１１２が、カメラ１２０の姿勢の変化を検出してもよい。
具体的には、カメラ１２０の撮像方向を調整するために、運転者がカメラ１２０の姿勢、すなわちカメラ１２０の向きを調整するときに、位置検出部１１２が、カメラ１２０の姿勢の変化を検出してもよい。
【0054】
［６．本実施形態の構成と効果］
以上説明したように、本実施形態のカメラ異常検出装置１は、車両１００に搭載されたカメラ１２０のレンズＬＳの異常を検出するカメラ異常検出装置１であって、カメラ１２０の位置、及び姿勢の少なくとも一方が変化する前後において、カメラ１２０によって撮影された複数の撮影画像Ｐを取得する取得部１１３と、複数の撮影画像Ｐの各々を構成する画素において、画素値が変化しない画素の有無を検出する画素検出部１１４と、画素検出部１１４の検出結果に応じて、レンズＬＳの異常の有無を判定する判定部１１５と、を備える。
すなわち、取得部１１３が、カメラ１２０の位置、及び姿勢の少なくとも一方が変化する前後において、カメラ１２０によって撮影された複数の撮影画像Ｐを取得する。また、画素検出部１１４が、複数の撮影画像Ｐの各々を構成する画素において、画素値が変化しない画素の有無を検出する。そして、判定部１１５が、画素検出部１１４の検出結果に応じて、レンズＬＳの異常の有無を判定する。したがって、簡素な構成でレンズＬＳの異常を検出できる。
以上説明したように、本実施形態のカメラ異常検出装置１は、車両１００に搭載されたカメラ１２０のレンズＬＳの異常を検出するカメラ異常検出装置１であって、カメラ１２０の位置、及び姿勢の少なくとも一方が変化する前後において、カメラ１２０によって撮影された複数の撮影画像Ｐを取得する取得部１１３と、複数の撮影画像Ｐの各々を構成する画素において、画素値が変化しない画素の有無を検出する画素検出部１１４と、画素検出部１１４の検出結果に応じて、レンズＬＳの異常の有無を判定する判定部１１５と、を備える。
すなわち、取得部１１３が、カメラ１２０の位置、及び姿勢の少なくとも一方が変化する前後において、カメラ１２０によって撮影された複数の撮影画像Ｐを取得する。また、画素検出部１１４が、複数の撮影画像Ｐの各々を構成する画素において、画素値が変化しない画素の有無を検出する。そして、判定部１１５が、画素検出部１１４の検出結果に応じて、レンズＬＳの異常の有無を判定する。したがって、簡素な構成でレンズＬＳの異常を検出できる。
【0055】
また、画素検出部１１４は、複数の撮影画像Ｐの画素毎のオプティカルフローを求め、オプティカルフローが発生しない画素の有無を検出する。
したがって、画素値が変化しない画素を適正に検出できる。
したがって、画素値が変化しない画素を適正に検出できる。
【0056】
また、カメラ１２０の位置、及び姿勢の少なくとも一方を変更させる変更指示部１１１を更に備える。
したがって、カメラ１２０の位置、及び姿勢の少なくとも一方が変化するタイミングを容易に判定できるため、取得部１１３は、複数の撮影画像Ｐを容易に取得できる。
したがって、カメラ１２０の位置、及び姿勢の少なくとも一方が変化するタイミングを容易に判定できるため、取得部１１３は、複数の撮影画像Ｐを容易に取得できる。
【0057】
また、変更指示部１１１は、サスペンションの状態を変更させることによって、カメラ１２０の位置を変更させる。
よって、カメラ１２０の位置を上下方向に変更できる。したがって、画素検出部１１４は、画素毎のオプティカルフローを容易に算出できる。
よって、カメラ１２０の位置を上下方向に変更できる。したがって、画素検出部１１４は、画素毎のオプティカルフローを容易に算出できる。
【0058】
また、カメラ１２０は、ドアミラー３３に設置され、変更指示部１１１は、ドアミラー３３を開閉することによって、カメラ１２０の位置及び姿勢を変更させる。
したがって、カメラ１２０の位置及び姿勢を変更できる。したがって、画素検出部１１４は、画素毎のオプティカルフローを容易に算出できる。
したがって、カメラ１２０の位置及び姿勢を変更できる。したがって、画素検出部１１４は、画素毎のオプティカルフローを容易に算出できる。
【0059】
また、カメラ１２０の位置、及び姿勢の少なくとも一方の変化を検出する位置検出部１１２を更に備える。
したがって、変更指示部１１１を備えない場合であっても、取得部１１３は、複数の撮影画像Ｐを容易に取得できる。
したがって、変更指示部１１１を備えない場合であっても、取得部１１３は、複数の撮影画像Ｐを容易に取得できる。
【0060】
また、レンズＬＳの異常は、レンズＬＳの傷、ひび割れ、曇り、及び汚れを含む。
したがって、レンズＬＳの傷、ひび割れ、曇り、及び汚れを検出できる。
したがって、レンズＬＳの傷、ひび割れ、曇り、及び汚れを検出できる。
【0061】
また、本実施形態のカメラ異常検出方法は、車両１００に搭載されたカメラ１２０のレンズＬＳの異常を検出するカメラ異常検出装置１のカメラ異常検出方法であって、カメラ１２０の位置、及び姿勢の少なくとも一方が変化する前後において、カメラ１２０によって撮影された複数の撮影画像Ｐを取得する取得ステップ、複数の撮影画像Ｐの各々を構成する画素において、画素値が変化しない画素の有無を検出する検出ステップ、及び、検出ステップでの検出結果に応じて、レンズＬＳの異常の有無を判定する判定ステップ、を含む。
すなわち、取得ステップで、カメラ１２０の位置、及び姿勢の少なくとも一方が変化する前後において、カメラ１２０によって撮影された複数の撮影画像Ｐを取得する。また、検出ステップで、複数の撮影画像Ｐの各々を構成する画素において、画素値が変化しない画素の有無を検出する。そして、判定ステップで、画素検出部１１４の検出結果に応じて、レンズＬＳの異常の有無を判定する。したがって、簡素な構成でレンズＬＳの異常を検出できる。
すなわち、取得ステップで、カメラ１２０の位置、及び姿勢の少なくとも一方が変化する前後において、カメラ１２０によって撮影された複数の撮影画像Ｐを取得する。また、検出ステップで、複数の撮影画像Ｐの各々を構成する画素において、画素値が変化しない画素の有無を検出する。そして、判定ステップで、画素検出部１１４の検出結果に応じて、レンズＬＳの異常の有無を判定する。したがって、簡素な構成でレンズＬＳの異常を検出できる。
【0062】
［７．他の実施形態］
上述した本実施形態は、あくまでも本発明の一実施形態を例示したものであって、本発明の主旨を逸脱しない範囲で任意に変形、及び応用が可能である。
例えば、図１は、本発明の理解を容易にするために、構成要素を主な処理内容に応じて分類して示した図であり、構成要素は、処理内容に応じて、更に多くの構成要素に分類することもできる。また、１つの構成要素が更に多くの処理を実行するように分類することもできる。
また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
上述した本実施形態は、あくまでも本発明の一実施形態を例示したものであって、本発明の主旨を逸脱しない範囲で任意に変形、及び応用が可能である。
例えば、図１は、本発明の理解を容易にするために、構成要素を主な処理内容に応じて分類して示した図であり、構成要素は、処理内容に応じて、更に多くの構成要素に分類することもできる。また、１つの構成要素が更に多くの処理を実行するように分類することもできる。
また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
【0063】
また、本実施形態では、画素検出部１１４がオプティカルフローに基づいて画素値が変化しない画素の有無を検出する場合について説明したが、本発明の実施形態は、これに限定されない。画素検出部１１４が、画素値が変化しない画素の有無を検出すればよい。画素検出部１１４が、例えば、公知の画像処理によって、画素値が変化しない画素の有無を検出してもよい。
【0064】
また、本実施形態では、判定部１１５は、画素値が変化しない画素が有る場合に、レンズＬＳの異常が有ると判定するが、本発明の実施形態は、これに限定されない。判定部１１５は、画素値が変化しない画素に基づいて、レンズＬＳの異常の有無を判定すればよい。判定部１１５は、例えば、画素値が変化しない画素として、互いに隣接した所定個数以上の画素が検出された場合に、レンズＬＳの異常が有ると判定してもよい。この場合には、カメラ１２０の解像度、画素数等に応じて、所定個数を適正に設定することによって、レンズＬＳの異常の有無を適正に判定できる。
【0065】
また、本実施形態では、制御プログラムを制御部１１のメモリ１１Ｂに記憶するが、制御プログラムを他の記録媒体、又はこの制御プログラムを伝送する伝送媒体の態様で構成することも可能である。
記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリ、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、カメラ異常検出装置１が備えるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。
また、制御プログラムを、カメラ異常検出装置１とネットワークを介して通信可能に接続されたサーバ装置からカメラ異常検出装置１がダウンロードしてもよい。
記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリ、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、カメラ異常検出装置１が備えるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。
また、制御プログラムを、カメラ異常検出装置１とネットワークを介して通信可能に接続されたサーバ装置からカメラ異常検出装置１がダウンロードしてもよい。
【0066】
また、例えば、図４及び図５の各々に示すフローチャートの処理単位は、カメラ異常検出装置１の処理の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。カメラ異常検出装置１の処理は、処理内容に応じて、更に多くの処理単位に分割してもよい。また、カメラ異常検出装置１の処理は、１つの処理単位が更に多くの処理を含むように分割してもよい。
【符号の説明】
【0067】
１００ 車両
１０ 車両本体
１、１Ａ、１Ｂ カメラ異常検出装置
１１ 制御部
１１Ａ プロセッサ
１１Ｂ メモリ
１１１ 変更指示部
１１２ 位置検出部
１１３ 取得部
１１４ 画素検出部
１１５ 判定部
１１６ 報知部
１２ 撮像部
１３ 右前方カメラ
１４ 右後方カメラ
１５ 左前方カメラ
１６ 左後方カメラ
１２０ カメラ
１３１、１４１、１５１、１６１ イメージセンサ
１３２、１４２、１５２、１６２、ＬＳ レンズ
２１ サスペンション制御部
２２ サスペンション駆動機構
３１ ドアミラー制御部
３２ ドアミラー駆動機構
３３ ドアミラー
３３１ 右側ドアミラー
３３２ 左側ドアミラー
４ 表示部
ＰＥ 後撮像画像
ＰＳ 前撮像画像
Ｓ１ ストロークセンサ
Ｓ２ 開閉センサ
１０ 車両本体
１、１Ａ、１Ｂ カメラ異常検出装置
１１ 制御部
１１Ａ プロセッサ
１１Ｂ メモリ
１１１ 変更指示部
１１２ 位置検出部
１１３ 取得部
１１４ 画素検出部
１１５ 判定部
１１６ 報知部
１２ 撮像部
１３ 右前方カメラ
１４ 右後方カメラ
１５ 左前方カメラ
１６ 左後方カメラ
１２０ カメラ
１３１、１４１、１５１、１６１ イメージセンサ
１３２、１４２、１５２、１６２、ＬＳ レンズ
２１ サスペンション制御部
２２ サスペンション駆動機構
３１ ドアミラー制御部
３２ ドアミラー駆動機構
３３ ドアミラー
３３１ 右側ドアミラー
３３２ 左側ドアミラー
４ 表示部
ＰＥ 後撮像画像
ＰＳ 前撮像画像
Ｓ１ ストロークセンサ
Ｓ２ 開閉センサ
【図1】
【図2】
【図3】
【図4】
【図5】