特開 2023-166065 異常診断装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023166065

(43)【公開日】2023-11-21

(54)【発明の名称】異常診断装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231114BHJP

   H04N 7/18 20060101ALI20231114BHJP

【ＦＩ】

G06T7/00 Z

H04N7/18 K

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022076822

(22)【出願日】2022-05-09

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】二宮 洸

(72)【発明者】

【氏名】入江 耕太

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CE00

5C054FC00

5C054FC12

5C054FE28

5C054FF06

5C054FF07

5C054HA26

5L096BA04

5L096BA18

5L096CA05

5L096HA05

5L096JA28

5L096KA17

(57)【要約】

【課題】センサに生じた異常領域を短時間で確定することができる異常診断装置を提供する。
【解決手段】共通撮像領域における検知結果に基づいて対象の信頼度を判定する対象信頼度判定部４００と、単眼領域内での対象の追跡結果を利用して単眼領域における異常画像領域を判定する単独異常画像領域判定部５００と、を備え、単独異常画像領域判定部５００は、異常画像領域に対して付与する異常スコアマップの異常スコアを、対象の信頼度に応じて変更する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のカメラが視野を重複するように配置されたセンサ部と、
前記センサ部のセンサ情報から対象を検知する対象検知部と、
前記複数のカメラにおいて視野を共有する共通撮像領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部と、
前記複数のカメラにおいて単一のカメラの視野のみで構成される単眼領域内での前記対象の追跡結果を利用して前記単眼領域における異常画像領域を判定する単独異常画像領域判定部と、を備え、
前記単独異常画像領域判定部は、前記異常画像領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更することを特徴とした異常診断装置。

【請求項2】

請求項１に記載の異常診断装置において、
前記共通撮像領域における検知結果に基づいて前記共通撮像領域の状態を判定する共通正常領域算出部をさらに備え、
前記対象信頼度判定部は、前記共通撮像領域の状態に基づいて前記対象の信頼度を判定することを特徴とした異常診断装置。

【請求項3】

請求項２に記載の異常診断装置において、
前記共通正常領域算出部は、視野を共有するカメラ間においてマッチングが取れた同一画素を共通正常領域として算出することを特徴とした異常診断装置。

【請求項4】

請求項３に記載の異常診断装置において、
前記対象信頼度判定部は、前記共通正常領域で検知した対象に対して第１信頼度を付与し、前記共通正常領域外で検知した対象に対して前記第１信頼度とは異なる第２信頼度を付与することを特徴とした異常診断装置。

【請求項5】

請求項４に記載の異常診断装置において、
前記対象信頼度判定部は、前記第１信頼度を、前記第２信頼度より高い値に設定することを特徴とした異常診断装置。

【請求項6】

請求項１に記載の異常診断装置において、
前記単独異常画像領域判定部は、前記対象を前記単眼領域で検知した場合に検知箇所の異常スコアマップの異常スコアを下げることを特徴とした異常診断装置。

【請求項7】

請求項１に記載の異常診断装置において、
前記単独異常画像領域判定部は、前記対象を前記単眼領域でロストした場合にロスト箇所の異常スコアマップの異常スコアを上げることを特徴とした異常診断装置。

【請求項8】

請求項１に記載の異常診断装置において、
前記単独異常画像領域判定部は、前記異常スコアマップの値が所定の閾値を上回った領域を異常領域として確定する、もしくは前記異常スコアマップの値が所定の閾値を下回った領域を正常領域として確定することを特徴とした異常診断装置。

【請求項9】

請求項１に記載の異常診断装置において、
前記単独異常画像領域判定部は、前記信頼度が高い対象ほど異常スコアマップの異常スコアをより大きく更新することを特徴とした異常診断装置。

【請求項10】

複数のセンサが観測領域を重複するように配置されたセンサ部と、
前記センサ部のセンサ情報から対象を検知する対象検知部と、
前記複数のセンサにおいて観測領域を共有する共通センシング領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部と、
前記複数のセンサにおいて単独のセンサの観測領域のみで構成される単独センシング領域内での前記対象の追跡結果を利用して前記単独センシング領域における異常領域を判定する単独異常領域判定部と、を備え、
前記単独異常領域判定部は、前記異常領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更することを特徴とした異常診断装置。

【請求項11】

請求項１０に記載の異常診断装置において、
前記対象信頼度判定部は、観測領域を共有する複数のセンサで観測できた対象に対して第１信頼度を付与し、観測領域を共有する複数のセンサにおいて単独のセンサでしか観測できなかった対象に対して前記第１信頼度とは異なる第２信頼度を付与することを特徴とした異常診断装置。

【請求項12】

請求項１１に記載の異常診断装置において、
前記対象信頼度判定部は、前記第１信頼度を、前記第２信頼度より高い値に設定することを特徴とした異常診断装置。

【請求項13】

請求項１０に記載の異常診断装置において、
前記単独異常領域判定部は、前記対象を前記単独センシング領域で検知した場合に検知箇所の異常スコアマップの異常スコアを下げることを特徴とした異常診断装置。

【請求項14】

請求項１０に記載の異常診断装置において、
前記単独異常領域判定部は、前記対象を前記単独センシング領域でロストした場合にロスト箇所の異常スコアマップの異常スコアを上げることを特徴とした異常診断装置。

【請求項15】

請求項１０に記載の異常診断装置において、
前記単独異常領域判定部は、前記異常スコアマップの値が所定の閾値を上回った領域を異常領域として確定する、もしくは前記異常スコアマップの値が所定の閾値を下回った領域を正常領域として確定することを特徴とした異常診断装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体に設置されたセンサに生じる異常領域を適切に診断する異常診断装置に関する。

【背景技術】

【0002】

近年、自動運転や運転支援技術などでは、移動体に設置されたセンサ情報から適切に周辺環境を認識することが求められる。移動体に搭載されたセンサに汚れやレンズの傷などの異常領域が出現した場合、周辺環境を誤って認識する可能性があることから、異常領域を早期に検知する必要がある。

【0003】

従来では、対象物体が追跡できなくなった領域を異常領域とする手法があり、特許文献１では「物体の追跡処理が異常状態であるか否かを検知する」という記載がある。例えば図１３（ａ）で歩行者を追跡している場合、追跡できた領域を正常、追跡できなかった領域を異常として図１３（ｂ）に示す異常スコアマップを更新する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－２７２４３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に開示されるような従来技術では、汚れやレンズの傷などを対象物体として誤検知した場合に適切に異常領域を推定できない。図１３（ｃ）、（ｄ）に課題となるシーンを示す。図１３（ｃ）のように汚れを対象だと誤検知した場合、図１３（ｄ）のように検知した領域の異常スコアマップの値が正常であると更新される。このような誤検知対策として、複数時刻の検知結果から異常領域を判定することが考えられるが、異常領域の確定に時間がかかる。

【0006】

本発明は、上記事情に鑑みてなされたものであり、センサに生じた異常領域を短時間で確定することができる異常診断装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明に係る異常診断装置の一態様は、複数のカメラが視野を重複するように配置されたセンサ部と、前記センサ部のセンサ情報から対象を検知する対象検知部と、前記複数のカメラにおいて視野を共有する共通撮像領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部と、前記複数のカメラにおいて単一のカメラの視野のみで構成される単眼領域内での前記対象の追跡結果を利用して前記単眼領域における異常画像領域を判定する単独異常画像領域判定部と、を備え、前記単独異常画像領域判定部は、前記異常画像領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更する。

【0008】

また、本発明に係る異常診断装置の他の態様は、複数のセンサが観測領域を重複するように配置されたセンサ部と、前記センサ部のセンサ情報から対象を検知する対象検知部と、前記複数のセンサにおいて観測領域を共有する共通センシング領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部と、前記複数のセンサにおいて単独のセンサの観測領域のみで構成される単独センシング領域内での前記対象の追跡結果を利用して前記単独センシング領域における異常領域を判定する単独異常領域判定部と、を備え、前記単独異常領域判定部は、前記異常領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更する。

【発明の効果】

【0009】

本発明によれば、センサに生じた異常領域を短時間で確定することができる。

【0010】

上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施例１に係る異常診断装置の全体構成例を示すブロック図。

【図2】本発明の実施例１に係るセンサ部１００の構成例を示し、（ａ）はその一例、（ｂ）はその他例の俯瞰図。

【図3】本発明の実施例１に係る対象検知部２００の動作例を示し、（ａ）はテンプレート（他車両）、（ｂ）はテンプレート（歩行者）、（ｃ）は走行シーンの説明図。

【図4】本発明の実施例１に係る共通正常領域算出部３００の共通正常領域の例を示し、（ａ）は左前方カメラ１１０の取得画像、（ｂ）は右前方カメラ１２０の取得画像の説明図（両画像とも正常）。

【図5】本発明の実施例１に係る共通正常領域算出部３００の共通正常領域の例を示し、（ａ）は左前方カメラ１１０の取得画像、（ｂ）は右前方カメラ１２０の取得画像の説明図（右画像が異常）。

【図6】本発明の実施例１に係る共通正常領域算出部３００の処理フロー図。

【図7】本発明の実施例１に係る対象信頼度判定部４００の処理フロー図。

【図8】本発明の実施例１に係る単独異常画像領域判定部５００の動作例を示し、（ａ）は対象検知情報、（ｂ）は（ａ）に対する異常スコアマップの説明図。

【図9】本発明の実施例１に係る単独異常画像領域判定部５００の処理フロー図。

【図10】本発明の実施例２に係る異常診断装置の全体構成例を示すブロック図。

【図11】本発明の実施例２に係るセンサ部１１００の構成例を示す俯瞰図。

【図12】本発明の実施例２に係る対象信頼度判定部１４００の処理フロー図。

【図13】課題説明図であり、（ａ）は対象検知情報（歩行者、汚れあり）、（ｂ）は（ａ）に対する異常スコアマップ（歩行者、汚れあり）、（ｃ）は対象検知情報（汚れあり）、（ｄ）は（ｃ）に対する異常スコアマップ（汚れあり）の説明図。

【発明を実施するための形態】

【0012】

以下、本発明の実施例を図面を用いて説明する。なお、各図において同じ機能または構成を有する部分には同じ符号を付して繰り返し説明は省略する場合がある。

【0013】

［実施例１］
実施例１は、移動体に設置されて周辺環境を観測する複数のセンサがカメラから構成されており、複数のセンサ（カメラ）の共通撮像領域の正常/異常判定を、同一画素のマッチングで実施する実施例である。

【0014】

図１に、本発明の実施例１に係る異常診断装置の全体構成図を示す。

【0015】

本実施例の異常診断装置１は、例えば車両に搭載されて利用されるものであり、センサ部１００、対象検知部２００、共通正常領域算出部３００、対象信頼度判定部４００、単独異常画像領域判定部５００、表示/警報/制御部６００を備えている。

【0016】

センサ部１００は、複数台の撮像装置（カメラ）から構成される。複数台のカメラは、視野を重複するように配置されている。図１では、センサ部１００は、左前方カメラ１１０、右前方カメラ１２０、サイドカメラ１３０の３台のカメラから構成される例を示している。３台のカメラは、図２（ａ）に示すように、左前方カメラ１１０と右前方カメラ１２０の２台のカメラで撮像可能な（左前方カメラ１１０と右前方カメラ１２０の２台のカメラが視野を共有する）共通撮像領域と、サイドカメラ１３０の１台（単一）のカメラでしか撮像できない（サイドカメラ１３０の１台（単一）のカメラの視野のみで構成される）単眼領域が存在するように配置されている。

【0017】

以降では、図２（ａ）に示すカメラシステムを例に説明しているが、共通撮像領域と単眼領域がどちらも存在するカメラシステムであれば別の構成を使用しても良い。例えば図２（ｂ）のように、サイドカメラ１４０とサイドカメラ１５０の２台のカメラが視野を重複するように設置されたカメラシステムを用いても良い。

【0018】

センサ部１００は、センサ情報として周辺環境を撮像した画像情報を対象検知部２００および共通正常領域算出部３００に出力する。

【0019】

対象検知部２００は、センサ部１００で取得したセンサ情報としての画像情報から異常領域の推定に使用する対象を検知する。対象としては、他車両や二輪車、歩行者、標識、看板などの地物が含まれる。

【0020】

検知方法としては、図３（ａ）、（ｂ）に示すように車両や歩行者のテンプレート画像を利用する手法がある。図３（ｃ）のように走行中にセンサ部１００で取得した画像に対してテンプレート画像を走査し、類似する領域を対象として検知する。また、このようなテンプレートマッチングによる手法に限定されず、任意のアルゴリズムによって対象を検知しても良い。

【0021】

対象検知部２００は、センサ部１００で取得した画像から対象が検知できた場合、その画像中における対象の位置、特徴量を対象信頼度判定部４００に出力する。特徴量としては、検知した対象領域の輝度勾配方向をヒストグラム化したHOG(Histograms of Oriented Gradients)特徴量が挙げられるが、その他の任意のアルゴリズムで特徴量を算出しても良い。

【0022】

また、対象検知部２００は、画像中での移動方向、対象までの距離、３次元空間での移動速度が算出できる場合には、これらの情報も合わせて対象信頼度判定部４００に出力しても良い。また、対象検知部２００は、単一時刻の検知では誤った検知結果を出力する可能性もあるため、複数フレームで対象の検知結果を解析した時系列での検知結果を対象信頼度判定部４００に出力しても良い。

【0023】

また、エッジやコーナーなどの画像中の特徴ある領域を対象に含めても良い。

【0024】

共通正常領域算出部３００は、左前方カメラ１１０と右前方カメラ１２０の視野が重複する（視野を共有する）共通撮像領域において、レンズへの付着物（汚れ、雨滴、白濁、着氷など）や、レンズ異常（ひび割れ、傷、ゆがみなど）の有無を確認し、共通撮像領域の正常/異常を判定する。共通正常領域算出部３００は、判定した結果を、対象信頼度判定部４００、もしくは表示/警報/制御部６００に出力する。

【0025】

共通正常領域算出部３００は、共通撮像領域を持つ２台のカメラで撮像された画像に対し、同一画素を探索することで共通撮像領域の正常/異常を判定する。図４（ａ）、（ｂ）で示すように、左前方カメラ１１０と右前方カメラ１２０がともにレンズへの付着物やレンズ異常といった異常状態が発生していない場合（換言すると、左前方カメラ１１０の取得画像と右前方カメラ１２０の取得画像の両画像とも正常である場合）、図４（ａ）、（ｂ）の斜線で示す領域で同一画素が算出される。一方、図５（ａ）、（ｂ）で示すように、片方の画像（ここでは右前方カメラ１２０の取得画像である右画像）に異常が発生している場合、図５（ａ）、（ｂ）中の斜線で示す領域で同一画素が算出される。共通正常領域算出部３００は、これらの同一画素が算出された領域を、共通正常領域として保存する。すなわち、共通正常領域算出部３００は、視野を共有するカメラ間（左前方カメラ１１０と右前方カメラ１２０）においてマッチングが取れた同一画素を共通正常領域として算出する。

【0026】

共通正常領域算出部３００の処理フローを、図６に示す。図６では、左前方カメラ１１０と右前方カメラ１２０が共通撮像領域を持つカメラ構成での例を示しているが、共通撮像領域を持つカメラであれば同様の処理を実行可能である。

【0027】

ステップＳ３０１とステップＳ３０２で、共通撮像領域を持つ左前方カメラ１１０と右前方カメラ１２０で撮像した画像を取得する。

【0028】

前記取得した画像に対し、ステップＳ３０３の幾何補正では、レンズ歪みなどの光学特性を補正する。

【0029】

幾何補正した画像に対し、同一画素を探索する。ステップＳ３０４では、左前方カメラ１１０で撮像した画像（左画像）の局所領域をテンプレートとして切り出す。さらにステップＳ３０５において、切り出したテンプレートと類似する領域を右前方カメラ１２０で撮像した画像（右画像）中から探索する。ステップＳ３０６において、右画像中に類似領域が存在した（マッチングが取れた）場合は、ステップＳ３０７において、該当画素に正常ラベルが付与される。ステップＳ３０６において、右画像中に類似領域が存在しない（マッチングが取れない）場合は、ステップＳ３０８において、該当画素に異常ラベルが付与される。この処理を画像全体で行うことで、共通正常領域を確定する。

【0030】

同一画素の探索はこのようなテンプレートマッチングによる手法に限定されず、任意のアルゴリズムによって同一画素を探索しても良い。

【0031】

対象信頼度判定部４００は、対象検知部２００と共通正常領域算出部３００の結果を受け取り、対象検知部２００で検知した各対象に対して信頼度を付与する。対象信頼度判定部４００は、対象ごとの信頼度を付与した結果を、単独異常画像領域判定部５００に出力する。

【0032】

対象信頼度判定部４００の処理フローを、図７に示す。図７では、左前方カメラ１１０での例を示しているが、これに限定されず、共通正常領域情報を持つカメラであれば同様の処理を実行可能である。

【0033】

まず、ステップＳ４０１で、対象検知部２００で検知した左前方カメラ１１０の対象情報（検知情報）を取得する。

【0034】

さらに、ステップＳ４０２において、共通正常領域算出部３００で算出した左前方カメラ１１０の共通正常領域情報を取得する。

【0035】

ステップＳ４０３において、対象検知部２００で検知した対象に対し、検知した位置が共通正常領域に含まれている（言い換えると、対象検知部２００で検知した対象の領域に正常ラベルが付与されている）場合には、ステップＳ４０４において、対象に対して第１信頼度が付与される。ステップＳ４０３において、対象検知部２００で検知した対象に対し、検知した位置が共通正常領域に含まれていない（言い換えると、対象検知部２００で検知した対象の領域に正常ラベルが付与されていない）場合には、ステップＳ４０５において、対象に対して第２信頼度が付与される。すなわち、対象信頼度判定部４００は、共通正常領域で検知した対象に対して第１信頼度を付与し（ステップＳ４０４）、共通正常領域外で検知した対象に対して第２信頼度を付与する（ステップＳ４０５）。さらに言い換えると、対象信頼度判定部４００は、共通正常領域で検知した対象と共通正常領域外で検知した対象に対して異なる信頼度を付与する。

【0036】

共通正常領域で検知した対象はそれ以外の領域で検知した対象より高い信頼度を設定したいため、第１信頼度が第２信頼度より大きく（高く）なるような所定の値を事前に設定する。また、対象検知部２００から複数フレームで対象の検知結果を解析した時系列での検知結果を取得できる場合には、過去の検知結果の情報も含めて第１信頼度と第２信頼度を算出しても良い。

【0037】

単独異常画像領域判定部５００は、対象信頼度判定部４００で算出した対象ごとの信頼度を基に、単眼領域での異常画像領域を判定し、その結果を表示/警報/制御部６００に出力する。

【0038】

図８（ａ）、（ｂ）に、単独異常画像領域判定部５００の処理概要を示す。図８（ａ）、（ｂ）ではサイドカメラ１３０を例に説明しているが、その他の単眼領域でも同様の処理が可能である。図８（ａ）の対象１は、左前方カメラ１１０（で取得した画像）で検知された後、サイドカメラ１３０で取得した画像（単眼領域）に移動してきた歩行者を示す。左前方カメラ１１０が正常だった場合を仮定し、対象１には第１信頼度が付与されているものとする。図８（ａ）の対象２は、サイドカメラ１３０（で取得した画像）ではじめて検知された歩行者を示しており、共通正常領域外で検知されているため、第２信頼度が付与されているものとする。

【0039】

図８（ｂ）は異常スコアマップを示しており、サイドカメラ１３０に対応した異常スコアを保存している。異常スコアは0～1の値をとり、0に近づくほど正常、1に近づくほど異常として定義できるが、その他の任意の数値で正常/異常の状態を保存しても良い。異常スコアマップは、対象１と対象２の検知情報によって更新され、検知された場合には0（正常）に近づくように更新され、検知ができなくなった場合には1（異常）に近づくように更新される。その時の異常スコアマップの異常スコアの更新量は対象の信頼度に応じて変更され、信頼度が高い対象ほどより大きく異常スコアマップの異常スコアが更新されるように処理される。

【0040】

単独異常画像領域判定部５００の処理フローを、図９に示す。

【0041】

まず、ステップＳ５０１で、対象検知部２００において検知された対象の出現位置を予測する。前時刻の位置周囲を出現予測位置としても良いし、対象の移動方向が算出されている場合にはその情報から出現予測位置を決めても良いし、自車の移動量が分かっている場合にはその情報を使用しても良い。

【0042】

Ｓ５０２において、予測した位置において対象が出現したかどうかを対象の特徴量を基に判定する。また、Ｓ５０３およびＳ５０６において、追跡した対象に付与されている信頼度を確認する。Ｓ５０２において予測位置に対象が出現し、かつＳ５０３において対象に第１信頼度が付与されている場合には、ステップＳ５０４によって、異常スコアマップの異常スコアを第１更新量だけ減少させ、Ｓ５０３において対象に第２信頼度が付与されている場合には、ステップＳ５０５によって、異常スコアマップの異常スコアを第２更新量だけ減少させる。Ｓ５０２において予測した位置に対象が出現せず、かつＳ５０６において対象に第１信頼度が付与されている場合には、ステップＳ５０７によって、異常スコアマップの異常スコアを第１更新量だけ増加させ、Ｓ５０６において対象に第２信頼度が付与されている場合には、ステップＳ５０８によって、異常スコアマップの異常スコアを第２更新量だけ増加させる。すなわち、単独異常画像領域判定部５００は、対象を単眼領域で検知した（追跡できた）場合に検知箇所の異常スコアマップの異常スコアを（第１更新量または第２更新量だけ）減少させる（下げる）（ステップＳ５０４、Ｓ５０５）。また、単独異常画像領域判定部５００は、対象を単眼領域でロストした（追跡できなかった）場合にロスト箇所の異常スコアマップの異常スコアを（第１更新量または第２更新量だけ）増加させる（上げる）（ステップＳ５０７、Ｓ５０８）。

【0043】

対象同士が重なり合った場合、後方の対象はカメラから撮像できなくなるため、予測位置に対象を検知できなくなる場合がある。その場合、誤って異常スコアマップの値を増加させないために、対象同士の位置関係から対象の重なりを検知し、後方に隠れたと判定された対象は、異常スコアマップの更新に使用しない処理を含めても良い。対象の距離や３次元座標が分かっている場合には、それらの情報も使用して対象同士の重なりを判定しても良い。

【0044】

第２信頼度が付与されている対象の場合よりも第１信頼度が付与されている対象の場合に異常スコアマップの異常スコアを大きく更新したいため、第２更新量よりも第１更新量のほうが大きくなるように事前に所定の値を設定する。

【0045】

全ての対象情報を使用して異常スコアマップの異常スコアを更新した後、ステップＳ５０９により、正常/異常領域を確定する。更新後の異常スコアマップの異常スコアに対して所定の閾値を設定し、所定の閾値を下回った領域を正常領域、所定の閾値を上回った領域を異常領域と判定する。

【0046】

また、正常領域や異常領域として確定した領域に対しても異常スコアマップの更新を実施し、所定の閾値を上回る時は正常領域に異常が発生した（走行中に汚れが付着するなど）と判定し、もしくは所定の閾値を下回った時は異常領域が復旧した（走行中に汚れが落ちた、洗浄動作により汚れが落ちたなど）と判定しても良い。

【0047】

表示/警報/制御部６００は、共通正常領域算出部３００、または単独異常画像領域判定部５００で算出した正常領域、または異常領域の情報を取得し、ドライバーへの表示や警報、および/または異常状態を解消するための制御を行う。

【0048】

表示/警報/制御部６００がカメラの撮像領域が正常であるという情報を受け取った場合には、ドライバーに対して搭載しているカメラが正常であるという表示を行う。また、自動運転や運転支援システムなどでカメラ情報を使用している場合には、システムが正常動作しているという表示をしても良い。

【0049】

一方、表示/警報/制御部６００がカメラの撮像領域内に異常状態が発生しているという情報を受け取った場合には、ドライバーに対して搭載しているカメラが異常であるという表示を行う。また、自動運転や運転支援システムなどでカメラ情報を使用している場合には、システムの動作を中止し、システムが動作していないという情報をドライバーに表示しても良い。また、自動運転や運転支援システムを段階的に縮退させても良く、例えば、異常が発生していないカメラのみを使用して路肩に停車させる、撮像領域の正常領域のみを使って路肩に停車させる、などが考えられる。

【0050】

また、表示/警報/制御部６００は、異常が発生したカメラの状態を確認するようドライバーに要求する表示をしても良い。また、表示/警報/制御部６００は、異常が発生したカメラに対し、ワイパーの作動、ウインドウォッシャー液や圧縮空気の噴射などの異常を解消する動作を実行するよう指令を出力しても良い。

【0051】

以上で説明したように、本実施例１の異常診断装置１は、（周囲環境を観測する）複数のカメラが視野を重複するように配置されたセンサ部１００と、前記センサ部１００のセンサ情報（画像情報）から対象を検知する対象検知部２００と、前記複数のカメラにおいて視野を共有する共通撮像領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部４００と、前記複数のカメラにおいて単一のカメラの視野のみで構成される単眼領域内での前記対象の追跡結果を利用して前記単眼領域における異常画像領域を判定する単独異常画像領域判定部５００と、を備え、前記単独異常画像領域判定部５００は、前記異常画像領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更する。

【0052】

また、前記共通撮像領域における検知結果に基づいて前記共通撮像領域の状態（正常/異常）を判定する共通正常領域算出部３００をさらに備え、前記対象信頼度判定部４００は、前記共通撮像領域の状態（正常/異常）に基づいて前記対象の信頼度を判定する。

【0053】

本実施例によれば、共通撮像領域の検知結果に応じて対象に信頼度を付与し、対象の信頼度に応じて単眼領域の異常スコアマップの更新量を変更することで、センサ（カメラ）に生じた異常領域を誤判定なく短時間で確定することができる。

【0054】

［実施例２］
実施例２は、移動体に設置されて周辺環境を観測する複数のセンサがカメラに限定せず、複数のセンサ（カメラ以外のミリ波レーダやLiDARなども含む）の共通センシング領域の正常/異常判定を、対象の種別や位置関係から実施する実施例である。

【0055】

図１０に、本発明の実施例２に係る異常診断装置の全体構成図を示す。

【0056】

本実施例の異常診断装置２は、例えば車両に搭載されて利用されるものであり、センサ部１１００、対象検知部１２００、対象信頼度判定部１４００、単独異常領域判定部１５００、表示/警報/制御部１６００を備えている。

【0057】

センサ部１１００は、複数台のセンサから構成される。複数台のセンサは、観測領域（センシング領域とも呼ぶ）を重複するように配置されている。図１０では、センサ部１１００は、センサ１１１０とセンサ１１２０の２台のセンサを例にしている。２台のセンサは、図１１に示すように、前方カメラ１１６０とLiDAR１１７０の構成が例に挙げられるが、２台のセンサでセンシング可能な（２台のセンサが観測領域を共有する）共通センシング領域と、１台（単独）のセンサでしかセンシングできない（１台（単独）のセンサの観測領域のみで構成される）単独センシング領域が存在すれば別の構成でも良く、ソナーやミリ波レーダといった別種のセンサを組み合わせても良い。

【0058】

センサ部１１００は、センサ情報として周辺環境をセンシングしたセンシング情報（検知情報）を対象検知部１２００に出力する。

【0059】

対象検知部１２００は、センサ部１１００で取得したセンサ情報としての検知情報から異常領域の推定に使用する対象を検知する。対象としては、他車両や二輪車、歩行者、標識、看板などの地物が含まれる。

【0060】

検知方法としては、各センサに適した任意のアルゴリズムを選択して使用する。

【0061】

対象信頼度判定部１４００は、対象検知部１２００の結果を受け取り、対象検知部１２００で検知した各対象に対して信頼度を付与する。対象信頼度判定部１４００は、対象ごとの信頼度を付与した結果を、単独異常領域判定部１５００に出力する。

【0062】

対象信頼度判定部１４００の処理フローを、図１２に示す。図１２では、前方カメラ１１６０とLiDAR１１７０での例を示しているが、これに限定されず、共通センシング領域情報を持つセンサであれば同様の処理を実行可能である。

【0063】

まず、ステップＳ１４０１で、対象検知部１２００で検知した前方カメラ１１６０の対象情報（検知情報）を取得する。

【0064】

取得した全ての検知対象に対して、ステップＳ１４０３において、LiDAR１１７０が検知した対象（検知情報）の中に同一対象が存在するかマッチングを行う。同一対象かは、対象情報（検知情報）の位置、種別、移動方向などの情報から判定される。

【0065】

ステップＳ１４０３において、LiDAR１１７０が検知した対象の中に同一対象が存在する場合は、ステップＳ１４０４で、検知対象に第１信頼度が付与される。ステップＳ１４０３において、LiDAR１１７０が検知した対象の中に同一対象が存在しない場合は、ステップＳ１４０５で、検知対象に第２信頼度が付与される。すなわち、対象信頼度判定部１４００は、観測領域を共有する２台のセンサで（同一対象として）観測できた対象に対して第１信頼度を付与し（ステップＳ１４０４）、観測領域を共有する２台のセンサにおいて単独のセンサでしか観測できなかった対象に対して第２信頼度を付与する（ステップＳ１４０５）。

【0066】

単独異常領域判定部１５００は、対象信頼度判定部１４００で算出した対象ごとの信頼度を基に、単独センシング領域での異常領域を判定し、その結果を表示/警報/制御部１６００に出力する。単独異常領域判定部１５００の処理フローは、図９と同様に、追跡している対象の信頼度に応じて、予測位置に対象を検知できた場合には異常スコアマップの異常スコアを減少させ、予測位置に対象を検知できなかった場合には異常スコアマップの異常スコアを増加させる。すなわち、単独異常領域判定部１５００は、対象を単独センシング領域で検知した（追跡できた）場合に検知箇所の異常スコアマップの異常スコアを（第１更新量または第２更新量だけ）減少させる（下げる）。また、単独異常領域判定部１５００は、対象を単独センシング領域でロストした（追跡できなかった）場合にロスト箇所の異常スコアマップの異常スコアを（第１更新量または第２更新量だけ）増加させる（上げる）。

【0067】

全ての対象情報を使用して異常スコアマップの異常スコアを更新した後、更新後の異常スコアマップの異常スコアに対して所定の閾値を設定し、所定の閾値を下回った領域を正常領域、所定の閾値を上回った領域を異常領域と判定する。

【0068】

また、正常領域や異常領域として確定した領域に対しても異常スコアマップの更新を実施し、所定の閾値を上回る時は正常領域に異常が発生した（走行中に汚れが付着するなど）と判定し、もしくは所定の閾値を下回った時は異常領域が復旧した（走行中に汚れが落ちた、洗浄動作により汚れが落ちたなど）と判定しても良い。

【0069】

表示/警報/制御部１６００は、単独異常領域判定部１５００で算出した正常領域、または異常領域の情報を取得し、ドライバーへの表示や警報、および/または異常状態を解消するための制御を行う。

【0070】

以上で説明したように、本実施例２の異常診断装置２は、（周囲環境を観測する）複数のセンサが観測領域を重複するように配置されたセンサ部１１００と、前記センサ部１１００のセンサ情報（検知情報）から対象を検知する対象検知部１２００と、前記複数のセンサにおいて観測領域を共有する共通センシング領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部１４００と、前記複数のセンサにおいて単独のセンサの観測領域のみで構成される単独センシング領域内での前記対象の追跡結果を利用して前記単独センシング領域における異常領域を判定する単独異常領域判定部１５００と、を備え、前記単独異常領域判定部１５００は、前記異常領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更する。

【0071】

本実施例によれば、共通センシング領域の検知結果に応じて対象に信頼度を付与し、対象の信頼度に応じて単独センシング領域の異常スコアマップの更新量を変更することで、センサ（カメラ、LiDAR、ミリ波レーダなど）に生じた異常領域を誤判定なく短時間で確定することができる。

【0072】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【0073】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0074】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0075】

１ 異常診断装置（実施例１）
１００ センサ部
２００ 対象検知部
３００ 共通正常領域算出部
４００ 対象信頼度判定部
５００ 単独異常画像領域判定部
６００ 表示/警報/制御部
２ 異常診断装置（実施例２）
１１００ センサ部
１２００ 対象検知部
１４００ 対象信頼度判定部
１５００ 単独異常領域判定部
１６００ 表示/警報/制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】