特開 2024-100124 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100124

(43)【公開日】2024-07-26

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240719BHJP

【ＦＩ】

G06T7/00 650B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023003873

(22)【出願日】2023-01-13

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】二宮 洸

(72)【発明者】

【氏名】的野 春樹

(72)【発明者】

【氏名】竹村 雅幸

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA04

5L096CA05

5L096DA02

5L096FA66

5L096GA17

5L096GA51

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】２種類の検知に対する整合性の判定精度を高めることができる画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置は、第１検知部と、第２検知部と、不整合領域抽出部と、不整合領域解析部とを備える。第１検知部は、センサ部が出力した画像から対象物を検知する。第２検知部は、第１検知部とは異なる処理でセンサ部が出力した画像から対象物を検知する。不整合領域抽出部は、第１検知部と第２検知部の検知結果を比較し、第１検知部が対象物を検知して、第２検知部が対象物を不検知である不整合領域を抽出する。不整合領域解析部は、第１検知部と第２検知部とは異なる検知を行って、不整合領域における対象物の有無を判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

センサ部が出力した画像から対象物を検知する第１検知部と、
前記第１検知部とは異なる処理で前記センサ部が出力した画像から対象物を検知する第２検知部と、
前記第１検知部と前記第２検知部の検知結果を比較し、前記第１検知部が対象物を検知して、前記第２検知部が対象物を不検知である不整合領域を抽出する不整合領域抽出部と、
前記第１検知部と前記第２検知部とは異なる検知を行って、前記不整合領域における対象物の有無を判定する不整合領域解析部と、を備える
画像処理装置。

【請求項2】

前記センサ部は、輝度画像と視差画像の両方を出力する
請求項１に記載の画像処理装置。

【請求項3】

前記第１検知部は、前記センサ部が出力した前記輝度画像から対象物を検知するテクスチャベース検知部である
請求項２に記載の画像処理装置。

【請求項4】

前記第２検知部は、前記センサ部が出力した前記視差画像から対象物を検知する視差解析ベース検知部である
請求項２に記載の画像処理装置。

【請求項5】

前記センサ部は、車両に取り付けられた車載用カメラであり、
前記第１検知部が複数の検知結果を出力した場合に、前記不整合領域抽出部は、前記車両との距離、前記車両の予測進路、前記車両との衝突までの時間、対象物の追跡情報のうちの少なくとも１つに応じて前記複数の検知結果の優先度を決定し、優先度が所定の順位よりも上位の検知結果から前記不整合領域を抽出する
請求項１に記載の画像処理装置。

【請求項6】

前記不整合領域解析部は、前記不整合領域に応じてマッチングウインドウサイズを設定して視差を算出し、その算出結果から対象物の有無を判定する
請求項１に記載の画像処理装置。

【請求項7】

前記不整合領域解析部は、予め用意した複数種類のマッチングウインドウから前記不整合領域のサイズを超えないサイズのマッチングウインドウを選択する、又は前記不整合領域を分割したサイズのマッチングウインドウを設定する、又は前記不整合領域の種別と前記不整合領域までの距離のうちの少なくとも１つに基づいて前記不整合領域のサイズを超えないサイズのマッチングウインドウを設定する
請求項６に記載の画像処理装置。

【請求項8】

前記不整合領域解析部は、前記不整合領域において前記第２検知部よりも高精度な視差を算出して、その算出結果から対象物の有無を判定する
請求項４に記載の画像処理装置。

【請求項9】

第１検知部が、センサ部が出力した画像から対象物を検知し、
第２検知部が、前記第１検知部とは異なる処理で前記センサ部が出力した画像から対象物を検知し、
不整合領域抽出部が、前記第１検知部と前記第２検知部の検知結果を比較し、前記第１検知部が対象物を検知して、前記第２検知部が対象物を不検知である不整合領域を抽出し、
不整合領域解析部が、前記第１検知部と前記第２検知部とは異なる検知を行って、前記不整合領域における対象物の有無を判定する
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

近年、ディープラーニングに代表される画像認識技術の発展に伴い、画像から対象を検知するテクスチャベースの手法の性能が大幅に向上している。しかし、テクスチャベースの手法は、学習画像と現走行シーンの不一致から意図しない結果を出力する可能性がある。そのため、システムの誤動作を抑制するには、テクスチャベースの出力結果の整合性を判定する必要がある。

【0003】

テクスチャベースの出力結果の整合性を判定するには、３次元ベースの検知手法を併用し、テクスチャと３次元構造の両観点から対象の存在を確認することが行われている。例えば、ステレオカメラは、単一のセンサで輝度画像と視差画像（３次元情報）の情報を取得できる。そのため、テクスチャベースと視差解析ベース（３次元ベース）の検知結果を比較し、両手法で同一の対象を検知できていることを確認することで整合性を判定することができる。

【0004】

異なる手法の出力をもとに対象の存在を判定する手法は、例えば、特許文献１に開示されている。特許文献１には、複数種類の検出手段（センサ等）によって同じ検出対象を検出し、それらの検出結果を総合的に判断するセンサフュージョンシステム及びそれを用いた車両制御装置が記載されている。特許文献１に記載されたセンサフュージョンシステムは、複数の出力手段の各々から出力される確率分布の積を取る。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５－１６５４２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、ディープラーニングのような検知性能が高いテクスチャベースと従来の視差解析ベースの出力を比較したとき、テクスチャベースの出力結果が検知、視差解析ベースの出力結果が不検知となる場合がある。２つの手法のうち片方が不検知となる場合は、特許文献１に記載されたセンサフュージョンシステムのように、確率分布の積で判断すると、不検知となる。したがって、テクスチャベースの高い検知性能を有効に使用できない。

【0007】

本目的は、上記の問題点を考慮し、２種類の検知結果を用いて対象物の有無を高精度に判定することができる画像処理装置及び画像処理方法を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決し、目的を達成するため、本発明の一態様である画像処理装置は、第１検知部と、第２検知部と、不整合領域抽出部と、不整合領域解析部とを備える。第１検知部は、センサ部が出力した画像から対象物を検知する。第２検知部は、第１検知部とは異なる処理でセンサ部が出力した画像から対象物を検知する。不整合領域抽出部は、第１検知部と第２検知部の検知結果を比較し、第１検知部が対象物を検知して、第２検知部が対象物を不検知である不整合領域を抽出する。不整合領域解析部は、第１検知部と第２検知部とは異なる検知を行って、不整合領域における対象物の有無を判定する。

【発明の効果】

【0009】

本発明の一態様によれば、２種類の検知結果を用いて対象物の有無を高精度に判定することができる。
なお、上述した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る画像処理装置が搭載された車両の構成を示す概略構成図である。

【図2】三角測量の原理を説明する図である。

【図3】第１実施形態に係る左右カメラで撮像した画像から、同一の測距対象を特定する処理を説明する図である。

【図4】第１実施形態に係るテクスチャベース検知部による対象物の検知を説明する図である。

【図5】第１実施形態に係る視差解析ベース検知部による対象物の検知を説明する図である。

【図6】第１実施形態に係る視差解析ベース検知部による対象物の検知が不検知になる要因を示す図である。

【図7】第１実施形態に係る不整合領域抽出部の処理を説明する図である。

【図8】第１実施形態に係る不整合領域抽出処理を示すフローチャートである。

【図9】第１実施形態に係る不整合領域解析部の処理を説明する図である。

【図10】第１実施形態に係るマッチングウインドウのサイズ選択の他の例を説明する図である。

【図11】第１実施形態に係る不整合領域解析処理を示すフローチャートである。

【図12】第２実施形態に係る不整合領域解析処理を示すフローチャートである。

【発明を実施するための形態】

【0011】

１．第１実施形態
以下、画像処理装置及び画像処理方法の第１実施形態について、図１～図１１を参照して説明する。なお、各図において共通の部分には、同一の符号を付している。

【0012】

［車両の構成例］
まず、第１実施形態に係る画像処理装置が搭載された車両の構成について図１を参照して説明する。
図１は、画像処理装置が搭載された車両の構成を示す概略構成図である。

【0013】

図１に示すように、車両（自動車）１には、車載カメラ１００と、画像処理装置２００と、車両制御装置３００が搭載されている。車載カメラ１００は、本発明に係るセンサ部の一具体例を示す。

【0014】

車載カメラ１００は、所定の間隔を空けて配置された複数台の撮像装置から構成されている。複数台の撮像装置は、車両１の周囲の所定の方向、例えば車両１の前方に向けて設置される。以下、車載カメラ１００は、左カメラ１１０と右カメラ１２０の２台から構成されるステレオカメラシステムとして説明する。

【0015】

なお、車載カメラは、３台以上のカメラから構成されるカメラシステムであってもよく、単体のカメラを複数台組み合わせて構成してもよい。また、車載カメラは、輝度画像と視差画像を出力するセンサをそれぞれ組み合わせた構成でもよい。

【0016】

車載カメラ１００の左カメラ１１０と右カメラ１２０は、車両１の前方を撮像する。左カメラ１１０と右カメラ１２０は、車両１の前後方向に直交する左右方向に並んでいる。左カメラ１１０と右カメラ１２０で撮像された画像を用いると、三角測量の原理から対象までの距離を測定できる。車載カメラ１００は、輝度画像と視差画像を出力する。車載カメラ１００で撮像された画像（輝度画像及び視差画像）は、画像処理装置２００に供給される。

【0017】

画像処理装置２００は、撮像画像に対してカメラ校正や歪補正などの画像補正処理を行う。そして、画像補正処理を行った画像から物体や人物などの対象物を認識する。画像処理装置２００は、テクスチャベース検知部２１０と、視差解析ベース検知部２２０と、不整合領域抽出部２３０と、不整合領域解析部２４０とを有している。

【0018】

画像処理装置２００による対象物の認識結果は、車両制御装置３００に送られる。車両制御装置３００は、対象物の認識結果を自動運転などに必要な情報として取得して、車両１の走行状態を制御する。車両制御装置３００は、例えば、車両１の前方の物体や人物との接触を避けるブレーキ動作や、車両１の前方の別の車両に追随した速度とする走行や、走行中の道路の車線を守った走行が行われるようなステアリング動作などを制御する。

【0019】

［三角測量の原理］
次に、対象までの距離を測定する際に用いる三角測量の原理について、図２及び図３を参照して説明する。
図２は、三角測量の原理を説明する図である。図３は、左右カメラ１１０，１２０で撮像した画像から、同一の測距対象を特定する処理を説明する図である。

【0020】

ステレオカメラを構成する左カメラ１１０と右カメラ１２０で撮像された画像における同一の測距対象の位置の差である視差ｄは、式（１）によって算出される。このとき、測距対象が左カメラ１１０に撮像される位置をＸ_Ｌ、測距対象が右カメラ１２０に撮像される位置をＸ_Ｒとする。

【数1】

【0021】

そして、測距対象のまでの距離Ｚは、式（２）によって算出される。このとき、Ｂは基線長、ｆは焦点距離である。

【数2】

【0022】

上記式（１）で視差ｄを算出するためには、左カメラ１１０が撮像した左画像と右カメラ１２０が撮像した右画像で同一の測距対象が撮像されている領域を対応付ける必要がある。図３に示すように、同一の測距対象が撮像されている領域の対応付けは、左画像において所定の大きさのマッチングウインドウＷを設定し、マッチングウインドウ内と同じテクスチャを持つ領域を右画像から特定することで行われる。

【0023】

具体的には、左画像のマッチングウインドウの画素値をＷ（ｘ，ｙ）、右画像の画素値Ｉ_Ｒ（ｘ，ｙ）とし、右画像を探索しながら式（３）を用いてＳＡＤ（Sum of Absolute Difference）を計算する。このとき、走査位置をｉ，ｊとする。また、マッチングウインドウＷの水平方向の長さをｗ、マッチングウインドウＷの垂直方向の長さをｈとする。なお、垂直方向は、水平方向及び前後方向に直交する方向とする。

【数3】

【0024】

そして、ＳＡＤの値が最小となる領域を求めることで、同一領域を特定することができる。なお、同一領域の特定は、ＳＡＤを用いて行うことに限定されず、ＳＳＤ（Sum of Squared Difference）やＮＣＣ（Normalized Cross Correlation）などの任意の手法を用いて行ってもよい。

【0025】

［テクスチャベース検知部］
次に、テクスチャベース検知部２１０について、図４を参照して説明する。
図４は、テクスチャベース検知部２１０による対象物の検知を説明する図である。

【0026】

テクスチャベース検知部２１０は、車載カメラ１００が撮像した輝度画像から対象物（他車両、歩行者、二輪車、その他障害物）を検知する。図４に示すように、テクスチャベース検知部２１０は、車載カメラ１００で取得した画像をニューラルネットワークに入力し、検知対象の領域を囲う矩形枠（左上座標、幅、高さ）を推定する。

【0027】

なお、テクスチャベース検知部２１０は、検知対象の領域を囲う矩形枠の他に、検知対象の種別、距離、移動速度を同時に推定してもよい。また、テクスチャベース検知部２１０による対象物の検知は、ニューラルネットワークを用いることに限定されず、対象物を検知できる任意の手法を用いてもよい。

【0028】

図４に示すように、テクスチャベース検知部２１０の出力には、対象を正しく検知できた正検知の他にも、誤って対象だと推定してしまった誤検知が含まれる。誤検知は、学習画像と現シーンの違いが原因で発生する場合がある。また、誤検知は、テクスチャが学習した検知対象と類似したものが偶然に認識されるタイミングで発生する可能性がある。誤検知は、周辺環境を正しく認識できておらず、システムの誤動作につながる可能性があるため、排除する必要がある。

【0029】

［視差解析ベース検知部］
次に、視差解析ベース検知部２２０について、図５を参照して説明する。
図５は、視差解析ベース検知部２２０による対象物の検知を説明する図である。

【0030】

視差解析ベース検知部２２０は、車載カメラ１００が撮像した視差画像から対象物（他車両、歩行者、二輪車、その他障害物）を検知する。図５Ａに示す走行シーンでは、図５Ｂに示す視差画像が車載カメラ１００から視差解析ベース検知部２２０へ出力される。視差画像の各画素には、視差値が格納されている。図５Ｂに示す視差画像視差画像では、車両１との距離が近い視差ほど濃い色で表示されている。

【0031】

視差画像の路面領域は、画像縦位置が変化すると各画素に格納されている視差値が滑らかに変化する。一方、車両領域には、同じ値の視差値が固まっていることがわかる。この視差画像から、図５Ｃに示す横軸ｄ(視差値)、縦軸ｖ(画像縦位置)のv-disparityマップを作成すると、車両などの立体物は縦方向の直線になり、路面領域は右肩下がりの直線になる。この右肩下がりの直線パラメータを求めることで、路面モデルを推定することができる。

【0032】

次に、推定した路面モデルに当てはまる視差を除去すると、図５Ｄに示すように、車両以外の視差値を排除することができる。そして、路面モデルに当てはまる視差を除去した視差画像に残った視差値のうち、近傍に存在する同じ視差を囲うように矩形枠を設定する。その結果、図５Ｅに示すように、車両領域を確定することができる。

【0033】

視差解析ベース検知部２２０は、対象領域の矩形枠（左上座標、幅、高さ）を推定する際に、検知対象の種別、距離、移動速度を同時に推定してもよい。また、視差解析ベース検知部２２０による対象物の検知は、v-disparityマップを作成する手法を用いることに限定されず、検知対象の領域を推定する任意の手法を用いてもよい。

【0034】

［視差解析ベース検知部の不検知］
次に、視差解析ベース検知部２２０による対象物の検知が不検知になる要因について、図６を参照して説明する。
図６は、視差解析ベース検知部２２０による対象物の検知が不検知になる要因を示す図である。

【0035】

図６Ａは、検知対象に対して、視差算出のためのマッチングウインドウが大きい場合を示している。検知対象に対してマッチングウインドウが大きい場合は、視差を算出したい対象物以外に、その対象物の周囲にある別の物体がマッチングウインドウ内に含まれてしまう可能性がある。

【0036】

図６Ａでは、遠方の車両に対する視差を算出したが、マッチングウインドウが大きいため、周囲の街路樹やトラックが同じマッチングウインドウに含まれてしまっている。上述した視差算出方法（図３参照）では、図６Ａに示すようなマッチングウインドウ内に異なる距離の物体が含まれている場合に、正確な視差を算出できない。

【0037】

視差を正確に算出できない場合は、上述したv-disparityマップを作成する手法（図５参照）を用いても、車両が存在することを検知できない。したがって、視差解析ベース検知部２２０による対象物の検知が不検知になってしまう。

【0038】

図６Ｂは、検知対象に対して、マッチングウインドウが小さすぎる場合を示す。左カメラ１１０が撮像した左画像中に設定したマッチングウインドウと同一の領域を、右カメラ１２０が撮像した右画像から探索する際に、マッチングウインドウが小さすぎると、局所的に同一の模様が出現する場合がある。

【0039】

図６Ｂに示すように、左画像に設定したマッチングウインドウ内のテクスチャと、右画像の領域ａ、領域ｂ、領域ｃは、全く同じテクスチャをしている。これにより、視差解析ベース検知部２２０は、視差を算出できない。その結果、視差解析ベース検知部２２０による対象物の検知が不検知になってしまう。

【0040】

このように、視差解析ベース検知部２２０による対象物の検知が不検知になると、テクスチャベース検知部２１０が対象物を検知しているが、視差解析ベース検知部２２０が対応する対象物を検知していない不整合領域が生じる。

【0041】

［不整合領域抽出部］
次に、不整合領域抽出部２３０について、図７を参照して説明する。
図７は、不整合領域抽出部の処理を説明する図である。

【0042】

不整合領域抽出部２３０は、テクスチャベース検知部２１０の出力と、視差解析ベース検知部２２０の出力を受け取る。そして、両検知部２１０，２２０において検知された対象物の情報は、そのまま車両制御装置３００に出力する。一方、テクスチャベース検知部２１０が検知した対象物を、視差解析ベース検知部２２０が検知していない場合（不検知の場合）は、テクスチャベース検知部２１０が誤検知した可能性と、視差解析ベース検知部２２０が対象物を検知できなかった（未検知である）可能性が考えられる。

【0043】

テクスチャベース検知部２１０が検知した対象物を、視差解析ベース検知部２２０が検知していない場合に、不整合領域抽出部２３０は、テクスチャベース検知部２１０が検知した領域を不整合領域として抽出する。不整合領域抽出部２３０は、抽出した不整合領域を不整合領域解析部２４０に出力する。

【0044】

図７Ａは、テクスチャベース検知部２１０の検知結果を示している。図７Ａでは、検知した対象物が破線の矩形枠で表示されている。ディープラーニングに代表されるような高精度な認識技術では、図７Ａに示す車両やトラックなどの検知対象（対象物）を正確に検知することができる。一方、学習画像と現走行シーンの不一致などから、検知対象が存在しないにもかかわらず矩形枠が出力される誤検知が発生する可能性がある。

【0045】

図７Ｂは、視差解析ベース検知部２２０の検知結果を示している。図７Ｂでは、検知した対象物が破線の矩形枠で表示されている。視差解析ベース検知部２２０は、路面と高さが異なる立体物を検知することができるが、検知対象によっては検知できない（不検知になる）可能性がある。上述したように、不検知になる原因としては、例えば、検知対象の画像上のサイズに視差を算出する際のマッチングウインドウのサイズが適しておらず、視差を正確に算出できていないことが挙げられる。

【0046】

［不整合領域抽出処理］
次に、不整合領域抽出部２３０による不整合領域抽出処理について、図８を参照して説明する。
図８は、不整合領域抽出処理を示すフローチャートである。

【0047】

まず、不整合領域抽出部２３０は、テクスチャベース検知部２１０の検知結果（以下、「テクスチャベース検知結果」とする）を取得する（Ｓ１０１）。また、不整合領域抽出部２３０は、視差解析ベース検知部２２０の検知結果（以下、「視差解析ベース検知結果」とする）を取得する（Ｓ１０２）。

【0048】

次に、不整合領域抽出部２３０は、テクスチャベース検知結果と視差解析ベース検知結果に対して、ＩｏＵ（Intersection over Union）を計算する（Ｓ１０３）。続いて、不整合領域抽出部２３０は、ＩｏＵの値が予め定めた閾値以上であるか否かを判定する（Ｓ１０４）。ステップＳ１０３，１０４の処理は、対応付け済フラグが未設定の視差解析ベース検知結果ごとに行われる。

【0049】

テクスチャベース検知結果と視差解析ベース検知結果が同一の対象物を検知している場合は、テクスチャベース検知部２１０と視差解析ベース検知部２２０が出力した矩形枠の大部分が重なる。そのため、ＩｏＵの値が予め定めた閾値以上である場合は、テクスチャベース検知結果と視差解析ベース検知結果において同一の対象物を検知していると判定することができる。

【0050】

一方、ＩｏＵの値が予め定めた閾値以上となるテクスチャベース検知結果と視差解析ベース検知結果の組合せが無い場合は、テクスチャベース検知部２１０が対象物を検知しているが、視差解析ベース検知部２２０が対応する対象物を検知していないと判定することができる。

【0051】

テクスチャベース検知部２１０と視差解析ベース検知部２２０は、対象物の種別、距離、移動速度などを出力するようにしてもよい。この場合のステップＳ１０４では、ＩｏＵの値だけでなく、対象物の種別、距離、移動速度などの情報も含めて、同一の対象物であるか否かを判定してもよい。

【0052】

ステップＳ１０４において、ＩｏＵの値が予め定めた閾値以上であると判定したとき（Ｓ１０４がＹＥＳ判定の場合）、不整合領域抽出部２３０は、判定対象のテクスチャベース検知結果に正検知フラグを設定する（Ｓ１０５）。そして、不整合領域抽出部２３０は、判定対象の視差解析ベース検知結果に対応付け済みフラグを設定する（Ｓ１０６）。

【0053】

ステップＳ１０４において、ＩｏＵの値が予め定めた閾値以上でないと判定したとき（Ｓ１０４がＮＯ判定の場合）、不整合領域抽出部２３０は、判定対象のテクスチャベース検知結果に不整合領域フラグを設定する（Ｓ１０７）。ステップＳ１０３～ステップ１０７の処理は、テクスチャベース検知結果ごとに行われる。

【0054】

その後、不整合領域抽出部２３０は、判定結果を出力する（Ｓ１０８）。すなわち、不整合領域抽出部２３０は、正検知フラグが設定されたテクスチャベース検知結果を車両制御装置３００に出力する。また、不整合領域抽出部２３０は、不整合領域フラグを設定させたテクスチャベース検知結果を不整合領域解析部２４０に出力する。Ｓ１０８の処理後、不整合領域抽出部２３０は、不整合領域抽出処理を終了する。

【0055】

本実施形態では、全てのテクスチャベース検知結果に対して、不整合領域の判定を実施する。一方、車載分野など移動体に搭載された画像処理装置では、計算リソースが限られているため、全てのテクスチャベース検知結果に対して不整合領域の判定を実施できない場合がある。その場合は、優先度の高い検知結果（例えば、優先度が所定の順位よりも上位の検知結果）のみに限定して不整合領域の判定を行ってもよい。これにより、不整合領域抽出部２３０が実行する処理を削減することができる。

【0056】

なお、優先度は、例えば、テクスチャベース検知結果に対する、車両１との距離、相対速度、衝突までの時間、車両１の予測進行路との距離、過去のトラッキング結果等の少なくとも１つに基づいて決定することができる。

【0057】

［不整合領域解析部］
次に、不整合領域解析部２４０について、図９を参照して説明する。
図９は、不整合領域解析部の処理を説明する図である。

【0058】

不整合領域解析部２４０は、不整合領域抽出部２３０が出力した不整合領域が、テクスチャベース検知部２１０の誤検知であるか、視差解析ベース検知部２２０の未検知であるかを判定する。

【0059】

図９Ａは、不整合領域抽出部２３０が出力した不整合領域を示している。不整合領域解析部２４０は、不整合領域の水平方向の長さである横幅ｗと、不整合領域の垂直方向の長さである縦幅ｈを取得する。垂直方向は、水平方向及び前後方向に直交する方向とする。

【0060】

図９Ｂは、不整合領域の横幅ｗ及び縦幅ｈに基づいて設定されたマッチングウインドウの大きさを示している。図９Ｂに示すように、マッチングウインドウの大きさは、例えば、サイズ１と、サイズ２と、サイズ３が設けられている。サイズ２の横幅ｗ２及び縦幅ｈ２は、サイズ１の横幅ｗ１及び縦幅ｈ１よりも大きい。また、サイズ３の横幅ｗ３及び縦幅ｈ３は、サイズ２の横幅ｗ２及び縦幅ｈ２よりも大きい。

【0061】

サイズ１～３のうち、縦幅及び横幅が不整合領域の縦幅ｈ及び横幅ｗを超えない、且つ最大のサイズのものが、マッチングウインドウとして選択される。これにより、不整合領域の大きさに応じて適切なサイズをマッチングウインドウとして選択することができる。なお、本発明に係る予め用意するマッチングウインドウの数は、３つ（３種類）に限定されず、任意の数（種類）のサイズを設定することができる。

【0062】

図９Ｃは、不整合領域の視差を算出する例を示している。不整合領域解析部２４０は、設定したマッチングウインドウのサイズを使って、右画像における不整合領域と同じ領域を探索して視差を算出する。このとき、基準となる左画像全体で視差を求めるのではなく、不整合領域に限定して視差を算出する。これにより、不整合領域解析部２４０が実行する処理を削減することができる。

【0063】

また、テクスチャベース検知部２１０が対象物までの距離情報を出力している場合に、不整合領域解析部２４０は、不整合領域における対象物までの距離情報を得ることができる。したがって、不整合領域解析部２４０は、テクスチャベース検知部２１０が検知した対象物までの距離を視差に変換することで、右画像に撮像される対象の位置を予測できる。そして、不整合領域解析部２４０は、予測した対象位置から±αの範囲内のみでマッチングウインドウを走査する。これにより、探索範囲を限定することができ、不整合領域解析部２４０が実行する処理を削減することができる。

【0064】

図９Ｄは、不整合領域が検知対象であるのか誤検知であるのかを判定する例を示す。不整合領域解析部２４０は、算出した視差に基づいて、不整合領域が検知対象であるのか誤検知であるのかを判定する。具体的には、作成した視差画像を、横軸に画像横方向ｕ、縦軸に視差ｄをとったｕｄ投票空間にプロットする。このとき、同じ視差が縦方向に連続する立体物は、立体物が存在しない領域（路面など）と比較し、特定の視差ｄの位置に投票が多く集まる。

【0065】

そこで、不整合領域解析部２４０は、ｕｄ投票空間のu列ごとに、予め定めた投票閾値以上の投票が集まっている画素が存在するか確認し、投票閾値以上の投票が集まっているu列数をカウントする。そして、全u列の内、投票閾値以上の投票が集まっているu列の割合が所定の閾値以上の場合に、不整合領域解析部２４０は、不整合領域が検知対象であると判定する。すなわち、不整合領域解析部２４０は、テクスチャベース検知部２１０の検知結果が正解であり、対象物があると判定する。

【0066】

一方、全u列の内、投票閾値以上の投票が集まっているu列の割合が所定の閾値未満の場合は、不整合領域が検知対象ではない。したがって、不整合領域解析部２４０は、テクスチャベース検知部２１０の誤検知であると判定する。なお、対象の立体物の存在は、上述の手法で判定することに限定されず、任意の手法を用いて判定してもよい。

【0067】

［マッチングウインドウのサイズ選択の他の例］
次に、マッチングウインドウのサイズ選択の他の例について、図１０を参照して説明する。
図１０は、マッチングウインドウのサイズ選択の他の例を説明する図である。

【0068】

図１０Ａは、不整合領域を水平方向及び垂直方向（縦横）においてそれぞれ３分割した場合の１つサイズをマッチングウインドウの大きさに設定する例を示している。なお、不整合領域の分割数は、３つに限定されず、２つ、或いは４つ以上であってもよい。また、不整合領域の分割数は、水平方向及び垂直方向で異なる数であってもよい。さらに、不整合領域を分割したサイズに対して、上限と下限を設定してもよい。

【0069】

図１０Ｂは、不整合領域の種別及び車両１との距離からマッチングウインドウのサイズに設定する例を示している。テクスチャベース検知部２１０が検知した対象物の種別、車両１との距離を推定している場合は、不整合領域解析部２４０が不整合領域における対象物の種別情報、車両１との距離情報を得ることができる。

【0070】

対象物の種別、車両１との距離が分かれば、対象物が画像上に撮像されるサイズを予測することができる。そこで、対象物の種別と車両１との距離の組合せごとにマッチングウインドウのサイズを予め決定しておき、そのテーブル或いはマップを記憶部に記憶させる。不整合領域解析部２４０は、記憶部に記憶されたテーブル或いはマップを参照し、対象物の種別と車両１との距離に基づいてマッチングウインドウのサイズを決定する。

【0071】

［不整合領域解析処理］
次に、不整合領域解析部２４０による不整合領域解析処理について、図１１を参照して説明する。
図１１は、不整合領域解析処理を示すフローチャートである。

【0072】

まず、不整合領域解析部２４０は、不整合領域抽出部２３０から不整合領域の情報を取得する（Ｓ２０１）。次に、不整合領域解析部２４０は、不整合領域を走査するマッチングウインドウのサイズを設定する（Ｓ２０２）。続いて、不整合領域の視差を算出する（Ｓ２０３）。

【0073】

次に、不整合領域解析部２４０は、ステップＳ２０３において算出した視差をｕｄ投票空間に投票する（Ｓ２０４）。次に、不整合領域解析部２４０は、投票閾値以上の投票が集まっている画素を持つu列の割合が所定の閾値以上であるか否かを判定する（Ｓ２０５）。

【0074】

ステップＳ２０５において、投票閾値以上の投票が集まっている画素を持つu列の割合が所定の閾値以上であると判定したとき（Ｓ２０５がＹＥＳ判定の場合）、不整合領域解析部２４０は、不整合領域が検知対象であると判断して、テクスチャベース検知結果に正検知フラグを設定する（Ｓ２０６）。

【0075】

一方、ステップＳ２０５において、投票閾値以上の投票が集まっている画素を持つu列の割合が所定の閾値以上でないと判定したとき（Ｓ２０５がＮＯ判定の場合）、不整合領域解析部２４０は、不整合領域が誤検知であると判断して、テクスチャベース検知結果に誤検知フラグをセットする（Ｓ２０７）。ステップＳ２０２～ステップ２０７の処理は、不整合領域ごとに行われる。

【0076】

その後、不整合領域解析部２４０は、判定結果を出力する（Ｓ２０８）。すなわち、不整合領域解析部２４０は、正検知フラグは設定されたテクスチャベース検知結果を車両制御装置３００（図１参照）に出力する。Ｓ２０８の処理後、不整合領域解析部２４０は、不整合領域解析処理を終了する。

【0077】

以上説明したように、不整合領域抽出部２３０からは、テクスチャベース検知部２１０と視差解析ベース検知部２２０の両方で検知できた信頼性の高い検知結果が出力される。不整合領域解析部２４０からは、視差解析ベース検知部２２０では不検知であり、テクスチャベース検知部２１０では検知となった不整合領域を解析して、３次元的に検知対象であると判定された検知結果が出力される。

【0078】

不整合領域抽出部２３０と不整合領域解析部２４０の出力結果は、どちらもテクスチャと３次元構造の両観点から対象の存在を確認しているため、整合性がとれている。したがって、２種類の検知結果を用いて対象物の有無を高精度に判定することができる。車両制御装置３００は、このような出力結果に従って車両１の走行状態を制御する。その結果、車両制御システムの誤動作を抑制することができる。

【0079】

また、不整合領域解析部２４０は、テクスチャベース検知部２１０が対象物を検知している不整合領域について、別のアプローチで対象物の有無を判定する。これにより、テクスチャベースの高い検知性能を有効に使用して、対象物の有無の判定精度を高めることができる。

【0080】

２．第２実施形態
次に、画像処理装置及び画像処理方法の第２実施形態について、図１２を参照して説明する。
図１２は、第２実施形態に係る不整合領域解析処理を示すフローチャートである。

【0081】

第２実施形態に係る画像処理装置は、第１実施形態に係る画像処理装置２００と同じ構成を備えている。第２実施形態に係る画像処理装置が、画像処理装置２００と異なる点は、不整合領域解析部２４０による整合領域解析処理である。そのため、ここでは、第２実施形態に係る整合領域解析処理について説明し、第１実施形態と共通の構成及び処理の説明を省略する。

【0082】

第２実施形態に係る不整合領域解析部２４０は、車載カメラ１００が出力した視差画像よりも高精度な視差を算出する手法を選択し、不整合領域を詳細に解析する。
高精度な視差を出力する手法としては、例えば、ＳＧＭ（Semi Global Matching）やＣＮＮ（Convolutional Neural Network）などの機械学習ベースの手法を挙げることができる。なお、本発明に係る不整合領域解析部としては、その他の任意の高精度な視差を出力する手法を用いてもよい。

【0083】

高精度な視差を出力する手法は、一般的に図３を用いて説明した視差算出の手法よりも実行する処理が多い（処理コストが高い）。しかし、高精度な視差を出力する手法は、検知対象を含む領域の視差をより正確に算出できる。これにより、第２実施形態に係る不整合領域解析部２４０は、対象物の存在をより正確に確認することができる。

【0084】

［不整合領域解析処理］
まず、不整合領域解析部２４０は、不整合領域抽出部２３０から不整合領域の情報を取得する（Ｓ３０１）。次に、不整合領域解析部２４０は、ＳＧＭやＣＮＮなどの機械学習ベースの手法を用いて、不整合領域の高精度な視差を算出する（Ｓ３０２）。

【0085】

次に、不整合領域解析部２４０は、ステップＳ３０２において算出した視差をｕｄ投票空間に投票する（Ｓ３０３）。次に、不整合領域解析部２４０は、投票閾値以上の投票が集まっている画素を持つu列の割合が所定の閾値以上であるか否かを判定する（Ｓ３０４）。

【0086】

ステップＳ３０４において、投票閾値以上の投票が集まっている画素を持つu列の割合が所定の閾値以上であると判定したとき（Ｓ３０４がＹＥＳ判定の場合）、不整合領域解析部２４０は、不整合領域が検知対象であると判断して、テクスチャベース検知結果に正検知フラグを設定する（Ｓ３０５）。

【0087】

一方、ステップＳ３０４において、投票閾値以上の投票が集まっている画素を持つu列の割合が所定の閾値以上でないと判定したとき（Ｓ３０４がＮＯ判定の場合）、不整合領域解析部２４０は、不整合領域が誤検知であると判断して、テクスチャベース検知結果に誤検知フラグをセットする（Ｓ３０６）。ステップＳ３０２～ステップ３０６の処理は、不整合領域ごとに行われる。

【0088】

その後、不整合領域解析部２４０は、判定結果を出力する（Ｓ３０７）。すなわち、不整合領域解析部２４０は、正検知フラグは設定されたテクスチャベース検知結果を車両制御装置３００（図１参照）に出力する。Ｓ３０７の処理後、不整合領域解析部２４０は、不整合領域解析処理を終了する。

【0089】

３．まとめ
（１）上述した実施形態に係る画像処理装置２００は、テクスチャベース検知部２１０（第１検知部）と、視差解析ベース検知部２２０（第２検知部）と、不整合領域抽出部２３０と、不整合領域解析部２４０とを備える。テクスチャベース検知部２１０は、車載カメラ１００（センサ部）が出力した画像から対象物を検知する。視差解析ベース検知部２２０は、テクスチャベース検知部２１０とは異なる処理で車載カメラ１００が出力した画像から対象物を検知する。不整合領域抽出部２３０は、テクスチャベース検知部２１０と視差解析ベース検知部２２０の検知結果を比較し、テクスチャベース検知部２１０が対象物を検知して、視差解析ベース検知部２２０が対象物を不検知である不整合領域を抽出する。不整合領域解析部２４０は、テクスチャベース検知部２１０と視差解析ベース検知部２２０とは異なる検知を行って、不整合領域における対象物の有無を判定する。
これにより、テクスチャベース検知部２１０の検出結果と視差解析ベース検知部２２０の検出結果を用いて対象物の有無を高精度に判定することができる。また、テクスチャベース検知部２１０が対象物を検知している不整合領域に対して、テクスチャベース検知部２１０及び視差解析ベース検知部２２０とは異なる処理で、対象物の有無を判定するため、対象物の有無の判定精度を高めることができる。すなわち、テクスチャベースの高い検知性能を有効に使用して、対象物の有無の判定精度を高めることができる。

【0090】

（２）また、上述した実施形態に係る車載カメラ１００（センサ部）は、輝度画像と視差画像の両方を出力する。
これにより、輝度画像を用いた対象物の検知と、視差画像を用いた対象物の検知を行うことができる。

【0091】

（３）また、上述した実施形態に係るテクスチャベース検知部２１０（第１検知部）は、車載カメラ１００（センサ部）が出力した輝度画像から対象物を検知する。
これにより、テクスチャベースの高い検知性能を使用して、対象物の有無を判定することができる。

【0092】

（４）また、上述した実施形態に係る視差解析ベース検知部２２０（第２検知部）は、車載カメラ１００（センサ部）が出力した視差画像から対象物を検知する。
これにより、対象物を３次元で検知することができ、検知した対象物の大きさ、及び対象物までの距離を検知することができる。

【0093】

（５）また、上述した実施形態に係るテクスチャベース検知部２１０（第１検知部）が複数の検知結果を出力した場合に、不整合領域抽出部２３０は、車両１との距離、車両１の予測進路、車両１との衝突までの時間、対象物の追跡情報のうちの少なくとも１つに応じて複数の検知結果の優先度を決定する。そして、不整合領域抽出部２３０は、優先度が所定の順位よりも上位の検知結果から不整合領域を抽出する。
これにより、不整合領域抽出部２３０が実行する処理を削減することができる。

【0094】

（６）また、上述した第１実施形態に係る不整合領域解析部２４０は、不整合領域に応じてマッチングウインドウサイズを設定して視差を算出し、その算出結果から対象物の有無を判定する。
これにより、不整合領域における視差を適切に算出することができ、対象物の有無を判定する精度を高めることができる。

【0095】

（７）また、上述した第１実施形態に係る不整合領域解析部２４０は、予め用意した複数種類のマッチングウインドウから不整合領域のサイズを超えないサイズのマッチングウインドウを選択する。或いは、不整合領域解析部２４０は、不整合領域を分割したサイズのマッチングウインドウを設定する。或いは、不整合領域解析部２４０は、不整合領域の種別と不整合領域までの距離のうちの少なくとも１つに基づいて不整合領域のサイズを超えないサイズのマッチングウインドウを設定する。
これにより、不整合領域に応じたサイズのマッチングウインドウを容易に設定することができる。

【0096】

（８）また、上述した第２実施形態に係る不整合領域解析部２４０は、不整合領域において視差解析ベース検知部２２０（第２検知部）よりも高精度な視差を算出して、その算出結果から対象物の有無を判定する。
これにより、対象物の有無の判定精度を高めることができる。

【0097】

（９）上述した実施形態に係る画像処理方法は、テクスチャベース検知部２１０（第１検知部）が、車載カメラ１００（センサ部）が出力した画像から対象物を検知する。また、視差解析ベース検知部２２０（第２検知部）が、テクスチャベース検知部２１０とは異なる処理で車載カメラ１００が出力した画像から対象物を検知する。次に、不整合領域抽出部２３０が、テクスチャベース検知部２１０と視差解析ベース検知部２２０の検知結果を比較し、テクスチャベース検知部２１０が対象物を検知して、視差解析ベース検知部２２０が対象物を不検知である不整合領域を抽出する。そして、不整合領域解析部２４０が、テクスチャベース検知部２１０と視差解析ベース検知部２２０とは異なる検知を行って、不整合領域における対象物の有無を判定する。
これにより、テクスチャベース検知部２１０の検出結果と視差解析ベース検知部２２０の検出結果を用いて対象物の有無を高精度に判定することができる。また、テクスチャベース検知部２１０が対象物を検知している不整合領域に対して、テクスチャベース検知部２１０及び視差解析ベース検知部２２０とは異なる処理で、対象物の有無を判定するため、対象物の有無の判定精度を高めることができる。すなわち、テクスチャベースの高い検知性能を有効に使用して、対象物の有無の判定精度を高めることができる。

【0098】

本発明は上述しかつ図面に示した実施の形態に限定されるものではなく、特許請求の範囲に記載した発明の要旨を逸脱しない範囲内で種々の変形実施が可能である。

【0099】

また、上述した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0100】

なお、本明細書において、「平行」及び「直交」等の単語を使用したが、これらは厳密な「平行」及び「直交」のみを意味するものではなく、「平行」及び「直交」を含み、さらにその機能を発揮し得る範囲にある、「略平行」や「略直交」の状態であってもよい。

【符号の説明】

【0101】

１…車両、 １００…車載カメラ（センサ部）、 １１０…左カメラ、 １２０…右カメラ、 ２００…画像処理装置、 ２１０…テクスチャベース検知部（第１検知部）、 ２２０…視差解析ベース検知部（第２検知部）、 ２３０…不整合領域抽出部、 ２４０…不整合領域解析部、 ３００…車両制御装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】