特許 7406962 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-20

(45)【発行日】2023-12-28

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/593 20170101AFI20231221BHJP

   G06T 7/00 20170101ALI20231221BHJP

   G08G 1/16 20060101ALI20231221BHJP

   G08G 1/09 20060101ALI20231221BHJP

【ＦＩ】

G06T7/593

G06T7/00 650A

G08G1/16 C

G08G1/09 C

【請求項の数】 7

(21)【出願番号】P 2019213119

(22)【出願日】2019-11-26

(65)【公開番号】P2021086265

(43)【公開日】2021-06-03

【審査請求日】2022-09-21

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110001357

【氏名又は名称】弁理士法人つばさ国際特許事務所

(72)【発明者】

【氏名】新井 秀治

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０１２－１６８８３８（ＪＰ，Ａ）

【文献】特開２０１４－２３５７５０（ＪＰ，Ａ）

【文献】特開２０１７－０１６３３１（ＪＰ，Ａ）

【文献】国際公開第２０１７／１４５６３４（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１４５６００（ＷＯ，Ａ１）

【文献】特開２０１０－２２４９３０（ＪＰ，Ａ）

【文献】特開２００９－１７６０９１（ＪＰ，Ａ）

【文献】特開２００１－３３１７８８（ＪＰ，Ａ）

【文献】特開２０１９－１１４１５０（ＪＰ，Ａ）

【文献】特開２０１４－０９６００５（ＪＰ，Ａ）

【文献】特開２０１６－１９１９８８（ＪＰ，Ａ）

【文献】特開平１０－２８３４７７（ＪＰ，Ａ）

【文献】特開２００７－２６４７１７（ＪＰ，Ａ）

【文献】特開２０１５－１８４８９１（ＪＰ，Ａ）

【文献】特開２０１８－０９２６０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

Ｇ０８Ｇ １／０９

(57)【特許請求の範囲】

【請求項1】

ステレオ画像において、第１の物体の画像を含む第１の画像領域および第２の物体の画像を含む第２の画像領域を設定する画像領域設定部と、
前記第１の画像領域および前記第２の画像領域を結合する結合処理を行うことが可能であり、前記ステレオ画像に基づいて生成された各画素での距離値を含む距離画像における、前記第１の画像領域での前記第１の物体に係る前記画素の数を第１の距離点数として算出するとともに、前記第２の画像領域での前記第２の物体に係る前記画素の数を第２の距離点数として算出し、前記第１の距離点数および前記第２の距離点数の少なくともいずれかが第１のしきい値より小さいことを含む第１の判定条件を満たす場合に、前記結合処理を回避する結合処理部と
を備えた画像処理装置。

【請求項2】

ステレオ画像において、第１の物体の画像を含む第１の画像領域および第２の物体の画像を含む第２の画像領域を設定する画像領域設定部と、
前記第１の画像領域および前記第２の画像領域を結合する結合処理を行うことが可能であり、前記ステレオ画像、および前記ステレオ画像に基づいて生成された各画素での距離値を含む距離画像に基づいて、前記距離画像における前記第１の画像領域での複数の前記距離値の正確度の合計値である第１の合計値を算出するとともに、前記第２の画像領域での複数の前記距離値の正確度の合計値である第２の合計値を算出し、前記第１の合計値および前記第２の合計値の少なくともいずれかが第２のしきい値よりも小さいことを含む第１の判定条件を満たす場合に、前記結合処理を回避する結合処理部と
を備えた画像処理装置。

【請求項3】

前記結合処理部は、前記ステレオ画像および前記距離画像に基づいて、前記距離画像における前記第１の画像領域での複数の前記距離値の正確度の合計値である第１の合計値を算出するとともに、前記第２の画像領域での複数の前記距離値の正確度の合計値である第２の合計値を算出し、
前記第１の判定条件は、前記第１の合計値および前記第２の合計値の少なくともいずれかが第２のしきい値よりも小さいことを含む
請求項１に記載の画像処理装置。

【請求項4】

前記結合処理部は、前記ステレオ画像および前記距離画像に基づいて、前記第１の物体の垂直方向の実サイズである第１の実サイズ、および前記第２の物体の垂直方向の実サイズである第２の実サイズを算出し、
前記第１の判定条件は、前記第１の実サイズおよび前記第２の実サイズの少なくともいずれかが第３のしきい値より小さいことを含む
請求項１から請求項３のいずれか一項に記載の画像処理装置。

【請求項5】

ステレオ画像において、第１の物体の画像を含む第１の画像領域および第２の物体の画像を含む第２の画像領域を設定する画像領域設定部と、
前記第１の画像領域および前記第２の画像領域を結合する結合処理を行うことが可能であり、前記第１の物体と前記第２の物体との間の水平方向の離隔距離を示す水平方向距離値を算出し、前記水平方向距離値が第４のしきい値より大きいことを含む第１の判定条件を満たす場合に、前記結合処理を回避する結合処理部と
を備え、
前記結合処理部は、前記ステレオ画像に基づいて生成された各画素での距離値を含む距離画像における、前記第１の画像領域での複数の前記距離値の正確度、および前記第２の画像領域での複数の前記距離値の正確度に基づいて前記第４のしきい値を設定する
画像処理装置。

【請求項6】

前記結合処理部は、前記ステレオ画像および前記距離画像に基づいて、前記距離画像における前記第１の画像領域での複数の前記距離値の正確度の合計値である第１の合計値を算出するとともに、前記第２の画像領域での複数の前記距離値の正確度の合計値である第２の合計値を算出し、
前記第１の判定条件は、前記第１の合計値および前記第２の合計値の少なくともいずれかが第６のしきい値よりも小さいことを含む
請求項５に記載の画像処理装置。

【請求項7】

前記結合処理部は、前記第１の画像領域に含まれる前記第１の物体の画像および前記第２の画像領域に含まれる前記第２の物体の画像での複数の前記距離値に連続性がないことを含む第２の判定条件を満たす場合に、前記第１の判定条件を満たすかどうかを判定する
請求項１から請求項６のいずれか一項に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像画像に対して画像処理を行う画像処理装置に関する。

【背景技術】

【0002】

例えば、車両に搭載され、車両の前方を撮像する撮像装置では、雪の粒や雨粒などの降下物が撮像される場合がある。例えば特許文献１には、撮像画像に含まれる雪や雨などのノイズを除去する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２００８－１１１５４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像処理装置では、雪の粒や雨粒などの降下物が撮像された場合でも、適切に画像処理を行うことが望まれている。

【0005】

適切に画像処理を行うことができる画像処理装置を提供することが望ましい。

【課題を解決するための手段】

【0006】

本開示の一実施の形態に係る第１の画像処理装置は、画像領域設定部と、結合処理部とを備える。画像領域設定部は、ステレオ画像において、第１の物体の画像を含む第１の画像領域および第２の物体の画像を含む第２の画像領域を設定するように構成される。結合処理部は、第１の画像領域および第２の画像領域を結合する結合処理を行うことが可能であり、ステレオ画像に基づいて生成された各画素での距離値を含む距離画像における、第１の画像領域での第１の物体に係る画素の数を第１の距離点数として算出するとともに、第２の画像領域での第２の物体に係る画素の数を第２の距離点数として算出し、第１の距離点数および第２の距離点数の少なくともいずれかが第１のしきい値より小さいことを含む第１の判定条件を満たす場合に、結合処理を回避するように構成される。
本開示の一実施の形態に係る第２の画像処理装置は、画像領域設定部と、結合処理部とを備える。画像領域設定部は、ステレオ画像において、第１の物体の画像を含む第１の画像領域および第２の物体の画像を含む第２の画像領域を設定するように構成される。結合処理部は、第１の画像領域および第２の画像領域を結合する結合処理を行うことが可能であり、ステレオ画像、およびステレオ画像に基づいて生成された各画素での距離値を含む距離画像に基づいて、距離画像における第１の画像領域での複数の距離値の正確度の合計値である第１の合計値を算出するとともに、第２の画像領域での複数の距離値の正確度の合計値である第２の合計値を算出し、第１の合計値および第２の合計値の少なくともいずれかが第２のしきい値よりも小さいことを含む第１の判定条件を満たす場合に、結合処理を回避するように構成される。
本開示の一実施の形態に係る第３の画像処理装置は、画像領域設定部と、結合処理部とを備える。画像領域設定部は、ステレオ画像において、第１の物体の画像を含む第１の画像領域および第２の物体の画像を含む第２の画像領域を設定するように構成される。結合処理部は、第１の画像領域および第２の画像領域を結合する結合処理を行うことが可能であり、第１の物体と第２の物体との間の水平方向の離隔距離を示す水平方向距離値を算出し、水平方向距離値が第４のしきい値より大きいことを含む第１の判定条件を満たす場合に、結合処理を回避するように構成される。この結合処理部は、ステレオ画像に基づいて生成された各画素での距離値を含む距離画像における、第１の画像領域での複数の距離値の正確度、および第２の画像領域での複数の距離値の正確度に基づいて第４のしきい値を設定する。

【発明の効果】

【0007】

本開示の一実施の形態に係る第１から第３の画像処理装置によれば、適切に画像処理を行うことができる。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施の形態に係る画像処理装置の一構成例を表すブロック図である。

【図2】ステレオ画像の一例を表す画像図である。

【図3】画像領域の一例を表す画像図である。

【図4】降雪時における画像の一例を表す画像図である。

【図5】降雪時における画像の一例を表す他の画像図である。

【図6】図１に示した結合処理部の一動作例を表すフローチャートである。

【図7】図６に示した簡易判定処理の一例を表すフローチャートである。

【図8】図７に示した処理の一例を表す説明図である。

【図9】図７に示した処理の一例を表す他の説明図である。

【図10】図６に示した判定処理の一例を表すフローチャートである。

【図11】図１０に示した処理の一例を表す説明図である。

【図12】図６に示した他の判定処理の一例を表すフローチャートである。

【図13】図１２に示した処理の一例を表す説明図である。

【図14】図１２に示した処理の一例を表す他の説明図である。

【図15】変形例に係る結合処理部の一動作例を表すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

【0010】

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る画像処理装置（画像処理装置１）の一構成例を表すものである。画像処理装置１は、ステレオカメラ１１と、処理部２０とを有している。画像処理装置１は、自動車等の車両１０に搭載される。

【0011】

ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒのそれぞれは、レンズとイメージセンサとを含んでいる。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０の車両内において、車両１０のフロントガラスの上部近傍に、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

【0012】

図２は、ステレオ画像ＰＩＣの一例を表すものであり、図２（Ａ）は左画像ＰＬの一例を示し、図２（Ｂ）は右画像ＰＲの一例を示す。この例では、車両１０が走行している走行路における車両１０の前方に、他車両（先行車両９０）が走行している。左カメラ１１Ｌがこの先行車両９０を撮像することにより左画像ＰＬを生成し、右カメラ１１Ｒがこの先行車両９０を撮像することにより右画像ＰＲを生成する。ステレオカメラ１１は、このような左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成するようになっている。

【0013】

処理部２０は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、左画像ＰＬおよび右画像ＰＲに含まれる、車両１０の前方の車両や障害物などの様々な物体の画像に、画像領域Ｒを設定することにより、物体を認識するように構成される。そして、処理部２０は、その認識結果についての情報を出力する。車両１０では、例えば、処理部２０が認識した物体についての情報に基づいて、例えば、車両１０の走行制御を行い、あるいは、認識した物体についての情報をコンソールモニタに表示することができるようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、距離画像生成部２１と、画像領域設定部２２と、結合処理部２３とを有している。

【0014】

距離画像生成部２１は、左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺを生成するように構成される。距離画像ＰＺは、複数の画素値を有している。複数の画素値のそれぞれは、３次元の実空間における、各画素に対応する点までの距離値Ｚmeasに対応している。距離画像ＰＺにおける１つの画素は、例えば、左画像ＰＬにおける複数（例えば１６個）の画素に対応するとともに、右画像ＰＲにおける複数（例えば１６個）の画素に対応している。

【0015】

画像領域設定部２２は、距離画像ＰＺに基づいて、左画像ＰＬおよび右画像ＰＲにおいて画像領域Ｒを設定するように構成される。具体的には、画像領域設定部２２は、例えば、距離画像ＰＺにおいて、距離値Ｚmeasが連続する複数の画素が１つの画像領域Ｒに属するように、画像領域Ｒを設定する。

【0016】

図３は、画像領域Ｒの一例を表すものである。この例では、ステレオ画像ＰＩＣにおける右画像ＰＲは、自車両である車両１０の前方を走行する先行車両９０の画像を含んでいる。なお、この図３では右画像ＰＲを例に挙げたが、左画像ＰＬについても同様である。先行車両９０は、車両１０の前方を走行路に沿って走行しており、この右画像ＰＲは、先行車両９０の背面の画像を含んでいる。先行車両９０の背面において、距離画像ＰＺにおける距離値Ｚmeasは連続するので、画像領域設定部２２は、先行車両９０の背面に画像領域Ｒ（画像領域Ｒ１）を設定している。

【0017】

結合処理部２３は、複数の画像領域Ｒが設定された場合において、それらの複数の画像領域Ｒを結合する領域結合処理Ｊを行うように構成される。具体的には、例えば、車両１０の前方において、車両１０が走行する車線の隣の車線から車両１０が走行する車線に先行車両９１が車線変更を行う場合には、例えば右画像ＰＲおよび左画像ＰＬのそれぞれは、先行車両９１の背面の画像および側面の画像を含むことがあり得る。この場合において、画像領域設定部２２は、先行車両９１の背面部分に画像領域Ｒ（画像領域Ｒ１１）を設定するとともに、その先行車両９１の側面部分に別の画像領域Ｒ（画像領域Ｒ１２）を設定することがあり得る。結合処理部２３は、このような場合において、２つの画像領域Ｒ１１，Ｒ１２を結合する。このようにして、結合処理部２３は、その先行車両９１に対して１つの画像領域Ｒを設定するようになっている。

【0018】

また、結合処理部２３は、所定の判定条件を満たす場合には、この領域結合処理Ｊを回避する。具体的には、結合処理部２３は、例えば、雪の粒や雨粒などの降下物に複数の画像領域Ｒが設定された場合には、それらの複数の画像領域Ｒの結合を回避するように処理を行う。

【0019】

図４，５は、降雪時における画像の一例を表すものである。この例では、右画像ＰＲは、先行車両９０に加え、複数の雪の粒の軌跡１００の画像を含む。ステレオカメラ１１は、所定の長さの露光時間において露光動作を行うことによりステレオ画像ＰＩＣを生成する。雪の粒は降下し、車両１０は前方に向かって走行するので、その露光時間内に、車両１０からみた雪の粒の位置は移動する。その結果、雪の粒は軌跡１００として撮像される。画像領域設定部２２は、このような軌跡１００に対して画像領域Ｒを設定する場合がある。仮に、結合処理部２３が、図５に示したように、複数の軌跡１００の画像領域Ｒを結合した場合には、結合された画像領域Ｒ（画像領域Ｒ２）は大きい領域になるので、車両１０は、その画像領域Ｒ２における認識結果に基づいて、例えば車両１０の走行制御を行い、あるいはコンソールモニタに情報を表示するおそれがある。そこで、結合処理部２３は、判定処理（後述する簡易判定処理Ｊ１および判定処理Ｊ２Ａ，Ｊ２Ｂ）を行い、所定の判定条件を満たす場合に、各画像領域Ｒにおける物体が雪の粒や雨粒などの降下物であると判定する。そして、結合処理部２３は、各画像領域Ｒにおける物体が降下物である場合には、これらの複数の画像領域Ｒの結合を回避する。これにより、降下物の画像領域Ｒは小さい領域のままであるので、車両１０が、これらの画像領域Ｒにおける認識結果に基づいて、例えば車両１０の走行制御を行い、あるいはコンソールモニタに情報を表示するおそれを低減することができるようになっている。

【0020】

処理部２０は、このようにして設定された画像領域Ｒに基づいて、車両１０の前方の車両や障害物などの様々な物体を認識する。そして、処理部２０は、その認識結果についての情報を出力するようになっている。

【0021】

ここで、画像領域設定部２２は、本開示における「画像領域設定部」の一具体例に対応する。結合処理部２３は、本開示における「結合処理部」の一具体例に対応する。ステレオ画像ＰＩＣは、本開示における「ステレオ画像」の一具体例に対応する。距離画像ＰＺは、本開示における「距離画像」の一具体例に対応する。距離値Ｚmeasは、本開示における「距離値」の一具体例に対応する。車両１０は、本開示における「車両」の一具体例に対応する。

【0022】

［動作および作用］
続いて、本実施の形態の画像処理装置１の動作および作用について説明する。

【0023】

（全体動作概要）
まず、図１を参照して、画像処理装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。処理部２０は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、左画像ＰＬおよび右画像ＰＲに含まれる、車両１０の前方の車両や障害物などの様々な物体の画像に、画像領域Ｒを設定することにより、物体を認識する。

【0024】

（詳細動作）
処理部２０において、距離画像生成部２１は、ステレオカメラ１１からステレオ画像ＰＩＣが供給される度に、そのステレオ画像ＰＩＣに基づいて距離画像ＰＺを生成し、画像領域設定部２２は、この距離画像ＰＺに基づいて画像領域Ｒを設定する。そして、結合処理部２３は、複数の画像領域Ｒが設定された場合において、それらの複数の画像領域Ｒを結合する領域結合処理Ｊを行う。また、結合処理部２３は、所定の判定条件を満たす場合には、この領域結合処理Ｊを回避する。以下に、この結合処理部２３における処理について詳細に説明する

【0025】

図６は、結合処理部２３における処理の一例を表すものである。結合処理部２３は、簡易判定処理Ｊ１、判定処理Ｊ２Ａ，Ｊ２Ｂを行うことにより、領域結合処理Ｊを回避するかどうかを判定する。以下に、この処理について詳細に説明する。

【0026】

まず、結合処理部２３は、簡易判定処理Ｊ１を行う（ステップＳ１０１）。この簡易判定処理Ｊ１は、後述するより詳細な判定処理Ｊ２Ａ，Ｊ２Ｂの前段階として行われる。

【0027】

図７は、簡易判定処理Ｊ１の一例を表すものである。結合処理部２３は、この簡易判定処理Ｊ１において、ステップＳ２０１～Ｓ２０３に示す３つの判定条件のそれぞれを満たすかどうかを判定する。

【0028】

まず、結合処理部２３は、複数の画像領域Ｒのそれぞれの水平方向の画像幅がしきい値ＴＡより小さいかどうかを判定する（ステップＳ２０１）。

【0029】

図８は、ステップＳ２０１の処理の一例を表すものである。この例では、３つの軌跡１２１～１２３に対して、３つの画像領域Ｒ２１～Ｒ２３が画像領域設定部２２により設定されている。結合処理部２３は、ステレオ画像ＰＩＣおよび距離画像ＰＺに基づいて、画像領域Ｒ２１の画像幅Ｗ２１を算出し、画像領域Ｒ２２の画像幅Ｗ２２を算出し、画像領域Ｒ２３の画像幅Ｗ２３を算出する。そして、この例では、結合処理部２３は、これらの画像幅Ｗ２１～Ｗ２３のそれぞれが、しきい値ＴＡより小さいかどうかを判定する。すなわち、画像領域Ｒにおける物体が雪の粒や雨粒などの降下物である場合には、雪の粒や雨粒が小さいので、水平方向の画像幅が小さいことが予想される。よって、結合処理部２３は、水平方向の画像幅がしきい値ＴＡより小さいかどうかを判定することにより、その物体が降下物であるかどうかを判定することができる。画像幅およびしきい値ＴＡは、例えば画素数を用いて表すことができる。

【0030】

次に、結合処理部２３は、複数の画像領域Ｒにおいて物体の距離値Ｚmeasに連続性がないかどうかを判定する（ステップＳ２０２）。

【0031】

図９は、ステップＳ２０２の処理の一例を表すものである。図９には、距離画像ＰＺに含まれる複数の画素のうちの、３つの軌跡１２１～１２３に係る画素を、距離点Ａとして図示している。例えば、これらの３つの軌跡１２１～１２３に係るすべての距離点Ａにおける距離値Ｚmeasがほぼ同じである場合には、結合処理部２３は、複数の画像領域Ｒにおいて距離値Ｚmeasに連続性があると判定する。この例では、結合処理部２３は、距離画像ＰＺに基づいて、これらの軌跡１２１～１２３の距離値Ｚmeasに連続性がないかどうかを判定する。すなわち、画像領域Ｒにおける物体が雪の粒や雨粒などの降下物である場合には、例えば軌跡間で距離値Ｚmeasが異なり得るので、距離値Ｚmeasに連続性がないことが予想される。よって、結合処理部２３は、物体の距離値Ｚmeasに連続性がないかどうかを判定することにより、その物体が降下物であるかどうかを判定することができる。

【0032】

次に、結合処理部２３は、複数の画像領域Ｒのそれぞれにおいて、物体の複数の距離値Ｚmeasの正確度の合計値がしきい値ＴＢより小さいかどうかを判定する（ステップＳ２０３）。

【0033】

例えば、図９の例において、結合処理部２３は、軌跡１２１の複数の距離点Ａにおける距離値Ｚmeasの正確度の合計値がしきい値ＴＢより小さいかどうかを判定する。具体的には、まず、結合処理部２３は、軌跡１２１に係る複数の距離点Ａにおける距離値Ｚmeasの正確度をそれぞれ算出する。例えば、結合処理部２３は、左画像ＰＬや右画像ＰＲにおける、各距離点Ａに対応する複数の画素での画素値の勾配に基づいて、その距離点Ａにおける画像エッジの明確さを評価し、この画像エッジの明確さに基づいてその距離点Ａにおける距離値Ｚmeasの正確度を算出することができる。すなわち、左画像ＰＬや右画像ＰＲにおける画像エッジが明確であるほど、距離画像生成部２１は、精度よく距離値Ｚmeasを求めることができるので、結合処理部２３は、画像エッジの明確さに基づいて、距離値Ｚmeasの正確度を算出することができる。そして、結合処理部２３は、このようにして算出した複数の距離点Ａにおける距離値Ｚmeasの正確度の合計値を算出し、この合計値がしきい値ＴＢより小さいかどうかを判定する。すなわち、画像領域Ｒにおける物体が雪の粒や雨粒などの降下物である場合には、距離点Ａの数が少なくかつ距離値Ｚmeasの正確度が低いので、複数の距離値Ｚmeasの正確度の合計値が小さいことが予想される。よって、結合処理部２３は、物体の複数の距離値Ｚmeasの正確度の合計値がしきい値ＴＢより小さいかどうかを判定することにより、その物体が降下物であるかどうかを判定することができる。

【0034】

同様に、結合処理部２３は、軌跡１２２の複数の距離点Ａにおける距離値Ｚmeasの正確度の合計値がしきい値ＴＢより小さいかどうかを判定し、軌跡１２３の複数の距離点Ａにおける距離値Ｚmeasの正確度の合計値がしきい値ＴＢより小さいかどうかを判定する。

【0035】

以上で、簡易判定処理Ｊ１は終了する。なお、ステップＳ２０１～Ｓ２０３の各処理は、この順に限定されるものではなく、入れ替えてもよい。

【0036】

次に、図６に示したように、結合処理部２３は、簡易判定処理Ｊ１におけるすべての判定条件を満たすかどうかを確認する（ステップＳ１０２）。すなわち、結合処理部２３は、複数の画像領域Ｒのそれぞれの水平方向の画像幅がしきい値ＴＡより小さいこと（ステップＳ２０１）、複数の画像領域Ｒにおいて物体の距離値Ｚmeasに連続性がないこと（ステップＳ２０２）、および複数の画像領域Ｒのそれぞれにおいて、物体の複数の距離値Ｚmeasの正確度の合計値がしきい値ＴＢより小さいこと（ステップＳ２０３）の３つの判定条件を満たすかどうかを確認する。これらの３つの判定条件のうちの少なくとも１つを満たさない場合（ステップＳ１０２において“Ｎ”）には、ステップＳ１０８に進む。

【0037】

ステップＳ１０２において、これらの３つの判定条件のすべてを満たす場合（ステップＳ１０２において“Ｙ”）には、結合処理部２３は、判定処理Ｊ２Ａを行う（ステップＳ１０３）。

【0038】

図１０は、判定処理Ｊ２Ａの一例を表すものである。結合処理部２３は、この判定処理Ｊ２Ａにおいて、ステップＳ２１１～Ｓ２１３に示す３つの判定条件のそれぞれを満たすかどうかを判定する。

【0039】

まず、結合処理部２３は、複数の画像領域Ｒのそれぞれにおいて、物体の垂直方向の実サイズがしきい値ＴＣより小さいかどうかを判定する（ステップＳ２１１）。

【0040】

図１１は、ステップＳ２１１の処理の一例を表すものである。図１１には、一例として軌跡１２１を描いているが、軌跡１２２，１２３についても同様である。雪の粒は降下し、車両１０は前方に向かって走行するので、軌跡１２１は、走行路の路面１１０に近いほど車両１０に近づくように延伸する。結合処理部２３は、ステレオ画像ＰＩＣおよび距離画像ＰＺに基づいて、このような軌跡１２１の、様々な位置での垂直方向の実サイズＳを算出する。そして、結合処理部２３は、この実サイズＳのうちの最大値を選択し、この最大値がしきい値ＴＣより小さいかどうかを判定する。すなわち、画像領域Ｒにおける物体が雪の粒や雨粒などの降下物である場合には、物体の垂直方向の実サイズＳは小さいことが予想される。よって、結合処理部２３は、垂直方向の実サイズＳがしきい値ＴＣより小さいかどうかを判定することにより、その物体が降下物であるかどうかを判定することができる。実サイズＳおよびしきい値ＴＣは、例えばミリメーターを単位とした値である。

【0041】

次に、結合処理部２３は、複数の画像領域Ｒのそれぞれにおいて、物体の距離点Ａの数がしきい値ＴＤより小さいかどうかを判定する（ステップＳ２１２）。

【0042】

例えば、図９の例において、結合処理部２３は、ステレオ画像ＰＩＣおよび距離画像ＰＺに基づいて、軌跡１２１の複数の距離点Ａの数を算出する。そして、結合処理部２３は、この距離点Ａの数がしきい値ＴＤより小さいかどうかを判定する。すなわち、画像領域Ｒにおける物体が雪の粒や雨粒などの降下物である場合には、距離点Ａの数が少ないことが予想される。よって、結合処理部２３は、物体の距離点Ａの数がしきい値ＴＤより小さいかどうか判定することにより、その物体が降下物であるかどうかを判定することができる。

【0043】

同様に、結合処理部２３は、軌跡１２２の複数の距離点Ａの数がしきい値ＴＤより小さいかどうかを判定し、軌跡１２３の複数の距離点Ａの数がしきい値ＴＤより小さいかどうかを判定する。

【0044】

次に、結合処理部２３は、複数の画像領域Ｒのそれぞれにおいて、物体の複数の距離値Ｚmeasの正確度の合計値がしきい値ＴＢより小さいかどうかを判定する（ステップＳ２１３）。このステップＳ２１３の処理は、図７に示した簡易判定処理Ｊ１におけるステップＳ２０３の処理と同じである。

【0045】

以上で、判定処理Ｊ２Ａは終了する。なお、ステップＳ２１１～Ｓ２１３の各処理は、この順に限定されるものではなく、入れ替えてもよい。

【0046】

次に、図６に示したように、結合処理部２３は、判定処理Ｊ２Ａにおけるすべての判定条件を満たすかどうかどうかを確認する（ステップＳ１０４）。すなわち、結合処理部２３は、複数の画像領域Ｒのそれぞれにおいて、物体の垂直方向の実サイズがしきい値ＴＣより小さいこと（ステップＳ２１１）、複数の画像領域Ｒのそれぞれにおいて、物体の距離点Ａの数がしきい値ＴＤより小さいこと（ステップＳ２１２）、および複数の画像領域Ｒのそれぞれにおいて、物体の複数の距離値Ｚmeasの正確度の合計値がしきい値ＴＢより小さいこと（ステップＳ２１３）の３つの判定条件を満たすかどうかを確認する。これらの３つの判定条件のすべてを満たす場合（ステップＳ１０４において“Ｙ”）には、ステップＳ１０７に進む。

【0047】

ステップＳ１０４において、これらの３つの判定条件のうちの少なくとも１つを満たさない場合（ステップＳ１０４において“Ｎ”）には、結合処理部２３は、判定処理Ｊ２Ｂを行う（ステップＳ１０５）。

【0048】

図１２は、判定処理Ｊ２Ｂの一例を表すものである。結合処理部２３は、この判定処理Ｊ２Ｂにおいて、ステップＳ２２１～Ｓ２２４に示す４つの判定条件のそれぞれを満たすかどうかを判定する。

【0049】

まず、結合処理部２３は、複数の画像領域Ｒのそれぞれの水平方向の画像幅がしきい値ＴＡより小さいかどうかを判定する（ステップＳ２２１）。このステップＳ２２１の処理は、図７に示した簡易判定処理Ｊ１におけるステップＳ２０１の処理と同じである。

【0050】

次に、結合処理部２３は、複数の画像領域Ｒのそれぞれにおいて、物体の複数の距離値Ｚmeasの正確度の合計値がしきい値ＴＢより小さいかどうかを判定する（ステップＳ２２２）。このステップＳ２２２の処理は、図７に示した簡易判定処理Ｊ１におけるステップＳ２０３の処理と同じである。

【0051】

次に、結合処理部２３は、複数の画像領域Ｒのそれぞれにおいて、物体の路面からの高さを示す高さ値がしきい値ＴＥより高いかどうかを判定する（ステップＳ２２３）。

【0052】

図１３は、ステップＳ２２３の処理の一例を表すものである。図１３には、一例として軌跡１２１を描いているが、軌跡１２２，１２３についても同様である。軌跡１２１は、走行路の路面１１０に近いほど車両１０に近づくように延伸する。結合処理部２３は、ステレオ画像ＰＩＣおよび距離画像ＰＺに基づいて、軌跡１２１の、軌跡１２１における車両１０から一番近い部分における、走行路の路面１１０からの高さを示す高さ値Ｈを算出する。そして、結合処理部２３は、この高さ値Ｈがしきい値ＴＥより大きいどうかを判定する。すなわち、画像領域Ｒにおける物体が雪の粒や雨粒などの降下物である場合には、物体は浮いているので、高さ値Ｈが大きいことが予想される。よって、結合処理部２３は、高さ値Ｈがしきい値ＴＥより大きいかどうかを判定することにより、その物体が降下物であるかどうかを判定することができる。高さ値Ｈおよびしきい値ＴＥは、例えばミリメーターを単位とした値である。

【0053】

次に、結合処理部２３は、複数の画像領域Ｒの間の水平方向の離隔距離を示す距離値がしきい値ＴＦより大きいかどうかを判定する（ステップＳ２２４）。

【0054】

図１４は、ステップＳ２２４の処理の一例を表すものである。この例では、２つの軌跡１２１，１２２を示している。結合処理部２３は、ステレオ画像ＰＩＣおよび距離画像ＰＺに基づいて、軌跡１２１および軌跡１２２の間の離隔距離を示す距離値Ｄを算出する。そして、この例では、結合処理部２３は、この距離値Ｄがしきい値ＴＦより大きいかどうかを判定する。すなわち、画像領域Ｒにおける物体が雪の粒や雨粒などの降下物である場合には、複数の降下物はそれぞれ別々の降下物であるので、距離値Ｄが大きいことが予想される。よって、結合処理部２３は、距離値Ｄがしきい値ＴＦより大きいかどうかを判定することにより、その物体が降下物であるかどうかを判定することができる。距離値Ｄおよびしきい値ＴＦは、例えばミリメーターを単位とした値である。

【0055】

同様に、結合処理部２３は、軌跡１２２および軌跡１２３の間の水平方向の離隔距離を示す距離値がしきい値ＴＦより大きいかどうかを判定する。

【0056】

このしきい値ＴＦは、固定値であってもよいし、可変値であってもよい。しきい値ＴＦを可変値にする場合には、結合処理部２３は、例えば、物体の複数の距離値Ｚmeasの正確度に基づいて、このしきい値ＴＦを設定することができる。具体的には、結合処理部２３は、軌跡１２１および軌跡１２２の間の離隔距離に対するしきい値ＴＦを算出する場合には、軌跡１２１に係る複数の距離点Ａにおける距離値Ｚmeasの正確度の合計値と、軌跡１２２に係る複数の距離点Ａにおける距離値Ｚmeasの正確度の合計値との和を算出する。そして、結合処理部２３は、この和の値が小さいほどしきい値ＴＦを小さい値に設定し、この和の値が大きいほどしきい値ＴＦを大きい値に設定することができる。これにより、例えば、物体が雪の粒や雨粒などの降下物である場合には、距離点Ａの数が少なく、かつ距離値Ｚmeasの正確度が低いので、しきい値ＴＦが小さい値になる。その結果、距離値Ｄはしきい値ＴＦより大きくなりやすいので、その物体が落下物であると判定されやすい。また、例えば、物体が、先行車両９１の背面部分および側面部分である場合には、距離点Ａの数が多く、かつ距離値Ｚmeasの正確度が高いので、しきい値ＴＦが大きい値になる。その結果、距離値Ｄはしきい値ＴＦより小さくなりやすいので、その物体は落下物ではないと判定されやすい。

【0057】

以上で、判定処理Ｊ２Ｂは終了する。なお、ステップＳ２２１～Ｓ２２４の各処理は、この順に限定されるものではなく、入れ替えてもよい。

【0058】

次に、図６に示したように、結合処理部２３は、判定処理Ｊ２Ｂにおけるすべての判定条件を満たすかどうかを確認する（ステップＳ１０６）。すなわち、結合処理部２３は、複数の画像領域Ｒのそれぞれの水平方向の画像幅がしきい値ＴＡより小さいこと（ステップＳ２２１）、複数の画像領域Ｒのそれぞれにおいて、物体の複数の距離値Ｚmeasの正確度の合計値がしきい値ＴＢより小さいこと（ステップＳ２２２）、複数の画像領域Ｒのそれぞれにおいて、物体の路面からの高さを示す高さ値がしきい値ＴＥより高いこと（ステップＳ２２３）、および複数の画像領域Ｒの間の水平方向の離隔距離を示す距離値がしきい値ＴＦより大きいこと（ステップＳ２２４）の４つの判定条件を満たすかどうかを確認する。これらの４つの判定条件のすべてを満たす場合（ステップＳ１０６において“Ｙ”）には、ステップＳ１０７に進み、これらの４つの判定条件のうちの少なくとも１つを満たさない場合（ステップＳ１０６において“Ｎ”）には、ステップＳ１０８に進む。

【0059】

ステップＳ１０４において、判定処理Ｊ２Ａにおける３つの判定条件のすべてを満たす場合（ステップＳ１０４において“Ｙ”）、またはステップＳ１０６において、判定処理Ｊ２Ｂにおける４つの判定条件のすべてを満たす場合（ステップＳ１０６において“Ｙ”）には、結合処理部２３は、複数の画像領域Ｒのそれぞれの物体は、雪の粒や雨粒などの降下物であると判定する（ステップＳ１０７）。以上で、このフローは終了する。すなわち、この場合には、結合処理部２３は、これらの複数の画像領域Ｒを結合する領域結合処理Ｊを行わない。

【0060】

また、ステップＳ１０２において、簡易判定処理Ｊ１における３つの判定条件のうちの少なくとも１つを満たさない場合（ステップＳ１０２において“Ｎ”）、またはステップＳ１０６において、判定処理Ｊ２Ｂにおける４つの判定条件のうちの少なくとも１つを満たさない場合（ステップＳ１０６において“Ｎ”）には、結合処理部２３は、複数の画像領域Ｒのそれぞれの物体は、雪の粒や雨粒などの降下物ではないと判定する（ステップＳ１０８）。そして、結合処理部２３は、これらの複数の画像領域Ｒを結合する領域結合処理Ｊを行う（ステップＳ１０９）。以上でこのフローは終了する。

【0061】

ここで、判定処理Ｊ２Ａにおける３つの判定条件および判定処理Ｊ２Ｂにおける４つの判定条件は、本開示における「第１の判定条件」の一具体例に対応する。簡易判定処理Ｊ１における３つの判定条件は、本開示における「第２の判定条件」の一具体例に対応する。しきい値ＴＤは、本開示における「第１のしきい値」の一具体例に対応する。ステップＳ２１３におけるしきい値ＴＢは、本開示における「第２のしきい値」の一具体例に対応する。しきい値ＴＣは、本開示における「第３のしきい値」の一具体例に対応する。しきい値ＴＦは、本開示における「第４のしきい値」の一具体例に対応する。しきい値ＴＥは、本開示における「第５のしきい値」の一具体例に対応する。ステップＳ２２２におけるしきい値ＴＢは、本開示における「第６のしきい値」の一具体例に対応する。しきい値ＴＡは、本開示における「第７のしきい値」の一具体例に対応する。

【0062】

以上のように、画像処理装置１では、判定処理Ｊ２Ａにおいて、複数の画像領域Ｒのそれぞれにおいて、物体の垂直方向の実サイズがしきい値ＴＣより小さいことを含む複数の判定条件を満たす場合に、領域結合処理Ｊを回避するようにした。すなわち、画像領域Ｒにおける物体が雪の粒や雨粒などの降下物である場合には、物体の垂直方向の実サイズは小さいことが予想されるので、画像処理装置１では、垂直方向の実サイズがしきい値ＴＣより小さいかどうかを判定するようにした。これにより、画像処理装置１では、判定処理Ｊ２Ａにおける複数の判定条件を満たす場合に、雪の粒や雨粒などの降下物についての複数の画像領域Ｒが結合されないようにすることができるので、適切に画像処理を行うことができる。その結果、車両１０では、これらの降下物に基づいて、例えば車両１０の走行制御を行い、あるいはコンソールモニタに情報を表示するなどの、不適切な動作が行われるおそれを低減することができる。

【0063】

また、画像処理装置１では、判定処理Ｊ２Ｂにおいて、複数の画像領域Ｒの間の水平方向の離隔距離を示す距離値がしきい値ＴＦより大きいことを含む複数の判定条件を満たす場合に、領域結合処理Ｊを回避するようにした。すなわち、画像領域Ｒにおける物体が雪の粒や雨粒などの降下物である場合には、複数の降下物はそれぞれ別々の降下物であるので、距離値Ｄが大きいことが予想されるので、画像処理装置１では、距離値がしきい値ＴＦより大きいかどうかを判定するようにした。これにより、画像処理装置１では、判定処理Ｊ２Ｂにおける複数の判定条件を満たす場合に、雪の粒や雨粒などの降下物についての複数の画像領域Ｒが結合されないようにすることができるので、適切に画像処理を行うことができる。

【0064】

また、画像処理装置１では、判定処理Ｊ２Ａ，Ｊ２Ｂの前に簡易判定処理Ｊ１を行うようにした。簡易判定処理Ｊ１におけるステップＳ２０１の判定条件は、判定処理Ｊ２ＢにおけるステップＳ２２１の判定条件と同じであり、簡易判定処理Ｊ１におけるステップＳ２０３の判定条件は、判定処理Ｊ２ＡにおけるステップＳ２１３の判定条件および判定処理Ｊ２ＢにおけるステップＳ２２２の判定条件と同じである。これにより、画像処理装置１では、これらの判定条件を満たさない場合には、判定処理Ｊ２Ａ，Ｊ２Ｂを行うまでもなく、簡易判定処理Ｊ１において判定することができるので、処理部２０における処理量を少なくすることができる。

【0065】

また、画像処理装置１では、簡易判定処理Ｊ１において、複数の画像領域Ｒにおいて物体の距離値Ｚmeasに連続性がないことを含む複数の判定条件を満たす場合に、判定処理Ｊ２Ａ，Ｊ２Ｂを行うようにした。すなわち、画像領域Ｒにおける物体が雪の粒や雨粒などの降下物である場合には、軌跡間で距離値Ｚmeasが異なるため、距離値Ｚmeasに連続性がないことが予想されるので、画像処理装置１では、物体の距離値Ｚmeasに連続性がないかどうかを判定するようにした。これにより、画像処理装置１では、簡易判定処理Ｊ１における複数の判定条件を満たす場合に、より詳細な判定処理Ｊ２Ａ，Ｊ２Ｂを行い、その判定結果に応じて、雪の粒や雨粒などの降下物についての複数の画像領域Ｒが結合されないようにすることができるので、適切に画像処理を行うことができる。

【0066】

［効果］
以上のように本実施の形態では、判定処理Ｊ２Ａにおいて、複数の画像領域のそれぞれにおいて、物体の垂直方向の実サイズがしきい値ＴＣより小さいことを含む複数の判定条件を満たす場合に、領域結合処理Ｊを回避するようにしたので、適切に画像処理を行うことができる。

【0067】

本実施の形態では、判定処理Ｊ２Ｂにおいて、複数の画像領域の間の水平方向の離隔距離を示す距離値がしきい値ＴＦより大きいことを含む複数の判定条件を満たす場合に、領域結合処理Ｊを回避するようにしたので、適切に画像処理を行うことができる。

【0068】

本実施の形態では、簡易判定処理Ｊ１において、複数の画像領域において物体の距離値に連続性がないことを含む複数の判定条件を満たす場合に、判定処理Ｊ２Ａ，Ｊ２Ｂを行うようにしたので、適切に画像処理を行うことができる。

【0069】

以上、実施の形態を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

【0070】

例えば、上記実施の形態では、図６に示したように、結合処理部２３は、判定処理Ｊ２Ａを行い（ステップＳ１０３）、この判定処理Ｊ２Ａの３つの判定条件のうちの少なくともいずれかを満たさない場合（ステップＳ１０４において“Ｎ”）に、判定処理Ｊ２Ｂを行う（ステップＳ１０５）ようにしたが、これに限定されるものではない。これに代えて、例えば、結合処理部２３は、図１５に示したように、判定処理Ｊ２Ｂを行い（ステップＳ１１３）、この判定処理Ｊ２Ｂの４つの判定条件のうちの少なくとも１つを満たさない場合（ステップＳ１１４において“Ｎ”）に、判定処理Ｊ２Ａを行う（ステップＳ１１５）ようにしてもよい。そして、結合処理部２３は、この判定処理Ｊ２Ａの３つの判定条件のすべてを満たす場合（ステップＳ１１６において“Ｙ”）に、物体が降下物であると判定し（ステップＳ１０７）、この判定処理Ｊ２Ａの３つの判定条件の少なくとも１つを満たさない場合（ステップＳ１１６において“Ｎ”）に、物体は降下物ではないと判定してもよい（ステップＳ１０８）。

【0071】

また、例えば、上記の実施の形態では、簡易判定処理Ｊ１において３つの判定条件を設けたが、これに限定されるものではなく、これに代えて、例えば２つ以下の判定条件を設けてもよいし、４つ以上の判定条件を設けてもよい。同様に、上記の実施の形態では、判定処理Ｊ２Ａにおいて３つの判定条件を設けたが、これに限定されるものではなく、これに代えて、例えば２つ以下の判定条件を設けてもよいし、４つ以上の判定条件を設けてもよい。同様に、上記の実施の形態では、判定処理Ｊ２Ｂにおいて４つの判定条件を設けたが、これに限定されるものではなく、これに代えて、例えば４つ以下の判定条件を設けてもよいし、５つ以上の判定条件を設けてもよい。

【0072】

また、例えば、上記実施の形態では、ステレオカメラ１１が車両１０の前方を撮像するようにしたが、これに限定されるものではなく、例えば、車両１０の側方や後方を撮像してもよい。

【0073】

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

【符号の説明】

【0074】

１…画像処理装置、１０…車両、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、２０…処理部、２１…距離画像生成部、２２…画像領域設定部、２３…結合処理部、１００，１２１～１２３…軌跡、Ａ…距離点、Ｊ…領域結合処理、Ｊ１…簡易判定処理、Ｊ２Ａ，Ｊ２Ｂ…判定処理、ＰＩＣ…ステレオ画像、ＰＬ…左画像、ＰＲ…右画像、ＰＺ…距離画像、Ｒ，Ｒ１，Ｒ２，Ｒ２１～Ｒ２３…画像領域、ＴＡ～ＴＦ…しきい値、Ｚmeas…距離値。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】