ホーム > 特許ランキング > 株式会社ＳＵＢＡＲＵ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024113830
(43)【公開日】2024-08-23
(54)【発明の名称】画像処理装置、画像処理方法およびプログラム
(51)【国際特許分類】
G06T 7/593 20170101AFI20240816BHJP
G06T 1/00 20060101ALI20240816BHJP
G06T 7/00 20170101ALI20240816BHJP
G01C 3/06 20060101ALI20240816BHJP
【ＦＩ】
G06T7/593
G06T1/00 330B
G06T7/00 650B
G01C3/06 110V
G01C3/06 140
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023019057
(22)【出願日】2023-02-10
(71)【出願人】
【識別番号】000005348
【氏名又は名称】株式会社ＳＵＢＡＲＵ
(74)【代理人】
【識別番号】100122426
【弁理士】
【氏名又は名称】加藤 清志
(72)【発明者】
【氏名】高橋 直樹
(72)【発明者】
【氏名】新井 秀治
【テーマコード（参考）】
2F112
5B057
5L096
【Ｆターム（参考）】
2F112AC03
2F112AC06
2F112BA06
2F112CA05
2F112DA28
2F112DA32
2F112FA35
2F112FA38
2F112FA45
2F112GA01
5B057AA16
5B057CA08
5B057CA13
5B057CB08
5B057CB13
5B057CC02
5B057CE05
5B057DA07
5B057DA08
5B057DB02
5B057DB09
5L096AA06
5L096BA04
5L096CA05
5L096EA06
5L096FA66
5L096FA69
5L096GA51
5L096HA04
(57)【要約】
【課題】レンズグレアによるゴースト距離の発生を抑制し、有効な距離情報を確保する。
【解決手段】長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体ＩＢを含む周辺領域が撮像された画素領域を低解像度化する低解像度化部１３０と、低解像度化された長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する検出部１４０と、低解像度化された長時間露光距離画像内のサチュレーションが生じている画素領域における特定の物体の移動量から特定の物体の移動距離を推定する推定部１５０と、推定された特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、長時間露光距離画像においてサチュレーションが生じている画素領域については、サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する画像処理部と、を備える。
【選択図】図１
【解決手段】長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体ＩＢを含む周辺領域が撮像された画素領域を低解像度化する低解像度化部１３０と、低解像度化された長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する検出部１４０と、低解像度化された長時間露光距離画像内のサチュレーションが生じている画素領域における特定の物体の移動量から特定の物体の移動距離を推定する推定部１５０と、推定された特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、長時間露光距離画像においてサチュレーションが生じている画素領域については、サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する画像処理部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
所定の間隔を有して配置され、長時間露光により画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短長時間露光距離画像生成部と、
前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像された画素領域の画素数を圧縮し、低解像度化する低解像度化部と、
低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する検出部と、
前記検出部の検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する推定部と、
該推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する画像処理部と、
を備えたことを特徴とする画像処理装置。
所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短長時間露光距離画像生成部と、
前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像された画素領域の画素数を圧縮し、低解像度化する低解像度化部と、
低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する検出部と、
前記検出部の検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する推定部と、
該推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する画像処理部と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記画像処理部は、前記長時間露光距離画像において前記サチュレーションが生じている画素領域と前記短時間露光距離画像において前記前方車両の発光体が撮像された画素領域とが重なる領域については、前記短時間露光距離画像において前記前方車両の発光体が撮像された画素領域の距離情報を用いて、距離画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記画像処理部は、前記長時間露光距離画像において前記サチュレーションが生じている画素領域以外の前記画素領域については、前記長時間露光距離画像あるいは前記短時間露光距離画像の距離情報を用いて、距離画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記画像処理部は、天候状態に応じて、前記所定の閾値の範囲および画像の圧縮画素の大きさを可変することを特徴とする請求項１に記載の画像処理装置。
【請求項5】
前記画像処理部は、画像に対向車両の発光体や道路周辺の発光体による光の映り込みがあった場合には、前記発光体の前記サチュレーションを含む前記光の映り込みを除外した前記長時間露光距離画像あるいは前記短時間露光距離画像から前記距離画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項6】
長時間露光距離画像生成部と、短時間露光距離画像生成部と、低解像度化部と、検出部と、推定部と、画像処理部と、を備えた画像処理装置における画像処理方法であって、
前記長時間露光距離画像生成部が、所定の間隔を有して配置され、長時間露光により画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する第１の工程と、
前記短時間露光距離画像生成部が、所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する第２の工程と、
前記低解像度化部が、前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像されたブロックの画素数を圧縮し、低解像度化する第３の工程と、
前記検出部が、低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する第４の工程と、
前記推定部が、前記第４の工程における検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する第５の工程と、
前記画像処理部が、前記第５の工程において推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する第６の工程と、
を備えたことを特徴とする画像処理方法。
前記長時間露光距離画像生成部が、所定の間隔を有して配置され、長時間露光により画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する第１の工程と、
前記短時間露光距離画像生成部が、所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する第２の工程と、
前記低解像度化部が、前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像されたブロックの画素数を圧縮し、低解像度化する第３の工程と、
前記検出部が、低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する第４の工程と、
前記推定部が、前記第４の工程における検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する第５の工程と、
前記画像処理部が、前記第５の工程において推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する第６の工程と、
を備えたことを特徴とする画像処理方法。
【請求項7】
長時間露光距離画像生成部と、短時間露光距離画像生成部と、低解像度化部と、検出部と、推定部と、画像処理部と、を備えた画像処理装置における画像処理方法をコンピュータに実行させるためのプログラムであって、
前記長時間露光距離画像生成部が、所定の間隔を有して配置され、長時間露光により画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する第１の工程と、
前記短時間露光距離画像生成部が、所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する第２の工程と、
前記低解像度化部が、前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像されたブロックの画素数を圧縮し、低解像度化する第３の工程と、
前記検出部が、低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する第４の工程と、
前記推定部が、前記第４の工程における検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する第５の工程と、
前記画像処理部が、前記第５の工程において推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する第６の工程と、
をコンピュータに実行させるためのプログラム。
前記長時間露光距離画像生成部が、所定の間隔を有して配置され、長時間露光により画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する第１の工程と、
前記短時間露光距離画像生成部が、所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する第２の工程と、
前記低解像度化部が、前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像されたブロックの画素数を圧縮し、低解像度化する第３の工程と、
前記検出部が、低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する第４の工程と、
前記推定部が、前記第４の工程における検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する第５の工程と、
前記画像処理部が、前記第５の工程において推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する第６の工程と、
をコンピュータに実行させるためのプログラム。
【請求項8】
１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサに通信可能に接続される１つまたは複数のメモリと、
を備え、
前記１つまたは複数のプロセッサは、
所定の間隔を有して配置され、長時間露光により画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短長時間露光距離画像生成部と、
前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像された画素領域の画素数を圧縮し、低解像度化する低解像度化部と、
低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する検出部と、
前記検出部の検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する推定部と、
該推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する画像処理部と、
を備えることを特徴とする画像処理装置。
を備え、
前記１つまたは複数のプロセッサは、
所定の間隔を有して配置され、長時間露光により画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短長時間露光距離画像生成部と、
前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像された画素領域の画素数を圧縮し、低解像度化する低解像度化部と、
低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する検出部と、
前記検出部の検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する推定部と、
該推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する画像処理部と、
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、自車両の前方に走行する車両等を検出し、先行車両との衝突回避（衝突回避制御）、あるいは、先行車両との車間距離を安全な距離に保つ制御（クルーズコントロール）が実用化されている。
【0003】
この種の技術では、自車両前方の車外環境を、例えば、撮像装置により得られた画像情報により把握して、適切な制御が実行される。
上記制御を適切に実行するためには、自車両の前方に存在する車両等との距離を精度よく把握することが重要な要素となる。
そのため、例えば、ステレオカメラにおいて取得される右画像と、左画像とにおいて撮像された物体の視差に応じて距離を計算する方法が知られている。
上記制御を適切に実行するためには、自車両の前方に存在する車両等との距離を精度よく把握することが重要な要素となる。
そのため、例えば、ステレオカメラにおいて取得される右画像と、左画像とにおいて撮像された物体の視差に応じて距離を計算する方法が知られている。
【0004】
また、更なる距離の計測精度を図るため、長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、長時間露光距離画像と短時間露光距離画像を合成して距離画像を生成する距離画像生成部とを備える画像処理装置が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１－１５６５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１に記載の技術では、画素単位での計算のみでマスク画像を生成しているため、例えば、画素を超えた乱反射（グレア）が発生した場合、グレア位置に誤った距離（ゴースト距離）が発生する虞があった。
【0007】
そこで、本発明は上述の課題に鑑みてなされたものであり、レンズグレアによるゴースト距離の発生を抑制し、有効な距離情報を確保する画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
形態１；本発明の１またはそれ以上の実施形態は、所定の間隔を有して配置され、長時間露光により画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短長時間露光距離画像生成部と、前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像された画素領域の画素数を圧縮し、低解像度化する低解像度化部と、低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する検出部と、前記検出部の検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する推定部と、該推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する画像処理部と、を備えたことを特徴とする画像処理装置を提案している。
【0009】
形態２；本発明の１またはそれ以上の実施形態は、前記画像処理部は、前記長時間露光距離画像において前記サチュレーションが生じている画素領域と前記短時間露光距離画像において前記前方車両の発光体が撮像された画素領域とが重なる領域については、前記短時間露光距離画像において前記前方車両の発光体が撮像された画素領域の距離情報を用いて、距離画像を生成する画像処理装置を提案している。
【0010】
形態３；本発明の１またはそれ以上の実施形態は、前記画像処理部は、前記長時間露光距離画像において前記サチュレーションが生じている画素領域以外の前記画素領域については、前記長時間露光距離画像あるいは前記短時間露光距離画像の距離情報を用いて、距離画像を生成する画像処理装置を提案している。
【0011】
形態４；本発明の１またはそれ以上の実施形態は、前記画像処理部は、天候状態に応じて、前記所定の閾値の範囲および画像の圧縮画素の大きさを可変する画像処理装置を提案している。
【0012】
形態５；本発明の１またはそれ以上の実施形態は、前記画像処理部は、画像に対向車両の発光体や道路周辺の発光体による光の映り込みがあった場合には、前記発光体の前記サチュレーションを含む前記光の映り込みを除外した前記長時間露光距離画像あるいは前記短時間露光距離画像から前記距離画像を生成する画像処理装置を提案している。
【0013】
形態６；本発明の１またはそれ以上の実施形態は、長時間露光距離画像生成部と、短時間露光距離画像生成部と、低解像度化部と、検出部と、推定部と、画像処理部と、を備えた画像処理装置における画像処理方法であって、前記長時間露光距離画像生成部が、所定の間隔を有して配置され、長時間露光により画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する第１の工程と、前記短時間露光距離画像生成部が、所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する第２の工程と、前記低解像度化部が、前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像されたブロックの画素数を圧縮し、低解像度化する第３の工程と、前記検出部が、低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する第４の工程と、前記推定部が、前記第４の工程における検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する第５の工程と、前記画像処理部が、前記第５の工程において推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する第６の工程と、を備えたことを特徴とする画像処理方法を提案している。
【0014】
形態７；本発明の１またはそれ以上の実施形態は、長時間露光距離画像生成部と、短時間露光距離画像生成部と、低解像度化部と、検出部と、推定部と、画像処理部と、を備えた画像処理装置における画像処理方法をコンピュータに実行させるためのプログラムであって、前記長時間露光距離画像生成部が、所定の間隔を有して配置され、長時間露光により画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する第１の工程と、前記短時間露光距離画像生成部が、所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する第２の工程と、前記低解像度化部が、前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像されたブロックの画素数を圧縮し、低解像度化する第３の工程と、前記検出部が、低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する第４の工程と、前記推定部が、前記第４の工程における検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する第５の工程と、前記画像処理部が、前記第５の工程において推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する第６の工程と、をコンピュータに実行させるためのプログラムを提案している。
【0015】
形態８；本発明の１またはそれ以上の実施形態は、１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサに通信可能に接続される１つまたは複数のメモリと、を備え、前記１つまたは複数のプロセッサは、所定の間隔を有して配置され、長時間露光により画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、所定の間隔を有して配置され、短時間露光により画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短長時間露光距離画像生成部と、前記長時間露光距離画像と前記短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像された画素領域の画素数を圧縮し、低解像度化する低解像度化部と、低解像度化された前記長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する検出部と、前記検出部の検出結果に基づいて、低解像度化された前記長時間露光距離画像内の前記サチュレーションが生じている画素領域における特定の物体の移動量から前記特定の物体の移動距離を推定する推定部と、該推定された前記特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、前記長時間露光距離画像において前記サチュレーションが生じている画素領域については、前記サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する画像処理部と、を備えることを特徴とする画像処理装置を提案している。
【発明の効果】
【0016】
本発明の１またはそれ以上の実施形態によれば、レンズグレアによるゴースト距離の発生を抑制し、有効な距離情報を確保することができるという効果がある。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係る画像処理装置の構成を示す図である。
【図2A】本発明の実施形態に係る前方車両を長時間露光で撮像した際の画像を例示する図である。
【図2B】本発明の実施形態に係る前方車両を短時間露光で撮像した際の画像を例示する図である。
【図4】本発明の実施形態に係る画像処理装置の処理フロー図である。
【発明を実施するための形態】
【0018】
【0019】
＜画像処理装置１について＞
本実施形態に係る画像処理装置１は、図１に示すように、プロセッサ１００と、メモリ２００と、を含んで構成されている。
本実施形態に係る画像処理装置１は、図１に示すように、プロセッサ１００と、メモリ２００と、を含んで構成されている。
【0020】
プロセッサ１００は、各種の画像処理を実行する。
プロセッサ１００は、本実施形態においては、例えば、長時間露光距離画像の生成処理、短時間露光距離画像の生成処理、画像の低解像度化処理、低解像度画像からのサチュレーション領域検出処理、特定の物体の移動距離推定処理、距離画像の生成処理を含む画像処理を実行する。
なお、各処理の詳細については、後述する。
プロセッサ１００は、本実施形態においては、例えば、長時間露光距離画像の生成処理、短時間露光距離画像の生成処理、画像の低解像度化処理、低解像度画像からのサチュレーション領域検出処理、特定の物体の移動距離推定処理、距離画像の生成処理を含む画像処理を実行する。
なお、各処理の詳細については、後述する。
【0021】
メモリ２００は、ＲＯＭ（Read Only Memory）あるいはＲＡＭ（Random Access Memory）等から構成され、プログラムや各種データを保存、格納する。
メモリ２００は、本実施形態においては、記憶部２１０を備え、例えば、制御プログラムや生成された画像データ等を保存、格納する。
メモリ２００は、本実施形態においては、記憶部２１０を備え、例えば、制御プログラムや生成された画像データ等を保存、格納する。
【0022】
本実施形態に係る画像処理装置１に画像を供給する撮像装置は、図１に示すように、撮像装置１０と、撮像装置２０とを含んで構成されている。
撮像装置１０と、撮像装置２０とは、例えば、自車両内部のフロントガラス上部に、車幅方向に対して所定の間隔を有して配置されているカメラである。
撮像装置１０と、撮像装置２０とは、１組のステレオカメラを構成し、撮像装置１０において撮像された画像と、撮像装置２０において撮像された画像に視差があることを利用し、距離が測定され、距離画像が生成される。
ここで、距離画像とは、例えば、距離に応じた色づけがなされた画像であり、距離画像における距離は、撮像装置１０、２０から測定対象とされている特定の物体までの距離である。
撮像装置１０は、長時間露光カメラ１０Ａと、短時間露光カメラ１０Ｂと、を備え、撮像装置２０は、長時間露光カメラ２０Ａと、短時間露光カメラ２０Ｂと、を備えている。
長時間露光カメラ１０Ａは、短時間露光カメラ１０Ｂの露光時間よりも長い時間露光し、画像を撮像する。
長時間露光カメラ１０Ａで撮像された長時間露光画像は、例えば、図２Ａに示すような画像となり、短時間露光カメラ１０Ｂで撮像された短時間露光画像は、例えば、図２Ｂに示すような画像となる。
長時間露光カメラ１０Ａで撮像された長時間露光画像は、例えば、図２Ａに示すように、前方車両後部の発光体から生じるサチュレーションが広範囲に確認できる画像である。一方で、短時間露光カメラ１０Ｂで撮像された短時間露光画像は、例えば、図２Ｂに示すように、前方車両後部の発光体から生じるサチュレーションが狭い範囲に確認できる画像となるという特徴を有している。
撮像装置１０と、撮像装置２０とは、例えば、自車両内部のフロントガラス上部に、車幅方向に対して所定の間隔を有して配置されているカメラである。
撮像装置１０と、撮像装置２０とは、１組のステレオカメラを構成し、撮像装置１０において撮像された画像と、撮像装置２０において撮像された画像に視差があることを利用し、距離が測定され、距離画像が生成される。
ここで、距離画像とは、例えば、距離に応じた色づけがなされた画像であり、距離画像における距離は、撮像装置１０、２０から測定対象とされている特定の物体までの距離である。
撮像装置１０は、長時間露光カメラ１０Ａと、短時間露光カメラ１０Ｂと、を備え、撮像装置２０は、長時間露光カメラ２０Ａと、短時間露光カメラ２０Ｂと、を備えている。
長時間露光カメラ１０Ａは、短時間露光カメラ１０Ｂの露光時間よりも長い時間露光し、画像を撮像する。
長時間露光カメラ１０Ａで撮像された長時間露光画像は、例えば、図２Ａに示すような画像となり、短時間露光カメラ１０Ｂで撮像された短時間露光画像は、例えば、図２Ｂに示すような画像となる。
長時間露光カメラ１０Ａで撮像された長時間露光画像は、例えば、図２Ａに示すように、前方車両後部の発光体から生じるサチュレーションが広範囲に確認できる画像である。一方で、短時間露光カメラ１０Ｂで撮像された短時間露光画像は、例えば、図２Ｂに示すように、前方車両後部の発光体から生じるサチュレーションが狭い範囲に確認できる画像となるという特徴を有している。
【0023】
＜プロセッサ１００の構成＞
図１に示すように、本実施形態に係る画像処理装置１のプロセッサ１００は、長時間露光距離画像生成部１１０と、短時間露光距離画像生成部１２０と、低解像度化部１３０と、検出部１４０と、推定部１５０と、画像処理部１６０と、制御部１７０と、を含んで構成されている。
図１に示すように、本実施形態に係る画像処理装置１のプロセッサ１００は、長時間露光距離画像生成部１１０と、短時間露光距離画像生成部１２０と、低解像度化部１３０と、検出部１４０と、推定部１５０と、画像処理部１６０と、制御部１７０と、を含んで構成されている。
【0024】
長時間露光距離画像生成部１１０は、長時間露光により画像を撮像する長時間露光カメラ１０Ａ（第１の長時間露光カメラ）からの第１の長時間露光画像と長時間露光カメラ２０Ａ（第２の長時間露光カメラ）からの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する。
長時間露光距離画像生成部１１０において生成された長時間露光距離画像は、バスラインＢＬを介して、後述する制御部１７０に出力され、制御部１７０は、一時的に、入力した長時間露光距離画像を記憶部２１０に保存する。
長時間露光距離画像生成部１１０において生成された長時間露光距離画像は、バスラインＢＬを介して、後述する制御部１７０に出力され、制御部１７０は、一時的に、入力した長時間露光距離画像を記憶部２１０に保存する。
【0025】
短時間露光距離画像生成部１２０は、短時間露光により画像を撮像する短時間露光カメラ１０Ｂ（第１の短時間露光カメラ）からの第１の短時間露光画像と短時間露光カメラ２０Ｂ（第２の短時間露光カメラ）からの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する。
短時間露光距離画像生成部１２０において生成された短時間露光距離画像は、バスラインＢＬを介して、後述する制御部１７０に出力され、制御部１７０は、一時的に、入力した短時間露光距離画像を記憶部２１０に保存する。
短時間露光距離画像生成部１２０において生成された短時間露光距離画像は、バスラインＢＬを介して、後述する制御部１７０に出力され、制御部１７０は、一時的に、入力した短時間露光距離画像を記憶部２１０に保存する。
【0026】
低解像度化部１３０は、長時間露光距離画像と短時間露光距離画像とにおいて、前方車両の発光体を含む周辺領域が撮像された画素領域の画素数を圧縮し、長時間露光距離画像と短時間露光距離画像とを低解像度化する。
図３Ａ、図３Ｂは、例えば、長時間露光距離画像と短時間露光距離画像とにおいて、前方車両の発光体を中心とした６００画素×３００画素の画素領域を６画素×３画素の画素領域に圧縮して、低解像度化した場合の画像を模式的に示したものである。
図３Ａにおいて、薄いグラデーションを施した画素領域ＩＳＡは、低解像度化された長時間露光距離画像において、発光体ＩＢのサチュレーションが観測される画素領域である。
図３Ｂにおいて、濃いグラデーションを施した画素領域ＤＳＡは、低解像度化された長時間露光距離画像において、発光体ＩＢのサチュレーションが観測される画素領域である。
低解像度化部１３０において生成された画像は、バスラインＢＬを介して、後述する制御部１７０に出力され、制御部１７０は、一時的に、入力した生成画像を記憶部２１０に保存する。
なお、低解像度化の手法としては、最大輝度の画素を採用する手法や平滑化手法などが挙げられるが、それらの組み合わせや他の手法であってもよい。
図３Ａ、図３Ｂは、例えば、長時間露光距離画像と短時間露光距離画像とにおいて、前方車両の発光体を中心とした６００画素×３００画素の画素領域を６画素×３画素の画素領域に圧縮して、低解像度化した場合の画像を模式的に示したものである。
図３Ａにおいて、薄いグラデーションを施した画素領域ＩＳＡは、低解像度化された長時間露光距離画像において、発光体ＩＢのサチュレーションが観測される画素領域である。
図３Ｂにおいて、濃いグラデーションを施した画素領域ＤＳＡは、低解像度化された長時間露光距離画像において、発光体ＩＢのサチュレーションが観測される画素領域である。
低解像度化部１３０において生成された画像は、バスラインＢＬを介して、後述する制御部１７０に出力され、制御部１７０は、一時的に、入力した生成画像を記憶部２１０に保存する。
なお、低解像度化の手法としては、最大輝度の画素を採用する手法や平滑化手法などが挙げられるが、それらの組み合わせや他の手法であってもよい。
【0027】
検出部１４０は、低解像度化された長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する。
検出部１４０は、例えば、図３Ａの例では、低解像度化された長時間露光距離画像において、薄いグラデーションを施した画素領域ＩＳＡを検出する。
検出部１４０において検出された画素領域ＩＳＡの情報は、バスラインＢＬを介して、後述する制御部１７０に出力され、制御部１７０は、一時的に、入力した画素領域ＩＳＡの情報は、記憶部２１０に保存される。
検出部１４０は、例えば、図３Ａの例では、低解像度化された長時間露光距離画像において、薄いグラデーションを施した画素領域ＩＳＡを検出する。
検出部１４０において検出された画素領域ＩＳＡの情報は、バスラインＢＬを介して、後述する制御部１７０に出力され、制御部１７０は、一時的に、入力した画素領域ＩＳＡの情報は、記憶部２１０に保存される。
【0028】
推定部１５０は、検出部１４０の検出結果に基づいて、低解像度化された長時間露光距離画像内のサチュレーションが生じている画素領域ＩＳＡにおける特定の物体の移動量から特定の物体の移動距離を推定する。
推定部１５０において推定された特定の物体の移動距離情報は、バスラインＢＬを介して、後述する制御部１７０に出力され、制御部１７０は、一時的に、入力した特定の物体の推定移動距離情報を記憶部２１０に保存する。
推定部１５０において推定された特定の物体の移動距離情報は、バスラインＢＬを介して、後述する制御部１７０に出力され、制御部１７０は、一時的に、入力した特定の物体の推定移動距離情報を記憶部２１０に保存する。
【0029】
画像処理部１６０は、推定部１５０において推定された特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、長時間露光距離画像においてサチュレーションが生じている画素領域ＩＳＡについては、サチュレーションが生じている画素領域ＩＳＡの距離情報を用いて、距離画像を生成する。
ここで、所定の閾値の範囲とは、想定される制御対象としての物体の種別と他の外乱要素を考慮して、例えば、推定された特定の物体の移動距離と自車両の実移動距離との差が±１ｍの場合を例示することができる。
画像処理部１６０は、長時間露光距離画像においてサチュレーションが生じている画素領域ＩＳＡと短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域ＤＳＡとが重なる領域については、短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域ＤＳＡの距離情報を用いて、距離画像を生成する。
画像処理部１６０は、長時間露光距離画像においてサチュレーションが生じている画素領域ＩＳＡ以外の画素領域については、長時間露光距離画像あるいは短時間露光距離画像の距離情報を用いて、距離画像を生成する。
画像処理部１６０は、天候状態に応じて、所定の閾値の範囲および画像の圧縮画素の大きさを可変する。
画像処理部１６０は、画像に対向車両の発光体ＩＢや道路周辺の発光体ＩＢによる光の映り込みがあった場合には、サチュレーションを含む光の映り込みを除外した長時間露光距離画像あるいは短時間露光距離画像から距離画像を生成する。
ここで、所定の閾値の範囲とは、想定される制御対象としての物体の種別と他の外乱要素を考慮して、例えば、推定された特定の物体の移動距離と自車両の実移動距離との差が±１ｍの場合を例示することができる。
画像処理部１６０は、長時間露光距離画像においてサチュレーションが生じている画素領域ＩＳＡと短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域ＤＳＡとが重なる領域については、短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域ＤＳＡの距離情報を用いて、距離画像を生成する。
画像処理部１６０は、長時間露光距離画像においてサチュレーションが生じている画素領域ＩＳＡ以外の画素領域については、長時間露光距離画像あるいは短時間露光距離画像の距離情報を用いて、距離画像を生成する。
画像処理部１６０は、天候状態に応じて、所定の閾値の範囲および画像の圧縮画素の大きさを可変する。
画像処理部１６０は、画像に対向車両の発光体ＩＢや道路周辺の発光体ＩＢによる光の映り込みがあった場合には、サチュレーションを含む光の映り込みを除外した長時間露光距離画像あるいは短時間露光距離画像から距離画像を生成する。
【0030】
制御部１７０は、図示しないＲＯＭ（Random Access Memory）に格納された制御プログラムに基づいて、画像処理装置１全体の動作を制御する。
制御部１７０は、本実施形態においては、例えば、長時間露光距離画像生成部１１０による長時間露光距離画像の生成処理、短時間露光距離画像生成部１２０による短時間露光距離画像の生成処理、低解像度化部１３０による画像の低解像度化処理、検出部１４０による低解像度画像からのサチュレーション領域検出処理、推定部１５０による特定の物体の移動距離推定処理、画像処理部１６０による距離画像の生成処理を含む画像処理制御を実行する。
制御部１７０は、本実施形態においては、例えば、長時間露光距離画像生成部１１０による長時間露光距離画像の生成処理、短時間露光距離画像生成部１２０による短時間露光距離画像の生成処理、低解像度化部１３０による画像の低解像度化処理、検出部１４０による低解像度画像からのサチュレーション領域検出処理、推定部１５０による特定の物体の移動距離推定処理、画像処理部１６０による距離画像の生成処理を含む画像処理制御を実行する。
【0031】
＜画像処理装置１の処理＞
図４を用いて、本実施形態に係る画像処理装置１の処理について説明する。
図４を用いて、本実施形態に係る画像処理装置１の処理について説明する。
【0032】
制御部１７０は、長時間露光距離画像生成部１１０に対して、長時間露光距離画像を生成する長時間露光距離画像生成処理を実行するよう制御を行う（ステップＳ１１０）。
長時間露光距離画像生成部１１０において生成された長時間露光距離画像は、バスラインＢＬを介して、制御部１７０に出力され、制御部１７０は、一時的に、入力した長時間露光距離画像を記憶部２１０に保存する。
長時間露光距離画像生成部１１０において生成された長時間露光距離画像は、バスラインＢＬを介して、制御部１７０に出力され、制御部１７０は、一時的に、入力した長時間露光距離画像を記憶部２１０に保存する。
【0033】
制御部１７０は、短時間露光距離画像生成部１２０に対して、短時間露光距離画像を生成する短時間露光距離画像生成処理を実行するよう制御を行う（ステップＳ１２０）。
短時間露光距離画像生成部１２０において生成された短時間露光距離画像は、バスラインＢＬを介して、制御部１７０に出力され、制御部１７０は、一時的に、入力した短時間露光距離画像を記憶部２１０に保存する。
なお、ステップＳ１１０およびＳ１２０は、同時並行的に処理が実行させる。
短時間露光距離画像生成部１２０において生成された短時間露光距離画像は、バスラインＢＬを介して、制御部１７０に出力され、制御部１７０は、一時的に、入力した短時間露光距離画像を記憶部２１０に保存する。
なお、ステップＳ１１０およびＳ１２０は、同時並行的に処理が実行させる。
【0034】
制御部１７０は、長時間露光距離画像生成部１１０により生成された長時間露光距離画像および短時間露光距離画像生成部１２０により生成された短時間露光距離画像を記憶部２１０から読み出して、低解像度化部１３０に出力し、低解像度化部１３０に長時間露光距離画像および短時間露光距離画像を低解像度化する低解像度化処理を実行するよう制御する（ステップＳ１３０）。
低解像度化部１３０において生成された画像は、バスラインＢＬを介して、制御部１７０に出力され、制御部１７０は、一時的に、入力した低解像度化画像を記憶部２１０に保存する。
低解像度化部１３０において生成された画像は、バスラインＢＬを介して、制御部１７０に出力され、制御部１７０は、一時的に、入力した低解像度化画像を記憶部２１０に保存する。
【0035】
制御部１７０は、低解像度化部１３０により、低解像度化された長時間露光距離画像を記憶部２１０から読み出して、検出部１４０に出力し、検出部１４０に低解像度化された長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する検出処理を実行するよう制御する（ステップＳ１４０）。
検出部１４０において検出された画素領域ＩＳＡの情報は、バスラインＢＬを介して、制御部１７０に出力され、制御部１７０は、一時的に、入力した画素領域ＩＳＡの情報は、記憶部２１０に保存される。
検出部１４０において検出された画素領域ＩＳＡの情報は、バスラインＢＬを介して、制御部１７０に出力され、制御部１７０は、一時的に、入力した画素領域ＩＳＡの情報は、記憶部２１０に保存される。
【0036】
制御部１７０は、検出部１４０において検出された画素領域ＩＳＡの情報を記憶部２１０から読み出して、推定部１５０に出力し、推定部１５０に、検出された画素領域ＩＳＡの情報に基づいて、低解像度化された長時間露光距離画像内のサチュレーションが生じている画素領域ＩＳＡにおける特定の物体の移動量から特定の物体の移動距離を推定する移動距離推定処理を実行するよう制御する（ステップＳ１５０）。
推定部１５０において推定された特定の物体の移動距離情報は、バスラインＢＬを介して、制御部１７０に出力され、制御部１７０は、一時的に、入力した特定の物体の推定移動距離情報を記憶部２１０に保存する。
推定部１５０において推定された特定の物体の移動距離情報は、バスラインＢＬを介して、制御部１７０に出力され、制御部１７０は、一時的に、入力した特定の物体の推定移動距離情報を記憶部２１０に保存する。
【0037】
制御部１７０は、長時間露光距離画像生成部１１０により生成された長時間露光距離画像および短時間露光距離画像生成部１２０により生成された短時間露光距離画像、推定部１５０において推定された特定の物体の移動距離情報を記憶部２１０から読み出して、画像処理部１６０に、推定された特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、長時間露光距離画像においてサチュレーションが生じている画素領域ＩＳＡについては、サチュレーションが生じている画素領域ＩＳＡの距離情報を用いて、距離画像を生成する距離画像生成処理を実行するよう制御し、画像処理部１６０の処理結果を運転制御部に出力して、すべての処理を終了する（ステップＳ１６０）。
【0038】
＜作用・効果＞
以上、説明したように、本実施形態に係る画像処理装置１は、長時間露光距離画像と短時間露光距離画像とにおいて、前方車両の発光体ＩＢを含む周辺領域が撮像された画素領域の画素数を圧縮し、低解像度化する低解像度化部１３０を備える。
前方車両の発光体ＩＢが撮像された距離画像には、サチュレーションとサチュレーションではない光が膨張した画像も撮像される。
この膨張した光の画像を含む距離画像から距離を求めるとゴースト距離が発生する。
一方で、長時間露光距離画像と短時間露光距離画像とにおいて、前方車両の発光体ＩＢを含む周辺領域が撮像された画素領域の画素数を圧縮し、低解像度化すると、膨張した光を捉えた画素を拡大して、サチュレーションか否かを判定できる。
そのため、距離画像を低解像度化することにより、サチュレーションか否かを的確に判定して、ゴースト距離の発生を抑制することができる。
また、本実施形態に係る画像処理装置１は、低解像度化された長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する検出部１４０を備える。
つまり、検出部１４０は、低解像度化された長時間露光距離画像の画素領域を対象として、サチュレーションが生じている画素領域を検出する。
そのため、低解像度化された長時間露光距離画像の画素領域をサチュレーションが生じている画素領域とサチュレーションが生じていない画素領域とに明確に識別して、サチュレーションが生じている画素領域を的確に検出することができる。
また、本実施形態に係る画像処理装置１は、推定された特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、長時間露光距離画像においてサチュレーションが生じている画素領域については、サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する画像処理部１６０を備える。
ここで、推定された特定の物体の移動距離とは、低解像度化された長時間露光距離画像内のサチュレーションが生じている画素領域における特定の物体の移動量から特定の物体の移動距離を推定したものである。
つまり、推定された特定の物体の移動距離と自車両の実移動距離との乖離が大きい場合には、サチュレーションが距離の算出に影響を与えている度合いが大きい。
そのため、推定された特定の物体の移動距離と自車両の実移動距離との乖離が所定の閾値の範囲内である場合、すなわち、サチュレーションが距離の算出に影響を与えている度合いが小さく、サチュレーションが生じている画素領域の距離情報を距離画像の生成にあたって用いても信頼度を損ねない場合には、サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する。
これにより、サチュレーションが発生しているような状況であっても、必要な距離情報を確保することができる。
また、所定の閾値の範囲は、自車両が走行する走行路前方の対象物、具体的には、発光体ＩＢを備える前方車両、周辺の光を反射して撮像される歩行者や動物等との衝突を避けるためのものでもある。
特に、周辺の光を反射して撮像される歩行者や動物等から得られる距離に関する情報量は、少ない。
そのため、推定された特定の物体の移動距離と自車両の実移動距離との乖離が所定の閾値の範囲内である場合には、サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成することにより、自車両が走行する走行路前方の対象物との衝突を回避することができる。
したがって、本実施形態に係る画像処理装置１によれば、レンズグレアによるゴースト距離の発生を抑制し、有効な距離情報を確保することができる。
以上、説明したように、本実施形態に係る画像処理装置１は、長時間露光距離画像と短時間露光距離画像とにおいて、前方車両の発光体ＩＢを含む周辺領域が撮像された画素領域の画素数を圧縮し、低解像度化する低解像度化部１３０を備える。
前方車両の発光体ＩＢが撮像された距離画像には、サチュレーションとサチュレーションではない光が膨張した画像も撮像される。
この膨張した光の画像を含む距離画像から距離を求めるとゴースト距離が発生する。
一方で、長時間露光距離画像と短時間露光距離画像とにおいて、前方車両の発光体ＩＢを含む周辺領域が撮像された画素領域の画素数を圧縮し、低解像度化すると、膨張した光を捉えた画素を拡大して、サチュレーションか否かを判定できる。
そのため、距離画像を低解像度化することにより、サチュレーションか否かを的確に判定して、ゴースト距離の発生を抑制することができる。
また、本実施形態に係る画像処理装置１は、低解像度化された長時間露光距離画像の画素領域において、サチュレーションが生じている画素領域を検出する検出部１４０を備える。
つまり、検出部１４０は、低解像度化された長時間露光距離画像の画素領域を対象として、サチュレーションが生じている画素領域を検出する。
そのため、低解像度化された長時間露光距離画像の画素領域をサチュレーションが生じている画素領域とサチュレーションが生じていない画素領域とに明確に識別して、サチュレーションが生じている画素領域を的確に検出することができる。
また、本実施形態に係る画像処理装置１は、推定された特定の物体の移動距離と自車両の実移動距離との差が所定の閾値の範囲内である場合には、長時間露光距離画像においてサチュレーションが生じている画素領域については、サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する画像処理部１６０を備える。
ここで、推定された特定の物体の移動距離とは、低解像度化された長時間露光距離画像内のサチュレーションが生じている画素領域における特定の物体の移動量から特定の物体の移動距離を推定したものである。
つまり、推定された特定の物体の移動距離と自車両の実移動距離との乖離が大きい場合には、サチュレーションが距離の算出に影響を与えている度合いが大きい。
そのため、推定された特定の物体の移動距離と自車両の実移動距離との乖離が所定の閾値の範囲内である場合、すなわち、サチュレーションが距離の算出に影響を与えている度合いが小さく、サチュレーションが生じている画素領域の距離情報を距離画像の生成にあたって用いても信頼度を損ねない場合には、サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成する。
これにより、サチュレーションが発生しているような状況であっても、必要な距離情報を確保することができる。
また、所定の閾値の範囲は、自車両が走行する走行路前方の対象物、具体的には、発光体ＩＢを備える前方車両、周辺の光を反射して撮像される歩行者や動物等との衝突を避けるためのものでもある。
特に、周辺の光を反射して撮像される歩行者や動物等から得られる距離に関する情報量は、少ない。
そのため、推定された特定の物体の移動距離と自車両の実移動距離との乖離が所定の閾値の範囲内である場合には、サチュレーションが生じている画素領域の距離情報を用いて、距離画像を生成することにより、自車両が走行する走行路前方の対象物との衝突を回避することができる。
したがって、本実施形態に係る画像処理装置１によれば、レンズグレアによるゴースト距離の発生を抑制し、有効な距離情報を確保することができる。
【0039】
本実施形態に係る画像処理装置１の画像処理部１６０は、長時間露光距離画像においてサチュレーションが生じている画素領域と短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域とが重なる領域については、短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域の距離情報を用いて、距離画像を生成する。
つまり、長時間露光距離画像においてサチュレーションが生じている画素領域と短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域とが重なる領域は、サチュレーションが強い領域である。
そのため、長時間露光距離画像においてサチュレーションが生じている画素領域と短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域とが重なる領域においては、レンズグレアの少ない短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域の距離情報を用いて、距離画像を生成する。
したがって、本実施形態に係る画像処理装置１によれば、レンズグレアによるゴースト距離の発生を抑制し、有効な距離情報を確保することができる。
つまり、長時間露光距離画像においてサチュレーションが生じている画素領域と短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域とが重なる領域は、サチュレーションが強い領域である。
そのため、長時間露光距離画像においてサチュレーションが生じている画素領域と短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域とが重なる領域においては、レンズグレアの少ない短時間露光距離画像において前方車両の発光体ＩＢが撮像された画素領域の距離情報を用いて、距離画像を生成する。
したがって、本実施形態に係る画像処理装置１によれば、レンズグレアによるゴースト距離の発生を抑制し、有効な距離情報を確保することができる。
【0040】
本実施形態に係る画像処理装置１の画像処理部１６０は、長時間露光距離画像においてサチュレーションが生じている画素領域以外の画素領域については、長時間露光距離画像あるいは短時間露光距離画像の距離情報を用いて、距離画像を生成する。
つまり、長時間露光距離画像においてサチュレーションが生じている画素領域以外の画素領域については、高解像度の長時間露光距離画像あるいは高解像度の短時間露光距離画像の距離情報を用いて、距離画像を生成する。
なお、長時間露光距離画像あるいは短時間露光距離画像の距離情報のいずれを用いるのかについては、他の発光体ＩＢによる当該画素領域におけるエッジの強さやサチュレーションの度合いによって判断することが好ましい。
つまり、長時間露光距離画像においてサチュレーションが生じている画素領域以外の画素領域については、高解像度の長時間露光距離画像あるいは高解像度の短時間露光距離画像の距離情報を用いて、距離画像を生成する。
なお、長時間露光距離画像あるいは短時間露光距離画像の距離情報のいずれを用いるのかについては、他の発光体ＩＢによる当該画素領域におけるエッジの強さやサチュレーションの度合いによって判断することが好ましい。
【0041】
本実施形態に係る画像処理装置１の画像処理部１６０は、天候状態に応じて、所定の閾値の範囲および画像の圧縮画素の大きさを可変する。
つまり、天候状態が雨天や降雪等の場合には、フロントガラスの外側表面に雨水や雪が付着することによって、長時間露光距離画像あるいは短時間露光距離画像の画質が低下し、発光体ＩＢによるサチュレーションが実際よりも拡大して撮像される可能性が大きい。
そのため、雨天や降雪等の天候状態の場合には、例えば、所定の閾値範囲を調整することが望ましい。
したがって、本実施形態に係る画像処理装置１によれば、外乱が生じた場合であっても、レンズグレアによるゴースト距離の発生を抑制し、有効な距離情報を確保することができる。
つまり、天候状態が雨天や降雪等の場合には、フロントガラスの外側表面に雨水や雪が付着することによって、長時間露光距離画像あるいは短時間露光距離画像の画質が低下し、発光体ＩＢによるサチュレーションが実際よりも拡大して撮像される可能性が大きい。
そのため、雨天や降雪等の天候状態の場合には、例えば、所定の閾値範囲を調整することが望ましい。
したがって、本実施形態に係る画像処理装置１によれば、外乱が生じた場合であっても、レンズグレアによるゴースト距離の発生を抑制し、有効な距離情報を確保することができる。
【0042】
本実施形態に係る画像処理装置１の画像処理部１６０は、画像に対向車両の発光体ＩＢや道路周辺の発光体ＩＢによる光の映り込みがあった場合には、発光体ＩＢのサチュレーションを含む光の映り込みを除外した長時間露光距離画像あるいは短時間露光距離画像から距離画像を生成する。
つまり、対向車両の発光体ＩＢや道路周辺の発光体ＩＢおよび対向車両の発光体ＩＢや道路周辺の発光体ＩＢによるサチュレーションを含む光の映り込みを検出することは可能である。
一方で、対向車両のヘッドライト等発光体ＩＢや道路周辺の街頭等発光体ＩＢを検出できることにより、サチュレーションが発生している画素だけでなく、発光体ＩＢ周辺等のゴースト距離が発生しやすい領域を含むゴースト距離発生予想領域を的確に判断することができる。
そのため、ゴースト距離発生予想領域に対して、ゴースト距離の発生を抑制する処理を実行することができるため、外乱が生じた場合であっても、レンズグレアによるゴースト距離の発生を抑制し、有効な距離情報を確保することができる。
つまり、対向車両の発光体ＩＢや道路周辺の発光体ＩＢおよび対向車両の発光体ＩＢや道路周辺の発光体ＩＢによるサチュレーションを含む光の映り込みを検出することは可能である。
一方で、対向車両のヘッドライト等発光体ＩＢや道路周辺の街頭等発光体ＩＢを検出できることにより、サチュレーションが発生している画素だけでなく、発光体ＩＢ周辺等のゴースト距離が発生しやすい領域を含むゴースト距離発生予想領域を的確に判断することができる。
そのため、ゴースト距離発生予想領域に対して、ゴースト距離の発生を抑制する処理を実行することができるため、外乱が生じた場合であっても、レンズグレアによるゴースト距離の発生を抑制し、有効な距離情報を確保することができる。
【0043】
なお、プロセッサ１００の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをプロセッサ１００に読み込ませ、実行することによって本発明の画像処理装置１を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【0044】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【0045】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0046】
以上、この発明の実施形態について、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0047】
１；画像処理装置
１０；撮像装置
２０；撮像装置
１００；プロセッサ
１１０；長時間露光距離画像生成部
１２０；短時間露光距離画像生成部
１３０；低解像度化部
１４０；検出部
１５０；推定部
１６０；画像処理部
１７０；制御部
２００；メモリ
２１０；記憶部
１０；撮像装置
２０；撮像装置
１００；プロセッサ
１１０；長時間露光距離画像生成部
１２０；短時間露光距離画像生成部
１３０；低解像度化部
１４０；検出部
１５０；推定部
１６０；画像処理部
１７０；制御部
２００；メモリ
２１０；記憶部
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】