特許 7414486 車載ステレオカメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】車載ステレオカメラ

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240109BHJP

【ＦＩ】

G06T7/00 650

【請求項の数】 5

(21)【出願番号】P 2019210153

(22)【出願日】2019-11-21

(65)【公開番号】P2021082099

(43)【公開日】2021-05-27

【審査請求日】2022-09-16

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(73)【特許権者】

【識別番号】000002082

【氏名又は名称】スズキ株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】堤 大

(72)【発明者】

【氏名】大塚 裕史

(72)【発明者】

【氏名】山根 龍一

(72)【発明者】

【氏名】山口 隆史

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２００４－０２０２３７（ＪＰ，Ａ）

【文献】特開２０１２－２２８９１６（ＪＰ，Ａ）

【文献】特開２０１９－１２５９４２（ＪＰ，Ａ）

【文献】特開２０１７－１３８７６１（ＪＰ，Ａ）

【文献】特開２０１３－１９０４１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

右カメラ、及び左カメラと、
処理部と、を有し、
前記処理部は、第１の処理、第２の処理、第３の処理、第４の処理、第５の処理、第６の処理、及び第７の処理を行い、
前記第１の処理は、前記右カメラから得られる第一の画像と、前記左カメラから得られる第二の画像を取得する処理であり、
前記第２の処理は、前記第一の画像中の道路領域の画素から最も小さい輝度値である第１の最小値を取得する処理であり、
前記第３の処理は、前記第二の画像中の道路領域の画素から最も小さい輝度値である第２の最小値を取得する処理であり、
前記第４の処理は、前記第一の画像を複数の領域に分割し、分割された領域毎に各画素の輝度値の和を取得する処理であり、
前記第５の処理は、前記第二の画像を複数の領域に分割し、分割された領域毎に各画素の輝度値の和を取得する処理であり、
前記第６の処理は、前記第一の画像と前記第二の画像において互いに対応した領域毎に前記輝度値の和の差を算出し、該算出された輝度値の和の差の絶対値を前記複数の領域の全てについて加算し、輝度和の左右差として算出して取得する処理であり、
前記第７の処理は、前記第１の最小値、前記第２の最小値、前記輝度和の左右差、及び前記道路領域の画素の最も小さい輝度値である最小輝度値と前記輝度和の左右差とにより決定される２次元の閾値を使用して、車両の窓ガラスの曇りを判定する処理である、
ことを特徴とする車載ステレオカメラ。

【請求項2】

前記処理部は、昼夜で前記閾値を変更する、ことを特徴とする請求項１に記載の車載ステレオカメラ。

【請求項3】

前記処理部は、前記第１の最小値、及び前記第２の最小値の少なくとも１つに対して時系列フィルタ処理を行う、ことを特徴とする請求項１に記載の車載ステレオカメラ。

【請求項4】

前記処理部は、前記車両のワイパが動作した場合は、前記第１の最小値、及び前記第２の最小値の少なくとも１つを無効化する、ことを特徴とする請求項１に記載の車載ステレオカメラ。

【請求項5】

前記処理部は、前記右カメラ、及び前記左カメラの少なくとも１つが一時停止した場合は、前記曇りを判定する処理を行わない、ことを特徴とする請求項１に記載の車載ステレオカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載ステレオカメラに関する。

【背景技術】

【0002】

車両には、車両前方の障害物や歩行者等を検出して車両の運動制御を行うためのステレオカメラが搭載される場合がある。従来技術として例えば以下の特許文献１が挙げられる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－０２９２６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車載ステレオカメラは、車両の内部に取り付けられ、窓ガラス越しに撮像できるように、特にフロントガラス近傍に配置される場合がある。この場合、フロントガラスの内側あるいは外側に結露が発生し、曇りが生じると、その曇りの影響によりステレオカメラの検出性能に影響が出る可能性がある。

【0005】

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車両の窓ガラスに曇りが発生した場合にステレオカメラの検出性能への影響を少なくすることができる車載ステレオカメラを提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決する本発明の車載ステレオカメラは、右カメラ、及び左カメラと、処理部と、を有し、前記処理部は、第１の処理、第２の処理、第３の処理、第４の処理、第５の処理、第６の処理、及び第７の処理を行い、前記第１の処理は、前記右カメラから得られる第一の画像と、前記左カメラから得られる第二の画像を取得する処理であり、前記第２の処理は、前記第一の画像中の道路領域の画素から最も小さい輝度値である第１の最小値を取得する処理であり、前記第３の処理は、前記第二の画像中の道路領域の画素から最も小さい輝度値である第２の最小値を取得する処理であり、前記第４の処理は、前記第一の画像を複数の領域に分割し、分割された領域毎に各画素の輝度値の和を取得する処理であり、前記第５の処理は、前記第二の画像を複数の領域に分割し、分割された領域毎に各画素の輝度値の和を取得する処理であり、前記第６の処理は、第一の画像と第二の画像との間で互いに対応した領域毎に前記輝度値の和の差を算出し、該算出された輝度値の和の差の絶対値を前記複数の領域の全てについて加算し、輝度和の左右差として算出して取得する処理であり、前記第７の処理は、前記第１の最小値、前記第２の最小値、前記輝度和の左右差、及び２次元の閾値を使用して、車両の窓ガラスの曇りを判断する処理である、ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、車両の窓ガラスに曇りが発生した場合でも、ステレオカメラの検出性能への影響を少なくすることができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態における車載ステレオカメラの構成図。

【図2】最小輝度計算部の処理領域の一例を示す図。

【図3】輝度和の左右差計算部の処理領域の一例を示す図。

【図4】最小輝度計算部の処理フローを示す図。

【図5】輝度和の左右差計算部の処理フローを示す図。

【図6】窓曇り判定部の処理フローを示す図。

【図7】２次元の閾値の一例を示す図である。

【図8】第２実施形態における車載ステレオカメラの構成図。

【発明を実施するための形態】

【0009】

＜第１実施形態＞
以下、図面を用いて本発明の第１実施形態について説明する。
図１は、本発明の代表図であり、第１実施形態における車載ステレオカメラの構成図である。

【0010】

車載ステレオカメラは、左右一対の撮像部１０１、１０１’と、最小輝度計算部１０３と、輝度和の左右差計算部１０５と、窓曇り判定部１０７とを有している。左右一対の撮像部１０１、１０１’は、右カメラおよび左カメラを構成し、最小輝度計算部１０３と、輝度和の左右差計算部１０５と、窓曇り判定部１０７は、処理部を構成する。車載ステレオカメラは、カメラやＣＰＵ、メモリ、電子回路などのハードウエアと、ハードウエアと協働して車両の窓曇り判定等の処理を行うソフトウエアとを備えている。

【0011】

図１における撮像部１０１、１０１’は、画像を撮像する。撮像部１０１、１０１’は、車幅方向に離間して配置されるように車両に固定されており、車両のフロントガラス越しに前方を撮像して、互いに同じ領域を撮像できるようになっている。車載ステレオカメラは、撮像部１０１、１０１’のレンズが、フロントガラスとの間に所定距離だけ離れた位置に配置されて、レンズの周囲を覆うカバーがフロントガラスまで伸びており、レンズとフロントガラスとの間に密閉された空間が形成される構造を有する。

【0012】

最小輝度計算部１０３は、撮像部１０１、１０１’で撮像された第一の画像と第二の画像を入力とし、各画像の画面下部中央の矩形領域を最小輝度計算用の処理領域と定義して、各処理領域内の最小輝度値(以下、最小輝度と呼ぶ)をそれぞれ算出する。つまり、最小輝度計算部１０３は、撮像部１０１から得られる第一の画像と、撮像部１０１’から得られる第二の画像を取得する第１の処理と、第一の画像中の所定の矩形領域内の画素から最も小さい輝度値である第１の最小値を取得する第２の処理と、第二の画像中の所定の矩形領域内の画素から最も小さい輝度値である第２の最小値を取得する第３の処理を行う。

【0013】

第一の画像と第二の画像は、撮像部１０１、１０１’で互いに同じ場所を撮像した画像である。本実施形態では、最小輝度計算用の処理領域として画面下部中央の矩形領域を設定している。かかる領域は、比較的輝度が安定している道路が撮像される道路領域であり、かかる領域を最小輝度計算用の処理領域として設定することによって窓ガラスの曇りを正確に判断することができる。なお、道路領域の他に、輝度の変化が比較的少なく安定している領域がある場合には、かかる領域を最小輝度計算用の処理領域として設定してもよい。

【0014】

輝度和の左右差計算部１０５は、撮像部１０１、１０１’から取得した第一の画像と第二の画像の同じ位置に３×３の処理領域を定義し、処理領域毎に輝度和を求める。そして、同じ位置に設定した処理領域同士で輝度和の差を取り、絶対値を求める。そして、求めた輝度和の差の絶対値について３×３の処理領域全ての和(以下、輝度和の左右差と呼ぶ)を求める。ここでは、第一の画像と第二の画像をそれぞれ上下に３分割しかつ左右に３分割して、合計９個の領域に分割した場合を例に説明しているが、複数であればよく、例えば上下に２つの領域、あるいは上下左右に４つの領域に分割してもよい。

【0015】

輝度和の左右差計算部１０５は、第一の画像と第二の画像の各処理領域においてそれぞれの画素の輝度値を足して輝度値の和（輝度和）を算出する。これにより、第一の画像と第二の画像の各処理領域についてそれぞれ輝度値の和が求められる。ここでは、第一の画像を複数の領域に分割し、分割された領域毎に各画素の輝度値の和を取得する第４の処理と、第二の画像を複数の領域に分割し、分割された領域毎に各画素の輝度値の和を取得する第５の処理が行われる。

【0016】

そして、第一の画像の所定領域の輝度和と、第二の画像において第一の画像の所定領域に対応する領域の輝度和との差を算出する。この輝度和の差を、第一の画像と第二の画像とで互いに対応する領域のすべてについて算出する。そして、これらの輝度和の差の絶対値について複数の処理領域すべてを加算して輝度和の左右差を算出する。ここでは、第一の画像と第二の画像において互いに対応した領域毎に輝度値の和の差を算出し、その算出された輝度値の和の差の絶対値を複数の領域の全てについて加算し、輝度和の左右差として算出して取得する第６の処理が行われる。

【0017】

窓曇り判定部１０７は、最小輝度計算部１０３で求めた最小輝度と、輝度和の左右差計算部１０５で求めた輝度和の左右差を入力とし、それぞれを軸とした特徴量空間内で予め定めた閾値を超過しているかを判定する。閾値を超過している場合、車両の窓の内側あるいは外側に曇りがあると判定する。ここでは、第１の最小値、第２の最小値、輝度和の左右差、及び２次元の閾値を使用して、車両の窓ガラスの曇りを判断する第７の処理が行われる。

【0018】

図２は、最小輝度計算部の処理領域の一例を示す図である。
図２に示すように、第一の画像２０１と第二の画像２０２の画面下部中央には、最小輝度計算用の処理領域２１１、２１２が設定されている。また、第一の画像２０１と第二の画像２０２には、部分的に窓ガラスの曇り領域ｆが存在している。窓ガラスの曇りが進行した場合、輝度コントラストは低くなる。したがって、所定領域内の最小輝度を監視することによって、窓ガラスが曇っているかどうかを判断することが可能となる。

【0019】

最小輝度は、撮像されている対象物によって変化するので、路面が撮像されることが多い画面下部中央を最小輝度計算用の処理領域として定義することによって、比較的精度の良い曇り判定を行うことが可能となる。最小輝度計算部１０３は、図２の第一の画像２０１と第二の画像２０２について処理領域２１１、２１２内の最小輝度を求め、監視する。

【0020】

図３は、本実施例における輝度和の左右差計算部が定義する処理領域の一例を示す図である。
曇りの進行や濃さ、発生する位置は、第一の画像２０１と第二の画像２０２で異なる。本実施形態では、第一の画像２０１と第二の画像２０２に対して同様の処理領域を定める。そして、処理領域毎にどの程度輝度和の差があるかを監視することによって窓ガラスが曇っているか否かを判断する。

【0021】

輝度和の左右差計算部１０５は、図３の（１）の輝度和と（１）’の輝度和との差を求め、絶対値を取る。同様の計算を（２）、（２）’～（９）、（９）’まで行い、（１）、（１）’～（９）、（９）’までの輝度和の差の絶対値について和を取る(以下（１）、（１）’～（９）、（９）’の対応付けを、同処理領域と呼ぶ)。以上の手順で求めた輝度和の左右差を監視する。

【0022】

図４は、最小輝度計算部の処理フローを示す図である。
撮像部１０１、１０１’で撮像された第一の画像２０１、第二の画像２０２に対して最小輝度計算用の処理領域２１１、２１２を決定する(Ｓ４１１)。この最小輝度計算用の処理領域２１１、２１２は、予め固定された位置に決めておいてもよく、また、道路の形状等に合わせて動的に設定してもよい。各処理領域２１１、２１２の先頭画素からそれぞれ注目画素を走査し、各々の最小輝度を更新する(Ｓ４１２)。求めた最小輝度と、過去の最小輝度を元に、時系列フィルタを適用した最小輝度ｂ１、ｂ２を求める(Ｓ４１３)。時定数は１．０とする。時系列フィルタを適用することにより、ノイズを曇りとして誤検知するのを防ぐことができる。時系列フィルタ処理は、最小輝度ｂ１とｂ２の少なくとも一つに対して行う。

【0023】

図５は、輝度和の左右差計算部の処理フローを示す図である。
撮像部１０１、１０１’で撮像された第一の画像２０１と第二の画像２０２に対し、複数の処理領域（１）、（１）’～（９）、（９）’を決定する(Ｓ４３０)。本処理領域は、第一の画像２０１と第二の画像２０２で同じ物が映っている領域とする。第一の画像２０１と第二の画像２０２について処理領域毎に輝度和を求める(Ｓ４３１)。第一の画像２０１と第二の画像２０２の同じ処理領域同士で、Ｓ４３１で求めた輝度和の差を求める(Ｓ４３３)。Ｓ４３３で求めた輝度和の差の絶対値を取り、全処理領域の和を求めて輝度和の左右差とする(Ｓ４３５)。求めた輝度和の左右差と、過去の輝度和の左右差を元に、時系列フィルタを適用した輝度和の左右差ｃを求める(Ｓ４３７)。時定数は１．０とする。時系列フィルタを適用することにより、ノイズを曇りとして誤検知するのを防ぐことができる。

【0024】

図６は、窓曇り判定部の処理フローを示す図、図７は、２次元の閾値の一例を示すグラフである。
窓ガラスのワイパ払拭による汚れや付着物による影響を除外する為、車両のワイパが動作しているかどうかを判断する(Ｓ４５０)。なお、ワイパが動作しているかどうかを判断するのは、必ずしもこの順番である必要はなく、最小輝度を取得するステップ(Ｓ４５１)と輝度和の左右差を取得するステップ(Ｓ４５３)の前であれば良い。

【0025】

窓曇り判定部１０７は、車両のワイパが動作している場合は、最小輝度ｂ１とｂ２の少なくとも一つを無効化して、窓ガラスの曇りを判定する処理を行わない。例えば、ワイパが動作していない場合、曇りの有無について正確な判断をすることができるので、最小輝度計算部１０３から最小輝度ｂ１、ｂ２を取得する(Ｓ４５１)。そして、輝度和の左右差計算部１０５から、輝度和の左右差ｃを取得する(Ｓ４５３)。

【0026】

一方、ワイパが動作している場合、曇りの有無について正確な判断をすることができないので、最小輝度ｂ１、ｂ２の少なくとも一つを無効化する。本実施形態では、最小輝度、輝度和の左右差ｃについて無効値を設定する(Ｓ４５２)。

【0027】

そして、昼夜で２次元の閾値Ｔｈを変更すべく、走行環境が昼、夜どちらなのかを判定する。そして、昼用および夜用としてそれぞれ予め登録しておいた走行環境に適した昼用閾値Ｔｈ１と夜用閾値Ｔｈ２のいずれを閾値Ｔｈとして使用するのかを決定する(Ｓ４５４)。夜用閾値Ｔｈ２は、昼用閾値Ｔｈ１よりも最小輝度の下限が高くなるように設定されている。

【0028】

そして、取得した最小輝度ｂ１、ｂ２と、輝度和の左右差ｃとが、予め決定されている閾値Ｔｈを超過しているか否か(Ｓ４５５)、つまり、２次元の閾値Ｔｈの範囲に入っているか否かを判定する。このとき、第一の画像２０１と第二の画像２０２の両方の最小輝度ｂ１、ｂ２が閾値Ｔｈを超過しているかを判定しても良いし、第一の画像２０１、第二の画像２０２のどちらかの最小輝度ｂ１、ｂ２が閾値Ｔｈを超過しているかを判定しても良い。例えば、第一の画像２０１と第二の画像２０２の両方の最小輝度ｂ１、ｂ２が閾値Ｔｈを超過していた場合、車両の窓ガラスの内側又は外側に曇りがあると判定する(Ｓ４５７)。第一の画像２０１と第二の画像２０２の最小輝度ｂ１、ｂ２の少なくとも一方が閾値Ｔｈを超過していなかった場合、車両の窓ガラスの内側又は外側に曇りが無いと判定する(Ｓ４５９)。

【0029】

本実施形態の車載ステレオカメラによれば、最小輝度ｂ１、ｂ２と輝度和の左右差ｃの両方が予め設定された２次元の閾値の範囲内に入っているか否かに応じて窓ガラスが曇っているか否かが判定される。したがって、窓ガラスが曇っているか否かを正確に判定することができ、実際には曇っていないのに曇っていると誤判定されるのを防ぐことができる。

【0030】

＜第２実施形態＞
図８は、第２実施形態における車載ステレオカメラの構成図である。
本実施形態において特徴的なことは、一時停止判定部１０２を追加したことである。

【0031】

一時停止判定部１０２は、撮像部１０１、１０１’で撮像した画像を入力とし、入力画像が劣化しているかどうかの判定を行う。入力画像が劣化しているとは、撮像部１０１、１０１’で撮像された撮像画像を用いて立体視や物体の認識ができない程度まで画像の品質が低くなっている状態をいう。入力画像が劣化しているかどうかについては、公知の判断手法を用いる。

【0032】

一時停止判定部１０２により入力画像が劣化していると判定された場合、撮像部１０１、１０１’の少なくとも１つが一時停止していると判定され、最小輝度計算部１０３、輝度和の左右差計算部１０５、および窓曇り判定部１０７における各処理の実行が禁止される。つまり、窓曇り判定部１０７において曇りを判断する処理は行われない。

【0033】

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0034】

１０１、１０１’・・・撮像部（右カメラ、左カメラ）
１０２・・・一時停止判定部
１０３・・・最小輝度計算部（処理部）
１０５・・・輝度和の左右差計算部（処理部）
１０７・・・窓曇り判定部（処理部）
２０１・・・第一の画像
２０２・・・第二の画像
２１１、２１２・・・最小輝度計算用の処理領域（道路領域）
ｂ１・・・最小輝度（第１の最小値）
ｂ２・・・最小輝度（第２の最小値）
ｆ・・・窓ガラスの曇り領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】