特許第6251169号(P6251169)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧
<>
  • 特許6251169-車載装置、制御装置 図000002
  • 特許6251169-車載装置、制御装置 図000003
  • 特許6251169-車載装置、制御装置 図000004
  • 特許6251169-車載装置、制御装置 図000005
  • 特許6251169-車載装置、制御装置 図000006
  • 特許6251169-車載装置、制御装置 図000007
  • 特許6251169-車載装置、制御装置 図000008
  • 特許6251169-車載装置、制御装置 図000009
  • 特許6251169-車載装置、制御装置 図000010
  • 特許6251169-車載装置、制御装置 図000011
  • 特許6251169-車載装置、制御装置 図000012
  • 特許6251169-車載装置、制御装置 図000013
  • 特許6251169-車載装置、制御装置 図000014
  • 特許6251169-車載装置、制御装置 図000015
  • 特許6251169-車載装置、制御装置 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6251169
(24)【登録日】2017年12月1日
(45)【発行日】2017年12月20日
(54)【発明の名称】車載装置、制御装置
(51)【国際特許分類】
   B60S 1/60 20060101AFI20171211BHJP
   H04N 7/18 20060101ALI20171211BHJP
【FI】
   B60S1/60 Z
   H04N7/18 D
【請求項の数】7
【全頁数】19
(21)【出願番号】特願2014-523768(P2014-523768)
(86)(22)【出願日】2013年7月3日
(86)【国際出願番号】JP2013068274
(87)【国際公開番号】WO2014007294
(87)【国際公開日】20140109
【審査請求日】2016年5月26日
(31)【優先権主張番号】特願2012-149868(P2012-149868)
(32)【優先日】2012年7月3日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(73)【特許権者】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】特許業務法人サンネクスト国際特許事務所
(74)【代理人】
【識別番号】100149157
【弁理士】
【氏名又は名称】関根 創史
(72)【発明者】
【氏名】清原 將裕
(72)【発明者】
【氏名】入江 耕太
(72)【発明者】
【氏名】中村 克行
(72)【発明者】
【氏名】村松 彰二
(72)【発明者】
【氏名】竹村 雅幸
(72)【発明者】
【氏名】深田 修
(72)【発明者】
【氏名】早川 泰久
【審査官】 神田 泰貴
(56)【参考文献】
【文献】 特開2001−171491(JP,A)
【文献】 特開2011−240916(JP,A)
【文献】 特開2009−220719(JP,A)
【文献】 特開2002−094978(JP,A)
【文献】 特開2010−273014(JP,A)
【文献】 特開2014−165638(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60S 1/60
H04N 7/18
H04N 5/225
B60R 1/00
(57)【特許請求の範囲】
【請求項1】
撮影レンズを有し、撮影画像を取得して出力する車載用カメラと、
前記撮影画像に基づいて前記撮影レンズに付着した付着物を検出する付着物検出部と、
圧縮空気を用いて前記付着物を除去するための第1の除去動作を行う第1の付着物除去部と、ウォッシャー液を用いて前記付着物を除去するための第2の除去動作を行う第2の付着物除去部と、を少なくとも含み、互いに異なる手段を用いて前記付着物を除去するための除去動作をそれぞれ行う複数の付着物除去部と、
前記複数の付着物除去部のいずれか少なくとも一つを選択する選択部と、
前記複数の付着物除去部のうち前記選択部により選択された付着物除去部を制御する洗浄制御部と、
前記撮影レンズから前記付着物が除去されたか否かを判定する除去判定部と、を備え、
前記選択部は、前記撮影レンズから前記付着物が除去されていないと前記除去判定部が判定したときに、前記第1の除去動作が行われた回数に基づいて、前記第1の付着物除去部を選択するか否かを決定する車載装置。
【請求項2】
請求項1に記載の車載装置であって、
除去不可能な前記付着物に対応する非変化領域の情報を有する非変化マスクを生成するマスク画像生成部と、
前記マスク画像生成部により生成された前記非変化マスクを記憶するマスク画像記憶部と、をさらに備え、
前記マスク画像生成部は、前記撮影レンズから前記付着物が除去されていないと前記除去判定部が判定し、前記第1の除去動作が第1の所定回数よりも多く行われ、かつ前記第2の除去動作が第2の所定回数よりも多く行われていた場合に、前記撮影画像に基づいて前記非変化マスクを生成し、
前記付着物検出部は、前記マスク画像記憶部に記憶されている前記非変化マスクの前記非変化領域を除外して、前記付着物の検出を行う車載装置。
【請求項3】
請求項2に記載の車載装置であって、
前記選択部は、
前記第1の除去動作が行われた回数が前記第1の所定回数以下のとき、前記第1の付着物除去部を選択し、
前記第1の除去動作が行われた回数が前記第1の所定回数より大きく、かつ前記第2の除去動作が行われた回数が前記第2の所定回数以下のとき、前記第2の付着物除去部を選択し、
前記第1の除去動作が行われた回数が前記第1の所定回数より大きく、かつ前記第2の除去動作が行われた回数が前記第2の所定回数より大きいとき、前記第1の付着物除去部および前記第2の付着物除去部のいずれも選択しない車載装置。
【請求項4】
請求項3に記載の車載装置であって、
前記複数の付着物除去部は、ワイパを用いて前記付着物を除去するための第3の除去動作を行う第3の付着物除去部をさらに含み、
前記選択部は、
前記第1の除去動作が行われた回数が前記第1の所定回数より大きく、かつ前記第2の除去動作が行われた回数が前記第2の所定回数より大きく、かつ前記第3の除去動作が行われた回数が第3の所定回数以下のとき、前記第3の付着物除去部を選択し、
前記第1の除去動作が行われた回数が前記第1の所定回数より大きく、かつ前記第2の除去動作が行われた回数が前記第2の所定回数より大きく、かつ前記第3の除去動作が行われた回数が前記第3の所定回数より大きいとき、前記第1の付着物除去部、前記第2の付着物除去部および前記第3の付着物除去部のいずれも選択せず、
前記マスク画像生成部は、前記撮影レンズから前記付着物が除去されていないと前記除去判定部が判定し、前記第1の除去動作が前記第1の所定回数よりも多く行われ、かつ前記第2の除去動作が前記第2の所定回数よりも多く行われ、かつ前記第3の除去動作が前記第3の所定回数よりも多く行われていた場合に、前記撮影画像に基づいて前記非変化マスクを生成する車載装置。
【請求項5】
請求項3に記載の車載装置であって、
前記除去判定部は、
前記第1の除去動作により除去された前記付着物を水滴の付着物と判別し、
前記第2の除去動作により除去された前記付着物を泥の付着物と判別する車載装置。
【請求項6】
請求項4に記載の車載装置であって、
前記除去判定部は、
前記第1の除去動作により除去された前記付着物を水滴の付着物と判別し、
前記第2の除去動作により除去された前記付着物を泥の付着物と判別し、
前記第3の除去動作により除去された前記付着物を水滴痕の付着物と判別する車載装置。
【請求項7】
請求項1から請求項6のいずれかに記載の車載装置において用いられる制御装置であって、
前記付着物検出部と、前記選択部と、前記除去判定部と、として機能する制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載装置と、この車載装置において用いられる制御装置に関する。
【背景技術】
【0002】
車載用のカメラは車両の外部に備えられることが多く、カメラの撮影レンズに水滴、泥、融雪剤といった付着物が付着することが多く、異物を除去する仕組みを備えたものがある。従来から光学部材から異物が除去されたかを確認可能な撮像装置が考えられている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】日本国特開2010−109516号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、車載用カメラの撮影レンズを好適に洗浄することを目的とする。
【課題を解決するための手段】
【0005】
本発明の第1の態様によると、車載装置は、撮影レンズを有し、撮影画像を取得して出力する車載用カメラと、撮影画像に基づいて撮影レンズに付着した付着物を検出する付着物検出部と、圧縮空気を用いて付着物を除去するための第1の除去動作を行う第1の付着物除去部と、ウォッシャー液を用いて付着物を除去するための第2の除去動作を行う第2の付着物除去部と、を少なくとも含み、互いに異なる手段を用いて付着物を除去するための除去動作をそれぞれ行う複数の付着物除去部と、複数の付着物除去部のいずれか少なくとも一つを選択する選択部と、複数の付着物除去部のうち選択部により選択された付着物除去部を制御する洗浄制御部と、撮影レンズから付着物が除去されたか否かを判定する除去判定部と、を備え、選択部は、撮影レンズから付着物が除去されていないと除去判定部が判定したときに、第1の除去動作が行われた回数に基づいて、第1の付着物除去部を選択するか否かを決定する。
本発明の第2の態様によると、第1の態様の車載装置は、除去不可能な付着物に対応する非変化領域の情報を有する非変化マスクを生成するマスク画像生成部と、マスク画像生成部により生成された非変化マスクを記憶するマスク画像記憶部と、をさらに備え、マスク画像生成部は、撮影レンズから付着物が除去されていないと除去判定部が判定し、第1の除去動作が第1の所定回数よりも多く行われ、かつ第2の除去動作が第2の所定回数よりも多く行われていた場合に撮影画像に基づいて非変化マスクを生成し、付着物検出部は、マスク画像記憶部に記憶されている非変化マスクの非変化領域を除外して、付着物の検出を行うことが好ましい。
本発明の第3の態様によると、第2の態様の車載装置において、選択部は、第1の除去動作が行われた回数が第1の所定回数以下のとき、第1の付着物除去部を選択し、第1の除去動作が行われた回数が第1の所定回数より大きく、かつ第2の除去動作が行われた回数が第2の所定回数以下のとき、第2の付着物除去部を選択し、第1の除去動作が行われた回数が第1の所定回数より大きく、かつ第2の除去動作が行われた回数が第2の所定回数より大きいとき、第1の付着物除去部および第2の付着物除去部のいずれも選択しないことが好ましい。
本発明の第4の態様によると、第3の態様の車載装置において、複数の付着物除去部は、ワイパを用いて付着物を除去するための第3の除去動作を行う第3の付着物除去部をさらに含み、選択部は、第1の除去動作が行われた回数が第1の所定回数より大きく、かつ第2の除去動作が行われた回数が第2の所定回数より大きく、かつ第3の除去動作が行われた回数が第3の所定回数以下のとき、第3の付着物除去部を選択し、第1の除去動作が行われた回数が第1の所定回数より大きく、かつ第2の除去動作が行われた回数が第2の所定回数より大きく、かつ第3の除去動作が行われた回数が第3の所定回数より大きいとき、第1の付着物除去部、第2の付着物除去部および第3の付着物除去部のいずれも選択せず、マスク画像生成部は、撮影レンズから付着物が除去されていないと除去判定部が判定し、第1の除去動作が第1の所定回数よりも多く行われ、かつ第2の除去動作が第2の所定回数よりも多く行われ、かつ第3の除去動作が第3の所定回数よりも多く行われていた場合に撮影画像に基づいて非変化マスクを生成することが好ましい。
本発明の第5の態様によると、第3の態様の車載装置において、除去判定部は、第1の除去動作により除去された付着物を水滴の付着物と判別し、第2の除去動作により除去された付着物を泥の付着物と判別することが好ましい。
本発明の第6の態様によると、第4の態様の車載装置において、除去判定部は、第1の除去動作により除去された付着物を水滴の付着物と判別し、第2の除去動作により除去された付着物を泥の付着物と判別し、第3の除去動作により除去された付着物を水滴痕の付着物と判別することが好ましい。
本発明の第7の態様によると、請求項1から請求項6のいずれかに記載の車載装置において用いられる制御装置は、付着物検出部と、選択部と、除去判定部と、として機能することが好ましい。
【発明の効果】
【0006】
本発明によれば、車載用カメラの撮像レンズの状態を適切に推定できるようになり、さらに、付着した汚れの存在を確認することができる。
【図面の簡単な説明】
【0007】
図1】本発明の第1の実施形態による車載装置のブロック構成図である。
図2】カメラの撮影領域と遮光領域を示す図である。
図3】カメラの取り付け位置の例を示す図である。
図4】本発明の第1の実施形態による車載装置の制御ブロック図である。
図5】昼間水滴検出部に関するフローチャートの一例である。
図6】夜間水滴検出部に関するフローチャートの一例である。
図7】除去判定部に関するフローチャートの一例である。
図8】本発明の第1の実施形態による車載装置における装置選択部に関するフローチャートの一例である。
図9】本発明の第2の実施形態による車載装置のブロック構成図である。
図10】本発明の第2の実施形態による車載装置の制御ブロック図である。
図11】本発明の第2の実施形態による車載装置における装置選択部に関するフローチャートの一例である。
図12】非変化マスク生成の動作を説明する図である。
図13】非変化マスクの使用方法を説明する図である。
図14】付着物の種類に対する払拭装置の種類を示す図である。
図15】差分画像の生成方法について示す図である。
【発明を実施するための形態】
【0008】
(第1の実施形態)
図1は、本発明の一実施形態による車載装置100のブロック構成図である。図1に示す車載装置100は、車両に搭載されて使用されるものであり、遮光板1aが取り付けられたカメラ1と、制御部2と、警報出力部3と、動作状態報知部4と、洗浄制御部5と、エアーポンプ6と、ウォッシャーポンプ7と、エアーノズル8と、ウォッシャーノズル9とを備える。
【0009】
カメラ1は、車両の後方に向けて設置されており、車両後方の路面を含む撮影領域内の画像を所定の時間間隔ごとに撮影する。このカメラ1には、たとえばCCDやCMOSなどの撮像素子が用いられる。カメラ1により取得された撮影画像は、カメラ1から制御部2へ出力される。
【0010】
遮光板1aは、カメラ1の撮影レンズに向けて進む光の一部を遮光するためにカメラ1に取り付けられている。図2は、カメラ1の撮影領域と遮光領域を示す図であり、カメラ1を横方向から見た様子を示している。図2に示すように、カメラ1の撮影領域のうち上側の一部分が遮光板1aでマスクされることにより、遮光領域が形成されている。カメラ1は、この遮光領域以外の撮影領域において、車両後方の路面を含む画像を撮影する。ここで、カメラ1の撮影領域(画角、撮影画角)は、車両後方の路面を左右方向について十分に広い範囲で撮影できるように比較的広く設定されており、そのままでは路面以外、たとえば空や背景等からの不要な光もカメラ1に入射されてしまう。そこで、こうしたカメラ1への不要な入射光を遮るため、遮光板1aにより遮光領域が設けられている。
【0011】
図3は、カメラ1の取り付け位置の例を示す図である。自車両の後方部分において、車体20にはナンバープレート21が設置されている。このナンバープレート21の直上の位置に、斜め下に向けてカメラ1が取り付けられており、その上に遮光板1aが設置されている。なお、ここで示した取り付け位置はあくまで一例であるため、他の位置にカメラ1を取り付けてもよい。車両後方の路面を適切な範囲で撮影可能な限り、カメラ1の取り付け位置をどのように定めてもよい。
【0012】
制御部2は、RAM10とROM11とCPU12とを有し、カメラ1からの撮影画像をRAM10に記憶して、それらの撮影画像を用いて所定の画像処理を行い、その処理結果に応じた各種制御を行う。この制御部2が行う制御により、車載装置100において、たとえば、LDW(Lane Departure Warning)、PED(Pedestrian Detection)、RSR(Road Sign Recognition)、IMD(Image Diagnosis)と呼ばれる様々な機能が実現される。LDWは、撮影画像から路面の白線(車線境界線、車道外側線、中央線など)を検出することにより、自車両が走行中の車線から逸脱しそうなときに警報を出力する機能である。PEDは、撮影画像から人物形状を検出することにより、自車進路上にいる歩行者の存在を運転者に知らせる機能である。RSRは、撮影画像から道路上の交通標識を認識し、例えば速度制限標識の速度を超えている場合には、運転者に警告を行う機能である。IMDは、カメラ1により撮影画像が正しく撮影されているかを診断する機能である。
【0013】
警報出力部3は、警報ランプや警報ブザー等による警報を車両の運転者に対して出力するための部分である。この警報出力部3の動作は、制御部2によって制御される。たとえば、前述のLDWにおいて自車両が走行中の車線から逸脱しそうと判断された場合や、PEDにおいて衝突しうる人物が検出された場合に、制御部2の制御に応じて警報出力部3から警報が出力される。
【0014】
動作状態報知部4は、車載装置100の動作状態を車両の運転者に報知するための部分である。たとえば、所定の動作条件が満たされておらずに車載装置100が非動作状態にある場合、制御部2の制御により、動作状態報知部4として車両の運転席付近に設置されたランプを点灯させる。これにより、車載装置100が非動作状態であることを運転者に報知する。
【0015】
洗浄制御部5は、制御部2からの制御に応じて、エアーポンプ6およびウォッシャーポンプ7の動作を制御するための部分である。たとえば、前述のIMDにおいてカメラ1に水滴、泥、融雪剤等の付着物が付着しており、そのために撮影画像が正しく撮影されていないと判断された場合、制御部2は洗浄制御部5に対して、エアーポンプ6やウォッシャーポンプ7の作動を要請する制御信号を出力する。洗浄制御部5は、この信号に応じて、洗浄制御部5はエアーポンプ6やウォッシャーポンプ7の動作を制御する。洗浄制御部5は、エアーポンプ6やウォッシャーポンプ7を動作させて付着物の除去動作を行った後に、エアーポンプ6やウォッシャーポンプ7を動作させたことを表す動作完了信号と称する信号を制御部2へ出力する。
【0016】
エアーポンプ6は、洗浄制御部5からの制御に応じて動作し、圧縮空気をエアーノズル8へ出力する。この圧縮空気がエアーノズル8からカメラ1に向けて噴出されることで、カメラ1の撮影レンズ部分に付着した水滴等の付着物が吹き飛ばされて除去される。
【0017】
ウォッシャーポンプ7は、洗浄制御部5からの制御に応じて動作し、不図示のウォッシャータンクから供給されるウォッシャー液をウォッシャーノズル9へ出力する。このウォッシャー液がウォッシャーノズル9からカメラ1に向けて噴出されることで、カメラ1の撮影レンズ部分に付着しており、エアーノズル8からの圧縮空気では除去が困難な泥等の付着物が洗浄されて除去される。
【0018】
図4は、本発明の第1の実施の形態による車載装置の制御ブロック図の一例である。図4に示す車載装置100において、制御部2は、付着物検出部31と装置選択部32と制御信号出力部33と除去判定部34とマスク画像生成部35として機能する。
【0019】
付着物検出部31は、カメラ1が出力した撮影画像から付着物を検出する。付着物検出部31は、昼間水滴検出部311、夜間水滴検出部312、泥検出部313、水滴痕検出部314などを備える。
【0020】
カメラ1が出力した撮影画像は、付着物検出部31の昼間水滴検出部311、夜間水滴検出部312、泥検出部313、水滴痕検出部314などへ入力される。昼間水滴検出部311および夜間水滴検出部312は、撮影画像から水滴の付着物を検出する。昼間水滴検出部311と夜間水滴検出部312は、車両の周囲の明るさにより使い分ける。車両の周囲が明るいとき(昼間)は昼間水滴検出部311を用いて、車両の周囲が暗いとき(夜間)は夜間水滴検出部312を用いる。泥検出部313は、撮影画像から泥の付着物を検出する。水滴痕検出部314は、撮影画像から水滴痕の付着物を検出する。付着物検出部31の各部が検出した付着物の位置、形状、サイズなどの情報は、付着物情報として装置選択部32および除去判定部34へ出力される。
【0021】
なお、付着物検出部31の各部の検出結果には、レンズ傷、遮光板1aに付着した付着物など、除去不可能な付着物が水滴、泥、水滴痕の付着物として検出されることがある。除去不可能な付着物に対して圧縮空気やウォッシャー液の出力を繰り返すと、圧縮空気による泥の乾燥や、不図示のウォッシャータンクの枯渇などの原因となり得る。付着物検出部31は、除去不可能な付着物への圧縮空気やウォッシャー液の出力を抑制するため、付着物を検出する際に除去不可能な付着物の画像をマスク画像として利用する。以降、付着物検出部31が利用するこのマスク画像のことを、非変化マスクと称する。付着物検出部31は、撮影画像に対してエッジ検出処理など所定の画像処理を適用した後、非変化マスクを適用して、非変化マスクでマスクされた画像からは付着物を検出しないようにする。非変化マスクは、マスク画像生成部35により生成される。
【0022】
装置選択部32は、付着物検出部31が検出した付着物を撮影レンズから除去(払拭、洗浄)するために用いる付着物除去部を、エアーポンプ6およびウォッシャーポンプ7の中から選択する。装置選択部32は、付着物検出部31または除去判定部34から付着物情報が入力されたとき、選択した付着物除去部に関する情報を制御信号出力部33へ出力する。装置選択部32は、エアーポンプ6を動作させて圧縮空気を用いた除去動作を行った動作回数Aと、ウォッシャーポンプ7を動作させて除去動作を行った動作回数Bとに基づいて、付着物除去部を選択する。動作回数Aおよび動作回数Bは、RAM10に記憶されており、装置選択部32と除去判定部34との間で共有されている。なお、動作回数Aおよび動作回数Bの初期化は、付着物検出部31が付着物を検出したときに実施することにしてもよい。
【0023】
制御信号出力部33は、装置選択部32が選択した付着物除去部の動作を要請する制御信号を生成して、洗浄制御部5に向けて出力する。この制御信号には、装置選択部32が選択した付着物除去部に関する情報と、洗浄強度や洗浄時間などの制御量とが含まれる。
【0024】
除去判定部34は、洗浄制御部5がエアーポンプ6やウォッシャーポンプ7の動作制御を完了した後、撮影レンズから付着物が除去(払拭、洗浄)されたか否かを判定する。除去判定部34には、カメラ1からフレームごとに撮影画像が入力されており、洗浄制御部5から動作完了信号が入力される。
【0025】
除去判定部34は、洗浄制御部5から動作完了信号が入力されたとき、除去動作前の撮影画像と、除去動作後の撮影画像との差分画像を生成して、その差分画像に基づいて付着物が除去(払拭、洗浄)されているか否かを判定する。除去判定部34は、付着物が除去されていない場合は、除去動作を行った付着物除去部の動作回数をインクリメントして、付着物検出部31から入力された付着物情報を装置選択部32に向けて出力する。装置選択部32は、除去判定部34から付着物情報を出力されたとき、インクリメント後の動作回数に基づいて付着物除去部を選択して、その付着物除去部に関する情報を制御信号出力部33へ出力する。
【0026】
マスク画像生成部35は、非変化マスクを生成または更新する。マスク画像生成部35は、装置選択部32から非変化マスクの生成の要請があったとき、除去判定部34から除去動作後の画像を取得して、その画像に基づいて非変化マスクを生成または更新する。生成された非変化マスクは、RAM10などの記憶媒体に記憶される。
【0027】
図12(a)〜(c)に示す例を用いて、非変化マスク生成の動作について説明する。図12(a)に示すように、洗浄動作前の時刻t1の画像140に対し、付着物131、付着物132、付着物133が付着していることが検出されたとする。この後、洗浄動作が行われ、前記付着物のうち付着物132と付着物133が除去されたとする。その結果、洗浄動作後の時刻t2では、図12(b)の画像141に示すように、付着物131のみが残留している。マスク画像生成部35は、この時刻t2の画像141に基づいて、図12(c)に示すような非変化マスク150を生成する。非変化マスク150には、残留した付着物131に対応する領域に、非変化領域134の情報を保持している。なお、非変化マスク150は、画像140および画像141よりも低い解像度でも構わない。解像度を低くすることで、記憶領域節約の効果と非変化マスク使用時の処理時間削減の効果が生じる。
【0028】
次に、図13に示す例を用いて非変化マスクの使用方法について説明する。図13に示すように、時刻t3の画像142に対し、付着物135、付着物136が付着していることが検出されたとする。一方で、以前の洗浄動作時に非変化マスク150が得られているものとする。このとき、CPU12は、画像142の付着物領域であり、かつ、非変化マスク150の非変化領域ではない領域(非変化マスク適用後の付着物領域と呼ぶ)を作成する。例えば、CPU12は、画像の左上からラスタスキャンを行い、付着物領域に含まれており、かつ、非変化領域に含まれていない各画素を非変化マスク適用後の付着物領域として登録する。この非変化マスク適用後の付着物領域は、新規に付着した付着物の領域を表している。
【0029】
図5は、昼間水滴検出部311に関するフローチャートである。ステップS3110では、CPU12は、カメラ1が出力した撮影画像に対して周知のエッジ検出処理を行い、エッジ画像を生成する。ステップS3111では、CPU12は、ステップS3110で生成されたエッジ画像の中からエッジ強度が弱くぼけた画素を抽出する。CPU12は、エッジ画像に含まれるエッジ強度が所定の閾値Th1以上閾値Th2以下のエッジを抽出する。これは、昼間など車両の周囲が明るいときは、エッジ画像において水滴は弱いエッジとなる現象を利用したものである。ステップS3112では、CPU12は、ステップS3111の抽出結果に対して、マスク画像生成部35が生成した非変化マスクを適用する。ステップS3113では、CPU12は、非変化マスクを適用したステップS3111の抽出結果を、水滴の付着物として出力する。
【0030】
図6は、夜間水滴検出部312に関するフローチャートである。夜間水滴検出部312では、夜間など車両周辺が暗いとき、後方車両のヘッドライト等からの光が撮影レンズに付着した水滴に反射または屈折することにより、光点として撮影画像に表れる現象を用いる。ステップS3120では、CPU12は、カメラ1が出力した撮影画像からその光点を抽出する。ステップS3121では、CPU12は、ステップS3120の抽出結果に対して、マスク画像生成部35が生成した非変化マスクを適用する。ステップS3122では、CPU12は、非変化マスクを適用したステップS3120の抽出結果を、水滴の付着物として出力する。
【0031】
図7は、除去判定部34に関するフローチャートである。ステップS340では、CPU12は、付着物検出部31から付着物情報が入力されたか否かを判定する。CPU12は、付着物情報が入力されるまでステップS340の処理を繰り返し、付着物情報が入力されたとき処理をステップS341に進める。
【0032】
ステップS341では、CPU12は、洗浄制御部5から動作完了信号が入力されたか否かを判定する。CPU12は、動作完了信号が入力されるまでステップS341の処理を繰り返し、動作完了信号が入力されたとき処理をステップS342に進める。
【0033】
ステップS342では、CPU12は、装置選択部32が選択していた付着物除去部(除去動作を完了させた付着物除去部)の動作回数(動作回数Aまたは動作回数B)をインクリメントする。
【0034】
ステップS343では、CPU12は、除去動作後の最新の撮影画像をカメラ1から取得し、RAM10に記憶する。ステップS344では、CPU12は、ステップS343で取得した除去動作後の撮影画像と、除去動作前の撮影画像との差分画像を生成する。
【0035】
ステップS345では、CPU12は、ステップS344で生成した差分画像に除去されなかった付着物の画像が存在しているか否かを判定する。CPU12は、ステップS345が肯定判定された場合、すなわち除去されなかった付着物が差分画像の中に存在する場合は処理をステップS346に進める。一方、ステップS345が否定判定された場合、処理をステップS340に進める。
【0036】
ステップS346では、CPU12は、除去された付着物の種別を判定する。CPU12は、各付着物に対して、払拭前後における付着物を表す画素塊の輝度変化、付着物のサイズまたは形状、動作回数A、動作回数B、直前に動作させた付着物除去部の種類などに基づいて、付着物の種別を判別する。たとえば、1回以上のエアーポンプ6の除去動作により除去されたまたは形状が変化した付着物は水滴であると判別する。一方でエアーポンプ6の除去動作を3回行っても除去されず1回以上のウォッシャーポンプ7の動作により除去されたまたは形状が変化した付着物は泥であると判別する。CPU12は、この付着物の種別に関する情報を、洗浄制御部5へ制御信号の制御量として出力することにしてもよい。
【0037】
ステップS347では、CPU12は、ステップS340で入力された付着物情報を、装置選択部32へ出力する。その後、CPU12は、処理をステップS341に進める。
【0038】
図8は、装置選択部32に関するフローチャートである。図8に例示するフローチャートは、装置選択部32がエアーポンプ6を優先して選択する場合のフローチャートである。
【0039】
ステップS321では、CPU12は、図7のステップS347で付着物検出部31または除去判定部34から付着物情報が入力されたか否かを判定する。付着物情報が付着物検出部31から入力されたときとは、すなわち付着物検出部31により付着物が検出されたときである。また、付着物情報が除去判定部34から入力されたときとは、すなわち除去判定部34がステップS345にて差分画像に除去されなかった付着物が存在すると判定したとき、換言すると付着物が除去されていないと除去判定部34が判定したときである。CPU12は、付着物情報が装置選択部32へ入力されるまでステップS321の処理を繰り返す。CPU12は、付着物情報が装置選択部32へ入力されたとき、処理をステップS322に進める。
【0040】
ステップS322では、CPU12は、RAM10に記憶されている動作回数Aが所定回数A以下(たとえば、A=3)か否かを判定する。CPU12は、ステップS322が肯定判定されたとき処理をステップS323に進め、ステップS322が否定判定されたとき処理をステップS324に進める。
【0041】
ステップS323では、CPU12は、付着物除去部としてエアーポンプ6を選択し、制御信号出力部33にエアーポンプ6の動作を要請する制御信号を洗浄制御部5へ出力させる。CPU12は、ステップS323の処理が完了した後、処理をステップS321に進める。制御信号出力部33から制御信号を入力された洗浄制御部5は、エアーポンプ6による除去動作後に動作完了信号を除去判定部34へ出力する。
【0042】
ステップS324では、CPU12は、RAM10に記憶されている動作回数Bが所定回数B以下(たとえば、B=1)か否かを判定する。CPU12は、ステップS324が肯定判定されたとき処理をステップS325に進め、ステップS324が否定判定されたとき処理をステップS326に進める。
【0043】
ステップS325では、CPU12は、付着物除去部としてウォッシャーポンプ7を選択し、制御信号出力部33にウォッシャーポンプ7の動作を要請する制御信号を出力させる。CPU12は、ステップS325の処理が完了した後、処理をステップS321に進める。制御信号出力部33から制御信号を入力された洗浄制御部5は、ウォッシャーポンプ7による除去動作後に動作完了信号を除去判定部34へ出力する。
【0044】
ステップS326では、マスク画像生成部35に非変化マスクを生成させる。CPU12は、ステップS326の処理が完了した後、処理をステップS321に進める。
【0045】
以上で説明した第1の実施の形態によれば、次の作用効果を奏する。
車載装置100は制御部2を備える。制御部2は、カメラ1の撮影レンズに付着した付着物を除去するためのエアーポンプ6とウォッシャーポンプ7とを制御する洗浄制御部5に向けて制御信号を出力する。制御部2は、カメラ1から出力された撮影画像から撮影レンズに付着した付着物を検出する付着物検出部31と、複数の付着物除去部の中から1以上の付着物除去部を選択する装置選択部32と、撮影画像を用いて装置選択部32により選択された1以上の付着物除去部による除去動作により撮影レンズから付着物が除去されたか否かを判定する除去判定部34と、装置選択部32が選択した1以上の付着物除去部に関する情報を少なくとも含む制御信号を洗浄制御部5に向けて出力する制御信号出力部33と、を備える。装置選択部32は、ステップS321において付着物検出部31または除去判定部34から付着物情報を入力されたとき、すなわち付着物検出部31が撮影レンズに付着した付着物を検出したとき、または、撮影レンズから付着物が除去されていないと除去判定部34が判定したときに、複数の付着物除去部の各々を用いて行った除去動作の動作回数AおよびBに基づいて、1以上の付着物除去部を選択する。本発明の第1の実施形態による制御部2は、このような構成を有することにより車載用カメラの撮影レンズを好適に洗浄することができる。
【0046】
制御部2は、複数の付着物除去部の各々を用いた除去動作が各々に対応した複数の所定動作回数行われた後に、撮影レンズから付着物が除去されていないと除去判定部34が判定したとき、その除去されていない付着物の画像を非変化マスクとして生成し、RAM10に記憶するマスク画像生成部35をさらに備える。付着物検出部31は、非変化マスクとしてRAM10に記憶されている付着物については、検出の対象としない。これにより、レンズ傷、遮光板1aに付着した付着物などの付着物除去部では除去不可能なものを付着物検出部31が繰り返し検出し、無駄な洗浄行為を続けてしまうことを抑制できる。
【0047】
制御部2の装置選択部32は、エアーポンプ6の除去動作の動作回数Aが所定回数A以下のとき(図8のステップS322 YES)、エアーポンプ6を選択する(ステップS323)。エアーポンプ6による除去動作の動作回数Aが所定回数Aより大きく(ステップS322 NO)、ウォッシャーポンプ7による除去動作の動作回数Bが所定値B以下のとき(ステップS324 YES)、ウォッシャーポンプ7を選択する(ステップS325)。エアーポンプ6による除去動作の動作回数Aが所定回数Aより大きく(ステップS322 NO)、ウォッシャーポンプ7による除去動作の動作回数Bが所定回数Bより大きいとき(ステップS324 NO)、除去されていない付着物の画像をマスク画像生成部35がRAM10に記憶させる。このようにすることで、エアーポンプ6の除去動作で除去されたものは水滴等であり、ウォッシャーポンプ7の除去動作で除去されたものは泥等であるといったように、付着物の種別を判別しながら付着物を除去することができる。付着物の種類(水滴・泥・水滴痕・レンズ傷)に対し、払拭装置の種類(エア・ウォッシャ・ワイパ)に応じた払拭可否を図14に示す。特定の払拭装置を稼働させて、その応答を見ることで付着物の種類を大別することができる。このような情報に対して統計処理等を行いフィードバック制御を行うことにより、動作回数Aおよび動作回数Bをユーザの運転傾向等に合わせて調整することができる。
【0048】
(第2の実施形態)
図9は、第2の実施の形態による車載装置のブロック構成図である。車載装置200は、第1の実施の形態による車載装置100と比べて、カメラ1の撮影レンズを払拭するワイパ14と、ワイパ14を駆動するワイパ駆動部13とを備える点が異なる。第1の実施の形態による洗浄制御部5に相当する洗浄制御部55は、エアーポンプ6およびウォッシャーポンプ7のほかにワイパ駆動部13の動作をさらに制御する。ワイパ14は、ウォッシャー液でも除去が困難な水滴痕の付着物を、払拭により比較的容易に撮影レンズから除去することができる。洗浄制御部55は、ワイパ駆動部13による除去動作が完了したときも、動作完了信号を除去判定部34へ出力する。
【0049】
図10は、第2の実施の形態による車載装置の制御ブロック図である。図10の制御部ブロック図は、制御部2、洗浄制御部5、装置選択部32がそれぞれ制御部52、洗浄制御部55、装置選択部36に変わっている点が図4の制御ブロック図と異なる。なお、図10では、図4の制御ブロック図と同様の処理を行うものには、同一の符号が付されており、以下ではその説明を省略する。
【0050】
装置選択部36は、エアーポンプ6の動作回数Aと、ウォッシャーポンプ7の動作回数Bと、ワイパ駆動部13の動作回数Cとに基づいて、エアーポンプ6とウォッシャーポンプ7とワイパ駆動部13との中から付着物除去部を選択する。
【0051】
図11は、制御部52により実行される装置選択部36に関するフローチャートである。図11の処理は、ワイパ駆動部13に関する処理、ステップS366とステップS367を有する。
【0052】
図11のステップS361では、CPU12は、図8のステップS321と同様の処理を行う。図11のステップS362では、CPU12は、図8のステップS322と同様の判定を行う。CPU12は、ステップS362が肯定判定されたときはステップS363に処理を進め、ステップS362が否定判定されたときはステップS364に処理を進める。図11のステップS363では、CPU12は、図8のステップS323と同様の判定を行う。
【0053】
図11のステップS364では、CPU12は、否定判定されたときにワイパ駆動部13に関する判定を行うステップS366に進む以外は、図8のステップS324と同様の判定を行う。CPU12は、ステップS364が肯定判定されたときは図8のステップS324と同様にステップS365に処理を進める。図11のステップS365では、CPU12は、図8のステップS325と同様の処理を行う。
【0054】
図11のステップS366では、CPU12は、RAM10に記憶されている動作回数Cが所定回数C以下(たとえば、C=3)か否かを判定する。CPU12は、ステップS366が肯定判定されたとき処理をステップS367に進め、ステップS366が否定判定されたとき処理をステップS368に進める。
【0055】
図11のステップS367では、CPU12は、付着物除去部としてワイパ駆動部13を選択し、制御信号出力部33にワイパ駆動部13の動作を要請する制御信号を洗浄制御部55へ出力させる。CPU12は、ステップS367の処理が完了した後、処理をステップS361に進める。制御信号出力部33から制御信号を入力された洗浄制御部5は、ワイパ駆動部13による除去動作後に動作完了信号を除去判定部34へ出力する。図11のステップS367にて出力された制御信号に応じてワイパ駆動部13が除去動作を行って、カメラ1の撮影レンズから付着物が除去された場合、除去判定部34は、ステップS345においてその付着物が水滴痕等であると判別する。なお、図11のステップS368では、図8のステップS326と同様の処理を行う。
【0056】
なお、除去判定部34は、第1の実施の形態と同様にステップS346(図7)において、除去された付着物の種別を判定する。このとき、CPU12は、各付着物に対して、払拭前後における付着物を表す画素塊の輝度変化、付着物のサイズまたは形状、動作回数A、動作回数B、動作回数C、直前に動作させた付着物除去部の種類などに基づいて、付着物の種別を判別する。そして、たとえばエアーポンプ6の除去動作を3回行い、ウォッシャーポンプ7の除去動作を1回以上行っても除去されず、1回以上のワイパ駆動部13の除去動作により除去されたまたは形状が変化した付着物は水滴痕であると判別する。
【0057】
以上で説明した第2の実施の形態によれば、次の作用効果を奏する。
車載装置200は制御部52を備える。制御部52は、カメラ1の撮影レンズに付着した付着物を除去するためのエアーポンプ6とウォッシャーポンプ7とワイパ駆動部13とを制御する洗浄制御部55に向けて制御信号を出力する。制御部52は、カメラ1から出力された撮影画像から撮影レンズに付着した付着物を検出する付着物検出部31と、複数の付着物除去部の中から1以上の付着物除去部を選択する装置選択部36と、撮影画像を用いて、装置選択部36により選択された1以上の付着物除去部による除去動作により撮影レンズから付着物が除去されたか否かを判定する除去判定部34と、装置選択部36が選択した1以上の付着物除去部に関する情報を少なくとも含む制御信号を洗浄制御部5に向けて出力する制御信号出力部33と、を備える。装置選択部36は、ステップS361において付着物検出部31または除去判定部34から付着物情報を入力されたとき、すなわち付着物検出部31が撮影レンズに付着した付着物を検出したとき、または、撮影レンズから付着物が除去されていないと除去判定部34が判定したときに、複数の付着物除去部の各々を用いて行った除去動作の動作回数A、B、およびCに基づいて、1以上の付着物除去部を選択する。本発明の第2の実施形態による制御部2は、このような構成を有することにより車載用カメラの撮影レンズを好適に洗浄することができる。
【0058】
制御部2の装置選択部36は、エアーポンプ6の除去動作の動作回数Aが所定回数A以下のとき(図8のステップS362 YES)、エアーポンプ6を選択する(ステップS363)。エアーポンプ6による除去動作の動作回数Aが所定回数Aより大きく(ステップS362 NO)、ウォッシャーポンプ7による除去動作の動作回数Bが所定値B以下のとき(ステップS364 YES)、ウォッシャーポンプ7を選択する(ステップS365)。エアーポンプ6による除去動作の動作回数Aが所定回数Aより大きく(ステップS362 NO)、ウォッシャーポンプ7による除去動作の動作回数Bが所定回数Bより大きく(ステップS364 NO)、ワイパ駆動部13による除去動作の動作回数Cが所定回数C以下のとき(ステップS366 YES)、ワイパ駆動部13を選択する。エアーポンプ6による除去動作の動作回数Aが所定回数Aより大きく(ステップS362 NO)、ウォッシャーポンプ7による除去動作の動作回数Bが所定回数Bより大きく(ステップS364 NO)、ワイパ駆動部13による除去動作の動作回数Cが所定回数Cより大きいとき、除去されていない付着物の画像をマスク画像生成部35がRAM10に記憶させる。このようにすることで、図14に示すように、エアーポンプ6の除去動作で除去されたものは水滴等であり、ウォッシャーポンプ7の除去動作で除去されたものは泥等であり、ワイパ駆動部13の除去動作で除去されたものは水滴痕等であるといったように、付着物の種別を判別しながら付着物を除去することができる。このような情報に対して統計処理等を行いフィードバック制御を行うことにより、動作回数A、B、およびCをユーザの運転傾向等に合わせて調整することができる。
【0059】
(第3の実施形態)
次に、第3の実施の形態による車載装置を説明する。本実施形態は、第1の実施の形態による車載装置とほぼ同様であるが、車両が移動しているときに付着物検出31を動作させることを特徴とする。
【0060】
第3の実施の形態で実行されるLDW、PED、RSR、IMDの各画像認識機能は、車両が走行中に動作する機能であり、一定車速(例えば5km/h)以上の時に、付着物検出31を動作させる。一定車速以上であるか否かは、図示しない車速センサを用いて判断する。
【0061】
付着物検出31のうち、例えば、泥検出部313は、カメラ1を用いて異なる2時刻の画像を撮像し、それらの画像から差分画像を生成し、差分画像における差分領域の形状を判定することにより、泥の付着有無を判断することができる。
【0062】
図15を用いて、差分画像の生成方法について説明する。差分画像は、最新の撮影画像と、基準画像との差分を算出することにより生成される。基準画像は、最新の撮影画像より前にカメラ1から時系列的に連続して出力された過去の撮影画像に基づいて生成される。
【0063】
図15には、時間変化を表す矢印が図示されており、その矢印の上にはカメラ1のフレームレートに従って時間t〜tが図示されている。時間変化を表す矢印の下には、時間t〜tにおいてそれぞれカメラ1から出力される撮影画像P〜Pが図示されている。
【0064】
撮影画像P〜Pは、カメラ1から出力されるたびにRAM10に蓄積される。そして、RAM10への撮影画像の蓄積は、時間tに開始したものとする。すなわち、図6においては撮影画像PがRAM10に蓄積された撮影画像のうち最も古い撮影画像であり、撮影画像Pが最新の撮影画像である。
【0065】
基準画像Qは、カメラ1から新たに撮影画像Pが出力されたとき(たとえば、時間t)、直前にRAM10に蓄積された撮影画像Pi−1(たとえば、撮影画像P)と、撮影画像Pが出力された時点における基準画像Qi−1とを用いて、次式〔1〕および〔2〕により生成される。
=Pi−1 (i=1のとき)・・・〔1〕
=k×Pi−1+(1−k)×Qi−1 (i≧2のとき)・・・〔2〕
ここで、kは0<k≦1の係数であって、たとえばk=0.1。
【0066】
泥検出部313は、カメラ1から出力された最新の撮影画像(たとえば、撮影画像P)と、その最新の撮影画像が出力された時点での基準画像(たとえば、基準画像Q)との差分画像を生成する。
【0067】
その後、差分領域の形状を、例えば、面積が所定の範囲内にあるか否か、差分領域のアスペクト比が所定の範囲内にあるか否か等、を判定し、条件を満たす場合に、泥が付着していると判断し、付着位置と付着個数を出力する。
【0068】
上記のように構成することにより、一定車速以上の場合に付着物検出を行うことができる。
【0069】
以上で説明した実施の形態は、以下のように変形して実行できる。
(変形例1)装置選択部32および36は、複数の付着物除去部を選択することにしてもよい。たとえば、ステップS325においてウォッシャー液を出力してから圧縮空気を出力するような選択を行ってもよい。また、エアーポンプ6による除去動作の動作回数Aが所定回数Aより大きく、ウォッシャーポンプ7による除去動作の動作回数Bが所定値B以下のとき、ウォッシャー液と圧縮空気とを同時に出力することにしてもよい。また、複数の付着物除去部は、エアーポンプ6、ウォッシャーポンプ7、ワイパ駆動部13だけに限定されず、装置選択部32および36が選択可能な付着物除去部を新たに追加することにしてもよく、エアーポンプ6、ウォッシャーポンプ7、ワイパ駆動部13のいずれかを新たな付着物除去部と入れ替えることにしてもよい。また、エアーポンプ6がウォッシャーポンプ7として機能するように構成してもよい。
(変形例2)カメラ1は、遮光板1aを備えなくてもよい。
(変形例3)図4および図10において付着物検出部31に図示された昼間水滴検出部311、夜間水滴検出部312、泥検出部313、水滴痕検出部314などは、あくまで例示であり、一部の検出部を備えていなくてもよいし、レンズ傷を検出するレンズ傷検出部をさらに備えていてもよい。
【0070】
以上で説明した実施の形態や変形例はあくまで例示に過ぎず、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。たとえば、第3の実施の形態を、第1の実施の形態や第2の実施の形態と組み合わせて実施してもよい。換言すると、第1の実施の形態や第2の実施の形態において、第3の実施の形態と同様に、車速が一定車速以上の場合に付着物検出31が動作することにしてもよい。
【0071】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2012年第149868号(2012年7月3日出願)
【符号の説明】
【0072】
1:カメラ、1a:遮光板、3:警報出力部、6:エアーポンプ、7:ウォッシャーポンプ、31:付着物検出部、33:制御信号出力部、34:除去判定部、35:マスク画像生成部
2:制御部、5:洗浄制御部、32:装置選択部、100:車載装置
13:ワイパ駆動部、52:制御部、55:洗浄制御部、36:装置選択部、200:車載装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15