特開 2024-174425 水溜まり検出装置、水溜まり検出方法、及び水溜まり検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174425

(43)【公開日】2024-12-17

(54)【発明の名称】水溜まり検出装置、水溜まり検出方法、及び水溜まり検出プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241210BHJP

   G08G 1/16 20060101ALI20241210BHJP

   G08G 1/00 20060101ALI20241210BHJP

【ＦＩ】

G06T7/00 650A

G06T7/00 300F

G08G1/16 C

G08G1/00 J

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023092239

(22)【出願日】2023-06-05

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】上松 健治

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA05

5H181BB04

5H181BB20

5H181CC04

5H181EE13

5H181FF13

5H181FF27

5H181FF33

5H181LL01

5H181LL02

5H181LL07

5H181LL08

5L096AA06

5L096BA04

5L096CA04

5L096CA05

5L096DA02

5L096FA03

5L096GA28

5L096JA03

5L096KA04

(57)【要約】

【課題】環境変化の影響を抑えて精度良く水溜まりの検出を可能にする技術を提供する。
【解決手段】水溜まり検出装置が、車両に設けられたカメラ撮影位置が異なり路面を含んだ複数の画像を取得し、前記複数の画像のそれぞれにおいて、路面領域を特定し、前記路面領域から前記路面とは異なるRGB値もしくは輝度を有する特徴領域を抽出し、前記複数
の画像間における、前記路面領域のRGB値もしくは輝度の第一の変化量と、前記特徴領域
のRGB値もしくは輝度の第二の変化量とを算出し、前記第一の変化量と前記第二の変化量
の差に基づき前記特徴領域を水溜まりと判定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両に設けられたカメラから撮影位置が異なり路面を含んだ複数の画像を取得し、
前記複数の画像のそれぞれにおいて、路面領域を特定し、
前記路面領域から前記路面とは異なるRGB値もしくは輝度を有する特徴領域を抽出し、
前記複数の画像間における、
前記路面領域のRGB値もしくは輝度の第一の変化量と、
前記特徴領域のRGB値もしくは輝度の第二の変化量とを算出し、
前記第一の変化量と前記第二の変化量の差に基づき前記特徴領域を水溜まりと判定する
水溜まり検出装置。

【請求項2】

前記第二の変化量が前記第一の変化量よりも大きい場合に前記特徴領域を水溜まりと判定する請求項１に記載の水溜まり検出装置。

【請求項3】

前記画像の前記路面領域において、路面と異なるRGB値もしくは輝度を有するエッジ線
を検出し、前記エッジ線に囲まれた領域を前記特徴領域として抽出する請求項１に記載の水溜まり検出装置。

【請求項4】

前記第一の変化量および前記第二の変化量は、比較する前記複数の画像の類似度から求める請求項１に記載の水溜まり検出装置。

【請求項5】

前記複数の画像は動画像であり、前記動画像のフレームの時間間隔を前記車両の走行速度に応じて変更する請求項１に記載の水溜まり検出装置。

【請求項6】

前記路面領域はセマンティックセグメンテーションにより抽出する請求項１に記載の水溜まり検出装置。

【請求項7】

前記カメラから撮影時刻が異なる前記複数の画像を取得することにより、前記車両の移動に伴って前記撮影位置を異ならせた画像を取得する請求項１に記載の水溜まり検出装置。

【請求項8】

前記車両において互いに異なる位置に取り付けられた複数のカメラから前記複数の画像を取得する請求項１に記載の水溜まり検出装置。

【請求項9】

前記車両が停止している場合には、互いに異なる位置に取り付けられた複数のカメラから同一時刻の前記複数の画像を取得し、前記車両が走行している場合には、一台のカメラのみを用いて撮影時刻が異なる前記複数の画像を取得する請求項８に記載の水溜まり検出装置。

【請求項10】

車両に設けられたカメラから撮影位置が異なり路面を含んだ複数の画像を取得し、
前記複数の画像のそれぞれにおいて路面領域を特定し、
前記路面領域から、前記路面とは異なるRGB値もしくは輝度を有する特徴領域を抽出し
、
前記複数の画像間における、
前記路面領域のRGB値もしくは輝度の第一の変化量と、
前記特徴領域のRGB値もしくは輝度の第二の変化量とを算出し、
前記第一の変化量と前記第二の変化量の差に基づき前記特徴領域を水溜まりと判定する、
コンピュータが実行する水溜まり検出方法。

【請求項11】

車両に設けられたカメラから撮影位置が異なり路面を含んだ複数の画像を取得し、
前記複数の画像のそれぞれにおいて路面領域を特定し、
前記路面領域から、前記路面とは異なるRGB値もしくは輝度を有する特徴領域を抽出し
、
前記複数の画像間における、
前記路面領域のRGB値もしくは輝度の第一の変化量と、
前記特徴領域のRGB値もしくは輝度の第二の変化量とを算出し、
前記第一の変化量と前記第二の変化量の差に基づき前記特徴領域を水溜まりと判定する、
コンピュータに実行させるための水溜まり検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、水溜まり検出装置、水溜まり検出方法、及び水溜まり検出プログラムに関する。

【背景技術】

【0002】

シニアカーやパーソナルモビリティといった簡易な車両において、水溜まりに入った場合、タイヤの空転を引き起こすおそれがあるため、水溜まりを事前に認識することが重要である。
水溜まりの認識方法として、特許文献１には、路面に存在する水溜まりをカメラで撮影し、乾燥している路面との明度の違いに基づいて検出することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－５４２９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

引用文献１は画像内の明暗によって水溜まりを検知する。したがって、引用文献１の場合、カメラで撮影した路面画像の明度の違いによって、路面の水溜まりを検出するので、曇天であったり日陰であったりすると、画像全体の明暗が変化し、水溜まりの領域と、それ以外の領域との明度の違いが無くなるため、正しく水溜まりの判定ができないといった問題がある。

【0005】

本開示の技術は、車外環境が変化しても精度良く水溜まりの検出を可能にする技術の提供を目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本開示の水溜まり検出装置は、車両に設けられたカメラから撮影位置が異なり路面を含んだ複数の画像を取得し、前記複数の画像のそれぞれにおいて路面領域を特定し、路面領域から、前記路面とは異なるRGB値もしくは輝度を有する特徴
領域を抽出し、前記複数の画像間における、前記路面領域のRGB値もしくは輝度の第一の
変化量と、前記特徴領域のRGB値もしくは輝度の第二の変化量とを算出し、前記第一の変
化量と前記第二の変化量の差に基づき前記特徴領域を水溜まりと判定する。

【0007】

また、上記課題を解決するため、本開示の技術は、水溜まり検出プログラムをコンピュータが読み取り可能な記録媒体に記録したものであってもよい。コンピュータに、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

【0008】

ここで、コンピュータ等が読み取り可能な記録媒体とは、ＨＤＤ（Hard-disk Drive）
やＲＯＭ（Read Only Memory）等がある。

【発明の効果】

【0009】

本開示の技術によれば、水溜まりは撮影位置によりRGB値もしくは輝度が変わるという
特性を利用して、撮影位置を異ならせた複数の画像から、路面領域と特徴領域をそれぞれ抽出し、各領域での変化量を算出して各領域の変化量を比較することで、曇天等の環境変化の影響を抑えて精度良く水溜まりの検出を可能にする技術を提供できる。

【図面の簡単な説明】

【0010】

【図1】図１は、第一実施形態に係る水溜まり検出システムの構成を示す図である。

【図2】図２は、車載装置の構成を示す図である。

【図3】図３は、本実施形態に係る水溜まり検出方法を示す図である。

【図4】図４は、抽出される路面領域の説明図である。

【図5】図５は、抽出される特徴領域の説明図である。

【図6】図６は、特徴領域が路面上に存在する物体の画像であった場合に、撮影位置が異なる画像間のRGB値もしくは輝度の変化量を示す模式説明図である。

【図7】図７は、特徴領域が水溜まりの画像であった場合に、撮影位置が異なる画像間のRGB値もしくは輝度の変化量を示す模式説明図である。

【図8】図８は、第二実施形態に係る水溜まり検出システムの構成を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施形態について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

【0012】

＜第一実施形態＞
図１は、本実施形態に係る水溜まり検出システム１００の構成を示す図である。水溜まり検出システム１００は、車両１０と、当該車両１０に取り付けられたカメラ２０と、車載装置３０とを有する。本実施形態の車両１０は、所謂シニアカーであるが、これに限らず、自転車、パーソナルモビリティ等の移動体であってもよい。車載装置３０は、水溜まり検出装置の一形態であり、カメラ２０で撮影した画像に基づいて路面上の水溜まりを検出する。車載装置３０は、水溜まりを検出した場合、例えば、水溜まりが存在する旨のメッセージをユーザに通知することにより、ユーザが水溜まりを避けて車両１０の運転を行えるようにする。なお、本実施形態において、水溜まりは、例えば、走行に支障をきたすおそれがある画像変化が大きな反射物の総称である。例えば、水溜まりは、氷や泥濘等であってもよい。

【0013】

＜カメラ＞
カメラ２０は、車両１０の前方、側方、後方など、水溜まりを検出する領域（検出対象領域）を撮影し、画像を出力する。カメラ２０は、水溜まりを検出するために設けられた専用のものであっても、ドライブレコーダなどのカメラを兼用するものであってもよい。本実施形態のカメラ２０は、車両１０の正面において撮影レンズを車両１０の進行方向に向けて取り付けられている。即ち、本実施形態のカメラ２０は、車両１０の前方を撮影する。

【0014】

カメラ２０は、一定の時間間隔で撮影を行い、撮影時刻を異ならせた画像を出力する。本実施形態では、カメラ２０が動画像を撮影することにより、当該動画像を構成する各フレームを撮影時刻の異なる画像として出力する。

【0015】

＜車載装置＞
図２は、車載装置３０の構成を示す図である。車載装置３０は、接続バス３３１によって相互に接続された制御部３３２、メモリ３３３、入出力ＩＦ（インターフェース）３３４、通信ＩＦ３３５を有するコンピュータである。制御部３３２は、入力された情報を処理し、処理結果を出力することにより、装置全体の制御等を行う。制御部３３２は、ＣＰＵ（Central Processing Unit）や、ＭＰＵ（Micro-processing unit）とも呼ばれる。制御部３３２は、単一のプロセッサに限られず、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のチップ内に複数のコアを有したマルチコア構成であってもよい。

【0016】

メモリ３３３は、主記憶装置と補助記憶装置とを含む。主記憶装置は、例えば、制御部３３２の作業領域や、制御部３３２で処理される情報を一時的に記憶する記憶領域、通信データのバッファ領域として使用される。主記憶装置は、制御部３３２がプログラムやデータをキャッシュしたり、作業領域を展開したりするための記憶媒体である。主記憶装置は、例えば、ＲＡＭ（Random Access Memory）等である。補助記憶装置は、制御部３３２により実行されるプログラムや、情報処理に用いられるデータ、動作の設定情報などを記憶する記憶媒体である。補助記憶装置は、例えば、ＨＤＤ（Hard-disk Drive）等である
。

【0017】

入出力ＩＦ３３４は、車載装置３０と接続した周辺機器との間でデータの入出力を行うインターフェースである。入出力ＩＦ３３４は、例えば、ＣＤやＤＶＤ等の記憶媒体からデータを読み取るディスクドライブ、操作部、表示装置、マイク、スピーカ、センサ等の機器との間でデータの入出力を行う。操作部は、マウスやキーボード、タッチパネル等、オペレータの操作によって車載装置３０に対する情報が入力される入力部である。表示装置は、処理結果などの情報をオペレータに対して表示出力する出力部である。

【0018】

通信ＩＦ３３５は、通信回線（ネットワーク）を介して他の装置との通信を行うインターフェース（通信モジュール）であり、ＣＣＵ（Communication Control Unit）とも称す。

【0019】

車載装置３０では、制御部３３２が、アプリケーションプログラムを実行することにより、制御部３３２が、画像取得部３０１や検出処理部３０２、出力制御部３０３といった各処理部として機能する。即ち、制御部３３２は、実行するソフトウェアに応じて各処理部として兼用され得る。但し、上記各処理部の一部又は全部が、デジタル回路といったハードウェアで形成されたものであってもよい。また、上記各処理部の少なくとも一部にアナログ回路を含む構成としてもよい。制御部３３２は、一つのプロセッサが複数の処理部として機能する構成であっても、一つの処理部として機能するプロセッサを複数備える構成であってもよい。

【0020】

画像取得部３０１は、車両１０に設けられたカメラ２０から路面を含んだ動画像を取得する。上述のように、カメラ２０は、検出対象領域の動画像を撮影する。当該動画像を構成する各フレームの画像は、夫々撮影時刻が異なるため、車両１０の移動に伴って検出対象領域の路面を撮影したカメラ２０の位置（撮影位置）が異なることになる。即ち、画像取得部３０１は、撮影位置が異なり、路面を含んだ複数の画像を取得する。なお、各フレームにおける撮影位置の差は、車両１０の移動速度によって異なり、移動速度が低い場合（低速の場合）には差が小さく、移動速度が高い場合（高速の場合）には差が大きくなる。このため、画像取得部３０１は、車両１０の移動速度に応じて、取得するフレームの時間間隔、即ち取得するフレームの撮影時刻の間隔を変更してもよい。なお、以下の説明において、複数のフレーム（画像）のうち、他のフレーム（画像）より撮影時刻が前のものは単に前のフレーム（画像）、他のフレーム（画像）より撮影時刻が後のものは単に後のフレーム（画像）とも称される。例えば撮影時刻の異なる二つのフレームは、前後のフレーム（画像）とも称される。

【0021】

検出処理部３０２は、画像取得部３０１によって取得した複数の画像（前後の画像）から、画像の変化量を求め、この変化量の大きさに基づいて水溜まりを検出する。例えば、検出処理部３０２は、複数の画像のそれぞれにおいて、路面領域を特定し、更に、路面領域から路面とは異なるRGB値もしくは輝度を有する特徴領域を抽出する。また、検出処理
部３０２は、複数の画像間における、路面領域のRGB値もしくは輝度の変化量（第一の変
化量とも称す）と、特徴領域のRGB値もしくは輝度の変化量（第二の変化量とも称す）を
算出する。そして、検出処理部３０２は、第一の変化量と前記第二の変化量の差に基づいて、特徴領域が水溜まりか否かを判定する。水溜まり領域は、後述するように、前後のフレームの画像を比較した場合の画像の変化量が周囲と異なるので、検出処理部３０２は、この変化量の異なる部分を水溜まりと判定できる。また、検出処理部３０２は、各画像の路面領域のうち、周囲と異なる特徴を有する特徴領域を抽出し、各画像の路面領域における第一の変化量と、各画像の特徴領域における第二の変化量を比較して、第二の変化量が第一の変化量よりも大きい場合に、当該特徴領域を水溜まり領域として検出してもよい。

【0022】

検出処理部３０２は、複数の画像のうち、１枚目の画像（例えば前の画像）と２枚目の画像（例えば後の画像）を比較して、RGB値もしくは輝度の変化量を算出する。ここで、
変化量の算出は、例えば、１枚目の画像と２枚目の画像とで変化したRGB値もしくは輝度
の変化率や類似度として求められる。

【0023】

画素値(RGB値)の変化率を求める場合、検出処理部３０２は、例えば、RGB値を構成する各要素（Rの値、Gの値、Bの値）の変化率の平均値を算出する。（R,G,B）の値が、それぞれ８bitである場合、例えば、黒(0,0,0)、白(255,255,255)であり、検出処理部３０２は
、１枚目の画像と２枚目の画像とで変化したRGB値の変化率を要素毎に求め、これら三つ
の要素の変化率の平均値を算出する。

【0024】

例えば、表１に示すように、路面領域に含まれる画素のRGB値を平均したものがダーク
グレー(70,70,70)からグレー(125,125,125)に変化した場合、変化率は(｜70-125｜/255+
｜70-125｜/255+｜70-125｜/255)/3=21.6%と求められる。また、特徴領域に含まれる画素のRGB値を平均したものが青(0,0,255)から緑(0,255,0)に変化した場合、変化率は(｜0-0
｜/255+｜0-225｜/255+｜255-0｜/255)/3=66.7%。と求められる。

【表1】

【0025】

なお、変化量は、画素値の変化率に限らず、１枚目の画像と２枚目の画像の類似度によって求められてもよい。例えば、類似度は、１枚目の画像と２枚目の画像からそれぞれ特徴点を求め、１枚目の画像と２枚目の画像の特徴点をマッチングし、その類似度を求める。また、類似度は、ＡＩモデルによって求められてもよい。

【0026】

出力制御部３０３は、水溜まりの検出結果を出力する。例えば、出力制御部３０３は、水溜まりが検出された場合、表示装置に水溜まりが存在することを表示出力させて、ユーザに通知する。前述の表示出力は、例えば、「前方に水溜まりがあります」といった文字表示や、表示画面上での光の点滅や、表示画面上の動画像の水溜まりを図形で囲んで表示してもよい。これに限らず、出力制御部３０３は、水溜まりが検出された場合、水溜まり
が存在する旨の音声メッセージをスピーカから出力させて、ユーザに通知してもよい。スピーカから出力される音声は、例えば、「前方に水溜まりがあります」といった音声である。また、車両１０が自動運転を行う運転制御部を有している場合、出力制御部３０３は、運転制御部に対して制御信号を出力し、水溜まりを避けるように車両の操舵、駆動力等を制御させてもよい。

【0027】

＜水溜まり検出方法＞
次に車載装置３０の制御部３３２が実行する水溜まり検出方法について説明する。図３は、本実施形態に係る水溜まり検出方法を示す図である。車載装置３０の電源がＯＮとなった場合や、ユーザによって開始操作が行われた場合に、制御部３３２は、図３の水溜まり検出プログラムに従って処理を実行する。なお、制御部３３２は、車載装置３０の電源がＯＦＦとなるまで、又はユーザによって終了操作が行われるまで、図３の水溜まり検出プログラムに従って処理を繰り返し実行する。

【0028】

ステップＳ１０にて、制御部３３２は、カメラ２０から複数の画像を取得する。例えば、制御部３３２は、カメラ２０から動画像を取得し、この動画像を構成する複数のフレームのうち、一対のフレーム、例えば最新のフレームと、その前のフレームとを取得する。ここで、制御部３３２は、前後に連続したフレームを取得してもよいし、前のフレーム（第一の画像）と後のフレーム（第二の画像）との間に時間間隔を空けて一対のフレームを取得してもよい。また、制御部３３２は、車両１０の走行速度に応じて、この時間間隔を変更してもよい。例えば、制御部３３２は、車両１０の走行速度が予め定める速度以上の場合、１フレーム毎に前後のフレームを取得する、即ち、前後に連続したフレームを取得する。そして、制御部３３２は、車両１０の走行速度が予め定める速度未満の場合、十分な変化量が得られるまで取得するフレームの間隔を大きくとる。これにより、車両１０の走行速度が遅く、車両１０の走行に伴う撮影位置の変化が少ない場合でも、精度良く水溜まり領域を検出することができる。

【0029】

ステップＳ２０にて、制御部３３２は、ステップＳ１０で取得した複数の画像から路面が写っている部分を路面領域として抽出する。例えば、制御部３３２は、セマンティックセグメンテーションにより、各画像から路面領域を抽出する。セマンティックセグメンテーションでは、画像から特定の領域（本例では路面領域）を識別するように、予め学習用画像と正解ラベルを含む教師データを用いて機械学習が行われ、ＡＩモデルが作成される。そして、制御部３３２は、ステップＳ１０で取得した画像を当該ＡＩモデルに入力することで、路面領域の識別を行う。図４は、抽出される路面領域の説明図である。図４において、符号５１は、カメラ２０から取得した画像を示し、符号５２は抽出した路面領域を示す。

【0030】

また、カメラ２０で撮影した画像において路面は、画像の下側に位置し、黒やグレーといった特定の色を呈することになるので、制御部３３２は、画像中の位置や色などの条件を満たす領域を路面領域として抽出してもよい。更に、車載装置３０が走行場所の３Ｄデータを有している場合、制御部３３２は、この３Ｄデータに基づいて路面の形状が特定できるため、各画像のうち、この形状と一致する部分を路面領域として抽出してもよい。また、制御部３３２は、抽出した路面領域の形状、面積、位置を算出してもよい。

【0031】

ステップＳ３０にて、制御部３３２は、ステップＳ２０で求めた路面領域から、路面と異なる特徴を有する特徴領域を抽出する。例えば、制御部３３２は、路面領域から路面と異なる画素もしくは輝度を有するエッジ線を検出し、このエッジ線に囲まれた領域を特徴領域として抽出する。これにより路面領域内において、路面と異なる色や輝度を有する物体が存在している部分が抽出される。図５は、抽出される特徴領域の説明図である。図５において、符号５２は、ステップＳ２０で抽出した路面領域を示し、符号５４は路面領域
から抽出した特徴領域を示す。この特徴領域には、水溜まりだけでなく、道路標識や、道路のヒビ、マンホールの蓋、ゴミなど、路面上に存在する物体が含まれる。また、制御部３３２は、抽出した特徴領域の形状、面積、位置を算出してもよい。そして、制御部３３２は、特徴領域の面積が所定値以下のものや、路面に対して盛り上がった形状のもの、道路標識やマンホールといった特定の形状のものなど、水溜まりの可能性が低い領域を排除し、検出対象とする特徴領域を絞り込んでもよい。

【0032】

ステップＳ４０にて、制御部３３２は、前後のフレームのうち、前のフレームから抽出した路面領域と、後のフレームから抽出した路面領域とを比較し、路面領域における第一の変化量を求める。例えば、制御部３３２は、前のフレームと後のフレームとで、色や輝度などの値が変化した画素の数（画素数）を求め、領域全体の画素数に対する変化した画素数の割合（変化率）を変化量としてもよい。なお、制御部３３２は、路面領域について二値化などの画像処理を行った上で変化した画素数の割合を求めてもよい。

【0033】

また、変化量は、前後のフレームの類似度であってもよい。なお、画像（フレーム）の類似度を算出するアルゴリズムは、公知のものを利用できる。更に、制御部３３２は、類似度を出力するＡＩモデルに前後のフレームを入力し、ＡＩモデルによって求めた類似度を変化量としてもよい。

【0034】

ステップＳ５０にて、制御部３３２は、前後のフレームのうち、前のフレームから抽出した特徴領域と、後のフレームから抽出した特徴領域とを比較し、特徴領域における第二の変化量を求める。なお、特徴領域の変化量は、路面領域の変化量と同様に、変化した画素の割合や、所定のアルゴリズムで算出した類似度、ＡＩモデルによって求めた類似度などであってもよい。

【0035】

ステップＳ６０にて、制御部３３２は、ステップＳ４０で求めた路面領域の変化量と、ステップＳ５０で求めた特徴領域の変化量とを比較し、路面領域の変化量と異なる変化量の特徴領域を水溜まり領域として検出する。図６は、特徴領域が路面上に存在する物体の画像であった場合に、撮影位置が異なる画像間のRGB値もしくは輝度の変化量を示す模式
説明図、図７は、特徴領域が水溜まりの画像であった場合に、撮影位置が異なる画像間のRGB値もしくは輝度の変化量を示す模式説明図である。図６において、符号５４１は、マ
ンホールの蓋など、路面上に存在する物体であり、図７において、符号５４２は、水溜まりである。また、図６，図７において、符号Ｐ１は前のフレーム（１枚目の画像）の撮影位置、符号Ｐ２は後のフレーム（２枚目の画像）の撮影位置を示す。

【0036】

図６のように、撮影位置Ｐ１から路面上に存在する物体５４１を撮影した場合、画像５４Ａが特徴領域として抽出され、撮影位置Ｐ２から当該物体５４１を撮影した場合、画像５４Ｂが特徴領域として抽出される。このように撮影位置Ｐ１，Ｐ２が異なると、特徴領域を撮影する角度が変わることによって、各画像の画素値や輝度が変化することになる。但し、特徴領域の物体５４１が、路面上に存在する物体の場合、撮影位置が異なっても同じ物体を撮影することになるため、大きな変化にはならない。また、この変化は、路面領域の変化量と略同じになる。

【0037】

一方、図７のように、撮影位置Ｐ１から水溜まり５４２を撮影した場合、画像５４Ｃが特徴領域として抽出され、撮影位置Ｐ２から水溜まり５４２を撮影した場合、画像５４Ｄが特徴領域として抽出される。このように撮影位置Ｐ１，Ｐ２が異なると、特徴領域を撮影する角度が変わることによって、各画像の画素値や輝度が変化する。そして、特徴領域に水溜まり５４２がある場合、水溜まりに写り込んだ画像は、路面上に存在するものではなく、水溜まり領域から離れた位置に存在する物体であるため、撮影位置が僅かに異なるだけでも大きく異なる位置の物体が水溜まりに写り込み、画素値や輝度が大きく変化する
ことになる。このように水溜まりの場合、写り込んだ画像の変化量が大きくなるため、路面領域の変化量と比べて変化量の大きい特徴領域を水溜まり領域として検出できる。また、この水溜まりに写り込む位置の変化は、晴天に限らず、曇天や夕暮れ時など、照度が低い状況であっても変わらないため、環境変化によらず精度良く水溜まり領域を検出できる。また、変化量を類似度によって求める場合、路面領域は、図６に示すように撮影位置を異ならせた場合でも各画像の類似度が高くなる。即ち、変化量は小さくなる。一方、水溜まり領域は撮影位置を異ならせた場合、図７に示すように各画像の類似度が低くなる。即ち変化量が大きくなる。このため、特徴領域の類似度が、路面領域より低い場合、即ち、特徴領域の変化量が、路面領域より大きい場合に、当該特徴領域を水溜まり領域として検出できる。

【0038】

ステップＳ７０にて、制御部３３２は、水溜まり領域を検出したか否かを判定する。制御部３３２は、水溜まり領域を検出しなかった場合（Ｓ７０，Ｎｏ）、図３の水溜まり検出プログラムの処理を終了し、水溜まり領域を検出した場合（Ｓ７０，Ｙｅｓ）、ステップＳ８０へ移行する。

【0039】

ステップＳ８０にて、制御部３３２は、水溜まり領域の検出結果を出力する。例えば、「水溜まりを検出しました」のように、音声メッセージを出力すると共に、表示装置に水溜まりの位置を表示する。更に、車両１０が自動運転を行う運転制御部を有している場合、制御部３３２は、例えば水溜まりの位置を示す位置情報と、この水溜まりがある位置を避けて走行させる命令を含む制御信号を車両１０の運転制御部に出力してもよい。

【0040】

なお、本実施形態では、車載装置３０が、スタンドアローンで水溜まりの判定を行う構成であるが、これに限らず、車載装置３０が、撮影画像を外部サーバへ送信し、この外部サーバが、図３のような水溜まり検出プログラムに従って水溜まりを判定する処理を実行してもよい。この場合、外部サーバは、ネットワークを介して車載装置３０から複数の画像を取得し、水溜まりの判定処理を行った後、判定結果を車載装置３０へ送信して車載装置３０からユーザ等へ出力させる。

【0041】

＜実施形態の効果＞
（１）上述のように、本実施形態の車載装置（水溜まり検出装置）３０は、車両に設けられたカメラ２０から、路面に対して撮影位置が異なり路面を含んだ複数の画像を取得し、これら複数の画像のそれぞれにおいて路面領域を特定する。そして、車載装置３０は、路面領域から路面とは異なるRGB値もしくは輝度を有する特徴領域を抽出し、複数の画像
間における、路面領域の変化量と、特徴領域の変化量とを算出し、これらの差に基づいて当該特徴領域を水溜まりと検出する。

【0042】

水溜まりに映った画像は、撮影位置を異ならせた場合に、水溜まり以外の路面と比べて大きく変化する。このため本実施形態の車載装置３０は、撮影位置が異なる画像間の変化量を求め、この変化量に基づいて水溜まりを判定する。このように、水溜まりの画像が撮影位置によって大きく変化する特性は、天候や路面の色といった環境条件に依存しないため、単に乾燥している路面との明度の違いによって水溜まりを判定するよりも環境変化の影響を受けにくい。これにより、本実施形態の車載装置３０は、環境変化の影響を抑えて精度良く水溜まりを検出できる。

【0043】

（２）車載装置３０は、撮影位置を異ならせた各画像の特徴領域における第二の変化量が、各画像の路面領域における第一の変化量よりも大きい場合に、当該特徴領域を水溜まりと判定する。周囲の明るさ等の環境条件は、路面領域も特徴領域も略同様である。即ち、路面領域が明るい状況であれば、特徴領域も明るい状況にあり、路面領域が暗い状況であれば、特徴領域も暗い状況にある。このため、車載装置３０は、同じ環境条件で第一の
変化量と第二の変化量を算出し、第一の変化量を基準として第二の変化量が大きいか否かを判定するので、単に閾値より大きいか否かによって水溜まりを判定するよりも精度良く水溜まり領域を検出することができる。

【0044】

（３）車載装置３０は、画像の前記路面領域において、路面と異なるRGB値もしくは輝
度を有するエッジ線を検出し、エッジ線に囲まれた領域を特徴領域として抽出する。これにより、本実施形態の車載装置３０は、路面領域のうち、水溜まり領域の候補となる部分を特定し、この特定の領域について比較を行うことで、精度良く水溜まり領域を検出できる。

【0045】

（４）車載装置３０は、比較する複数の画像の類似度から第一の変化量および前記第二の変化量を求める。路面領域は、撮影位置を異ならせた場合でも各画像の類似度が高く、水溜まり領域は撮影位置を異ならせた場合に各画像の類似度が低くなる。このため、車載装置３０は、類似度から第一の変化量および前記第二の変化量を求め、
路面領域と比べて特徴領域の類似度が低く、第一の変化量より第二の変化量が大きい場合に、当該特徴領域を水溜まり領域と判定できる。このように類似度による判定は、例えば、比較する特徴点の距離や向き等によって判定するため、周囲の明るさによる影響を受けにくい。具体的には、車両がビルの陰に入った場合や太陽が雲に隠れた際に周囲の明るさが変化すると、RGB値もしくは輝度は変化することになるが、類似度は変化しないため、
精度良く水溜まり領域を検出できる。

【0046】

（５）車載装置３０は、車両に設けられたカメラ２０から取得する複数の画像が動画像であり、当該動画像のフレームの時間間隔を車両の走行速度に応じて変更する。これにより、車載装置３０は、画像の撮影位置を適切に制御し、精度良く、水溜まり領域の検出を行うことができる。例えば、車載装置３０は、車両１０の走行速度が遅く、車両１０の走行に伴う撮影位置の変化が少ない場合には、比較する画像の時間間隔を大きくとって、十分な変化が得られるようにすることで、走行速度が遅い場合でも精度良く水溜まり領域を検出することができる。

【0047】

（６）車載装置３０は、路面領域をセマンティックセグメンテーションによって抽出する。これにより、本実施形態の車載装置３０は、撮影した画像のうち、路面以外の領域を排除し、窓ガラスなど、路面以外の領域に存在する物体の影響を抑えて、精度良く水溜まり領域を検出することができる。

【0048】

（７）車載装置３０は、カメラ２０から撮影時刻が異なる複数の画像を取得することにより、車両の移動に伴って撮影位置を異ならせた画像を取得する。これにより、車載装置３０は、一台のカメラ２０で、撮影位置を異ならせた複数の画像を取得でき、水溜まり領域の検出を行うことができる。

【0049】

＜第二実施形態＞
図８は、第二実施形態に係る水溜まり検出システム１００の構成を示す図である。前述の第一実施形態と比べ、本実施形態は、路面に対して撮影位置の異なる複数の画像を複数のカメラ２１，２２で撮影する構成が異なっている。なお、第一実施形態と同一の要素には同符号を付すなどして再度の説明を省略する。

【0050】

図８に示すように、本実施形態では、複数のカメラ２１，２２が、車両１０の高さ方向において互いに異なる位置に取り付けられている。また、複数のカメラ２１，２２は、車両１０の前方を撮影するように撮影レンズを車両の前方に向けて取り付けられている。これに限らず、カメラ２１，２２は、略同じ検出対象領域を異なる位置から撮影するものであれば、他の配置であってもよい。例えば、カメラ２１，２２が、車両１０の幅方向にお
いて異なる位置に設けられてもよい。また、カメラ２１，２２は、前方以外の検出対象領域に向けて設けられてもよい。

【0051】

本実施形態の車載装置３０は、カメラ２１，２２から夫々画像を取得し、カメラ２１で撮影された画像とカメラ２２で撮影された画像を一対の画像とする。例えば、カメラ２１，２２で夫々動画像を撮影した場合、同一時刻で撮影されたフレーム（画像）を一対のフレーム（画像）とする。前述の同一時刻には若干の誤差があってもよい。

【0052】

検出処理部３０２は、画像取得部３０１によって取得した一対のフレーム（画像）を比較し、当該フレームの変化量の大きさに基づいて水溜まりを検出する。なお、検出の手法等は前述の実施形態と同じである。本実施形態では、二台のカメラ２１，２２で撮影した一対の画像を比較して変化量を求めるが、三台以上のカメラを異なる位置に取り付け、各カメラで撮影した画像を比較して変化量を求めてもよい。

【0053】

このように本実施形態によれば、異なる位置に設けた複数のカメラを用いることで、車両１０が停止した状態でも路面に対して撮影位置を異ならせた画像を取得でき、車両１０の速度に依らずに、水溜まりの検出を行うことができる。なお、車両１０が停止している場合には、複数のカメラを用いて、撮影位置を異ならせた画像を取得し、車両１０が走行している場合は、一台のカメラを残して他のカメラを停止し、第一実施形態と同様に一台のカメラで撮影時刻を異ならせた複数の画像を取得してもよい。これにより走行時に動作させるカメラの台数を減らして省電力化を図ることができる。

【符号の説明】

【0054】

１０ ：車両
２０，２１，２２：カメラ
３０ ：車載装置
１００ ：水溜まり検出システム
３０１ ：画像取得部
３０２ ：検出処理部
３０３ ：出力制御部
３３１ ：接続バス
３３２ ：制御部
３３３ ：メモリ
３３４ ：入出力ＩＦ
３３５ ：通信ＩＦ
５４１ ：物体
５４２ ：水溜まり

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】