特許 6866280 推定装置、推定方法および推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6866280

(24)【登録日】2021年4月9日

(45)【発行日】2021年4月28日

(54)【発明の名称】推定装置、推定方法および推定プログラム

(51)【国際特許分類】

   G01W 1/14 20060101AFI20210419BHJP

   B60W 40/02 20060101ALI20210419BHJP

   G08G 1/00 20060101ALI20210419BHJP

   G06T 7/00 20170101ALI20210419BHJP

【ＦＩ】

   G01W1/14 B

   B60W40/02

   G08G1/00 J

   G06T7/00 650Z

【請求項の数】10

【全頁数】19

(21)【出願番号】特願2017-242909(P2017-242909)

(22)【出願日】2017年12月19日

(65)【公開番号】特開2019-109157(P2019-109157A)

(43)【公開日】2019年7月4日

【審査請求日】2020年3月9日

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】渡辺 晃輔

【審査官】 伊藤 昭治

(56)【参考文献】

【文献】 国際公開第２０１５／１５２３０４（ＷＯ，Ａ１）

【文献】 特開２０１６−２００９１１（ＪＰ，Ａ）

【文献】 特開２０１６−０５７８６１（ＪＰ，Ａ）

【文献】 特開２００４−３４１７９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｗ １／００ − １／１８

Ｂ６０Ｗ ４０／０２

(57)【特許請求の範囲】

【請求項1】

車両に搭載された撮像装置によって撮像された画像を取得する取得部と、
前記取得部によって取得された前記画像から降水物を検出した場合に、前記車両周辺の天候を降水と推定する推定部と、
降水物のテンプレート画像を複数記憶する記憶部と、
前記車両の移動速度を検出する移動速度検出部と
を備え、
前記推定部は、
前記記憶部に記憶された複数の前記テンプレート画像の中から、前記移動速度検出部によって検出された前記車両の移動速度に対応する前記テンプレート画像を選択し、選択した前記テンプレート画像を用いたテンプレートマッチング処理を行うことによって前記画像から降水物を検出すること
を特徴とする推定装置。

【請求項2】

前記推定部は、
前記画像から降水物を検出した場合に、前記画像中の降水物の数を計測し、計測結果に基づいて降水の強度をさらに推定すること
を特徴とする請求項１に記載の推定装置。

【請求項3】

前記推定部は、
前記車両に搭載された天候に関連する機器の動作状況を前記画像に基づいて検出し、前記画像から降水物を検出したことと、前記動作状況の検出結果とに基づいて前記車両周辺の天候を降水と推定すること
を特徴とする請求項１または２に記載の推定装置。

【請求項4】

前記推定部は、
前記画像から降水物を検出し、かつ、前記画像から動作中のワイパーを検出した場合に、前記車両周辺の天候を降水と推定すること
を特徴とする請求項３に記載の推定装置。

【請求項5】

前記推定部は、
前記画像から前記降水物を検出し、かつ、前記画像から動作中のワイパーを検出した場合に、前記車両周辺の天候を降水と推定し、さらに、
前記撮像装置によって撮像された複数の画像に基づいて前記ワイパーの単位時間あたりの動作回数を計測し、計測結果に基づいて降水の強度を推定すること
を特徴とする請求項１に記載の推定装置。

【請求項6】

車両に搭載された撮像装置によって撮像された画像を取得する取得部と、
前記取得部によって取得された前記画像に基づき、前記車両周辺の路面の冠水を推定する推定部と、
前記車両の大きさを検出する車両サイズ検出部と
を備え、
前記推定部は、
前記冠水を推定した場合に、冠水した場所を前記車両が通行できたか否かに関する通行状況をさらに推定し、前記冠水の推定結果、前記通行状況の推定結果および前記車両サイズ検出部によって検出された前記車両の大きさを含む推定情報を生成すること
を特徴とする推定装置。

【請求項7】

コンピュータが実行する推定方法であって、
車両に搭載された撮像装置によって撮像された画像を取得する取得工程と、
前記取得工程によって取得された前記画像から降水物を検出した場合に、前記車両周辺の天候を降水と推定する推定工程と、
前記車両の移動速度を検出する移動速度検出工程と
を含み、
前記推定工程は、
降水物の形状を示す複数のテンプレート画像の中から、前記移動速度検出工程によって検出された前記車両の移動速度に対応する前記テンプレート画像を選択し、選択した前記テンプレート画像を用いたテンプレートマッチング処理を行うことによって前記画像から降水物を検出すること
を特徴とする推定方法。

【請求項8】

コンピュータが実行する推定方法であって、
車両に搭載された撮像装置によって撮像された画像を取得する取得工程と、
前記取得工程によって取得された前記画像に基づき、前記車両周辺の路面の冠水を推定する推定工程と、
前記車両の大きさを検出する車両サイズ検出工程と
を含み、
前記推定工程は、
前記冠水を推定した場合に、冠水した場所を前記車両が通行できたか否かに関する通行状況をさらに推定し、前記冠水の推定結果、前記通行状況の推定結果および前記車両サイズ検出工程によって検出された前記車両の大きさを含む推定情報を生成すること
を特徴とする推定方法。

【請求項9】

車両に搭載された撮像装置によって撮像された画像を取得する取得手順と、
前記取得手順によって取得された前記画像から降水物を検出した場合に、前記車両周辺の天候を降水と推定する推定手順と、
前記車両の移動速度を検出する移動速度検出手順と
をコンピュータに実行させ、
前記推定手順は、
降水物の形状を示す複数のテンプレート画像の中から、前記移動速度検出手順によって検出された前記車両の移動速度に対応する前記テンプレート画像を選択し、選択した前記テンプレート画像を用いたテンプレートマッチング処理を行うことによって前記画像から降水物を検出すること
ことを特徴とする推定プログラム。

【請求項10】

車両に搭載された撮像装置によって撮像された画像を取得する取得手順と、
前記取得手順によって取得された前記画像に基づき、前記車両周辺の路面の冠水を推定する推定手順と、
前記車両の大きさを検出する車両サイズ検出手順と
をコンピュータに実行させ、
前記推定手順は、
前記冠水を推定した場合に、冠水した場所を前記車両が通行できたか否かに関する通行状況をさらに推定し、前記冠水の推定結果、前記通行状況の推定結果および前記車両サイズ検出手順によって検出された前記車両の大きさを含む推定情報を生成すること
を特徴とする推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推定装置、推定方法および推定プログラムに関する。

【背景技術】

【0002】

従来、車両に搭載された天候に関連する各種の車載機器、たとえば、ワイパー、前照灯、フォグランプ等と電気的に接続されたＣＰＵを用いてこれらの動作状況を電気的に取得し、取得した動作状況に基づいて車両周辺の天候を推定する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第３９５１６６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術は、ワイパーやフォグランプといった天候に関連する車載機器の動作状況を取得するために、これら天候に関連する車載機器との電気的な接続が必要となるという点で手軽さに欠ける。

【0005】

本願は、上記に鑑みてなされたものであって、車両周辺の天候の推定を手軽に行うことのできる推定装置、推定方法および推定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る推定装置は、取得部と、推定部とを備える。取得部は、車両に搭載された撮像装置によって撮像された画像を取得する。推定部は、取得部によって取得された画像に基づき、車両周辺の天候に関する状況を推定する。

【発明の効果】

【0007】

実施形態の一態様によれば、車両周辺の天候の推定を手軽に行うことができるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理の一例を示す図である。

【図2】図２は、実施形態に係る情報処理システムの構成例を示す図である。

【図3】図３は、実施形態に係る端末装置の構成例を示す図である。

【図4】図４は、車両の移動速度ごとに用意された複数のテンプレート画像の一例を示す図である。

【図5】図５は、実施形態に係るサーバの構成例を示す図である。

【図6】図６は、実施形態に係る端末装置が実行する処理手順を示すフローチャートである。

【図7】図７は、推定処理の手順の一例を示すフローチャートである。

【図8】図８は、推定処理の手順の他の一例を示すフローチャートである。

【図9】図９は、推定処理の手順の他の一例を示すフローチャートである。

【図10】図１０は、実施形態に係る情報処理システムの動作の一例を示すシーケンス図である。

【図11】図１１は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る推定装置、推定方法および推定プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る推定装置、推定方法および推定プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

〔１．情報処理の一例〕
まず、図１を用いて、推定装置の一例である端末装置１０が実行する情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。

【0011】

図１に示す端末装置１０は、たとえばスマートフォン、タブレット端末およびＰＤＡ（Personal Digital Assistant）等の移動端末である。端末装置１０は、撮像部１３を備え、車両１００周辺の画像を撮って記録するドライブレコーダとして機能する。たとえば、端末装置１０は、車両１００のフロントガラス１０１に据え付けられて車両１００の前方を撮像する。なお、端末装置１０は、ダッシュボード上に据え付けられてもよい。

【0012】

ここで、車両１００周辺の天候を推定する技術として、ワイパーやフォグランプといった天候に関連する車載機器の動作状況を電気的に取得し、取得した動作状況に基づいて車両周辺の天候を推定する技術が知られている。しかしながら、かかる従来技術は、天候に関連する車載機器との電気的な接続が必要となるという点で手軽さに欠ける。

【0013】

一方、図１に示すように、撮像部１３によって撮像される画像には、たとえばワイパー１０２や降水物１０３など天候に関連する物体が写り込む。降水物とは、雨粒や雪片等のことである。

【0014】

そこで、実施形態に係る端末装置１０は、撮像部１３によって撮像された画像を取得し（ステップＳ０１）、取得した画像に基づき、車両１００周辺の天候に関する状況を推定することとした（ステップＳ０２）。これにより、ワイパー１０２やフォグランプといった天候に関連する車載機器との電気的な接続が不要となるため、車両１００周辺の天候を手軽に推定することができる。

【0015】

たとえば、端末装置１０は、撮像部１３によって撮像された画像に動作中のワイパー１０２が写り込んでいる場合に、車両１００周辺の天候を降水と推定することができる。降水とは、大気中の水蒸気が雨や雪となって地上に落下する現象である。端末装置１０は、たとえば単位時間あたりに撮像された複数の画像からワイパー１０２の単位時間あたりの動作回数を計測し、計測結果に基づいて降水の強度を推定することも可能である。

【0016】

また、端末装置１０は、撮像部１３によって撮像された画像に降水物１０３が写り込んでいる場合に、車両１００周辺の天候を降水と推定してもよい。端末装置１０は、たとえば画像中の降水物１０３の数を計測し、計測結果に基づいて降水の強度を推定することも可能である。

【0017】

画像に写り込む降水物１０３の形状は、車両１００の移動速度によって変化する。そこで、端末装置１０は、画像から降水物１０３を検出するテンプレートマッチング処理に用いるテンプレート画像を車両１００の移動速度に応じて変更することとしてもよい。これにより、車両１００の移動速度によらず画像中の降水物１０３を精度よく検出することができる。

【0018】

このように、実施形態に係る情報処理によれば、撮像部１３によって撮像された画像を解析することで、ワイパー１０２等の天候に関連する車載機器と端末装置１０とを電気的に接続することなく、車両１００周辺の天候に関する状況を手軽に推定することができる。

【0019】

以下、このような処理を行う端末装置１０および端末装置１０を含む情報処理システム１について、詳細に説明する。

【0020】

〔２．情報処理システムの構成〕
実施形態に係る情報処理システムの構成について図２を参照して説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。

【0021】

図２に示すように、情報処理システム１は、複数の端末装置１０と、サーバ２０とを含む。

【0022】

各端末装置１０は、ネットワークＮを介してサーバ２０と接続される。ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Internet Protocol）網、インターネット等の通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。

【0023】

各端末装置１０は、車両１００に搭載され、車両１００の前方を撮像する。各端末装置１０は、撮像部１３（図１参照）によって撮像された画像を用いて上述した情報処理を行い、推定結果を含んだ推定情報をネットワークＮを介してサーバ２０へ送信する。推定情報には、推定結果の他、たとえば、推定処理に用いた画像の撮像日時や撮像場所の位置情報等が含まれる。

【0024】

サーバ２０は、ネットワークＮを介して各端末装置１０から推定情報を取得して蓄積し、蓄積した推定情報に基づくサービスを提供する。

【0025】

〔３．端末装置の構成〕
次に、実施形態に係る端末装置１０の構成について図３を参照して説明する。図３は、実施形態に係る端末装置１０の構成例を示す図である。

【0026】

図３に示すように、端末装置１０は、通信部１１と、記憶部１２と、撮像部１３と、集音部１４と、ＧＰＳ受信部１５と、出力部１６と、制御部１８とを備える。

【0027】

（通信部について）
通信部１１は、たとえば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１は、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、サーバ２０との間で情報の送受信を行う。

【0028】

（記憶部について）
記憶部１２は、たとえば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２は、撮像情報１２１と、音声情報１２２と、テンプレート画像１２３とを記憶する。

【0029】

（撮像情報について）
撮像情報１２１は、撮像部１３によって撮像された画像に、当該画像の撮像日時および撮像場所ならびに端末装置１０の識別情報等を関連付けた情報である。

【0030】

（音声情報について）
音声情報１２２は、集音部１４によって集音された音声に、当該音声の集音日時および集音場所ならびに端末装置１０の識別情報等を関連付けた情報である。

【0031】

（テンプレート画像について）
テンプレート画像１２３は、撮像部１３によって撮像された画像から車両１００周辺の天候に関連する物体（ワイパー１０２や降水物１０３など）を検出するテンプレートマッチング処理に用いられる画像である。記憶部１２には、検出対象ごとのテンプレート画像１２３が記憶される。

【0032】

また、複数の検出対象のうち、たとえば降水物１０３については、車両１００の移動速度ごとに形状が異なる複数のテンプレート画像１２３が用意される。かかる点について図４を参照して説明する。図４は、車両１００の移動速度ごとに用意された複数のテンプレート画像１２３の一例を示す図である。図４に示すテンプレート＃１，＃２，＃３・・・は、たとえば降水物１０３を検出するためのテンプレート画像である。

【0033】

図４に示すように、テンプレート＃１，＃２，＃３・・・は、車両１００の速度範囲に関連付けられている。たとえば、テンプレート＃１は、車両１００の移動速度「０ｋｍ／ｈ以上３０ｋｍ／ｈ未満」に関連付けられ、テンプレート＃２は、「３０ｋｍ／ｈ以上６０ｋｍ／ｈ未満」に関連付けられ、テンプレート＃３は、「６０ｋｍ／ｈ以上９０ｋｍ／ｈ未満」に関連付けられている。

【0034】

（撮像部について）
撮像部１３は、レンズ等の光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子と、を有する。撮像部１３は、たとえば車両１００の前方を撮像する。

【0035】

（集音部について）
集音部１４は、たとえばマイクロフォンであり、周囲の音声を集音する。車両１００周辺で雨が降っている場合、車両１００のフロントガラス１０１に当たる降水物１０３の音が集音部１４によって集音される。

【0036】

（ＧＰＳ受信部について）
ＧＰＳ受信部１５は、ＧＰＳ（Global Positioning System）等の衛星測位システムに用いられる信号を衛星から受信するためのアンテナである。端末装置１０は、ＧＰＳ受信部１５を用いて端末装置１０の現在位置を所定の時間間隔で特定する測位機能を有する。

【0037】

（出力部について）
出力部１６は、各種情報を表示する画面や音声を出力するためのスピーカーである。

【0038】

（制御部について）
制御部１８は、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１０内部の記憶装置に記憶されている各種プログラム（推定プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１８は、たとえば、コントローラであり、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0039】

図３に示すように、制御部１８は、取得部１８１と、車両情報検出部１８２と、推定部１８３と、サーバ連携部１８４とを備え、以下に説明する処理の機能や作用を実現または実行する。なお、制御部１８の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0040】

（取得部について）
取得部１８１は、撮像部１３によって撮像された画像を取得する。また、取得部１８１は、ＧＰＳ受信部１５から車両１００の現在位置を取得する。取得部１８１は、撮像部１３から取得した画像を、ＧＰＳ受信部１５から取得した車両１００の現在位置（すなわち、撮像場所）、撮像日時および端末装置１０の識別情報等と関連付けて撮像情報１２１として記憶部１２に記憶させる。

【0041】

また、取得部１８１は、集音部１４によって集音された音声を当該音声の集音日時と、集音場所、端末装置１０の識別情報等と関連付けて音声情報１２２として記憶部１２に記憶させる。

【0042】

（車両情報検出部について）
車両情報検出部１８２は、端末装置１０が搭載される車両１００に関する情報を検出する。たとえば、車両情報検出部１８２は、車両１００の移動速度を検出する。具体的には、車両情報検出部１８２は、ＧＰＳ受信部１５によって特定される車両１００の現在位置の時間変化から車両１００の移動速度を検出することができる。また、車両情報検出部１８２は、撮像部１３によって単位時間あたりに撮像された複数の画像から同一の物体（たとえばセンターラインなど）をそれぞれ検出し、その物体が通り過ぎる時間から車両１００の移動速度を検出してもよい。また、車両情報検出部１８２は、車両１００に搭載された速度メータから車両１００の移動速度を直接取得してもよい。

【0043】

また、車両情報検出部１８２は、車両１００のサイズに関する情報を検出する。たとえば、車両情報検出部１８２は、撮像部１３によって撮像された画像に写り込んでいる車両１００の内装または外装から車両１００の車種（軽自動車、小型自動車、普通車など）を検出することができる。また、端末装置１０に予め登録された車両１００の車名等から車種、車高、全長、全幅等の車両１００のサイズに関する情報を検出してもよい。

【0044】

（推定部について）
推定部１８３は、撮像部１３によって撮像された画像に基づき、車両１００周辺の天候に関する状況を推定する。

【0045】

推定部１８３は、撮像部１３によって撮像された画像に対し、記憶部１２に記憶されたテンプレート画像１２３を用いたテンプレートマッチング処理を行うことにより、ワイパー１０２や降水物１０３といった天候に関連する物体を検出する。

【0046】

推定部１８３は、撮像部１３によって撮像された画像から動作中のワイパー１０２が検出された場合に、車両１００周辺の天候を降水と推定する。なお、推定部１８３は、停止位置（フロントガラス１０１下部の収納位置）以外の場所に存在するワイパー１０２を動作中のワイパー１０２として検出する。

【0047】

また、推定部１８３は、単位時間（たとえば５秒間）あたりに撮像された複数の画像からワイパー１０２の単位時間あたりの動作回数を計測し、計測結果に基づいて降水の強度を推定する。たとえば、車両１００周辺の天候が強雨である場合、車両１００周辺の天候が弱雨である場合と比較して、ワイパー１０２の動作間隔が短く設定されることが考えられる。そこで、推定部１８３は、単位時間あたりのワイパー１０２の動作回数が多いほど、降水の強度が高いと推定することができる。降水の強度は、「弱」および「強」の２つに区分されてもよいし、３つ以上に区分されてもよい。

【0048】

また、推定部１８３は、撮像部１３によって撮像された画像から降水物１０３が検出された場合に、車両１００周辺の天候を降水と推定する。この場合、推定部１８３は、記憶部１２に記憶された複数のテンプレート画像１２３の中から、車両情報検出部１８２によって検出された車両１００の移動速度に対応するテンプレート画像１２３を選択してテンプレートマッチング処理を行う。これにより、車両１００の移動速度によらず画像中の降水物１０３を精度よく検出することができる。

【0049】

また、推定部１８３は、画像中の降水物１０３の数を計測し、計測結果に基づいて降水の強度を推定する。たとえば、推定部１８３は、フロントガラス１０１に付着した降水物１０３の数を計測する。そして、推定部１８３は、画像中の降水物１０３の数が多いほど、降水の強度が高いと推定する。

【0050】

また、推定部１８３は、降水以外の天候を推定することも可能である。たとえば、推定部１８３は、撮像部１３によって単位時間あたりに撮像された複数の画像から、旗や樹など風によって揺れ動く物体の動きを検出することで、車両１００周辺において強風が吹いていることを推定することができる。

【0051】

また、推定部１８３は、車両１００周辺の天候に関する状況として、車両１００周辺の天候そのもの（降水、強風など）だけでなく、天候によって引き起こされるその他の状況を推定することもできる。たとえば、推定部１８３は、撮像部１３によって撮像された画像から水面を検出することにより、車両１００周辺の路面状況を冠水と推定することができる。なお、推定部１８３は、撮像部１３によって撮像された画像に写り込んでいる路面の色に基づいて車両１００周辺の路面状況を冠水と推定してもよい。また、路面が冠水している場合、タイヤの一部あるいは全部が水で隠れることとなる。そこで、推定部１８３は、撮像部１３によって撮像された画像に写り込んでいる他車両のタイヤの形状に基づいて車両１００周辺の路面状況を冠水と推定してもよい。

【0052】

推定部１８３は、車両１００周辺の路面状況を冠水と推定した場合に、冠水した場所を車両１００が通行できたか否かに関する通行状況をさらに推定してもよい。たとえば、推定部１８３は、ＧＰＳ受信部１５によって取得される車両１００の現在位置に基づき、冠水と推定された場所を車両１００が通過したか否かを推定することができる。

【0053】

推定部１８３は、車両１００周辺の天候に関する状況の推定結果を、推定に用いた画像の撮像日時や撮像場所の位置情報、端末装置１０の識別情報等の情報と関連付けた推定情報を生成する。また、推定部１８３は、冠水を推定した場合には、冠水の推定結果を、通行状況の推定結果および車両情報検出部１８２によって検出された車両１００の大きさと関連付けた推定情報を生成する。

【0054】

（サーバ連携部について）
サーバ連携部１８４は、生成した推定情報をネットワークＮを介してサーバ２０へ送信する。また、サーバ連携部１８４は、サーバ２０から提供される情報をネットワークＮを介して受信し、受信した情報を出力部１６に出力する。その他、サーバ連携部１８４は、ＧＰＳ受信部１５によって取得される端末装置１０の現在位置を端末装置１０の識別情報とともにネットワークＮを介してサーバ２０へ定期的に送信する処理を行う。また、端末装置１０がカーナビゲーション機能を有する場合、サーバ連携部１８４は、車両１００の走行予定ルートの情報をネットワークＮを介してサーバ２０へ送信する。

【0055】

〔４．サーバの構成〕
次に、実施形態に係るサーバ２０の構成について図５を参照して説明する。図５は、実施形態に係るサーバ２０の構成例を示す図である。図５に示すように、サーバ２０は、通信部２１と、記憶部２２と、制御部２３とを備える。

【0056】

（通信部について）
通信部２１は、たとえば、ＮＩＣ等によって実現される。通信部２１は、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、端末装置１０との間で情報の送受信を行う。

【0057】

（記憶部について）
記憶部２２は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図５に示すように、記憶部２２は、端末情報２２１と、推定情報２２２と、天候情報２２３とを記憶する。

【0058】

（端末情報について）
端末情報２２１は、各端末装置１０の現在位置を各端末装置１０の識別情報と関連付けた情報である。これにより、サーバ２０は、各端末装置１０の現在位置を特定することが可能である。

【0059】

（推定情報について）
推定情報２２２は、端末装置１０によって生成される情報であり、上述したように、車両１００周辺の天候に関する状況の推定結果、推定に用いた画像の撮像日時や撮像場所の位置情報、端末装置１０の識別情報等の情報を含んだ情報である。

【0060】

（天候情報について）
天候情報２２３は、記憶部１２に蓄積された推定情報２２２に基づきサーバ２０によって生成される情報である。天候情報２２３は、地域の位置情報と、その地域の天候に関する状況とを関連付けた情報である。

【0061】

（制御部について）
制御部２３は、たとえば、ＣＰＵやＭＰＵ等によって、サーバ２０内部の記憶装置に記憶されている各種プログラム（推定プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部２３は、たとえば、コントローラであり、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

【0062】

図５に示すように、制御部２３は、蓄積部２３１と、生成部２３２と、提供部２３３とを備え、以下に説明する処理の機能や作用を実現または実行する。なお、制御部２３の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0063】

（蓄積部について）
蓄積部２３１は、各端末装置１０からネットワークＮを介して推定情報２２２を受信し、受信した推定情報２２２を記憶部２２に蓄積する。

【0064】

（生成部について）
生成部２３２は、記憶部２２に蓄積された推定情報２２２に基づいて天候情報２２３を生成する。たとえば、生成部２３２は、蓄積した推定情報２２２を地域ごとに集計することにより、地域の位置情報とその地域の天候に関する状況とを関連付けた情報を天候情報２２３として生成する。生成部２３２は、生成した天候情報２２３を記憶部２２に記憶させる。

【0065】

（提供部について）
提供部２３３は、記憶部２２に記憶された天候情報２２３をネットワークＮを介して端末装置１０へ提供する処理を行う。たとえば、提供部２３３は、記憶部２２に記憶された端末情報２２１に基づいて各端末装置１０の走行予定地域を特定する。この際、提供部２３３は、端末情報２２１に含まれる走行予定ルートから走行予定地域を特定してもよいし、現在位置の履歴と地図情報とから端末装置１０の走行予定地域を特定してもよい。端末情報２２１に走行予定ルートが含まれる場合、提供部２３３は、目的地を走行予定地域として特定してもよい。そして、提供部２３３は、特定した走行予定地域の天候情報２２３をその地域を走行予定の端末装置１０に対して送信する。これにより、端末装置１０のユーザであるドライバーは、走行予定地域の天候に関する情報を事前に得ることができる。

【0066】

なお、提供部２３３は、走行予定地域に限らず、端末装置１０からの要求に応じて各地の天候情報２２３を端末装置１０に送信することができる。

【0067】

〔５．処理手順〕
次に、実施形態に係る端末装置１０による処理の手順について図６を参照して説明する。図６は、実施形態に係る端末装置１０が実行する処理手順を示すフローチャートである。

【0068】

図６に示すように、端末装置１０は、撮像部１３によって撮像された画像を取得する（ステップＳ１０１）。つづいて、端末装置１０は、車両１００の移動速度を検出し（ステップＳ１０２）、検出した移動速度に応じたテンプレート画像１２３を選択する（ステップＳ１０３）。

【0069】

つづいて、端末装置１０は、推定処理を行い（ステップＳ１０４）、推定処理によって生成された推定情報２２２をネットワークＮを介してサーバ２０へ送信する（ステップＳ１０５）。

【0070】

次に、ステップＳ１０４の推定処理の手順の一例について図７を参照して説明する。図７は、推定処理の手順の一例を示すフローチャートである。

【0071】

図７に示すように、端末装置１０は、撮像部１３によって撮像された画像に動作中のワイパー１０２が写っているか否かを判定する（ステップＳ２０１）。この判定処理において、動作中のワイパー１０２が写っていると判定した場合（ステップＳ２０１）、すなわち、テンプレート画像１２３を用いたテンプレートマッチング処理によって画像から動作中のワイパー１０２が検出された場合、端末装置１０は、車両１００周辺の天候を降水と推定する（ステップＳ２０２）。

【0072】

つづいて、端末装置１０は、単位時間あたりに撮像された複数の画像からワイパー１０２の単位時間あたりの動作回数を計測し（ステップＳ２０３）、計測された動作回数が閾値以上であるか否かを判定する（ステップＳ２０４）。この判定処理において、計測された動作回数が閾値以上であると判定した場合（ステップＳ２０４，Ｙｅｓ）、端末装置１０は、降水強度を「強」と推定し（ステップＳ２０５）、降水強度「強」の推定結果を含む推定情報２２２を生成する（ステップＳ２０６）。一方、計測された動作回数が閾値未満である場合（ステップＳ２０４，Ｎｏ）、端末装置１０は、降水強度を「弱」と推定し（ステップＳ２０７）、降水強度「弱」の推定結果を含む推定情報２２２を生成する（ステップＳ２０８）。

【0073】

ステップＳ２０６，Ｓ２０８の処理を終えた場合、または、ステップＳ２０１において画像に動作中のワイパー１０２が写っていない場合（ステップＳ２０１，Ｎｏ）、端末装置１０は、推定処理を終える。

【0074】

次に、ステップＳ１０４の推定処理の手順の他の一例について図８を参照して説明する。図８は、推定処理の手順の他の一例を示すフローチャートである。

【0075】

図８に示すように、端末装置１０は、撮像部１３によって撮像された画像に降水物１０３が写っているか否かを判定する（ステップＳ３０１）。この判定処理において、撮像部１３によって撮像された画像に降水物１０３が写っていると判定した場合（ステップＳ３０１，Ｙｅｓ）、端末装置１０は、車両１００周辺の天候を降水と推定する（ステップＳ３０２）。

【0076】

つづいて、端末装置１０は、画像中の降水物１０３の数を計測し（ステップＳ３０３）、計測された降水物１０３の数が閾値以上であるか否かを判定する（ステップＳ３０４）。この判定処理において、計測された降水物１０３の数が閾値以上であると判定した場合（ステップＳ３０４，Ｙｅｓ）、端末装置１０は、降水強度を「強」と推定し（ステップＳ３０５）、降水強度「強」の推定結果を含む推定情報２２２を生成する（ステップＳ３０６）。一方、計測された降水物１０３の数が閾値未満である場合（ステップＳ３０４，Ｎｏ）、端末装置１０は、降水強度を「弱」と推定し（ステップＳ３０７）、降水強度「弱」の推定結果を含む推定情報２２２を生成する（ステップＳ３０８）。

【0077】

ステップＳ３０６，Ｓ３０８の処理を終えた場合、または、ステップＳ３０１において画像に降水物１０３が写っていない場合（ステップＳ３０１，Ｎｏ）、端末装置１０は、推定処理を終える。

【0078】

次に、ステップＳ１０４の推定処理の手順の他の一例について図９を参照して説明する。図９は、推定処理の手順の他の一例を示すフローチャートである。

【0079】

図９に示すように、端末装置１０は、撮像部１３によって撮像された画像に基づいて路面が冠水しているか否かを判定する（ステップＳ４０１）。たとえば、端末装置１０は、撮像部１３によって撮像された画像から水面が検出された場合に、路面が冠水していると判定する。

【0080】

ステップＳ４０１において、路面が冠水していると判定した場合（ステップＳ４０１，Ｙｅｓ）、端末装置１０は、冠水した場所を車両１００が通行できたか否かを判定する（ステップＳ４０２）。たとえば、端末装置１０は、ＧＰＳ受信部１５によって取得される車両１００の現在位置に基づき、冠水と推定された場所を車両１００が通過したか否かを推定する。

【0081】

ステップＳ４０２において、冠水した場所を車両１００が通行できたと判定した場合（ステップＳ４０２，Ｙｅｓ）、端末装置１０は、「冠水」の推定結果と、車両１００が冠水した場所を通行できたことを示す通行可情報と、車両１００の大きさに関する情報とを含む推定情報２２２を生成する（ステップＳ４０３）。一方、ステップＳ４０２において、冠水した場所を車両１００が通行できなかったと判定した場合（ステップＳ４０２，Ｎｏ）、端末装置１０は、「冠水」の推定結果と、車両１００が冠水した場所を通行できなかったことを示す通行不可情報と、車両１００の大きさに関する情報とを含む推定情報２２２を生成する（ステップＳ４０４）。

【0082】

ステップＳ４０３，Ｓ４０４の処理を終えた場合、または、ステップＳ４０１において路面が冠水していない場合（ステップＳ４０１，Ｎｏ）、端末装置１０は、推定処理を終える。

【0083】

次に、実施形態に係る情報処理システム１全体の動作について、図１０を参照して説明する。図１０は、実施形態に係る情報処理システム１の動作の一例を示すシーケンス図である。

【0084】

図１０に示すように、各端末装置１０は、生成した推定情報２２２をサーバ２０へ送信し（ステップＳ５０１）、サーバ２０は、各端末装置１０から受信した推定情報２２２を記憶部２２に蓄積する（ステップＳ５０２）。

【0085】

そして、サーバ２０は、蓄積した推定情報２２２に基づいて地域ごとの天候情報２２３を生成し（ステップＳ５０３）、生成した天候情報２２３を、たとえばその地域を走行予定の端末装置１０に対して送信する（ステップＳ５０４）。

【0086】

〔６．変形例〕
上述した情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。

【0087】

上述した実施形態では、撮像部１３によって撮像された画像から動作中のワイパー１０２が検出された場合に降水を推定する場合の例および撮像部１３によって撮像された画像から降水物１０３が検出された場合に降水を推定する場合の例について説明した。しかし、降水の推定は、ワイパー１０２の動作状況および降水物１０３の有無を総合的に判断して行ってもよい。たとえば、端末装置１０は、撮像部１３によって撮像された画像から動作中のワイパー１０２および降水物１０３の両方が検出された場合に、車両１００周辺の天候を降水と推定してもよい。

【0088】

また、端末装置１０は、自車両のワイパー１０２の動作状況だけでなく他車両のワイパーの動作状況に基づいて車両１００周辺の天候に関する状況を推定してもよい。すなわち、自車両のワイパー１０２および他車両のワイパーの少なくとも１つが動作中である場合に車両１００周辺の天候を降水と推定してもよい。これにより、たとえばワイパー１０２の誤動作によって車両１００周辺の天候を降水と誤って推定してしまうことを抑制することができる。

【0089】

また、上述した実施形態では、ワイパー１０２の動作状況に基づいて車両１００周辺の天候に関する状況を推定することとしたが、端末装置１０は、天候に関連する他の車載機器の動作状況に基づいて車両１００周辺の天候に関する状況を推定してもよい。たとえば、端末装置１０は、撮像部１３によって撮像された画像に基づきフォグランプの点灯を検出した場合に、車両１００周辺の天候を「霧」や「視界不良」等と推定してもよい。また、端末装置１０は、撮像部１３によって撮像された画像に基づき前照灯の点灯を検出した場合には、車両１００周辺の天候を「くもり」や「視界不良」等と推定してもよい。

【0090】

また、上述した実施形態では、撮像部１３によって撮像された画像から降水物１０３が検出された場合に車両１００周辺の天候を降水と推定する場合の例について説明したが、端末装置１０は、たとえば、画像から検出された降水物１０３の色に基づいて、降水が降雨および降雪の何れであるかをさらに推定してもよい。また、端末装置１０は、テンプレート画像１２３を雨粒および雪片ごとに用意しておくことにより、撮像部１３によって撮像された画像から降水物１０３として雨粒および雪片の何れかを検出することができる。この場合、端末装置１０は、画像から雨粒が検出された場合に車両１００周辺の天候を降雨と推定し、画像から雪片が検出された場合には車両１００周辺の天候を降雪と推定することができる。

【0091】

また、端末装置１０は、撮像部１３によって撮像された画像から開いた状態の傘を検出した場合、すなわち、車両１００周辺に傘を差している人物が存在する場合に、車両１００周辺の天候を降水と推定してもよい。

【0092】

また、上述した実施形態では、車両１００周辺の天候として降水を推定する場合の例について説明したが、端末装置１０は、降水以外の天候を推定してもよい。たとえば、端末装置１０は、撮像部１３によって撮像された画像の全体的な明るさから、車両１００周辺の天候が晴れであるか晴れ以外であるかを推定することもできる。たとえば、画像の全体的な明るさ（明度）が閾値以上であれば車両１００周辺の天候を晴れと推定し、閾値未満であれば車両１００周辺の天候をくもりと推定してもよい。また、端末装置１０は、地図情報とＧＰＳ受信部１５によって取得される位置情報とに基づき、車両１００がトンネルや地下等の暗い場所を走行していることを検出した場合には、画像の全体的な明るさに基づく天候の推定を行わないようにしてもよい。

【0093】

また、上述した実施形態では、撮像部１３が車両１００の前方を撮像する場合の例について説明したが、撮像部１３の撮像方向は車両１００の前方に限定されない。たとえば、撮像部１３は、車両１００の後方を撮像してもよい。この場合、端末装置１０は、たとえば、車両１００のリヤワイパーの動作状況に基づいて車両１００周辺の天候を降水と推定してもよい。また、端末装置１０は、車両１００の後方を走行している他車両のフロントワイパーの動作状況に基づいて車両１００周辺の天候を降水と推定してもよい。

【0094】

また、上述した実施形態では、端末装置１０が撮像部１３を備える場合の例について説明したが、端末装置１０は、必ずしも撮像部１３を備えることを要しない。端末装置１０は、車両１００に予め搭載された車載カメラ（バックモニタやサイドモニタなど）や、車両１００に後付けされた車載カメラ（ドライブレコーダなど）から画像を取得してもよい。

【0095】

また、端末装置１０は、撮像部１３または他の車載カメラによって撮像された画像に加え、集音部１４によって集音された音に基づいて、車両１００周辺の天候に関する状況を推定してもよい。たとえば、端末装置１０は、撮像部１３または他の車載カメラによって撮像された画像から動作中のワイパー１０２または降水物１０３が検出され、且つ、集音部１４によって集音された音から降水物１０３がフロントガラス１０１にぶつかる音が検出された場合に、車両１００周辺の天候を降水と推定してもよい。

【0096】

また、上述した実施形態では、端末装置１０が取得部１８１および推定部１８３を備える場合の例について説明したが、サーバ２０が取得部１８１および推定部１８３を備えていてもよい。この場合は、端末装置１０は、撮像部１３または他の車載カメラによって撮像された画像を取得し、取得した画像を撮像日時や撮像場所、端末装置１０の識別情報等とともにネットワークＮを介してサーバ２０へ送信すればよい。

【0097】

また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0098】

〔７．ハードウェア構成〕
上述してきた実施形態に係る端末装置１０およびサーバ２０は、たとえば図１１に示すような構成のコンピュータ１０００によって実現される。以下、端末装置１０を例に挙げて説明する。図１１は、端末装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、およびメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0099】

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に記憶されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を記憶する。

【0100】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、ネットワークＮを介して他の機器へ送信する。

【0101】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

【0102】

メディアインターフェイス１７００は、記録媒体１８００に記憶されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、たとえばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0103】

たとえば、コンピュータ１０００が実施形態に係る端末装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１８の機能を実現する。また、ＨＤＤ１４００には、記憶部１２内のデータが記憶される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

【0104】

〔８．効果〕
上述してきたように、実施形態に係る端末装置１０（推定装置の一例）は、取得部１８１と、推定部１８３とを備える。取得部１８１は、車両１００に搭載された撮像部１３（撮像装置の一例）によって撮像された画像を取得する。推定部１８３は、取得部１８１によって取得された画像に基づき、車両１００周辺の天候に関する状況を推定する。

【0105】

このように、端末装置１０は、撮像部１３によって撮像された画像に基づいて車両１００周辺の天候に関する状況を推定することとしたため、ワイパー１０２やフォグランプ等の天候に関連する車載機器と端末装置１０とを電気的に接続することなく、車両１００周辺の天候に関する状況を手軽に推定することができる。

【0106】

また、推定部１８３は、画像から降水物を検出した場合に、車両１００周辺の天候を降水と推定する。ドライバーは、降水が発生した後で、ワイパー１０２を動かし始める。言い換えれば、降水の発生タイミングは、ワイパー１０２の動作開始タイミングよりも先である。このため、画像から降水物１０３を検出して降水を推定することで、ワイパー１０２の動作状況に基づいて降水を推定する場合と比べてより早いタイミングで降水を推定することができる。また、ワイパー１０２を動かすほどではない弱雨であっても降水を推定することができる。

【0107】

また、実施形態に係る端末装置１０は、降水物１０３のテンプレート画像１２３を複数記憶する記憶部１２と、車両１００の移動速度を検出する車両情報検出部１８２（移動速度検出部の一例）とをさらに備える。また、推定部１８３は、記憶部１２に記憶された複数のテンプレート画像１２３の中から、車両情報検出部１８２によって検出された車両１００の移動速度に対応するテンプレート画像１２３を選択し、選択したテンプレート画像１２３を用いたテンプレートマッチング処理を行うことによって画像から降水物１０３を検出する。

【0108】

これにより、車両１００の移動速度によらず画像中の降水物１０３を精度よく検出することができる。

【0109】

また、推定部１８３は、画像から降水物１０３を検出した場合に、画像中の降水物１０３の数を計測し、計測結果に基づいて降水の強度をさらに推定する。これにより、車両１００周辺の降水の状況をより詳細に推定することができる。

【0110】

また、推定部１８３は、車両１００に搭載された天候に関連する機器の動作状況を画像に基づいて検出し、検出結果に基づいて車両１００周辺の天候を推定する。これにより、天候に関連する機器と電気的に接続することなく、天候に関する機器の動作状況を検出することができるため、車両１００周辺の天候を手軽に推定することが可能となる。

【0111】

また、推定部１８３は、画像から動作中のワイパー１０２を検出した場合に、車両１００周辺の天候を降水と推定する。これにより、ワイパー１０２と電気的に接続することなく、ワイパー１０２の動作状況から車両１００周辺の天候を降水と推定することができる。

【0112】

また、推定部１８３は、撮像部１３によって撮像された複数の画像に基づいてワイパー１０２の単位時間あたりの動作回数を計測し、計測結果に基づいて降水の強度をさらに推定する。これにより、車両１００周辺の降水の状況をより詳細に推定することができる。

【0113】

また、推定部１８３は、画像に基づき、車両１００周辺の路面の冠水を推定する。これにより、車両１００周辺の天候そのものだけでなく、車両１００周辺の天候によって引き起こされる車両１００周辺の路面の冠水を推定することができる。

【0114】

また、実施形態に係る端末装置１０は、車両１００の大きさを検出する車両情報検出部１８２（車両サイズ検出部の一例）をさらに備える。また、推定部１８３は、冠水を推定した場合に、冠水した場所を車両１００が通行できたか否かに関する通行状況をさらに推定し、冠水の推定結果、通行状況の推定結果および車両情報検出部１８２によって検出された車両１００の大きさを含む推定情報２２２を生成する。これにより、たとえば、冠水した場所を通行できたか否かに関する通行状況を、通行できた車両１００の大きさあるいは通行できなかった車両１００の大きさとともに他車両に提供することができる。

【0115】

以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0116】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。たとえば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0117】

１ 情報処理システム
１０ 端末装置
１８ 制御部
２０ サーバ
２３ 制御部
１８１ 取得部
１８２ 車両情報検出部
１８３ 推定部
１８４ サーバ連携部
２３１ 蓄積部
２３２ 生成部
２３３ 提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】