特開 2016-203886 検出装置、検出システム、検出方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-203886(P2016-203886A)

(43)【公開日】2016年12月8日

(54)【発明の名称】検出装置、検出システム、検出方法、及び、プログラム

(51)【国際特許分類】

   B60R 25/102 20130101AFI20161111BHJP

   G01W 1/00 20060101ALI20161111BHJP

   G08B 21/00 20060101ALI20161111BHJP

   B60R 1/00 20060101ALN20161111BHJP

【ＦＩ】

   B60R25/102

   G01W1/00 J

   G08B21/00 U

   B60R1/00 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2015-90286(P2015-90286)

(22)【出願日】2015年4月27日

(71)【出願人】

【識別番号】000237592

【氏名又は名称】富士通テン株式会社

(72)【発明者】

【氏名】吉本 卓己

【テーマコード（参考）】

5C086

【Ｆターム（参考）】

5C086AA12

5C086BA22

5C086CA28

5C086CB36

5C086FA18

(57)【要約】

【課題】車両周辺の状況変化を検出する技術を提供する。
【解決手段】状況検出装置３が、車両２の駐車中に、車両２周辺を撮影する複数のカメラ４（４a、４ｂ、４ｃ、４ｄ）の撮影画像を取得し、車両２周辺の状況変化を示す撮影画像を選択し、選択された撮影画像を車両２のユーザＵＳの所有する表示装置５へ送信する。複数の撮影画像のうちから状況変化を示す撮影画像を選択して送信するので、車両２のユーザＵＳは、車両２周辺で生じた状況変化を少ない通信量で的確に把握できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の周辺の状況を検出する検出装置であって、
前記車両の駐車中に、該車両の周辺を撮影する複数のカメラの撮影画像を取得する取得手段と、
前記複数の撮影画像に基づき、前記車両の周辺の状況変化を検出する検出手段と、
前記検出手段が前記状況変化を検出した場合に、前記複数の撮影画像のうち、前記状況変化を示す撮影画像を選択する選択手段と、
前記選択手段に選択された撮影画像を前記車両のユーザの所有する表示装置へ送信する送信手段と、
を備えることを特徴とする検出装置。

【請求項2】

請求項１に記載の検出装置において、
前記複数のカメラを前記取得手段に順次に接続する接続手段、
をさらに備え、
前記取得手段は、接続されたカメラから前記撮影画像を取得することを特徴とする検出装置。

【請求項3】

請求項１又は２に記載の検出装置において、
前記取得手段は、前記撮影画像を周期的に取得することを特徴とする検出装置。

【請求項4】

請求項１ないし３のいずれかに記載の検出装置において、
物体の形状を示すパターンデータを記憶する記憶手段、
をさらに備え、
前記検出手段は、前記撮影画像と前記パターンデータとの比較に基づき、前記車両の周辺の状況変化を検出することを特徴とする検出装置。

【請求項5】

請求項１ないし４のいずれかに記載の検出装置において、
前記選択手段で選択された撮影画像に対し、該撮影画像を生成したカメラを識別する識別情報を重畳する画像処理手段、
をさらに備えることを特徴とする検出装置。

【請求項6】

請求項１ないし５のいずれかに記載の検出装置において、
前記状況変化の度合いを判定する判定手段、
をさらに備え、
前記選択手段は、前記状況変化の度合いが最も高い一の撮影画像を選択することを特徴とする検出装置。

【請求項7】

検出装置とサーバとにより車両の周辺の状況を検出する検出システムであって、
前記検出装置は、
前記車両の駐車中に、該車両の周辺を撮影する複数のカメラの撮影画像を取得する取得手段と、
前記複数の撮影画像を前記サーバに送信する第１送信手段と、
を備え、
前記サーバは、
前記複数の撮影画像に基づき、前記車両の周辺の状況変化を検出する検出手段と、
前記複数の撮影画像のうち、前記状況変化を示す撮影画像を選択する選択手段と、
前記選択手段に選択された撮影画像を前記車両のユーザの所有する表示装置へ送信する第２送信手段と、
を備えることを特徴とする検出システム。

【請求項8】

車両の周辺の状況を検出する検出方法であって、
（a）前記車両の駐車中に、該車両の周辺を撮影する複数のカメラの撮影画像を取得する工程と、
（ｂ）前記複数の撮影画像に基づき、前記車両の周辺の状況変化を検出する工程と、
（ｃ）前記複数の撮影画像のうち、前記状況変化を示す撮影画像を選択する工程と、
（ｄ）前記工程（ｃ）で選択された撮影画像を前記車両のユーザの所有する表示装置へ送信する工程と、
を備えることを特徴とする検出方法。

【請求項9】

車両において用いられるコンピュータによって実行可能なプログラムであって、
前記コンピュータに、
（a）取得手段が、前記車両の駐車中に、該車両の周辺を撮影する複数のカメラの撮影画像を取得する工程と、
（ｂ）検出手段が、前記複数の撮影画像に基づき、前記車両の周辺の状況変化を検出する工程と、
（ｃ）選択手段が、前記複数の撮影画像のうち、前記状況変化を示す撮影画像を選択する工程と、
（ｄ）送信手段が、前記選択手段に選択された撮影画像を前記車両のユーザの所有する表示装置へ送信する工程と、
を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周辺の状況を検出する技術に関する。

【背景技術】

【0002】

従来より、自動車等の車両周辺を車両に搭載した単一のカメラで撮影し、撮影画像をユーザへ送信する技術が知られている（例えば、特許文献１）。これにより、ユーザは車両から遠隔地に所在しても車両周辺の様子を把握できる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−２７９６６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、提案された技術は、車両に単一のカメラしか搭載されず、ユーザは必ずしも車両の周囲を把握できない。また、車両に複数のカメラを搭載すると、ユーザに多くの撮影画像を送信することとなり、通信量が膨大となる。さらに、多くの撮影画像を送信されるユーザは、受信処理が煩雑となり問題となる。

【0005】

本発明は、上記課題に鑑み、車両周辺の撮影画像を車両から遠隔地に所在するユーザに送信する場合、ユーザが車両周辺の様子を明確に把握しつつも通信量を低減する技術の提供を目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、請求項１の発明は、車両の周辺の状況を検出する検出装置であって、前記車両の駐車中に、該車両の周辺を撮影する複数のカメラの撮影画像を取得する取得手段と、前記複数の撮影画像に基づき、前記車両の周辺の状況変化を検出する検出手段と、前記検出手段が前記状況変化を検出した場合に、前記複数の撮影画像のうち、前記状況変化を示す撮影画像を選択する選択手段と、前記選択手段に選択された撮影画像を前記車両のユーザの所有する表示装置へ送信する送信手段と、を備える。

【0007】

また、請求項２の発明は、請求項１に記載の検出装置において、前記複数のカメラを前記取得手段に順次に接続する接続手段、をさらに備え、前記取得手段は、接続されたカメラから前記撮影画像を取得する。

【0008】

また、請求項３の発明は、請求項１又は２に記載の検出装置において、前記取得手段は、前記撮影画像を周期的に取得する。また、請求項４の発明は、請求項１ないし３のいずれかに記載の検出装置において、物体の形状を示すパターンデータを記憶する記憶手段、をさらに備え、前記検出手段は、前記撮影画像と前記パターンデータとの比較に基づき、前記車両の周辺の状況変化を検出する。

【0009】

また、請求項５の発明は、請求項１ないし４のいずれかに記載の検出装置において、前記選択手段で選択された撮影画像に対し、該撮影画像を生成したカメラを識別する識別情報を重畳する画像処理手段、をさらに備える。

【0010】

また、請求項６の発明は、請求項１ないし５のいずれかに記載の検出装置において、前記状況変化の度合いを判定する判定手段、をさらに備え、前記選択手段は、前記状況変化の度合いが最も高い一の撮影画像を選択する。

【0011】

また、請求項７の発明は、検出装置とサーバとにより車両の周辺の状況を検出する検出システムであって、前記検出装置は、前記車両の駐車中に、該車両の周辺を撮影する複数のカメラの撮影画像を取得する取得手段と、前記複数の撮影画像を前記サーバに送信する第１送信手段と、を備え、前記サーバは、前記複数の撮影画像に基づき、前記車両の周辺の状況変化を検出する検出手段と、前記複数の撮影画像のうち、前記状況変化を示す撮影画像を選択する選択手段と、前記選択手段に選択された撮影画像を前記車両のユーザの所有する表示装置へ送信する第２送信手段と、を備える。

【0012】

また、請求項８の発明は、車両の周辺の状況を検出する検出方法であって、（a）前記車両の駐車中に、該車両の周辺を撮影する複数のカメラの撮影画像を取得する工程と、（ｂ）前記複数の撮影画像に基づき、前記車両の周辺の状況変化を検出する工程と、（ｃ）前記複数の撮影画像のうち、前記状況変化を示す撮影画像を選択する工程と、（ｄ）前記工程（ｃ）で選択された撮影画像を前記車両のユーザの所有する表示装置へ送信する工程と、を備える。

【0013】

また、請求項９の発明は、車両において用いられるコンピュータによって実行可能なプログラムであって、前記コンピュータに、（a）取得手段が、前記車両の駐車中に、該車両の周辺を撮影する複数のカメラの撮影画像を取得する工程と、（ｂ）検出手段が、前記複数の撮影画像に基づき、前記車両の周辺の状況変化を検出する工程と、（ｃ）選択手段が、前記複数の撮影画像のうち、前記状況変化を示す撮影画像を選択する工程と、（ｄ）送信手段が、前記選択手段に選択された撮影画像を前記車両のユーザの所有する表示装置へ送信する工程と、を実行させる。

【発明の効果】

【0014】

請求項１ないし９の発明によれば、車両の周辺の状況変化を検出した後、複数の撮影画像のうちから状況変化を示す撮影画像を選択して車両のユーザの所有する表示装置へ送信するので、車両のユーザは、車両から遠隔地に所在しても、車両の周辺で生じた状況変化を少ない通信量で把握できる。

【0015】

また、特に請求項２の発明によれば、複数のカメラを取得手段に順次に接続し、取得手段は接続されたカメラから撮影画像を取得するので、車両の周辺の広範囲に渡って撮影した撮影画像を取得できる。

【0016】

また、特に請求項３の発明によれば、撮影画像を周期的に取得するので、車両の周辺で生じた状況変化を周期的に検出できる。

【0017】

また、特に請求項４の発明によれば、撮影画像とパターンデータとの比較に基づき、車両の周辺の状況変化を検出するので、適切に状況変化を検出できる。

【0018】

また、特に請求項５の発明によれば、撮影画像を生成したカメラの位置を示す位置画像を撮影画像に付するので、撮影画像を参照したユーザは、車両のどの位置に設置されたカメラで撮影した画像かを判別できる。

【0019】

また、特に請求項６の発明によれば、状況変化の度合いが他の撮影画像の度合いより高い撮影画像を選択するので、ユーザは、車両の周辺で生じた状況変化を的確に把握できる。

【図面の簡単な説明】

【0020】

【図1】図１は、状況検出システムの概要を示す。

【図2】図２は、第１の実施の形態に係る状況検出装置の構成を示す。

【図3】図３は、車両におけるカメラの配置を示す。

【図4】図４は、表示装置に表示される画像の例を示す。

【図5】図５は、第１の実施の形態に係る状況検出装置の処理工程を示す。

【図6】図６は、第１の実施の形態に係る状況検出装置の処理工程を示す。

【図7】図７は、第１の実施の形態に係る状況検出装置の処理工程を示す。

【図8】図８は、第２の実施の形態に係る状況検出装置の構成を示す。

【図9】図９は、第２の実施の形態に係る状況検出装置の処理工程を示す。

【発明を実施するための形態】

【0021】

以下、図面を参照しつつ本発明の実施の形態について説明する。

【0022】

＜１．第１の実施の形態＞
＜１−１．概要＞
図１は、本発明の実施の形態に係る状況検出システム１の概要を示す。状況検出システム１は、車両２周辺の状況変化をユーザＵＳに通知するシステムである。すなわち、状況検出システム１は、車両２に備えた状況検出装置３が車両２の四方に配置されたカメラ４（フロントカメラ４ａ、リアカメラ４ｂ、左サイドカメラ４ｃ、右サイドカメラ４ｄ）から取得した車両２周辺の画像を解析する。そして状況検出システム１は、例えば降雨や降雪等により車両２周辺の状況が変化したと判断すると、車両２から遠隔地に所在するユーザＵＳの所有する携帯機器５に、車両２周辺の状況を示す画像を表示させる。

【0023】

ユーザＵＳは画像を参照することで、車両２周辺の状況を把握できる。例えば、車両２周辺が大雨となり、路面を冠水した雨水ＷＴが増加すると、車両２が損傷する恐れがある。この場合、ユーザＵＳは直ちに駐車位置に舞い戻り、車両２を安全な場所へ退避させることで、車両２の損傷を防止できる。

【0024】

この際、状況検出システム１は、４つのカメラで４つの画像を取得しつつも、状況変化を最もよく表す画像のみユーザＵＳに送信することが好ましい。画像をユーザへ常時送信する場合や、状況変化の少ない画像を含めて送信した場合に比較して、通信量を削減できるからである。また、ユーザは、適時に適切な画像を参照でき、画像を受信することに煩わしさを感じることがないからである。このような状況検出システム１を以下に詳細に説明する。なお、以下でカメラ４と述べた場合、フロントカメラ４ａ、リアカメラ４ｂ、左サイドカメラ４ｃ、及び右サイドカメラ４ｄの４つのカメラを指す。

【0025】

＜１−２．構成＞
図２は、状況検出システム１の構成を示す。状況検出システム１は、車両２に設置された状況検出装置３及びカメラ４、並びに車両外部のユーザが所持する携帯機器５を備える。

【0026】

状況検出装置３は、車両２に設置されたカメラ４から画像データを受信し、受信した画像データから車両２周辺の状況及び状況の変化を検出する電子制御装置である。状況検出装置３は、制御部３１、通信部３２、接続部３３、及び記憶部３４を備える。

【0027】

制御部３１は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えたマイクロコンピュータである。制御部３１は、状況検出装置３が備える他の構成と接続され、装置全体を制御する。制御部３１の備える諸機能は後述する。

【0028】

通信部３２は、無線通信を利用した通信機能を備え、ネットワークを介して携帯機器５等と情報通信を行う。通信機能は、例えば、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）やＬＴＥ（Long Term Evolution）等の無線通信技術を利用する。

【0029】

接続部３３は、カメラ４と制御部３１とを接続するスイッチ機構である。接続部３３は、スイッチ機構を切り替え、カメラ４のいずれかと制御部３１とを接続する。接続部３３は、かかる切り替えを計時部３１ｅの計時により所定時間毎に行う。所定時間は、例えば、３０[秒]である。これにより、全てのカメラ４の撮影画像が、順次に制御部３１へ送信される。なお、接続部３３は、本発明において接続手段として機能する。

【0030】

記憶部３４は、データを記憶するメモリである。例えば、ＥＥＰＲＯＭ（Electrical Erasable Programmable Read-Only memory）や、フラッシュメモリ、磁気ディスクを備えたハードディスクドライブ等の不揮発性の記憶媒体である。記憶部３４は、パターンデータ３４ａ、識別データ３４ｂ、及びプログラム３４ｃを記憶している。なお、記憶部３４は、本発明において記憶手段として機能する。

【0031】

パターンデータ３４ａは、画像処理におけるパターンマッチングの手法で用いられ、物体の形状を示すパターンデータである。物体の形状は、例えば、自動車のボディー、バンパー、タイヤ、ガードレール、信号機（交通信号灯器）、電柱（電信柱又は電力柱）等の形状である。車両が駐車される位置周辺に一般的に存在する物体の形状であればよい。ただし、路面の冠水や積雪の有無を判断するために利用する場合は、タイヤなど路面付近に存在する物体、特に路面に接地する物体の形状が好ましい。冠水や積雪は路面上に発生するからである。

【0032】

識別データ３４ｂは、４つのカメラ４を識別するための画像データである。例えば、「フロントカメラ」、「リアカメラ」、「左サイドカメラ」、「右サイドカメラ」を示す文字の画像である。識別データ３４ｂは、ユーザに送信される車両２の周辺状況を示す画像に重畳される。ユーザは周辺状況の画像とともに識別データ３４ｂを参照することで、送信された画像が車両２のどの位置に配置されたカメラで取得されたか識別できる。これにより、ユーザは車両２の周辺状況をより詳細に把握できる。なお、識別データ３４ｂは、文字のほか図形や記号でもよい。

【0033】

プログラム３４ｃは、制御部３１により読み出され、制御部３１が状況検出装置３を制御するために実行されるファームウェアである。なお、プログラム３４ｃは、メモリカード等の記憶媒体を介し、又は、外部装置と回線で接続され、状況検出装置３に入出力され得る。

【0034】

次に、前述の制御部３１の備える諸機能を説明する。制御部３１は、画像取得部３１ａ、状況検出部３１ｂ、画像選択部３１ｃ、送受信部３１ｄ、計時部３１ｅ、画像処理部３１ｆ、及び判定部３１ｇを備える。なお、画像取得部３１ａ等の各部の機能は、制御部３１の備えるＣＰＵが記憶部３４に記憶されたプログラム３４ｃに従った演算処理で実現される。

【0035】

画像取得部３１ａは、カメラ４から送信される撮影画像データを取得し、取得した撮影画像データを制御部３１で処理可能な形式に変換する。すなわち、画像取得部３１ａは、カメラ４で被写体を各々撮影した複数の撮影画像を取得する。なお、画像取得部３１ａは、本発明において取得手段として機能する。

【0036】

状況検出部３１ｂは、パターンマッチングの手法を用い、車両２周辺の状況及びその変化を検出する。パターンマッチングとは、特定の形状に合致（マッチング）する画像領域を求める既知の手法である。これにより、車両周辺に存在する物体を検出できる。例えば、撮影画像中にタイヤの形状のパターンと合致する画像領域がある場合、撮影範囲内に車両の存在を検出できる。状況検出部３１ｂは、記憶部３４に記憶されているパターンデータ３４ａを読み出し、パターンマッチングを実行する。

【0037】

また、状況検出部３１ｂは、パターンの部分毎にパターンと画像との合致度合いを検出する。パターンと画像との合致度合いとは、パターンマッチングを行った画像領域の全画素のうち、パターンデータ３４ａと合致した画素と合致しなかった画素との割合である。また、パターンと合致した画像領域のエッジ検出を行い、エッジが明確な領域と、不明確（欠損）な領域の割合としてもよい。

【0038】

また、状況検出部３１ｂは、パターン上部が合致し、かつパターン下部が合致しない場合に、路面の冠水又は積雪の発生と判定する。すなわち、車両２の周辺状況を路面の冠水又は積雪のある状況と判定する。路面の冠水又は積雪があると、雨水や雪によりパターンの合致が妨げられ、パターン上部が合致し、かつパターン下部が合致し難くなるからである。また、状況検出部３１ｂは、撮影画像の所定領域とパターンデータ３４ａとの合致の度合いが前回の検出時から変化した撮影画像が一つでもある場合に、車両２の周辺状況が変化したことを検出する。

【0039】

また、状況検出部３１ｂは、撮影画像の合致度合いが全体的に低い場合は、降雨や降雪、濃霧と判定する。降雨等によりパターンの合致が全体的に妨げられるからである。また、撮影画像の度合いが全体的に得られない場合は、状況の検出が不能と判定する。この場合、車両２に隣接する壁や他車のボディー等で撮影範囲が妨げられているからである。なお、状況検出部３１ｂは、本発明において検出手段として機能する。

【0040】

画像選択部３１ｃは、制御部３１のＲＡＭに記憶されている合致度合いを示すデータを参照し、画像とパターンとの合致度合いが最も低い画像を選択する。なお、画像選択部３１ｃは、本発明において選択手段として機能する。

【0041】

送受信部３１ｄは、画像取得部３１ａがカメラ４から取得し、画像選択部３１ｃが選択した画像データを通信部３２を介して携帯機器５へ送信する。また、携帯機器５から送信される信号を受信する。なお、送受信部３１ｄは、本発明において送信手段として機能する。

【0042】

計時部３１ｅは、時間の経過を計るタイマーである。計時部３１ｅは、車両２の駐車中に状況検出装置３が周期的に起動する間隔となる時間を計時する。これにより、画像取得部３１ａは、周期的に撮影画像を取得できる。また、接続部３３がカメラ４と制御部３１との接続を切り替える間隔となる時間を計測する。

【0043】

画像処理部３１ｆは、４つのカメラ４を識別するための画像データである識別データ３４ｂを記憶部３４から読み出し、画像取得部３１ａが取得した車両２の周辺状況を示す画像に、識別データ３４ｂを重畳するよう画像処理を施す。例えば、周辺状況を示す画像に「左サイドカメラ」を示す文字画像を重畳する。ユーザは周辺状況の画像とともに識別データ３４ｂを参照することで、送信された画像が車両のどの位置に配置されたカメラで取得されたか識別できる。これにより、ユーザは車両の周辺状況をより詳細に把握できる。また、画像処理部３１ｆは、ユーザに送信する画像データの容量を圧縮する。これにより、通信量を低減できる。なお、画像処理部３１ｆは、本発明において画像処理手段として機能する。

【0044】

判定部３１ｇは、車両２周辺の状況変化の度合いを判定する。判定部３１ｇは、状況検出部３１ｂが検出したパターンと画像との合致度合いに基づき、車両２周辺の状況変化の度合いを判定する。すなわち、判定部３１ｇは、パターンと画像との合致度合いが低いと車両２周辺の状況変化の度合いが高いと判定し、パターンと画像との合致度合いが高いと車両２周辺の状況変化の度合いが低いと判定する。また、判定部３１ｇは、前回撮影した画像に基づく状況変化の度合いと、今回撮影した画像に基づく状況変化の度合いとを比較し、度合いの変化の大きさを判定してもよい。

【0045】

車両２には、状況検出装置３のほか、カメラ４が設置される。カメラ４は、レンズと撮像素子とを備え、車両２の異なる位置に各々配置される。

【0046】

図３は、カメラ４が車両２に配置される位置と、カメラ４の光軸が向けられる方向とを示す。フロントカメラ４ａは、車両２前端に設置され、光軸４ａａが車両２の直進方向に向けられる。リアカメラ４ｂは、車両２後端に設置され、光軸４ｂａが車両２の直進方向と反対方向、すなわち後進方向に向けられる。左サイドカメラ４ｃは、左側のサイドミラーＭＬに設置され、光軸４ｃａが車両２の左方向（直進方向に対する直交方向）に向けられる。右サイドカメラ４ｄは、右側のサイドミラーＭＲに設置され、その光軸４ｄａが車両２の右方向（直進方向に対する直交方向）に向けられる。

【0047】

カメラ４の各々は、車両２周辺の異なる方向を撮影し、撮影画像を電子的に取得する。カメラ４は、焦点距離の比較的短いレンズを備え、１８０度以上の画角θを有する。このため、４つのカメラ４を用いることで、車両２の全周囲を撮影できる。

【0048】

図２を再度参照し、携帯機器５を説明する。携帯機器５は、ユーザに携帯され、画像を表示する機能や情報ネットワークと接続する機能等を備える情報通信端末である。例えば、携帯電話やスマートフォンである。携帯機器５は、ディスプレイ５ａを備える。なお、携帯機器５は、本発明において表示装置として機能する。

【0049】

ディスプレイ５ａは、文字や図形等の各種情報を表示し、ユーザに情報を視覚的に提示する表示装置である。例えば、液晶ディスプレイや、プラズマディスプレイ、有機ＥＬディスプレイ等である。ディスプレイ５ａは、ユーザの入力操作を受付けるタッチパネル（図示せず）を備える。

【0050】

＜１−３．表示画像の例＞
次に、ユーザの所持する携帯機器５のディスプレイ５ａに表示されるメッセージ及び車両２周辺の画像の例を説明する。図４は、ディスプレイ５ａに表示されるメッセージＭＥ及び車両２周辺の状況を示す周辺画像ＡＰを示す。図４の左図は、周辺画像ＡＰが表示される前に、状況の変化の発生のみを提示するメッセージＭＥの例である。メッセージＭＥは、例えば、「車の周辺状況に変化がありました。画像を表示しますか？」である。ユーザは、車両周辺の状況変化を憂慮しない場合には、必ずしも画像の参照を希望しない。この場合にまで画像の表示を行うと、通信容量が増加するのみならずユーザは受信処理に煩わしさを感じることとなる。したがって、車両周辺に状況変化があった場合には、まずメッセージＭＥをユーザに送信し、画像の参照の要否をユーザが選択することが好ましい。

【0051】

図４の右図は、ユーザがメッセージＭＥを参照して画像の参照を希望し、車両の周辺状況を撮影した周辺画像ＡＰが携帯機器５のディスプレイ５ａにメッセージＭＳと共に表示された例である。周辺画像ＡＰと共に表示されるメッセージＭＳは、例えば、「車の周辺状況の画像です。」である。メッセージＭＥを参照することで、ユーザは、表示されている画像が車の周辺状況であることを把握できる。

【0052】

また、周辺画像ＡＰは、車両２に搭載された複数のカメラのうちどのカメラで撮影されたかを明示する文字画像ＰＰが重畳される。文字画像ＰＰは、例えば、「左サイドカメラ」である。ユーザは、文字画像ＰＰを参照することで、どのカメラで撮影された画像かを認識し、車両周辺の様子をより詳細に把握できる。なお、文字画像ＰＰに代替し、どのカメラで撮影されたかを示す図形や記号を表示してもよい。要するに、どのカメラで撮影されたかをユーザに明示できればよい。

【0053】

ユーザは、車両の周辺状況を撮影した周辺画像ＡＰを参照することで、車両の周辺がどのような状況となっているか、又はどのような状況に変化したかを把握できる。例えば、自らの車両の周辺で強い雨ＲＮが降っており、雨水ＷＴで路面が冠水している様子を認識できる。このような場合、ユーザは即座に駐車位置に舞い戻り、車両を退避させることで、車両の損傷を防止できる。

【0054】

＜１−４．工程＞
次に、状況検出装置３の処理工程を説明する。図５は、状況検出装置３の処理工程を示す。なお、かかる処理工程は車両が駐車中に実行される。すなわち、ユーザは車両を駐車させる際、状況検出装置３を起動させる。ただし、イグニッションスイッチがオフされるのに連動し、状況検出装置３が起動してもよい。なお、状況検出装置３の処理工程は、車両の駐車中に所定の周期で繰り返し実行される。

【0055】

まず、計時部３１ｅが車両の駐車後、又は撮影画像の前回の取得後に１０[分]経過したか否か判断する（ステップＳ１０１）。すなわち、状況検出装置３は、１０[分]毎に車両周辺の撮影画像を取得する。

【0056】

計時部３１ｅが１０[分]経過していないと判断すると（ステップＳ１０１でＮｏ）、処理は終了する。所定の時間が経過するまで待機し、電力消費を抑制するためである。

【0057】

一方、計時部３１ｅが１０[分]経過したと判断すると（ステップＳ１０１でＹｅｓ）、接続部３３は、フロントカメラ４ａと制御部３１とを接続する（ステップＳ１０２）。

【0058】

接続部３３が制御部３１とフロントカメラ４ａとを接続すると、画像取得部３１ａが、フロントカメラ４ａが撮影して得られた画像を取得し（ステップＳ１０３）、画像データを制御部３１のＲＡＭに記憶させる。

【0059】

画像取得部３１ａが画像を取得すると、接続部３３は、全てのカメラ４を制御部３１と接続させたか否か判断する（ステップＳ１０４）。

【0060】

接続部３３が全てのカメラを制御部３１と接続させていないと判断すると（ステップＳ１０４でＮｏ）、処理はＳ１０２に戻り、接続部３３はリアカメラ４ｂと制御部３１とを接続する。以後、接続部３３が順次に全てのカメラ４を制御部３１と接続させるまで、ステップＳ１０２からステップＳ１０４までの処理が繰り返し実行される。

【0061】

一方、接続部３３が全てのカメラを制御部３１と接続させたと判断すると（ステップＳ１０４でＹｅｓ）、画像認識処理が実行される（ステップＳ１０５）。画像認識処理は、パターンマッチングの手法を用い、撮影画像の所定領域とパターンデータ３４ａとの合致の度合い等を導出し、車両の周辺状況及びその変化を判断するための処理である。画像認識処理の詳細は後述する。

【0062】

画像認識処理（ステップＳ１０５）が実行されると、状況検出部３１ｂは、処理結果に基づき車両の周辺状況が変化したか否か判断する（ステップＳ１０６）。すなわち、状況検出部３１ｂは、撮影画像の所定領域とパターンデータ３４ａとの合致の度合いが前回の検出時から変化した撮影画像が一つでもある場合に、車両２の周辺状況が変化したことを検出する。

【0063】

状況検出部３１ｂが車両の周辺状況が変化していないと判断すると（ステップＳ１０６でＮｏ）、処理は終了する。車両の周辺状況が変化していない以上、ユーザへ撮影画像を送信する必要はないからである。処理が終了すると、状況検出装置３は次回の処理が開始されるまで待機する。すなわち、約１０[分]間待機する。

【0064】

一方、状況検出部３１ｂが車両の周辺状況が変化したと判断すると（ステップＳ１０６でＹｅｓ）、送受信部３１ｄは、メッセージＭＥを携帯機器５へ送信する（ステップＳ１０７）。この際、送受信部３１ｄが送信するメッセージＭＥは、前述の通り、例えば「車の周辺状況に変化がありました。画像を表示しますが？」である。これにより、ユーザは、自らの車の周辺状況に変化があったことを把握できる。さらにユーザは、希望すれば画像により視覚的に車両の周辺状況を参照できることを認識できる。

【0065】

送受信部３１ｄは、メッセージＭＥを携帯機器５へ送信すると、ユーザが画像の参照を希望するか否かを判断する（ステップＳ１０８）。かかる判断は、送受信部３１ｄが携帯機器５から送信されるユーザの希望を示す信号を受信して行う。

【0066】

送受信部３１ｄが、ユーザが画像の参照を希望しないと判断すると（ステップＳ１０８でＮｏ）、処理は終了する。ユーザが画像の参照を希望しない以上、ユーザへ撮影画像を送信する処理は必要ないからである。

【0067】

一方、送受信部３１ｄが、ユーザが画像の参照を希望すると判断すると（ステップＳ１０８でＹｅｓ）、画像選択処理が実行される（ステップＳ１０９）。画像選択処理は、カメラ４が撮影した４つの画像のうち、どの撮影画像が最も明確に車両の周辺状況の変化を捉えているかを判断し、ユーザに送信すべき撮影画像を選択する処理である。カメラ４が撮影して得られた画像の全てを送信するのではなく、取捨選択して撮影画像を送信することで、送信の容量を低減できる。また、必ずしも明確に車両の周辺状況の変化を捉えていない撮影画像、すなわち車両に隣接する壁等を撮影して得られた画像等の送信を防止できる。ユーザはこのような画像を参照しても何ら車両の周辺状況の変化を把握できない。画像選択処理の詳細は後述する。

【0068】

画像選択処理（ステップＳ１０９）が実行されると、画像処理部３１ｆは、選択された撮影画像に対応する識別データ３４ｂを記憶部３４から読み出し、選択された撮影画像に識別データ３４ｂを重畳するよう画像処理を行う（ステップＳ１１０）。撮影画像に重畳される識別データ３４ｂは、例えば、「左サイドカメラ」」である。なお、画像選択処理において選択された撮影画像には、後述の通り画像選択部３１ｃによりフラグがセットされている。したがって、画像処理部３１ｆは、フラグレジスタを参照し、どの撮影画像が選択されたか判別する。

【0069】

画像処理部３１ｆは、選択された撮影画像に識別データ３４ｂを重畳する画像処理を行うと、識別データ３４ｂが重畳された撮影画像のデータ容量を圧縮する（ステップＳ１１１）。撮影画像のデータ容量の圧縮には、既知の静止画像の圧縮方式を用いればよい。例えば、ＪＰＥＧ（Joint Photographic Experts Group）やＧＩＦ（Graphics Interchange Format）等の画像圧縮方式である。

【0070】

画像処理部３１ｆが撮影画像を圧縮すると、送受信部３１ｄは、かかる撮影画像を携帯機器５へ送信する（ステップＳ１１２）。

【0071】

これにより、ユーザは、車両の周辺状況の変化を画像により視覚的に把握できる。また、車両の周辺状況に変化があった場合でも、撮影した全ての画像をユーザへ送信せず、最も状況変化を明確に示す画像をユーザへ送信するので、ユーザは状況変化を明確に把握できるうえ、送信すべきデータ容量を低減できる。

【0072】

次に、ステップＳ１０５で実行される画像認識処理を説明する。図６は、画像認識処理の詳細な処理工程を示す。

【0073】

まず、状況検出部３１ｂが、制御部３１のＲＡＭに記憶された撮影画像を読み出す（ステップＳ１０５ａ）。

【0074】

状況検出部３１ｂは、撮影画像を読み出すと、記憶部３４からパターンデータ３４ａを読み出す（ステップＳ１０５ｂ）。

【0075】

状況検出部３１ｂは、記憶部３４からパターンデータ３４ａを読み出すと、撮影画像とパターンデータ３４ａとを対比する（ステップＳ１０５ｃ）。

【0076】

状況検出部３１ｂは、撮影画像とパターンデータ３４ａとを対比し、撮影画像の所定領域とパターンデータ３４ａとが合致するか否か判断する（ステップＳ１０５ｄ）。

【0077】

状況検出部３１ｂは、撮影画像の所定領域とパターンデータ３４ａとが合致しないと判断すると（ステップＳ１０５ｄでＮｏ）、記憶部３４に記憶されている全てのパターンデータ３４ａと撮影画像を対比させたか否か判断する（ステップＳ１０５ｅ）。

【0078】

状況検出部３１ｂは、記憶部３４に記憶されている全てのパターンデータ３４ａと撮影画像とを対比させていないと判断すると（ステップＳ１０５ｅでＮｏ）、ステップＳ１０５ｂに戻り、他のパターンデータ３４ａを読み出し、読み出したパターンデータ３４ａと撮影画像とを対比する。以後、撮影画像とパターンデータ３４ａとが合致するか、又は撮影画像と記憶部３４に記憶されている全てのパターンデータ３４ａとの対比が完了するまで、ステップＳ１０５ｂからステップＳ１０５ｅまでの処理が繰り返し実行される。

【0079】

一方、状況検出部３１ｂが、全てのパターンデータ３４ａと撮影画像を対比させたと判断すると（ステップＳ１０５ｅでＹｅｓ）、処理はステップＳ１０５ｉに進む。なお、ステップＳ１０５ｉの処理内容は後述する。

【0080】

ステップＳ１０５ｄにおいて、状況検出部３１ｂは、撮影画像の所定領域とパターンデータ３４ａとが合致すると判断する場合（ステップＳ１０５ｄでＹｅｓ）、撮影画像の所定領域とパターンデータ３４ａとの合致の度合いを導出し、かかる合致の度合いをＲＡＭに記憶する（ステップＳ１０５ｆ）。

【0081】

状況検出部３１ｂは、撮影画像とパターンデータ３４ａとの合致度合いを記憶させると、パターンマッチングの対象となった撮影画像をＲＡＭに記憶させる（ステップＳ１０５ｇ）。

【0082】

状況検出部３１ｂは、パターンマッチングの対象となった撮影画像をＲＡＭに記憶させると、全ての撮影画像、すなわちカメラ４の撮影した４つの画像全てについてパターンマッチングの処理を実行したか否か判断する（ステップＳ１０５ｈ）。

【0083】

状況検出部３１ｂは、全ての撮影画像についてパターンマッチングの処理を実行していないと判断すると（ステップＳ１０５ｈでＮｏ）、ステップＳ１０５ａの処理に戻り、パターンマッチングの処理を実行していない撮影画像を読み出し、ステップＳ１０５ｂ以下の処理を実行する。以後、全ての撮影画像についてパターンマッチングの処理を実行するまで、ステップＳ１０５ａからステップＳ１０５ｈまでの処理が繰り返し実行される。

【0084】

一方、状況検出部３１ｂが全ての撮影画像についてパターンマッチングの処理を実行したと判断すると（ステップＳ１０５ｈでＹｅｓ）、処理は図５の処理工程に戻り、ステップＳ１０６が実行される。ステップＳ１０６以降の処理工程は、前述の通りである。

【0085】

次に、ステップＳ１０９で実行される画像選択処理を説明する。図７は、画像選択処理の詳細な処理工程を示す。

【0086】

画像選択処理が実行されると、画像選択部３１ｃが、状況検出部３１ｂにより制御部３１のＲＡＭに記憶された合致度合いを示す４つのデータを読み出す（ステップＳ１０９ａ）。

【0087】

画像選択部３１ｃは、合致度合いが最も低い撮影画像を選択する（ステップＳ１０９ｂ）。画像選択部３１ｃは、選択した撮影画像を示すフラグレジスタのアドレスにフラグをセットする（ステップＳ１０９ｃ）。フラグレジスタを参照すれば、どの撮影画像が選択されたか判別できる。

【0088】

ステップＳ１０９ｂの処理工程が実行されると、処理は図５の処理工程に戻り、ステップＳ１１０が実行される。ステップＳ１１０以降の処理工程は、前述の通りである。

【0089】

以上の通り、第１の実施の形態の状況検出装置３は、車両の駐車中に、車両周辺を撮影する複数のカメラの撮影画像を取得し、車両周辺の状況変化を示す撮影画像を選択し、選択した撮影画像を車両のユーザの所有する表示装置へ送信する。複数の撮影画像のうちから状況変化を示す撮影画像を選択して送信するので、車両のユーザは、車両から遠隔地に所在しても、車両周辺で生じた状況変化を少ない通信量で把握できる。

【0090】

＜２．第２の実施の形態＞
＜２−１．概要＞
次に、第２の実施の形態を説明する。前述の第１の実施の形態は、車両の周辺の状況変化の検出、及び状況変化を示す撮影画像の選択等を状況検出装置３が行った。第２の実施の形態は、これらを状況検出装置３でなく車両外部に設置されたサーバが行う。また、ユーザへの撮影画像の送信もサーバが行う。これにより、状況検出装置３の処理負荷を低減できる。第２の実施の形態は、第１の実施の形態と同様の構成及び処理工程を含む。このため、第１の実施の形態との相違点を主に説明する。

【0091】

＜２−２．構成＞
まず、第２の実施の形態に係る状況検出システム１の構成を説明する。図８は、第２の実施の形態に係る状況検出システム１の構成を示す。第１の実施の形態との主な相違点は車両２の外部にサーバ６が設置される点である。また、状況検出装置３が備えた状況検出部、画像選択部、画像処理部、及び判定部を状況検出装置３ではなくサーバ６が備える点である。すなわち、状況検出装置３の制御部３１は、画像取得部３１ａ、送受信部３１ｄ、及び計時部３１ｅを備える。記憶部３４は、プログラム３４ｃを備える。

【0092】

サーバ６は、車両２の外部に設置された情報処理装置である。サーバ６は、ネットワーク（図示せず）を介し、状況検出装置３及び携帯機器５と接続されている。サーバ６は、制御部６１及び記憶部６２を備える。

【0093】

制御部６１は、状況検出部６１ｂ、画像選択部６１ｃ、送受信部６１ｄ、画像処理部６１ｆ、及び判定部６１ｇを備える。制御部６１が備える状況検出部６１ｂ等の各部は、第１の実施の形態において状況検出装置３の制御部３１が備えた各部と略同様に機能する。

【0094】

記憶部６２は、パターンデータ６２ａ、識別データ６２ｂ、及びプログラム６２ｃを記憶している。記憶部６２が記憶するパターンデータ６２ａ等は、第１の実施の形態で説明した各データ等と略同様に機能する。

【0095】

＜２−３．工程＞
次に、第２の実施の形態に係る状況検出システム１の処理工程を説明する。図９は、第２の実施の形態に係る状況検出システム１の処理工程を示す。図５ないし図７で示した第１の実施の形態における処理工程との相違点は、第１の実施の形態（図５）で説明したステップＳ１０５からステップＳ１１２までと同様の処理を状況検出装置３でなくサーバ６が実行する点である。

【0096】

状況検出装置３は、車両２の駐車後に１０[分]経過すると、カメラ４の撮影画像を取得し、取得した撮影画像をサーバ６へ送信する（ステップＳ２０１、ステップＳ２０２、ステップＳ２０３、ステップＳ２０４、ステップＳ２０５）。撮影画像の送信は、送受信部３１ｄが行う。

【0097】

送受信部３１ｄが撮影画像を送信すると、サーバ６の制御部６１に備わる送受信部６１ｄが撮影画像を受信する（ステップＳ２０６）。

【0098】

送受信部６１ｄが撮影画像を受信すると、制御部６１の各部は、第１の実施の形態（図５）で説明したステップＳ１０５からステップＳ１１２までと同様の処理をステップＳ２０７からステップＳ２１４までで実行し、携帯機器５へメッセージＭＥや周辺画像ＡＰを送信する。ユーザが撮影画像の受信を希望しない場合は、サーバ６は周辺画像ＡＰを送信せず、処理は終了する。

【0099】

以上、第２の実施の形態は、車両２外部に設置されたサーバ６が車両２の周辺の状況変化の検出、及び状況変化を示す撮影画像の選択等を行う。これにより、状況検出装置３の処理負荷を低減できる。特に、状況検出装置３は、パターンマッチングに伴う画像認識処理を省略できるので、処理負荷が低減される
＜３．変形例＞
以上、本発明の実施の形態について説明した。しかし、本発明は上記実施の形態に限定されることはない。本発明は様々な変形が可能である。以下、変形例を説明する。なお、上記及び下記の実施の形態は、適宜組み合わせ可能である。

【0100】

上記実施の形態では、車両周辺に状況変化があった場合に、ユーザへメッセージを通知し、ユーザの希望に応じて撮影画像を送信した。しかし、車両周辺に状況変化がない場合に、ユーザへメッセージを通知し、ユーザの希望に応じて撮影画像を送信してもよい。すなわち、車両周辺に状況変化がなくとも、パターンと画像の合致度合いが一定以下の場合には、メッセージを通知してもよい。パターンと画像の合致度合いが一定以下の場合には、車両周辺は車両を安全に駐車することが困難な状況となっている恐れがある。このような状況下では、状況に変化がなくとも、ユーザに車両周辺の状況を定期的に通知すべきだからである。

【0101】

また、上記実施の形態では、車両周辺の状況変化の判断を計時部３１ｅの計時により１０[分]毎に行った。しかし、１０[分]毎でなくともよい。車両周辺の状況変化に対応した時間間隔であればよい。例えば、天候の悪化等の状況変化が見込まれる場合には５[分]間隔とし、好転が見込まれる場合には１[時間]間隔とすればよい。また、ユーザが駐車中に間隔を変更できるようにしてもよい。例えば駐車位置付近で災害等の発生が判明した場合、ユーザは間隔を短縮して状況変化を把握したいと考えられるからである。

【0102】

また、上記実施の形態では、携帯機器５の例として携帯電話やスマートフォンを列挙した。しかし、携帯機器５は携帯電話やスマートフォンに限定されない。ノートパソコン等でもよい。要するに携帯機器５は、画像表示機能や情報ネットワークと接続する機能等を備える情報通信端末であればよい。

【0103】

また、上記実施の形態では、状況検出装置３及びカメラ４は車両２に設置されると説明した。しかし、車両２でなくともよい。住宅やビルディング等でもよい。要するに、周辺の状況を監視すべき土地や建物、物品であればよい。

【0104】

また、上記実施の形態では、状況検出装置３とカメラ４とを別体の装置として説明した。しかし、状況検出装置３とカメラ４とを一体の装置として構成してもよい。

【0105】

また、上記実施の形態では、各機能はプログラムに従ったソフトウェアとして実現されると説明した。しかし、ソフトウェアでなくともよい。電気的なハードウェア回路として実現されてもよい。

【符号の説明】

【0106】

１ 状況検出システム
２ 車両
３ 状況検出装置
４ カメラ
４ａ フロントカメラ
４ｂ リアカメラ
４ｃ 左サイドカメラ
４ｄ 右サイドカメラ
５ 携帯機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】