特許 6422077 俯瞰画像表示システム、端末装置、及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6422077

(24)【登録日】2018年10月26日

(45)【発行日】2018年11月14日

(54)【発明の名称】俯瞰画像表示システム、端末装置、及びそのプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20181105BHJP

【ＦＩ】

   H04N7/18 J

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2014-199668(P2014-199668)

(22)【出願日】2014年9月30日

(65)【公開番号】特開2016-72786(P2016-72786A)

(43)【公開日】2016年5月9日

【審査請求日】2017年8月4日

(73)【特許権者】

【識別番号】302064762

【氏名又は名称】株式会社日本総合研究所

(74)【代理人】

【識別番号】100144048

【弁理士】

【氏名又は名称】坂本 智弘

(74)【代理人】

【識別番号】100186679

【弁理士】

【氏名又は名称】矢田 歩

(74)【代理人】

【識別番号】100189186

【弁理士】

【氏名又は名称】大石 敏弘

(72)【発明者】

【氏名】劉 磊

(72)【発明者】

【氏名】宮内 洋宜

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２０１４−１７４０６７（ＪＰ，Ａ）

【文献】 特開２０１２−１１６３１５（ＪＰ，Ａ）

【文献】 特開２０１１−２１３１９３（ＪＰ，Ａ）

【文献】 特開２０１０−２６０３７１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の前後左右に設置された複数の撮影装置から得られる撮像画像を画像処理して前記車両の上方から俯瞰画像として疑似的に表示する俯瞰画像表示システムにおいて、
撮影機能を有する端末装置と、
前記端末装置とネットワーク経由で接続され、車種ごとの前記複数の撮影装置の最適な設置位置情報を記憶したデータベースを有する管理サーバと、を備え、
前記端末装置は、
前記管理サーバに対して車種ごとに前記撮影装置の設置位置取得要求を送信し、前記管理サーバの前記データベースから前記撮影装置の最適な設置位置情報を受信すると、前記車両が撮影された画像を元に、前記端末装置により測定される前記撮影装置の取り付け位置情報と、前記受信した最適な設置位置情報との差分情報を表示することを特徴とする俯瞰画像表示システム。

【請求項2】

前記端末装置は、
前記撮影装置を含む前記車両の撮影画像を取得し、画像処理により前記撮影装置の取り付け位置を測定し、前記測定した取り付け位置情報と前記受信した最適な設置位置情報に基づき、前記差分情報を生成して表示することを特徴とする請求項１に記載の俯瞰画像表示システム。

【請求項3】

電波を発信する位置センサをさらに備え、
前記端末装置は、前記撮影装置から前記位置センサによる前記撮影装置の取り付け位置情報を取得し、前記取得した取り付け位置情報に基づき、前記差分情報を生成して表示することを特徴とする請求項１に記載の俯瞰画像表示システム。

【請求項4】

車両の前後左右に設置された複数の撮影装置から得られる撮像画像を画像処理して前記車両の上方から俯瞰画像として疑似的に表示する端末装置であって、
車種ごとの前記複数の撮影装置の最適な設置位置情報を記憶した記憶部と、
前記俯瞰画像を表示する表示部と、
車種情報および前記撮影装置を含む車両の撮影画像から前記撮影装置の設置位置情報を取得すると、前記記憶部から前記車種情報に該当する前記撮影装置の最適な設置位置情報を読出し、前記表示部に表示する制御部と、
を備えたことを特徴とする端末装置。

【請求項5】

前記設置位置情報は、車両ごとの輪郭情報を含み、
前記制御部は、
前記表示部に、前記撮影装置の前記設置位置情報に基づく該当車種の輪郭と前記撮影画像とを重ねて合成表示し、前記設置位置情報に基づく前記撮影装置の設置位置の調整をユーザに促すことを特徴とする請求項４記載の端末装置。

【請求項6】

車両の前後左右に設置された複数の撮影装置から得られる撮影画像を画像処理して前記車両の上方から俯瞰画像として疑似的に表示する俯瞰画像表示システムに用いられる端末装置であって、
ネットワーク経由で接続される管理サーバに対し、車種ごとに前記撮影装置の設置位置取得要求を送信し、前記管理サーバから前記撮影装置の最適な設置位置情報を受信する通信手段と、
前記撮影装置の実設置位置を測定する測定手段と、
前記測定手段で測定して得られる前記撮影装置の実設置位置情報と、前記通信手段により受信した前記最適な設置位置情報との差分情報を表示部に表示させる制御手段と、
を備えたことを特徴とする端末装置。

【請求項7】

車両の前後左右に設置された複数の撮影装置から得られる撮影画像を画像処理して前記車両の上方から俯瞰画像として疑似的に表示する俯瞰画像表示システムに用いられる端末装置のプログラムであって、
ネットワーク経由で接続される管理サーバに対し、車種ごとに前記撮影装置の設置位置取得要求を送信し、前記管理サーバのデータベースから前記撮影装置の最適な設置位置情報を受信する手段と、
前記撮影装置の実設置位置を測定する手段と、
測定して得られる前記撮影装置の実設置位置情報と、受信した前記最適な設置位置情報との差分情報を表示する手段と、
して、コンピュータを機能させることを特徴とする端末装置のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、俯瞰画像表示システム、端末装置、及びそのプログラムに関する。

【背景技術】

【0002】

従来、車両を真上から見ているかのような映像を映し出す俯瞰画像表示システムが知られている。俯瞰画像表示システムとは、車両の少なくとも前後左右に広角カメラを搭載し、４方向のカメラの撮影画像を合成して上方向から俯瞰した画像に変換する技術である。俯瞰画像表示システムを利用することにより、車内にいながらにして俯瞰画像を見ることができるため、例えば、俯瞰画像をカーナビゲーションのディスプレイに取り込むことにより縦列駐車や車庫入れ等を容易に行なうことが可能になる。

【0003】

ところで、俯瞰画像表示システムを利用する場合、複数のカメラの撮影画像が重なる場所（繋ぎ目）に歪みが生じるため、その歪みを補正する必要がある。このため、例えば、特許文献１には、俯瞰表示画像の繋ぎ目部分に対応する領域に障害物が存在することが検知された場合、俯瞰表示画像の繋ぎ目部分になる位置を変化させることにより、継ぎ目部分の歪みを補正する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７−０４１７９１

【発明の概要】

【発明が解決しようとする課題】

【0005】

俯瞰画像表示システムが搭載された車両は、通常、工場出荷時に取り付け位置調整（キャリブレーション）がなされたカメラが取り付けられており、したがって、俯瞰画像表示システムをオプション製品として後付けする場合、取り付け位置の調整が必要になる。また、取り付け位置は車種ごとに異なり、このため、ユーザが正確にカメラの設置箇所を特定することが困難であった。さらに、カメラをねじ止め等により車体に取付けると、カメラを取り外した後、その取り付け箇所に取り付け跡が残ってしまうという外観上の問題も考えられる。

【0006】

本発明は、このような状況に鑑みなされたものであり、カメラの取り付け位置調整が容易な後付の俯瞰画像表示システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の俯瞰画像表示システムは、以下のような解決手段を提供する。

【0008】

車両の前後左右に設置された複数の撮影装置から得られる撮像画像を画像処理して前記車両の上方から俯瞰画像として疑似的に表示する俯瞰画像表示システムにおいて、撮影機能を有する端末装置と、前記端末装置とネットワーク経由で接続され、前記車両ごとの前記複数の撮影装置の最適な設置位置情報を記憶したデータベースを有する管理サーバと、を備え、前記端末装置は、前記管理サーバに対して車種ごとに前記撮影装置の設置位置取得要求を送信し、前記管理サーバの前記データベースから前記撮影装置の最適な設置位置情報を受信すると、前記車両が撮影された画像を元に、前記端末装置により測定される前記撮影装置の取り付け位置情報と、前記受信した最適な設置位置情報との差分情報を表示することを特徴とする。

【0009】

また、前記端末装置は、前記撮影装置を含む前記車両の撮影画像を取得し、画像処理により前記撮影装置の取り付け位置を測定し、前記測定した取り付け位置情報と前記受信した最適な設置位置情報に基づき、前記差分情報を生成して表示することを特徴とする。

【0010】

また、電波を発信する位置センサをさらに備え、前記端末装置は、前記撮影装置から前記位置センサによる前記撮影装置の取り付け位置情報を取得し、前記取得した取り付け位置情報に基づき、前記差分情報を生成して表示することを特徴とする。

【0011】

また、本発明の別の態様では、車両の前後左右に設置された複数の撮影装置から得られる撮像画像を画像処理して前記車両の上方から俯瞰画像として疑似的に表示する端末装置であって、前記車両ごとの前記複数の撮影装置の最適な設置位置情報を記憶した記憶部と、前記俯瞰画像を表示する表示部と、車種情報および前記撮影装置を含む車両の撮影画像から前記撮影装置の設置位置情報を取得すると、前記記憶部から前記車種情報に該当する前記撮影装置の最適な設置位置情報を読出し、前記表示部に表示する制御部と、を備えたことを特徴とする。

【0012】

また、前記設置位置情報は、車両ごとの輪郭情報を含み、前記制御部は、前記表示部に、前記撮影装置の前記設置位置情報に基づく該当車種の輪郭と前記撮影画像とを重ねて合成表示し、前記設置位置情報に基づく前記撮影装置の設置位置の調整をユーザに促すことを特徴とする。

【0013】

また、本発明の別の態様では、車両の前後左右に設置された複数の撮影装置から得られる撮影画像を画像処理して前記車両の上方から俯瞰画像として疑似的に表示する俯瞰画像表示システムに用いられる端末装置であって、ネットワーク経由で接続される管理サーバに対し、車種ごとに前記撮影装置の設置位置取得要求を送信し、前記管理サーバから前記撮影装置の最適な設置位置情報を受信する通信手段と、前記撮影装置の実設置位置を測定する測定手段と、前記測定手段で測定して得られる前記撮影装置の実設置位置情報と、前記通信手段により受信した前記最適な設置位置情報との差分情報を表示部に表示させる制御手段と、を備えたことを特徴とする。

【0014】

また、本発明の別の態様では、車両の前後左右に設置された複数の撮影装置から得られる撮影画像を画像処理して前記車両の上方から俯瞰画像として疑似的に表示する俯瞰画像表示システムに用いられる端末装置であって、ネットワーク経由で接続される管理サーバに対し、車種ごとに前記撮影装置の設置位置取得要求を送信し、前記管理サーバから前記撮影装置の最適な設置位置情報を受信する通信手段と、前記撮影装置の実設置位置を測定する測定手段と、前記測定手段で測定して得られる前記撮影装置の実設置位置情報と、前記通信手段により受信した前記最適な設置位置情報との差分情報を表示部に表示させる制御手段と、を備えたことを特徴とする。

【0015】

車両の前後左右に設置された複数の撮影装置から得られる撮影画像を画像処理して前記車両の上方から俯瞰画像として疑似的に表示する俯瞰画像表示システムに用いられる端末装置のプログラムであって、ネットワーク経由で接続される管理サーバに対し、車種ごとに前記撮影装置の設置位置取得要求を送信し、前記管理サーバのデータベースから前記撮影装置の最適な設置位置情報を受信する手段と、前記撮影装置の実設置位置を測定する手段と、測定して得られる前記撮影装置の実設置位置情報と、受信した前記最適な設置位置情報との差分情報を表示する手段と、して、コンピュータを機能させることを特徴とする。

【発明の効果】

【0016】

本発明によれば、カメラの取り付け位置調整が容易な後付の俯瞰画像表示システムを提供することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態に係る俯瞰画像表示システムのイメージ図である。

【図2】（ａ）本発明の実施の形態に係る俯瞰画像表示システムの撮影装置のイメージ図である。（ｂ）撮影装置の背面図である。（ｃ）撮影装置の撮影範囲を示した図である。（ｄ）撮影装置の撮影範囲を補正したイメージ図である。

【図3】第１実施形態に係る俯瞰画像表示システムの構成を示すブロック図である。

【図4】図３の最適位置情報ＤＢ（データベース）のデータ構造の一例を示す図である。

【図5】第１実施形態の俯瞰画像表示システムの処理動作を示すフローチャートである。

【図6】図３の端末装置の画面イメージ図（１）である。

【図7】図３の端末装置の画面イメージ図（２）である。

【図8】第２実施形態で使用される位置センサの設置場所を示すイメージ図である。

【図9】第２実施形態の俯瞰画像表示システムの処理動作を示すフローチャートである。

【図10】第３実施形態に係る俯瞰画像表示システムの構成を示すブロック図である。

【図11】第３実施形態の俯瞰画像表示システムの処理動作を示すフローチャートである。

【図12】第３実施の形態に係る俯瞰画像表示システムの撮影時の端末装置の表示画面のイメージ図（１）である。

【図13】第３実施の形態に係る俯瞰画像表示システムの撮影時の端末装置の表示画面のイメージ図（２）である。

【発明を実施するための形態】

【0018】

以下、添付図面を参照して、本発明を実施するための形態（以下、本実施形態と言う）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。

【0019】

図１は、本実施形態に係る俯瞰画像表示システムのイメージ図である。以下では、上記のシステムを「本システム」と呼ぶことにする。

【0020】

本システムは、車両の複数個所に設置された撮影装置から得られる撮像画像を画像処理して車両の上方から俯瞰画像として疑似的に表示するものである。

【0021】

まず、ユーザは、車両の前後左右にカメラ（撮影装置）を取付ける。このとき、カメラのレンズを地面に向けて斜め方向に取り付けるものとする。なお、ここで用いられるカメラは、図２（ａ）（ｂ）に示すように、車両に着脱自在であり、手動で上下左右に角度調整を行うことができるものとする。また、カメラの背面には、マグネット１５ａ等で車体に装着可能な取付部１５が備えられており、カメラが車体から着脱自在になっている。なお、取付部１５は、設置後に位置がずれないように、両面テープ等を併用してもよい（図２（ｂ）では、両面テープ１５ｂがマグネット１５ａの外側に貼付可能としている。）。

【0022】

次に、ユーザは、自身が所有する端末装置、例えば、スマートフォン、ファブレット、タブレット端末等の携帯情報端末に予めインストール済みの俯瞰画像表示アプリケーション（以降、専用アプリケーションと呼ぶ）を起動する。

【0023】

専用アプリケーションを起動すると、携帯情報端末のディスプレイに表示される内容は、サービスを受けようとする車種情報を入力する画面に切り替わり、ユーザは、車種情報を入力して管理サーバに送信する。車種情報を受信した管理サーバは、該当する車種ごとの座標基準点を含むカメラの最適位置を内蔵するデータベースから取得し、携帯情報端末へ送信する。なお、ここでいう座標基準点とは、カメラの設置位置の座標を求めるための基準点であり、例えば、車両の中心位置である。

【0024】

続いて、最適位置情報を受信した携帯情報端末は、その情報を保存するとともに、ディスプレイ上に車両の全方位（前後左右）の撮影画像を表示するため、ユーザに撮影指示を行う。これを受けて、ユーザは、車両の４方向に設置されたカメラを含む車両の全方位のパノラマ撮影を行う。専用アプリケーションは、携帯情報端末のディスプレイに表示された画像上にカメラの実設置位置と最適位置とを表示する。図１の中央の撮像画面表示では、カメラの実設置位置は□で表され、最適位置は＋マークで表されている。

【0025】

これを受けて、ユーザは、カメラの取り付け位置を調整する。カメラの取り付け位置調整後、携帯情報端末の専用アプリケーションは、取り込まれた複数の撮影画像を俯瞰画像に変換し、その画像同士の繋ぎ目を補正する。なお、この変換処置及び繋ぎ目補正は、例えば、先行技術文献として提示した特許文献１の画像処理技術を用いて、図２（ｃ）の斜線で示した部分の撮影領域が重複した領域を画像処理し、図２（ｄ）に示す、１つの連続した俯瞰表示画像に変換する。このことにより、カメラの取り付け位置調整が容易な俯瞰画像表示システムを提供することができ、工場出荷時に俯瞰画像表示システムを搭載していない車両であっても、オプションとして後付けする場合に、カメラを適正箇所に正確に取り付けることができる。

【0026】

（第１実施形態）
図３は、第１実施形態に係る俯瞰画像表示システムの構成を示すブロック図である。図３に示すように、第１実施形態での本システムは、車両の複数個所に設置された撮影装置１０から得られる撮像画像を画像処理して車両の上方から俯瞰画像として疑似的に表示する俯瞰画像表示システムである。第１実施形態の本システムは、複数の撮影装置１０と、撮影機能を有する端末装置３０と、端末装置３０とネットワーク経由で接続され、車両の車両ごとの撮影装置の最適な設置位置情報を記憶している管理サーバ２０と、から構成される。

【0027】

端末装置３０は、車種ごとに撮影装置１０の設置位置取得要求を管理サーバ２０に送信すると、管理サーバ２０から撮影装置の最適な設置位置情報を受信し、車両が撮影された画像を元に測定される撮影装置１０の取り付け位置（実設置位置情報）と、受信した最適な設置位置情報との差分情報を表示する。ここで、実設置位置情報は、端末装置３０で撮影した画像から撮影装置１０の画像を抽出し、設置位置を検出する。詳細は後述する。

【0028】

（撮影装置の構成）
撮影装置１０は、さらに無線通信部１１と、撮像部１２と、制御部１３と、電池１４とから構成される。

【0029】

無線通信部１１は、端末装置３０と無線通信を行う際の通信インタフェースであり、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）等の公知の無線通信手段である。

【0030】

撮像部１２は、１８０度の視野角を持つ広角カメラであり、車両に設置された箇所から周囲を撮影する。撮像部１２のレンズの方向は、既に述べたように、手動で上下左右に角度を調整できることが望ましい。なお、映像送信及び給電が有線接続のカメラの他、無線で充電され、画像もワイヤレスで送信できるようなカメラであってもよい。

【0031】

制御部１３は、ユーザからの入力操作部（図示せず）を制御し、撮像部１２によって撮影された撮像データを取得し、無線通信部１１を介して、端末装置３０へ送信する。電池１４は、撮影装置１０の撮影に必要なリチウム電池、アルカリ電池等の電力源である。

【0032】

（管理サーバの構成）
管理サーバ２０は、端末装置３０とネットワーク経由で接続され、車両ごとに、少なくとも車体の前後左右に設置される撮影装置１０のそれぞれの最適な設置位置情報を記憶しているデータベース（最適位置情報ＤＢ２０１）の他に、通信部２１と、制御部２２と、を備えている。最適位置情報は、車両ごとに前後左右それぞれに定められた基準点からの相対位置座標で表される。

【0033】

通信部２１は、端末装置３０とネットワークを介して、通信を行う際の通信インタフェースである。

【0034】

制御部２２は、端末装置３０から車種ごとの車両設置位置取得要求を受信すると、最適位置情報ＤＢ２０１から指定された車両の最適な設置位置情報を取り出し、その情報を通信部２１を介して、端末装置３０へ送信する。

【0035】

最適位置情報ＤＢ２０１は、車種ごとに撮影装置１０の最適な設置位置情報を記憶しているデータベースである。最適位置は車種によって異なるが、撮影装置１０のレンズの向きが調整可能であるため、必ずしも一点に絞らなくともよい。最適位置が複数ある場合には、ドア等の可動部分は避けるようにする。一般的には、ドアミラーの下（ドアミラーが撮影装置を防御する役目を果たす）等、比較的目立たず、かつ、はがれにくい場所が設定される。また、最適な設置位置は、点とは限らず、所定範囲の領域としてもよい。所定範囲としたのは、カメラの性能、画像補正による調整によって変化が生じるからである。性能に応じて最適な設置位置の範囲が決定される。

【0036】

図４（ａ）は、車種ごとに符号を付しており、Ａ〜Ｃは一般的なサイズの車両に対して、ＤとＥは、一般的なサイズと比較して車体が長い車両である。図４（ｂ）にそのデータ構造の一例が示されているように、例えば、車種名、撮影装置１０が設置されている車両のＦｒｏｎｔ面（前面図）、Ｒｅａｒ面（後面図），Ｒｉｇｈｔ面（右側面図）、Ｌｅｆｔ面（左側面図）の各画像情報、設置位置座標等が登録されている。設置座標とは、車両の基準点を（０，０）としたときの相対座標である。基準点は、例えば、車体の中心点等、車両ごとに予め定義しておく。

【0037】

より詳細には、各画像情報、設置位置座標は、図４（ｃ）に示すように車種ごとの年式、タイプごとに登録される。最適位置情報ＤＢ２０１は、管理サーバ２０に実装された半導体メモリ、磁気あるいは光ディスクに記憶される。また、Ｆｒｏｎｔ面（前面）、Ｒｅａｒ面（後面）には、撮影装置１０が１つ取り付けられるのに対して、Ｒｉｇｈｔ面（右側面）、Ｌｅｆｔ面（左側面）には、車体の長さに応じて、複数の撮影装置１０が取り付けられる。例えば、図４（ａ）に示すＡ〜Ｃのような一般的なサイズの車両では撮影装置１０が１つ、Ｄのバスでは撮影装置１０が２つ、Ｅのトラックでは撮影装置が３つと、車体の長さに応じて、取り付ける撮影装置１０の数を増やすことができる。これは後付の撮影装置だからこそできるメリットである。また、側面に複数の撮影装置を設置した場合、設置位置（例えば高さ）の差分によって、歪み等が生じるが、補正プログラムにより画像の歪みが小さくなるようにできる。このようにすることで、車体の長さによる撮影距離に応じた歪みが解消され、より鮮明な画像データを取得することができる。

【0038】

図３に戻り、端末装置３０は、管理サーバ２０に対して車種ごとに撮影装置１０の設置位置取得要求を送信し、管理サーバ２０から撮影装置１０の最適な設置位置情報を受信し、車両が撮影された画像を元に測定される撮影装置１０の取り付け位置と、受信した最適な設置位置情報との差分情報を表示する機能を有する。端末装置３０は、典型的な構成としては、無線通信部３１（通信手段）と、撮像部３２と、撮影装置位置情報取得部３３（測定手段）と、画像データ補正部３４と、入力部３５と、表示部３６と、制御部３７（制御手段）と、撮像データ３８とを備えている。

【0039】

無線通信部３１は、撮影装置１０及び管理サーバ２０と通信を行う際の通信インタフェースである。

【0040】

撮像部３２は、携帯端末に備えられる一般的なカメラであり、車両全体の静止画撮影もしくは動画撮影を行い、その画像データを制御部３７に送信する。

【0041】

撮影装置位置情報取得部３３は、撮像部３２によって撮影された撮影装置１０が設置された車両の画像データを読み込み、その画像データから撮影装置１０の車体上の座標位置を測定する。

【0042】

画像データ補正部３４は、車両に設置された複数の撮影装置１０で撮影された撮像データ３８を撮影装置１０から受信し、俯瞰画像に変換する。また、複数の俯瞰画像の繋ぎ目を１つの画像にし、その画像の繋ぎ目部分を補正する。

【0043】

入力部３５は、予めインストールされた専用アプリケーションにしたがい、ユーザによって入力される必要条件を取り込んで制御部３７に供給する。また、表示部３６は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Organic Electro-Luminescence）などの表示デバイスを有し、例えば、車両撮影時の撮影画面、専用アプリケーションの入力画面及び撮影装置１０の設置位置画面等を表示する。なお、ここでは、入力部３５と表示部３６とが独立して存在するものとしたが、入力部と表示部が一体で形成されるタッチパネル等で構成されていてもよい。

【0044】

制御部３７は、ユーザから車種ごとの最適位置情報の取得要求を取得すると、管理サーバ２０に対して車種ごとに撮影装置１０の設置位置取得要求を送信し、管理サーバ２０の最適位置情報ＤＢ２０１から撮影装置１０の最適な設置位置情報を受信する。そして、撮像部３２によって車両が撮影された画像を元に、撮影装置位置情報取得部３３に座標位置を測定する指示を送り、測定された撮影装置１０の取り付け位置と、管理サーバ２０から受信した最適な設置位置情報との差分情報を表示部３６に表示させる。

【0045】

また、制御部３７は、撮影装置１０を含む車両の撮影画像を取得し、画像処理により撮影装置１０の取り付け位置を測定し、測定した取り付け位置情報と、管理サーバ２０から受信した最適な設置位置情報に基づき差分情報を生成する。また、撮影装置１０と近距離無線通信を行って、後述する位置センサによる撮影装置１０の取り付け位置情報を取得し、取得した取り付け位置情報に基づき差分情報を生成してもよい。詳細は、前者を第１実施形態、後者を第２実施形態として後述する。

【0046】

上記の実施形態及び以降で説明する実施形態の機能構成は、あくまで一例であり、一つの機能ブロック（データベース及び機能処理部）を分割したり、複数の機能ブロックをまとめて一つの機能ブロックとして構成したりしてもよい。各機能処理部は、装置に内蔵されたＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＳＤ(Solid State Ｄrive)、ハードディスク等の記憶装置に格納されたコンピュータ・プログラムを読み出し、ＣＰＵにより実行されたコンピュータ・プログラムによって実現される。すなわち、各機能処理部は、このコンピュータ・プログラムが、記憶装置に格納されたデータベース（ＤＢ;Ｄata Base)やメモリ上の記憶領域からテーブル等の必要なデータを読み書きし、場合によっては、関連するハードウェア（例えば、入出力装置、表示装置、通信インタフェース装置）を制御することによって実現される。また、本発明の実施形態におけるデータベースは、商用データベースであってよいが、単なるテーブルやファイルの集合体をも意味し、データベースの内部構造自体は問わないものとする。

【0047】

以下、図５のフローチャートを参照しながら第１実施形態の俯瞰画像表示システムの処理動作について説明する。

【0048】

ここでは、撮影装置１０は、既に車両の全方位に設置が完了しているものとする。ユーザが端末装置３０に予めインストールした専用アプリケーションを起動すると、端末装置３０の表示部３６に、車種、年式及びタイプ情報の一覧が表示される。

【0049】

ユーザは、俯瞰画像表示をさせたい車種、その年式及びタイプ情報を選択し、入力部３５に入力すると、端末装置３０の制御部３７は、上記情報を取得し、管理サーバ２０へ無線通信部３１を介して送信する（ステップＳ１１）。

【0050】

次に管理サーバ２０の制御部２２は、受信した情報から該当する最適位置情報を最適位置情報ＤＢ２０１から取得し、端末装置３０に送信する。端末装置３０の制御部３７は、最適な設置位置情報を受信すると（ステップＳ１２）、該当する車両の撮影指示（前後左右の車両の全体像を静止画の撮影指示、若しくは動画の撮影指示）を表示部３６に出力する。

【0051】

続いて、ユーザは、端末装置３０のカメラ（撮像部３２）で前後左右の車両の全体像を静止画撮影し、若しくは動画撮影を行う（ステップＳ１３）。端末装置３０の撮影装置位置情報取得部３３は、その撮影画像から、実設置位置を測定して撮影装置１０の設置位置の座標を求める（ステップＳ１４）。

【0052】

次に制御部３７は、撮影装置１０に実設置位置と管理サーバ２０から受信した最適位置情報との差分を算出し（ステップＳ１５）、その差分結果を端末装置３０の表示部３６に表示する（ステップＳ１６）。

【0053】

ここで、表示されるイメージについて説明する。Ｒｅａｒ画面を例示すると、図６に示すように、撮影装置１０の最適位置が「＋」のシンボルで画面上に表示され、実設置位置にカメラを表すシンボル（四角の図）が表示される。そして、表示部３６に最適位置からのズレを文字情報若しくは音声で出力させる。また、動画撮影した場合は、リアルタイムで実設置位置を移動させることが可能になるため、端末装置３０の表示部３６の拡大機能（ピンチアウト等）を行うことによって、より正確な設置位置に撮影装置１０を設置させることが可能となる。

【0054】

また、図７に示すように、車両が備えたカーナビゲーションシステム（以下、カーナビ）と連動させることによって、全方位の設置位置画像をカーナビのディスプレイに表示することが可能になり、端末装置３０で個々の撮影装置１０の設置を指示し、全体像をカーナビのディスプレイで確認することで、確認作業が容易となり取付け時間が短縮する。

【0055】

図５の説明に戻る。ユーザが端末装置３０の表示部３６に表示されている俯瞰画像表示開始ボタンを押下すると（ステップＳ１７）、端末装置３０の制御部３７は、全方位の撮影装置１０が車体に設置され、稼動しているかを確認するためパケットを送信する。

【0056】

パケットを受信した撮影装置１０の制御部１３は、端末装置３０にパケットを返送する。そして、全方位のカメラ（撮影装置１０）をすべて検知した場合（ステップＳ１８“ＹＥＳ”）、端末装置３０の画像データ補正部３４は、それぞれの方向のカメラで撮影した撮影画像を俯瞰画像に変換する（ステップＳ１９）。次に、画像データ補正部３４は、変換された俯瞰画像の繋ぎ目を補正し、俯瞰画像を生成する（ステップＳ２０）。そして、制御部３７は、完成した俯瞰画像を表示部３６に表示する（ステップＳ２１）。

【0057】

一方、全方位のカメラ（撮影装置１０）を一つでも検知できなかった場合（ステップＳ１８“ＮＯ”）、制御部３７は、カメラ未設置箇所を表示部３６に表示し、ユーザに未設置個所のカメラの設置をユーザに促す（ステップＳ２２）。そして、ユーザが未設置箇所のカメラを設置したことを確認（ステップＳ２３）すると、ステップＳ１３の処理に進む。

【0058】

第１実施形態の俯瞰画像表示システムによれば、端末装置３０の制御部３７は、撮影装置１０を含む車両の撮影画像を取得し、画像処理により撮影装置の取り付け位置を測定し、測定した取り付け位置情報と管理サーバ２０から受信した最適な設置位置情報に基づき差分情報を生成して表示部３６に表示する。このため、ユーザは、表示内容を確認しながら、撮影装置１０の取り付け位置調整が容易に行える。例えば、工場出荷時に俯瞰画像表示システムを搭載していない車両であっても、オプションとして後付けする場合に、カメラを適正箇所に正確に取り付けることができる。

【0059】

（第２実施形態）
以下に説明する第２実施形態は、車両の固定位置に、定期的に電波を発信する位置センサを備え付け、撮影装置１０が位置センサと近距離無線通信によって交信を行い、位置センサの位置情報から撮影装置の位置を測定（検出）する形態である。以下にその詳細を説明する。

【0060】

図８に示すように、例えば車内の四端に位置センサ１００を設置する。そして、各位置センサ１００は、車外の撮影装置１０ａ〜１０ｄに電波を発信する。撮影装置１０ａ〜１０ｄは、４つの位置センサ１００からの電波を受信することで、自らの実設置位置を測定することが可能となる。ここで４つの位置センサ１００を設置したのは、撮影装置１０の位置を正確に測定するために三角測量を用いるためである。このようにすることで、より正確な撮影装置１０の実設置位置を検出することが可能となる。

【0061】

図９は、第２実施形態に係る俯瞰画像表示システムの処理動作を示すフローチャートである。

【0062】

第２実施形態では、第１実施形態（図５）と異なる部分のみを説明する。その他のステップは図５と同様であるので説明を省略する。

【0063】

端末装置３０の制御部３７は、最適な設置位置情報を受信すると、撮影装置１０に撮影装置１０の実位置情報の取得要求を送信する（ステップＳ３３）。

【0064】

実設置位置情報の取得要求を受信した撮影装置１０の制御部１３は、定期的に送られてくる位置センサ１００の位置情報を受信し、複数の位置センサ１００の位置情報から上述した図８の測定方法等で自らの位置情報を算出し、端末装置３０へ送信する。

【0065】

次に端末装置３０の制御部３７は、撮影装置１０の実設置位置情報を受信する（ステップＳ３４）と、全方位の撮影装置１０が車体に設置され、稼動しているかを確認するためパケットを送信する。ステップＳ３５以降は、図５と同様であるため説明を省略する。

【0066】

第２実施形態に係る俯瞰画像表示システムによれば、端末装置３０の制御部３７は、撮影装置１０と近距離無線通信を行って位置センサ１００による撮影装置１０の取り付け位置情報を取得し、管理サーバ２０から受信した最適取り付け位置情報に基づき差分情報を生成して表示する。このため、ユーザは、表示内容を確認しながら撮影装置１０の取り付け位置調整が容易に行える。例えば、工場出荷時に俯瞰画像表示システムを搭載していない車両であっても、オプションとして後付けする場合に、カメラを適正箇所に正確に取り付けることができる。このこと自体は第１実施形態と同じであるが、第２実施形態では、ユーザが車両の全方位画像を撮影することが不要になるため、第１実施形態と比較すればユーザの位置調整の負担が軽減される。

【0067】

（第３実施形態）
以下に説明する第３実施形態は、管理サーバ２０から、自身が所有する車種の最適位置情報を最適位置情報ＤＢ２０１から端末装置３０の内部に事前に取得しておくことで、以降は管理サーバ２０と交信することなく、撮影装置１０の取り付け位置調整が可能な俯瞰画像表示システムである。車種の最適位置情報の取得は、専用アプリケーションのインストール時に、自身が所有する車種を入力することにより行ってもよい。

【0068】

図１０は、第３実施形態に係る俯瞰画像表示システムの構成を示すブロック図である。第３実施形態では、第１実施形態（図３）と異なる部分のみを説明する。

【0069】

端末装置３０の制御部３７は、ユーザから撮影装置１０の設置位置取得要求を取得すると、端末装置３０の記憶部３９から該当する車種の最適な撮影装置１０の設置位置情報を読出し、表示部３６に表示する。また、制御部３７は、表示部３６に、撮影装置１０の設置位置情報に基づく該当車種の輪郭の画像と撮影装置１０が現在撮影している車両の撮影画像とを重ねて合成表示し、設置位置情報に基づく撮影装置の設置位置の調整をユーザに促す制御を行う。

【0070】

記憶部３９は、車両ごとの複数の撮影装置１０の最適な設置位置情報を記憶する。具体的には、管理サーバ２０の最適位置情報ＤＢ２０１から、ユーザの要求に基いて、車両の輪郭情報を含む最適位置情報を記憶する。なお、第１実施形態と違い、撮影装置位置情報取得部３３は、存在しない。

【0071】

管理サーバ２０の最適位置情報ＤＢ２０１は、上述した設置位置情報に加え、車両ごとの輪郭情報が保存されている。また、車両ごとの最適位置情報は、同じ車両でもカメラの性能によって、幾つかの最適位置情報が記憶されているものとする。その他の各種機能については、第１実施形態と同様の機能を有するため説明は省略する。

【0072】

図１１は、第３実施形態の俯瞰画像表示システムの処理動作を示すフローチャートである。ここでは、ユーザは、予め専用アプリケーションに自身が所有する車両情報を登録しておくことで、端末装置３０の記憶部３９に車両ごとの輪郭情報を含む最適な位置情報を管理サーバ２０から受信しておくものとする。

【0073】

ユーザは、俯瞰画像表示をさせたい車種、その年式及びタイプ情報を選択し、入力部３５に入力すると、端末装置３０の制御部３７は、その情報を取得する（ステップＳ５１）。

【0074】

次に制御部３７は、表示部３６に車両に取付けるカメラ（撮影装置）情報を入力する画面を表示する。ユーザは、カメラ情報を入力する。なお、カメラ情報は、カメラの型番等、カメラの性能が特定できる方が好ましいが、例えば、取付けるカメラの輪郭、カメラの画素数、広角度等の情報を表示してもよい。

【0075】

制御部３７は、カメラ情報を取得すると（ステップＳ５２）、カメラ情報に基いて、記憶部３９から該当する最適な設置位置情報を抽出する（ステップＳ５３）。

【0076】

次に制御部３７は、記憶部３９から抽出した最適な設置位置情報に含まれた最適設置位置と輪郭画像を表示部３６に表示するとともに（ステップＳ５４）、該当する車両の撮影指示を表示する。続いて、ユーザは、表示部３６に表示された輪郭画像と最適設置位置を元に端末装置３０のカメラ（撮像部３２）で撮影を行う（ステップＳ５５）。

【0077】

ここで、表示されるイメージについて説明する。図１２に示すように、端末装置３０の表示部３６に輪郭画像（図では、点線で示されている）と最適設置位置の画像が表示される。ユーザは、表示された撮影画面に車両を映し、映し出された車両と、輪郭画像がピタッと重なるように場所を移動する。このとき、端末装置３０のカメラ（撮像部３２）の拡大・縮小機能を利用してもよい。そして、ユーザは、車両の撮影画像と、表示された輪郭画像がピタッと重なったときにカメラの最適設置位置が分かるため、表示された撮影画像を元にカメラ（撮影装置１０）を設置する（ステップＳ５６）。

【0078】

なお、カメラ情報からカメラの形状を特定し、カメラの輪郭を最適設置位置に併せて表示させてもよい。図１３に示すように、カメラの最適設置位置にカメラの輪郭画像１０ｆ（図では、点線で示されている）が表示される。このように、最適設置位置が、＋だけでなくカメラの輪郭と共に表示されていれば、カメラが符号１０ｅのように傾いて取り付けられても容易に見つけられる。ユーザは、どの位置にどの角度でカメラを取付けるかを容易に判断することが可能となる。ステップＳ５７以降は、図５と同様であるため説明を省略する。

【0079】

第３実施形態に係る俯瞰画像表示システムによれば、管理サーバから自身の車両の撮影装置の最適な位置情報を最初に受信しておけば、それ以降は、管理サーバと交信せずに俯瞰画像表示システムを提供することができるため、第１、第２実施形態と比べて管理サーバの負荷の軽減につながる。また、第１、第２実施形態のように撮影装置の実設置位置を検出しないので、実設置位置と最適位置との差分情報を表示する必要がなくなる。

【0080】

（実施形態の効果）
以上説明のように、本システムによれば、着脱可能なカメラを使用し、車種ごとのカメラの最適な設置位置情報を取得し、端末装置に実設置位置と最適位置を表示することで、工場出荷時に俯瞰画像表示システムを搭載していない車両においても、後付で俯瞰画像表示システムを提供することができる。また、カメラの着脱にマグネット（両面テープの併用が望ましい）を利用することで、取り外し時に車両を傷つけることなく、着脱が可能となる。

【0081】

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲に限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【符号の説明】

【0082】

１０ 撮影装置
１１ 無線通信部
１２ 撮像部
１３ 制御部
１４ 電池
１５ 取付部
１５ａ マグネット
１５ｂ 両面テープ
２０ 管理サーバ
２１ 通信部
２２ 制御部
２０１ 最適位置情報ＤＢ（最適位置情報データベース）
３０ 端末装置
３１ 無線通信部（通信手段）
３２ 撮像部
３３ 撮影装置位置情報取得部（測定手段）
３４ 画像データ補正部
３５ 入力部
３６ 表示部
３７ 制御部（制御手段）
３８ 撮像データ
３９ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】