特許 6404525 全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6404525

(24)【登録日】2018年9月21日

(45)【発行日】2018年10月10日

(54)【発明の名称】全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20181001BHJP

   H04N 5/232 20060101ALI20181001BHJP

【ＦＩ】

   H04N7/18 U

   H04N5/232 380

   H04N5/232 930

   H04N5/232 030

   H04N5/232 300

   H04N5/232

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2018-517983(P2018-517983)

(86)(22)【出願日】2016年5月17日

(86)【国際出願番号】JP2016064661

(87)【国際公開番号】WO2017199352

(87)【国際公開日】20171123

【審査請求日】2018年6月23日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】菅谷 俊二

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２００７−２４６４７（ＪＰ，Ａ）

【文献】 特開２０１４−２２４４１０（ＪＰ，Ａ）

【文献】 特開２０１１−１９２２２８（ＪＰ，Ａ）

【文献】 国際公開第２０１４／１７１０５２（ＷＯ，Ａ１）

【文献】 特開２００８−３０４２４８（ＪＰ，Ａ）

【文献】 特開２００７−２６３６６９（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１２１８４１（ＷＯ，Ａ１）

【文献】 特開平１０−１１５５０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

複数の全天球カメラが被写体を撮像した撮像画像を表示する全天球カメラ撮像画像表示システムであって、
前記複数の全天球カメラが撮像した全天球画像データから一の被写体の画像データを抽出し、当該一の被写体の画像データの特徴量が一致するか否かに基づいて複数の全天球カメラの向きが平行であるか否かを判断する平行判断手段と、
前記平行判断手段が平行ではないと判断した場合に、前記複数の全天球カメラの向きを平行にする向き補正手段と、
前記撮像画像として表示された被写体に、前記全天球カメラから当該被写体までの距離を表示する距離表示手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システム。

【請求項2】

複数の全天球カメラが被写体を撮像した撮像画像から作成した当該被写体の３Ｄモデルを表示する全天球カメラ撮像画像表示システムであって、
前記複数の全天球カメラが撮像した全天球画像データから一の被写体の画像データを抽出し、当該一の被写体の画像データの特徴量が一致するか否かに基づいて複数の全天球カメラの向きが平行であるか否かを判断する平行判断手段と、
前記平行判断手段が平行ではないと判断した場合に、前記複数の全天球カメラの向きを平行にする向き補正手段と、
前記３Ｄモデルとして表示された被写体に、前記全天球カメラから当該被写体までの距離を表示する距離表示手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システム。

【請求項3】

ユーザ操作を受け付ける受付手段と、
前記ユーザ操作を受け付けることにより、前記距離の表示のＯＮ／ＯＦＦを切り替える切り替え手段と、
を備えることを特徴とする請求項１又は２に記載の全天球カメラ撮像画像表示システム。

【請求項4】

前記撮像画像の歪みから、前記距離の補正を行う距離補正手段と、
を備えることを特徴とする請求項１又は２に記載の全天球カメラ撮像画像表示システム。

【請求項5】

前記複数の全天球カメラの間の距離を計測する計測手段と、
を備えることを特徴とする請求項１又は２に記載の全天球カメラ撮像画像表示システム。

【請求項6】

複数の全天球カメラが被写体を撮像した撮像画像を表示する全天球カメラ撮像画像表示システムが実行する全天球カメラ撮像画像表示方法であって、
前記複数の全天球カメラが撮像した全天球画像データから一の被写体の画像データを抽出し、当該一の被写体の画像データの特徴量が一致するか否かに基づいて複数の全天球カメラの向きが平行であるか否かを判断するステップと、
前記複数の全天球カメラの向きが平行でないと判断した場合に、前記複数の全天球カメラの向きを平行にするステップと、
前記撮像画像として表示された被写体に、前記全天球カメラから当該被写体までの距離を表示するステップと、
を備えることを特徴とする全天球カメラ撮像画像表示方法。

【請求項7】

複数の全天球カメラが被写体を撮像した撮像画像から作成した当該被写体の３Ｄモデルを表示する全天球カメラ撮像画像表示システムが実行する全天球カメラ撮像画像表示方法であって、
前記複数の全天球カメラが撮像した全天球画像データから一の被写体の画像データを抽出し、当該一の被写体の画像データの特徴量が一致するか否かに基づいて複数の全天球カメラの向きが平行であるか否かを判断するステップと、
前記複数の全天球カメラの向きが平行でないと判断した場合に、前記複数の全天球カメラの向きを平行にするステップと、
前記３Ｄモデルとして表示された被写体に、前記全天球カメラから当該被写体までの距離を表示するステップと、
を備えることを特徴とする全天球カメラ撮像画像表示方法。

【請求項8】

複数の全天球カメラが被写体を撮像した撮像画像を表示する全天球カメラ撮像画像表示システムに、
前記複数の全天球カメラが撮像した全天球画像データから一の被写体の画像データを抽出し、当該一の被写体の画像データの特徴量が一致するか否かに基づいて複数の全天球カメラの向きが平行であるか否かを判断するステップと、
前記複数の全天球カメラの向きが平行でないと判断した場合に、前記複数の全天球カメラの向きを平行にするステップと、
前記撮像画像として表示された被写体に、前記全天球カメラから当該被写体までの距離を表示するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。

【請求項9】

複数の全天球カメラが被写体を撮像した撮像画像から作成した当該被写体の３Ｄモデルを表示する全天球カメラ撮像画像表示システムに、
前記複数の全天球カメラが撮像した全天球画像データから一の被写体の画像データを抽出し、当該一の被写体の画像データの特徴量が一致するか否かに基づいて複数の全天球カメラの向きが平行であるか否かを判断するステップと、
前記複数の全天球カメラの向きが平行でないと判断した場合に、前記複数の全天球カメラの向きを平行にするステップと、
前記３Ｄモデルとして表示された被写体に、前記全天球カメラから当該被写体までの距離を表示するステップ。
を実行させるためのコンピュータ読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の全天球カメラが撮像した撮像画像を表示する全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラムに関する。

【背景技術】

【0002】

近年、上下左右全方位３６０度パノラマ画像を撮像可能な全天球カメラが提案されている。このような全天球カメラでは、全視野を撮像するために、複数のカメラを一の装置とした撮像装置や、特殊なレンズを複数備えた撮像装置により全方位を撮像し、３６０度パノラマ画像を表示画像として表示することを可能としている。

【0003】

このような構成として、複数の撮像装置を備え、各撮像装置から取得した複数の画像を一の画像として合成し、全天球画像を生成する構成が開示されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−２７７４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の構成では、全天球画像として表示された被写体の奥行きが不明であるため、全天球カメラから被写体までの距離を知ることや全天球画像に表示された被写体に対応する３Ｄモデルを作成することが困難であった。

【0006】

本発明の目的は、全天球カメラの位置から被写体までの距離を表示することにより、全天球カメラから被写体までの距離を知ることや全天球画像に表示された被写体に対応する３Ｄモデルを作成することを容易にすることが可能な全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明では、以下のような解決手段を提供する。

【0008】

第１の特徴に係る発明は、複数の全天球カメラが被写体を撮像した撮像画像を表示する全天球カメラ撮像画像表示システムであって、
前記撮像画像として表示された被写体に、前記全天球カメラから当該被写体までの距離を表示する距離表示手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システムを提供する。

【0009】

第１の特徴に係る発明によれば、複数の全天球カメラが被写体を撮像した撮像画像を表示する全天球カメラ撮像画像表示システムは、前記撮像画像として表示された被写体に、前記全天球カメラから当該被写体までの距離を表示する。

【0010】

ここで、第１の特徴に係る発明は、全天球カメラ撮像画像表示システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

【0011】

第２の特徴に係る発明は、複数の全天球カメラが被写体を撮像した撮像画像から作成した当該被写体の３Ｄモデルを表示する全天球カメラ撮像画像表示システムであって、
前記３Ｄモデルとして表示された被写体に、前記全天球カメラから当該被写体までの距離を表示する距離表示手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システムを提供する。

【0012】

第２の特徴に係る発明によれば、複数の全天球カメラが被写体を撮像した撮像画像から作成した当該被写体の３Ｄモデルを表示する全天球カメラ撮像画像表示システムは、前記３Ｄモデルとして表示された被写体に、前記全天球カメラから当該被写体までの距離を表示する。

【0013】

ここで、第２の特徴に係る発明は、全天球カメラ撮像画像表示システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

【0014】

第３の特徴に係る発明は、ユーザ操作を受け付ける受付手段と、
前記ユーザ操作を受け付けることにより、前記距離の表示のＯＮ／ＯＦＦを切り替える切替手段と、
を備えることを特徴とする第１又は第２のいずれかの特徴に係る発明である全天球カメラ撮像画像表示システムを提供する。

【0015】

第３の特徴に係る発明によれば、第１又は第２のいずれかの特徴に係る発明である全天球カメラ撮像画像表示システムは、ユーザ操作を受け付け、前記ユーザ操作を受け付けることにより、前記距離の表示のＯＮ／ＯＦＦを切り替える。

【0016】

第４の特徴に係る発明は、前記撮像画像の歪みから、前記距離の補正を行う距離補正手段と、
を備えることを特徴とする第１又は第２のいずれかの特徴に係る発明である全天球カメラ撮像画像表示システムを提供する。

【0017】

第４の特徴に係る発明によれば、第１又は第２のいずれかの特徴に係る発明である全天球カメラ撮像画像表示システムは、前記撮像画像の歪みから、前記距離の補正を行う。

【0018】

第５の特徴に係る発明は、前記複数の全天球カメラの向きを平行にする向き補正手段と、
を備えることを特徴とする第１又は第２のいずれかの特徴に係る発明である全天球カメラ撮像画像表示システムを提供する。

【0019】

第５の特徴に係る発明によれば、第１又は第２のいずれかの特徴に係る発明である全天球カメラ撮像画像表示システムは、前記複数の全天球カメラの向きを平行にする。

【0020】

第６の特徴に係る発明は、前記複数の全天球カメラの間の距離を計測する計測手段と、
を備えることを特徴とする第１又は第２のいずれかの特徴に係る発明である全天球カメラ撮像画像表示システムを提供する。

【0021】

第６の特徴に係る発明によれば、第１又は第２のいずれかの特徴に係る発明である全天球カメラ撮像画像表示システムは、前記複数の全天球カメラの間の距離を計測する。

【0022】

第７の特徴に係る発明は、複数の全天球カメラが被写体を撮像した撮像画像を表示する全天球カメラ撮像画像表示方法であって、
前記撮像画像として表示された被写体に、前記全天球カメラから当該被写体までの距離を表示するステップと、
を備えることを特徴とする全天球カメラ撮像画像表示方法を提供する。

【0023】

第８の特徴に係る発明は、複数の全天球カメラが被写体を撮像した撮像画像から作成した当該被写体の３Ｄモデルを表示する全天球カメラ撮像画像表示方法であって、
前記３Ｄモデルとして表示された被写体に、前記全天球カメラから当該被写体までの距離を表示するステップと、
を備えることを特徴とする全天球カメラ撮像画像表示方法を提供する。

【0024】

第９の特徴に係る発明は、複数の全天球カメラが被写体を撮像した撮像画像を表示する全天球カメラ撮像画像表示システムに、
前記撮像画像として表示された被写体に、前記全天球カメラから当該被写体までの距離を表示するステップ、
を実行させることを特徴とするプログラムを提供する。

【0025】

第１０の特徴に係る発明は、複数の全天球カメラが被写体を撮像した撮像画像から作成した当該被写体の３Ｄモデルを表示する全天球カメラ撮像画像表示システムに、
前記３Ｄモデルとして表示された被写体に、前記全天球カメラから当該被写体までの距離を表示するステップ、
を実行させることを特徴とするプログラムを提供する。

【発明の効果】

【0026】

本発明によれば、全天球カメラの位置から被写体までの距離を表示することにより、全天球カメラから被写体までの距離を知ることや全天球画像に表示された被写体に対応する３Ｄモデルを作成することを容易にすることが可能な全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラムを提供することが可能となる。

【図面の簡単な説明】

【0027】

【図1】図１は、全天球カメラ撮像画像表示システム１の概要を示す図である。

【図2】図２は、全天球カメラ撮像画像表示システム１の全体構成図である。

【図3】図３は、全天球カメラ１００、情報端末２００の機能ブロック図である。

【図4】図４は、全天球カメラ１００、情報端末２００が実行する撮像画像表示処理を示すフローチャートである。

【図5】図５は、全天球カメラ１００、情報端末２００が実行する３Ｄモデル表示処理を示すフローチャートである。

【図6】図６は、情報端末２００が実行する距離の計測方法の一例を示す図である。

【図7】図７は、情報端末２００が表示する距離の一例を示す図である。

【発明を実施するための形態】

【0028】

以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0029】

［全天球カメラ撮像画像表示システム１の概要］
本発明の好適な実施形態である全天球カメラ撮像画像表示システム１の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム１の概要を説明するための図である。全天球カメラ撮像画像表示システム１は、全天球カメラ１００ａ，１００ｂ（以下、特に断りがない限り単に全天球カメラ１００と称す）、情報端末２００から構成される。

【0030】

なお、全天球カメラ１００ａと全天球カメラ１００ｂとは、平行に配置することが望ましいが、平行に配置されていない場合、全天球カメラ撮像画像表示システム１は、平行に配置する補正を実行することが可能である。また、全天球カメラ１００ａ又は全天球カメラ１００ｂと情報端末２００とが別体ではなく、一体の端末装置であってもよい。

【0031】

また、全天球カメラ撮像画像表示システム１において、全天球カメラ１００は、１つ又は２つに限らずそれ以上であってもよい。また、情報端末２００は、１つに限らず複数であってもよい。また、情報端末２００は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、全天球カメラ１００又は情報端末２００のいずれか又は双方により実現されてもよい。

【0032】

全天球カメラ１００は、情報端末２００とデータ通信可能であり、複数のカメラを組合せ、一のカメラとした構成や、特殊なレンズを複数備えた構成等の撮像装置である。全天球カメラ１００は、上下左右全方位を撮像し、３６０度パノラマ画像である全天球画像を撮像可能な撮像装置である。なお、全天球カメラ１００は、ある一点から各方位の画像を其々撮像し、撮像した各方位の画像を合成処理することにより、３６０度パノラマ画像を撮像可能な撮像装置であってもよい。また、全天球カメラ１００は、その他の構成により３６０度パノラマ画像を撮像可能な撮像装置であってもよい。

【0033】

情報端末２００は、全天球カメラ１００とデータ通信可能であり、全天球カメラ１００が撮像した３６０度パノラマ画像を表示可能な端末装置である。情報端末２００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、操作者が装着するスマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。

【0034】

全天球カメラ１００は、操作者からの入力を受け付け、全天球画像を撮像する（ステップＳ０１）。全天球画像には、複数の被写体が存在する。被写体とは、例えば、樹木、建築物、人物、風景である。

【0035】

全天球カメラ１００は、撮像した全天球画像のデータである全天球画像データを、情報端末２００に送信する（ステップＳ０２）。

【0036】

情報端末２００は、全天球カメラ１００ａから受信した全天球画像データと、全天球カメラ１００ｂから受信した全天球画像データと、全天球カメラ１００ａと全天球カメラ１００ｂとの間の距離とに基づいて、全天球カメラ１００から被写体までの間の距離を計測する。情報端末２００は、全天球画像データに基づいた全天球画像を表示し、この全天球画像に表示する被写体に計測した距離を表示する（ステップＳ０３）。

【0037】

また、情報端末２００は、全天球画像データに基づいて、この全天球画像データに含まれる被写体の３Ｄモデルを作成し、表示する構成であってもよい。この場合、情報端末２００は、全天球画像データに基づいた各被写体の３Ｄモデルを表示し、この３Ｄモデルに計測した距離を表示する。

【0038】

以上が、全天球カメラ撮像画像表示システム１の概要である。

【0039】

［全天球カメラ撮像画像表示システム１のシステム構成］
図２に基づいて、全天球カメラ撮像画像表示システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム１のシステム構成を示す図である。全天球カメラ撮像画像表示システム１は、複数の全天球カメラ１００ａ，１００ｂ（以下、特に断りがない限り全天球カメラ１００と称す。）、情報端末２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。

【0040】

なお、全天球カメラ１００の数は、２つに限らず、１つであってもよいし、３つ以上であってもよい。また、情報端末２００の数は、１つに限らず複数であってもよい。また、情報端末２００は、実在する装置又は仮想的装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、全天球カメラ１００又は情報端末２００のいずれか又は双方により実現されてもよい。

【0041】

また、全天球カメラ撮像画像表示システム１は、上述した構成に加え、サーバ等が存在する構成であってもよい。この場合、例えば、後述する各処理は、全天球カメラ１００、情報端末２００又はサーバのいずれか又は複数の組合せにより実行する構成であればよい。

【0042】

全天球カメラ１００は、後述の機能を備え、上述した撮像装置である。

【0043】

情報端末２００は、後述の機能を備え、上述した端末装置である。

【0044】

［各機能の説明］
図３に基づいて、本発明の好適な実施形態である全天球カメラ撮像画像表示システム１の機能について説明する。図３は、全天球カメラ１００、情報端末２００の機能ブロック図である。

【0045】

全天球カメラ１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイス等を備える。また、全天球カメラ１００は、入出力部１３０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部等や、被写体を撮像する撮像デバイス等を備える。

【0046】

全天球カメラ１００は、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、データ送信モジュール１５０、補正指示受信モジュール１５１を実現する。また、全天球カメラ１００は、制御部１１０が所定のプログラムを読み込むことにより、入出力部１３０と協働して、撮像モジュール１６０、向き調整モジュール１６１を実現する。

【0047】

情報端末２００は、全天球カメラ１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、無線対応デバイス等を備え、入出力部２３０として、表示部や、入力部等を備える。

【0048】

情報端末２００は、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、データ受信モジュール２５０、補正指示送信モジュール２５１を実現する。また、情報端末２００は、制御部２１０が所定のプログラムを読み込むことにより、入出力部２３０と協働して、平行判断モジュール２６０、距離計測モジュール２６１、歪み判断モジュール２６２、補正モジュール２６３、表示モジュール２６４、入力受付モジュール２６５、３Ｄモデル作成モジュール２６６を実現する。

【0049】

［撮像画像表示処理］
図４に基づいて、全天球カメラ１００、情報端末２００が実行する撮像画像表示処理について説明する。図４は、全天球カメラ１００、情報端末２００が実行する撮像画像表示処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

【0050】

撮像モジュール１６０は、操作者からの入力を受け付け、被写体を撮像し、全天球画像を撮像する（ステップＳ１０）。被写体とは、例えば、樹木、建築物、人物、風景である。また、全天球画像とは、３６０度パノラマ画像である。ステップＳ１０において、全天球カメラ１００ａ及び全天球カメラ１００ｂは、其々が全天球画像を撮像する。

【0051】

ステップＳ１０において、全天球カメラ１００は、操作者がコントローラ等の端末装置に撮像指示の入力を実行することにより全天球画像を撮像してもよいし、情報端末２００からの撮像指示の入力を受け付けることにより全天球画像を撮像してもよいし、その他の構成により全天球画像を撮像してもよい。

【0052】

データ送信モジュール１５０は、撮像した全天球画像を全天球画像データとして、情報端末２００に送信する（ステップＳ１１）。ステップＳ１１において、全天球カメラ１００ａ及び全天球カメラ１００ｂの其々が、全天球画像データを送信する。

【0053】

データ受信モジュール２５０は、複数の全天球画像データを受信する。平行判断モジュール２６０は、受信した複数の全天球画像データに基づいて、全天球カメラ１００ａ，１００ｂの向きが互いに平行であるか否かを判断する（ステップＳ１２）。ステップＳ１２において、平行判断モジュール２６０は、受信した複数の全天球画像データを画像解析し、一の被写体の画像データを抽出する。平行判断モジュール２６０は、この抽出した一の被写体の画像データに基づいて全天球カメラ１００ａ，１００ｂが平行であるか否かを判断する。すなわち、平行判断モジュール２６０は、一の被写体の画像データの特徴量が一致するか否かに基づいて平行であるか否かを判断する。一致している場合、平行であると判断し、一致していない場合、平行ではないと判断する。なお、ステップＳ１２において、平行判断モジュール２６０は、上述した判断方法以外の構成により、全天球カメラ１００ａ，１００ｂが平行であるか否かを判断してもよい。また、全天球カメラ１００が３台以上である場合にも、同様の処理を実行することにより、平行でない全天球カメラ１００を判断することが可能となる。

【0054】

ステップＳ１２において、平行判断モジュール２６０は、平行ではないと判断した場合（ステップＳ１２ ＮＯ）、補正指示送信モジュール２５１は、全天球カメラ１００ａ又は全天球カメラ１００ｂのいずれか又は双方の向きを補正する補正指示を対象とする全天球カメラ１００に送信する（ステップＳ１３）。ステップＳ１３において、補正指示送信モジュール２５１は、例えば、撮像モジュール１６０の撮像方向の変更や、撮像モジュール１６０を構成するレンズの位置の変更や、全天球カメラ１００の位置の変更を指示する補正指示を送信する。

【0055】

補正指示受信モジュール１５１は、補正指示を受信する。向き調整モジュール１６１は、受信した補正指示に基づいて、全天球カメラ１００ａと全天球カメラ１００ｂとが互いに平行となる向きに全天球カメラ１００ａ，１００ｂの向きを補正する（ステップＳ１４）。

【0056】

撮像モジュール１６０は、補正された向きにおいて、全天球画像を撮像する（ステップＳ１５）。なお、ステップＳ１５において、補正された全天球カメラ１００が全天球画像を撮像するだけでなく、補正されなかった全天球カメラ１００も全天球画像を撮像する構成であってもよい。

【0057】

データ送信モジュール１５０は、撮像した全天球画像の全天球画像データを情報端末２００に送信する（ステップＳ１６）。データ受信モジュール２５０は、全天球画像データを受信し、情報端末２００は、後述するステップ１７を実行する。

【0058】

一方、ステップＳ１２において、平行判断モジュール２６０は、平行であると判断した場合（ステップＳ１２ ＹＥＳ）、距離計測モジュール２６１は、全天球カメラ１００から被写体までの距離を計測する（ステップＳ１７）。

【0059】

図６に基づいて、全天球カメラ撮像画像表示システム１が実行する全天球カメラ１００から被写体までの距離を計測する計測方法の一例について説明する。なお、距離の計測方法は、本実施形態の方法に限らず、その他の方法により実行されてもよい。

【0060】

情報端末２００は、全天球カメラ１００ａと全天球カメラ１００ｂとの間の距離Ｘを計測する。情報端末２００は、例えば、全天球カメラ１００ａと全天球カメラ１００ｂとの各々の位置情報を取得し、取得した位置情報に基づいて、距離Ｘを計測する。また、情報端末２００は、予め距離Ｘが設定されており、この設定された距離Ｘを取得する構成であってもよい。また、情報端末２００は、サーバ等の外部装置から距離Ｘを取得する構成であってもよい。また、情報端末２００は、距離Ｘをその他の構成により計測する構成であってもよい。

【0061】

情報端末２００は、全天球カメラ１００ａから取得した全天球画像データのうち、距離を計測する被写体３００を一方の端部に含んだ画角Ｚの部分画像４００を抽出する。また、情報端末２００は、全天球カメラ１００ｂから取得した全天球画像データのうち、距離を計測する被写体３００を一方の端部に含んだ画角Ｚの部分画像４１０を抽出する。

【0062】

情報端末２００は、抽出した部分画像４００，４１０に含まれる被写体３００を重畳させた重畳画像４２０を作成する。情報端末２００は、距離Ｘと全天球カメラ１００の画角Ｚとに基づいて、全天球カメラ１００から被写体までの距離Ｙを計測する。情報端末２００は、全天球画像データに存在する全ての被写体について距離Ｙを計測する。なお、情報端末２００は、距離Ｘに基づいて、距離Ｙを計測する構成であってもよい。また、情報端末２００は、他の構成により、距離Ｙを計測する構成であってもよい。

【0063】

歪み判断モジュール２６２は、全天球画像データに含まれる被写体に歪みが存在しているか否かを判断する（ステップＳ１８）。歪みとは、例えば、樽型収差、糸巻き型収差、ビネット、色収差等である。ステップＳ１８において、歪み判断モジュール２６２は、歪みが存在すると判断した場合（ステップＳ１８ ＹＥＳ）、補正モジュール２６３は、被写体の歪みを補正し、この歪みに基づいて、ステップＳ１７において計測した距離Ｙを補正し（ステップＳ１９）、後述するステップＳ２０の処理に移行する。ステップＳ１９において、補正モジュール２６３は、歪みが存在する全ての被写体に対して距離Ｙを補正する。

【0064】

一方、ステップＳ１８において、歪み判断モジュール２６２は、歪みが存在していないと判断した場合（ステップＳ１８ ＮＯ）、表示モジュール２６４は、全天球画像データに基づいた全天球画像と、ステップＳ１７において計測した全天球カメラ１００から被写体までの距離とを表示する（ステップＳ２０）。ステップＳ２０において、表示モジュール２６４は、全天球カメラ１００ａ又は全天球カメラ１００ｂのいずれかが撮像した全天球画像を表示する。なお、ステップＳ２０において、表示モジュール２６４は、全天球カメラ１００ａ及び全天球カメラ１００ｂが撮像した全天球画像を合成し、合成した全天球画像を表示する構成であってもよい。

【0065】

図７に基づいて、表示モジュール２６４が表示する全天球画像について説明する。図７は、表示モジュール２６４が、被写体３００及び全天球カメラ１００から被写体３００までの距離表示領域５００を表示した状態を示す図である。なお、本実施形態において、全天球画像に被写体３００のみを表示する状態を示しているが、他の被写体が表示されていてもよく、以下の説明において、他の被写体に対しても同様の構成にすればよい。

【0066】

表示モジュール２６４は、被写体３００の近傍又は被写体３００の一部に重畳させて、距離表示領域５００を表示する。近傍とは、例えば、被写体３００に重畳しない周囲である。距離表示領域５００は、全天球カメラ１００から被写体３００までの距離を表示する領域である。なお、全天球画像の表示領域とは異なる領域に距離表示領域５００を表示する構成であってもよい。この場合、距離表示領域５００がどの被写体の距離を示しているのかを矢印、引張線、記号等により識別する構成であればよい。また、距離表示領域５００の表示位置及び形状は適宜変更可能である。また、距離表示領域５００は、予め指定した被写体のみに表示する構成であってもよいし、全ての被写体に表示する構成であってもよい。

【0067】

入力受付モジュール２６５は、操作者からの距離の表示のＯＮ／ＯＦＦを切り替える入力を受け付けたか否かを判断する（ステップＳ２１）。ステップＳ２１において、入力受付モジュール２６５は、入力を受け付けたと判断した場合（ステップＳ２１ ＹＥＳ）、入力内容に基づいて、距離の表示を切り替える（ステップＳ２２）。ステップＳ２２において、受け付けた入力が表示のＯＮである場合、被写体の近傍に距離を表示し、受け付けた入力が表示のＯＦＦである場合、被写体の近傍に表示した距離を非表示にする。入力受付モジュール２６５は、表示を切り替えた後、再度ステップＳ２１の処理を実行する。なお、ステップ２２において、操作者は一の被写体又は複数の被写体を指定し、この指定した被写体の距離のＯＮ／ＯＦＦを切り替える構成であってもよい。

【0068】

一方、ステップＳ２１において、入力受付モジュール２６５は、入力を受け付けていないと判断した場合（ステップＳ２１ ＮＯ）、全天球画像の表示を終了する入力を受け付けたか否かを判断する（ステップＳ２３）。ステップＳ２３において、入力受付モジュール２６５は、入力を受け付けていないと判断した場合（ステップＳ２３ ＮＯ）、上述したステップＳ２１の処理を再度実行する。

【0069】

一方、ステップＳ２３において、入力受付モジュール２６５は、入力を受け付けたと判断した場合（ステップＳ２３ ＹＥＳ）、本処理を終了する。

【0070】

以上が、撮像画像表示処理である。

【0071】

［３Ｄモデル表示処理］
次に、上述した全天球カメラ撮像画像表示システム１が実行する３Ｄモデル表示処理について、図５に基づいて説明する。図５は、全天球カメラ１００、情報端末２００が実行する３Ｄモデル表示処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。なお、上述した撮像画像表示処理と同様の処理については、その詳細な説明は省略する。

【0072】

全天球カメラ１００及び情報端末２００は、上述したステップＳ１０〜ステップＳ１９までの処理を実行する（ステップＳ３０〜ステップＳ３９）。ステップＳ３０〜ステップＳ３９の各処理は、上述したステップＳ１０〜ステップＳ１９の処理と同様であるため、詳細な説明は省略する。

【0073】

３Ｄモデル作成モジュール２６６は、全天球画像データに基づいて、各被写体の３Ｄモデルを作成する（ステップＳ４０）。３Ｄモデル作成モジュール２６６は、３Ｄモデルを、例えば、ソリッド、サーフェス、ワイヤーフレーム、ポリゴンにより作成する。ステップＳ４０において、３Ｄモデル作成モジュール２６６は、全天球カメラ１００ａ又は全天球カメラ１００ｂのいずれかが撮像した全天球画像データに基づいて、各被写体の３Ｄモデルを作成する。なお、ステップＳ４０において、３Ｄモデル作成モジュール２６６は、全天球カメラ１００ａ及び全天球カメラ１００ｂが撮像した全天球画像データを合成し、合成した全天球画像データに基づいて３Ｄモデルを作成する構成であってもよい。

【0074】

表示モジュール２６４は、作成した被写体の３Ｄモデルを全天球画像において、被写体に替えて表示する（ステップＳ４１）。すなわち、ステップＳ４１において、表示モジュール２６４は、各被写体の３Ｄモデルを全天球画像として表示する。

【0075】

表示モジュール２６４は、この３Ｄモデルに、ステップＳ３７において計測した全天球カメラ１００から被写体までの距離を表示する（ステップＳ４２）。ステップＳ４２の処理は、上述したステップＳ２０の処理において、表示する被写体の画像が３Ｄモデルに変更された以外は同様の構成であるため、詳細な説明は省略する。

【0076】

入力受付モジュール２６５は、操作者からの距離の表示のＯＮ／ＯＦＦを切り替える入力を受け付けたか否かを判断する（ステップＳ４３）。ステップＳ４３において、入力受付モジュール２６５は、入力を受け付けたと判断した場合（ステップＳ４３ ＹＥＳ）、入力内容に基づいて、距離の表示を切り替える（ステップＳ４４）。ステップＳ４３及びステップＳ４４の処理は、上述したステップＳ２１及びステップＳ２２の処理において、表示する被写体の画像が３Ｄモデルに変更された以外は同様の構成であるため、詳細な説明は省略する。

【0077】

一方、ステップＳ４３において、入力受付モジュール２６５は、入力を受け付けていないと判断した場合（ステップＳ４３ ＮＯ）、３Ｄモデルの表示を終了する入力を受け付けたか否かを判断する（ステップＳ４５）。ステップＳ４５において、入力受付モジュール２６５は、入力を受け付けていないと判断した場合（ステップＳ４５ ＮＯ）、上述したステップＳ４２の処理を実行する。ステップＳ４５の処理は、上述したステップＳ２３の処理と同様であるため、詳細な説明は省略する。

【0078】

一方、ステップＳ４５において、入力受付モジュール２６５は、入力を受け付けたと判断した場合（ステップＳ４５ ＹＥＳ）、本処理を終了する。

【0079】

以上が、３Ｄモデル表示処理である。

【0080】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

【0081】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0082】

１ 全天球カメラ撮像画像表示システム、１００ 全天球カメラ、２００ 情報端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】