特許 6351663 全天球映像撮影装置、全天球映像撮影システム、全天球映像撮影プログラム、それを記録した記録媒体、及び全天球映像撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6351663

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】全天球映像撮影装置、全天球映像撮影システム、全天球映像撮影プログラム、それを記録した記録媒体、及び全天球映像撮影方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180625BHJP

   H04N 5/222 20060101ALI20180625BHJP

   H04N 5/247 20060101ALI20180625BHJP

   H04N 5/225 20060101ALI20180625BHJP

   H04N 7/18 20060101ALI20180625BHJP

   G03B 37/00 20060101ALI20180625BHJP

   G03B 15/00 20060101ALI20180625BHJP

   G03B 17/56 20060101ALI20180625BHJP

【ＦＩ】

   H04N5/232 380

   H04N5/222 100

   H04N5/232 290

   H04N5/247

   H04N5/225 100

   H04N7/18 U

   G03B37/00 A

   G03B15/00 H

   G03B15/00 W

   G03B15/00 U

   G03B17/56 A

【請求項の数】8

【全頁数】14

(21)【出願番号】特願2016-124164(P2016-124164)

(22)【出願日】2016年6月23日

(65)【公開番号】特開2017-228956(P2017-228956A)

(43)【公開日】2017年12月28日

【審査請求日】2017年7月18日

(73)【特許権者】

【識別番号】399109274

【氏名又は名称】株式会社つくばマルチメディア

(74)【代理人】

【識別番号】110001922

【氏名又は名称】特許業務法人 日峯国際特許事務所

(72)【発明者】

【氏名】小田部 文彦

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２００７−０８９１１１（ＪＰ，Ａ）

【文献】 特開２００６−３５２８５１（ＪＰ，Ａ）

【文献】 特開２０１１−０２３８１４（ＪＰ，Ａ）

【文献】 特開２００６−１９１５２４（ＪＰ，Ａ）

【文献】 登録実用新案第３１８５３６４（ＪＰ，Ｕ）

【文献】 特開平１０−２３２４４６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／００１２５７４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ １５／００ −１５／０３５

Ｇ０３Ｂ １５／０６ −１５／１６

Ｇ０３Ｂ １７／５６ −１７／５８

Ｇ０３Ｂ ３５／００ −３７／０６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

全方位の映像を撮影可能な複眼の全天球映像カメラと、
一方向の映像を撮影する一眼映像カメラと、
前記全天球映像カメラ及び前記一眼映像カメラを搭載するためのカメラ架台と、を備え、
前記カメラ架台は、垂立する支柱から上方に延びる縦部材と、前記支柱から後方に延びる横部材と、を有し、
前記全天球映像カメラは、前記縦部材に設置され、前記カメラ架台を設置した移動体を含む視野の全方位映像を撮影し、
前記一眼映像カメラは、前記横部材に設置され、前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を撮影し、
前記全天球映像カメラで撮影した全方位映像に、前記一眼映像カメラで撮影した一方向映像が合成されて、前記移動体が含まれない全天球映像が生成される、
ことを特徴とする全天球映像撮影装置。

【請求項2】

前記全天球映像カメラ及び前記一眼映像カメラが、振動を防止するジンバルを介して前記カメラ架台に搭載される、
ことを特徴とする請求項１に記載の全天球映像撮影装置。

【請求項3】

前記全天球映像が、前記全方位映像と前記一方向映像との、前記移動体の進行速度に伴う同一場面の撮影時間差が同期され、撮影範囲が一致する範囲が抽出され、高度差に基づいて遠近が補正されることによって合成される、
ことを特徴とする請求項１又は２に記載の全天球映像撮影装置。

【請求項4】

移動体の上方から撮影した全方位の映像を取得するための全天球映像撮影手段と、
前記移動体の後方において撮影した一方向の映像を取得するための一眼映像撮影手段と、
前記全天球映像撮影手段から取得した前記移動体を含む視野の全方位映像、及び前記一眼映像撮影手段から取得した前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を記憶するための記憶手段と、を有し、
コンピュータが、前記記憶手段に記憶された全方位映像に、前記記憶手段に記憶された一方向映像を合成することにより、前記移動体が含まれない全天球映像を生成する、
ことを特徴とする全天球映像撮影システム。

【請求項5】

前記記憶手段が、コンピュータネットワーク上の記憶装置である、
ことを特徴とする請求項４に記載の全天球映像撮影システム。

【請求項6】

移動体の上方から撮影した前記移動体を含む視野の全方位映像を取得して記憶手段に保存する全方位映像保存ステップと、
前記移動体の後方において撮影した前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を取得して記憶手段に保存する一方向映像保存ステップと、
保存された前記全方位映像と保存された前記一方向映像との前記移動体の進行速度に伴う同一場面の撮影時間差を同期させる再生場面同期ステップと、
同期された前記全方位映像の撮影範囲うち同期された前記一方向映像の撮影範囲と一致する部分を抽出する撮影範囲抽出ステップと、
抽出された前記全方位映像と抽出された前記一方向映像との高度差に基づいて遠近を補正する遠近補正ステップと、
補正された前記全方位映像に補正された前記一方向映像を合成し、前記移動体が含まれない全天球映像を生成する全天球映像合成ステップと、を有する、
ことを特徴とする全天球映像撮影プログラム。

【請求項7】

請求項６に記載の全天球映像撮影プログラムを記録した記録媒体。

【請求項8】

移動体の上方から撮影した前記移動体を含む視野の全方位映像を取得し、
前記移動体の後方において撮影した前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を取得し、
取得された前記全方位映像と取得された前記一方向映像との前記移動体の進行速度に伴う同一場面の撮影時間差を同期させ、
同期された前記全方位映像の撮影範囲うち同期された前記一方向映像の撮影範囲と一致する部分を抽出し、
抽出された前記全方位映像と抽出された前記一方向映像との高度差に基づいて遠近を補正し、
補正された前記全方位映像に補正された前記一方向映像を合成し、前記移動体が含まれない全天球映像を生成する、
ことを特徴とする全天球映像撮影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影車や操作者が映らない全天球映像を生成する全天球映像撮影装置等に関する。

【背景技術】

【0002】

現在、全国において地域創生の施策が実施されている。地域創生においては、地域中心商業施設や商店街の活性化、道の駅や直売所等の農産物販売施設の設置、観光施設のＰＲ（広報・宣伝活動）の情報発信が重要である。また、現在、福島の原子力事故において、建物の構図はあるが施設内に設置されている各設備がどのように設置されていたか分からないという事態がある。

【0003】

特許文献１に記載の「地図誘導映像システム」は、インターネット等の通信回線を利用する地図データ紹介システムで、利用者のパソコンにおいて、検索した地域地図画面上での誘導矢印による誘導に沿って地図画面上を進行すると、それに同期して、実際にその道路を通行した際に見える道路通行視覚映像を表示するシステムに関するものである。

【0004】

このシステムは、地図画面における道路を、交差点から交差点までの道路ブロック毎に道路ブロック番号を付与する構成とすることで、予め出発地から目的地を指定してこれらの道路ブロックを探査して組み合わせた経路を案内表示するか、あるいは利用者が交差点毎に左折、直進、右折、戻りを選択して道路ブロックを選択することができる。さらに進行速度もブロック毎に選択指定し変えることもでき、また、一時停止中や経路上を進行中の誘導矢印が飛び越えて移動するという移動地点の変更も可能な柔軟性ある道路誘導システムを実現している。

【0005】

また、特許文献２に記載の「地図誘導全方位映像システム」は、映像を全方位映像（上下の映像なし）としているが、映像の拡大や縮小はできたものの拡大すると映像の画質が悪くなる点や映像表示画面を大きくすることは通信回線上できないという問題があった。

【0006】

さらに、特許文献３に記載の「映像レイヤーリンク対応映像誘導システム」は、全方位走行映像にリンクを可能とするもので、インターネット等の通信回線を利用し、街路（道路）の走行や百貨店の売場通路を回遊して予め撮影された映像データにリンクをはることを可能とし、街路や売場通路を映像で誘導しながら、映像上の建物、店舗、売場等のリンクにより、それらのホームページやウェブカメラのライブ映像表示画面を見るものである。

【0007】

これらのシステムは、ＡＤＳＬ（非対称デジタル加入者線）が一般的な頃のもので、現在のような光回線ではなかったため、映像配信とＧＩＳ（地理情報システム）における誘導を同時に配信するには通信回線速度に限界があった。また、携帯電話を利用したインターネット接続サービスが普及していたころで、現在一般的に利用されているスマートフォンはなく、全方位映像撮影サービスや地図誘導全方位映像システムのニーズもない状況であった。

【0008】

現在では、ハイビジョン映像レベルの撮影が可能であり、モバイル環境においても大容量の映像配信が可能となっている。また、家庭においても光通信が一般的で、スマートフォンやタブレット端末においてもＬＴＥ等の高速通信方式が採用され、大容量を要する映像配信も問題なく動作する環境が整っている。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特許第３８０９９０１号公報

【特許文献2】特許第３９５００８５号公報

【特許文献3】特許第４３４９９７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

世界中の道路沿いの風景をパノラマ写真で提供するインターネットサービスとして、米国Ｇｏｏｇｌｅ社の「ストリートビュー」があるが、ストリートビューは静止画であり、任意の始点と終点を自動的に誘導することはできない。

【0011】

インターネットの通信回線を通して全天球映像の走行映像で商店街の街路、商業施設や店舗建物内の通路を誘導すれば、映像上の被写体をクリックすることにより施設情報や製品情報の提供、商品のネット販売が可能となる。なお、全天球映像とは、撮影基点を中心に複数のカメラがついている機材によって撮影される上下・左右・斜めの全周囲をパソコン上で見ることが可能な映像である。

【0012】

例えば、インターネットを介して、商店街の街区を自由に経路選択し、その経路上の矢印の進行スピードにあわせて全天球映像が再生され、実際にその場所に行ったときのような臨場感で回遊することが可能となる。また、走行映像上にリンクを張りクリックすると店舗等の情報を表示すれば、より詳細な情報提供が可能となる。

【0013】

全天球走行映像を撮影するためには、人が撮影機材を持って歩くか、撮影車で撮影しなければならない。その場合、撮影カメラの映像は、全天球映像であるため撮影する人や撮影車自体も映ってしまい、道路や通路等の下側の状況を撮影できないという問題がある。そのため、人（操作者）や撮影車の画像や映像の削除作業、画像マスク処理、類似画像で補正するといった作業を行う必要がある。

【0014】

そこで、本発明は、撮影車や操作者が映らない全天球映像を生成することを目的とする。

【課題を解決するための手段】

【0015】

上記の課題を解決するために、本発明である全天球映像撮影装置は、全方位の映像を撮影可能な複眼の全天球映像カメラと、一方向の映像を撮影する一眼映像カメラと、前記全天球映像カメラ及び前記一眼映像カメラを搭載するためのカメラ架台と、を備え、前記カメラ架台は、垂立する支柱から上方に延びる縦部材と、前記支柱から後方に延びる横部材と、を有し、前記全天球映像カメラは、前記縦部材に設置され、前記カメラ架台を設置した移動体を含む視野の全方位映像を撮影し、前記一眼映像カメラは、前記横部材に設置され、前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を撮影し、前記全天球映像カメラで撮影した全方位映像に、前記一眼映像カメラで撮影した一方向映像が合成されて、前記移動体が含まれない全天球映像が生成される、ことを特徴とする。

【0016】

また、前記全天球映像撮影装置は、前記全天球映像カメラ及び前記一眼映像カメラが、振動を防止するジンバルを介して前記カメラ架台に搭載される、ことを特徴とする。

【0017】

また、前記全天球映像撮影装置は、前記全天球映像が、前記全方位映像と前記一方向映像との、前記移動体の進行速度に伴う同一場面の撮影時間差が同期され、撮影範囲が一致する範囲が抽出され、高度差に基づいて遠近が補正されることによって合成される、ことを特徴とする。

【0018】

本発明である全天球映像撮影システムは、移動体の上方から撮影した全方位の映像を取得するための全天球映像撮影手段と、前記移動体の後方において撮影した一方向の映像を取得するための一眼映像撮影手段と、前記全天球映像撮影手段から取得した前記移動体を含む視野の全方位映像、及び前記一眼映像撮影手段から取得した前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を記憶するための記憶手段と、を有し、コンピュータが、前記記憶手段に記憶された全方位映像に、前記記憶手段に記憶された一方向映像を合成することにより、前記移動体が含まれない全天球映像を生成する、ことを特徴とする。

【0019】

また、前記全天球映像撮影システムは、前記記憶手段が、コンピュータネットワーク上の記憶装置である、ことを特徴とする。

【0020】

本発明である全天球映像撮影プログラム（記録媒体に記録されたものを含む）は、移動体の上方から撮影した前記移動体を含む視野の全方位映像を取得して記憶手段に保存する全方位映像保存ステップと、前記移動体の後方において撮影した前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を取得して記憶手段に保存する一方向映像保存ステップと、保存された前記全方位映像と保存された前記一方向映像との前記移動体の進行速度に伴う同一場面の撮影時間差を同期させる再生場面同期ステップと、同期された前記全方位映像の撮影範囲うち同期された前記一方向映像の撮影範囲と一致する部分を抽出する撮影範囲抽出ステップと、抽出された前記全方位映像と抽出された前記一方向映像との高度差に基づいて遠近を補正する遠近補正ステップと、補正された前記全方位映像に補正された前記一方向映像を合成し、前記移動体が含まれない全天球映像を生成する全天球映像合成ステップと、を有する、ことを特徴とする。

【0021】

本発明である全天球映像撮影方法は、移動体の上方から撮影した前記移動体を含む視野の全方位映像を取得し、前記移動体の後方において撮影した前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を取得し、取得された前記全方位映像と取得された前記一方向映像との前記移動体の進行速度に伴う同一場面の撮影時間差を同期させ、同期された前記全方位映像の撮影範囲うち同期された前記一方向映像の撮影範囲と一致する部分を抽出し、抽出された前記全方位映像と抽出された前記一方向映像との高度差に基づいて遠近を補正し、補正された前記全方位映像に補正された前記一方向映像を合成し、前記移動体が含まれない全天球映像を生成する、ことを特徴とする。

【発明の効果】

【0022】

本発明によれば、撮影車や操作者が映らない全天球映像を生成することができる。現在の通信環境に合わせた高画質画面や拡大再生画面等にして、ＯＳ（オペレーティングシステム）やインターネット利用モバイル機器など機種に左右されずに稼動させることが可能であり、街路（道路）の走行や商店街、店舗の売場、観光施設、公園、アミューズメント施設等に利用することができる。また、防災システムとしても活用が可能である。

【図面の簡単な説明】

【0023】

【図1】本発明である全天球映像撮影装置の概要を示す図である。

【図2】本発明である全天球映像撮影システムの構成を示すブロック図である。

【図3】本発明である全天球映像撮影システムの制御装置と記憶装置の関係を示すブロック図である。

【図4】本発明である全天球映像撮影プログラムの処理の流れを示すフローチャートである。

【図5】本発明である全天球映像撮影方法の進行方向におけるカメラ配置のずれによる再生場面同期について説明する図である。

【図6】本発明である全天球映像撮影方法の全方位映像における一方向映像の撮影範囲を一致させる撮影範囲抽出について説明する図である。

【図7】本発明である全天球映像撮影方法の全方位映像と一方向映像の遠近補正について説明する図である。

【発明を実施するための形態】

【0024】

以下に、本発明の実施形態について図面を参照して詳細に説明する。なお、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する場合がある。

【0025】

ここで、全方位映像とは、全天球映像カメラを使用して上下方向及び左右方向（及び前後方向）を３６０度に渡り撮影した全方位の動画データとする。一方向映像とは、一眼映像カメラを使用して所定の方向（例えば、下向き）を撮影した一方向の動画データとする。全天球映像とは、全方位映像と一方向映像を合成して不要な情報を除去した動画データとし、それを球状に合成すればパノラマ的な映像となる。なお、動画データは、高精細な映像を使用しても良い。

【実施例1】

【0026】

まず、本発明である全天球映像撮影装置について説明する。図１は、全天球映像撮影装置の概要を示す図である。図１に示すように、全天球映像撮影装置１００は、全天球映像カメラ２００、一眼映像カメラ３００、カメラ架台４００、及び移動体５００等を有する。

【0027】

全天球映像カメラ２００は、全方位の映像を撮影可能な複眼のカメラ（例えば、６つのカメラ）であり、カメラ架台４００を介して移動体５００の上方に設置される。全天球映像カメラ２００において視野２２０を下方向にしたときは、全方位映像のうち撮影範囲２３０の映像が取得される。なお、視野２２０が示す二等辺三角形の範囲内に移動体５００や一眼映像カメラ３００が配置される。このとき、取得される映像は、撮影範囲２３０内の地面５１０以外に、移動体５００、カメラ架台４００、一眼映像カメラ３００等を含む映像となる。

【0028】

一眼映像カメラ３００は、一方向の映像を撮影するカメラであり、カメラ架台４００を介して移動体５００の後方に設置される。一眼映像カメラ３００の視野３２０は、全天球映像カメラ２００で特定した視野２２０と同じ方向（下向き）にし、撮影範囲３３０の一方向映像を取得する。

【0029】

なお、一方向映像における撮影範囲３３０は、全方位映像における撮影範囲２３０の一部であって、移動体５００が含まれないようにする。全方位映像における撮影範囲２３０の後端を基点２３１としたとき、一方向映像における撮影範囲３３０は、移動体５００の後方から基点２３１までが映るように一眼映像カメラ３００の角度等を調整すれば良い。

【0030】

カメラ架台４００は、全天球映像カメラ２００及び一眼映像カメラ３００を移動体５００に搭載するために設けられる。カメラ架台４００は、移動体５００の後部から支柱４１０を垂立させる。支柱４１０からは、さらに上方に延びる縦部材４２０と、後方に延びる横部材４３０とに分岐する。

【0031】

縦部材４２０は、上下方向に伸縮可能であり、上端に全天球映像カメラ２００が設置される。横部材４３０は、前後方向に伸縮可能であり、後端に一眼映像カメラ３００が下向きに設置される。なお、支柱４１０についても上下方向に伸縮可能としても良い。

【0032】

全天球映像カメラ２００のカメラ架台４００への取り付けは、ジンバル２１０を介して縦部材４２０に行う。また、一眼映像カメラ３００のカメラ架台４００への取り付けは、ジンバル３１０を介して横部材４３０に行う。ジンバル２１０、３１０は、全天球映像カメラ２００及び一眼映像カメラ３００の撮影方向（例えば、水平方向）を維持するために用いる。ジンバル２１０、３１０は、加速度センサーやモーター等を利用して、重量に対して垂直位置を維持するものであれば良い。

【0033】

ジンバル２１０、３１０により移動体５００の移動に伴う振動を吸収し、全方位映像及び一方向映像のブレを取り除くことで、全天球映像カメラ２００及び一眼映像カメラ３００による撮影を安定させる。また、道路の勾配や段差に対して全天球映像カメラ２００及び一眼映像カメラ３００の角度を自動補正しても良い。

【0034】

移動体５００は、全天球映像撮影装置１００を移動させるための撮影車である。人が搭乗して撮影車を直接操作しても、人が載らずに撮影車を遠隔操作しても、撮影車が自動走行しても良い。撮影車が走行できないような場所においては、ロボットや人等その他の移動手段を利用しても良い。

【0035】

全天球映像撮影装置１００については、全天球映像カメラ２００で撮影した全方位映像に、一眼映像カメラ３００で撮影した一方向映像を合成して、全天球映像を生成するための制御装置及び記憶装置を組み合わせた全天球映像撮影システムとしても良い。

【0036】

全天球映像撮影システムでは、全方位映像と一方向映像とを、移動体５００の進行速度に伴う同一場面の撮影時間差を同期させ、撮影範囲が一致する範囲を抽出し、高度差に基づいて遠近を補正することによって合成し、移動体が含まれない全天球映像を生成する。

【実施例2】

【0037】

次に、本発明である全天球映像撮影システムについて説明する。全天球映像撮影システムは、全天球映像撮影装置１００とコンピュータ等を組み合わせて全天球映像撮影方法を実現するための仕組みである。図２は、全天球映像撮影システムの構成を示すブロック図である。図２に示すように、全天球映像撮影システム１１０は、全天球映像カメラ２００、一眼映像カメラ３００、制御装置６００、及び記憶装置７００等を有する。

【0038】

全天球映像カメラ２００は、移動体５００の上方から撮影した全方位映像を取得するための全天球映像撮影手段である。一眼映像カメラ３００は、移動体５００の後方において撮影した一方向映像を取得するための一眼映像撮影手段である。なお、全方位映像は、移動体５００を含む映像であり、一方向映像は、全方位映像の視野の一部であって移動体５００が含まれない視野の映像である。

【0039】

制御装置６００は、コンピュータのＣＰＵ（中央処理装置）等のプロセッサである。制御装置６００は、全天球映像カメラ２００、一眼映像カメラ３００、及び記憶装置７００等を制御する。具体的には、全天球映像カメラ２００及び一眼映像カメラ３００に指示して全方位映像及び一方向映像を取得し、記憶装置７００に保存する。そして、記憶装置７００に保存された全方位映像及び一方向映像を演算により合成して移動体５００が含まれない全天球映像を生成し、記憶装置７００に保存する。

【0040】

記憶装置７００は、半導体メモリ等の主記憶装置や、磁気ディスク等の補助記憶装置（リムーバブルディスク等の記録媒体を含む）等であり、全方位映像及び一方向映像を保存するための記憶手段である。主記憶装置は、主に制御装置６００が演算等をする際に一時的にデータを記憶し、補助記憶装置は、主に保存のために長期的にデータを記憶する。なお、記憶装置７００は、コンピュータネットワーク上のサーバ等が備える記憶手段であっても良い。

【0041】

図３は、全天球映像撮影システム１１０の制御装置６００と記憶装置７００の関係を示すブロック図である。図３に示すように、制御装置６００は、全方位映像保存部６１０、一方向映像保存部６２０、再生場面同期部６３０、同一映像範囲計算処理部６４０、映像遠近計算処理部６５０、及び全天球映像合成処理部６６０等を有する。

【0042】

全方位映像保存部６１０は、全天球映像カメラ２００に撮影の指示を出すとともに、全天球映像カメラ２００で撮影された全方位映像７１０を取得して、記憶装置７００に保存する。なお、全天球映像カメラ２００に対して、撮影の位置や方向、ズームの倍率などの撮影条件を指示しても良い。また、全方位映像７１０に対して、撮影場所の緯度、経度などの地図情報や時間情報を付加しても良い。さらに、速度、加速度、進行方向などの情報を付加しても良い。

【0043】

一方向映像保存部６２０は、一眼映像カメラ３００に撮影の指示を出すとともに、一眼映像カメラ３００で撮影された一方向映像７２０を取得して、記憶装置７００に保存する。なお、一眼映像カメラ３００に対して、撮影の位置や方向、ズームの倍率などの撮影条件を指示しても良い。また、一方向映像７２０に対して、撮影場所の緯度、経度などの地図情報や時間情報を付加しても良い。さらに、速度、加速度、進行方向などの情報を付加しても良い。

【0044】

再生場面同期部６３０は、記憶装置７００に保存された全方位映像７１０と一方向映像７２０との移動体５００の進行速度に伴う同一場面の撮影時間差を同期させる。同期させた全方位映像７１０ａと一方向映像７２０ａを記憶装置７００に一時的に保存する。なお、移動体５００の走行速度や走行方向について、移動体５００やＧＰＳ（全地球測位システム）等から情報を取得しても良いし、全方位映像７１０等から自動的に算出しても良い。

【0045】

同一映像範囲計算処理部６４０は、同期された全方位映像７１０ａの撮影範囲うち、同期された一方向映像７１０ａの撮影範囲と一致する部分を抽出する。範囲抽出した全方位映像７１０ｂと一方向映像７２０ｂを記憶装置７００に一時的に保存する。

【0046】

映像遠近計算処理部６５０は、範囲抽出された全方位映像７１０ｂと一方向映像７２０ｂとの高度差に基づいて遠近を補正する。遠近補正した全方位映像７１０ｃと一方向映像７２０ｃを記憶装置７００に一時的に保存する。

【0047】

全天球映像合成処理部６６０は、遠近補正された全方位映像７１０ｃに一方向映像７２０ｃを合成し、移動体５００が含まれない全天球映像７３０を生成する。生成した全天球映像７３０は、記憶装置７００に保存する。

【実施例3】

【0048】

次に、本発明である全天球映像撮影プログラムについて説明する。全天球映像撮影システム１１０において、制御装置６００は、記憶装置７００に保存された全天球映像撮影プログラム１２０を読み込んで、処理を実行する。全天球映像撮影プログラム１２０は、全天球映像撮影方法について制御装置６００に実行させる命令を記述したものである。図４は、全天球映像撮影プログラム１２０の処理の流れを示すフローチャートである。

【0049】

図４に示すように、全天球映像撮影プログラム１２０は、移動体５００の上方から撮影した移動体５００を含む視野の全方位映像７１０を取得して記憶手段７００に保存するステップ（全方位映像保存８００）と、移動体５００の後方において撮影した全方位映像７１０の視野の一部であって移動体５００が含まれない視野の一方向映像７２０を取得して記憶手段７００に保存するステップ（一方向映像保存８１０）と、保存された全方位映像７１０と保存された一方向映像７２０との移動体５００の進行速度に伴う同一場面の撮影時間差を同期させるステップ（再生場面同期８２０）と、同期された全方位映像７１０ａの撮影範囲うち同期された一方向映像７２０ａの撮影範囲と一致する部分を抽出するステップ（撮影範囲抽出８３０）と、抽出された全方位映像７１０ｂと抽出された一方向映像７２０ｂとの高度差に基づいて遠近を補正するステップ（遠近補正８４０）と、補正された全方位映像７１０ｃに補正された一方向映像７２０ｃを合成し、移動体５００が含まれない全天球映像７３０を生成するステップ（全天球映像合成８５０）と、を有する。

【0050】

なお、全方位映像保存８００と一方向映像保存８１０については、同時並行にしているが、ステップの順序を問わず、さらに他に必要な情報の入力を行っても良い。再生場面同期８２０、撮影範囲抽出８３０、及び遠近補正８４０については、他に加工・編集に関するステップを加えても良い。全天球映像合成８５０については、後に出力・送信に関するステップを加えても良い。

【0051】

図５は、全天球映像撮影方法の進行方向におけるカメラ配置のずれによる再生場面同期８２０について説明する図である。図５に示すように、全天球映像カメラ２００が撮影した全方位映像７１０の再生コマ２４０と、一眼映像カメラ３００が撮影した一方向映像７２０の再生コマ３４０とは、同一範囲が撮影された映像について撮影時間差８２１が生じる。

【0052】

撮影時間差８２１は、移動体５００が水平に直進している場合に、全天球映像カメラ２００と一眼映像カメラ３００との水平距離だけ移動したときに経過した時間である。撮影時間差８２１は、移動体５００の走行速度に応じて変動するので、できるだけ走行速度を一定に維持するのが好ましい。なお、速度情報から撮影時間差８２１を自動調整しても良い。

【0053】

同期の方法としては、全方位映像７１０と一方向映像７２０から、同一範囲が撮影された再生コマ２４０と再生コマ３４０を見つけてタイミングを合わせる。移動体５００の走行速度から撮影時間差８２１を算出してタイミングを合わせても良いし、全方位映像７１０及び一方向映像７２０に目印となる情報（例えば、座標など）を持たせて、目印となる情報が一致する再生コマ２４０と再生コマ３４０を見つけるようにしても良い。

【0054】

同じ撮影範囲の映像を有する全方位映像７１０の再生コマ２４０と一方向映像７２０の再生コマ３４０とを同期させ、全方位映像７１０ａ及び一方向映像７２０ａを生成しても良いし、再生コマ２４０と再生コマ３４０の対応関係を示す情報として保持しても良い。

【0055】

全方位映像７１０の各再生コマ２４０に対して、一方向映像７２０の何れかの再生コマ３４０を関連付けるが、対応する再生コマ３４０が存在しない場合は、前後の再生コマ３４０を利用する等して補完すれば良い。

【0056】

図６は、全天球映像撮影方法の全方位映像における一方向映像の撮影範囲を一致させる撮影範囲抽出８３０について説明する図である。なお、図６（ａ）は、移動体５００が進行方向５０１に移動しているときに、全天球映像カメラ２００の撮影範囲２３０と、一眼映像カメラ３００の撮影範囲３３０を上方から見たもので、図６（ｂ）は、撮影時間差８２１の分だけ移動体５００が移動したものである。

【0057】

図６（ａ）における全天球映像カメラ２００の撮影範囲２３０には移動体５００が映っているため、全方位映像（７１０ａ）から移動体５００を除去するためには、移動体５００の位置における移動体５００が映っていない一方向映像（７２０ａ）が必要となる。

【0058】

図６（ｂ）における一眼映像カメラ３００の撮影範囲３３０には移動体５００が映っておらず、図６（ａ）において移動体５００が存在していた位置を含むものであり、これを一致範囲８３１として抽出する。一致範囲８３１は、少なくとも除去したい移動体５００等の位置が含まれる範囲となれば良い。

【0059】

なお、一致範囲８３１における全方位映像（７１０ｂ）及び一方向映像（７２０ｂ）に撮影時間差８２１による余計な映り込みが生じた場合には、マスク処理などにより除去しても良い。

【0060】

図７は、全天球映像撮影方法の全方位映像と一方向映像の遠近補正８４０について説明する図である。なお、図７（ａ）は、移動体５００が進行方向５０１に移動しているときに、全天球映像カメラ２００の視野２２０と、一眼映像カメラ３００の視野３２０を側方から見たもので、図７（ｂ）は、撮影時間差８２１の分だけ移動体５００が移動したものである。

【0061】

全天球映像カメラ２００と一眼映像カメラ３００とは垂直距離だけ高度差８４１が存在するため、一致範囲８３１における全方位映像（７１０ｂ）及び一方向映像（７２０ｂ）には、遠近による歪みが生じる。

【0062】

高度差８４１による画質等の補正は、一方向映像（７２０ｂ）の画質等を調整して、全方位映像（７１０ｂ）に合わせれば良い。また、全天球映像カメラ２００と一眼映像カメラ３００の撮影方向にズレがある場合には、角度などを補正すれば良い。さらに、地面５１０の傾斜や移動体５００の振動は、ジンバル２１０、３１０で吸収して調整しているが、全天球映像カメラ２００と一眼映像カメラ３００にズレが生じた場合にも補正を行えば良い。

【0063】

補正された一方向映像（７２０ｃ）を全方位映像（７１０ｃ）に合成することにより、疑似的に移動体５００が除去された全天球映像７３０が生成される。例えば、マスク処理を施すなどして、全方位映像（７１０ｃ）と一方向映像（７２０ｃ）との違う部分、すなわち移動体５００などの不要な部分を抽出し、全方位映像（７１０ｃ）における当該部分を一方向映像（７２０ｃ）に置き換えることにより、全天球映像７３０を生成する。

【0064】

全天球映像７３０は、地図座標と関連付ければ、その座標においてパノラマ状に映像を再生することが可能となる。また、経路探索を組み合わせれば、経路に従って映像を再生することも可能となる。

【0065】

このように、撮影車や操作者等の移動体５００が映らない全天球映像７３０を生成することができる。現在の通信環境に合わせた高画質画面や拡大再生画面等にして、ＯＳやインターネット利用モバイル機器など機種に左右されずに稼動させることが可能であり、街路（道路）の走行や商店街、店舗の売場、観光施設、公園、アミューズメント施設等に利用することができる。また、防災システムとしても活用が可能である。

【0066】

例えば、店舗・農産物直売所・ショッピングセンターのインターネット回遊サービス、商店街、公園、遊園地、テーマパーク、農場や観光農園、寺社・史跡等の案内サービス、津波避難シミュレーション、災害時における避難訓練や避難誘導、現場把握等の防災システム、全天球静止画コンテンツ提供サービスなどを提供することができる。このように、地域産業の活性化、地域観光案内、自立的な農業経営など創生政策に活用でき、地域の安全・安心対策にも貢献することができる。

【0067】

以上、本発明の実施例を述べたが、これらに限定されるものではない。例えば、全天球映像７３０は、予め取得した全方位映像７１０と一方向映像７２０とを合成した後に提供されるが、全天球映像撮影カメラ２００及び一眼映像撮影カメラ３００で撮影しながら全天球映像７３０の合成も行い、できるだけ遅延時間を短くすることにより、リアルタイムに提供できるようにしても良い。

【符号の説明】

【0068】

１００：全天球映像撮影装置
１１０：全天球映像撮影システム
１２０：全天球映像撮影プログラム
２００：全天球映像カメラ
２１０：ジンバル
２２０：視野
２３０：撮影範囲
２３１：基点
２４０：再生コマ
３００：一眼映像カメラ
３１０：ジンバル
３２０：視野
３３０：撮影範囲
３４０：再生コマ
４００：カメラ架台
４１０：支柱
４２０：縦部材
４３０：横部材
５００：移動体
５０１：進行方向
５１０：地面
６００：制御装置
６１０：全方位映像保存部
６２０：一方向映像保存部
６３０：再生場面同期部
６４０：同一映像範囲計算処理部
６５０：映像遠近計算処理部
６６０：全天球映像合成処理部
７００：記憶装置
７１０、７１０ａ、７１０ｂ、７１０ｃ：全方位映像
７２０、７２０ａ、７２０ｂ、７２０ｃ：一方向映像
７３０：全天球映像
８００：全方位映像保存
８１０：一方向映像保存
８２０：再生場面同期
８２１：撮影時間差
８３０：撮影範囲抽出
８３１：一致範囲
８４０：遠近補正
８４１：高度差
８５０：全天球映像合成

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】