特許 7025042 全天球画像生成方法、全天球画像生成表示方法、全天球画像生成システムのプログラム及び全天球画像生成表示システムのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-15

(45)【発行日】2022-02-24

(54)【発明の名称】全天球画像生成方法、全天球画像生成表示方法、全天球画像生成システムのプログラム及び全天球画像生成表示システムのプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220216BHJP

   G03B 5/00 20210101ALI20220216BHJP

   G03B 7/091 20210101ALI20220216BHJP

   G03B 15/00 20210101ALI20220216BHJP

   G03B 37/00 20210101ALI20220216BHJP

   H04N 5/225 20060101ALI20220216BHJP

【ＦＩ】

H04N5/232 380

G03B5/00 K

G03B7/091

G03B15/00 W

G03B37/00 A

H04N5/225 800

H04N5/232 290

H04N5/232 480

H04N5/232 930

【請求項の数】 8

(21)【出願番号】P 2019236527

(22)【出願日】2019-12-26

(62)【分割の表示】P 2016029932の分割

【原出願日】2016-02-19

(65)【公開番号】P2020061770

(43)【公開日】2020-04-16

【審査請求日】2020-01-24

【前置審査】

(73)【特許権者】

【識別番号】313003417

【氏名又は名称】株式会社ザクティ

(74)【代理人】

【識別番号】110001438

【氏名又は名称】特許業務法人 丸山国際特許事務所

(72)【発明者】

【氏名】福本 晋平

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２００６－０５９２０２（ＪＰ，Ａ）

【文献】特開２０１４－１２８０１７（ＪＰ，Ａ）

【文献】特開２０１３－２１４９４７（ＪＰ，Ａ）

【文献】特開平０３－１９０３８０（ＪＰ，Ａ）

【文献】特開２００９－０７７０９３（ＪＰ，Ａ）

【文献】特許第６６４５２４５（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３７／００

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

複数の撮像手段の少なくとも１の撮像手段の姿勢情報を検出し、前記撮像手段の姿勢情報を算出する姿勢情報算出ステップ、
前記複数の撮像手段から得られた画像データを、前記姿勢情報算出ステップにて算出された前記姿勢情報に基づいて座標変換した全天球画像を生成する全天球画像生成ステップと、
を具え、
前記全天球画像生成ステップは、前記画像データについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは、グローバル座標における水平面内の回転角度の高周波成分を除去する補正による座標変換を行なって全天球画像を生成する、
ことを特徴とする、全天球画像生成方法。

【請求項2】

前記複数の撮像手段によって撮影された画像データから全天球フレームデータを作成する画像合成ステップと、
前記姿勢情報算出ステップにて算出された前記少なくとも１の撮像手段の姿勢情報に基づいて、前記全天球フレームデータの座標を変換する補正量データを作成する補正量算出ステップと、
前記全天球フレームデータと前記補正量データを関連付けて全天球画像を得る関連付けステップと、
を具え、
前記補正量算出ステップは、前記全天球フレームデータについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは、グローバル座標における水平面内の回転角度の高周波成分を除去する補正を行なう補正量データを作成する、
請求項１に記載の全天球画像生成方法。

【請求項3】

前記姿勢情報は、前記撮像手段を基準とした互いに直交するｘ軸、ｙ軸及びｚ軸を含むローカル座標と、互いに直交するＸ軸、Ｙ軸及び鉛直方向のＺ軸を含むグローバル座標との間の回転変位量を表す情報であって、
前記補正量算出ステップは、前記姿勢情報に基づいて前記全天球フレームデータの座標を、前記グローバル座標に補正するためのグローバル座標補正量を補正量データとして作成するものであり、前記グローバル座標補正量は、全天球フレームデータの鉛直方向に対する傾きを補正し、鉛直方向軸周りの回転に対しては、グローバル座標における水平面内の回転角度の高周波成分のみを除去する補正を行なう補正量である、
請求項２に記載の全天球画像生成方法。

【請求項4】

前記関連付けステップは、前記補正量データを前記全天球フレームデータのヘッダ情報として関連付ける、
請求項２又は請求項３に記載の全天球画像生成方法。

【請求項5】

前記撮像手段から得られる画像データは、動画像であり、
前記補正量算出ステップは、前記姿勢情報算出ステップで算出された１フレーム前の全天球フレームデータの姿勢情報に基づいて補正量データを作成する、
請求項２乃至請求項４の何れかに記載の全天球画像生成方法。

【請求項6】

複数の撮像手段の少なくとも１の撮像手段の姿勢情報を検出し、前記撮像手段の姿勢情報を算出する姿勢情報算出ステップと、
前記複数の撮像手段から得られた画像データと、前記姿勢情報算出ステップにて算出された姿勢情報に基づいて画像信号を生成して表示する画像信号生成表示ステップと、
を具え、
前記画像信号生成表示ステップは、
互いに直交するＸ軸、Ｙ軸及び鉛直方向のＺ軸を含むグローバル座標に対し、
前記複数の撮像手段をＸ軸周りに第１の角度だけ回転して撮影することにより生成した第１の画像信号、
前記複数の撮像手段をＹ軸周りに前記第１の角度だけ回転して撮影することにより生成した第２の画像信号、
前記複数の撮像手段をＺ軸周りに前記第１の角度だけ回転して撮影することにより生成した第３の画像信号、
から画像信号を生成して表示したとき、
前記第１の画像信号及び第２の画像信号は略回転動きのない画像を表示し、前記第３の画像信号はグローバル座標における水平面内の回転角度の高周波成分を除去する補正による座標変換を行なって略前記第１の角度の回転動きのある画像を表示する、
ことを特徴とする全天球画像生成表示方法。

【請求項7】

画像データを出力する複数の撮像手段から前記画像データを得る画像合成部と、
前記複数の撮像手段の少なくとも１の撮像手段の姿勢情報を検出する姿勢検出手段から、前記姿勢情報を得る姿勢算出部と、
を有する全天球画像生成システムの制御手段に、
前記姿勢算出部に前記複数の撮像手段の少なくとも１の撮像手段の姿勢情報を算出させる手順と、
前記複数の撮像手段から得られた前記画像データを、前記姿勢算出部にて算出された前記姿勢情報に基づいて座標変換した全天球画像を生成する手順であって、前記画像データについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは、グローバル座標における水平面内の回転角度の高周波成分を除去する補正による座標変換を行なって全天球画像を生成する手順と、
を実行させる、全天球画像生成システムのプログラム。

【請求項8】

画像データを出力する複数の撮像手段から前記画像データを得る画像合成部と、
前記複数の撮像手段の少なくとも１の撮像手段の姿勢情報を検出する姿勢検出手段から、前記姿勢情報を得る姿勢算出部と、
を有する全天球画像生成表示システムの制御手段に、
前記姿勢算出部に前記複数の撮像手段の少なくとも１の撮像手段の姿勢情報を算出させる手順と、
前記複数の撮像手段から得られた前記画像データと、前記姿勢算出部にて算出された姿勢情報に基づいて画像信号を生成して表示する手順であって、
互いに直交するＸ軸、Ｙ軸及び鉛直方向のＺ軸を含むグローバル座標に対し、
前記複数の撮像手段をＸ軸周りに第１の角度だけ回転して撮影することにより生成した第１の画像信号、
前記複数の撮像手段をＹ軸周りに前記第１の角度だけ回転して撮影することにより生成した第２の画像信号、
前記複数の撮像手段をＺ軸周りに前記第１の角度だけ回転して撮影することにより生成した第３の画像信号、
から画像信号を生成して表示したとき、
前記第１の画像信号及び第２の画像信号は略回転動きのない画像を表示し、前記第３の画像信号はグローバル座標における水平面内の回転角度の高周波成分を除去する補正による座標変換を行なって略前記第１の角度の回転動きのある画像を表示する手順と、
を実行させる、全天球画像生成表示システムのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、全方位を撮影可能な全天球撮影システムに関するものであり、より具体的には、水平方向の振れを抑えることのできる全天球撮影システムに関するものである。

【背景技術】

【0002】

撮像装置を用いて得られた動画像やスチル画像を撮影し、全天球（全方位）に合成する全天球撮影システムが知られている。このシステムでは、撮像装置に複数の撮像手段を具え、撮像手段で撮影された個々の撮影画像に歪み補正を行ないつつ、これらを合成することによりモニター等で表示可能な略矩形の全天球画像を生成している。

【0003】

撮像装置の姿勢が変化すると、生成される全天球画像も姿勢に合わせて変化するから、全天球画像は視認性に欠ける画像となってしまう。

【0004】

そこで、特許文献１では、撮像装置の鉛直方向に対する傾きを検出するセンサーを具え、センサーによって検出された撮像装置の傾きに応じて、撮影画像をグローバル座標に補正した全天球画像に変換する撮像システムを提案している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１３－２１４９４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記のように、全天球撮影画像をグローバル座標に変換することで、鉛直方向に対する傾きを補正した変換画像を作成している。しかしながら、鉛直方向に対する傾きを補正するのみでは、水平方向の回転（鉛直方向の軸周りの回転）が補正されず、視認性に欠ける画像となる。たとえば、撮像装置をユーザーの頭部に装着して自転車に乗りながら動画撮影を行なうような場合、鉛直方向に対する傾きは補正されるが、水平方向の回転揺れが残ってしまうため、視認性に欠ける動画となる。

【0007】

本発明の目的は、視認性を高めつつ、臨場感に溢れる全天球画像を作成できる全天球撮影システムを提供することである。

【課題を解決するための手段】

【0008】

本発明に係る全天球撮影システムは、
画像データを出力する複数の撮像手段と、
前記複数の撮像手段の少なくとも１の撮像手段の姿勢情報を検出する姿勢検出手段と、
前記画像データを前記姿勢検出手段により出力された前記姿勢情報に基づいて座標変換した全天球画像を生成する制御手段と、
を具え、
前記制御手段は、前記画像データについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは微小揺れ成分を除いた補正による座標変換を行なって全天球画像を生成する。

【0009】

前記複数の撮像手段によって撮影された画像データから全天球フレームデータを作成する画像合成部と、
前記姿勢検出手段から前記少なくとも１の撮像手段の姿勢情報に基づいて、前記全天球フレームデータの座標を変換する補正量データを作成する補正量算出部と、
前記全天球フレームデータと前記補正量データを関連付けて全天球画像を得る関連付け手段と、
を具え、
前記補正量算出部は、前記全天球フレームデータについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは微小揺れ成分を除いた補正を行なう補正量データを作成する構成とすることができる。

【0010】

前記姿勢情報は、前記撮像手段を基準とした互いに直交するｘ軸、ｙ軸及びｚ軸を含むローカル座標と、互いに直交するＸ軸、Ｙ軸及び鉛直方向のＺ軸を含むグローバル座標との間の回転変位量を表す情報であって、
前記補正量算出部は、前記姿勢情報に基づいて前記全天球フレームデータの座標を、前記グローバル座標に補正するためのグローバル座標補正量を補正量データとして作成し、前記グローバル座標補正量は、全天球フレームデータの鉛直方向に対する傾きを補正し、鉛直方向軸周りの回転に対しては揺れの高周波成分のみを補正する補正量とすることができる。

【0011】

前記関連付け手段は、前記補正量データを前記全天球フレームデータのヘッダ情報として関連付けることができる。

【0012】

前記撮像手段は、動画像を撮影し、
前記補正量算出部は、前記姿勢検出手段から入力される１フレーム前の全天球フレームデータの姿勢情報に基づいて補正量データを作成することができる。

【0013】

また、本発明の全天球撮影システムは、
複数の撮像手段と、
前記複数の撮像手段の少なくとも１の撮像手段の姿勢情報を検出する姿勢検出手段と、
前記複数の撮像手段の出力である画像データと、
前記姿勢検出手段の出力である姿勢検出信号に基づいて画像信号を生成して表示する制御手段と、
を具え、
互いに直交するＸ軸、Ｙ軸及び鉛直方向のＺ軸を含むグローバル座標に対し、
前記複数の撮像手段をＸ軸方向に第１の角度だけ回転して撮影することにより生成した第１の画像信号、
前記複数の撮像手段をＹ軸方向に前記第１の角度だけ回転して撮影することにより生成した第２の画像信号、
前記複数の撮像手段をＺ軸方向に前記第１の角度だけ回転して撮影することにより生成した第３の画像信号、
から前記制御手段で画像信号を生成して表示したとき、
前記制御手段は、前記第１の画像信号及び第２の画像信号は略回転動きのない画像を表示し、前記第３の画像信号は略前記第１の角度の回転動きのある画像を表示する。

【発明の効果】

【0014】

本発明の全天球撮影システムによれば、画像データから作成される全天球画像は、鉛直方向が補正されていることは勿論、撮像手段の水平面内の回転に追従するから臨場感に溢れ、水平面内における微小な振動である手振れも補正されているから視認性にもすぐれる画像とすることができる。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明の全天球撮影システムのブロック図である。

【図2】図２は、撮像装置の平面図である。

【図3】図３は、ローカル座標とグローバル座標の関係を示す図である。

【図4】図４は、グローバル座標と方向ベクトルの関係を示す図である。

【図5】図５は、Ｚ軸周りの（ａ）回転角度θ_Ｚと（ｂ）回転角度θ_{Ｚ＿ｌｐｆ}を示すグラフである。

【図6】図６は、撮像画像から全天球画像を作成する手順の説明図である。

【発明を実施するための形態】

【0016】

以下、本発明の全天球撮影システム１０について、図面を参照しながら説明を行なう。

【0017】

本発明は、全天球（全方位）を撮像し、得られた画像を全天球フレームデータに変換して全天球画像を得る全天球撮影システム１０において、撮像装置２０の姿勢に関わらず、作成される全天球画像を鉛直方向に合わせて変換すると共に、水平方向については撮像装置２０の姿勢に合わせて回転方向に追従した補正を行ないつつ、水平方向の全天球画像のぶれ（手振れ）を小さくする揺れ補正を行なうものである。これにより、臨場感に富みつつ、視認性の高い全天球画像を提供するものである。

【0018】

図１は、本発明の一実施形態を示す全天球撮影システム１０のブロック図、図２は、撮像装置２０の外観概略図である。なお、図１は、本発明を判り易く説明するために、本発明に関連する機能ブロックのみを描いているが、これらは、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリーなどのメモリー、バッファ、これらに記録された各種プログラム等の連繋によって実現することができる。これら機能ブロックがハードウェアのみ、ソフトウエアのみ又はこれらの組合せによって実現可能であり、これら機能どうしは無線、有線によって通信可能に接続できることは当然理解されるべきである。また、これら機能は、１の装置によって実現することもできるし、たとえば撮像と表示など複数の機能を複数の装置によって個別に実現したシステムとすることもできる。

【0019】

全天球撮影システム１０は、撮像手段として、１又は複数のイメージセンサー２２，２２（撮像素子）を具える。イメージセンサー２２，２２は、たとえばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーであって、光学レンズ２４，２４が装着される。光学レンズ２４は、広角レンズや超広角レンズ、又は、複数のレンズ群から構成することができ、イメージセンサー２２，２２によって全天球の画像データの取得が可能となっている。

【0020】

たとえば、イメージセンサー２２，２２が２つの場合、光学レンズ２４，２４は、１８０°以上の画角を撮影できる広角レンズまたは超広角レンズを採用し、図２に示すように、イメージセンサー２２，２２は、撮像装置２０の正面側と背面側が撮影可能になるように配置する。

【0021】

イメージセンサー２２，２２から逐次出力される画像データは、制御手段１１に送信される。制御手段１１は、たとえば、図１に示すように、画像合成部３０、姿勢算出部５０、補正量算出部６０、関連付け手段７０、メモリー８０及び表示機器８２を含む構成とすることができる。

【0022】

イメージセンサー２２，２２から出力された画像データは、画像合成部３０に送信され、順次歪み補正及び合成を行なうことで、全天球フレームデータが作成される。たとえば、画像合成部３０は、得られた画像データの歪み補正を行なって、正距円筒画像からなる全天球フレームデータを作成する。作成された全天球フレームデータは、後述する関連付け手段７０に送信される。

【0023】

一方、撮像装置２０の姿勢情報、すなわち、撮像装置２０のグローバル座標に対する傾きや回転は、姿勢検出手段４０によって所定のサンプリング周期で検出され、姿勢算出部５０にて演算される。

【0024】

たとえば、姿勢検出手段４０は、図１に示すように、角速度センサー４２と加速度センサー４４とすることができる。また、姿勢検出手段４０は、これらセンサーと共に、方位センサーを含む構成としてもよい。

【0025】

姿勢情報として、図３に示すように、撮像装置２０を基準とした互いに直交するｘ軸、ｙ軸及びｚ軸を含むローカル座標と、互いに直交するＸ軸、Ｙ軸及び鉛直方向のＺ軸を含むグローバル座標との関係で例示することができる。ローカル座標のｙ軸は、何れか１のイメージセンサー２２の光軸に一致するよう設定し、ローカル座標の原点は、イメージセンサー２２，２２間の中央に設定している。なお、図３中、Ｚ軸は、グローバル座標の鉛直方向（重力方向）を示している。

【0026】

姿勢検出手段４０として、角速度センサー４２と加速度センサー４４を採用した場合、図３に示すように、撮像装置２０のｘ軸、ｙ軸及びｚ軸に対し、角速度センサー４２からは、撮像装置２０のローカル座標の各軸周りの回転角速度（ｇｘ，ｇｙ，ｇｚ）が出力され、加速度センサー４４からは、重力加速度を撮像装置２０のローカル座標の各軸方向に分解した各軸方向の重力加速度成分（ａｘ，ａｙ，ａｚ）が出力される。

【0027】

姿勢算出部５０は、センサー４２，４４から得られた出力（回転角速度と重力加速度成分）に基づいて、撮像装置２０の姿勢情報を算出する。姿勢情報は、たとえば、グローバル座標上での撮像装置２０の姿勢を表わすクオータニオン（四元数）を用いて表現することができる。クオータニオンｑは、４変数ｑ_０，ｑ_１，ｑ_２，ｑ_３と基底ベクトルｉ，ｊ，ｋを用いて以下で定義することができる。

【0028】

ｑ＝ｑ_０＋ｑ_１i＋ｑ_２j＋ｑ_３k
ｉ^２＝ｊ^２＝ｋ^２＝ｉｊｋ＝－１
ｉｊ＝－ｊｉ＝ｋ，ｊｋ＝－ｋｊ＝ｉ，ｋｉ＝－ｉｋ＝ｊ

【0029】

ここで、クオータニオンｑの４変数ｑ_０，ｑ_１，ｑ_２，ｑ_３は次式で与えることができる。
ｑ_０＝ｃｏｓ（θ／２）
ｑ_１＝ｎｘ・ｓｉｎ（θ／２）
ｑ_２＝ｎｙ・ｓｉｎ（θ／２）
ｑ_３＝ｎｚ・ｓｉｎ（θ／２）
ｎｘ^２＋ｎｙ^２＋ｎｚ^２＝１

【0030】

なお、上記式中、ｎｘ、ｎｙ、ｎｚは、図４に示すように、グローバル座標上での方向ベクトル（ｎｘ，ｎｙ，ｎｚ）であり、θは、方向ベクトル周りの回転角を表わしている。

【0031】

このとき、ローカル座標上での撮像装置２０の姿勢ベクトルｐとグローバル座標上での姿勢ベクトルＰの関係は、次式で定義される。
Ｐ＝Ｒ・ｐ
ここで、Ｒは３×３の回転行列であり、クオータニオンｑから次式で算出される。

【0032】

【数1】

【0033】

撮像装置２０の１つのイメージセンサーの光軸方向をローカル座標系のｙ軸方向に設定すると、撮像装置２０の光軸方向ベクトルはp＝[０,１,０]^Tで表される。このとき、撮像装置２０の姿勢クオータニオンをｑｃとすると、撮像装置のグローバル座標系における姿勢ベクトルPは次式で算出されることになる。
Ｐ＝Ｒｃ・ｐ

【0034】

これにより、撮像装置２０のローカル座標（ｘ，ｙ，ｚ）の姿勢角度（傾きと回転角度）は、グローバル座標（Ｘ，Ｙ，Ｚ）で定義される。角速度センサー４２及び加速度センサー４４の出力から撮像装置２０のクオータニオンｑｃを算出する手法は、種々の方法を採用できる。また、姿勢情報は、クオータニオンｑｃ以外で算出しても構わない。

【0035】

姿勢算出部５０にて算出された撮像装置２０の姿勢情報（クオータニオンｑｃ）は、補正量算出部６０に送信される。補正量算出部６０は、全天球フレームデータの座標をグローバル座標に補正する補正量（クオータニオンｑｓ）を算出する。ここで算出される補正量は、撮像装置２０の鉛直方向を示すＺ軸に対する傾きは完全に補正し、鉛直方向を示すＺ軸周り、すなわち、グローバル座標における水平面内での揺れに対しては、微小揺れ成分を除いた補正を行なうための補正量データを作成する手段である。

【0036】

補正量算出部６０は、たとえば、図１に示すように、遅延保持部６１、回転角度抽出部６２、ローパスフィルター６３、座標変換部６４及び座標乗算部６５から構成することができる。

【0037】

補正量算出部６０に入力された姿勢情報は、座標乗算部６５に送信されると共に、遅延保持部６１に送信される。

【0038】

遅延保持部６１は、入力された座標情報について、前サンプリング時間ｔ－１のクオータニオンｑｃ（ｔ－１）を保持する。

【0039】

そして、回転角度抽出部６２は、クオータニオンｑｃ（ｔ－１）から、グローバル座標のＺ軸周りの回転角度θ_Ｚを算出する。たとえば、回転角度θ_Ｚは、クオータニオンｑｃ（ｔ－１）をオイラー角Ｒ_ｚｘｙに変換し、得られたオイラー角Ｒ_ｚｘｙから算出することができる。

【0040】

図５（ａ）は、算出された回転角度θ_Ｚの波形Ｗの一例を示している。図５（ａ）を参照すると、回転角度θ_Ｚは、低周波成分に高周波成分が重畳した波形であることがわかる。このような波形Ｗは、たとえば、ユーザーが撮像装置２０を頭部に取り付けて、自転車に乗りながら撮影を行なうような場合、自転車の進行方向を変えたりユーザーが頭部を水平面内で動かした場合に検出される。

【0041】

波形Ｗ中の高周波成分は、撮像装置２０のグローバル座標における水平面内での微小な振動、すなわち、手振れや振動などのユーザーが意図していない微小揺れ成分である。

【0042】

一方、波形Ｗ中の低周波成分は、撮像装置２０自体の向きを変えたときに検出される。すなわち、上記例において、ユーザーが自転車の進行方向を変えたり頭部を水平面内で動かした場合に検出される意図的な向きの変化を意味する。

【0043】

本発明では、臨場感を保持するために、撮像装置２０の向きに追従すべく低周波成分の揺れを残し、視認性の低下を招く高周波成分の揺れを除去することで、Ｚ軸周りの座標補正を行なう。

【0044】

具体的には、回転角度抽出部６２で算出された回転角度θ_Ｚをローパスフィルター６３に通して高周波成分を除去し、低周波成分のみとした回転角度θ_{Ｚ＿ｌｐｆ}を作成する。図５（ｂ）にローパスフィルター６３を通過して得られた回転角度θ_{Ｚ＿ｌｐｆ}の波形を示す。

【0045】

回転角度θ_{Ｚ＿ｌｐｆ}の波形ｗには、手振れ等の高周波成分が除去されているから、回転角度θ_{Ｚ＿ｌｐｆ}は、撮像装置２０の意図的な向きの変化のみを含むＺ軸周りの姿勢量となる。

【0046】

座標変換部６４は、得られた回転角度θ_{Ｚ＿ｌｐｆ}から、撮像装置２０のＺ軸周りの回転量を減衰させる減衰量を算出する。たとえば、次式で示すように、回転角度θ_{Ｚ＿ｌｐｆ}の符号を反転してクオータニオンを算出する。このクオータニオンをセンタリングクオータニオンｑｄと称する。
ｑｄ_０＝ｃｏｓ（－θ_{z_lpf}／２）
ｑｄ_１＝0
ｑｄ_２＝0
ｑｄ_３＝ｓｉｎ（－θ_{z_lpf}／２）

【0047】

そして、上記回転角度θ_{Ｚ＿ｌｐｆ}を反映したセンタリングクオータニオンｑｄを、撮像装置２０の姿勢情報となるグローバル座標補正量（クオータニオンｑｃ（ｔ））に適用することで、グローバル座標の水平面内における微小な振動、すなわち、手振れを抑えつつ、撮像装置２０の向きに追従した姿勢情報の補正量データを得ることができる。

【0048】

上記演算は、座標乗算部６５にて実施する。座標乗算部６５は、現サンプリング時間ｔのグローバル座標補正量（クオータニオンｑｃ（ｔ））に算出されたセンタリングクオータニオンｑｄを乗算し、全天球画像に適用される補正量データとなる姿勢補正量クオータニオンｑｓを算出する。
ｑｓ＝ｑｄ＊ｑｃ（ｔ）
ここで、＊はクオータニオン乗算を表し、各要素を用いて次式で定義される。
ｑｓ_０＝ｑｄ_０・ｑｃ_０－ｑｄ_１・ｑｃ_１－ｑｄ_２・ｑｃ_２－ｑｄ_３・ｑｃ_３
ｑｓ_１＝ｑｄ_０・ｑｃ_１＋ｑｄ_１・ｑｃ_０＋ｑｄ_２・ｑｃ_３－ｑｄ_３・ｑｃ_２
ｑｓ_２＝ｑｄ_０・ｑｃ_２－ｑｄ_１・ｑｃ_３＋ｑｄ_２・ｑｃ_０＋ｑｄ_３・ｑｃ_１
ｑｓ_３＝ｑｄ_０・ｑｃ_３＋ｑｄ_１・ｑｃ_２－ｑｄ_２・ｑｃ_１＋ｑｄ_３・ｑｃ_０

【0049】

得られた補正量データ（姿勢補正量クオータニオンｑｓ）は、関連付け手段７０に送信される。

【0050】

関連付け手段７０では、画像合成部３０で作成された現サンプリング時間ｔにおける全天球フレームデータと、補正量データの関連づけを行なう。補正量データは、本実施形態では、上記のとおり、現サンプリング時間ｔにおけるグローバル座標補正量を前サンプリング時間ｔ－１におけるセンタリングクオータニオンｑｄで補正した姿勢補正量クオータニオンｑｓである。関連付け手段７０は、たとえば、全天球フレームデータのヘッダ情報に補正量データを書き込むことでこれらの関連付けを行なうことができる。この関連付けによって作成された画像を全天球画像と称する。

【0051】

得られた全天球画像は、図１に示すように、メモリー８０などの記録媒体や外部ストレージに転送されて記憶することができる。また、全天球画像をスルー画像として直接表示機器８２に表示することもできる。

【0052】

表示機器８２として、たとえば、デジタルカメラやスマートフォン、ＰＤＡ（Personal Digital Assistant）などの携帯型電子機器、モニターなどを例示できる。この場合、表示機器８２は、再生表示用のソフトやアプリケーションをインストールしておき、全天球画像のヘッダ情報から補正量データを読み出し、全天球フレームデータに補正量データを適用して、グローバル座標に変換する共ともに、水平面内での補正を行なって、全天球画像の表示を行なえばよい。

【0053】

図６は、全天球フレームデータに補正量データを適用して得られる全天球画像の一例を示している。なお、図６では、本発明をより判り易く説明するために、時系列的に連続する２つの撮影画像、全天球フレームデータを重ねて表示している。

【0054】

図６（ａ）及び図６（ｂ）は、イメージセンサー２２，２２によって夫々取得された画像データを示している。図に示すように、時系列的に連続する２つの撮影画像は、手振れによって被写体９０が振れていることがわかる。

【0055】

画像合成部３０は、これら画像データに歪み補正と合成を行ない、図６（ｃ）に示すような正距円筒画像の如き全天球フレームデータを作成する。図６（ｃ）では、図６（ａ）が中心となるように全天球フレームデータを作成している。図を参照すると、撮影画像の振れに伴い、全天球フレームデータ中の被写体９０も振れていることがわかる。また、撮像装置２０の傾きにより、全天球フレームデータの水平線９２が傾斜している。

【0056】

そして、得られた全天球フレームデータに補正量データを適用し、撮像装置２０のローカル座標をグローバル座標補正量に基づいて鉛直方向に対する傾きを補正する（参考図６（ｄ））と共に、鉛直方向について微小な振れを除去しつつ（参考図６（ｅ））、撮像装置２０のｙ軸方向を中心とする変換を施すことで、図６（ｆ）に示すような全天球画像が作成される。図６（ｆ）に示すように、得られた全天球画像は、全天球フレームデータ（図６（ｃ））に対して、水平線９２の傾斜の補正、撮像装置２０のｙ軸方向を中心とする水平面内の回転補正、及び、水平面内における高周波成分の揺れの補正が行なわれていることがわかる。

【0057】

その結果、得られた全天球画像は、鉛直方向が補正されていることは勿論、撮像装置２０の水平面内の比較的周波数の小さい大きな揺れ（回転）には追従するから臨場感に溢れ、水平面内における手振れ等の微小な揺れは補正されているからから視認性にもすぐれる画像となる。

【0058】

なお、必要に応じて、図６（ｆ）中一点鎖線で示すように、作成された全天球画像の所定範囲を切り出した画像に加工することもできる。

【0059】

上記では変換の手順をわかりやすくするために、図６（ｃ）～図６（ｅ）を含めているが、実際には、図６（ｃ）に示す全天球フレームデータに補正量データを適用することで、図６（ｆ）に示す全天球画像が直接作成される。

【0060】

すなわち、本発明では、撮像手段２０の姿勢の如何に拘わらず、撮像手段２０がグローバル座標に対して水平面内での回転となるＺ軸に対する回転に追従するが、水平面内以外の回転であるＸ軸方向、Ｙ軸方向の回転には追従しないようにしている。従って、撮像手段２０をＸ軸方向やＹ軸方向に所定角度（第１の角度）だけ回転して撮影して得られた第１の画像信号、第２の画像信号を表示機器にて表示したときには、水平面内では殆んど回転しないものとなる一方、撮像手段２０をＺ軸に所定角度（第１の角度）だけ回転して撮影して得られた第３の画像信号は、その回転に追従して略所定角度の回転動きのある画像とすることができる。これら第１乃至第３の画像信号を切り出した画像についても同様である。

【0061】

＜補正量算出のその他の方法＞
上記実施形態では、一旦姿勢クオータニオンｑをオイラー角Ｒ_ｚｘｙに変換し、Ｚ軸周りの回転量θｚを算出し、再度センタリングクオータニオンｑｄを算出しているが、姿勢クオータニオンｑｃから直接センタリングクオータニオンｑｄを算出しても構わない。例えば、姿勢クオータニオンｑｃの成分において、Ｚ軸周りの回転を表す成分ｑ_ｚを
ｑ_ｚ＝ｑｃ_０ ^２＋ｑｃ_３ ^２
で定義すると、ｑ_ｚが１に近い場合は、Ｚ軸周りの回転が支配的になる。このとき、センタリングクオータニオンｑｄを
ｑｄ_０＝－ｋ・ｑ_ｚ・ｑ_０
ｑｄ_１＝０
ｑｄ_２＝０
ｑｄ_３＝（１－ｑｄ_０ ^２）^１／２
ｋは減衰係数（０＜ｋ＜１）
としてセンタリングクオータニオンを算出しても構わない。

【0062】

上記説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或いは範囲を限縮するように解すべきではない。また、本発明の各部構成は、上記実施形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。

【符号の説明】

【0063】

１０ 全天球撮影システム
１１ 制御手段
２２ イメージセンサー（撮像手段）
３０ 画像合成部
４０ 姿勢検出手段
４２ 角速度センサー
４４ 加速度センサー
５０ 姿勢算出部
６０ 補正量算出部
６２ 回転角度抽出部
６３ ローパスフィルター
６４ 座標変換部
６５ 座標乗算部
７０ 関連付け手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】