特許 7196834 画像処理装置および方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-19

(45)【発行日】2022-12-27

(54)【発明の名称】画像処理装置および方法、並びにプログラム

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20221220BHJP

   G06F 3/01 20060101ALI20221220BHJP

【ＦＩ】

G06F3/0484

G06F3/01 510

【請求項の数】 9

(21)【出願番号】P 2019507536

(86)(22)【出願日】2018-03-09

(86)【国際出願番号】 JP2018009147

(87)【国際公開番号】W WO2018173791

(87)【国際公開日】2018-09-27

【審査請求日】2021-01-19

(31)【優先権主張番号】P 2017055996

(32)【優先日】2017-03-22

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】井原 敏

(72)【発明者】

【氏名】田中 健司

(72)【発明者】

【氏名】ポウルトニー コディ

【審査官】円子 英紀

(56)【参考文献】

【文献】国際公開第２０１７／０３７９６２（ＷＯ，Ａ１）

【文献】特許第６０９３４７３（ＪＰ，Ｂ１）

【文献】特開２０１４－０７２５７０（ＪＰ，Ａ）

【文献】特開２０１６－１６７２１９（ＪＰ，Ａ）

【文献】特開２０１４－０９３７０３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

操作部による操作入力を検出する操作検出部と、
撮影部で得られた撮影画像の特定の領域を切り出すことで、被写体としてユーザの手元にある前記操作部が含まれている画像を生成する画像処理部と、
没入提示デバイスに対して、前記操作部の画像が重畳された編集対象の全天球画像の一部または全部を提示画像として出力して表示させるとともに、前記操作入力が検出された場合、前記操作入力が反映されるように前記提示画像の表示を制御する表示制御部と
を備え、
前記操作検出部は、前記操作部のポインタが前記全天球画像内で指し示す位置の座標を検出し、
前記表示制御部は、前記没入提示デバイスの位置および姿勢により定まる前記全天球画像上の位置に前記操作部の画像を表示させる
画像処理装置。

【請求項2】

前記操作検出部は、前記検出した交点の座標に、前記全天球画像にオーバーレイされている画像が検出された場合、その画像をドラッグする
請求項１に記載の画像処理装置。

【請求項3】

前記表示制御部は、前記ドラッグされた画像が、ドロップされた位置に、前記画像が表示されるように前記提示画像の表示を制御し、
前記操作検出部は、前記ドロップされた前記全天球画像内の位置の座標を検出する
請求項２に記載の画像処理装置。

【請求項4】

前記操作検出部は、オーバーレイされている画像の拡大、または縮小の操作を検出する
請求項１に記載の画像処理装置。

【請求項5】

前記操作検出部は、２つの前記操作部が左右方向に広がったことを検出したとき、前記画像の拡大が指示されたと検出し、２つの前記操作部が左右方向に狭まったことを検出したとき、前記画像の縮小が指示されたと検出する
請求項４に記載の画像処理装置。

【請求項6】

前記操作部は、タッチパッドを備え、前記タッチパッドは、複数の領域に分割され、各領域に所定の操作が割り当てられている
請求項１に記載の画像処理装置。

【請求項7】

前記操作部が操作され、メニューが表示されるとき、前記メニューは、横方向に展開され、前記メニュー内の項目は、縦方向に配列されている
請求項１に記載の画像処理装置。

【請求項8】

操作部による操作入力を検出し、
撮影部で得られた撮影画像の特定の領域を切り出すことで、被写体としてユーザの手元にある前記操作部が含まれている画像を生成し、
没入提示デバイスに対して、前記操作部の画像が重畳された編集対象の全天球画像の一部または全部を提示画像として出力して表示させるとともに、前記操作入力が検出された場合、前記操作入力が反映されるように前記提示画像の表示を制御する
ステップを含み、
前記操作入力の検出は、前記操作部のポインタが前記全天球画像内で指し示す位置の座標を検出するステップを含み、
前記表示の制御は、前記没入提示デバイスの位置および姿勢により定まる前記全天球画像上の位置に前記操作部の画像を表示させるステップを含む
画像処理方法。

【請求項9】

操作部による操作入力を検出し、
撮影部で得られた撮影画像の特定の領域を切り出すことで、被写体としてユーザの手元にある前記操作部が含まれている画像を生成し、
没入提示デバイスに対して、前記操作部の画像が重畳された編集対象の全天球画像の一部または全部を提示画像として出力して表示させるとともに、前記操作入力が検出された場合、前記操作入力が反映されるように前記提示画像の表示を制御する
ステップを含み、
前記操作入力の検出は、前記操作部のポインタが前記全天球画像内で指し示す位置の座標を検出するステップを含み、
前記表示の制御は、前記没入提示デバイスの位置および姿勢により定まる前記全天球画像上の位置に前記操作部の画像を表示させるステップを含む
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、より簡単に編集を行うことができるようにした画像処理装置および方法、並びにプログラムに関する。

【背景技術】

【0002】

従来、３６０度の全方位の画像である全方位画像が知られている（例えば、特許文献１参照）。そのような全方位画像のなかには３６０度の各方向、すなわち水平方向と垂直方向の全方位の画像である全天球画像がある。ユーザはＶＲ（Virtual Reality）技術を利用したヘッドマウントディスプレイ等を用いることで全天球画像のコンテンツを視聴することが可能である。

【0003】

また、全天球画像は、複数のカメラで撮影することで得られた複数の広角画像をステッチ処理により繋ぎ合わせることで生成される。そして、ステッチ処理により得られた全天球画像に対して編集が行われ、最終的な全天球画像のコンテンツが生成される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－１４３５７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、全天球画像の編集を行うことは容易ではなかった。

【0006】

すなわち、編集者は、正距円筒図法により得られる正距円筒（Equirectangular）形式の２次元の全天球画像をディスプレイに表示させて編集作業を行う。その後、編集者は編集により得られた全天球画像を実際にヘッドマウントディスプレイで表示させて編集内容等を確認する。

【0007】

このとき、編集内容の修正や更なる編集が必要である場合には、編集者はヘッドマウントディスプレイを自身の頭部から外して、さらにディスプレイに正距円筒形式の２次元の全天球画像を表示させ、編集作業を行うことになる。

【0008】

このように全天球画像の編集時には、編集者は、編集後の全天球画像を確認するたびにヘッドマウントディスプレイを着脱しなければならず面倒であった。

【0009】

本技術は、このような状況に鑑みてなされたものであり、より簡単に編集を行うことができるようにするものである。

【課題を解決するための手段】

【0010】

本技術の一側面の画像処理装置は、操作部による操作入力を検出する操作検出部と、撮影部で得られた撮影画像の特定の領域を切り出すことで、被写体としてユーザの手元にある前記操作部が含まれている画像を生成する画像処理部と、没入提示デバイスに対して、前記操作部の画像が重畳された編集対象の全天球画像の一部または全部を提示画像として出力して表示させるとともに、前記操作入力が検出された場合、前記操作入力が反映されるように前記提示画像の表示を制御する表示制御部とを備え、前記操作検出部は、前記操作部のポインタが前記全天球画像内で指し示す位置の座標を検出し、前記表示制御部は、前記没入提示デバイスの位置および姿勢により定まる前記全天球画像上の位置に前記操作部の画像を表示させる。

【0011】

本技術の一側面の画像処理方法は、操作部による操作入力を検出し、撮影部で得られた撮影画像の特定の領域を切り出すことで、被写体としてユーザの手元にある前記操作部が含まれている画像を生成し、没入提示デバイスに対して、前記操作部の画像が重畳された編集対象の全天球画像の一部または全部を提示画像として出力して表示させるとともに、前記操作入力が検出された場合、前記操作入力が反映されるように前記提示画像の表示を制御するステップを含み、前記操作入力の検出は、前記操作部のポインタが前記全天球画像内で指し示す位置の座標を検出するステップを含み、前記表示の制御は、前記没入提示デバイスの位置および姿勢により定まる前記全天球画像上の位置に前記操作部の画像を表示させるステップを含む。

【0012】

本技術の一側面のプログラムは、操作部による操作入力を検出し、撮影部で得られた撮影画像の特定の領域を切り出すことで、被写体としてユーザの手元にある前記操作部が含まれている画像を生成し、没入提示デバイスに対して、前記操作部の画像が重畳された編集対象の全天球画像の一部または全部を提示画像として出力して表示させるとともに、前記操作入力が検出された場合、前記操作入力が反映されるように前記提示画像の表示を制御するステップを含み、前記操作入力の検出は、前記操作部のポインタが前記全天球画像内で指し示す位置の座標を検出するステップを含み、前記表示の制御は、前記没入提示デバイスの位置および姿勢により定まる前記全天球画像上の位置に前記操作部の画像を表示させるステップを含む処理をコンピュータに実行させる。

【0013】

本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、操作部による操作入力が検出され、撮影部で得られた撮影画像の特定の領域を切り出すことで、被写体としてユーザの手元にある操作部が含まれている画像が生成され、没入提示デバイスに対して、操作部の画像が重畳された編集対象の全天球画像の一部または全部を提示画像として出力して表示させるとともに、操作入力が検出された場合、操作入力が反映されるように提示画像の表示が制御される。操作入力の検出は、操作部のポインタが全天球画像内で指し示す位置の座標が検出され、表示の制御は、没入提示デバイスの位置および姿勢により定まる全天球画像上の位置に操作部の画像が表示される。

【0014】

なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

【0015】

また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

【発明の効果】

【0016】

本技術の一側面によれば、より簡単に編集を行うことができる。

【0017】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

【図面の簡単な説明】

【0018】

【図1】編集システムの構成例を示す図である。

【図2】没入操作部モデル画像について説明する図である。

【図3】シースルーウィンドウについて説明する図である。

【図4】メニュー画像について説明する図である。

【図5】補助ウィンドウの例を示す図である。

【図6】コンテンツ編集処理を説明するフローチャートである。

【図7】編集例について説明するための図である。

【図8】編集例について説明するための図である。

【図9】コントローラの構成について説明するための図である。

【図10】コントローラ上の領域について説明するための図である。

【図11】案内表示について説明するための図である。

【図12】メニューの表示について説明するための図である。

【図13】シースルーウィンドウの表示例を示す図である。

【図14】リアルタイムアップデートに関する処理について説明するためのフローチャートである。

【図15】移動に関する処理について説明するためのフローチャートである。

【図16】コンピュータの構成例を示す図である。

【発明を実施するための形態】

【0019】

以下、図面を参照して、本技術を適用した実施の形態について説明する。

【0020】

〈第１の実施の形態〉
〈編集システムの構成例〉
本技術は、ＶＲコンテンツ、特に全天球画像の編集やオーサリングに関し、ステッチ処理により得られた全天球画像を編集して、いわゆる完全パッケージと呼ばれる完成したコンテンツを生成する技術に関する。なお、全天球画像は、静止画像でも動画像でもよいが、以下では全天球画像が動画像であるものとして説明を続ける。

【0021】

図１は、本技術を適用した編集システムの一実施の形態の構成例を示す図である。

【0022】

図１に示す編集システムは、没入提示デバイス１１、ディスプレイ１２、入力デバイス１３、没入操作部１４、および画像処理装置１５を有している。

【0023】

この編集システムでは、ユーザは没入提示デバイス１１を頭部に装着し、没入提示デバイス１１により提示（表示）された全天球画像をリアルタイムで確認しながら入力デバイス１３や没入操作部１４を操作して全天球画像の編集を行う。

【0024】

このとき、例えば編集者となるユーザは没入提示デバイス１１を頭部に装着して全天球画像をプレビューしたり編集したりするが、編集者ではない他のユーザも全天球画像の編集の様子を確認することができるようにディスプレイ１２が配置されている。すなわち、ディスプレイ１２には、適宜、全天球画像の編集に関する画面が表示されるようになされており、編集者以外のユーザはディスプレイ１２の表示を見ることで、編集の様子を確認することができる。

【0025】

没入提示デバイス１１は、例えばヘッドマウントディスプレイ等からなり、画像処理装置１５から供給された全天球画像を表示する。

【0026】

なお、以下では没入提示デバイス１１がユーザの頭部に装着可能なヘッドマウントディスプレイである場合を例として説明するが、没入提示デバイス１１は全天球画像を再生可能なものであれば、どのようなものであってもよい。

【0027】

例えば没入提示デバイス１１として、複数の平面形状の表示部から構成されるCAVE型ディスプレイや、ドーム形状などの曲面形状の表示部から構成されるディスプレイなど、ユーザを取り囲む没入ディスプレイを採用することも可能である。その他、没入提示デバイス１１の表示部は半透明な透過型の表示部であってもよいし、非透過型の表示部であってもよい。

【0028】

没入提示デバイス１１は撮影部２１を有しており、撮影部２１は没入提示デバイス１１の前方の画像を撮影する。撮影部２１による撮影によって得られる撮影画像は、没入提示デバイス１１を装着しているユーザの前方、特に入力デバイス１３があるユーザの手元の部分を被写体として含む画像となっている。

【0029】

没入提示デバイス１１は、撮影部２１で得られた撮影画像と、没入提示デバイス１１の３次元空間上、すなわち実空間上の位置および姿勢を示す位置姿勢情報とを画像処理装置１５に供給する。

【0030】

ディスプレイ１２は、例えば液晶表示デバイスなどからなり、適宜、画像処理装置１５から供給された画像を表示する。

【0031】

入力デバイス１３は、例えばキーボードやマウス、ペンタブレット等からなり、編集者となるユーザの操作に応じた信号を画像処理装置１５に供給する。

【0032】

没入操作部１４は、例えば全天球画像の再生や編集のための専用のコントローラ、ゲーム機器のコントローラ、ペンタブレットのペン等のペン型の入力デバイスなどからなる。例えば没入操作部１４としての専用のコントローラには、ボタンやタッチパッドなどが設けられている。また、ユーザ自身の手を没入操作部１４として用いることも可能である。

【0033】

没入操作部１４は、編集者となるユーザによる操作を受けて、その操作に応じた信号を画像処理装置１５に供給する。

【0034】

画像処理装置１５は、編集システム全体を制御する。画像処理装置１５は、位置姿勢検出部３１、操作検出部３２、保持部３３、編集反映処理部３４、レンダラ部３５、および通信部３６を有している。

【0035】

これらの位置姿勢検出部３１乃至通信部３６の少なくとも一部は、全天球画像を編集したりプレビューしたりして、編集により得られた全天球画像を所望の形式で出力可能な編集ソフトウェアにより実現される。

【0036】

位置姿勢検出部３１は、没入操作部１４の３次元空間上、すなわち実空間上の位置および姿勢を検出し、その検出結果を示す位置姿勢情報を操作検出部３２、編集反映処理部３４、およびレンダラ部３５に供給する。

【0037】

例えば没入操作部１４が専用のコントローラである場合、没入操作部１４には複数のセンサが内蔵されており、図示せぬ検出ユニットが没入操作部１４の各センサからの出力を受信して没入操作部１４の位置および姿勢を検出する。このような場合には、位置姿勢検出部３１は、検出ユニットから没入操作部１４の位置および姿勢を示す情報を取得することで、没入操作部１４の位置および姿勢を検出する。

【0038】

その他、例えば位置姿勢検出部３１が有する複数のカメラ等を利用して、没入操作部１４としてのユーザの手やペン型の入力デバイスの位置および姿勢を検出してもよい。さらに、例えば位置姿勢検出部３１がユーザの手に取り付けられたセンサの出力等に基づいて没入操作部１４としてのユーザの手の位置および姿勢を検出するようにしてもよい。

【0039】

操作検出部３２は、入力デバイス１３や没入操作部１４から供給された信号と、位置姿勢検出部３１から供給された位置姿勢情報とに基づいてユーザの操作入力を検出する。操作検出部３２は、ユーザによる操作入力の検出結果を示す操作検出情報を編集反映処理部３４に供給する。

【0040】

保持部３３は、編集対象となる全天球画像を保持しており、保持している全天球画像を編集反映処理部３４に供給したり、編集反映処理部３４から供給された全天球画像を保持したりする。

【0041】

ここで、保持部３３に保持されている全天球画像は、例えば正距円筒（Equirectangular）形式の２次元の全天球画像を球の内側の面や立方体の内側の面など、３Ｄモデルにマッピングすることにより得られた画像である。

【0042】

なお、保持部３３に保持される全天球画像は、互いに視差を有する左眼用の画像と右眼用の画像とからなるステレオスコピック３Ｄの画像、つまり３Ｄの立体画像とすることができる。

【0043】

編集反映処理部３４は、保持部３３から全天球画像を読み出すとともに、読み出した全天球画像に対して操作検出部３２から供給された操作検出情報に応じた編集処理を行い、その結果得られた編集後の全天球画像をレンダラ部３５に供給する。

【0044】

また、編集反映処理部３４は、位置姿勢検出部３１から供給された位置姿勢情報に基づいて没入操作部１４を模した没入操作部モデル画像を生成し、レンダラ部３５に供給する。

【0045】

例えば没入操作部モデル画像は、３Ｄモデルにより生成された没入操作部１４の画像、つまり没入操作部１４のモデルの画像であり、没入操作部モデル画像により表される没入操作部１４のモデルは、実際の没入操作部１４と同じ姿勢となっている。

【0046】

さらに編集反映処理部３４は、操作検出部３２から供給された操作検出情報や、通信部３６を介して没入提示デバイス１１から供給された撮影画像に基づいて、全天球画像の編集や再生を行うためのＵＩ（User Interface）画像を生成し、レンダラ部３５に供給する。

【0047】

ＵＩ画像の一部は、必要に応じて編集反映処理部３４からディスプレイ１２にも供給され、ディスプレイ１２により表示される。

【0048】

レンダラ部３５は、通信部３６を介して没入提示デバイス１１から供給された位置姿勢情報、および位置姿勢検出部３１から供給された位置姿勢情報に基づいてレンダリング処理を行う。

【0049】

すなわち、レンダラ部３５は、没入提示デバイス１１および没入操作部１４の位置姿勢情報と、編集反映処理部３４から供給された全天球画像、没入操作部モデル画像、およびＵＩ画像とに基づいて提示用の画像である提示用全天球画像を生成する。

【0050】

レンダリング処理では、レンダラ部３５は没入提示デバイス１１や没入操作部１４の位置姿勢情報に基づいて、全天球画像上の適切な位置に没入操作部モデル画像やＵＩ画像を重畳することで提示用全天球画像を生成する。

【0051】

なお、提示用全天球画像は、全天球画像に没入操作部モデル画像やＵＩ画像を重畳して得られる画像に限らず、全天球画像の一部の領域の画像に没入操作部モデル画像やＵＩ画像を重畳して得られる画像とされてもよい。換言すれば、没入操作部モデル画像やＵＩ画像が重畳された全天球画像の一部または全部の領域の画像を提示用全天球画像とすることができる。

【0052】

また、レンダラ部３５は必要に応じて提示用全天球画像を、例えば正距円筒形式の画像データなど、没入提示デバイス１１で取り扱うことが可能な形式の画像データに変換し、その結果得られた提示用全天球画像を通信部３６に供給する。

【0053】

通信部３６は有線または無線により没入提示デバイス１１と通信する。例えば通信部３６は、レンダラ部３５から供給された提示用全天球画像を没入提示デバイス１１に出力したり、没入提示デバイス１１から供給された位置姿勢情報をレンダラ部３５に供給したり、没入提示デバイス１１から供給された撮影画像を編集反映処理部３４に供給したりする。

【0054】

また、通信部３６は、没入提示デバイス２１とは異なる他の没入提示デバイスにも提示用全天球画像を出力することが可能である。

【0055】

例えば没入提示デバイス１１を装着している編集者であるユーザと同じ場所またはそのユーザとは離れた場所に、編集者とは異なる１または複数のユーザがおり、それらのユーザも没入提示デバイスを装着しているとする。

【0056】

この場合、通信部３６が没入提示デバイス１１に対して出力する提示用全天球画像と同じものを、編集者とは異なるユーザが装着している没入提示デバイスにも出力すれば、それらのユーザと編集者とは同じ提示用全天球画像を同時に見ることができる。

【0057】

図１に示す編集システムでは、レンダラ部３５から出力された提示用全天球画像は、通信部３６を介して没入提示デバイス１１へと供給されて表示される。また、ユーザによる全天球画像の編集に関する操作入力が行われると、その操作入力が直ちに（リアルタイムに）反映された提示用全天球画像がレンダラ部３５から出力される。

【0058】

したがって、レンダラ部３５は、没入提示デバイス１１に対して提示用全天球画像を出力（供給）して表示させることで、没入提示デバイス１１における提示用全天球画像の表示を制御する表示制御部として機能するということができる。

【0059】

また、編集反映処理部３４は、ユーザによる編集に関する操作がリアルタイムで反映された全天球画像や、ＵＩ画像、没入操作部モデル画像を生成する画像処理部として機能するということができる。

【0060】

〈没入操作部モデル画像とＵＩ画像の表示について〉
以上において説明した編集システムでは、没入提示デバイス１１を装着したユーザ（編集者）が、没入提示デバイス１１を頭部から外すことなく全天球画像のプレビューや編集などの基本的な作業を全て行うことができるようになっている。

【0061】

例えばユーザが没入提示デバイス１１を装着して提示用全天球画像を再生している状態では、ユーザが自身の頭部を動かすと、提示用全天球画像におけるユーザの頭部の方向に応じた領域がユーザに対して提示された状態となる。したがって、ユーザはあたかも提示用全天球画像により表示される空間の中にいるかのように感じることができる。

【0062】

提示用全天球画像には、編集対象となるコンテンツ自体である全天球画像に加えて、上述した没入操作部モデル画像と、ＵＩ画像とが重畳表示されている。

【0063】

また、例えばＵＩ画像として、撮影画像の一部を切り出したシースルーウィンドウ、全天球画像の再生や編集のためのメニュー項目からなるメニュー画像、全天球画像の再生や編集を行うためのウィンドウ（画面）であり、ディスプレイ１２にも表示される補助ウィンドウが提示用全天球画像に表示される。

【0064】

ここで、没入操作部モデル画像、シースルーウィンドウ、メニュー画像、および補助ウィンドウについて説明する。

【0065】

まず、没入操作部モデル画像について説明する。

【0066】

例えば、図２に示すように没入操作部１４として専用のコントローラやペン型の入力デバイスが用いられることがある。

【0067】

すなわち、図２の矢印Ａ１１に示すように、ユーザが没入操作部１４としての専用のコントローラＣＴ１１を手で持って各種の操作を行うこともあれば、矢印Ａ１２に示すように、ユーザが没入操作部１４としてのペン型の入力デバイスＰＮ１１を手で持って各種の操作を行うこともある。

【0068】

例えば矢印Ａ１１に示すように、ユーザがコントローラＣＴ１１を没入操作部１４として用いる場合、画像処理装置１５では、位置姿勢検出部３１によりコントローラＣＴ１１の位置および姿勢がトラッキングされる。

【0069】

そして、提示用全天球画像上では、没入操作部モデル画像として、コントローラＣＴ１１を模した画像が表示される。

【0070】

このとき、没入操作部モデル画像により表されるコントローラＣＴ１１のモデルは、実際のコントローラＣＴ１１と全く同じ位置および姿勢で表示される。

【0071】

すなわち、ユーザが没入提示デバイス１１を装着している状態で、ユーザから見て没入操作部モデル画像として表示されているコントローラＣＴ１１のモデルがある位置を、モデル提示位置と呼ぶこととする。この例ではユーザにはモデル提示位置にコントローラＣＴ１１のモデルがあるかのように没入操作部モデル画像が提示されている。

【0072】

このような状態から、ユーザが没入提示デバイス１１を外したとすると、ユーザにはモデル提示位置に実際のコントローラＣＴ１１が見える状態となっている。

【0073】

このように実際のコントローラＣＴ１１の位置と全く同じ位置に、実際のコントローラＣＴ１１の姿勢と全く同じ姿勢でコントローラＣＴ１１の没入操作部モデル画像を表示させることで、ユーザは簡単かつ直感的に没入操作部１４による操作を行うことができる。その結果、より簡単に編集等の作業を行うことができる。

【0074】

編集反映処理部３４では、位置姿勢検出部３１で得られたコントローラＣＴ１１の位置および姿勢の検出結果に基づいて、没入操作部モデル画像が生成される。また、レンダラ部３５では、位置姿勢検出部３１から供給されるコントローラＣＴ１１の位置姿勢情報を参照すれば、コントローラＣＴ１１の没入操作部モデル画像を、全天球画像上における実際のコントローラＣＴ１１に対応する位置に重畳することができる。換言すれば、レンダラ部３５は、全天球画像上におけるコントローラＣＴ１１の位置姿勢情報により定まる位置に、没入操作部モデル画像を表示させることができる。

【0075】

例えば、没入操作部１４としてコントローラＣＴ１１を用いる場合、提示用全天球画像上では、没入操作部モデル画像により表されるコントローラＣＴ１１のモデルから直線状のポインタが表示される。

【0076】

このポインタは、ユーザが実際のコントローラＣＴ１１を動かすと、提示用全天球画像上においてコントローラＣＴ１１のモデルとともに動くので、ユーザはコントローラＣＴ１１を動かすことで、ポインタにより提示用全天球画像上の任意の位置を指し示すことができる。そのため、例えばユーザはポインタにより全天球画像上の所望の位置を指定し、その所望の位置が指定された状態で実際のコントローラＣＴ１１のボタンを操作するなどして、全天球画像の指定した領域にエフェクトを施すなどの操作入力を行うことができる。

【0077】

その他、例えばユーザはポインタにより全天球画像上のメニュー画像等のＵＩのボタンを指定して実行を指示するなどし、全天球画像の再生や編集に関する操作を行うこともできる。

【0078】

なお、操作検出部３２では、実際のコントローラＣＴ１１の位置姿勢情報を参照すれば、ポインタと提示用全天球画像とが交差する位置、すなわちポインタにより指定されている提示用全天球画像上の位置を特定することができる。

【0079】

また、図２の矢印Ａ１２に示すように、没入操作部１４として入力デバイスＰＮ１１が用いられる場合にも、コントローラＣＴ１１における場合と同様に入力デバイスＰＮ１１の位置および姿勢がトラッキングされる。

【0080】

そして、提示用全天球画像上では、実際の入力デバイスＰＮ１１と同じ位置に、入力デバイスＰＮ１１と同じ姿勢で、没入操作部モデル画像として入力デバイスＰＮ１１のモデルが表示される。

【0081】

この場合、ユーザは入力デバイスＰＮ１１により入力デバイス１３としてのペンタブレットを操作して所望の操作入力を行うことができるだけでなく、入力デバイスＰＮ１１を動かすことで入力デバイスＰＮ１１のモデルにより提示用全天球画像上の任意の位置を指定することもできる。

【0082】

したがって、例えばユーザは、入力デバイスＰＮ１１のモデルにより提示用全天球画像上のメニュー画像等のＵＩのボタンを指定するなどし、全天球画像の再生や編集に関する操作を行うこともできる。同様に、ユーザは入力デバイスＰＮ１１のモデルにより全天球画像上の任意の位置を指定し、その位置を含む領域にエフェクトを施す等の操作入力を行うこともできる。

【0083】

操作検出部３２では、コントローラＣＴ１１における場合と同様に、入力デバイスＰＮ１１の位置姿勢情報を参照することで、入力デバイスＰＮ１１により指定されている空間上の位置、すなわち提示用全天球画像上の位置を特定することができる。

【0084】

また、没入操作部１４としてユーザ自身の手を用いる場合にも、入力デバイスＰＮ１１と同様にして没入操作部モデル画像を表示させ、提示用全天球画像上の任意の位置を指定することができる。

【0085】

その他、没入操作部１４の例としてマウスやキーボードなどについても位置および姿勢をトラッキングし、提示用全天球画像上にそれらのマウスやキーボードのモデルを没入操作部モデル画像として表示させるようにしてもよい。この場合においてもマウスやキーボードのモデルは、実際の没入操作部１４としてのマウスやキーボードと同じ位置に同じ姿勢で表示される。

【0086】

以上のような没入操作部モデル画像は、実際の没入操作部１４を、提示用全天球画像上の同じ位置に同じ姿勢で投影する自己投影グラフィックスである。

【0087】

次に、編集反映処理部３４で生成されるＵＩ画像の１つであるシースルーウィンドウについて説明する。

【0088】

例えばユーザが没入提示デバイス１１を頭部に装着した状態では、基本的にはユーザは、自身の手元にあるマウスやキーボード、ペンタブレットといった入力デバイス１３を目視で確認することができない。このように入力デバイス１３がユーザに見えない状態では、全天球画像の編集等を行う際に、手探りで入力デバイス１３を見つけたり操作したりしなければならず、不便である。

【0089】

そこで、編集システムでは、ユーザが没入提示デバイス１１を装着した状態でも入力デバイス１３を含む自身の手元の領域を確認することができるように、シースルーウィンドウが全天球画像に重畳されて表示される。

【0090】

例えばシースルーウィンドウは、撮影部２１で得られた撮影画像の特定の領域を編集反映処理部３４が切り出すことで生成される画像である。撮影画像上におけるシースルーウィンドウとして切り出される領域は、予め定められたユーザ近傍の領域であり、例えばユーザが大よそ正面を向いている状態でユーザの手元の部分となる領域などとされる。したがって、シースルーウィンドウは、被写体としてユーザの手元にある入力デバイス１３が含まれている画像であるということができる。なお、撮影画像がそのままシースルーウィンドウとされてもよい。

【0091】

具体的な例として、例えば提示用全天球画像上には、図３に示すシースルーウィンドウが表示される。

【0092】

すなわち、図３の矢印Ａ２１に示す例では、シースルーウィンドウＳＷ１１内には実空間上に存在する入力デバイス１３としてのマウスＩＤ１１およびキーボードＩＤ１２と、それらの入力デバイス１３を操作するユーザの両手とが表示されている。

【0093】

ここで、シースルーウィンドウＳＷ１１内の各被写体は、ユーザから見て実空間上のそれらの被写体の位置と同じ位置に表示されている。

【0094】

例えばユーザが没入提示デバイス１１を装着している状態で、ユーザから見てシースルーウィンドウＳＷ１１上に表示されているマウスＩＤ１１がある位置を、モデル提示位置と呼ぶこととする。このような状態から、ユーザが没入提示デバイス１１を外したとすると、ユーザにはモデル提示位置に実際のマウスＩＤ１１が見える状態となっている。

【0095】

このようにシースルーウィンドウＳＷ１１では、実際の位置と全く同じ位置に撮影部２１の視野の一部により見えているもの、特にユーザの手元にあるものが表示される。

【0096】

したがって、ユーザは自分の手や、手元にあるマウスＩＤ１１、キーボードＩＤ１２などを、没入提示デバイス１１を装着した状態で確認しながら操作することができる。これにより、編集システムの使い勝手を向上させることができる。すなわち、より簡単に編集等の作業を行うことができる。

【0097】

なお、レンダラ部３５では、通信部３６から供給される没入提示デバイス１１の位置姿勢情報を参照すれば、シースルーウィンドウＳＷ１１を全天球画像上における実際の撮影部２１の視野の対応する位置に重畳表示させることができる。すなわち、レンダラ部３５では、没入提示デバイス１１の位置および姿勢により定まる全天球画像上の位置にシースルーウィンドウＳＷ１１の画像が重畳される。

【0098】

したがって、例えばユーザが頭部を動かせば、その頭部の動きに合わせて提示用全天球画像上におけるシースルーウィンドウＳＷ１１の位置も移動することになり、ユーザは常に自身の手元をシースルーウィンドウＳＷ１１により確認することができる。

【0099】

特に、ユーザが自身の頭部の向きを適切に調整することで、マウスＩＤ１１やキーボードＩＤ１２など、自分の見たい被写体がシースルーウィンドウＳＷ１１上で表示されるようにすることができる。

【0100】

また、例えば図３の矢印Ａ２２に示す例では、シースルーウィンドウＳＷ１２内には実空間上に存在する入力デバイス１３としてのペンタブレットＩＤ２１と、ユーザ自身の手と、その手に保持している没入操作部１４としてのペン型の入力デバイスＰＮ２１とが表示されている。したがって、ユーザはシースルーウィンドウＳＷ１２を見ながら入力デバイスＰＮ２１によりペンタブレットＩＤ２１への入力操作を行うことができる。

【0101】

以上のようなシースルーウィンドウは、ユーザが没入提示デバイス１１を装着していなければ見えているであろうユーザの視野の一部の領域を、提示用全天球画像上の同じ位置に投影する自己投影グラフィックスである。

【0102】

提示用全天球画像上にシースルーウィンドウを表示させることで、ユーザは没入提示デバイス１１を装着した状態でも容易に入力デバイス１３を操作して編集等の作業を行うことができる。

【0103】

続いて、編集反映処理部３４で生成されるＵＩ画像の１つであるメニュー画像について説明する。

【0104】

例えばユーザが自身の手を没入操作部１４として用いる場合、ユーザは自身の手を動かして提示用全天球画像上の任意の位置（領域）を指定することができる。

【0105】

この場合、例えば図４に示すように提示用全天球画像における没入操作部モデル画像として表示されているユーザの手のモデルＨＤ１１近傍に、ユーザの手にリンクした再生コントローラ等のメニュー画像ＭＮ１１を表示させれば操作性を向上させることができる。

【0106】

この例では、例えばメニュー画像ＭＮ１１上には、コンテンツである全天球画像の再生や再生停止など、全天球画像の再生や編集に関する操作を指示するためのボタンが設けられている。

【0107】

また、メニュー画像ＭＮ１１は、手のモデルＨＤ１１に対して予め定められた位置に表示されるようになされており、ユーザが自身の手を移動させると、その手の移動に合わせてメニュー画像ＭＮ１１も移動する。すなわち、手のモデルＨＤ１１とメニュー画像ＭＮ１１との相対的な位置関係は常に同じとなっている。ユーザは、手のモデルＨＤ１１に対応する手とは反対の手を動かしてメニュー画像ＭＮ１１上のボタンを操作することで、全天球画像の再生や編集に関する操作を行うことができる。

【0108】

レンダラ部３５では、位置姿勢検出部３１から供給される没入操作部１４としてのユーザの手の位置姿勢情報を参照すれば、メニュー画像ＭＮ１１を全天球画像上における実際のユーザの手に対応する位置近傍に重畳表示させることができる。

【0109】

以上のようなユーザの手のモデルとその近傍に表示されるメニュー画像は、実際の没入操作部１４と仮想的なメニュー画像を、提示用全天球画像上に投影する自己投影グラフィックスである。提示用全天球画像上にメニュー画像を表示させることで、ユーザは没入提示デバイス１１を装着した状態でも容易にメニュー画像に対する操作により編集等の作業を行うことができる。

【0110】

さらに、編集反映処理部３４で生成されるＵＩ画像の１つである補助ウィンドウについて説明する。

【0111】

補助ウィンドウは、提示用全天球画像上に表示される、ユーザが没入提示デバイス１１を装着したままの状態で全天球画像の再生や編集を行うための補助画面である。

【0112】

図５は、ＵＩ画像の１つである補助ウィンドウの一例について示す図である。

【0113】

この例では、補助ウィンドウＷＤ１１には主にメディアビン領域ＷＲ１１、タイムライン領域ＷＲ１２、画像表示領域ＷＲ１３、および再生系ボタン表示領域ＷＲ１４が設けられている。

【0114】

例えばメディアビン領域ＷＲ１１は、編集反映処理部３４によりインポートされた編集対象となる全天球画像のサムネイル画像、つまり素材クリップのサムネイル画像が並べられて表示される領域である。

【0115】

ユーザは、メディアビン領域ＷＲ１１内に表示されているサムネイル画像を指定することで、指定したサムネイル画像に対応する素材クリップをタイムライン領域ＷＲ１２内のタイムライン上に並べて配置することができる。

【0116】

タイムライン領域ＷＲ１２には、メディアビン領域ＷＲ１１上で指定されたクリップ素材のサムネイル画像が時系列に並べられるタイムラインが表示されている。タイムラインには時刻のメモリも表示されており、メモリにより示される時刻の部分には、それらの時刻に対応するクリップ素材のサムネイル画像が表示されている。

【0117】

また、タイムライン領域ＷＲ１２ではタイムラインに重畳されて、処理対象とされている時刻を示すカーソルＣＲ１１も表示されている。編集中の素材クリップ（全天球画像）のうち、カーソルＣＲ１１により示される時刻の画像（フレーム）が画像表示領域ＷＲ１３内に表示される。

【0118】

なお、画像表示領域ＷＲ１３では、素材クリップ（全天球画像）として正距円筒形式の２次元の画像が表示されている。編集中の素材クリップは、提示用全天球画像上の補助ウィンドウＷＤ１１における画像表示領域ＷＲ１３に表示されるだけでなく、提示用全天球画像を構成する全天球画像としても表示される。この場合、提示用全天球画像を構成する全天球画像として表示される素材クリップは、正距円筒形式の画像を３Ｄモデルにマッピングして得られる画像である。

【0119】

再生系ボタン表示領域ＷＲ１４には、編集中の素材クリップの再生や再生停止、早送り、早戻しなどを指示するためのボタン（以下、再生系ボタンとも称する）が表示されている。ユーザは再生系ボタンを操作することにより、編集中の素材クリップを再生して確認したり、所望の位置（時刻）で再生を停止させたりすることができる。

【0120】

さらに、矢印Ａ４１に示す部分のボタンを操作すると、例えばプルダウン形式などの所定の形式で編集ツールを指定するためのツールボックスが表示される。

【0121】

ユーザは、ツールボックスを表示させて所望の編集ツールを指定するなどして、イン点やアウト点の指定、エフェクトの付加、全天球画像の正面点の指定、タイトル等のテキストデータの挿入など、各種の編集作業を行うことができる。

【0122】

具体的には、例えば素材クリップとしての全天球画像には付随情報が付加されており、付随情報により全天球画像の正面点を設定できるようになされている。

【0123】

ここで、正面点とは没入提示デバイス１１で全天球画像（素材クリップ）の表示を開始させるときに、没入提示デバイス１１を装着しているユーザから見て正面の方向に表示される全天球画像上の位置である。

【0124】

例えば各素材クリップには予め付随情報が付加されており、素材クリップの編集前の状態では付随情報により示される正面点は撮影時の正面点となっている。素材クリップの編集時には、ユーザは編集ツール等を利用して各素材クリップの付随情報を編集することで、付随情報により示される正面点を所望の位置に変更することができる。

【0125】

例えば付随情報編集時における正面点とする位置の指定は、補助ウィンドウＷＤ１１における画像表示領域ＷＲ１３に表示された素材クリップ（全天球画像）上の位置を指定することにより行われてもよいし、没入提示デバイス１１に表示された提示用全天球画像上の位置を直接指定することにより行われてもよい。

【0126】

なお、ここでは素材クリップの付随情報の例として正面点を編集できる例について説明したが、その他、付随情報として他のどのような情報を編集できるようにしてもよい。

【0127】

また、補助ウィンドウＷＤ１１では素材クリップのイン点とアウト点を指定することができるようになされている。例えば、ユーザが編集ツールによりタイムライン上に並べられた各素材クリップのイン点とする時刻とアウト点とする時刻とを指定したとする。

【0128】

この場合、編集反映処理部３４ではタイムライン上の各素材クリップについて素材クリップのイン点からアウト点までの区間が切り出され、それらの素材クリップの切り出された区間が繋ぎ合わせられて１つの全天球画像とされる。このとき素材クリップ同士の繋ぎ目、つまり境界位置の部分には、例えばディゾルブなどの処理によりトランジション効果が施されて、素材クリップから次の素材クリップへと違和感なく映像が遷移するようになされる。

【0129】

さらに、補助ウィンドウＷＤ１１では、例えばユーザが素材クリップ（全天球画像）の所望の領域を指定して、その指定した領域に対して編集ツールによりエフェクト処理を施したり、指定した領域にタイトル等を挿入したりすることもできる。例えばエフェクト処理としてホワイトバランス調整や明るさ調整を行ったり、ノイズ低減処理を行ったり、ソフトフィルタ処理を行ったりすることができる。

【0130】

なお、エフェクトを施す対象となる領域やタイトルの挿入位置の指定は、補助ウィンドウＷＤ１１における画像表示領域ＷＲ１３に表示された素材クリップ（全天球画像）上の領域を指定することにより行われてもよいし、没入提示デバイス１１に表示された提示用全天球画像上の領域を直接指定することにより行われてもよい。

【0131】

編集システムでは、以上のような補助ウィンドウＷＤ１１が提示用全天球画像上だけでなく、ディスプレイ１２上にも表示される。なお、ここでは補助ウィンドウＷＤ１１が表示される例について説明したが、例えば提示用全天球画像上やディスプレイ１２上にタイムラインのみが表示されるなど、補助ウィンドウＷＤ１１の一部のみが表示されるようにしてもよい。

【0132】

また、補助ウィンドウＷＤ１１は、没入提示デバイス１１を装着しているユーザから見て常に同じ位置に同じ姿勢で表示されるようにしてもよいし、常に提示用全天球画像における同じ位置に同じ姿勢で表示されるようにしてもよい。

【0133】

例えば補助ウィンドウＷＤ１１が没入提示デバイス１１を装着しているユーザから見て常に同じ位置に同じ姿勢で表示されるとする。換言すれば、補助ウィンドウＷＤ１１の位置および姿勢が没入提示デバイス１１に対して固定されているとする。

【0134】

そのような場合、没入提示デバイス１１を装着したユーザが頭部を動かしても、提示用全天球画像上では、ユーザから見て常に同じ位置に同じ姿勢で補助ウィンドウＷＤ１１が表示された状態となる。すなわち、ユーザが頭部を動かしてもユーザと補助ウィンドウＷＤ１１との相対的な位置関係は変化しない。

【0135】

この例では、レンダラ部３５では通信部３６から供給される没入提示デバイス１１の位置姿勢情報を参照すれば、補助ウィンドウＷＤ１１を全天球画像上におけるユーザから見て予め定められた位置に予め定められた姿勢で重畳表示させることができる。換言すれば、レンダラ部３５では、没入提示デバイス１１の位置および姿勢により定まる全天球画像上の位置に補助ウィンドウＷＤ１１の画像が重畳される。

【0136】

これに対して、補助ウィンドウＷＤ１１が常に提示用全天球画像上の同じ位置に同じ姿勢で表示される場合、レンダラ部３５ではユーザの頭部の方向によらず、補助ウィンドウＷＤ１１が全天球画像上における予め定められた位置に予め定められた姿勢で重畳表示される。換言すれば、補助ウィンドウＷＤ１１は実空間上の所定位置を原点とする世界座標系の予め定められた位置に固定されて表示された状態となる。

【0137】

したがって、この場合、没入提示デバイス１１を装着したユーザが頭部を動かすと、その頭部の動きに応じてユーザから見た補助ウィンドウＷＤ１１の表示位置が変化することになる。つまり、ユーザの頭部の動きに応じて、ユーザと補助ウィンドウＷＤ１１との相対的な位置関係が変化することになる。

【0138】

なお、ユーザは没入操作部１４を操作するなどして、提示用全天球画像上における補助ウィンドウＷＤ１１の位置を移動させたり、補助ウィンドウＷＤ１１の大きさを変化させたりすることができるようにしてもよい。

【0139】

具体的には、例えばユーザが没入操作部１４として図２に示したコントローラＣＴ１１を操作しているものとする。

【0140】

この場合、例えばユーザは、コントローラＣＴ１１を動かすことによって、提示用全天球画像上でコントローラＣＴ１１のモデルを動かして、そのモデルから延びるポインタにより補助ウィンドウＷＤ１１を指定した状態とする。

【0141】

一例としてポインタにより補助ウィンドウＷＤ１１が指定されている状態とは、例えばポインタが補助ウィンドウＷＤ１１と交差する位置にあり、かつコントローラＣＴ１１の所定のボタンが押されている状態などとされる。

【0142】

ユーザはポインタにより補助ウィンドウＷＤ１１が指定された状態で、さらにコントローラＣＴ１１を動かすことでドラッグ操作を行う等して、補助ウィンドウＷＤ１１の表示位置を移動させたり、補助ウィンドウＷＤ１１を拡大または縮小させたりする。

【0143】

すなわち、例えばユーザは、ポインタにより補助ウィンドウＷＤ１１を指定している方のコントローラＣＴ１１を動かすことで補助ウィンドウＷＤ１１を移動させる。このとき、ポインタの移動先の位置が、補助ウィンドウＷＤ１１の移動先の位置とされる。

【0144】

また、例えばユーザは２つのコントローラＣＴ１１のそれぞれにより補助ウィンドウＷＤ１１が指定されている状態から、それらの２つのコントローラＣＴ１１を近づけたり遠ざけたりすることで、補助ウィンドウＷＤ１１を拡大させたり縮小させたりする。

【0145】

さらに、例えば提示用全天球画像上において、補助ウィンドウＷＤ１１がユーザから見て凹曲面の形状となるように湾曲された状態で表示されるとする。この場合、ユーザは没入操作部１４を操作するなどして、補助ウィンドウＷＤ１１の曲がり具合、すなわち凹曲面の形状の湾曲度合いを調整することができるようにしてもよい。

【0146】

〈編集作業の例について〉
続いて、ユーザにより行われる全天球画像の編集作業の例、すなわち編集システムの具体的な利用シーンの例について説明する。

【0147】

ここでは、一例として複数の素材クリップを繋ぎ合わせて５分程度のドキュメンタリー映像を製作するケースについて説明する。

【0148】

まず、ユーザは没入操作部１４や入力デバイス１３を操作して、例えば１０個程度の素材クリップ（全天球画像）を順番に指定するとともに、それらの素材クリップの再生を指示し、各素材クリップをプレビューする。

【0149】

この場合、操作検出部３２は、没入操作部１４や入力デバイス１３から供給された信号および位置姿勢検出部３１から供給された位置姿勢情報に応じて、指定された素材クリップの再生を指示する操作検出情報を生成し、編集反映処理部３４に供給する。

【0150】

編集反映処理部３４は、操作検出部３２からの操作検出情報に応じて、指定された素材クリップをレンダラ部３５に供給する。また、レンダラ部３５は、編集反映処理部３４から供給された素材クリップを全天球画像とする提示用全天球画像を通信部３６を介して没入提示デバイス１１に供給し、再生させる。

【0151】

素材クリップが再生されて、それらの素材クリップのプレビューが終了すると、ユーザは没入操作部１４や入力デバイス１３を操作して所望の素材クリップを指定し、それらの指定した素材クリップのインポートを指示する。

【0152】

すると、操作検出部３２は、ユーザの操作に応じて素材クリップをインポートする旨の操作検出情報を生成し、編集反映処理部３４に供給する。

【0153】

編集反映処理部３４は、操作検出部３２からの操作検出情報に応じて、指定された素材クリップをインポートする。素材クリップのインポート時には、編集反映処理部３４は必要に応じて素材クリップを、正距円筒形式の画像データから、その画像データを３Ｄモデルにマッピングして得られる形式の画像データに変換して保持部３３に供給し、保持させる。

【0154】

このようにして素材クリップがインポートされると、没入提示デバイス１１やディスプレイ１２に表示されている補助ウィンドウＷＤ１１では、それらの素材クリップのサムネイル画像がメディアビン領域ＷＲ１１に並べられて表示される。

【0155】

ユーザは、没入操作部１４や入力デバイス１３を操作してメディアビン領域ＷＲ１１内のサムネイル画像を指定する等して、各素材クリップをタイムライン領域ＷＲ１２内のタイムライン上に並べる。

【0156】

編集反映処理部３４は、操作検出部３２から供給された操作検出情報に応じて、タイムライン上に指定された素材クリップのサムネイル画像が表示された、すなわちユーザの操作が反映された補助ウィンドウＷＤ１１の画像を生成し、レンダラ部３５およびディスプレイ１２に供給する。

【0157】

レンダラ部３５は、編集反映処理部３４から供給された補助ウィンドウＷＤ１１の画像を全天球画像に重畳して提示用全天球画像を生成し、得られた提示用全天球画像を通信部３６を介して没入提示デバイス１１に供給して表示させる。

【0158】

例えばタイムライン上に指定された素材クリップのサムネイル画像が並べられると、素材クリップのカーソルＣＲ１１により示される時刻のフレームが編集中のフレームとして没入提示デバイス１１に表示された状態となる。つまり、全天球画像としての編集中の素材クリップのフレーム上に補助ウィンドウＷＤ１１や他のＵＩ画像が重畳されたものが提示用全天球画像として没入提示デバイス１１に表示された状態となる。

【0159】

ユーザは没入操作部１４や入力デバイス１３を操作して、タイムラインに並べられた各素材クリップについてイン点とアウト点を指定した後、全天球画像にナレーションの付加を指示する。すると、操作検出部３２は、没入操作部１４や入力デバイス１３からの信号と、位置姿勢検出部３１から供給された位置姿勢情報とに基づいてユーザの操作を検出し、その検出結果を示す操作検出情報を編集反映処理部３４に供給する。

【0160】

編集反映処理部３４は、操作検出部３２から供給された操作検出情報に応じて、各素材クリップのイン点からアウト点までの区間を切り出して繋ぎ合わせ、それらの素材クリップの繋ぎ合わせる部分、つまり境界部分に対してディゾルブなどの処理を施す。また、編集反映処理部３４は、それらの繋ぎ合わせた素材クリップからなる１つの全天球画像に対して指定されたナレーションの音声データを付加する。

【0161】

さらに、ユーザは没入操作部１４や入力デバイス１３を操作して、各素材クリップについて正面点を指定したり、素材クリップの所望の位置にタイトルを挿入したりする。タイトルの挿入時には、ユーザが没入操作部１４等を操作して没入提示デバイス１１に表示されている提示用全天球画像上の位置をタイトルの挿入位置として指定すれば、ユーザは直感的に挿入するタイトルのサイズと挿入位置を指定することができる。

【0162】

このような操作が行われると、操作検出部３２は、没入操作部１４や入力デバイス１３からの信号と、位置姿勢検出部３１から供給された位置姿勢情報とに基づいてユーザの操作を検出し、その検出結果を示す操作検出情報を編集反映処理部３４に供給する。

【0163】

編集反映処理部３４は、操作検出部３２から供給された操作検出情報に応じて、各素材クリップの正面点がユーザにより指定された位置となるように素材クリップの付随情報を編集したり、素材クリップにタイトルを挿入したりする。

【0164】

編集反映処理部３４では、ユーザによる編集操作が編集中の素材クリップ（全天球画像）に対してリアルタイムで反映され、編集操作が反映された素材クリップが編集反映処理部３４からレンダラ部３５へと供給される。

【0165】

そして、レンダラ部３５では編集操作反映後の素材クリップ（全天球画像）についてレンダリング処理が行われて提示用全天球画像が生成され、没入提示デバイス１１で表示される。したがって、ユーザは自身の編集操作が反映された素材クリップを、没入提示デバイス１１を装着したまま直ちに確認することができる。

【0166】

ユーザの編集作業が終了し、最終的な１つのコンテンツである全天球画像が得られると、ユーザは没入操作部１４や入力デバイス１３を操作して編集により得られた全天球画像の再生を指示し、全天球画像をプレビューする。

【0167】

この場合、操作検出部３２は、没入操作部１４や入力デバイス１３から供給された信号と、位置姿勢検出部３１から供給された位置姿勢情報とに応じて、全天球画像の再生を指示する操作検出情報を生成し、編集反映処理部３４に供給する。

【0168】

編集反映処理部３４は、操作検出部３２からの操作検出情報に応じて、編集により得られた全天球画像をレンダラ部３５に供給する。また、レンダラ部３５は、編集反映処理部３４から供給された全天球画像に基づいてレンダリング処理を行い、得られた提示用全天球画像を、通信部３６を介して没入提示デバイス１１に供給し、再生させる。

【0169】

ユーザは、編集により得られた全天球画像を没入提示デバイス１１で再生させて確認すると、没入操作部１４や入力デバイス１３を操作して全天球画像の保存を指示する。すると、レンダラ部３５は、ユーザの操作に応じて、編集により得られた全天球画像を例えば正距円筒形式の画像データ（例えばmp4ファイル）などの適切な形式の画像データに変換して、得られた全天球画像を出力したり記録したりする。

【0170】

このように編集システムでは、ユーザが没入提示デバイス１１を装着したままで素材クリップのプレビューから、編集、完成した全天球画像のプレビューまでの全作業を簡単に行うことができる。

【0171】

特に、正面点の指定やタイトル挿入等の編集作業については、没入提示デバイス１１に全天球画像が表示されている状態で、つまり実際に再生時の全天球画像が表示されている状態で、その全天球画像の各部を確認しながら作業を行うことができる。したがって、より簡単に自身の意図通りの編集作業を行うことができる。

【0172】

〈コンテンツ編集処理の説明〉
次に、編集システムにおいて行われる処理の流れについて説明する。

【0173】

すなわち、以下、図６のフローチャートを参照して、編集システムにより行われるコンテンツ編集処理について説明する。

【0174】

ステップＳ１１において、位置姿勢検出部３１は、没入操作部１４の位置および姿勢を検出し、その検出結果を示す位置姿勢情報を操作検出部３２、編集反映処理部３４、およびレンダラ部３５に供給する。

【0175】

また、通信部３６は、没入提示デバイス１１から、没入提示デバイス１１の位置姿勢情報および撮影画像を取得し、位置姿勢情報をレンダラ部３５に供給するとともに撮影画像を編集反映処理部３４に供給する。

【0176】

ステップＳ１２において、操作検出部３２は、位置姿勢検出部３１から供給された位置姿勢情報、入力デバイス１３から供給された信号、および没入操作部１４から供給された信号に基づいてユーザによる操作入力を検出し、その検出結果を示す操作検出情報を編集反映処理部３４に供給する。

【0177】

例えば操作検出部３２は、没入操作部１４の位置姿勢情報と没入操作部１４から供給された信号とに基づいて、ユーザによる補助ウィンドウ上の特定ボタンの操作が検出された場合、その検出結果を示す操作検出情報を生成して編集反映処理部３４に供給する。

【0178】

ステップＳ１３において、編集反映処理部３４は、操作検出部３２から供給された操作検出情報に基づいて、ユーザにより編集が指示されたか否かを判定する。

【0179】

例えばステップＳ１３では、操作検出情報がタイトルの挿入や正面点の指定、エフェクトの付加、イン点とアウト点の指定などの編集に関する操作を示している場合、編集が指示されたと判定される。

【0180】

ステップＳ１３において編集が指示されたと判定された場合、ステップＳ１４において編集反映処理部３４は、操作検出部３２から供給された操作検出情報により示される編集に関する操作入力に応じた編集処理を行う。

【0181】

例えば編集反映処理部３４は、保持部３３に保持されている全天球画像を読み出して、全天球画像に対してタイトルを挿入したり、全天球画像の付随情報を編集したり、全天球画像に対してエフェクトを施したりする処理等を編集処理として行う。

【0182】

編集処理が行われると、編集反映処理部３４は、編集処理により得られた全天球画像をレンダラ部３５に供給し、処理はステップＳ１５へと進む。

【0183】

これに対して、ステップＳ１３において編集が指示されなかったと判定された場合、ステップＳ１４の処理は行われず、処理はステップＳ１５へと進む。

【0184】

ステップＳ１４の処理が行われたか、またはステップＳ１３において編集が指示されなかったと判定されると、ステップＳ１５において編集反映処理部３４は、ＵＩ画像を生成する。

【0185】

ステップＳ１５では、例えば上述したシースルーウィンドウの画像や補助ウィンドウの画像、メニュー画像などがＵＩ画像として生成される。

【0186】

すなわち、例えば編集反映処理部３４は、通信部３６から供給された撮影画像の一部を切り出してシースルーウィンドウの画像を生成したり、操作検出情報に基づいてユーザの操作が反映された補助ウィンドウの画像を生成したりする。

【0187】

ステップＳ１６において、編集反映処理部３４は、位置姿勢検出部３１から供給された位置姿勢情報に基づいて没入操作部モデル画像を生成する。

【0188】

編集反映処理部３４は、ステップＳ１５およびステップＳ１６の処理で生成されたＵＩ画像および没入操作部モデル画像をレンダラ部３５に供給する。また、ステップＳ１５で生成されたＵＩ画像としての補助ウィンドウは、編集反映処理部３４からディスプレイ１２にも供給されて、ディスプレイ１２に補助ウィンドウが表示される。

【0189】

ステップＳ１７において、レンダラ部３５は、通信部３６から供給された没入提示デバイス１１の位置姿勢情報、および位置姿勢検出部３１から供給された没入操作部１４の位置姿勢情報に基づいてレンダリング処理を行う。

【0190】

すなわち、レンダラ部３５は、没入提示デバイス１１や没入操作部１４の位置姿勢情報に基づいて、編集反映処理部３４から供給された全天球画像の適切な位置に没入操作部モデル画像およびＵＩ画像を重畳し、提示用全天球画像を生成する。また、レンダラ部３５は、適宜、提示用全天球画像を没入提示デバイス１１で取り扱うことが可能な形式の画像データに変換し、通信部３６に供給する。

【0191】

ステップＳ１８において、通信部３６はレンダラ部３５から供給された提示用全天球画像を没入提示デバイス１１に出力する。また、没入提示デバイス１１は通信部３６から供給された提示用全天球画像を表示する。

【0192】

換言すれば、レンダラ部３５は、通信部３６を介して没入提示デバイス１１に提示用全天球画像を供給し、その提示用全天球画像を表示させる。特に、ステップＳ１４で編集に関する操作入力に応じた編集処理が行われた場合には、その編集に関する操作入力がリアルタイムで反映された提示用全天球画像が表示されるように、レンダラ部３５により没入提示デバイス１１における表示が制御されることになる。

【0193】

没入提示デバイス１１で提示用全天球画像が表示されると、没入提示デバイス１１を装着しているユーザは、編集中の全天球画像を没入提示デバイス１１で確認しながら没入操作部１４や入力デバイス１３を操作して、編集作業を行うことができる。

【0194】

なお、ステップＳ１８では通信部３６が没入提示デバイス１１とは異なる他の没入提示デバイスにも提示用全天球画像を出力するようにしてもよい。すなわち、没入提示デバイス１１と他の没入提示デバイスに対して、同じ提示用全天球画像が同時に出力されるようにしてもよい。このようにすることで、没入提示デバイス１１を含む複数の没入提示デバイスにおいて、同じ提示用全天球画像を同時に見ることができるようになる。

【0195】

ステップＳ１９において、画像処理装置１５は処理を終了するか否かを判定する。例えばステップＳ１９では、ユーザにより編集の終了が指示された場合、処理を終了すると判定される。

【0196】

ステップＳ１９において、まだ処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返し行われる。

【0197】

これに対して、ステップＳ１９において処理を終了すると判定された場合、コンテンツ編集処理は終了する。この場合、適宜、編集により得られた全天球画像が保存されたり、外部の装置に出力されたりする。

【0198】

以上のようにして編集システムは、ユーザの操作に応じて全天球画像上にＵＩ画像や没入操作部モデル画像を重畳して提示用全天球画像を生成し、没入提示デバイス１１で表示させる。これにより、ユーザは、没入提示デバイス１１を装着したままの状態で、全天球画像を確認しながらより簡単に編集作業を行うことができる。

【0199】

＜具体的な編集例＞
上記したように、本実施の形態によれば、全天球画像を確認しながらより簡単に編集作業を行うことができる。ここで、その編集の一例を説明する。

【0200】

図７は、没入提示デバイス１１に表示される画面例を示している。没入提示デバイス１１には、提示用全天球画像が、画面全体に表示されている。

【0201】

画面中央下側には、没入操作部モデル画像としてコントローラＣＴ１１が表示されている。以下、画面に表示されているコントローラＣＴ１１の没入操作部モデル画像を、没入操作部モデル画像ＣＴ１１と記述する。

【0202】

没入操作部モデル画像ＣＴ１１の先端からは、ポインタ１０１が出ている。このポインタ１０１は、レーザーポインタを模写したような絵となっており、所定の色の直線で表示されている。図７に示した例では、ポインタ１０１の先端は、“ｄｅｍｏ”といった文字１０２を指している。

【0203】

この文字１０２は、提示用全天球画像上に重畳（オーバーレイ）されている文字である。ここでは、文字を例に挙げて説明するが、マークなどであっても良い。文字１０２は、提示用全天球画像に重畳されている画像の一例である。

【0204】

時刻Ｔ１において、文字１０２は、図中左側の位置Ｐ１に表示されていたとする。また、時刻Ｔ１においては、没入操作部モデル画像ＣＴ１１の先端は、位置Ｐ１の方を向いており、没入操作部モデル画像ＣＴ１１からのポインタ１０１は、文字１０２を指している状態である。

【0205】

時刻Ｔ１において、ユーザがコントローラＣＴ１１のボタン（例えば、図９に示すボタン１２２）を操作し、コントローラＣＴ１１を、右方向に移動させる。この操作により、文字１０２が捕まれ（ドラッグされ）、位置Ｐ２まで移動される。

【0206】

すなわち時刻Ｔ１から時刻Ｔ２の間、コントローラＣＴ１１のボタンが押し込まれたまま、左側から右側に先端部分が移動するような操作がなされた場合、換言すれば、ポインタ１０１の先端が、位置Ｐ１から位置Ｐ２まで移動するような操作が、ボタンが操作されたままなされた場合、文字１０２は、位置Ｐ１から位置Ｐ２に移動される。

【0207】

すなわちユーザは、コントローラＣＴ１１を用いて、所謂ドラッグアンドドロップという操作を行うことで、提示用全天球画像内で、文字１０２を所望の位置に移動させることができる。

【0208】

ユーザは、このような操作を、没入提示デバイス１１を装着した状態で行えるため、また、没入提示デバイス１１で提示される提示用全天球画像を見ながら行えるため、例えば文字１０２を、背景で見づらくなる位置から、見やすい位置に移動させるといったことを容易に行うことができる。

【0209】

他の操作例として、ユーザは、文字１０２を所望の大きさに変更する操作も、提示用全天球画像を見ながら行うことができる。

【0210】

例えば、図８に示すように、時刻Ｔ１１において、文字１０２が所定の大きさで表示されており、この文字１０２を拡大したいとき、ユーザは、コントローラＣＴ１１を広げるような動作を行うことで、文字１０２を拡大させることができる。

【0211】

時刻Ｔ１１において、ユーザの左手に保持されているコントローラＣＴ１１（コントローラＣＴ１１Ｌとする）を表す没入操作部モデル画像ＣＴ１１Ｌと、ユーザの右手に保持されているコントローラＣＴ１１（コントローラＣＴ１１Ｒとする）を表す没入操作部モデル画像ＣＴ１１Ｒが、提示用全天球画像に重畳されて表示されている。

【0212】

ユーザは、文字１０２を拡大したい場合、コントローラＣＴ１１ＬまたはコントローラＣＴ１１Ｒの所定のボタンを操作し、文字１０２を選択し、コントローラＣＴ１１ＬとコントローラＣＴ１１Ｌを左右に広げるような操作を行う。

【0213】

時刻Ｔ１２として示したように、コントローラＣＴ１１ＬとコントローラＣＴ１１Ｌを左右に広げるような操作が行われることで、文字１０２が拡大される。なお図示していないが、コントローラＣＴ１１ＬとコントローラＣＴ１１Ｌを左右に狭めるような操作が行われた場合には、文字１０２が縮小される。

【0214】

このように、文字１０２の拡大や縮小といったサイズの変更は、２つのコントローラＣＴ１１を左右に広げるまたは狭めるといった簡便な操作で行うことができる。

【0215】

また、このような文字１０２の大きさの変更も、提示用全天球画像内で行うことができるため、実際に提示される全天球画像上での大きさを確認しながら所望の大きさとすることができる。

【0216】

＜コントローラの構成＞
このような操作を行えるコントローラＣＴ１１について説明を加える。

【0217】

コントローラＣＴ１１は、図９に示すように、タッチパッド１２１、ボタン１２２、ボタン１２３を備える。タッチパッド１２１は、平板状のセンサであり、その上を指でなぞったり、タップしたりすることでマウスポインタと同様の操作を行うことができるように構成されている。

【0218】

ボタン１２２とボタン１２３は、所定の処理が割り当てられており、押下されることで、その割り当てられている操作の指示を出せるように構成されている。例えば、上記したように、ボタン１２２には、全天球画像に重畳されている文字１０２を選択する（ドラッグする）ときに操作される。

【0219】

なお、図９に示したコントローラＣＴ１１の構成や形状は、一例であり、限定を示すものではない。例えば、図９に示したコントローラＣＴ１１には、２つのボタン１２２，１２３が設けられているが、さらに複数のボタンが設けられていても良いし、コントローラＣＴ１１の側面や裏面など、図９に示した以外の部分にも設けられていても良い。

【0220】

コントローラＣＴ１１は、図７や図８を参照して説明したように、没入提示デバイス１１が装着され、その没入提示デバイス１１で提示される画像を見ながら操作される。換言すれば、ユーザは、コントローラＣＴ１１を直接視認しながら操作を行うのではない。コントローラＣＴ１１は、直接視認しなくても操作できるような簡便な構成とされているのが良い。

【0221】

そこで、タッチパッド１２１に、複数の操作を割り当てる。すなわち、タッチパッド１２１は、指でなぞる、タップするなど、比較的位置を正確に確認していない状態でも、簡便に操作できる装置であり、さらに、そのようなタッチパッド１２１に複数の操作を割り当てておくことで、簡便に操作の指示を出すことができるようになる。

【0222】

例えば、図１０に示すように、タッチパッド１２１を５分割する。タッチパッド１２１の上部を領域１２１Ａとし、タッチパッド１２１の右部を領域１２１Ｂとし、タッチパッド１２１の下部を領域１２１Ｃとし、タッチパッド１２１の上部を領域１２１Ｄとし、タッチパッド１２１の中央部を領域１２１Ｅとする。

【0223】

例えば、領域１２１Ａをタップすることで、マーカの追加や移動を指示することができ、領域１２１Ｂをタップすることで、前のクリップへの移動を指示することができ、領域１２１Ｃをタップすることで、再生の停止を指示することができ、領域１２１Ｄをタップすることで、次のクリップへの移動を指示することができ、領域１２１Ｅをタップすることで、再生や一時停止を指示することができる。

【0224】

また、複数の領域１２１をなぞることでも指示を出せるようにしても良い。例えば、領域１２１Ｄから領域１２１Ｂを指でなぞることで（左から右方向に指を動かすことで）、早送りを指示することができ、領域１２１Ｂから領域１２１Ｄを指でなぞることで（右から左方向に指を動かすことで）、巻き戻しを指示することができたりするようにしても良い。

【0225】

このような操作は、コントローラＣＴ１１を直接視認しなくても行えるような簡便な操作である。このような操作を、コントローラＣＴ１１のタッチパッド１２１に、領域を分割することで割り当てる。この割り当ては、ユーザにより設定できる（カスタマイズできる）ような仕組みを設けても良い。

【0226】

また、ボタン１２２，１２３とタッチパッド１２１との操作が組み合わされることで、新たな操作の指示が出せるようにしても良い。例えば、ボタン１２２を押下しながら、タッチパッド１２１の領域１２１Ａが操作されたときには、付けられているマーカを削除する指示が出され、ボタン１２２を押下しながら、タッチパッド１２１の領域１２１Ｂが操作されたときには、３倍速で早送りする指示が出されるといったような指示が割り当てられているようにしても良い。

【0227】

また、タッチパッド１２１の所定の領域に割り当てられている操作を、ユーザに認識させるために、図１１に示したように、案内表示がされるようにしても良い。図１１に示した案内表示１５１は、タッチパッド１２１の形状を模写した円形内に、各領域１２１Ａ乃至Ｅに対応する位置に、それぞれコンテンツの再生に係わるマークが表示されている。

【0228】

領域１２１Ａに対応する位置には、一時停止のマークが表示され、領域１２１Ｂに対応する位置には、次のマーク（チャプター）に移動するときのマークが表示され、領域１２１Ｃに対応する位置には、再生停止のマークが表示され、領域１２１Ｄに対応する位置には、前のマーク（チャプター）に移動するときのマークが表示され、領域１２１Ｅに対応する位置には、再生のマークが表示されている。

【0229】

このような案内表示１５１は、常に表示されていても良いし、例えばタッチパッド１２１に触れたときに表示されるようにしても良い。また、表示されているときに、例えばボタン１２２が操作された場合、案内表示１５１内の案内が変更されるようにしてもよい。

【0230】

また例えば、図１１に示した案内表示１５１には、コンテンツの再生に関するマークが表示されているが、ボタン１２２が操作されると、コンテンツの編集に関するマークに切り替わるようにしても良い。

【0231】

すなわち、再生モード、編集モードといったモードの切り替えを、ボタン１２２を操作することでできるようにし、そのモードに対応する案内が、案内表示１５１に表示されるようにしても良い。

【0232】

なおここでは、案内表示１５１内にはマークが表示される例を示したが、マーク以外、例えば、“再生”、“停止”といった文言が表示されるようにしても良い。

【0233】

他の表示例として、タッチパッド１２１、ボタン１２２、またはボタン１２３のメニューを表示させる操作が割り当てられている操作部が操作されたときに、メニュー画面が表示されるようにしても良い。

【0234】

例えば、図１２に示すように、所定の操作がなされると、コントローラＣＴ１１Ｌを表す没入操作部モデル画像ＣＴ１１Ｌの右側に、メニュー１７１が表示される。図１２に示した例では、メニュー１７１として、“項目Ａ”、“項目Ｂ”、“項目Ｃ”が表示されている。

【0235】

ユーザは、メニュー１７１に表示されている項目Ａ、項目Ｂ、および項目Ｃの中から、所望な項目を、コントローラＣＴ１１Ｒを用いて選択することができる。ユーザは、例えば、項目Ｂを選択したい場合、コントローラＣＴ１１Ｒ（の没入操作部モデル画像ＣＴ１１Ｒ）の先端から出ているポインタ１０１の先端を、項目Ｂに合わせる。合わせただけで、項目Ｂが選択されるようにしても良いし、合わした後、ボタン１２２やボタン１２３が操作されることで、項目Ｂが選択されるようにしても良い。

【0236】

メニュー１７１からユーザが所望とする項目が選択されると、サブメニュー１７２がメニュー１７１の右側に表示される。サブメニュー１７２には、メニュー１７１内で選択されたさらに詳細な選択項目が表示されている。図１２では、“項目ａ”、“項目ｂ”、“項目ｃ”が表示されている。サブメニュー１７２内の項目から、ユーザが所望な項目を選択するための操作は、メニュー１７１内の項目から所望な項目を選択する操作と同様に行われる。

【0237】

メニュー１７１とサブメニュー１７２は、横方向に配置される関係にある。メニュー１７１内の項目は縦方向に配置され、サブメニュー１７２内の項目も縦方向に配置されている。このように、メニューが展開していく方向（この場合、横方向）と、メニュー内の項目が配列されている方向（この場合、縦方向）は、異なる方向とされている。

【0238】

このようにメニューが展開していく方向と、メニュー内の項目が配列されている方向を異ならせることで、誤った項目を選択してしまうようなことを低減させることができる。例えば、仮に、メニューが展開していく方向と、メニュー内の項目が配列されている方向を同じにした場合、メニュー１７１、サブメニュー１７２、さらにそのサブメニュー内の項目が横並びに並ぶことになる。

【0239】

このように、横並びにメニュー１７１、サブメニュー１７２、さらにそのサブメニュー内の項目が並ぶと、コントローラＣＴ１１Ｒ（の先端）を順次横方向に移動させることになるが、同一方向に移動させると、例えば、メニュー１７１からサブメニュー１７２に移動させ、その勢いで、選択したい項目を行き過ぎ、他の項目を誤って選択してしまうといったことが発生する可能性が高くなる。

【0240】

しかしながら、上記したように、メニューが展開していく方向と、メニュー内の項目が配列されている方向を異ならせることで、メニュー１７１からサブメニュー１７２に移動するときの方向と、サブメニュー１７２内を移動する方向が異なるため、メニュー１７１からサブメニュー１７２に移動させ、その勢いで、選択したい項目を行き過ぎるといったことが発生することを防ぐことができる。

【0241】

さらに、コントローラＣＴ１１を用いた操作の例を挙げるに、上記したシースルーウィンドウＳＷ１１（図３）を表示させたり、非表示にさせたりする操作にもコントローラＣＴ１１は、用いられる。

【0242】

例えば、シースルーウィンドウＳＷ１１が表示されていないときに、表示を指示する操作、例えば、ボタン１２３が、シースルーウィンドウＳＷ１１の表示を指示するボタンであった場合、そのボタン１２３が操作されると、提示用全天球画像に、シースルーウィンドウＳＷ１１が表示される。例えば、図１３に示すように、提示用全天球画像に、シースルーウィンドウＳＷ１１が所定の位置に表示される。

【0243】

ユーザは、シースルーウィンドウＳＷ１１を見ながら、キーボードやマウスの操作を行うことができる。このように、提示用全天球画像に、シースルーウィンドウＳＷ１１が表示されているときに、ボタン１２３が操作された場合、シースルーウィンドウＳＷ１１は閉じられるようにしても良い。

【0244】

このように、本技術によれば、全天球画像を確認しながらより簡単に編集作業を行うことができる。また、そのような全天球画像を確認しながら行う編集に適したコントローラや、ユーザインタフェースを提供することができる。

【0245】

＜編集の処理＞
ところで、上記したように、例えば、図７を参照して説明したように、全天球画像上に表示されている文字１０２を移動させる場合、文字１０２が全天球画像上のどの位置に表示されているのかを特定し、また、移動先として指示された全天球画像上の位置を特定する必要がある。

【0246】

そのような処理に関して、図１４、図１５のフローチャートを参照して説明する。またここでは、例えば、図７を参照して説明したように、全天球画像上に表示されている文字１０２を移動させる場合を例に挙げて説明を続ける。また、ここでは、図１４を参照して、リアルタイムアップデートに関する処理（常に行われている処理）について説明し、図１５を参照して、文字１０２などが選択され、移動が指示されたときの処理について説明する。

【0247】

図１４、図１５に示したフローチャートの処理は、没入操作部１４からの操作を受け、操作検出部３２で、その操作内容が判断され、編集反映処理部３４で処理されることで実行される。

【0248】

図１４に示したフローチャートを参照するに、ステップＳ１０１において、ポインタと提示用全天球画像との交点位置が検出される。例えば、図７に示したような提示用全天球画像が表示されているとき、時刻Ｔ１においては、コントローラＣＴ１１からのポインタ１０１は、位置Ｐ１を指しているため、この位置Ｐ１の座標が検出される。

【0249】

ステップＳ１０２において、球面座標の交点を正距円筒図法における座標（以下、正距円筒座標と記述する）に変換する。球面座標は、提示用全天球画像における座標、換言すれば、３６０度画像における座標である。正距円筒図法とは、地図投影法の一種であり、緯線、経線が直角かつ等間隔に交差するので方眼図法・正方形図法などとも称される図法であり、正距円筒座標は、そのような図法における座標である。

【0250】

ステップＳ１０２における座標の変換は、３次元の座標を２次元の座標に変換する処理であるともいえる。よって、そのような３次元を２次元に変換するような処理が行われるのであれば、他の変換が行われるようにしても良い。また、必ずしも、３次元の座標を２次元の座標に変換して処理を行う必要もなく、３次元の座標のまま処理が行われるように構成することも可能である。

【0251】

例えば、ユーザは、正距円筒図法により得られる正距円筒（Equirectangular）形式の２次元の全天球画像をディスプレイ１２に表示させて編集作業を行うこともできる。このディスプレイ１２に表示されている２次元の画像で編集作業を行う場合と同じように処理を行えるようにするために、ここでは、球面座標を正距円筒座標に変換するとして説明を続ける。

【0252】

換言すれば、全天球画像を編集するソフトウェアとして、従来のソフトウェアを用いても処理を行えるようにする場合、球面座標を正距円筒座標に変換することで、そのソフトウェアでも扱える座標を得ることができる。よって、上記したように、３次元の座標を用いて処理できるソフトウェアを用いる場合、ステップＳ１０２の処理を省略し、球面座標で処理が続けられるようにすることもできる。

【0253】

なお、ここでは、正距円筒図法における座標に変換するとして説明を続けるが、他の図法における座標に変換されるようにしても良い。

【0254】

ステップＳ１０１、ステップＳ１０２における処理において、その時点でポインタが指し示している位置の座標が求められる。このように、コントローラＣＴ１１が用いられ、ポインタ１０１が出射されているような状態のときには、そのポインタ１０１が指し示している位置は、常に把握されている。

【0255】

ステップＳ１０３において、オーバーレイされているものの座標が上書きされる。例えば、図７に示した提示用全天球画像の例においては、文字１０２がオーバーレイされているものであり、文字１０２の座標が求められ、その求められた座標に、文字１０２の座標が上書きされる。オーバーレイされているもの（文字１０２、マーク、画像など）の座標も、球面座標が正距円筒座標に変換され、その変換された正距円筒座標に上書きされるようにすることができる。

【0256】

このように、オーバーレイされているものの座標も常に管理されている。なお、以下の説明においては、オーバーレイされているものは、文字１０２であるとして説明を続ける。

【0257】

このような処理が繰り返されることで、ポインタ１０１が指し示している位置と、オーバーレイされているものの位置がリアルタイムに管理されている。

【0258】

このような管理が行われている一方で、コントローラＣＴ１１からの操作、ここでは、ボタン１２２が操作され、その時点でポインタ１０１が位置するオーバーレイされている文字１０２が移動されるときに行われる処理について、図１５を参照して説明する。

【0259】

ステップＳ１４１において、コントローラＣＴ１１のボタン１２２が操作されたか否かが判定される。ボタン１２２が操作されたと判定されるまで、待機状態が維持され（図１４に示したフローチャートの処理が実行されることで、リアルタイムアップデータの処理が行われている状態が維持され）る。一方で、ボタン１２２が操作されたと判定された場合、ステップＳ１４２に処理は進められる。

【0260】

ステップＳ１４２において、ポインタと全天球画像の交点位置が検出される。またステップＳ１４３において、球面座標の交点が正距円筒座標に変換される。このステップＳ１４２とステップＳ１４３の処理は、図１４に示したフローチャートのステップＳ１０１とステップＳ１０２の処理と同様に行われる。

【0261】

ステップＳ１４４において、オーバーレイされているものがあるか否かが判定される。オーバーレイされているもの、例えば文字１０２の座標は、図１４のステップＳ１０３の処理で所定の間隔で更新されている。ステップＳ１４３までの処理で求められたポインタ１０１が指し示す位置の座標と、管理しているオーバーレイされているものの座標が一致するか否かを判定することで、ステップＳ１４４の判定処理が行われる。

【0262】

ステップＳ１４４において、オーバーレイされているものはないと判定された場合、ステップＳ１４１に処理が戻され、それ以降の処理が繰り返される。なお、ボタンの操作が行われているため、オーバーレイされているものはないと判定された場合にも、そのボタンが操作されることにより実行すべき処理は実行される。

【0263】

一方、ステップＳ１４４において、オーバーレイされているものがあると判定された場合、ステップＳ１４５に処理が進められ、ボタンの操作が維持されているか否かが判定される。

【0264】

例えば、図７を参照して説明したように、コントローラＣＴ１１の操作により、文字１０２が移動される場合、ドラッグアンドドロップという操作が行われる。よって、ボタンの操作が維持されている間は、オーバーレイされている文字１０２は、まだ所望とされる位置まで移動されていない状況であると判定できる。

【0265】

よって、ステップＳ１４５において、ボタンの操作が維持されていると判定されるまで、ステップＳ１４５における判定処理が繰り返される。ステップＳ１４５において、ボタンの操作が維持されていないと判定された場合、換言すれば、ユーザがボタンを放し、文字１０２をドロップしたと判定された場合、さらに換言するに、ユーザが所望の位置まで文字１０２を移動させたと判定された場合、ステップＳ１４６に処理が進められる。

【0266】

ステップＳ１４６において、ボタンの操作が終了されたときのポインタが指し示している位置と全天球画像の交点位置が検出される。ステップＳ１４７において、球面座標の交点が正距円筒座標に変換される。このステップＳ１４６とステップＳ１４７の処理は、ステップＳ１４２とステップＳ１４３の処理と基本的に同様に行われる。この時点で、文字１０２は、ユーザが所望とした位置、図７では、位置Ｐ２に移動され、表示されている。

【0267】

ステップＳ１４８において、対象のオーバーレイされたものの座標が上書きされる。すなわち、この場合、移動先の座標に、文字１０２の座標が書き換えられる。このようにして、オーバーレイされている文字やマークなどの位置（座標）が管理されている。

【0268】

このように、現実空間でのコントローラＣＴ１１を模写した没入操作部モデル画像を仮想空間の提示用全天球画像に表示し、そのコントローラＣＴ１１からのポインタが、提示用全天球画像内で指し示す位置を検出することで、ユーザからの操作が受け付けられ、処理される。

【0269】

よって、全天球画像を確認しながらより簡単に編集作業を行うことができる。また、そのような全天球画像を確認しながら行う編集に適したコントローラや、ユーザインタフェースを提供することができる。

【0270】

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。

【0271】

図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0272】

コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。

【0273】

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

【0274】

入力部５０６は、キーボード、マウス、マイクロホン、撮影素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

【0275】

以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

【0276】

コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0277】

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。

【0278】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0279】

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0280】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0281】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0282】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0283】

また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【0284】

さらに、本技術は、以下の構成とすることも可能である。
（１）
操作部による操作入力を検出する操作検出部と、
没入提示デバイスに対して、前記操作部の画像が重畳された全天球画像の一部または全部を提示画像として出力して表示させるとともに、前記操作入力が検出された場合、前記操作入力が反映されるように前記提示画像の表示を制御する表示制御部と
を備え、
前記操作検出部は、前記操作部のポインタが前記全天球画像内で指し示す位置の座標を検出する
画像処理装置。
（２）
前記操作検出部は、前記検出した交点の座標に、前記全天球画像にオーバーレイされている画像が検出された場合、その画像をドラッグする
前記（１）に記載の画像処理装置。
（３）
前記表示制御部は、前記ドラッグされた画像が、ドロップされた位置に、前記画像が表示されるように前記提示画像の表示を制御し、
前記操作検出部は、前記ドロップされた前記全天球画像内の位置の座標を検出する
前記（２）に記載の画像処理装置。
（４）
前記操作検出部は、オーバーレイされている画像の拡大、または縮小の操作を検出する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記操作検出部は、２つの前記操作部が左右方向に広がったことを検出したとき、前記画像の拡大が指示されたと検出し、２つの前記操作部が左右方向に狭まったことを検出したとき、前記画像の縮小が指示されたと検出する
前記（４）に記載の画像処理装置。
（６）
前記操作部は、タッチパッドを備え、前記タッチパッドは、複数の領域に分割され、各領域に所定の操作が割り当てられている
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記操作部が操作され、メニューが表示されるとき、前記メニューは、横方向に展開され、前記メニュー内の項目は、縦方向に配列されている
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
操作部による操作入力を検出し、
没入提示デバイスに対して、前記操作部の画像が重畳された全天球画像の一部または全部を提示画像として出力して表示させるとともに、前記操作入力が検出された場合、前記操作入力が反映されるように前記提示画像の表示を制御する
ステップを含み、
前記操作入力の検出は、前記操作部のポインタが前記全天球画像内で指し示す位置の座標を検出するステップを含む
画像処理方法。
（９）
操作部による操作入力を検出し、
没入提示デバイスに対して、前記操作部の画像が重畳された全天球画像の一部または全部を提示画像として出力して表示させるとともに、前記操作入力が検出された場合、前記操作入力が反映されるように前記提示画像の表示を制御する
ステップを含み、
前記操作入力の検出は、前記操作部のポインタが前記全天球画像内で指し示す位置の座標を検出するステップを含む
処理をコンピュータに実行させるプログラム。

【符号の説明】

【0285】

１１ 没入提示デバイス， １２ ディスプレイ， １３ 入力デバイス， １４ 没入操作部， １５ 画像処理装置， ３２ 操作検出部， ３３ 保持部， ３４ 編集反映処理部， ３５ レンダラ部， ３６ 通信部， １２１ タッチパッド， １２２，１２３ ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】