特許 7187307 電子機器及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-02

(45)【発行日】2022-12-12

(54)【発明の名称】電子機器及びその制御方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221205BHJP

   G06T 19/00 20110101ALI20221205BHJP

【ＦＩ】

H04N5/232 380

G06T19/00 A

【請求項の数】 18

(21)【出願番号】P 2018248299

(22)【出願日】2018-12-28

(65)【公開番号】P2020108112

(43)【公開日】2020-07-09

【審査請求日】2021-12-24

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】小山 潤

【審査官】吉川 康男

(56)【参考文献】

【文献】米国特許第０９９３４８２３（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１８／０１２１０６９（ＵＳ，Ａ１）

【文献】特開２０１５－１７６５６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

第１の画面において、ＶＲコンテンツの第１の映像範囲を矩形に収めるフラット表示を行い、第２の画面において、矩形領域にフラット表示された前記ＶＲコンテンツ上に、前記ＶＲコンテンツから切り出される領域を示すインジケータを表示するように制御する表示制御手段と、
ユーザーからの切り出し範囲の設定指示に応じて前記第１の画面から前記第２の画面に切り替える切替手段と、
前記第２の画面において、第１の操作に応じて、前記インジケータをスクロールさせることなく、フラット表示された前記ＶＲコンテンツを第１の方向にスクロールさせるとともに、当該スクロールに応じて、前記ＶＲコンテンツのうち前記第１の方向へのスクロール量分の画像領域を、前記矩形領域のうち前記第１の方向とは反対方向の第２の方向の端から前記第１の方向に向かって順次表示させる、同一コンテンツの循環的スクロール表示を行い、
前記第１の画面において、前記第１の操作があっても前記循環的スクロール表示は行わないように制御する制御手段と、
前記第２の画面において前記インジケータが示す領域に基づいて、前記ＶＲコンテンツのうち前記第１の映像範囲よりも狭い第２の映像範囲を有する編集済ＶＲコンテンツを生成する生成手段と、
を有することを特徴とする電子機器。

【請求項2】

前記制御手段は、フラット表示した前記ＶＲコンテンツにおいて前記インジケータが示す範囲の中央と、前記第２の映像範囲の中央とが、一致またはほぼ一致する
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記インジケータは前記矩形領域よりも狭い範囲を示す
ことを特徴とする請求項１または２に記載の電子機器。

【請求項4】

前記第１の方向は、前記ＶＲコンテンツに対して右方向または左方向である
ことを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。

【請求項5】

前記第２の画面における前記第１の方向への前記循環的スクロール表示に応じて、前記第１の映像範囲を仮想球体にマッピングした場合の前記第２の映像範囲の方位が変わる
ことを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。

【請求項6】

前記制御手段は、前記第２の画面において、前記第１の方向と垂直な第３の方向へのスクロールは行わない
ことを特徴とする請求項１乃至５のいずれか１項に記載の電子機器。

【請求項7】

前記第２の画面における前記ＶＲコンテンツのスクロールに応じた、前記第１の映像範囲を仮想球体にマッピングした場合の前記第２の映像範囲の仰角または俯角の変更は行わない
ことを特徴とする請求項１乃至６のいずれか１項に記載の電子機器。

【請求項8】

前記第１の操作は、前記矩形領域にタッチして前記第１の方向にタッチ位置を移動するスライド操作である
ことを特徴とする請求項１乃至７のいずれか１項に記載の電子機器。

【請求項9】

前記制御手段は、前記ユーザーから前記設定指示を受け付けた際に、天頂補正をするか否かを前記ユーザーに確認する、
ことを特徴とする請求項１乃至８のいずれか１項に記載の電子機器。

【請求項10】

前記制御手段は、前記ＶＲコンテンツの天頂を中心とした切り出しまたは天底を中心とした切り出しの指示を、スクロールさせる操作を伴わない操作により受け付ける
ことを特徴とする請求項１乃至９のいずれか１項に記載の電子機器。

【請求項11】

前記生成手段で生成した編集済ＶＲコンテンツを格納したファイルを生成して記録する記録手段をさらに有することを特徴とする請求項１乃至１０のいずれか１項に記載の電子機器。

【請求項12】

前記記録手段は、前記第２の映像範囲に基づく複数の画像を格納した１つの静止画ファイルを生成することを特徴とする請求項１１に記載の電子機器。

【請求項13】

前記静止画ファイルのファイル名では、拡張子の手前に文字列“．ｖｒ”が記述されることを特徴とする請求項１２に記載の電子機器。

【請求項14】

前記記録手段は、前記第２の映像範囲に基づく複数の動画を並べた１つの動画ファイルを生成することを特徴とする請求項１１乃至１３のいずれか１項に記載の電子機器。

【請求項15】

前記動画ファイルのファイル名では、拡張子の手前に文字列“．ｖｒ”が記述されることを特徴とする請求項１４に記載の電子機器。

【請求項16】

第１の画面において、ＶＲコンテンツの第１の映像範囲を矩形に収めるフラット表示を行い、第２の画面において、矩形領域にフラット表示された前記ＶＲコンテンツ上に、前記ＶＲコンテンツから切り出される領域を示すインジケータを表示するように制御する表示制御ステップと、
ユーザーからの切り出し範囲の設定指示に応じて前記第１の画面から前記第２の画面に切り替える切替ステップと、
前記第２の画面において、第１の操作に応じて、前記インジケータをスクロールさせることなく、フラット表示された前記ＶＲコンテンツを第１の方向にスクロールさせるとともに、当該スクロールに応じて、前記ＶＲコンテンツのうち前記第１の方向へのスクロール量分の画像領域を、前記矩形領域のうち前記第１の方向とは反対方向の第２の方向の端から前記第１の方向に向かって順次表示させる、同一コンテンツの循環的スクロール表示を行い、
前記第１の画面において、前記第１の操作があっても前記循環的スクロール表示は行わないように制御する制御ステップと、
前記第２の画面において前記インジケータが示す領域に基づいて、前記ＶＲコンテンツのうち前記第１の映像範囲よりも狭い第２の映像範囲を有する編集済ＶＲコンテンツを生成する生成ステップと、
を有することを特徴とする電子機器の制御方法。

【請求項17】

コンピュータを、請求項１乃至１５のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。

【請求項18】

コンピュータを、請求項１乃至１５のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器及びその制御方法に関する。

【背景技術】

【0002】

近年、全方位画像、全天球画像といった、人間の視野角より広い範囲の映像を持つＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像を撮影することが可能な撮像装置が普及している。一方で、前方１８０°に特化した画像フォーマットも発表されており、ＶＲ画像から１８０°画像への切り出しの需要も高まっている。

【0003】

特許文献１では、ＶＲ画像のタッチ操作が行われた一部の領域を抜出し、歪み補正を行って画面上に重畳して表示する手法が提案されている。特許文献２では、画像の切り出し領域の設定を、切り出し枠の大きさを変更するか、または切り出し枠は固定で画像の倍率を変更するかで指定するといった方法が提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１２３１２７号公報

【文献】特開２０１４－１６５５２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＶＲ画像から１８０°の切り出し領域を切り出す場合、ユーザーは３６０°の有効映像範囲を矩形に収めるフラット表示にすることによって、ＶＲ画像の全体を俯瞰して見ることが出来る。しかし、フラット表示の状態で１８０°の切り出し領域を指定しようとすると、フラット表示上の端の領域を、切り出し中心に指定することが難しいといった課題がある。

【0006】

本発明は、上記課題に鑑み、ＶＲ画像からより狭い範囲のＶＲ画像の切り出しをフラット表示上で行う場合に、フラット表示の画面端近辺の領域を切り出し中心として指定することができるようにした電子機器及びその制御方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の電子機器は、
第１の画面において、ＶＲコンテンツの第１の映像範囲を矩形に収めるフラット表示を行い、第２の画面において、矩形領域にフラット表示された前記ＶＲコンテンツ上に、前記ＶＲコンテンツから切り出される領域を示すインジケータを表示するように制御する表示制御手段と、
ユーザーからの切り出し範囲の設定指示に応じて前記第１の画面から前記第２の画面に切り替える切替手段と、
前記第２の画面において、第１の操作に応じて、前記インジケータをスクロールさせることなく、フラット表示された前記ＶＲコンテンツを第１の方向にスクロールさせるとともに、当該スクロールに応じて、前記ＶＲコンテンツのうち前記第１の方向へのスクロール量分の画像領域を、前記矩形領域のうち前記第１の方向とは反対方向の第２の方向の端から前記第１の方向に向かって順次表示させる、同一コンテンツの循環的スクロール表示を行い、
前記第１の画面において、前記第１の操作があっても前記循環的スクロール表示は行わないように制御する制御手段と、
前記第２の画面において前記インジケータが示す領域に基づいて、前記ＶＲコンテンツのうち前記第１の映像範囲よりも狭い第２の映像範囲を有する編集済ＶＲコンテンツを生成する生成手段と、
を有することを特徴とする。

【発明の効果】

【0008】

ＶＲ画像からより狭い範囲のＶＲ画像の切り出しをフラット表示上で行う場合に、フラット表示の画面端近辺の領域を切り出し中心として指定することができる。

【図面の簡単な説明】

【0009】

【図1】表示制御装置のブロック図である。

【図2】表示制御装置の外観図である。

【図3】ＶＲ画像から１８０°画像への切り出し処理を示すフローチャートである。

【図4】切り出し方向設定処理を示すフローチャートである。

【図5】ＶＲ表示での端領域確認処理を示すフローチャートである。

【図6】ＶＲ画像から１８０°画像への切り出し処理を行う際の表示例である。

【図7】切り出し方向を右スクロールによって変更した際の表示例である。

【図8】切り出し方向を左スクロールによって変更した際の表示例である。

【図9】ＶＲ表示での端領域確認方法の表示例である。

【図10】ＶＲ画像の各種表示の一例である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の好適な実施形態を説明する。図１は、電子機器の一例としての表示制御装置１００の構成例を示すブロック図である。内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ１０５、操作部１０６、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９、及び、通信Ｉ／Ｆ１１０が接続されている。また、内部バス１５０に対して音声出力部１１２と姿勢検出部１１３も接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。

【0011】

ＣＰＵ１０１は、表示制御装置１００の全体を制御する制御部であり、少なくとも１つのプロセッサーまたは回路からなる。メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１は、例えば、不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、表示制御装置１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は例えばフラッシュメモリやＲＯＭなどで構成される。ＣＰＵ１０１は、表示制御装置１００が有する表示制御手段、制御手段、生成手段、境界表示手段の各手段の処理を実行する。

【0012】

画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記録媒体１０８に格納された画像や、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１０を介して取得した画像などに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲の映像を有する広範囲画像であるＶＲ画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部１０４を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。

【0013】

ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０５に表示するための映像信号を生成してディスプレイ１０５に出力するように表示制御装置１００の各部を制御する。ディスプレイ１０５は生成・出力された映像信号に基づいて映像を表示する。なお、表示制御装置自体が備える構成としてはディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ１０５は外付けのモニタ（テレビやＨＭＤなど）で構成してもよい。

【0014】

操作部１０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む、ユーザー操作を受付けるための入力デバイスである。なお、タッチパネル１０６ａは、ディスプレイ１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

【0015】

記録媒体Ｉ／Ｆ１０７には、メモリーカードやＣＤ、ＤＶＤといった記録媒体１０８が着脱可能である。記録媒体Ｉ／Ｆ１０７は、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０８からのデータの読み出しや、記録媒体１０８に対するデータの書き込みを行う。外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

【0016】

音声出力部１１２は、動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部１１２には、イヤホンなどを接続する音声出力端子１１２ａ（後述）、スピーカー１１２ｂ（後述）が含まれるものとするが、音声出力部１１２は無線通信などで外部スピーカーに音声データを出力してもよい。

【0017】

姿勢検出部１１３は、重力方向に対する表示制御装置１００の姿勢（傾き）や、ヨー方向、ピッチ方向、ロール方向の各軸に対する表示制御装置１００の姿勢を検出する。姿勢検出部１１３で検出された姿勢に基づいて、表示制御装置１００が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。また、ヨー方向、ピッチ方向、ロール方向などの回転方向における表示制御装置１００の傾きの有無や大きさ、当該回転方向に表示制御装置１００が回転したかなどを判別可能である。加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうちの１つのセンサーまたは複数のセンサーの組み合わせを、姿勢検出部１１３として用いることができる。

【0018】

なお操作部１０６には、タッチパネル１０６ａが含まれる。ＣＰＵ１０１はタッチパネル１０６ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル１０６ａにタッチしていなかった指やペンが新たにタッチパネル１０６ａにタッチしたこと、すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）
・タッチパネル１０６ａを指やペンがタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）
・指やペンがタッチパネル１０６ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）
・タッチパネル１０６ａへタッチしていた指やペンがタッチパネル１０６ａから離れたこと、すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）
・タッチパネル１０６ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）

【0019】

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。

【0020】

これらの操作・状態や、タッチパネル１０６ａ上に指やペンがタッチしている位置座標は内部バスを通じてＣＰＵ１０１に通知され、ＣＰＵ１０１は通知された情報に基づいてタッチパネル１０６ａ上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについてはタッチパネル１０６ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０６ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。

【0021】

タッチパネル１０６ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル１０６ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。

【0022】

更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル１０６ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式など、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

【0023】

図２は、電子機器の一例である表示制御装置１００の外観図である。表示制御装置１００は、例えばスマートフォンなどの表示装置である。ディスプレイ１０５は画像や各種情報を表示する表示部である。ディスプレイ１０５はタッチパネル１０６ａと一体的に構成されており、ディスプレイ１０５の表示面へのタッチ操作を検出できるようになっている。表示制御装置１００は、ＶＲ画像（ＶＲコンテンツ）をディスプレイ１０５においてＶＲ表示することが可能である。例えば、デジタルカメラ（全方位カメラ；全天球カメラ）で撮像されたＶＲ画像を通信Ｉ／Ｆ１１０を介して取得して（無線通信により転送されたＶＲ画像を受信し）記録媒体１０８に記録することができる。このようにして記録媒体１０８に記録されたＶＲ画像を、ディスプレイ１０５でＶＲ表示（ＶＲビューで表示）することが可能である。また、デジタルカメラで撮像されたＶＲ画像が記録された記録媒体を記録媒体Ｉ／Ｆ１０７に直接接続し、記録媒体からＶＲ画像を読み出して再生することで、ディスプレイ１０５でＶＲ表示（ＶＲビューで表示）することも可能である。また、ＳＮＳ等を介して、ネットワークに接続されたサーバー装置等に記録されたＶＲ画像（共有されたＶＲ画像）を取得してＶＲ表示することも可能である。本実施形態では、操作部１０６は、タッチパネル１０６ａ、操作部１０６ｂ、１０６ｃ、１０６ｄ、１０６ｅを含む。操作部１０６ｂは表示制御装置１００の電源のオンとオフを切り替える操作を受付ける電源ボタンである。操作部１０６ｃと操作部１０６ｄは音声出力部１１２から出力する音声のボリュームを増減するボリュームボタンである。操作部１０６ｅは、ディスプレイ１
０５にホーム画面を表示させるためのホームボタンである。音声出力端子１１２ａはイヤホンジャックであり、イヤホンや外部スピーカーなどに音声信号を出力する端子である。スピーカー１１２ｂは音声を出力する本体内蔵スピーカーである。

【0024】

表示制御装置１００は、ＶＲ画像（ＶＲコンテンツ）をディスプレイ１０５においてＶＲ表示することが可能である。ＶＲ画像とは、ＶＲ表示（表示モード「ＶＲビュー」で表示）をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブビュー画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角、ピッチ角）３６０度、左右方向（水平角度、方位角度、ヨー角）３６０度の視野分の映像範囲（有効映像範囲）を持つ。また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。また、例えば、左右方向（水平角度、方位角度）１８０度、水平方向を中心とした垂直角度１８０度の視野分（画角分）の被写体を撮影可能なカメラで撮影された画像はＶＲ画像の一種である。即ち、上下方向と左右方向にそれぞれ１６０度（±８０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。このＶＲ画像をＶＲ表示（表示モード：「ＶＲビュー」で表示）すると、左右回転方向に表示装置（ＶＲ画像を表示する表示装置）の姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転方向）には、真上（天頂）から±１０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。

【0025】

ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法（表示モード）である。表示装置であるヘッドマウントディスプレイ（ＨＭＤ）を装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、表示装置の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザーがＨＭＤを視聴している場合で言えば、ユーザーが顔を北から南に向ければ（すなわち後ろを向けば）、ＨＭＤに表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザーに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚（没入感）を提供することができる。ＶＲゴーグル（ヘッドマウントアダプター）に装着されたスマートフォンは、ＨＭＤの一種と言える。

【0026】

なお、ＶＲ画像の表示方法は上記に限るものではない。姿勢変化ではなく、タッチパネルや方向ボタンなどに対するユーザー操作に応じて表示範囲を移動（スクロール）させてもよい。ＶＲ表示（表示モード「ＶＲビュー」）で表示した場合にも、姿勢変化による表示範囲の変更に加え、タッチパネルへのタッチムーブ、マウスなどへのドラッグ操作、方向ボタンの押下などに応じて表示範囲を変更できるようにしてもよい。

【0027】

本実施形態では、最大で上下左右に３６０度の視野分の映像範囲（有効映像範囲）を持つＶＲ画像から、上下左右に１８０度の視野分の映像範囲（有効映像範囲）をもつＶＲ画像を切出す操作及び処理について説明する。なお、以下では、最大で上下左右に３６０度の視野分の映像範囲（有効映像範囲）を持つＶＲ画像を、３６０度のＶＲ画像と称する。また、上下左右に１８０度の視野分の映像範囲（有効映像範囲）をもつＶＲ画像を、１８０度のＶＲ画像と称する。３６０度のＶＲ画像から１８０度のＶＲ画像を切り出す処理は、概念としては、３６０度分の映像が全体にマッピングされた仮想的な球体から、半球を切出す処理である。本実施形態で説明する切出しは、通常の矩形画像（平面画像）を切出す処理ではなく、切出し後もＶＲ画像として視聴可能（球体にマッピングしてＶＲビューで視聴可能）な画像を切出す処理である。切出し後の画像は上下左右１８０度分の有効映像範囲を有するため、球体にマッピングした場合には、半球分の有効な映像（撮影された画像など）がマッピングされる。残りの半球分は無効映像範囲となり、単色や所定パターンでの塗りつぶしや、何かしら補完された映像がマッピングされる。このような切出し後のＶＲ画像をＶＲビューで視聴する場合、ユーザーは、前方の幅１８０度の範囲（中心から上下左右にそれぞれ９０度の範囲）で画像を視認することができる。このような切出し処理を行う理由としては以下のようなものがある。

【0028】

第１に、画像のデータ量を削減することができる。３６０度のＶＲ画像に対して、切出された１８０度のＶＲ画像はデータ量が小さい。そのため、保存する際の記録媒体の容量圧迫を抑制できる。また、送受信する際の通信データ量の削減、表示する際の処理負荷の削減をすることができ、その分、処理速度や応答速度の向上、消費電力の削減といった効果を奏する。

【0029】

第２に、不要な被写体を削除することができる。例えば３６０度の視野分の有効映像範囲を有するＶＲ画像を撮像するほとんどの場合、撮影者自身が写り込むことが避けられない。しかし、撮影者が撮影したいものが撮影者自身でなく風景などである場合、撮影者自身は余計な被写体であり、意図しないものである。意図しない映像が写っていると、撮影者が主題と考えていた風景などの映像に視聴者の関心を集中させることを阻害してしまう。また、通行人の顔や通行する車のナンバープレートといった秘匿すべき情報が写ってしまうことも多く、プライバシーやセキュリティーの観点から望ましくない場合がある。切出し処理によって、撮影者が意図する範囲のみを切出し、その他の不要な範囲の映像を破棄することで、これらの問題を回避することができる。

【0030】

第３に、ＶＲビューで視聴するユーザーの身体的負担を軽減することができる。３６０度のＶＲ画像をＶＲビューで視聴する場合、視聴するユーザーの背後まで映像が存在する。前方の１８０度分の映像であれば、視聴者は自身の首の向きを変えるだけで概ね見渡すことができるが、背後を見ようとすれば、上半身を捻ったり、立つ向きを変えたりしなければならず、身体的負担がやや高い。このような背後を見ようとする身体的動きは、回転チェアでも無い限り、椅子に座って視聴する場合には不向きである。これに対し、１８０度のＶＲ画像では自身の首の向きを変えるだけで概ね全体を見渡すことができるので、観賞する際の身体的負担が比較的小さい。ガイド表示や１８０度を超えた範囲が無効領域であることがわかるような表示によって、視聴者が１８０度のＶＲ画像であることを認識していれば、視聴者は背後を見ようと試みることもない。そのため、背後を見るといった身体的動作を視聴者に行わせることを抑制することができる。

【0031】

第４に、３６０度のＶＲ画像を、１８０度のＶＲ画像のための記録フォーマットなどに対応させて表示させることができる。３６０度のＶＲ画像の記録フォーマットと、１８０度分のＶＲ画像のための記録フォーマットが異なる場合、１８０度分のＶＲ画像の視聴にのみ対応した再生装置（再生アプリケーションソフト）では、３６０度のＶＲ画像を視聴
することができない。しかし３６０度のＶＲ画像から切出して１８０度のＶＲ画像を生成すれば、１８０度分のＶＲ画像の視聴にのみ対応した再生装置でも視聴することが可能となる。また、１８０度のＶＲ画像の視聴と３６０度のＶＲ画像の視聴の双方に対応していても、１８０度のＶＲ画像を視聴するモードと３６０度のＶＲ画像を視聴するモードとを切り替える必要がある場合には、切替の操作が煩わしい。しかし３６０度のＶＲ画像から切出して１８０度のＶＲ画像を生成すれば、１８０度分のＶＲ画像のための表示モードを切り替えることなく、複数のＶＲ画像を次々と切り替えて表示させることができる。また、同一方向の被写体に向けて視差の分だけ離れた距離に設置された２つのカメラユニットによって撮影された、それぞれ右目用、左目用の２つの１８０度のＶＲ画像を立体視できるように表示する表示モード（２眼ＶＲビュー）が想定される。３６０度のＶＲ画像から、右目用の１８０度のＶＲ画像と左目用の１８０度のＶＲ画像を切出して記録しておけば、このような２眼ＶＲビューでも視聴可能となる。

【0032】

なお、本実施形態では、３６０度のＶＲ画像から１８０度のＶＲ画像を切出して生成する例を説明するが、切出し前のＶＲ画像の有効映像範囲よりも狭い有効映像範囲のＶＲ画像を切出す処理であれば他の視野角度のＶＲ画像にも適用可能である。すなわち、切出し前のＶＲ画像は３６０度のＶＲ画像に限るものではなく、また、切出し後のＶＲ画像は１８０度のＶＲ画像に限るものではない。

【0033】

後述する各処理では、各種のタッチボタンを表示し、ユーザー操作として各種タッチボタンに対するタッチ操作を受付けて処理を進める例を説明する。各種タッチボタンに対する指示を受付けるタッチ操作とは、具体的にはタッチボタンに対応するタッチ反応領域からのタッチアップとしてもよいし、タッチボタンに対応するタッチ反応領域に対するタッチダウンとしてもよい。またこれに限るものではなく、後述するタッチボタンへの操作によって受付けるものとして説明する各指示は、他のユーザー操作によって受付けるものとしてもよい。例えば、各物理ボタンへの操作、方向キーを用いて表示アイテムを選択して決定ボタンを押下する操作、マウスを用いて表示アイテムを選択する操作、音声コマンド等であってもよい。

【0034】

以下図３～図８を参照して、本発明の実施例の動作を説明する。
図３は、表示制御装置１００による、３６０度のＶＲ画像から１８０度のＶＲ画像への切り出し処理の一例を示すフローチャートである。このフローチャートおける各処理は、ＣＰＵ１０１が不揮発性メモリ１０３に格納されたプログラムをメモリ１０２に展開して実行することにより実現する。

【0035】

表示制御装置１００の電源がオンとされ、記録媒体１０８に記録された画像や、通信先から取得した画像のうち、ＶＲ画像（ＶＲコンテンツ）が選択されると図３の処理が開始される。

【0036】

Ｓ３０１では、ＣＰＵ１０１は、記録媒体１０８もしくは通信Ｉ／Ｆ１１０を介した通信先から、表示対象となるＶＲ画像を読みこむ。ＣＰＵ１０１は、ＶＲ画像の属性情報として付帯する映像範囲（有効映像範囲）を示す情報を取得して、有効映像範囲を矩形に収めるフラット表示でＶＲ画像を表示する。Ｓ３０１でディスプレイ１０５にフラット表示されるＶＲ画像の有効映像範囲は、第１の有効映像範囲の一例である。ＶＲビューであれば仮想球体にマッピングして表示するが、フラット表示では、正距円筒図法などによって矩形に全体を収めて表示する。そのため、矩形端部よりの部分などでは、ＶＲビューで表示する場合よりも被写体が歪む。

【0037】

有効映像範囲を示す情報とは、ＶＲ画像が、上下方向、左右方向にどの角度範囲分の有効な映像を有しているかという情報である。有効映像範囲を示す情報は、ＶＲ画像の有効
映像範囲を特定できる情報であればよく、画角、視野角、方位角、仰角、俯角、高度角度、ステラジアンなどによって表される角度情報であってもよいし、上下、左右の画素数や座標などの位置情報であってもよい。

【0038】

また、有効映像範囲を示す情報は、ＶＲ画像を撮像したカメラの機種情報（機種を特定することで撮影可能な範囲を特定可能）や撮影時のズームの情報等でもよい。ＣＰＵ１０１は、有効映像範囲を示す情報を取得すると、上下左右３６０度との差分で無効映像範囲（非映像範囲）も特定（算出）する。なお、逆に、ＶＲ画像の属性情報から無効映像範囲を示す情報を取得し、そこから有効映像範囲を算出してもよいし、有効映像範囲を示す情報と無効映像範囲を示す情報の双方をＶＲ画像の属性情報から取得してもよい。

【0039】

図６（ａ）に、Ｓ３０１におけるフラット表示の表示例（第１の画面における表示例）を示す。正距円筒図法を用いた画像であるため、実物とは異なり歪んだ画像となっている。ユーザーは、切り出しボタン６０２を選択するボタン操作により、ＶＲ画像６０１の切り出しモードに遷移させることが出来る。切り出しボタン６０２は、ユーザーからの切り出し範囲の設定指示を受付ける操作ボタンである。また、ＶＲビューに遷移するための指示アイコンを表示してもよい。この指示アイコンに対する操作に応じて、同じ画像について、フラット表示から、ＶＲビューに遷移することができる。なお、Ｓ３０１におけるフラット表示を行っている際に、ＶＲ画像６０１の表示領域上でタッチムーブが行われた場合、別の画像への画像切替（ファイル名順などの所定の順序における次の画像、または前の画像の表示への切り替え）を行うものとする。Ｓ３０１におけるフラット表示は、ユーザーが表示対象あるいは編集対象となる画像の識別を行うための画面である。タッチムーブによって画像切替を行う場合、タッチムーブに追従してＶＲ画像６０１をタッチムーブ方向へスライド（スクロール）するが、図６（ａ）に示すＶＲ画像６０１の端部の外側は、黒塗りなどの非画像領域、あるいは切替後の画像が表示される。すなわち、図４の切り出し領域設定処理におけるスクロールとは異なり、端部を識別できないような循環的なスクロールは行わない。

【0040】

Ｓ３０２では、ＣＰＵ１０１は、切り出しボタン６０２に対するタッチ操作、すなわちタッチパネル１０６ａに対する切り出し範囲の設定指示があったか否かを判定する。切り出し範囲の設定指示があった場合は、Ｓ３０３に進み、切り出し範囲の設定指示がなかった場合は処理を終了させる。Ｓ３０３に進んだ場合は、ＶＲ画像を１８０°で切り出すための切り出し範囲を設定するモードに遷移する。

【0041】

Ｓ３０３では、ＣＰＵ１０１は、天頂補正を行うか否かを選択する選択画面を表示した上で、タッチパネル１０６ａに入力された天頂補正に関するパラメータを受け取り、天頂補正の実施が希望されている場合は天頂補正を行う。図６（ｂ）に、Ｓ３０３で表示される天頂補正を行うか否かを選択する選択画面の表示例を示す。図６（ｂ）の天頂補正選択ダイアログ６０３は、切り出しボタン６０２を選択するボタン操作により表示される。天頂補正選択ダイアログ６０３は、ボタン６０４及びボタン６０５を有する。ユーザーがボタン６０４を選択するボタン操作により、ＶＲ画像の切り出し処理前に天頂軸の補正が実行される。また、ボタン６０５を選択すると、ＶＲ画像の切り出し処理前に天頂軸の補正は実行されない。

【0042】

Ｓ３０４では、ＣＰＵ１０１は、切り出し用のＵＩをディスプレイ１０５に表示する。すなわち、ユーザーからの切り出し範囲の設定指示に応じて、Ｓ３０１で説明した表示画面から、切り出し用のＵＩ画面に切り替わる（切替制御）。図６（ｃ）に、Ｓ３０４で表示される切り出し用のＵＩの表示例（第２の画面の表示例）を示す。切り出し領域枠６０６は、ＶＲ画像から切り出される１８０°の領域を示すインジケータである。切り出し領域枠６０６は、矩形領域にフラット表示されたＶＲ画像上（ＶＲコンテンツ上）に表示さ
れる。なお切り出し領域枠６０６は正確な切り出し範囲を示している訳では無く、大まかな範囲を示したものである。非切り出し領域６０８は、切り出す１８０°の領域に含まれない領域を示している。

【0043】

ユーザーが切り出し決定（完了）ボタン６１１を選択するボタン操作により、切り出し領域枠６０６に囲まれた切り出し領域６０７が切り出し領域として設定される。天頂切り出しボタン６１２を選択するボタン操作により、天頂方向（ＶＲコンテンツの上方向）を中心に１８０°の領域が切り出し領域として設定される。天底切り出しボタン６１３を選択するボタン操作により、天底方向（ＶＲコンテンツの下方向）を中心に１８０°の領域が切り出し領域として設定される。ＣＰＵ１０１は、設定された切り出し領域に基づいて、切り出し前の有効映像範囲よりも狭い有効映像範囲を有する編集済ＶＲコンテンツを生成することができる。このように、ＣＰＵ１０１は、ＶＲコンテンツの上下方向のスクロールは行わず、ＶＲコンテンツの上下方向の切り出しは、ユーザーのボタン操作（スクロールさせる操作を伴わない操作）により実行される。

【0044】

Ｓ３０５では、ＣＰＵ１０１は、ディスプレイ１０５にフラット表示されたＶＲ画像の表示領域のうち、切り出し領域６０７の内側の中央領域に対してタッチダウンが検出されたか否かを判定する。切り出し領域６０７の内側の中央領域は、切り出し領域６０７の左右境界である切り出し領域枠６０６の左右部分より所定幅以上内側の領域である。中央領域へのタッチダウンが検出された場合はＳ３０６に進み、中央領域へのタッチダウンが検出されなかった場合はＳ３０７に進む。

【0045】

Ｓ３０６では、ＣＰＵ１０１は、切り出し方向設定処理を実行する。なお、切り出し方向（切り出される画像の範囲）は、図６（ｃ）に示す切り出し領域枠６０６で囲まれた領域に基づいて設定される。切り出される領域の有効映像範囲は、第２の有効映像範囲の一例である。ＣＰＵ１０１は、少なくとも図６（ｃ）に示す切り出し領域枠６０６で囲まれた領域の中央と、実際に切り出される有効映像範囲（第２の有効映像範囲）の中央とを、一致またはほぼ一致するように制御する。ただし、フラット表示に重畳して示す切り出し領域枠６０６は、半球の切出し境界を正確に表現したものではないので、切り出し領域枠６０６で示した範囲と、実際に切り出される有効映像範囲（第２の有効映像範囲）とは、完全には一致しない。例えば、切り出し領域枠６０６で囲まれた領域の範囲を、実際に切り出される有効映像範囲（１８０°）より大きくしてもよい。切り出し方向設定処理については、図４を用いて後述する。

【0046】

Ｓ３０７では、ＣＰＵ１０１は、ＶＲ端領域確認処理を実行する。ＶＲ端領域確認処理については、図５を用いて後述する。

【0047】

Ｓ３０８では、ＣＰＵ１０１は、切り出し決定ボタン６１１に対するタッチ操作があったか否か、すなわち切り出し指示があったか否かを判定する。切り出し指示があった場合はＳ３０９に進み、切り出し指示がなかった場合は処理を終了させる。

【0048】

Ｓ３０９では、ＣＰＵ１０１は、Ｓ３０６で設定された切り出し方向に１８０°の範囲で画像を切り出し、ＶＲ１８０°フォーマットで切り出した画像を記録媒体１０８に保存する。すなわち、切出し済みのＶＲ画像を記録媒体１０８に記録する。

【0049】

Ｓ３０９で記録する切出し済みのＶＲ画像（ＶＲビューでの表示が可能な画像ファイル）について説明する。切出し済みのＶＲ画像が静止画であれば、切出範囲内の画像を正距円筒図法で矩形内に変形して収めた画像がマルチピクチャーフォーマットで１ファイル内に複数枚格納されたファイルを生成して記録する。切出し前の３６０度のＶＲ画像（元画像）を、ＶＲビューではなく通常の平面画像として表示した場合には、図１０（ａ）のよ
うな長方形内に正距円筒図法で描画された画像となる。Ｓ３０１ではこのように表示される。この元画像から図４で説明する処理によって１８０度の範囲が切出されると、ＶＲビューではなく通常の平面画像として表示した場合に図１０（ｂ）に示すようにほぼ正方形内に正距円筒図法で描画された画像が記録される。この際、切出範囲内の画像をコピーした同一の画像を、視差が無いにせよ、右目用画像、左目用画像としてそれぞれ同一ファイル内に記録する。なお、疑似的に視差を有するように（すなわち左目用画像と右目用画像の範囲がやや異なるように）、切出し前の１つの３６０度のＶＲ画像から２つの１８０度の範囲を切出して生成してもよい。切出し済みの静止画のＶＲ画像のファイル名は例えば“１２３４５６．ｖｒ．ｊｐｇ”となり、拡張子“．ｊｐｇ”の手前に３文字の文字列“．ｖｒ”が記述される。このように静止画ファイルとして保存された画像をＶＲビューで再生表示すると、図１０（ｂ）の画像が半球にマッピングされて表示される。切出し済みの静止画のＶＲ画像ファイルを、２眼ＶＲビューで再生して表示した例（ＶＲゴーグルに装着していない状態のディスプレイ１０５における表示例）を図１０（ｄ）に示す。

【0050】

切出し済みのＶＲ画像が動画であれば、切出範囲内の画像を正距円筒図法ではなく円または楕円内にマッピングした映像（動画）が１つの動画の映像内の左右に（サイドバイサイドで）並べられた動画ファイルを生成して記録する。この際、切出範囲内の画像をコピーした同一の画像を、視差が無いにせよ、右目用画像、左目用画像としてそれぞれ左右に並べて記録する。このような動画をＶＲビューではなく通常の平面画像として表示すると図１０（ｃ）のように表示される。なお、疑似的に視差を有するように（すなわち左目用画像と右目用画像の範囲がやや異なるように）、切出し前の１つの３６０度のＶＲ画像から２つの１８０度の範囲を切出して生成してもよい。切出し済みの動画のＶＲ画像のファイル名は例えば“１２３４５６．ｖｒ．ｍｐ４”となり、拡張子“．ｍｐ４”の手前に３文字の文字列“．ｖｒ”が記述される。切出し済みの動画のＶＲ画像ファイルを、２眼ＶＲビューで再生して表示した場合のあるフレームの表示例（ＶＲゴーグルに装着していない状態のディスプレイ１０５における表示例）は図１０（ｄ）に示した例と同様である。

【0051】

図４は、図３におけるＳ３０６の切り出し方向設定処理の一例を示すフローチャートである。切り出し方向設定処理は、ＣＰＵ１０１が不揮発性メモリ１０３に格納されたプログラムをメモリ１０２に展開して実行することで実現される。

【0052】

Ｓ４０１では、ＣＰＵ１０１は、タッチパネル１０６ａに対して右スクロールの入力が行われたか否かを判定する。右スクロールの入力は、画像を右側にスクロールさせる操作であり、右方向へのスクロール指示に相当する。右スクロールの入力は、例えば右へ移動するタッチムーブや、スクロールバー（不図示）を左側へスライドさせる操作である。右スクロールの入力が行われた場合はＳ４０２に進み、右スクロールの入力が行われなかった場合はＳ４０４に進む。

【0053】

Ｓ４０２では、ＣＰＵ１０１は、ユーザーから右スクロールの入力を受付けると、右方向に画像をスクロール（スライド）する。ＣＰＵ１０１は、ディスプレイ１０５右方向へのスクロール量分の画像領域を、ディスプレイ１０５の左端から右方向に向かって、スクロールに応じて順次表示させる。なお、切り出し領域枠６０６の画面上の位置は固定であり、スクロールの入力があってもスクロールしない。

【0054】

Ｓ４０３では、ＣＰＵ１０１は、スクロール量分の右側の画像領域を除く左方向側の領域をスクロール量分、右方向に移動させて表示させる。すなわち、ＣＰＵ１０１は、ディスプレイ１０５の矩形領域にフラット表示されたＶＲコンテンツを右方向にスクロールさせる。また、ＣＰＵ１０１は、当該スクロールに応じて、ＶＲコンテンツのうち右方向へのスクロール量分の画像領域を、矩形領域のうち右方向とは反対方向の左方向の端から右方向に向かって順次表示させる。

【0055】

図７（ａ）～図７（ｅ）に、Ｓ４０２，Ｓ４０３で行われるスクロールによる表示例を示す。図７（ｂ）の右スクロール７０１は、図７（ａ）に対して右方向のスクロール入力を表している。右スクロール７０１が入力されると図４のＳ４０２、Ｓ４０３の処理が実行される。例えば、Ｓ４０１において、ユーザーが、ディスプレイ１０５の右端側に、スクロール量Ｄ１だけスクロールしたものと想定する。Ｓ４０２において、ＣＰＵ１０１は、点線で囲まれたスクロール量分（Ｄ１）の画像領域７０１１を、ディスプレイ１０５の左端から右方向に向かって、順次表示する。次に、Ｓ４０３において、ＣＰＵ１０１は、スクロール量分（Ｄ１）の画像領域７０１１を除く一点鎖線で囲まれた左側の領域７０１２を、スクロール量分（Ｄ１）右方向に移動させて表示させる。これらの処理が実行されると、ディスプレイ１０５は、図７（ｃ）のような表示になる。

【0056】

図７（ｄ）の右スクロール７０３は、図７（ｃ）に対して右方向のスクロール入力を表している。右スクロール７０３が入力されると、右スクロール７０１を入力した場合と同様に、図４のＳ４０２、Ｓ４０３の処理が実行されて図７（ｅ）の表示になる。

【0057】

このように、Ｓ４０２，Ｓ４０３で行われるスクロールは、画像を右にスクロールすれば、右側の表示領域外までスクロールされて消失した部分が、表示領域の左端から右に向かって次々と進入してくるように表示される。そして、右スクロールの入力を繰り返せば突き当たることなく無限にスクロールさせることができる。すなわちＶＲ画像６０１の左右の端部といった境目を意識させない、同一コンテンツの循環的スクロール表示である。このようにすることで、図６（ａ）の表示例では表示領域の端部に位置していた部分を、切り出し領域枠６０６の中央に位置させることができる。そして、その位置を中心とした１８０度（その位置を中心とした周囲９０度の範囲）の切れ目の無い領域を切出し後のＶＲ画像とするように指示することが可能となる。なお、循環的スクロール表示は、ＶＲ画像の任意の方位を中央に指定することができればよいので、無限に循環できる必要はなく、少なくとも１回循環できればよい。

【0058】

Ｓ４０４では、ＣＰＵ１０１は、タッチパネル１０６ａに対して、右方向とは反対側への左スクロールの入力が行われたか否かを判定する。左スクロールの入力は、画像を左側にスクロールさせる操作であり、左方向へのスクロール指示に相当する。左スクロールの入力は、例えば左へ移動するタッチムーブや、スクロールバー（不図示）を右側へスライドさせる操作である。左スクロールの入力が行われた場合はＳ４０５に進み、右スクロールの入力が行われなかった場合はＳ４０７に進む。

【0059】

Ｓ４０５では、ＣＰＵ１０１は、ユーザーから左スクロールの入力を受付けると、左方向に画像をスクロール（スライド）する。ＣＰＵ１０１は、ディスプレイ１０５左方向へのスクロール量分の画像領域を、ディスプレイ１０５の右端から左方向に向かって、スクロールに応じて順次表示させる。なお、切り出し領域枠６０６の画面上の位置は固定であり、スクロールの入力があってもスクロールしない。

【0060】

Ｓ４０６では、ＣＰＵ１０１は、スクロール量分の左側の画像領域を除く右方向側の領域をスクロール量分、左方向に移動させて表示させる。すなわち、ＣＰＵ１０１は、ディスプレイ１０５の矩形領域にフラット表示されたＶＲコンテンツを左方向にスクロールさせる。また、ＣＰＵ１０１は、当該スクロールに応じて、ＶＲコンテンツのうち左方向へのスクロール量分の画像領域を、矩形領域のうち左方向とは反対方向の右方向の端から右方向に向かって順次表示させる。

【0061】

図８（ａ）～図８（ｅ）に、Ｓ４０２，Ｓ４０３で行われるスクロールによる表示例を示す。図８（ｂ）の左スクロール８０１は、図８（ａ）に対して左方向のスクロール入力
を表している。左スクロール８０１が入力されると図４のＳ４０５、Ｓ４０６の処理が実行される。例えば、Ｓ４０４において、ユーザーが、図７（ｂ）とは反対にディスプレイ１０５の左端側に、スクロール量Ｄ２だけスクロールしたものと想定する。Ｓ４０５において、ＣＰＵ１０１は、点線で囲まれたスクロール量分（Ｄ２）の画像領域８０１１を、ディスプレイ１０５の右端から左方向に向かって、順次表示する。次に、Ｓ４０６において、ＣＰＵ１０１は、スクロール量分（Ｄ２）の画像領域８０１１を除く一点鎖線で囲まれた左側の領域８０１２を、スクロール量分（Ｄ２）左方向に移動させて表示させる。これらの処理が実行されると、ディスプレイ１０５は、図８（ｃ）のような表示になる。

【0062】

図８（ｄ）の左スクロール８０３は、図８（ｃ）に対して左方向のスクロール入力を表している。左スクロール８０３が入力されると、左スクロール８０１を入力した場合と同様に、図４のＳ４０５、Ｓ４０６の処理が実行されて図８（ｅ）の表示になる。

【0063】

このように、Ｓ４０４，Ｓ４０５で行われるスクロールは、画像を左にスクロールすれば、左側の表示領域外までスクロールされて消失した部分が、表示領域の右端から左に向かって次々と進入してくるように表示される。そして、左スクロールの入力を繰り返せば突き当たることなく無限にスクロールさせることができる。すなわちＶＲ画像６０１の左右の端部といった境目を意識させない、同一コンテンツの循環的スクロール表示である。このようにすることで、図６（ａ）の表示例では表示領域の端部に位置していた部分を、切り出し領域枠６０６の中央に位置させることができる。そして、その位置を中心とした１８０度（その位置を中心とした周囲９０度の範囲）の切れ目の無い領域を切出し後のＶＲ画像とするように指示することが可能となる。

【0064】

Ｓ４０７では、ＣＰＵ１０１は、リセットボタン６１０に対するタッチ操作があったか否か、すなわち、切り出し方向のリセット指示の操作を受付けたか否かを判定する。リセット指示が行われた場合にはＳ４０８に進み、リセット指示が行われていなかった場合にはＳ４０９に進む。リセットされた切り出し方向位置とは、図３のＳ３０４の処理時に設定されている切り出し方向の設定である。Ｓ４０８では、ＣＰＵ１０１は、切り出し方向を初期位置に設定する。

【0065】

Ｓ４０９では、ＣＰＵ１０１は、切り出し決定ボタン６１１に対するタッチ操作があったか否か、すなわち切り出し方向の決定指示の操作を受付けたか否かを判定する。切り出し方向の決定指示が行われた場合には、処理を終了し、切り出し方向の決定指示が行われていない場合はＳ４０１に進む。Ｓ４０９でＹｅｓと判定された場合は、Ｓ３０８でもＹｅｓと判定されるものとする。すなわち、本実施形態においては切り出し方向の決定指示と切り出し指示は同じ指示である。ただし、切り出し方向の決定指示と切り出し指示を別の操作によって行うものとしてもよい。例えば、切り出し方向の決定指示があったことに応じて切り出し後のＶＲ画像の範囲を示すプレビュー表示を行い、その後、切り出し指示が行われたことによって切り出し済みのＶＲ画像の画像ファイルを生成するようにしても良い。

【0066】

なお、Ｓ４０１～Ｓ４０６で説明した左右方向へのスクロールによって、切り出し前のＶＲ画像のうち、切り出し後のＶＲ画像の範囲の方位を指定することができる。切り出し後のＶＲ画像の仰俯角は、天頂から天底までの、水平方向（天頂から９０度の方向。天頂補正後であれば補正後の天頂から９０度の方向）を中心とした仰俯角１８０度の範囲に固定される。このようにすることで、切り出し範囲の指定の煩雑さを防ぐことができる。また、切り出し後のＶＲ画像は視聴するユーザーから見て正面（水平方向）を中心とした１８０度とすることができ、天頂を超えた背後側の範囲や、天底を超えた背後側の範囲を含まないようにすることができる。これによってＶＲビューで視聴した際にのけぞって背後を見たりするような無理な姿勢での視聴を防止することができる。

【0067】

なお、天頂切り出しボタン６１２がタッチされた場合は、切り出し範囲は、切り出し領域枠６０６が示す範囲（ユーザーが指定した方位）にかかわらず、天頂（天頂補正していれば補正後の天頂）を中心として全方位に９０度の範囲とする。これは、仮想球体を上下に等分した場合の上側の半球範囲である。また、天底切り出しボタン６１３がタッチされた場合は、切り出し範囲は、切り出し領域枠６０６が示す範囲（ユーザーが指定した方位）にかかわらず、天底（天頂補正していれば補正後の天底）を中心として全方位に９０度の範囲とする。これは、仮想球体を上下に等分した場合の下側の半球範囲である。天頂切り出しボタン６１２、天底切り出しボタン６１３がタッチされた場合は、切り出し指示もあったものとみなし、図３のＳ３０９の切り出し済みのＶＲ画像のファイル生成まで行われる。このようにすることで、切り出し前の仮想球体が斜めに切られた半球が生成されるような不自然な切り出しを防止することができる。すなわち、水平線より上側の空全体を見渡せる切り出し後のＶＲ画像や、天井から見た室内全体、テーブルの上から見たテーブル上の料理全体を見渡せる切り出し後のＶＲ画像を容易に生成することができる。

【0068】

図５は、図３におけるＳ３０７のＶＲ端領域確認処理の一例を示すフローチャートである。ＶＲ端領域確認処理は、ＣＰＵ１０１が不揮発性メモリ１０３に格納されたプログラムをメモリ１０２に展開して実行することで実現される。ＶＲ端領域確認処理は、切り出される領域の境界および境界を含む領域をＶＲ表示することにより、切り出されるＶＲ画像の端領域を、ユーザーが確認できるようにする処理である。

【0069】

Ｓ５０１では、ＣＰＵ１０１は、切り出し範囲の端部の確認指示として、表示されたＶＲ画像の表示領域のうち、前述の中央領域ではなく、切り出し領域６０７の左右の端領域をタッチされたか否かを判定する。左右の端領域とは、切り出し領域６０７の左右境界である切り出し領域枠６０６の左辺を含む左辺より所定幅以内の領域（左端領域）、及び、切り出し領域枠６０６の右辺を含む→辺より所定幅以内の領域（右端領域）である。左右の端領域をタッチされた場合はＳ５０２に進み、端領域をタッチされていない場合は、処理は終了する。切り出し範囲の端部の確認指示はこれに限るものではない。例えば、切り出し範囲の端部の確認指示のためのアイコンを表示し、このアイコンがタッチされたことを切り出し範囲の端部の確認指示としてもよい。また、表示されたＶＲ画像の表示領域のうち、切り出し領域枠６０６の左辺より左側、あるいは切り出し領域枠６０６の右辺より右側がタッチされたことを切り出し範囲の端部の確認指示としてもよい。

【0070】

Ｓ５０２では、ＣＰＵ１０１は、Ｓ３０１で取得したＶＲ画像を読み込む。また、ＶＲ画像の属性情報として付帯する映像範囲（有効映像範囲）を示す情報を取得する。有効映像範囲を示す情報とは、ＶＲ画像が、上下方向、左右方向にどの角度範囲分の有効な映像を有しているかという情報である。有効映像範囲を示す情報は、ＶＲ画像の有効映像範囲を特定出来る情報であればよく、画角、視野角、方位角、仰角、左右の画素数や座標などの位置情報であってもよい。また、有効映像範囲を示す情報は、ＶＲ画像を撮像したカメラの機種情報（機種を特定することで撮影可能な範囲を特定可能）や撮影時のズームの情報等でもよい。

【0071】

ＣＰＵ１０１は、有効映像範囲を示す情報を取得すると、上下左右３６０度との差分で無効映像範囲（非映像範囲）も特定（算出）する。なお、逆に、ＶＲ画像の属性情報から無効映像範囲を示す情報を取得し、そこから有効映像範囲を算出してもよいし、有効映像範囲を示す情報と無効映像範囲を示す情報の双方をＶＲ画像の属性情報から取得してもよい。

【0072】

Ｓ５０３では、ＣＰＵ１０１は、前述の右端領域がタッチされたか否かを判定する。右端領域がタッチされた場合はＳ５０４に進み、右端領域がタッチされていない場合はＳ５
０５に進む。

【0073】

Ｓ５０４では、ＣＰＵ１０１は、ＶＲ画像のうち切り出し領域枠６０６の範囲内となっている表示範囲に基づき、Ｓ５０２で取得したＶＲ画像の右端領域の表示処理を行う。ＶＲ画像の元データ（元画像）は、例えば正距円筒図法を用いた歪んだ画像であり、各画素の位置が球体の表面の座標と対応づけることが可能な形式の画像である。このＶＲ画像の元画像を球体にマッピングし、一部を切り出して表示する。すなわち、Ｓ５０４で表示される画像はＶＲ画像の一部を切り出して拡大した画像であり、かつ、元画像の歪みを除去（あるいは低減）した画像である。この場合、ＣＰＵ１０１は、表示するＶＲ画像を、切り出し領域枠６０６で囲まれた領域の中央線上を中心として左右に９０°（計１８０°）の方位の範囲、及び、天頂から天底までの仰俯角の範囲を有効範囲とする。ＣＰＵ１０１は、それ以外の範囲については、有効範囲外（無効範囲、切り出し範囲外となる除外範囲）と設定する。ＣＰＵ１０１は、この有効範囲と無効範囲との境界線上を中心に右側端領域を表示することで、右側の有効範囲と無効範囲の境界線上の端の状況確認ができる。

【0074】

Ｓ５０５では、ＣＰＵ１０１は、ＶＲ画像のうち切り出し領域枠６０６の範囲内となっている表示範囲に基づき、Ｓ５０２で取得したＶＲ画像の左端領域の表示処理を行う。表示方法はＳ５０４と同じである。ここでは有効範囲と無効範囲の境界線上を中心に左端領域を表示することで、左側の有効範囲と無効範囲の境界線上の端の状況確認ができる。

【0075】

Ｓ５０６では、ＣＰＵ１０１は、タッチパネル１０６ａから通知された情報に基づいて、タッチムーブが検出されたか否かを判定する。タッチムーブが検出された場合はＳ５０７へ進み、タッチムーブが検出されていない場合はＳ５０８へ進む。

【0076】

Ｓ５０７では、ＣＰＵ１０１は、タッチムーブによるスライド操作の方向（タッチムーブの方向）に応じて、ＶＲ画像の表示範囲を変更する。例えば、タッチムーブの方向が左方向と判定された場合にＶＲ画像の表示範囲を左方向へタッチムーブされた量だけずらす（スライドする）ことで、ユーザーはＶＲ画像自体を動かすような操作感で操作することが出来る。この時、切り出し範囲外となる領域のディスプレイ１０５における表示位置は固定である。したがって、タッチムーブによって、切り出し範囲外となる領域と、切り出し範囲内となる表示されている範囲との相対関係がずらされ、切り出し前のＶＲ画像にたいする切り出し範囲（切り出し方向）が変更される。このようにして、切り出し範囲の境界を確認しながら、切り出し範囲内にどこまで収めるかを微調整して切り出し範囲を設定することができる。

【0077】

Ｓ５０８では、ＣＰＵ１０１は、タッチパネル１０６ａに対して切り出し指示の操作があったか否かを判定する。切り出し指示があった場合はＳ５０９に進み、切り出し指示がなかった場合にはＳ５１０へ処理が進む。

【0078】

Ｓ５０９では、ＣＰＵ１０１は、Ｓ５０８で指定した切り出し方向に１８０°の範囲で画像を切り出して、ＶＲ１８０°フォーマットで画像を記録媒体１０８に保存する。生成される画像ファイルはＳ３０９で説明したものと同様である。

【0079】

Ｓ５１０では、ＣＰＵ１０１は、タッチパネル１０６ａから通知された情報に基づいて、戻るボタンのタッチ操作により戻る指示が行われたか否かを判定する。戻る指示が行われた場合は、Ｓ５１１へ処理が進み、戻る指示が行われていない場合は、Ｓ５０６へ処理を戻す。

【0080】

Ｓ５１１では、ＣＰＵ１０１は、Ｓ５０２で取得したＶＲ画像を読みこみ、ＶＲ画像の属性情報として付帯する映像範囲（有効映像範囲）を示す情報を取得して、有効映像範囲
を矩形に収めるフラット表示でＶＲ画像を表示する。Ｓ５０７で表示範囲を変更した場合、フラット表示する画像の中心位置は、変更後の表示範囲の中央の情報に基づいて設定される。表示後、ＶＲ端領域確認処理を終了する。

【0081】

図９を用いて、ＶＲ端領域確認処理の端確認表示について説明をする。この表示は、図５のＳ５０４及びＳ５０５で行われる表示である。

【0082】

図９（ａ）は、ＶＲ画像をＶＲ表示した場合の右端側を表示した状態を示す図である。図９（ａ）は、例えば、図６（ｃ）において、切り出し領域枠６０６の右側の枠の上または右側の非切り出し領域６０８をタッチすることで表示される。切り出し領域枠６０６の右側の枠の上または右側の非切り出し領域６０８をタッチすることは、ユーザーからの「確認指示」の一例である。確認指示は、切り出し領域枠６０６で囲まれた領域において確認対象となる境界または境界を含む領域を指定する操作である。右側有効範囲９０１及び無効範囲９０２がＶＲ表示（ＶＲビュー）で表示されている。ＶＲ表示（ＶＲビュー）は、仮想球体にマッピングした表示形態であり、フラット表示からは変形された表示形態である。従って、フラット表示では歪曲していた部分が、歪曲が補正された形状で正確に確認することができる。無効範囲９０２は、黒色、白色、パターン表示などによりマスキングをして表示されてもよい。境界をほぼ中央に表示することで、ＶＲ画像の右側境界線がどのような状態になっているか確認が可能である。戻るボタン９０３、切り出しボタン９０４を無効範囲９０２上に配置することで、ユーザーは、右側有効範囲９０１及びＶＲ画像の右側境界線を含む領域を確認し、境界を識別することが可能である。

【0083】

図９（ｂ）は、ＶＲ画像をＶＲ表示した場合の左端側を表示した状態を示す図である。図９（ｂ）は、例えば、図６（ｃ）において、切り出し領域枠６０６の左側の枠の上または左側の非切り出し領域６０８をタッチすること（確認指示）で表示される。左側有効範囲９０５及び無効範囲９０６がＶＲ表示で表示されている。無効範囲９０６は、黒色、白色、パターン表示などによりマスキングをして表示されてもよい。境界をほぼ中央に表示することで、ＶＲ画像の左側境界線がどのような状態になっているか確認が可能である。図９（ａ）と同様に、戻るボタン９０３、切り出しボタン９０４を無効範囲９０６上に配置することで、ユーザーは、左側有効範囲９０５及びＶＲ画像の左側境界線を含む領域を確認し、境界を識別することが可能である。

【0084】

ユーザーからの確認指示として、切り出し領域枠６０６の枠の上または非切り出し領域６０８をタッチする例を示したが、これに限られない。例えば、ＣＰＵ１０１は、切り出し領域枠６０６の枠で囲まれた領域において確認対象となる境界を指定するためのアイコンをタッチパネル１０６ａに表示してもよい。ユーザーは、アイコンをタッチすることで、図９（ａ）または図９（ｂ）の画面により境界を含む領域を確認し、境界を識別することができる。図９（ａ）または図９（ｂ）の画面は、ユーザーが境界の情報を確認し、境界を識別するために表示される仮情報である。

【0085】

以上のように、上述の実施形態によればＶＲ画像の１８０°切り出しをフラット表示から行う場合に、フラット表示上の画像端の方向を切り出し後の中央領域に設定することが出来る。

【0086】

さらに、ＶＲ画像が切り出し編集状態になっていない場合は、左右のスクロールは画像送りすることによって、ユーザーの操作性を向上させることも出来る。

【0087】

なお、ＣＰＵ１０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

【0088】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0089】

また、上述した実施形態においては、本発明をスマートフォンに適用した場合を例にして説明したが、これはこの例に限定されずＶＲ画像を表示部に表示することができる装置であれば適用可能である。例えば、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、映像プレーヤーなどに適用可能である。また、本発明は、デジタルカメラ、テレビジョン装置、投影装置、タブレット端末、ＡＩスピーカー、家電装置、車載装置、医療機器などにも適用可能である。
＜その他の実施形態＞

【0090】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0091】

１００：表示制御装置 １０１：ＣＰＵ １０５：ディスプレイ １０６：操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】