特許 7527778 電子機器、電子機器の制御方法、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-26

(45)【発行日】2024-08-05

(54)【発明の名称】電子機器、電子機器の制御方法、プログラム、記憶媒体

(51)【国際特許分類】

   G09G 5/36 20060101AFI20240729BHJP

   G09G 5/00 20060101ALI20240729BHJP

   G09G 5/37 20060101ALI20240729BHJP

   H04N 13/239 20180101ALI20240729BHJP

   H04N 13/339 20180101ALI20240729BHJP

   H04N 13/344 20180101ALI20240729BHJP

   H04N 13/359 20180101ALI20240729BHJP

【ＦＩ】

G09G5/36 500

G09G5/00 550C

G09G5/37 300

G09G5/37 600

H04N13/239

H04N13/339

H04N13/344

H04N13/359

【請求項の数】 16

(21)【出願番号】P 2019220357

(22)【出願日】2019-12-05

(65)【公開番号】P2021089382

(43)【公開日】2021-06-10

【審査請求日】2022-11-24

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】田中 稜介

(72)【発明者】

【氏名】村上 新

【審査官】武田 悟

(56)【参考文献】

【文献】特開２０１９－１２１８５８（ＪＰ，Ａ）

【文献】特開２０１５－２３４３５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１３０６９９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

Ｈ０４Ｎ １３／００ － １３／３９８

(57)【特許請求の範囲】

【請求項1】

互いに視差を有する第１の画像と第２の画像とを有する画像セットを取得する第１の取得手段と、
前記第２の画像を表示することなく前記第１の画像を表示する第１の表示モードの場合には、前記第１の画像を天頂補正して表示手段に表示し、
前記第１の画像と前記第２の画像とをともに表示する第２の表示モードの場合には、前記第１の画像と前記第２の画像とを、前記天頂補正せずに前記表示手段に表示するように制御する制御手段と
を有することを特徴とする電子機器。

【請求項2】

前記画像セットの傾き情報を取得する第２の取得手段をさらに有し、
前記制御手段は、前記第１の画像を天頂補正する場合には、前記画像セットの傾き情報に基づいて前記第１の画像を天頂補正する
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記画像セットは、撮像装置によって撮像された画像セットであって、
前記撮像装置は、前記電子機器に含まれておらず、
前記傾き情報は、前記画像セットに付加された傾き情報、または前記画像セットの特徴に基づく傾き情報である
ことを特徴とする請求項２に記載の電子機器。

【請求項4】

前記制御手段は、前記第１の表示モードの場合である場合、前記傾き情報に基づいて前記第１の画像を天頂補正して前記第１の画像を表示手段に表示するように制御する
ことを特徴とする請求項３に記載の電子機器。

【請求項5】

前記制御手段は、前記第１の画像を天頂補正する場合には、
前記傾き情報の傾きに対応する前記第１の画像における方向と、前記表示手段の上下方向とを平行にするように前記第１の画像を天頂補正して前記第１の画像を前記表示手段に表示するように制御する
ことを特徴とする請求項３または４に記載の電子機器。

【請求項6】

前記制御手段は、前記第１の画像を天頂補正する場合には、
前記傾き情報の傾きに対応する前記第１の画像における方向と、前記表示手段の左右方向とを平行にするように前記第１の画像を天頂補正して前記第１の画像を前記表示手段に表示するように制御する
ことを特徴とする請求項３または４に記載の電子機器。

【請求項7】

前記制御手段は、前記第１の画像を天頂補正する場合には、
前記傾き情報の傾きに対応する前記第１の画像における方向と、前記表示手段への表示時の重力方向とを平行にするように前記第１の画像を天頂補正して前記表示手段に表示するように制御する
ことを特徴とする請求項３または４に記載の電子機器。

【請求項8】

前記制御手段は、前記第１の画像を天頂補正する場合には、
前記傾き情報の傾きに対応する前記第１の画像における方向と、前記表示手段への表示時の水平方向とを平行にするように前記第１の画像を天頂補正して前記表示手段に表示するように制御する
ことを特徴とする請求項３または４に記載の電子機器。

【請求項9】

前記第２の表示モードは、前記第１の画像と前記第２の画像を並べて表示する表示モードであり、
前記第２の表示モードにおいて、前記第１の画像はユーザーの右目および左目のうちの一方により観賞するための画像であり、前記第２の画像はユーザーの右目および左目のうちの他方により観賞するための画像である、
ことを特徴とする請求項１から８のいずれか１項に記載の電子機器。

【請求項10】

前記第１の表示モードは、１つの前記第１の画像のみを表示する第１の表示態様と、同一の前記第１の画像を２つ並べて表示する第２の表示態様との少なくともいずれかの表示を行う表示モードである
ことを特徴とする請求項１から９のいずれか１項に記載の電子機器。

【請求項11】

前記制御手段は、ユーザーの入力に応じて、前記第２の表示態様と前記第２の表示モードとを切り替えることが可能である
ことを特徴とする請求項１０に記載の電子機器。

【請求項12】

前記制御手段は、画像を２つ並べて表示する場合には、前記第２の表示態様と前記第２の表示モードとのいずれかをユーザーに選択させるためのガイド表示を行う
ことを特徴とする請求項１１に記載の電子機器。

【請求項13】

前記第１の表示モードは、複数の前記画像セットのそれぞれの前記第１の画像を表示するモード、１つの前記第１の画像を仮想球体にマッピングする変形を行って表示するモード、前記変形を行わずに１つの前記第１の画像を表示するモード、の少なくともいずれかである、
ことを特徴とする請求項１から１２のいずれか１項に記載の電子機器。

【請求項14】

互いに視差を有する第１の画像と第２の画像とを有する画像セットを取得する取得工程と、
前記第２の画像を表示することなく前記第１の画像を表示する第１の表示モードの場合には、前記第１の画像を天頂補正して表示手段に表示し、
前記第１の画像と前記第２の画像とをともに表示する第２の表示モードの場合には、前記第１の画像と前記第２の画像とを、前記天頂補正せずに前記表示手段に表示するように制御する制御工程と
を有することを特徴とする電子機器の制御方法。

【請求項15】

コンピュータを、請求項１乃至１３のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。

【請求項16】

コンピュータを、請求項１乃至１３のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
を有することを特徴とする電子機器である。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＶＲ画像の表示を制御する電子機器、電子機器の制御方法、プログラム、記憶媒体に関する。

【背景技術】

【0002】

２つの光学系を用いて視差のある広角画像を得て、仮想球体上にマッピングして表示することで立体感のあるＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像を表示する技術が知られている。視差のある画像を撮像するための二眼ＶＲカメラは、同じ方向に向いた２つの光学系を有しており、１度の撮像操作により、視差のある２枚の画像を撮像する。二眼ＶＲカメラとして、特に各光学系において上下左右１８０度（半球、画像中心から全方向に９０度）以上の広範囲を撮像するものが知られている。また、ＶＲ表示の方法として、ＶＲ画像を仮想球体にマッピングする変形を行って１つの画像を表示する「一眼ＶＲ表示」や、左眼用と右眼用のＶＲ画像を左右の区域に並べて表示する「二眼ＶＲ表示」が知られている。

【0003】

特許文献１には、ＶＲカメラが撮像したＶＲ画像を表示する際に、ユーザーの観賞の行いやすくするために、天頂補正（ＶＲカメラのピッチ角とロール角の補正）とＶＲカメラのヨー角の補正を制御する電子機器が提案されている。ここで、電子機器は、ＶＲカメラの設置場所や移動速度や揺れなどの条件に応じて、天頂補正などの制御を行っている。

【0004】

ここで、天頂補正が行われなければ、ＶＲ画像内の天頂とユーザーの認識がずれ、ＶＲ画像の識別や観賞がしにくく、また、ＶＲ画像を用いた操作が行いにくいことがある。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－１２１８５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

二眼ＶＲカメラが傾いた状態でＶＲ画像を撮像すると、左右の光学系が異なる高さで撮像を行うことになるため、センサに結像される左右の被写体像に重力方向（鉛直方向）の視差が生じる。このため、二眼ＶＲ表示を行う場合に撮像したＶＲ画像（二眼ＶＲ画像）に天頂補正を施すと、ＶＲ画像の傾きは補正されるが、立体物の知覚を妨げる重力方向の視差は解消されず、ユーザーには二重像として知覚される。このような二重像を感じさせるＶＲ画像は、ユーザーにＶＲ酔いと呼ばれる頭痛やめまい、吐き気などの症状を引き起こす原因になる。このように、傾いて撮像された二眼ＶＲ画像の二眼ＶＲ表示を行う場合に天頂補正を行えば、不快感を伴う二重像が生じる課題がある。そして、このような課題について特許文献１では考慮されていない。

【0007】

そこで本発明は、複数の光学系を用いて撮像されたＶＲ画像を、より好適に表示することのできる電子機器を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の１つの態様は、
互いに視差を有する第１の画像と第２の画像とを有する画像セットを取得する第１の取得手段と、
前記第２の画像を表示することなく前記第１の画像を表示する第１の表示モードの場合には、前記第１の画像を天頂補正して表示手段に表示し、
前記第１の画像と前記第２の画像とをともに表示する第２の表示モードの場合には、前記第１の画像と前記第２の画像とを、前記天頂補正せずに前記表示手段に表示するように制御する制御手段と
を有することを特徴とする電子機器である。

【発明の効果】

【0009】

本発明によれば、複数の光学系を用いて撮像されたＶＲ画像を、より好適に表示することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係るＶＲカメラを説明する図である。

【図2】実施形態に係る表示制御装置を説明する図である。

【図3】実施形態に係る天頂補正を説明する図である。

【図4】実施形態に係る表示モードを説明する図である。

【図5】実施形態に係る表示制御の処理を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら本発明の好適な実施の形態を説明する。まず、以下では、ＶＲ画像について説明し、その後、本実施形態に係る表示制御装置について説明する。

【0012】

［ＶＲ画像について］
ＶＲ画像とは、ＶＲ表示（表示モード「ＶＲビュー」で表示）をすることのできる画像である。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれる。ＶＲ画像には、静止画だけでなく、動画やライブビュー画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角、ピッチ角）３６０度、左右方向（水平角度、方位角度、ヨー角）３６０度の視野分の映像範囲（有効映像範囲）を持つ。

【0013】

また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮像（撮影）可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含む。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮像可能な全天球カメラで撮像された画像はＶＲ画像の一種である。また、例えば、左右方向（水平角度、方位角度）１８０度、水平方向を中心とした垂直角度１８０度の視野分（画角分）の被写体を撮像可能なカメラで撮像された画像はＶＲ画像の一種である。即ち、上下方向と左右方向にそれぞれ１６０度（±８０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。

【0014】

このＶＲ画像をＶＲ表示（表示モード「ＶＲビュー」で表示）すると、左右回転方向に表示装置（ＶＲ画像を表示する表示装置）の姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を観賞（鑑賞）することができる。上下方向（垂直回転方向）には、真上（天頂）から±１０５度の範囲では継ぎ目のない全方位の映像を観賞することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。

【0015】

ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた視野範囲の映
像を表示する、表示範囲を変更可能な表示方法（表示モード）である。表示装置であるヘッドマウントディスプレイ（ＨＭＤ）を装着して観賞する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、表示装置の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザーがＨＭＤを観賞している場合で言えば、ユーザーが顔を北から南に向ければ（すなわち後ろを向けば）、ＨＭＤに表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザーに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚（没入感）を提供することができる。ＶＲゴーグル（ヘッドマウントアダプター）に装着されたスマートフォンは、ＨＭＤの一種と言える。

【0016】

なお、ＶＲ画像の表示方法は上記に限るものではない。姿勢変化ではなく、タッチパネルや方向ボタンなどに対するユーザー操作に応じて、表示範囲を移動（スクロール）させてもよい。ＶＲ表示時（表示モード「ＶＲビュー」時）において、姿勢変化による表示範囲の変更に加え、タッチパネルへのタッチムーブ、マウスなどへのドラッグ操作、方向ボタンの押下などに応じて表示範囲を変更できるようにしてもよい。

【0017】

ここで、左右方向（水平角度、方位角度）１８０度、水平方向を中心とした垂直角度１８０度の視野分（画角分）の被写体を撮像可能なカメラ（撮像装置）には、例えば、図１（ａ）が示すＶＲカメラ１００がある。ＶＲカメラ１００は、ユーザーがシャッターボタン１０３を押下したことに応じて、レンズ１０１，１０２を介してカメラ前方の１８０度を撮像することができる。ＶＲカメラ１００を用いれば、レンズ１０１，１０２の２つの箇所（光学系）から被写体を撮像することができるため、視差がある２つのＶＲ画像を同時に（セットで）取得することができる。ここで、図１（ａ）に示すようにＶＲカメラ１００においてレンズ１０１，１０２が水平に位置する状態では、ＶＲカメラ１００の上下方向１０４と重力方向１０５とは一致する。しかし、図１（ｂ）に示すようにＶＲカメラ１００においてレンズ１０１，１０２が水平に位置しない状態では、ＶＲカメラ１００の上下方向１０４と重力方向１０５とは一致しない。このため、図１（ｂ）が示す状態で撮像された２つのＶＲ画像に対して天頂補正がされて二眼ＶＲ表示がされると、撮像時における重力方向１０５の視差の影響によって二重像が発生する可能性がある。

【0018】

［表示制御装置について］
図２（ａ）に、電子機器の一種である表示制御装置２００の外観図の例を示す。ディスプレイ２０５は、画像や各種情報を表示する表示部である。ディスプレイ２０５は、後述するようにタッチパネル２０６ａと一体的に構成されており、ディスプレイ２０５の表示面へのタッチ操作を検出できるようになっている。表示制御装置２００は、ＶＲ画像（ＶＲコンテンツ）をディスプレイ２０５においてＶＲ表示することが可能である。

【0019】

操作部２０６は、図示のようにタッチパネル２０６ａ、操作部２０６ｂ，２０６ｃ，２０６ｄ，２０６ｅを含む。操作部２０６ｂは、表示制御装置２００の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部２０６ｃと操作部２０６ｄは、音声出力部２２２から出力する音声のボリュームを増減するボリュームボタンである。操作部２０６ｅは、ディスプレイ２０５にホーム画面を表示させるためのホームボタンである。

【0020】

音声出力端子２１２ａは、イヤホンジャックであり、イヤホンや外部スピーカなどに音声を出力する部品である。スピーカ２１２ｂは、音声を発音する本体内蔵スピーカである
。

【0021】

図２（ｂ）に、表示制御装置２００の構成の一例を示す。本実施形態に係る表示制御装置２００は、スマートフォンなどの表示装置を用いて構成可能である。内部バス２５０に対してＣＰＵ２０１、メモリ２０２、不揮発性メモリ２０３、画像処理部２０４、ディスプレイ２０５、操作部２０６、記憶媒体Ｉ／Ｆ２０７、外部Ｉ／Ｆ２０９、および、通信Ｉ／Ｆ２１０が接続されている。また、内部バス２５０に対して音声出力部２１２と姿勢検出部２１３も接続されている。内部バス２５０に接続される各部は、内部バス２５０を介して互いにデータのやりとりを行うことができるように構成されている。

【0022】

ＣＰＵ２０１は、表示制御装置２００の全体を制御する制御部であり、少なくとも１つのプロセッサまたは回路からなる。メモリ２０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ２０１は、例えば不揮発性メモリ２０３に格納されるプログラムに従い、メモリ２０２をワークメモリとして用いて、表示制御装置２００の各部を制御する。不揮発性メモリ２０３には、画像データや音声データ、その他のデータ、ＣＰＵ２０１が動作するための各種プログラムなどが格納される。不揮発性メモリ２０３は例えばフラッシュメモリやＲＯＭなどで構成される。

【0023】

画像処理部２０４は、ＣＰＵ２０１の制御に基づいて、不揮発性メモリ２０３や記憶媒体２０８に格納された画像や、外部Ｉ／Ｆ２０９を介して取得した映像信号、通信Ｉ／Ｆ２１０を介して取得した画像などに対して各種画像処理を施す。画像処理部２０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲のデータを有する広範囲画像であるＶＲ画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部２０４は、特定の画像処理を行うための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部２０４を用いずにＣＰＵ２０１がプログラムに従って画像処理を行うことも可能である。

【0024】

ディスプレイ２０５は、ＣＰＵ２０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ２０１は、プログラムに従い表示制御信号を生成し、ディスプレイ２０５に表示するための映像信号を生成してディスプレイ２０５に出力するように表示制御装置２００の各部を制御する。ディスプレイ２０５は、出力された映像信号に基づいて映像を表示する。なお、表示制御装置２００自体が備える構成としてはディスプレイ２０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ２０５は外付けのモニタ（テレビなど）で構成してもよい。

【0025】

操作部２０６は、ユーザー操作を受け付けるための入力デバイスである。操作部２０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む。なお、タッチパネルは、ディスプレイ２０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

【0026】

記憶媒体Ｉ／Ｆ２０７は、メモリーカードやＣＤ、ＤＶＤといった記憶媒体２０８が装着可能である。記憶媒体Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御に基づき、装着された記憶媒体２０８からのデータの読み出しや、記憶媒体２０８に対するデータの書き込みを行う。外部Ｉ／Ｆ２０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ２１０は、外部機器やインターネット２１１などと通信して、ファイルやコマンドなどの各種データの送受信を行
うためのインターフェースである。

【0027】

音声出力部２１２は、動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部２１２には、イヤホンなどを接続する音声出力端子２１２ａ、スピーカ２１２ｂが含まれるものとするが、無線通信などで音声出力を行ってもよい。

【0028】

姿勢検出部２１３は、重力方向に対する表示制御装置２００の姿勢や、ヨー、ロール、ピッチの各軸に対する姿勢の傾きを検知する。姿勢検出部２１３で検知された姿勢に基づいて、表示制御装置２００が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。姿勢検出部２１３としては、加速度センサ、ジャイロセンサ、地磁気センサ、方位センサ、高度センサなどのうち少なくとも１つを用いることができ、複数を組み合わせて用いることも可能である。

【0029】

なお、操作部２０６には、タッチパネル２０６ａが含まれる。ＣＰＵ２０１は、タッチパネル２０６ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル２０６ａにタッチしていなかった指やペンが新たにタッチパネル２０６ａにタッチしたこと、すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する。）
・タッチパネル２０６ａを指やペンがタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）
・指やペンがタッチパネル２０６ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）
・タッチパネル２０６ａへタッチしていた指やペンがタッチパネル２０６ａから離れたこと、すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）
・タッチパネル２０６ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）

【0030】

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。

【0031】

これらの操作・状態や、タッチパネル２０６ａ上に指やペンがタッチしている位置座標は内部バスを通じてＣＰＵ２０１に通知される。ＣＰＵ２０１は、通知された情報に基づいてタッチパネル２０６ａ上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブに関して、タッチパネル２０６ａ上で移動する指やペンの移動方向について、位置座標の変化に基づいて、タッチパネル１０６ａ上の垂直成分・水平成分ごとに判定できる。ここで、所定距離以上のタッチムーブが検出された場合には、スライド操作が行われたと判定される。

【0032】

なお、タッチパネル２０６ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル２０６ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。さらに、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。

【0033】

タッチパネル２０６ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

【0034】

図２（ｃ）に、表示制御装置２００を装着可能なＶＲゴーグル（ヘッドマウントアダプタ）２３０の外観図を示す。表示制御装置２００は、ＶＲゴーグル２３０に装着することで、ヘッドマウントディスプレイ（ＨＭＤ）として使用することも可能である。

【0035】

挿入口２３１は、表示制御装置２００を差し込むための挿入口である。ディスプレイ２０５の表示面を、ＶＲゴーグル２３０をユーザーの頭部に固定するためのヘッドバンド２３２側（すなわちユーザ側）に向けて表示制御装置２００の全体をＶＲゴーグル２３０差し込むことができる。こうして、ユーザーはＶＲゴーグル２３０を頭部に装着した状態で、ユーザーが手で表示制御装置２００を保持することなく、表示制御装置２００のディスプレイ２０５を視認することができる。この場合、ユーザーが頭部または体全体を動かすと、表示制御装置２００の姿勢も変化する。姿勢検出部２１３は、表示制御装置２００の姿勢の変化を検出し、この姿勢の変化に基づいてＣＰＵ２０１がＶＲ表示処理を行う。この場合に姿勢検出部２１３が表示制御装置２００の姿勢を検出することは、ユーザーの頭部の姿勢（ユーザの視線が向いている方向）を検出することと同等である。なお、表示制御装置２００自体が、ＶＲゴーグル無しでもユーザーの頭部に装着可能な装着部を有するＨＭＤであってもよい。

【0036】

［天頂補正について］
表示制御装置２００では、ユーザーの画像の見やすさを考慮して、ＣＰＵ２０１が画像処理部２０４を制御して、表示方向（表示領域）を補正する天頂補正をしてＶＲ画像を表示することが可能である。なお、表示制御装置２００は、天頂補正を行った表示も可能であるし、天頂補正を行わない表示も可能である。そこで、図３（ａ）～図３（ｃ）を用いて、ＶＲ画像を表示する際の天頂補正について説明する。

【0037】

図３（ａ）は、ＶＲカメラ１００による撮像（撮影）時の状況の模式図である。図３（ａ）は、被写体である家３０１と犬３０２に対して、ＶＲカメラ１００がＶＲ画像（広範囲画像）を撮像している様子を示す。ここで、ＶＲカメラ１００から見て方向Ｄ（例えば北）に家３０１が位置しており、ＶＲカメラ１００から見て方向Ｄよりも右に９０度の方向（例えば東）に犬３０２が位置している。ＶＲカメラ１００は、重力方向１０５に対して右にやや傾いて構えられており、重力方向１０５とＶＲカメラ１００の上下方向１０４（上下軸）は平行でない。この状況で、ＶＲカメラ１００の撮像レンズを家３０１に向けてＶＲ画像（動画または静止画）の撮像を行い、ＶＲカメラ１００は撮像結果を画像Ａとして記録したものとする。

【0038】

図３（ｂ）は、図３（ａ）の状況で撮像された画像Ａを、表示制御装置２００が天頂補正することなく再生（表示）した場合の模式図である。表示制御装置２００（ＣＰＵ２０１）は、ＶＲカメラ１００の記憶媒体から無線あるいは有線でのファイル転送によって、あるいは表示制御装置２００に装着されたメモリーカード等の記憶媒体２０８から、画像Ａを取得する。

【0039】

また、図３（ｂ）は、画像Ａにおける一部の領域を表示制御装置２００の姿勢に応じて表示するＶＲ表示（ＶＲビュー）をした場合のディスプレイ２０５の表示例を示している。図３（ｂ）の左側では、表示制御装置２００を装着したＶＲゴーグル２３０をユーザー
が頭部に装着しており、ユーザーが画像ＡをＶＲ表示で観賞している。画像Ａは、ＶＲカメラ１００が傾いた状態で撮像されたＶＲ画像である。このため、天頂補正をしない場合は、ＶＲカメラ１００の撮像時の重力方向１０５に対する右への傾きと逆側の左に傾いた被写体（画像）がディスプレイ２０５に表示される。すなわち、天頂補正をしない場合、画像Ａでは家３０１が傾いて表示される。より詳細には、ＶＲ表示において、撮像時のＶＲカメラ１００の上下方向１０４に対応する画像Ａにおける方向を、表示制御装置２００の姿勢検出部２１３が検出している重力方向３０３（天頂を通る軸方向）と平行にするように画像Ａが表示される。なお、ＶＲ表示以外の表示方法であれば、撮像時のＶＲカメラ１００の上下方向１０４に対応する画像Ａにおける方向を、表示制御装置２００におけるディスプレイ２０５の上下方向と平行にするように画像Ａが表示される。

【0040】

図３（ｂ）の右側は、図３（ｂ）の左側の状態から、ユーザーが水平方向に対して右を向いた場合のディスプレイ２０５の表示例を示している。ユーザーが右を向く姿勢の変化に基づいて画像Ａのうち表示される範囲（方向）が変更され、犬３０２が写る範囲（向き）が表示される。この状況では、犬３０２も傾いて表示される。また、ユーザーが向く位置を水平方向に対して左右に変更すると、表示制御装置２００は、撮像時のＶＲカメラ１００の上下方向１０４を軸として回転移動することにより画像Ａの表示範囲を変更する。このため、ユーザーが視認する表示において、実際には家３０１と同程度の高さに見えるはずの犬３０２の上下方向の位置がずれてしまう。

【0041】

図３（ｃ）は、図３（ａ）の状況で撮像された画像Ａを、表示制御装置２００が天頂補正して表示（再生）した場合の模式図である。図３（ｃ）は、図３（ｂ）と同様に、表示方法をＶＲ表示（ＶＲビュー）とした場合の例である。図３（ｃ）の左側では、表示制御装置２００を装着したＶＲゴーグル２３０をユーザーが頭部に装着して、ユーザーはＶＲ表示で画像Ａを観賞している。

【0042】

図３（ｃ）では、画像Ａを撮像していた際にＶＲカメラ１００が検出していた重力方向１０５を再生時の上下方向と平行にするように、画像Ａの向き（表示）が補正（天頂補正）されている。より詳しくは、撮像時の重力方向１０５（ＶＲカメラ１００が検出していた重力方向）に対応する画像Ａにおける方向を、表示制御装置２００の姿勢検出部２１３が検出している重力方向３０３と平行にするように、画像Ａが補正されて表示される。すなわち、天頂補正をした場合、画像Ａにおいて家３０１が傾かないように表示される。なお、ＶＲ表示以外の表示方法であれば、撮像時の重力方向１０５に対応する画像Ａにおける方向を、表示制御装置２００におけるディスプレイ２０５の上下方向と平行にするように画像Ａが表示される。いずれにおいても、重力方向１０５（天頂を通る軸方向）に対して傾いた撮像時のＶＲカメラ１００の上下方向１０４と、画像Ａを撮像していた際にＶＲカメラ１００で検出していた重力方向１０５とのズレ量を打ち消すような表示向きの補正が行われる。

【0043】

図３（ｃ）の右側は、図３（ｃ）の左側の状態から、水平方向に対してユーザーが右を向いた場合のディスプレイ２０５の表示例を示している。ユーザーが右を向く姿勢の変化に基づいて画像Ａのうち表示される範囲（方向）が変更され、犬３０２が写る領域が表示される。この状況では、犬３０２も傾かずに表示される。また、ＶＲ表示において、現実と同様に、家３０１と同程度の高さに犬３０２が見える。

【0044】

［表示モードについて］
表示制御装置２００は、表示するＶＲ画像に対して、天頂補正を行うか否かを表示モード（表示態様）に応じて決定する。本実施形態では、表示モードとして、図４（ａ）に示すサムネイル表示モード、図４（ｂ）に示す平面画像表示モード、図４（ｃ）に示す一眼ＶＲ表示モード、図４（ｅ）および図４（ｆ）に示す二眼ＶＲ表示モードの４つのモード
が存在する。なお、以下では、図４（ａ）～図４（ｆ）を用いて、ＶＲカメラ１００が撮像した、重力方向および水平方向に視差がある２つのＶＲ画像（左右眼用画像）のセット（画像セット）を用いた表示について説明する。ここで、サムネイル表示モード、平面画像表示モード、一眼ＶＲモードでは、画面全体の表示をユーザーは左右の両方の眼によって見ることが想定される。一方、二眼ＶＲ表示モードでは、画面の領域の左右に並べて表示された２つの画像における、右側の画像を右目で見て、左側の画像を左目で見ることが想定される。

【0045】

図４（ａ）に示すサムネイル表示モードは、一画面に複数の画像を並べて表示するモードである。サムネイル表示モードは、観賞のために表示させるＶＲ画像（画像セット）をユーザーに選択させるためのモードである。ここで、サムネイル表示モードで複数表示される１つ１つの画像は、記憶媒体２０８に記録された１つの画像セットに含まれる一方のＶＲ画像である。画面４１０は、サムネイル表示モードでのディスプレイ２０５の画面である。画像４１１～４１４は、記録されているＶＲ画像の領域のうちの一部または全体を示す。ユーザーは、画像４１１～４１４のいずれかに対してタッチ操作をすることで、観賞したいＶＲ画像（画像セット）を選択することができる。また、フリック操作をすることで、サムネイル表示モードにおいて表示するＶＲ画像（画像セット）を変更することができる。ボタン４１５はユーザーが操作を行うためのソフトウェアボタンであり、ユーザーはボタン４１５を選択することで、ＶＲ画像の表示を終了することができる。なお、このモードでは、天頂補正が行われた画像４１１～４１４が表示される。ユーザーの左右の眼のいずれもが同じ表示を見るため立体視による二重像の発生の可能性もなく、天頂補正によってユーザーの画像の見やすさが向上できる。

【0046】

図４（ｂ）に示す平面画像表示モードは、サムネイル表示モードにおいてユーザーが選択した１つのＶＲ画像の画像セットに含まれる一方のＶＲ画像を全体を一画面に表示するモードである。画面４２０は、サムネイル表示モードにおいてユーザーが選択したＶＲ画像が一画面（平面画像）表示されたディスプレイ２０５の画面である。ボタン４２１～４２４はユーザーが各操作を行うためのソフトウェアボタンである。ボタン４２１～４２４のいずれかをユーザーが選択することで、選択したボタンに割り当てられた機能を実行することができる。具体的には、ボタン４２１をユーザーがタッチすることで前の表示に戻ることができ、ボタン４２２をユーザーがタッチすることで、表示中のＶＲ画像を一眼ＶＲ表示させる（一眼ＶＲ表示モードに遷移させる）ことができる。ボタン４２３，４２４には、その他の機能が割り当てられる。例えば、ボタン４２３には外部装置（他のユーザー）とＶＲ画像を共有する機能が割り当てられ、ボタン４２４には記憶媒体２０８からＶＲ画像を削除する機能が割り当てられる。なお、このモードでは、天頂補正が行われた画像４１１が表示されている。このモードでは、ユーザーの左右の眼のいずれもが同じ表示を見るため立体視による二重像の発生の可能性もなく、天頂補正によってユーザーの画像の見やすさが向上できる。

【0047】

図４（ｃ）に示す一眼ＶＲ表示モードは、直前に平面画像表示していたＶＲ画像の画像セットに含まれる一方のＶＲ画像に仮想球体にマッピングする変形を行って、その一部領域を表示するモードである。一眼ＶＲ表示モードでは、ユーザーによる表示範囲の変更操作に応じて表示範囲を変更することができる。画面４３０は、一眼ＶＲ表示でのディスプレイ２０５の画面である。ボタン４３２はユーザーが操作を行うためのソフトウェアボタンであり、ボタン４３２をユーザーがタッチすることで、表示中のＶＲ画像を二眼ＶＲ表示させる（二眼ＶＲ表示モードに遷移させる）ことができる。このモードでは、天頂補正がされた画像４１１の一部の領域が表示されている。このモードでは、ユーザーの左右の眼のいずれもが同じ表示を見るため立体視による二重像の発生の可能性もなく、天頂補正によってユーザーの画像の見やすさが向上できる。

【0048】

図４（ｄ）は、二眼ＶＲ表示をユーザーが指示した際に表示する天頂補正に関するガイド表示画面４４０を示している。ガイド表示４４１は、二眼ＶＲ表示時の天頂補正の実行を有効にするか無効にするかをユーザーに問う（確認する）表示である。ボタン４４２，４４３は、ユーザーが操作を行うためのソフトウェアボタンである。ボタン４４２をユーザーがタッチすると、二眼ＶＲ表示時の天頂補正が有効になり、図４（ｅ）の画面がディスプレイ２０５に表示される。一方、ボタン４４３をユーザーがタッチすると、二眼ＶＲ表示時の天頂補正が無効になり、図４（ｆ）の画面がディスプレイ２０５に表示される。

【0049】

図４（ｅ）および図４（ｆ）に示す二眼ＶＲ表示モードは、直前に一眼ＶＲ表示していたＶＲ画像の画像セットを仮想球体にマッピングする変形を行って、その一部領域を並べて表示するモードである。二眼ＶＲ表示モードでは、ユーザーによる表示範囲の変更操作に応じて表示範囲を変更することができる。画面４５０ａ，４５０ｂはそれぞれ、二眼ＶＲ表示でのディスプレイ２０５の画面である。

【0050】

図４（ｅ）に示す画面４５０ａにおける画像４５１ａ，４５２ａはともに、ＶＲカメラ１００の左光学系で撮像した同一のＶＲ画像であり、天頂補正を施した画像である。つまり、図４（ｅ）に示す二眼ＶＲ表示モードでは、画像セットに含まれるいずれか一方のＶＲ画像が並べて表示される。画像４５１ａが、ユーザーの左目が見るためのＶＲ画像であり、画像４５２ａが、ユーザーの右目が見るためのＶＲ画像である。なお、画像４５１ａ，４５２ａには、ＶＲカメラ１００の右光学系で撮像したＶＲ画像を利用してもよい。ここで、画像４５１ａ，４５２ａは、同じ表示であるため互いに視差を有しない。図４（ｅ）に示す二眼ＶＲ表示では、視差を有さない２枚の画像が表示されるため、ユーザーは立体視を行うことはできない。しかし、ユーザーの左右の眼のいずれもが同じ画像を見るので、２枚のＶＲ画像の間の視差による二重像が発生しないため、天頂補正によってユーザーの画像の見やすさが向上する。

【0051】

図４（ｆ）に示す画面４５０ｂにおける、画像４５１ｂはＶＲカメラ１００の左光学系で撮像したＶＲ画像であり、画像４５２ｂはＶＲカメラ１００の右光学系で撮像したＶＲ画像である。図４（ｅ）に示す二眼ＶＲ表示モードでは、画像セットの両方のＶＲ画像が並べて表示される。つまり、画面４５０ｂにおける画像の一方（画像４５１ｂ）はユーザーの左目により観賞するためのＶＲ画像であり、他方（画像４５２ｂ）はユーザーの右目により観賞するためのＶＲ画像である。この２つの画像は互いに視差を有するが、天頂補正が施されていない画像である。天頂補正していないので、２つの画像の間に観賞時の重力方向の視差が生じず、二重像などの立体視に関する問題が生じにくい。また、互いに視差を有する画像であるため、立体視が可能である。

【0052】

このように、表示制御装置２００は、４つの表示モードのうち二眼ＶＲ表示モードの場合以外では、表示するＶＲ画像に対し天頂補正を施し、二眼ＶＲ表示モードの場合には、表示するＶＲ画像に対し天頂補正を施すか否かをユーザーに選択させる。より詳細には、本実施形態では、表示制御装置２００は、ユーザーの左右の眼が同一の表示を見る場合には天頂補正をＶＲ画像に施し、ユーザーの左右の眼が互いに異なる表示を見る場合には天頂補正をＶＲ画像に施さない。

【0053】

［表示制御の処理について］
以下、表示制御装置２００の表示制御の処理について図５のフローチャートを用いて説明する。表示制御装置２００の操作部２０６に対する、所定のユーザー操作によりＶＲ画像の表示が指示されると、図５のフローチャートの処理が開始する。図５のフローチャートおける各処理は、ＣＰＵ２０１が不揮発性メモリ２０３に格納されたプログラムをメモリ２０２に展開して実行することにより実現される。また、本実施形態では、ＶＲカメラ１００が撮像（取得）した画像セット（画像ファイル）に対して、表示制御装置２００が
表示制御をすることを想定する。

【0054】

Ｓ５０１において、ＣＰＵ２０１は、ＶＲカメラ１００が撮像した複数の画像セット（画像ファイル）を記憶媒体２０８から読み出す（取得する）。本実施形態では、ＣＰＵ２０１は、図４（ａ）に示すようにサムネイル表示をするために、４つの画像セットを記憶媒体２０８から読み出す（取得する）。

【0055】

Ｓ５０２において、ＣＰＵ２０１は、Ｓ５０１にて読み出した複数の画像セットのそれぞれについての詳細情報を記憶媒体２０８から読み出す（取得する）。ここで、詳細情報は、例えば、画像セットの傾き情報、撮像時のＶＲカメラ１００の重力方向、撮像時のＶＲカメラ１００の上下方向などの情報である。例えば、撮像時におけるＶＲカメラ１００の上下方向１０４の重力方向１０５に対する傾き（撮像時のＶＲカメラ１００の傾き情報）が、画像セットの傾き情報として画像セットにＶＲカメラ１００により付加されて記憶媒体２０８に記憶される。ＶＲカメラ１００は、撮像時におけるＶＲカメラ１００の上下方向１０４の重力方向１０５に対する傾きを、ＶＲカメラ１００のジャイロセンサなどで取得するとよい。なお、画像セットの傾き情報は、画像セットの撮像時の水平方向に対するＶＲカメラ１００の２つの光学系（レンズ１０１，１０２）を結んだ方向の傾きの情報であるとも言える。

【0056】

Ｓ５０３において、ＣＰＵ２０１は、読み出した複数の画像セットのそれぞれについて、傾き情報に基づき、傾きのある画像セットであるか否かを判定する。ここで、傾きのある画像セットとは、重力方向１０５と、ＶＲカメラ１００の上下方向１０４とが平行でない状態で撮像された画像セット（ＶＲ画像）である。または、傾きのある画像セットとは、水平方向と、ＶＲカメラ１００の２つの光学系（レンズ１０１，１０２）を結んだ方向とが平行でない状態で撮像された画像セット（ＶＲ画像）である。したがって、ＣＰＵ２０１は、ＶＲカメラ１００の撮像時の重力方向１０５と、ＶＲカメラ１００の撮像時の上下方向１０４とが平行であるかによって傾きの有無を判定してもよい。複数の画像セットのうち傾きのある画像セットについては、Ｓ５０４に進み、そうでない画像セットについてはＳ５０５に進む。

【0057】

なお、ＣＰＵ２０１は、画像セットの傾き情報をＶＲ画像（画像セット）の特徴から求めてもよい。例えば、ＶＲ画像に対し既知の直線抽出手法を用いることで直線の特徴を抽出して、直線が多く交わる２点の座標を算出し、この２点を結ぶ線分の位置と傾きでＶＲカメラの傾きを取得する方法がある。

【0058】

Ｓ５０４において、ＣＰＵ２０１は、画像処理部２０４を制御して、Ｓ５０３にて判定した傾きのある画像セットに含まれるいずれかのＶＲ画像に対して天頂補正を施して、ディスプレイ２０５にサムネイル表示を行う。Ｓ５０４におけるサムネイル表示では、例えば、図４（ａ）の画像４１１のように正距円筒図法での歪んだ画像が表示される。画像４１１では、ＶＲ画像の全体が表示されている（収まっている）ので表示範囲の変更はできない。画像４１１は、ＶＲ画像の全体が画面に収まったものではなく、正距円筒図法で描かれた長方形のＶＲ画像の中心から所定の正方形の範囲を切り出したものでもよい。

【0059】

Ｓ５０５において、ＣＰＵ２０１は、Ｓ５０３にて判定した傾きのない画像セットに含まれるいずれかのＶＲ画像をサムネイル表示でディスプレイ２０５に表示する。ここで、ＣＰＵ２０１は、ＶＲ画像に対して天頂補正を施さない。例えば、Ｓ５０５におけるサムネイル表示では、図４（ａ）の画像４１２～４１４などが表示される。

【0060】

つまり、Ｓ５０３～Ｓ５０５の処理は、複数の画像セットそれぞれについて別々に実行される。より詳細には、Ｓ５０３において、ＣＰＵ２０１は、Ｓ５０１にて読み出された
複数の画像セットのそれぞれに対して、傾きのある画像セットであるか否かを判定する。そして、複数の画像セットのそれぞれについて、傾きのある画像セットに対してはＳ５０４にて天頂補正がされてサムネイル表示における１つの画像として表示される。傾きのない画像セットに対しては天頂補正がされずにサムネイル表示における１つの画像として表示される。

【0061】

Ｓ５０６において、ＣＰＵ２０１は、サムネイル表示モードの終了をユーザーが指示したか否かを判定する。ここで、ＣＰＵ２０１は、図４（ａ）のボタン４１５をユーザーが押下した場合に、サムネイル表示モードの終了を指示したと判定できる。サムネイル表示モードの終了をユーザーが指示した場合には、図５のフローチャートの処理が全て終了し、そうでない場合にはＳ５０７に進む。

【0062】

Ｓ５０７において、ＣＰＵ２０１は、サムネイル表示された複数のＶＲ画像（図４（ａ）では画像４１１～画像４１４）のうちのいずれかのＶＲ画像を選択するタッチ操作があったか否かを判定する。当該タッチ操作は、タッチダウン操作やタッチアップ操作である。タッチ操作があった場合にはＳ５０８に進み、そうでない場合にはＳ５０６に進む。なお、以下では、Ｓ５０７にてユーザーが選択したＶＲ画像を「選択画像」とし、選択画像の画像セットを「選択画像セット」として説明する。

【0063】

Ｓ５０８において、ＣＰＵ２０１は、選択画像セットの傾き情報に基づき、選択画像セットが傾きのある画像セットであるか否かを判定する。選択画像セットが傾きのある画像セットである場合にはＳ５０９に進み、そうでない場合にはＳ５１０に進む。

【0064】

Ｓ５０９において、ＣＰＵ２０１は、画像処理部２０４を制御して、図４（ｂ）に示すように、選択画像に対して天頂補正を施してディスプレイ２０５に平面表示を行う。図４（ｂ）では、正距円筒図法での歪んだＶＲ画像が表示されている。ここでは、ＶＲ画像の全体が画面に収まって表示されているので表示範囲の変更はできない。

【0065】

Ｓ５１０において、ＣＰＵ２０１は、選択画像に対して天頂補正を施さずディスプレイ２０５に平面表示を行う。

【0066】

Ｓ５１１において、ＣＰＵ２０１は、ユーザーによる一眼ＶＲ表示の指示があったか否かを判定する。ＣＰＵ２０１は、例えば、図４（ｂ）のボタン４２２へのユーザーのタッチがあった場合に、一眼ＶＲ表示の指示があったと判定できる。一眼ＶＲ表示の指示があった場合にはＳ５１３に進み、そうでない場合にはＳ５１２に進む。

【0067】

Ｓ５１２において、ＣＰＵ２０１は、ユーザーによる平面表示の終了の操作があったか否かを判定する。例えば、ＣＰＵ２０１は、図４（ｂ）のボタン４２１へのユーザーのタッチがあった場合には、平面表示の終了の操作があったと判定できる。平面表示の終了の操作があった場合にはＳ５０３に進み、そうでない場合にはＳ５１１に進む。

【0068】

Ｓ５１３において、ＣＰＵ２０１は、選択画像セットが傾きのある画像セットか否かを判定する。選択画像セットが傾きのある画像セットである場合にはＳ５１４に進み、そうでない場合にはＳ５１５に進む。

【0069】

Ｓ５１４において、ＣＰＵ２０１は、画像処理部２０４を制御して、図４（ｃ）に示すように、選択画像に対して天頂補正を施して、ディスプレイ２０５に一眼ＶＲ表示を行う。図４（ｃ）では、仮想天球にマッピングされたＶＲ画像を表示するといった画像を変形する処理を施したＶＲ画像の一部が表示されており、歪みが除去されている。

【0070】

Ｓ５１５において、ＣＰＵ２０１は、選択画像に対して天頂補正を施さずディスプレイ２０５に一眼ＶＲ表示を行う。

【0071】

Ｓ５１６において、ＣＰＵ２０１は、ユーザーによる表示範囲の変更操作があったか否かを判定する。表示範囲の変更操作は、タッチパネル２０６ａによるフリック操作や表示制御装置２００の姿勢の変更である。表示範囲の変更操作があった場合にはＳ５１７に進み、そうでない場合にはＳ５１８に進む。

【0072】

Ｓ５１７において、ＣＰＵ２０１は、画像処理部２０４を制御して、ディスプレイ２０５に表示する選択画像の範囲を変更する。

【0073】

Ｓ５１８において、ＣＰＵ２０１は、ユーザーによる二眼ＶＲ表示の指示があったか否かを判定する。ＣＰＵ２０１は、例えば、図４（ｃ）のボタン４３２へのユーザーのタッチがあった場合に、二眼ＶＲ表示の指示があったと判定できる。二眼ＶＲ表示の指示があった場合にはＳ５２０に進み、そうでない場合にはＳ５１９に進む。

【0074】

Ｓ５１９において、ＣＰＵ２０１は、ユーザーによる一眼ＶＲ表示の終了の操作があったか否かを判定する。例えば、ＣＰＵ２０１は、図４（ｃ）のボタン４２１へのユーザーのタッチがあった場合には、一眼ＶＲ表示の終了の操作があったと判定できる。一眼ＶＲ表示の終了の操作があった場合にはＳ５０８に進み、そうでない場合にはＳ５１６に進む。

【0075】

Ｓ５２０において、ＣＰＵ２０１は、選択画像セットが傾きのある画像セットか否かを判定する。選択画像セットが傾きのある画像セットである場合にはＳ５２１に進み、そうでない場合にはＳ５２４に進む。

【0076】

Ｓ５２１において、ＣＰＵ２０１は、図４（ｄ）に示すように、選択画像に対し天頂補正を施すか否かをユーザーに選択させるためのガイド表示４４１をディスプレイ２０５に行う。

【0077】

Ｓ５２２において、ＣＰＵ２０１は、ガイド表示４４１に対するユーザー入力を判定する。操作部２０６によりユーザーが天頂補正をする選択を行った場合はＳ５２３に進み、ユーザーが天頂補正をしない選択を行った場合はＳ５２４に進む。

【0078】

なお、Ｓ５２１，Ｓ５２２の処理は必須ではなく、例えば、Ｓ５２０において選択画像セットが傾きのある画像セットである場合（Ｓ５２０Ｙｅｓ）には、Ｓ５２３に進んでもよい。

【0079】

Ｓ５２３において、ＣＰＵ２０１は、画像処理部２０４を制御して、選択画像に対して天頂補正を施して、ディスプレイ２０５に二眼ＶＲ表示を行う（図４（ｅ））。Ｓ５２３における二眼ＶＲ表示では、左右の眼で知覚するためのＶＲ画像は視差がない同じ画像である。なお、Ｓ５２３において左右同じ画像が表示されるため立体視はできないが、二重像が見えるなどの視認性の破綻がないという効果がある。

【0080】

Ｓ５２４において、ＣＰＵ２０１は、選択画像セットの両方の画像に対して天頂補正を施さずディスプレイ２０５に二眼ＶＲ表示を行う（図４（ｆ））。Ｓ５２４における二眼ＶＲ表示では、左右の眼で視差が生ずる異なるＶＲ画像が左右に表示される。このように表示することによれば、視差あり画像なので立体視できることに加えて、天頂補正していないため視認性の破綻もないという効果がある。

【0081】

Ｓ５２５において、ＣＰＵ２０１は、ユーザーによる表示範囲の変更操作があったか否かを判定する。表示範囲の変更操作は、タッチパネル２０６ａによるフリック操作や表示制御装置２００の姿勢変更である。表示範囲の変更操作があった場合にはＳ５２６に進み、そうでない場合にはＳ５２７に進む。

【0082】

Ｓ５２６において、ＣＰＵ２０１は、画像処理部２０４を制御して、ディスプレイ２０５に表示するＶＲ画像の範囲を変更する。

【0083】

Ｓ５２７において、ＣＰＵ２０１は、二眼ＶＲ表示を終了するためのユーザーによる操作があったか否かを判定する。ＣＰＵ２０１は、例えば、図４（ｅ）または図４（ｆ）のボタン４２１へのユーザーのタッチがあった場合には、二眼ＶＲ表示の終了の操作があったと判定できる。二眼ＶＲ表示の終了の操作があった場合にはＳ５１３に進み、そうでない場合にはＳ５２５に進む。

【0084】

以上の制御フローによれば、ユーザーが二眼ＶＲ表示モードを指示した場合のみ、表示するＶＲ画像の天頂補正を施すか否かをユーザーに選択させる。したがって、本実施形態によれば、傾いて撮像されたＶＲ画像を再生モードごとにユーザーが最も見やすくなるように表示することができる。平面表示モード、サムネイル表示モード、一眼ＶＲ表示モードの場合、天頂を補正したＶＲ画像を提示できユーザーが観賞や操作を行いやすくなる。また、視差ある画像を並べて表示するような二眼ＶＲ表示モードの場合、天頂補正によって生じる不快感を伴う二重像を解消することができる。このことにより、傾いて撮像されたＶＲ画像を再生場面ごとにユーザーが最も見やすくなるように表示を制御する表示制御装置（電子機器）を実現することができる。

【0085】

また、本実施形態では、ＶＲ画像に対して天頂補正をしないのは、二眼ＶＲ表示モードの場合のみである。ここで、二眼ＶＲ表示モードでは、ユーザーがＶＲゴーグル２３０（ＨＭＤ）を装着している場合に、ユーザーの左右の眼がそれぞれ、画面の左右のＶＲ画像のうち対応する画像を見ることができる。つまり、ユーザーがＶＲゴーグル２３０を装着している場合に、ＶＲ画像に天頂補正がされると、二重像の発生の可能性がある。従って、表示制御装置２００またはＶＲゴーグル２３０における装着検知部がＶＲゴーグル２３０のユーザーの装着を検知した場合には、ＣＰＵ２０１は、ＶＲ画像に天頂補正を施さず、それ以外の場合にはＶＲ画像に天頂補正を施すようにしてもよい。ここで、装着検知部は、例えば、ディスプレイ２０５（表示制御装置２００）からユーザーの眼までの距離が所定距離以内にあれば、ＶＲゴーグル２３０の装着を検知してもよい。また、装着検知部は、例えば、ＶＲゴーグル２３０とユーザーの頭部との接触を検知すると、ＶＲゴーグル２３０の装着を検知してもよい。なお、ＣＰＵ２０１は、装着検知部がＶＲゴーグル２３０の装着を検知した場合には表示モードを、左右で視差ある画像を表示する二眼ＶＲ表示モードに切り替えてもよい。ＣＰＵ２０１は、装着検知部がＶＲゴーグル２３０の装着を検知していない場合には表示モードを、左右で視差ある画像を表示する二眼ＶＲ表示モード以外の表示モードに切り替えてもよい。

【0086】

なお、ＣＰＵ２０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサや回路）が処理を分担することで、装置全体の制御を行ってもよい。

【0087】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0088】

また、上述した実施形態においては、本発明を表示制御装置に適用した場合を例にして説明したが、これはこの例に限定されずユーザーの左右の眼のそれぞれのためのＶＲ画像を表示可能である表示装置を制御する電子機器であれば適用可能である。すなわち、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ヘッドマウントディスプレイ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。

【0089】

なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

【0090】

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0091】

２００：表示制御装置、２０１：ＣＰＵ、２０５：ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】