特開 2023-105524 表示制御装置、ヘッドマウントディスプレイ、および表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023105524

(43)【公開日】2023-07-31

(54)【発明の名称】表示制御装置、ヘッドマウントディスプレイ、および表示制御方法

(51)【国際特許分類】

   H04N 13/344 20180101AFI20230724BHJP

   H04N 13/239 20180101ALI20230724BHJP

   G09G 5/36 20060101ALI20230724BHJP

   G09G 5/00 20060101ALI20230724BHJP

   G09G 5/10 20060101ALI20230724BHJP

【ＦＩ】

H04N13/344

H04N13/239

G09G5/36 510M

G09G5/36 510V

G09G5/36 520B

G09G5/00 530D

G09G5/10 D

G09G5/00 550C

G09G5/00 550X

G09G5/00 530T

G09G5/10 B

G09G5/00 510G

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022006403

(22)【出願日】2022-01-19

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】西部 満

(72)【発明者】

【氏名】冨永 丈博

(72)【発明者】

【氏名】中田 佳寛

(72)【発明者】

【氏名】伊藤 政記

(72)【発明者】

【氏名】南野 孝範

【テーマコード（参考）】

5C061

5C182

【Ｆターム（参考）】

5C061AA29

5C061AB04

5C061AB12

5C061AB16

5C061AB18

5C182AA02

5C182AA03

5C182AA26

5C182AB14

5C182AB33

5C182AC02

5C182AC03

5C182AC43

5C182AC46

5C182BA01

5C182BA14

5C182BA29

5C182BA46

5C182BA56

5C182BA75

5C182BC01

5C182BC22

5C182BC25

5C182BC26

5C182BC29

5C182CA01

5C182CA12

5C182CA54

5C182CB04

5C182CB47

5C182CB54

5C182CC22

5C182CC24

5C182CC25

5C182DA02

5C182DA05

5C182DA06

5C182DA44

5C182DA54

5C182DA66

(57)【要約】

【課題】ヘッドマウントディスプレイを用いた画像表示技術において、ユーザ体験の質を維持しながら画像処理の負荷を下げる。
【解決手段】
ヘッドマウントディスプレイのステレオカメラは、（ａ）に示すように１／Δｔのフレームレートで、左視点、右視点の撮影画像２４ａ、２４ｂなどを撮影する。表示制御装置は（ｃ）に示すように、左視点、右視点の撮影画像のうちどちらか一方を用いて、左目用、右目用の表示画像（例えば表示画像２８ａ、２８ｂ）を、撮影と同じレートでフレームごとに交互に生成し、表示パネルの対応する領域に表示させたうえ、他方の領域を非表示とする。
【選択図】図５

【特許請求の範囲】

【請求項1】

動画像のフレームを構成する左目用および右目用の表示画像を、表示パネルの左右の領域にそれぞれ表示させる表示制御装置であって、
前記左目用および右目用のどちらか一方の表示画像を、フレームごとに交互に生成する画像データ生成部と、
前記表示パネルにおいて、前記一方の表示画像が前記左右の領域のうち対応する領域に表示されるとともに、他方の領域を非表示とするように制御する出力制御部と、
を備えたことを特徴とする表示制御装置。

【請求項2】

ステレオカメラが左右の視点から撮影したステレオ動画像のデータを取得する撮影画像取得部をさらに備え、
前記画像データ生成部は、前記ステレオ動画像のフレームを構成する左右の視点からの撮影画像を交互に用いて、前記左目用および右目用の表示画像を交互に生成することを特徴とする請求項１に記載の表示制御装置。

【請求項3】

前記撮影画像取得部は、前記ステレオ動画像のフレームを構成する、前記左右の視点からの撮影画像を交互に取得し、
前記画像データ生成部は、取得された撮影画像を用いて前記表示画像を生成することを特徴とする請求項２に記載の表示制御装置。

【請求項4】

前記撮影画像から前記表示画像を生成するために必要な複数種類の補正を統合した補正の量を画素ごとに格納する補正規則記憶部をさらに備え、
前記画像データ生成部は、前記統合した補正の量で前記撮影画像を補正することにより、中間画像を経由せずに前記表示画像を生成することを特徴とする請求項２または３に記載の表示制御装置。

【請求項5】

前記左目用および右目用の表示画像を同時に表示させる同時表示状態と、前記どちらか一方の表示画像を表示させる片側表示状態との切り替えにおいて、
前記画像データ生成部は、切り替え前の表示画像の輝度の逓減と切り替え後の表示画像の輝度の増加を並行して行うクロスフェードの過程を設けるとともに、前記同時表示状態において表示される左目用および右目用の表示画像のうちどちらか一方を、フレームごとに交互に、他方より先に輝度変化させて前記片側表示状態で表示される画像と置き換えることを特徴とする請求項２から４のいずれかに記載の表示制御装置。

【請求項6】

前記画像データ生成部は、コンテンツ画像から前記撮影画像への表示の切り替えにおいて、前記同時表示状態から前記片側表示状態へ切り替えることを特徴とする請求項５に記載の表示制御装置。

【請求項7】

前記画像データ生成部は、前記同時表示状態と前記片側表示状態の切り替えにおいて、表示上の輝度を時間に対し線形に変化させる規則に基づき、前記表示画像のデータ上の画素値を時間変化させることを特徴とする請求項５または６に記載の表示制御装置。

【請求項8】

前記画像データ生成部は、付加的な情報を表した付加画像を、鑑賞時の接眼レンズの歪みを踏まえ逆の歪みを与えた前記表示画像のうち、中心から所定範囲内の領域に、位置に応じた歪みを与えたうえで直接描画することを特徴とする請求項１から７のいずれかに記載の表示制御装置。

【請求項9】

前記付加画像のモデルデータとして、内部領域に少なくとも１つの頂点を有する複数のポリゴンで構成される平面のデータを格納する付加画像データ記憶部をさらに備え、
前記画像データ生成部は、前記表示画像の平面に設定される前記頂点の位置座標に基づき、歪みを有する前記付加画像を前記ポリゴンごとに描画することを特徴とする請求項８に記載の表示制御装置。

【請求項10】

前記画像データ生成部は、前記付加画像により隠蔽される前記表示画像の領域を、描画の対象から除外することを特徴とする請求項８または９に記載の表示制御装置。

【請求項11】

請求項１から１０のいずれかに記載の表示制御装置と、
前記表示画像として表示させるステレオ動画像を撮影するステレオカメラと、
前記表示パネルと、
を備えたことを特徴とするヘッドマウントディスプレイ。

【請求項12】

前記ステレオカメラは、前記ステレオ動画像のフレームを構成する、前記左右の視点からの画像をフレームごとに交互に撮影し、前記表示制御装置に供給することを特徴とする請求項１１に記載のヘッドマウントディスプレイ。

【請求項13】

動画像のフレームを構成する左目用および右目用の表示画像を、表示パネルの左右の領域にそれぞれ表示させる表示制御装置が、
前記左目用および右目用のどちらか一方の表示画像を、フレームごとに交互に生成するステップと、
前記表示パネルにおいて、前記一方の表示画像が前記左右の領域のうち対応する領域に表示されるとともに、他方の領域を非表示とするように制御するステップと、
を含むことを特徴とする表示制御方法。

【請求項14】

動画像のフレームを構成する左目用および右目用の表示画像を、表示パネルの左右の領域にそれぞれ表示させるコンピュータに、
前記左目用および右目用のどちらか一方の表示画像を、フレームごとに交互に生成する機能と、
前記表示パネルにおいて、前記一方の表示画像が前記左右の領域のうち対応する領域に表示されるとともに、他方の領域を非表示とするように制御する機能と、
を実現させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、画像の表示を制御する表示制御装置、画像を表示するヘッドマウントディスプレイ、およびそこでなされる表示制御方法に関する。

【背景技術】

【0002】

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることができる。

【0003】

また実空間を撮影するビデオカメラをヘッドマウントディスプレイに設け、その撮影画像にコンピュータグラフィクスを重畳表示させることにより複合現実を実現する技術も実用化されている。例えば特許文献１では、撮影された動画像から間引いたフレームを用いて複合現実画像を生成し、長い周期で当該画像を表示することにより、処理すべきデータ量を抑える技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－６２３９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ユーザの視線方向に対応する視野で画像を表示させる場合、ユーザの動きに追随する低遅延での表示が求められる。一方で、画像の解像度やフレームレートを高めることにより高画質化を実現しようとすると、処理すべき画像のデータサイズが増大する。結果として処理負荷が増加したり通信帯域が逼迫したりして、表示までの遅延を生みやすくなる。処理負荷の増大は消費電力にも影響を与え、ヘッドマウントディスプレイの場合は特に、充電池の持続時間が短くなったり、発熱により装着感が悪化したりすることもあり得る。

【0006】

本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイを用いた画像表示技術において、ユーザ体験の質を維持しながら画像処理の負荷を下げることのできる技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある態様は表示制御装置に関する。この表示制御装置は、動画像のフレームを構成する左目用および右目用の表示画像を、表示パネルの左右の領域にそれぞれ表示させる表示制御装置であって、左目用および右目用のどちらか一方の表示画像を、フレームごとに交互に生成する画像データ生成部と、表示パネルにおいて、当該一方の表示画像が左右の領域のうち対応する領域に表示されるとともに、他方の領域を非表示とするように制御する出力制御部と、を備えたことを特徴とする。

【0008】

本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記表示制御装置と、表示画像として表示させるステレオ動画像を撮影するステレオカメラと、上記表示パネルと、を備えたことを特徴とする。

【0009】

本発明のさらに別の態様は表示制御方法に関する。この表示制御方法は、動画像のフレームを構成する左目用および右目用の表示画像を、表示パネルの左右の領域にそれぞれ表示させる表示制御装置が、左目用および右目用のどちらか一方の表示画像を、フレームごとに交互に生成するステップと、表示パネルにおいて、一方の表示画像が左右の領域のうち対応する領域に表示されるとともに、他方の領域を非表示とするように制御するステップと、を含むことを特徴とする。

【0010】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0011】

本発明によれば、ヘッドマウントディスプレイを用いた画像表示技術において、ユーザ体験の質を維持しながら画像処理の負荷を下げることができる。

【図面の簡単な説明】

【0012】

【図1】本実施の形態のヘッドマウントディスプレイの外観例を示す図である。

【図2】本実施の形態の画像表示システムの構成例を示す図である。

【図3】本実施の形態の画像表示システムにおけるデータの経路を模式的に示す図である。

【図4】本実施の形態において、撮影画像から表示画像を生成する処理を説明するための図である。

【図5】本実施の形態において左目用、右目用の画像を交互に表示する態様を説明するための図である。

【図6】本実施の形態におけるコンテンツ処理装置の内部回路構成を示す図である。

【図7】本実施の形態におけるヘッドマウントディスプレイの内部回路構成を示す図である。

【図8】本実施の形態における表示制御装置の機能ブロックの構成を示す図である。

【図9】本実施の形態におけるモード遷移制御部によるクロスフェードの手法を説明するための図である。

【図10】図９の（ｂ）で示した輝度変化を与えたときの、表示画像の変遷を模式的に示す図である。

【図11】撮影画像から表示画像を生成する際の一般的な処理手順を例示する図である。

【図12】本実施の形態において補正部が撮影画像から表示画像を生成する際の処理手順を示す図である。

【図13】本実施の形態において付加画像描画部が表示画像に付加画像を重畳させた状態を模式的に示す図である。

【図14】本実施の形態において付加画像描画部が付加画像を効率的に描画する手法を説明するための図である。

【発明を実施するための形態】

【0013】

図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

【0014】

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出してもよい。

【0015】

ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０を備える。本実施の形態では、ステレオカメラ１１０が撮影している動画像を、少ない遅延で表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるモードを提供する。以後、このようなモードを「シースルーモード」と呼ぶ。例えばヘッドマウントディスプレイ１００は、コンテンツの画像を表示していない期間を自動でシースルーモードとする。

【0016】

これによりユーザは、コンテンツの開始前、終了後、中断時などに、ヘッドマウントディスプレイ１００を外すことなく周囲の状況を確認できる。シースルーモードはこのほか、ユーザが明示的に操作を行ったことを契機として、開始させたり終了させたりしてもよい。これによりコンテンツの鑑賞中であっても、任意のタイミングで一時的に実空間の画像へ表示を切り替えることができ、実世界での突発的な事象に対処するなど必要な作業を行える。なお図示する例でステレオカメラ１１０は、筐体１０８の前面下方に設けられているが、その配置は特に限定されない。またステレオカメラ１１０以外のカメラが設けられていてもよい。

【0017】

ステレオカメラ１１０による撮影画像は、コンテンツの画像としても利用できる。例えばカメラの視野にある実物体に合わせた位置、姿勢、動きで、仮想オブジェクトを撮影画像に合成して表示することにより、拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）を実現できる。また撮影画像を表示に含めるか否かによらず、撮影画像を解析し、その結果を用いて、描画するオブジェクトの位置、姿勢、動きを決定づけることもできる。

【0018】

例えば、撮影画像にステレオマッチングを施すことにより、被写体の像の対応点を抽出し、三角測量の原理で被写体の距離を取得してもよい。あるいはVisual SLAM（Simultaneous Localization and Mapping）など周知の技術により、周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を取得してもよい。これらの処理により、ユーザの視点の位置や視線の向きに対応する視野で仮想世界を描画し表示させることができる。

【0019】

図２は、本実施の形態における画像表示システムの構成例を示す。画像表示システム１０において、ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢ Ｔｙｐｅ－Ｃなどの周辺機器を接続するインターフェースによりコンテンツ処理装置２００に接続される。コンテンツ処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置２００に提供してもよい。

【0020】

コンテンツ処理装置２００は、基本的に、コンテンツを処理して表示画像を生成し、ヘッドマウントディスプレイ１００に送信することで表示させる情報処理装置である。典型的にはコンテンツ処理装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに対応する視野で表示画像を生成する。例えばコンテンツ処理装置２００は、電子ゲームを進捗させつつ、ゲームの舞台である仮想世界を表す画像を生成し、仮想現実（ＶＲ：Virtual Reality）を実現する。

【0021】

本実施の形態においてコンテンツ処理装置２００が処理するコンテンツは特に限定されず、上述のとおりＡＲやＭＲを実現してもよいし、映画などあらかじめ表示画像が制作されているものであってもよい。以後の説明では、シースルーモードで表示される実空間のリアルタイムでの画像以外の画像を、「コンテンツ画像」として対比させる。

【0022】

図３は、本実施の形態の画像表示システム１０におけるデータの経路を模式的に示している。ヘッドマウントディスプレイ１００は上述のとおりステレオカメラ１１０と表示パネル１２２を備える。表示パネル１２２は、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示機構を有するパネルである。本実施の形態において表示パネル１２２は、ユーザの左目および右目に正対する左右の領域に、動画像のフレームを構成する左目用および右目用の画像をそれぞれ表示する。

【0023】

左目用画像と右目用画像を、両眼の間隔に対応する視差を有するステレオ画像とすることにより、表示対象を立体的に見せることができる。表示パネル１２２は、左目用のパネルと右目用のパネルを左右に並べてなる２つのパネルで構成してもよいし、左目用画像と右目用画像を左右に接続した画像を表示する１つのパネルであってもよい。

【0024】

ヘッドマウントディスプレイ１００はさらに、画像処理用集積回路１２０を備える。画像処理用集積回路１２０は例えば、ＣＰＵを含む様々な機能モジュールを搭載したシステムオンチップである。なおヘッドマウントディスプレイ１００はこのほか、上述のとおりジャイロセンサ、加速度センサ、角加速度センサなどのモーションセンサや、ＤＲＡＭ（Dynamic Random Access Memory）などのメインメモリ、ユーザに音声を聞かせるオーディオ回路、周辺機器を接続するための周辺機器インターフェース回路などが備えられてよいが、ここでは図示を省略している。

【0025】

図では、ステレオカメラ１１０が撮影した画像を表示に含めるケースにおける、２通りのデータ経路を矢印で示している。ＡＲやＭＲを実現する場合、一般にはステレオカメラ１１０による撮影画像を、コンテンツを処理する主体に取り込み、そこで仮想オブジェクトと合成して表示画像を生成する。図示する画像表示システム１０においてコンテンツを処理する主体はコンテンツ処理装置２００のため、矢印Ｂに示すように、ステレオカメラ１１０で撮影された画像は、画像処理用集積回路１２０を経て一旦、コンテンツ処理装置２００に送信される。

【0026】

そして仮想オブジェクトが合成されるなどしてヘッドマウントディスプレイ１００に返され、表示パネル１２２に表示される。一方、シースルーモードの場合、矢印Ａに示すように、ステレオカメラ１１０で撮影された画像を、画像処理用集積回路１２０で表示に適した画像に補正したうえ表示パネル１２２に表示させることができる。矢印Ａの経路によれば、矢印Ｂの経路と比較しデータの伝送経路が格段に短くなるため、画像の撮影から表示までの時間を短縮できるとともに、伝送に要する消費電力を軽減させることができる。

【0027】

ただし本実施の形態におけるシースルーモードのデータ経路を矢印Ａに限定する主旨ではない。つまり矢印Ｂの経路を採用し、ステレオカメラ１１０により撮影された画像を、一旦、コンテンツ処理装置２００に送信してもよい。そして、コンテンツ処理装置２００側で表示画像として補正したうえで、ヘッドマウントディスプレイ１００に返すことで表示に至る構成としてもよい。

【0028】

図４は、撮影画像から表示画像を生成する処理を説明するための図である。実空間において、物が置かれたテーブルがユーザの前にあるとする。ステレオカメラ１１０はそれを撮影することにより、左視点の撮影画像１６ａと右視点の撮影画像１６ｂを取得する。ステレオカメラ１１０の視差により、撮影画像１６ａ、１６ｂには、同じ被写体の像の位置に水平方向のずれが生じている。

【0029】

また、カメラのレンズにより、撮影画像１６ａ、１６ｂにおける被写体の像には歪曲収差が発生する。一般には、そのようなレンズ歪みを補正し、歪みのない左視点の画像１８ａと右視点の画像１８ｂを生成する（Ｓ１０）。ここで元の撮影画像１６ａ、１６ｂにおける位置座標（ｘ，ｙ）の画素が、補正後の画像１８ａ、１８ｂにおける位置座標（ｘ＋Δｘ，ｙ＋Δｙ）へ補正されたとすると、その補正量を表す変位ベクトル（Δｘ，Δｙ）は、次の一般式で表せる。

【0030】

【数1】

【0031】

ここでｒは、画像平面におけるレンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）はレンズの光軸の位置である。またｋ_１、ｋ_２、ｋ_３、・・・はレンズ歪み係数でありレンズの設計に依存する。次数の上限は特に限定されない。撮影画像を平板型ディスプレイに表示させたり画像解析をしたりする場合、このように補正された一般的な画像が用いられる。一方、ヘッドマウントディスプレイ１００において、接眼レンズを介して見た時に歪みのない画像１８ａ、１８ｂが視認されるためには、接眼レンズによる歪みと逆の歪みを与えておく必要がある。

【0032】

例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、画像を樽型に湾曲させておく。つまり歪みのない画像１８ａ、１８ｂを、接眼レンズに対応するように歪ませ、表示パネル１２２のサイズに合わせることにより、左目用の画像と右目用の画像からなる、最終的な表示画像２２が生成される（Ｓ１２）。左目用、右目用の表示画像２２における各被写体の像と、補正前の歪みのない画像１８ａ、１８ｂにおける被写体の像の関係は、カメラのレンズ歪みを有する画像と歪みを補正した画像の関係と同等である。

【0033】

したがって式１の変位ベクトル（Δｘ，Δｙ）の逆ベクトルにより、表示画像２２における歪みのある像を生成できる。ただし歪み係数は接眼レンズ固有の値とする。なお本実施の形態において補正に用いる式を式１に限定する趣旨ではない。また図１に示すように、ヘッドマウントディスプレイ１００においてステレオカメラ１１０がユーザの視線からずれた位置に設けられている場合、撮影画像をユーザの視野に対応する画像に補正する必要がある。補正には一般に用いられる変換行列を利用できる。

【0034】

必要な補正はこのほか、接眼レンズの色収差のための補正や、表示パネル１２２の特性に応じたガンマ補正などがある。さらに表示画像２２における視野範囲の周縁をぼかしたり、ＵＩ（User Interface）など必要な付加画像を重畳させたりする場合もある。このように、シースルーモードにおいて単に撮影画像を表示させる場合であっても、実際には様々な処理が必要となり、撮影から表示までの遅延の原因となる。

【0035】

高いフレームレートや高解像度での表示を実現できる高性能なシステムであっても、画像処理の内容によっては画像の生成が表示周期に間に合わず、いわゆるコマ落ちが発生するなど、性能を活かしきれないことがある。ヘッドマウントディスプレイの場合は特に、ユーザの頭部の動きに対する表示の遅れが顕在化しやすく、却ってユーザ体験の質が低下したり、映像酔いなどの体調不良を引き起こしたりすることも考えられる。

【0036】

そこで本実施の形態では、ユーザ体験の質を保ちながら処理の負荷を軽減させることにより、ヘッドマウントディスプレイ１００が本来有する性能を十分に活かせるようにする。具体的には、ヘッドマウントディスプレイ１００において、左目用および右目用のどちらか一方の画像を、フレームごとに交互に生成し表示する。また後述するように、複数種類の補正に必要な補正量を合算した統合補正量をあらかじめ計算しておくことにより、Ｓ１４のように補正処理を一度で完了させる。

【0037】

さらに、ＵＩなどの付加画像を表示画像に重畳表示する場合、歪みのある表示画像の平面に直接、歪みのある付加画像を描画することにより効率を上げる。これらの処理の少なくともいずれかを実施することにより、高いフレームレート故の滑らかな動きを視認させつつ、画像処理の負荷を軽減させることができる。なお本実施の形態はシースルーモードに限定されないが、以後は代表的な態様としてシースルーモードへの適用例について説明する。

【0038】

図５は、本実施の形態において左目用、右目用の画像を交互に表示する態様を説明するための図である。（ａ）はステレオカメラ１１０による撮影画像、（ｂ）、（ｃ）は表示パネル１２２による表示画像の変遷を、縦方向の時間軸に対し模式的に示している。なおこの例では、ステレオカメラ１１０および表示パネル１２２のフレームレートを共通の値（＝１／Δｔ）としているが、本実施の形態をこれに限る主旨ではない。

【0039】

（ａ）に示すように、左視点の撮影画像（例えば撮影画像２４ａ）と右視点の撮影画像（例えば撮影画像２４ｂ）は、時刻ｔ、ｔ＋Δｔ、ｔ＋２Δｔ、ｔ＋３Δｔ、・・・のタイミングで取得される。すなわち撮影画像は、Δｔの周期で取得されるステレオ動画像のフレームに相当する。フレームレートは例えば１２０ｆｐｓである。これらのフレームを全て表示画像に補正し、同じ１２０ｆｐｓで表示させようとすると、上述のとおり処理内容によっては看過できない遅延が発生したり、表示が不安定になったりすることが考えられる。

【0040】

そこで例えば、撮影画像のフレームを一つおきに間引き、６０ｆｐｓのレートで画像を更新することにより、処理時間に余裕を持たせることが考えられる。しかしながらこの場合、ヘッドマウントディスプレイ１００が本来有する、１２０ｆｐｓの表示性能を発揮できないことになる。例えばユーザが顔の向きを急に変化させても、前の時刻の視野が固定されて残っていることにより違和感を与えやすい。また単純に、フレームレートが半減することにより、本来表現できるはずの動画像の滑らかさが損なわれてしまう。

【0041】

（ｂ）は、そのための一対策を示しており、画像を表示させる期間と非表示とする期間を交互に設ける。具体的には、撮影から表示までの補正処理による遅延時間をＴ－ｔとすると、時刻ｔでの撮影画像２４ａ、２４ｂを、時刻Ｔでの表示画像２６ａ、２６ｂとして表示する。次の時刻ｔ＋Δｔでの撮影画像は非表示とする。さらに次の時刻ｔ＋２Δｔでの撮影画像は、時刻Ｔ＋２Δｔにおいて表示画像として表示し、次の時刻ｔ＋３Δｔでの撮影画像は非表示とする。

【0042】

このように、画像の非表示期間を許容して、表示パネル１２２が本来有するフレームレートで表示をリフレッシュさせる。人は表示画像のそれまでの変化から、欠落したフレームを脳内で補間できる特性を有する。したがって上述のように、間引いた画像を２倍の周期２Δｔで表示させ続けるのと比較し、あえて非表示期間を設けることで画像が滑らかに見え、視野の急な動きに対しても違和感を与えにくくなる。一方、この場合、例えば撮影画像２４ａ、２４ｂが得られた時刻ｔにおいて、それらの補正処理を同時に開始する必要があるため、一時的に負荷が増大し、遅延時間Ｔ－ｔが大きくなることが考えられる。

【0043】

これを踏まえ、本実施の形態では（ｃ）に示すように、右視点、左視点の撮影画像を交互に間引き、残った撮影画像を用いて、左目用の表示画像（例えば表示画像２８ａ）と右目用の表示画像（例えば表示画像２８ｂ）を交互に生成し表示する。図の例では時刻ｔでの撮影画像２４ａ、２４ｂのうち、左視点の撮影画像２４ａから左目用の表示画像２８ａを生成し表示するとともに、右目用の表示画像は非表示としている。次の時刻ｔ＋Δｔでの撮影画像の場合、右視点の撮影画像から右目用の表示画像２８ｂを生成し表示するとともに、左目用の表示画像は非表示としている。

【0044】

以後、同様にして左目用の表示画像と右目用の表示画像間で表示と非表示を切り替える。これにより（ｂ）の場合と比較し、処理すべき画像の数が時間方向に平均化され、常に半分のデータを処理すればよくなる。結果として、撮影から表示までの遅延時間Ｔ’－ｔをおよそ半減させることができる。また（ｂ）と同様に、非表示の期間はそれまでの表示画像の変化に基づく脳内での補間により、表示パネル１２２が本来有するフレームレートでの滑らかな動きを見せることができる。

【0045】

一方、左目用と右目用で、撮影時刻がずれた画像を表示に用いることにより、どちらか一方の画像によって、定常的に高い時間分解能で最新の状態を表せる。これにより（ｂ）の場合と比較し、脳内での補間がより正確かつ容易になる。なおこれまでの説明における「非表示」とは、表示パネルのうち片方または該当領域に黒の塗り潰し画像を表示させてもよいし、表示パネルの発光自体を一時停止させてもよい。前者の場合は制御がより容易であり、後者の場合は表示パネルの消費電力をより抑えることができる。

【0046】

図６は、コンテンツ処理装置２００の内部回路構成を示す。コンテンツ処理装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続される。バス２３０にはさらに入出力インターフェース２２８が接続される。入出力インターフェース２２８には、通信部２３２、記憶部２３４、出力部２３６、入力部２３８、記録媒体駆動部２４０が接続される。

【0047】

通信部２３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線ＬＡＮまたは無線ＬＡＮ等のネットワークインターフェースを含む。記憶部２３４は、ハードディスクドライブや不揮発性メモリ等を含む。出力部２３６は、ヘッドマウントディスプレイ１００へのデータを出力する。入力部２３８は、ヘッドマウントディスプレイ１００からのデータ入力を受け付けたり、図示しないコントローラからユーザ操作の内容を受け付けたりする。記録媒体駆動部２４０は、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する。

【0048】

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することによりコンテンツ処理装置２００の全体を制御する。また、ＣＰＵ２２２は、記憶部２３４またはリムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラム（例えばゲームアプリケーション等）を実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令にしたがって描画処理を行い、描画結果を出力部２３６に出力する。メインメモリ２２６は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

【0049】

図７は、ヘッドマウントディスプレイ１００の内部回路構成を示す。ヘッドマウントディスプレイ１００は、ＣＰＵ１３６、メインメモリ１３８、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、無線通信のインターフェースを含む通信部１３２、モーションセンサ１３４、およびステレオカメラ１１０が接続される。

【0050】

ＣＰＵ１３６は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理するとともに、コンテンツ処理装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１３８は、ＣＰＵ１３６における処理に必要なプログラムやデータを格納する。

【0051】

表示部１２４は、図３で示した表示パネル１２２を含み、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。表示部１２４はさらに、ヘッドマウントディスプレイ１００装着時に表示パネル１２２とユーザの目との間に位置する接眼レンズを含む。音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。

【0052】

通信部１３２は、コンテンツ処理装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）などの既知の無線通信技術により通信を実現する。モーションセンサ１３４はジャイロセンサ、加速度センサ、角加速度センサなどを含み、ヘッドマウントディスプレイ１００の傾き、加速度、角速度などを取得する。ステレオカメラ１１０は、図１で示したとおり、周囲の実空間を左右の視点から撮影するビデオカメラの対である。

【0053】

図８は、本実施の形態における表示制御装置の機能ブロックの構成を示している。なお図３で示した矢印Ａのデータ経路のように、シースルーモードにおいて画像の撮影と表示をヘッドマウントディスプレイ１００内部で完結させる場合、表示制御装置１５０はヘッドマウントディスプレイ１００に設けられる。矢印Ｂのデータ経路のように、表示画像生成の少なくとも一部の処理をコンテンツ処理装置２００が担う場合、表示制御装置１５０は、コンテンツ処理装置２００とヘッドマウントディスプレイ１００に分割して設けられる。

【0054】

また図示する機能ブロックは、ハードウェア的には、図６、７に示した回路構成で実現でき、ソフトウェア的には、記録媒体などからメインメモリなどにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0055】

表示制御装置１５０は、ステレオカメラ１１０から撮影画像を取得する撮影画像取得部１５２、撮影画像のデータを保存するバッファメモリ１５４、コンテンツの画像を取得するコンテンツ画像取得部１５６、表示画像を生成する画像データ生成部１６０、表示画像に重畳すべき付加画像のデータを格納する付加画像データ記憶部１５８、表示画像の補正規則を格納する補正規則記憶部１７０、および、表示パネル１２２への画像出力を制御する出力制御部１７２を備える。

【0056】

撮影画像取得部１５２は、ステレオカメラ１１０が所定のレートで撮影している左視点、右視点の動画像のフレームのデータを順次取得する。シースルーモードにおいては上述のとおり、左視点の画像と右視点の画像で交互に表示に用いるため、撮影画像取得部１５２は、撮影画像の取得時点で必要なデータを選択して取得してもよい。

【0057】

撮影画像取得部１５２をコンテンツ処理装置２００に設ける場合は特に、必要なデータを取捨選択することにより、ヘッドマウントディスプレイ１００とのデータ送受信に要する通信帯域を節約できる。なお変形例として、ステレオカメラ１１０自体が、左視点の画像と右視点の画像をフレームごとに交互に撮影してもよい。この場合、撮影画像取得部１５２が、表示に必要な画像を選択する必要がなくなる。またデータ送信に要する通信帯域を節約できる。

【0058】

撮影画像取得部１５２は、取得した撮影画像のデータを順次、バッファメモリ１５４に一時格納する。コンテンツ画像取得部１５６はシースルーモード以外の期間に、表示すべきコンテンツ画像のデータを取得する。コンテンツ画像取得部１５６は例えば、コンテンツのアプリケーションとして実行されている電子ゲームの仮想世界を表すコンピュータグラフィクス画像を描画する。あるいはコンテンツ画像取得部１５６は、コンピュータグラフィクス画像のデータや映画などのコンテンツのデータを外部の装置から取得してもよい。

【0059】

コンテンツ画像取得部１５６は、取得したコンテンツ画像のデータを順次、バッファメモリ１５４に一時格納する。画像データ生成部１６０は、バッファメモリ１５４に格納された撮影画像あるいはコンテンツ画像のデータを用いて、表示画像のフレームを順次生成する。詳細には画像データ生成部１６０は、表示対象制御部１６２、補正部１６４、付加画像描画部１６６、およびモード遷移制御部１６８を備える。

【0060】

表示対象制御部１６２は、左目用画像と右目用画像を交互に表示させる状態（以後、「片側表示状態」と呼ぶ）と、両者を同時に表示させる状態（以後、「同時表示状態」と呼ぶ）のいずれとすべきかを決定し、前者とすべき場合は表示対象の画像の切り替えを制御する。例えば表示対象制御部１６２は、コンテンツ画像については常に同時表示状態とし、シースルーモードでは片側表示状態とする。そのため表示対象制御部１６２は例えば、コンテンツ画像が供給されているか否かの情報をコンテンツ画像取得部１５６から取得し、コンテンツ画像が供給されていない期間、片側表示状態でシースルーモードを実現する。

【0061】

補正部１６４は、バッファメモリ１５４から表示対象の画像のデータを取得し、表示に必要な補正を施す。シースルーモードにおいて補正部１６４は、図４で示したように、ステレオカメラ１１０のレンズによる歪みを除去するとともに、ヘッドマウントディスプレイ１００の接眼レンズのための歪みを与える補正を撮影画像に施す。補正部１６４が行う補正はこれに限らず、上述したような一般的になされる補正のいずれを含んでもよい。

【0062】

ただし本実施の形態では、これらの補正を一度に実現することにより、補正処理を高速化するとともに、補正した画像を展開するために必要な記憶領域を最小限に抑える。そのため、上述の変位ベクトル（Δｘ，Δｙ）のように、各種補正に必要な補正量（画素の変位量と変位方向）を計算し、それらを合算した最終的な補正量を統合補正量として導出しておく。統合補正量は画素ごとの情報であるため、画素の位置情報と対応づけたマップとして補正規則記憶部１７０に格納しておく。

【0063】

ただし後述するように、実際には表示画像の画素ごとに、撮影画像上の色をサンプリングするため、表示画像の画素から撮影画像上の対応する位置を特定する情報を、統合補正量として準備してもよい。撮影画像取得部１５２が、左視点、右視点の双方の撮影画像を取得している場合、補正部１６４は、バッファメモリ１５４に格納されたそれらのデータのうち、表示に用いる一方の画像を選択したうえで補正を行う。補正後の画像は順次、出力制御部１７２のフレームメモリ１７４に格納していく。

【0064】

なお片側表示状態においては、補正部１６４は、非表示とする側の画像領域に黒の塗り潰し画像を格納するか、当該領域において表示パネル１２２の発光を一時停止する旨の情報を格納する。付加画像描画部１６６は、表示画像に重畳表示すべき付加画像を描画する。付加画像はＵＩのほか、警告、各種メニュー、操作方法など、付加的な情報を表す画像であり、コンテンツ画像や撮影画像に重畳表示する。付加画像描画部１６６は、ユーザが明示的に呼び出したときや、シースルーモードの期間、警告の必要性が生じたときなど、必要に応じて付加画像を描画する。

【0065】

付加画像を重畳表示させる期間、補正部１６４は、本来の表示画像のうち付加画像によって隠蔽される領域については、元より描画対象から除外する。これにより補正処理の無駄を省き、より高速での表示を実現する。付加画像描画部１６６はまた、接眼レンズのための歪みを有する表示画像の平面に、当該歪みに適合するように、歪みを有する付加画像を直接描画する。これにより、表示画像に対し複数の補正を一度に実施する態様との親和性がよくなり、付加画像を重畳させる期間においても低遅延での表示が可能になる。また、歪みのない付加画像を展開するための記憶領域が必要なくなる。

【0066】

モード遷移制御部１６８は、コンテンツ画像の表示モードとシースルーモードとの切り替えにおける画像の遷移を制御する。具体的にはモード遷移制御部１６８は、コンテンツ画像と撮影画像とがクロスフェードされるように両者の輝度を調整する。クロスフェードは、２種類の画像の切り替えにおいて、切り替え前の画像の輝度を徐々に下げて消滅させつつ、切り替え後の画像の輝度を徐々に上げて出現させる手法である。

【0067】

ただしコンテンツ画像を同時表示状態、シースルーモードを片側表示状態とした場合、モード遷移制御部１６８は、同時表示状態において表示される左右の画像の輝度変化に時間差を設ける。具体的にはモード遷移制御部１６８は、まず同時表示状態において表示される左目用および右目用の表示画像のうちどちらか一方を、フレームごとに交互に、他方より先に輝度変化させて、片側表示状態で表示される画像と置き換える。そのうえで、片側表示状態で表示される画像の輝度変化に合わせて、同時表示状態において表示される残りの画像に輝度変化を与え、クロスフェードに見せる。

【0068】

これにより、当該左右の画像と片側表示状態に表示すべき画像とを全て同時に処理しなければならない期間をなくし、遷移過程における処理の負荷増大を抑えつつ、クロスフェードが視認されるようにする。詳細は後に述べる。出力制御部１７２は、補正部１６４や付加画像描画部１６６が描画した、左目用、右目用の表示画像のデータをフレームメモリ１７４から読み出し、表示パネル１２２の左右の領域にそれぞれ出力する。

【0069】

図９は、モード遷移制御部１６８によるクロスフェードの手法を説明するための図である。（ａ）は一般的なクロスフェードにおける切り替え前後の画像の輝度変化の例を、横方向を時間、縦方向を輝度として示している。実線３０は切り替え前の画像、破線３２は切り替え後の画像の輝度変化である。一般的には図示するように、切り替え前の画像の輝度逓減と並行して、切り替え後の画像の輝度を増加させることにより、前者の消滅と後者の出現を滑らかな変化で表す。

【0070】

この場合、遷移期間Ａにおいて、切り替え前後の画像を重ねて表示するため、それらを同時に処理する必要がある。これを本実施の形態に当てはめ、例えば同時表示状態から片側表示状態へ切り替える場合、実線３０の輝度変化を、左目用画像、右目用画像の双方に与えることになる。結果として、遷移期間Ａには、片側表示状態に表示すべき片側の画像を加えた３種類の画像を同時に処理する必要が生じ、処理の負荷が一時的に増大する。

【0071】

（ｂ）は本実施の形態におけるクロスフェードの輝度変化を例示している。この例も、同時表示状態から片側表示状態へ切り替えることを想定しており、実線３４ａは同時表示される画像のうち一方の画像、一点鎖線３４ｂは他方の画像、破線３６は片側表示状態に表示すべき片側の画像の輝度変化である。ただし実際には、図示するような輝度の変化を、左目用画像と右目用画像とでフレームごとに交互に与える。切り替え後の片側表示状態の画像においては上述のとおり、破線３６の変化を与えない方の画像は非表示とする。

【0072】

モード遷移制御部１６８はまず、クロスフェードの開始時刻Ｂにおいて、同時表示されていた左右２つの画像のうち、一方の画像の輝度を逓減させる（実線３４ａ）。そして当該画像が非表示となる時刻Ｃまで待って、片側表示状態で表示すべき画像を出現させ、輝度を徐々に上げていく（破線３６）。また同時表示されていた他方の画像の輝度も、時刻Ｃから逓減させる（一点鎖線３４ｂ）。当該画像が非表示となり、片側表示状態で表示すべき画像が本来の輝度に到達する時刻Ｄに、クロスフェードが完了する。

【0073】

すなわちモード遷移制御部１６８は、同時表示されていた画像の輝度を逓減させる時間帯を左右でずらすとともに、先に非表示となった領域に、片側表示状態で表示すべき画像を出現させる。これにより、遷移期間のいずれのタイミングにおいても、２種類の画像のみを処理すればよくなり、処理負荷の増大を抑えることができる。また、同時表示されていた残りの画像は、一点鎖線３４ｂのように時刻Ｃまで輝度が維持されているため、ユーザには、時刻ＣからＤの期間で切り替え前後の画像がクロスフェードされているように視認される。

【0074】

本実施の形態では、左右の画像のうち片方の画像のみが表示される状態を許容している。図示するクロスフェードも同様に、同時表示されていた片方の画像が非表示になっても、残りの画像の輝度を維持することにより通常通り表示されているように見える、という視覚的な効果を利用している。これにより、３種類の画像を同時に処理せずとも滑らかな切り替えを実現できる。片側表示状態から同時表示状態への切り替えも、時間軸を逆にすることにより同様の効果が得られる。

【0075】

なお図示するような輝度の変化は、表示パネルの実際の発光で達成することが望ましい。仮に画素値の値を線形に変化させると、表示パネルの特性により、実際の発光は非線形に変化してしまい、滑らかな遷移に見えないことが考えられる。そこで表示上の輝度が時間に対し線形に変化するような、データ上の画素値の変換規則をあらかじめ求めておき、補正規則記憶部１７０に格納しておく。補正規則記憶部１７０に当該変換規則に従い、表示画像の画素値を、例えば非線形に時間変化させることにより、表示上での輝度を好適に制御する。

【0076】

図１０は、図９の（ｂ）で示した輝度変化を与えたときの、表示画像の変遷を模式的に示している。表示画像４０ａ～４０ｅにおいて、それぞれの上段は奇数番目のフレーム、下段は偶数番目のフレームを表している。まず同時表示状態においては表示画像４０ａに示すように、フレームの順番に関わらず左目用画像と右目用画像が本来の輝度で表示される。図の例ではキャラクタがいる仮想世界が表現されている。

【0077】

モード遷移制御部１６８が時刻Ｂでクロスフェードを開始すると、表示画像４０ｂに示すように、左目用画像と右目用画像の輝度が交互に選択され輝度逓減の対象となる。対象とする画像は後に、片側表示状態で表示される画像と置き換えられるため、選択順は片側表示状態における表示対象の選択順と同期させる。そして表示画像４０ｃのように、輝度逓減の対象となった画像が完全に非表示となった時刻Ｃにおいて、モード遷移制御部１６８は、残りの画像の輝度逓減を開始する。

【0078】

それと同時にモード遷移制御部１６８は、片側表示状態で表示される画像の表示を低輝度から開始し、徐々に輝度を上げていく。これにより表示画像４０ｄのように、同時表示状態の画像と片側表示状態の画像が、中程度の輝度で左右に混在する状態が生じる。その後、前者が非表示となり、後者が本来の輝度に到達する時刻Ｄ以降、表示画像４０ｅのように完全な片側表示状態となる。

【0079】

次に、図４で概略を述べたように、補正部１６４が複数種類の補正を一度に実施する効果をより具体的に説明する。図１１は、撮影画像から表示画像を生成する際の一般的な処理手順を例示している。なお図１１、１２では左右の画像のうち一方の画像のみの変化を、市松模様を表示対象として示している。図１１の例で、撮影画像４６はステレオカメラ１１０のレンズによる歪みを有する。当該撮影画像４６から、まず歪みを除去する補正を行い、得られた中間画像４８をバッファメモリ５０に展開する（Ｓ２０）。

【0080】

そしてヘッドマウントディスプレイ１００の接眼レンズによる歪みを踏まえた逆の歪みを中間画像４８に与える補正を行うことで、表示画像５２を生成し表示パネル１２２に出力する（Ｓ２２）。このような手順において、まず撮影画像４６における歪みの度合いは、画像端に近いほど大きくなる特性を有する。撮影画像４６の中央付近の解像度を維持しようとすると、周縁部の領域を引き延ばすことになり、結果として中間画像４８は撮影画像４６よりサイズの大きな非矩形のデータとなる。ステレオカメラ１１０の画角が広いほど、中間画像４８のサイズも大きくなる。

【0081】

バッファメモリ５０は、中間画像４８を包含する矩形に対応するように準備する必要があるため、図に黒く示すように、画像データをもたない無駄な領域が多く発生する。また、この手順では、２度のサンプリングが必要となる。すなわちＳ２０においては、カメラレンズによる歪みを除去するための画素の変位ベクトル（Δｘ，Δｙ）を用い、例えば中間画像４８の各画素から（－Δｘ，－Δｙ）だけずれた、撮影画像４６上の位置の色をサンプリングする。

【0082】

またＳ２２においては、接眼レンズによる歪みを除去するための画素の変位ベクトル（Δｘ’，Δｙ’）を用い、表示画像５２の各画素から（Δｘ’，Δｙ’）だけずれた、中間画像４８上の位置の色をサンプリングする。多くの場合、サンプリングにおいてはサンプリング先の周囲の画素値を補間して色を決定する必要があるため、各過程での補正後の画像における画素の数だけ、サンプリング先の周囲の画素値の読み出しと補間のための演算が必要になり、処理の負荷が大きくなる。

【0083】

さらに２段階の補間処理によって、ＭＴＦ（変調伝達関数：Modulation Transfer Function）が低下する機会が二度生じる結果、最終的に得られる表示画像５２の解像度特性が損なわれやすい。またこの手法では、表示画像の画角を広げるほど、バッファメモリ５０に対するデータの読み書きや演算の負荷が顕著に増加する。

【0084】

図１２は、本実施の形態において補正部１６４が撮影画像から表示画像を生成する際の処理手順を示している。上述のとおり補正部１６４は、撮影画像４６から中間画像を経由せずに表示画像５２を生成する（Ｓ３０）。図１１で示した変位ベクトルを想定すると、補正部１６４は表示画像５２の各画素から（Δｘ’－Δｘ，Δｙ’－Δｙ）だけずれた、撮影画像４６上の位置の色をサンプリングすることにより、表示画像５２の画素値を決定する。

【0085】

なお実際には、補正量（Δｘ’－Δｘ，Δｙ’－Δｙ）には、カメラレンズによる歪みの除去、接眼レンズのための歪みの付加のための画素の変位のみならず、上述のとおり画角の補正など様々な補正のための変位を合算し、統合補正量として導出しておく。統合補正量は、表示画像５２の画像平面における各画素に対応づけたマップとして、補正規則記憶部１７０に格納しておく。なお接眼レンズの色収差を踏まえ、統合補正量は、赤、緑、青の３原色で個別に導出しておく。これにより表示画像５２においては、赤、緑、青のプレーンで像がずれた状態となり、接眼レンズを介して見た時にずれのない像が視認される。

【0086】

このような手順によれば、図１１で示した手法と比較し、バッファメモリ５０が必要なくなり記憶領域を節約できるとともに、データの読み出しや書き出し、補間に係る演算などの負荷を軽減できる。これにより、表示画像５２を広角としても必要リソースの増大を抑えることができ、低遅延での表示が可能になる。またヘッドマウントディスプレイ１００に内蔵される画像処理用集積回路１２０などの規模をコンパクトにでき、消費電力や発熱も軽減できるため、ヘッドマウントディスプレイ１００の装着感を良好にできる。さらにサンプリング回数の削減により、表示画像の解像度特性を維持しやすくなる。

【0087】

図１３は、付加画像描画部１６６が表示画像に付加画像を重畳させた状態を模式的に示している。この例では、シースルーモードを片側表示で実現している期間において、ＶＲで表されるコンテンツ画像へ表示を切り替える際の操作手法を示す付加画像を重畳させている。なお図では、左目用、右目用の画像のうち一方の画像のみを示しているが、片側表示状態においては他方の画像は非表示となる。

【0088】

（ａ）、（ｂ）は両方とも、周辺をぼかした黒い横長の矩形に白地で文字列を表した付加画像５４ａ、５４ｂを、撮影画像から生成した表示画像５６に重畳させている。このように付加画像５４ａ、５４ｂを重畳させることにより、補正部１６４は、表示画像５６のうち付加画像５４ａ、５４ｂの重なりによって隠蔽される領域の描画を省略できる。これにより、撮影画像を格納したバッファメモリ１５４からのデータ読み出しやサンプリングのための処理の無駄を省くことができる。

【0089】

一方、（ａ）と（ｂ）では、付加画像５４ａ、５４ｂを重畳する位置が異なる。図１２に示したように、本実施の形態では撮影画像から、歪みのない中間画像を経由せずに表示画像を生成する。このため付加画像描画部１６６は、接眼レンズのための歪みを有する表示画像５６に直接、歪みのある付加画像５４ａ、５４ｂを描画する。図１３で明らかなように、重畳させる位置によって付加画像５４ａ、５４ｂの歪みの度合いが異なるため、付加画像描画部１６６による描画処理の負荷にも差が生じる。

【0090】

具体的には（ａ）に示すように、表示画像５６の中心（接眼レンズの光軸の位置）から離れるほど、付加画像５４ａの歪曲収差、色収差のための歪みの度合いが大きくなり、描画処理の負荷が重くなる。したがって付加画像描画部１６６は、表示画像５６の中心から所定範囲内の領域に限定して付加画像を重畳させる。例えば（ｂ）に示すように、表示画像５６の中心と付加画像５４ｂの中心を一致させることにより、原色によらず矩形に近い画像を、少ない負荷で描画すればよくなる。このようにして重畳領域を限定することにより、付加画像の描画のために余分な負荷が生じないようにできる。

【0091】

図１４は、付加画像描画部１６６が付加画像を効率的に描画する手法を説明するための図である。（ａ）は、一般的な付加画像の重畳表示手順を例示している。この場合、まず歪みのない付加画像６０をバッファメモリに描画し、それを歪みのない表示画像６２に重畳させる。当該表示画像６２は、図１１における中間画像４８に対応し、別途バッファメモリに格納されている。そして付加画像が重畳された歪みのない表示画像６２の全体を、接眼レンズのために歪ませることにより、表示画像６４が生成される。

【0092】

このような処理手順では、矩形の付加画像６０を変形させることなく、サイズ調整のみ行い歪みのない表示画像６２に貼り付ければすむため、画像平面の四隅を頂点とする２つのポリゴンで付加画像６０を表現すれば足りることになる。一方、歪みのない付加画像６０を格納するバッファメモリや、そこからのサンプリング処理などが余分に必要となる。

【0093】

（ｂ）は本実施の形態の付加画像描画部１６６が、歪みを有する付加画像を表示画像上に直接描画する様子を示している。この場合、付加画像の画像平面は、内部領域に少なくとも１つの頂点が位置するような多数のポリゴンに分割しておく。図の左側は、そのように分割してなるポリゴンの頂点の分布を表した、付加画像のモデルデータ６６を例示している。当該モデルデータ６６は、付加画像データ記憶部１５８に格納しておく。

【0094】

また付加画像データ記憶部１５８には、例えば矢印７０に示すように、モデルデータ６６の各頂点と、歪みのある表示画像６８における重畳時の位置座標との関係を表す情報も格納しておく。これにより頂点の間隔に応じた粒度で、付加画像の歪みを制御できる。すなわち付加画像描画部１６６は、歪みのある表示画像６８の平面に対し、ポリゴン単位で付加画像を描画することにより、頂点の位置座標に応じた歪みを直接与えることができる。

【0095】

頂点の数を増やし、その間隔を小さくするほど、歪みを正確に表すことができる。また図示するように、付加画像の周縁をぼかす加工をする場合、付加画像自体の歪みによって、ぼかしのグラデーションの方向も一様でなくなる。図示するように多数の頂点を含むモデルデータ６６を準備しておくことにより、頂点単位でのぼかしの設定が可能になるため、歪みに応じた自然な加工が容易に実現できる。なお本実施の形態において、ポリゴンの頂点に設定する画像の加工処理をぼかしに限る主旨ではない。

【0096】

以上述べた本実施の形態によれば、ヘッドマウントディスプレイにおいて、表示する動画像のフレームごとに、左目用、右目用の画像うちどちらか一方を交互に表示する。非表示とされた側の画像は、他方の最新の画像やそれまでの像の動きなどに基づきユーザの脳内で補われるため、双方の画像を同時に表示しているのに近い状態で視認される。結果として、処理すべきデータ量を格段に軽減させながら、ヘッドマウントディスプレイ本来の性能と同等の滑らかさで画像を認識させることができる。

【0097】

これにより、ユーザ前方の撮影画像を即時表示するシースルーモードでは特に、ユーザの頭部の動きに対し少ない遅延で実空間の像を見せることができるため、違和感を与えにくく映像酔いの可能性を少なくできる。またシースルーモードにおいては、撮影画像に与えるべき複数種類の補正量を合算した統合補正量に基づき、中間画像を経由せずに表示画像へと補正する。これにより、必要なバッファメモリを最小限にできるとともに、メモリに対する読み出しや書き出し、サンプリングのための演算などの負荷を軽減できる。

【0098】

さらに、左右の画像を同時に表示するモードと片側の画像を交互に表示するモードとを切り替える際、クロスフェードにより切り替えを円滑に見せる。この際、同時表示の対象である左右の画像で、輝度に変化を与える時間帯をずらすことにより、同時に処理すべき画像の種類を増大させることなくクロスフェードを視認させる。

【0099】

さらに、ＵＩなどの付加的な情報を表した付加画像を、表示画像に重畳させる。この際、付加画像によって隠蔽される表示画像上の領域は描画対象から除外することで処理の無駄を省く。また付加画像の平面を細かくポリゴン分割し、多数の頂点を設けることにより、歪みを与えた付加画像を、歪みのある表示画像平面に直接描画する。この場合も、必要なバッファメモリを最小限にできるとともに、メモリに対する読み出しや書き出し、サンプリングのための演算などの負荷を軽減できる。

【0100】

以上の態様の少なくともいずれかにより、左右の画像を全て同時に表示させるのと比較し、見た目の変化を少なく、処理の負荷やデータ伝送量を格段に軽減できる。その結果、画像の生成がフレームの表示周期に間に合わなくなる可能性を低くでき、高品質の画像を安定して表示できる。また消費電力を軽減できるため、充電池の持続時間を長期化させたり、発熱を抑えたりできる。さらに内蔵する集積回路が比較的小規模であっても動作が可能となるため軽量化でき、ヘッドマウントディスプレイの装着感を向上させることができる。

【0101】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0102】

１０ 画像表示システム、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ 画像処理用集積回路、 １２２ 表示パネル、 １５０ 表示制御装置、 １５２ 撮影画像取得部、 １５４ バッファメモリ、 １５６ コンテンツ画像取得部、 １５８ 付加画像データ記憶部、 １６０ 画像データ生成部、 １６２ 表示対象制御部、 １６４ 補正部、 １６６ 付加画像描画部、 １６８ モード遷移制御部、 １７０ 補正規則記憶部、 １７２ 出力制御部、 １７４ フレームメモリ、 ２００ コンテンツ処理装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】