知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-12
(45)【発行日】2024-09-24
(54)【発明の名称】画像表示システム、表示装置、および画像表示方法
(51)【国際特許分類】
G09G 5/37 20060101AFI20240913BHJP
G02B 27/02 20060101ALI20240913BHJP
G06T 5/80 20240101ALI20240913BHJP
G06T 9/00 20060101ALI20240913BHJP
G09G 5/00 20060101ALI20240913BHJP
G09G 5/02 20060101ALI20240913BHJP
H04N 5/64 20060101ALI20240913BHJP
H04N 21/431 20110101ALI20240913BHJP
H04N 21/436 20110101ALI20240913BHJP
【ＦＩ】
G09G5/37 300
G02B27/02 Z
G06T5/80
G06T9/00
G09G5/00 510G
G09G5/00 555D
G09G5/02 B
H04N5/64 511A
H04N21/431
H04N21/436
【請求項の数】
10
(21)【出願番号】P 2021009864
(22)【出願日】2021-01-25
(65)【公開番号】P2022113551
(43)【公開日】2022-08-04
【審査請求日】2023-12-15
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【弁理士】
【氏名又は名称】三木 友由
(74)【代理人】
【識別番号】100134256
【弁理士】
【氏名又は名称】青木 武司
(72)【発明者】
【氏名】池上 渉一
(72)【発明者】
【氏名】横田 健一郎
【審査官】川俣 郁子
(56)【参考文献】
【文献】特開２００４－２３３８６９（ＪＰ，Ａ）
【文献】特開２０１０－４１７６（ＪＰ，Ａ）
【文献】特開２０１６－１４００１７（ＪＰ，Ａ）
【文献】特開平１０－３２７３７３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０３３０３４９（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／０２６９１３３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０１９０２３６（ＵＳ，Ａ１）
【文献】国際公開第２０１９／０９２４６３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ２７／０２
Ｇ０６Ｔ ５／８０
９／００
Ｇ０９Ｇ ５／００－５／４２
Ｈ０４Ｎ ５／６４
２１／４３１
２１／４３６
(57)【特許請求の範囲】
【請求項1】
接眼レンズを介して鑑賞するために、表示対象の画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する画像表示システムであって、全ての原色に共通の歪みを与えた前記画像のデータを、ダウンサンプリングして送信する画像生成装置と、
送信されたデータをアップサンプリングしたうえで、色収差に基づき、前記逆の変化のうち残りの変化を与える歪み補正を原色ごとに施し表示する表示装置と、
を備えたことを特徴とする画像表示システム。
【請求項2】
接眼レンズを介して鑑賞するために、表示対象の画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する画像表示システムであって、前記画像のデータを、ダウンサンプリングして送信する画像生成装置と、
送信されたデータをアップサンプリングしたうえで、色収差に基づき原色ごとに前記逆の変化を与える歪み補正を施し表示する表示装置と、
を備え、
前記画像生成装置は、
ダウンサンプリングしない画像について前記歪み補正を施した画像のデータを送信し、
前記表示装置は、
送信された画像のデータがダウンサンプリングされているか否かに応じて、前記歪み補正を行うか否かを切り替えることを特徴とする画像表示システム。
【請求項3】
前記画像生成装置は、前記画像の３原色のデータを、輝度および色差のデータに変換し、当該色差のデータをダウンサンプリングし、
前記表示装置は、
前記色差のデータをアップサンプリングしたうえで、前記３原色のデータに変換し、当該３原色の各プレーンに前記歪み補正を施すことを特徴とする請求項１または２に記載の画像表示システム。
【請求項4】
前記画像生成装置は、ダウンサンプリングされた画像のデータを圧縮符号化したうえ、前記表示装置に無線通信により送信することを特徴とする請求項１から３のいずれかに記載の画像表示システム。
【請求項5】
接眼レンズを介して画像を鑑賞するために、表示対象の画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する表示装置であって、外部の装置から送信された、全ての原色に共通の歪みが与えられダウンサンプリングされてなる画像のデータを取得する画像データ取得部と、
取得された画像のデータをアップサンプリングするアップサンプリング部と、
前記アップサンプリングされた画像に対し、色収差に基づき、前記逆の変化のうち残りの変化を与える歪み補正を原色ごとに施す歪み補正部と、
前記歪み補正がなされた画像を表示する表示部と、
を備えたことを特徴とする表示装置。
【請求項6】
接眼レンズを介して画像を鑑賞するための表示装置であって、外部の装置から送信された、ダウンサンプリングされてなる画像のデータを取得する画像データ取得部と、
取得された画像のデータをアップサンプリングするアップサンプリング部と、
前記アップサンプリングされた画像に対し、原色ごとに、前記接眼レンズの収差による変化と逆の変化を与える歪み補正を施す歪み補正部と、
前記歪み補正がなされた画像を表示する表示部と、
を備え、
前記画像データ取得部は、前記歪み補正が施された、ダウンサンプリングされていない画像のデータも取得し、
前記歪み補正部は、取得された画像のデータがダウンサンプリングされているか否かに応じて、前記歪み補正を行うか否かを切り替えることを特徴とする表示装置。
【請求項7】
接眼レンズを介して画像を鑑賞するために、表示対象の画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する表示装置が、外部の装置から送信された、全ての原色に共通の歪みが与えられダウンサンプリングされてなる画像のデータを取得するステップと、
取得された画像のデータをアップサンプリングするステップと、
前記アップサンプリングされた画像に対し、色収差に基づき、前記逆の変化のうち残りの変化を与える歪み補正を原色ごとに施すステップと、
前記歪み補正がなされた画像を表示するステップと、
を含むことを特徴とする画像表示方法。
【請求項8】
接眼レンズを介して画像を鑑賞するための表示装置が、外部の装置から送信された、ダウンサンプリングされてなる画像のデータを取得するステップと、
取得された画像のデータをアップサンプリングするステップと、
前記アップサンプリングされた画像に対し、原色ごとに、前記接眼レンズの収差による変化と逆の変化を与える歪み補正を施すステップと、
前記歪み補正がなされた画像を表示するステップと、
を含み、
前記画像のデータを取得するステップは、前記歪み補正が施された、ダウンサンプリングされていない画像のデータも取得し、
前記歪み補正を施すステップは、取得された画像のデータがダウンサンプリングされているか否かに応じて、前記歪み補正を行うか否かを切り替えることを特徴とする画像表示方法。
【請求項9】
接眼レンズを介して画像を鑑賞するために、表示対象の画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する表示装置に内蔵されたコンピュータに、外部の装置から送信された、全ての原色に共通の歪みが与えられダウンサンプリングされてなる画像のデータを取得する機能と、
取得された画像のデータをアップサンプリングする機能と、
前記アップサンプリングされた画像に対し、色収差に基づき、前記逆の変化のうち残りの変化を与える歪み補正を原色ごとに施す機能と、
前記歪み補正がなされた画像を表示する機能と、
を実現させることを特徴とするコンピュータプログラム。
【請求項10】
接眼レンズを介して画像を鑑賞するための表示装置に内蔵されたコンピュータに、外部の装置から送信された、ダウンサンプリングされてなる画像のデータを取得する機能と、
取得された画像のデータをアップサンプリングする機能と、
前記アップサンプリングされた画像に対し、原色ごとに、前記接眼レンズの収差による変化と逆の変化を与える歪み補正を施す機能と、
前記歪み補正がなされた画像を表示する機能と、
を実現させ、
前記画像のデータを取得する機能は、前記歪み補正が施された、ダウンサンプリングされていない画像のデータも取得し、
前記歪み補正を施す機能は、取得された画像のデータがダウンサンプリングされているか否かに応じて、前記歪み補正を行うか否かを切り替えることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成装置と表示装置を含む画像表示システム、その表示装置、および画像表示方法に関する。
【背景技術】
【0002】
対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにすることでＶＲ（仮想現実）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
表示装置の種類や視点の自由度によらず、視野が変化したり表示世界が動いていたりする場合、画像表示には高い応答性が求められる。一方でよりリアルな画像表現を実現するには、解像度を高めたり複雑な計算が必要になったりして画像処理やデータ伝送のコストが増大する。そのため視野や表示世界の動きに対し表示が追いつかず、却って臨場感が損なわれたり映像酔いを引き起こしたりすることがあり得る。
【0004】
また表示装置をヘッドマウントディスプレイとした場合、ユーザの動きやすさの観点から、画像を描画するシステムをヘッドマウントディスプレイから切り離したり、その間の通信を無線化したりすることが望まれる。しかしながら上述のとおり伝送すべきデータ量が増大すると、無線による伝送ではデータが途中で損失したり遅延が生じたりして表示の安定性が損なわれるリスクが高まる。
【0005】
本発明はこうした課題に鑑みてなされたものであり、その目的は、画像生成装置と表示装置からなるシステムにおいて、両者間の通信環境によらず高品質な画像を安定して表示できる技術を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある態様は画像表示システムに関する。この画像表示システムは、接眼レンズを介して鑑賞するために、表示対象の画像に接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する画像表示システムであって、画像のデータを、ダウンサンプリングして送信する画像生成装置と、送信されたデータをアップサンプリングしたうえで、色収差に基づき原色ごとに逆の変化を与える歪み補正を施し表示する表示装置と、を備えたことを特徴とする。
【0007】
本発明の別の態様は表示装置に関する。この表示装置は、接眼レンズを介して画像を鑑賞するための表示装置であって、外部の装置から送信された、一部のデータがダウンサンプリングされてなる画像のデータを取得する画像データ取得部と、当該一部のデータをアップサンプリングするアップサンプリング部と、アップサンプリングされた画像に対し、原色ごとに、接眼レンズの収差による変化と逆の変化を与える歪み補正を施す歪み補正部と、歪み補正がなされた画像を表示する表示部と、を備えたことを特徴とする。
【0008】
本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は、接眼レンズを介して画像を鑑賞するための表示装置が、外部の装置から送信された、一部のデータがダウンサンプリングされてなる画像のデータを取得するステップと、当該一部のデータをアップサンプリングするステップと、アップサンプリングされた画像に対し、原色ごとに、接眼レンズの収差による変化と逆の変化を与える歪み補正を施すステップと、歪み補正がなされた画像を表示するステップと、を含むことを特徴とする。
【0009】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0010】
本発明によれば、画像生成装置と表示装置からなるシステムにおいて、両者間の通信環境によらず高品質な画像を安定して表示できる。
【図面の簡単な説明】
【0011】
【図1】本実施の形態のヘッドマウントディスプレイの外観例を示す図である。
【図2】本実施の形態の画像表示システムの構成例を示す図である。
【図3】本実施の形態の画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。
【図4】本実施の形態においてヘッドマウントディスプレイに表示させる画像を生成するまでの処理手順の一例を示す図である。
【図5】本実施の形態の歪み画像における色ずれを説明するための図である。
【図6】本実施の形態の画像生成装置の内部回路構成を示す図である。
【図7】本実施の形態のヘッドマウントディスプレイの内部回路構成を示す図である。
【図8】本実施の形態における画像生成装置およびヘッドマウントディスプレイの機能ブロックの構成を示す図である。
【図9】本実施の形態において画像生成装置とヘッドマウントディスプレイの協働により画像を表示させる処理手順を示す図である。
【図10】色収差に対応する歪み補正を行うタイミングに依存した、色情報の損失の差を説明するための図である。
【発明を実施するための形態】
【0012】
本実施の形態は、レンズを介して表示画像を鑑賞する形式の画像表示システムに関する。この限りにおいて表示装置の種類は特に限定されないが、ここではヘッドマウントディスプレイを例に説明する。図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。
【0013】
出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備える。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。
【0014】
この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば拡張現実を実現できる。
【0015】
図２は、本実施の形態における画像表示システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信により画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。
【0016】
画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界が実世界かに関わらず観賞や情報提供のために動画像を表示させてもよい。ユーザの視点を中心に広い画角でパノラマ画像を表示すれば、表示世界に没入した感覚を与えることができる。
【0017】
図３は、本実施の形態で画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例ではユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。
【0018】
ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートで取得し、これに応じてビュースクリーン１４の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、表示パネルの左右の領域にそれぞれ表示させれば、仮想空間を立体視させることもできる。これによりユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。
【0019】
図４は、図３で示した形態において、ヘッドマウントディスプレイに表示させる画像を生成するまでの処理手順の一例を示している。まずユーザの視点に対応するビュースクリーンに、仮想世界に存在するオブジェクトを射影することにより、ユーザの視野に対応する画像１６を生成する。この処理は実際には、仮想世界を定義するワールド座標系におけるオブジェクトの頂点座標をビュースクリーンの座標系に変換したうえ、オブジェクトを構成する面にテクスチャをマッピングする処理となる。当該画像はユーザが本来視認すべき像を表す。
【0020】
立体視させる場合は、左右の目の間隔に応じた視差分だけ画像１６中の像を横方向にずらすか、画像１６を各目に対し生成することにより、左目用画像１８ａ、右目用画像１８ｂからなるステレオ画像を生成する。そして左目用画像１８ａ、右目用画像１８ｂのそれぞれについて、接眼レンズによる歪曲収差や色収差に合わせて歪み補正をすることで、最終的な表示画像２２が生成される。
【0021】
ここで歪み補正とは、レンズの収差による変化と逆の変化を与えることにより、画像をあらかじめ歪ませたり原色（ＲＧＢ）ごとに画素をずらしたりしておく処理である。例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、図示するように画像を樽型に湾曲させておく。これにより、ユーザが接眼レンズを介して表示画像２２を見たとき、本来の画像１６が歪みや色ずれなく認識される。以後、接眼レンズに対応する歪みや色ずれが与えられた画像を「歪み画像」と呼ぶ。
【0022】
図５は、歪み画像における色ずれを説明するための図である。この例で歪み画像２４は、白黒の市松模様の床を有する室内を表している。図示するように、歪み画像２４には、接眼レンズの特性上、周辺部に向かうほど大きい度合いで歪みが与えられる。接眼レンズの色収差により、歪みの与えられ方はＲ（赤）、Ｇ（緑）、Ｂ（青）の原色によって異なる。結果として、歪み画像２４においては周辺部に向かうほど大きな色ずれが生じる。例えば歪み画像２４の右下の領域を拡大した画像２６に示すように、本来は白と黒の境界を表す箇所２８において、色が徐々に変化する。
【0023】
すなわち図の上段に表すように、白から黒へ切り替わる境界がＲＧＢで異なることにより、例えば本来、黒の領域であるべき部分に赤が最大輝度で残るなどして、白や黒以外の色が生じる結果となる。このように色がずれた歪み画像２４を、接眼レンズを介して見ることにより、色収差によって色の変化が正しい位置に修正され、色ずれのない画像が視認される。歪み画像２４は、例えば歪みのない画像を一旦生成し、原色ごとに収差に応じた異なる度合いで画像を歪ませることによって生成できる。
【0024】
図４で示した画像の生成、表示手順は最もシンプルなものであり、例えばヘッドマウントディスプレイ１００内部で完結させる場合は良好に実現できる。一方、図２で示した画像表示システムのように、画像生成の機能をヘッドマウントディスプレイ１００と切り離し、無線通信で両者間のデータ伝送を実現させる場合、安定的な画像表示には伝送すべきデータのサイズをいかに抑えるかが課題となる。
【0025】
高品質でリアルな映像体験には、解像度やダイナミックレンジの拡張が要求される。そのようなデータサイズの大きい画像を、潤沢な処理リソースを有する画像生成装置２００側で作成することにより、低遅延での出力が可能になるとともに、ヘッドマウントディスプレイ１００での処理コストが抑えられ軽量化も容易になる。しかしながら無線通信がボトルネックとなり、データサイズが大きくなるほど表示が不安定になるリスクが高まる。
【0026】
そのため本実施の形態における画像生成装置２００は、一旦生成した画像から一部データを間引くダウンサンプリングによりサイズを小さくしたうえでヘッドマウントディスプレイ１００に送信する。ダウンサンプリングの手法としては様々に考えられるが、例えば画像の色差成分のみデータを間引くことが考えられる。すなわち画像生成装置２００は、一旦生成したＲＧＢの画像データを、Ｙ（輝度）、Ｕ（Ｂの色差）、Ｖ（赤の色差）の３成分に変換し、そのうえＵとＶの色差成分からデータを間引く。
【0027】
この手法は、輝度と比較し色の変化に対する感度が低いという人の視覚特性を利用したデータ圧縮方法であり、クロマサンプリングとして知られている。画像生成装置２００はそのようにしてダウンサンプリングした画像データを適宜符号化してヘッドマウントディスプレイ１００に送信してよい。ヘッドマウントディスプレイ１００では、送信されたデータを適宜復号したうえ、間引いたデータを補完して成分変換することにより元のサイズのＲＧＢ画像を生成し表示する。これにより、無線通信によってもデータサイズの大きい画像を安定的に表示できる。
【0028】
図６は、画像生成装置２００の内部回路構成を示している。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インターフェース２２８が接続されている。
【0029】
入出力インターフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００へのデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からのデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。
【0030】
ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
【0031】
図７はヘッドマウントディスプレイ１００の内部回路構成を示している。ヘッドマウントディスプレイ１００は、ＣＰＵ１２０、メインメモリ１２２、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、無線通信のインターフェースからなる通信部１３２、モーションセンサ１３４、およびステレオカメラ１１０が接続される。
【0032】
ＣＰＵ１２０は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理するとともに、画像生成装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１２２はＣＰＵ１２０における処理に必要なプログラムやデータを格納する。
【0033】
表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルで構成され、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。上述のとおり、左右の目に対応する領域に一対のステレオ画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ヘッドマウントディスプレイ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含む。
【0034】
音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部１３２は、画像生成装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）などの既知の無線通信技術により通信を実現する。モーションセンサ１３４はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ１００の角速度や加速度を取得する。
【0035】
ステレオカメラ１１０は図１で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。モーションセンサ１３４による計測値やステレオカメラ１１０による撮影画像のデータは必要に応じて、通信部１３２を介して画像生成装置２００に送信される。
【0036】
図８は、本実施の形態における画像生成装置２００およびヘッドマウントディスプレイ１００の機能ブロックの構成を示している。画像生成装置２００は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図８では特に、表示画像を生成し送信する機能に着目して示している。なお図８で示される画像生成装置２００の機能のうち少なくとも一部を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。
【0037】
また図８に示す機能ブロックは、ハードウェア的には、図６、７に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能、表示機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【0038】
画像生成装置２００は、ヘッドマウントディスプレイ１００のリアルタイムでの状態に係る情報を取得する状態情報取得部２６０、表示画像を生成する画像生成部２６２、画像の生成に用いるデータを格納する画像データ記憶部２６４、生成された画像データをダウンサンプリングするダウンサンプリング部２６６、および、画像データをヘッドマウントディスプレイ１００に送信する送信部２７０を備える。
【0039】
状態情報取得部２６０は図６の入力部２３８、ＣＰＵ２２２などで構成され、ヘッドマウントディスプレイ１００から送信される、ユーザ頭部の位置や姿勢などの情報を所定のレートで取得する。あるいは状態情報取得部２６０はヘッドマウントディスプレイ１００から、モーションセンサ１３４の計測値やステレオカメラ１１０が撮影した画像などのデータを所定のレートで取得し、少なくともそのいずれかに基づき自らがユーザ頭部の位置や姿勢を算出してもよい。撮影画像から位置や姿勢を取得する手法として、Ｖ－ＳＬＡＭ（Visual Simultaneous Localization and Mapping）など既存の技術を利用できる。
【0040】
画像生成部２６２は図６のＣＰＵ２２２、ＧＰＵ２２４などで構成され、図４で示した手順などにより表示画像を所定のレートで生成する。例えば画像生成部２６２は、ユーザ頭部の位置や姿勢の情報に基づき、視点に対応するビュースクリーンを設定し、３次元の仮想空間に存在するオブジェクトを射影することにより左目用、右目用の画像を生成する。ただし画像生成部２６２は、ヘッドマウントディスプレイ１００の接眼レンズに応じた歪み補正を行わない。
【0041】
上述のとおり本実施の形態では、データサイズの大きい画像を無線通信であっても安定して伝送させるため、データのダウンサンプリングを行う。このダウンサンプリングが不可逆性を有する場合、ヘッドマウントディスプレイ１００においてデータを補完しても、画像生成部２６２が生成した画像が忠実に再現されるわけではない。色差のデータのみを間引くなどしてユーザに気づかれにくくしても、図５で説明した色収差による色ずれは１画素レベルの分解能での情報のため、ダウンサンプリングによる情報損失の影響が視認されてしまう可能性がある。
【0042】
例えば原色ごとに異なる歪みを与え像の輪郭などに色ずれを発生させても、ダウンサンプリングにより当該色ずれの分布が鮮明でなくなると、接眼レンズを介して見た際、輪郭に偽色が表れてしまい補正の効果が十分得られないことが考えられる。そこで本実施の形態における画像生成部２６２は、歪み補正前の段階で画像生成処理を終わらせ、当該画像のデータを順次、ダウンサンプリング部２６６に供給する。
【0043】
あるいは画像生成部２６２は、ＲＧＢの３つのプレーンに対し共通の歪みを与える補正を行ってもよい。例えば画像生成部２６２は、ＲＧＢのうちＧのプレーンに与えるべき歪みを全てのプレーンに与えた歪み画像を生成する。このようにしても、色収差のための色ずれは発生させていないため、ダウンサンプリングにおいて色ずれの情報が失われることがない。なお画像生成部２６２は左目用、右目用の、歪みのない画像または原色によらず共通の歪みを与えた画像を、画像平面の左右に配置した構成で画像を生成してよい。
【0044】
画像データ記憶部２６４は図６のメインメモリ２２６などで構成され、表示対象のオブジェクトのモデルデータや仮想空間の構成に係るデータ、ＲＧＢで共通の歪み補正をする場合は当該歪みに係る情報などを格納する。なお画像生成装置２００が生成する表示画像は３次元オブジェクトに限らず、別途撮影されたパノラマ画像などでもよいし、ヘッドマウントディスプレイ１００のステレオカメラ１１０が撮影しているリアルタイムの画像、または当該画像に加工を施した画像などでもよい。
【0045】
あるいは画像生成装置２００は、図示しないサーバからネットワークを介して送信された、クラウドゲーミングや映画などの各種コンテンツの画像を取得し、即時復号伸張してもよい。ダウンサンプリング部２６６は図６のＣＰＵ２２２、ＧＰＵ２２４などで構成され、画像生成部２６２が生成した画像フレームごとに、一部のデータを間引くダウンサンプリングを行う。ダウンサンプリング部２６６は例えば、元のＲＧＢ画像をＹＵＶ画像に変換し、そのうちＵ、Ｖのプレーンを縮小することによりデータを削減する。
【0046】
ここでダウンサンプリング部２６６は、Ｕ、Ｖのプレーンについて縦横双方向に１／２縮小することによりＹＵＶ４２０のデータを生成してよい。あるいはダウンサンプリング部２６６は、Ｕ、Ｖのプレーンについて横方向のみに１／２縮小することによりＹＵＶ４２２のデータを生成してもよい。ただしダウンサンプリング部２６６が行うダウンサンプリングの手法はこれらに限らない。
【0047】
送信部２７０は、図６のＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６、出力部２３６などで構成され、ダウンサンプリングされた画像のデータを順次、ヘッドマウントディスプレイ１００に送出する。この際、送信部２７０は、ダウンサンプリングされた画像を所定の方式で圧縮符号化してからヘッドマウントディスプレイ１００に送信してよい。例えば送信部２７０は、映像信号符号化方式の国際標準規格であるＭＰＥＧ（Moving Picture Experts Group）－４、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣ（High Efficiency Video Coding）のいずれかにより圧縮符号化を行う。
【0048】
ダウンサンプリング部２６６において、上述のとおりＹＵＶ４２０やＹＵＶ４２２などのフォーマットでダウンサンプリングを行うと、Ｈ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣを用いて高品質な画像を効率的に送信、表示できる。ただし符号化方式をこれらに限定する主旨ではない。
【0049】
ヘッドマウントディスプレイ１００は、ヘッドマウントディスプレイ１００のリアルタイムでの状態に係る情報を送信する状態情報送信部２７６、画像生成装置２００から送信された画像のデータを取得する画像データ取得部２７８、取得された画像データをアップサンプリングするアップサンプリング部２８０、アップサンプリング後の画像に歪み補正を施す歪み補正部２８２、および、歪み補正後の画像を表示する表示部２８４を備える。
【0050】
状態情報送信部２７６は図７のＣＰＵ１２０、モーションセンサ１３４、ステレオカメラ１１０、通信部１３２などで構成され、ユーザ頭部の位置や姿勢に係る情報、あるいはそれを導出するための計測値や撮影画像のデータを、所定のレートで画像生成装置２００に送信する。画像データ取得部２７８は、図７のＣＰＵ１２０、通信部１３２、メインメモリ１２２などで構成され、画像生成装置２００から送信された画像のデータを取得する。
【0051】
送信された画像データが圧縮符号化されている場合、画像データ取得部２７８は、当該データを復号伸張する。アップサンプリング部２８０は図７のＣＰＵ１２０、メインメモリ１２２などで構成され、適宜復号された画像フレームごとに、間引かれた画素値を補完するアップサンプリングを行う。例えばＹＵＶ画像を送信対象とし、Ｕ、Ｖのプレーンが縮小されている場合、アップサンプリング部２８０はそれらのプレーンを拡大して元のサイズに戻す。
【0052】
そしてアップサンプリング部２８０は、サイズが統一されたＹＵＶプレーンからなる画像をＲＧＢ画像に変換する。変換後のＲＧＢ画像は、画像生成装置２００において画像生成部２６２が生成した画像と同等であるが、色差情報がいくらか損失したものである。このようにしても、ユーザの認識上での画質の劣化は極力抑えられる。なおアップサンプリング部２８０が行う処理は基本的に、画像生成装置２００においてダウンサンプリング部２６６が行う処理の逆であればよく、具体的な手順はダウンサンプリング部２６６における処理に依存する。
【0053】
歪み補正部２８２は図７のＣＰＵ１２０、メインメモリ１２２などで構成され、アップサンプリングされた画像フレームごとに、ＲＧＢプレーンのそれぞれに対し色収差に応じた異なる度合いで歪みを与える補正を行う。例えば歪み補正部２８２は次の補正式により、歪み画像の位置座標（ｘ，ｙ）の画素値を、歪みのない画像からサンプリングして決定する。
【0054】
【数1】
【0055】
ここで（Δｘ，Δｙ）は、歪みのない画像におけるサンプリング点の、位置座標（ｘ，ｙ）からの変位量、ｒはレンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）はレンズの光軸の位置である。またｋ１、ｋ２、ｋ３、・・・はレンズ歪み係数であり、レンズの設計や光の波長帯、すなわちＲ、Ｇ、Ｂに依存する。補正の次数は特に限定されない。歪み補正部２８２は、Ｒ、Ｇ、Ｂのそれぞれについてレンズ歪み係数ｋ１、ｋ２、ｋ３、・・・のセットを内部で保持し、（Δｘ，Δｙ）を算出することにより、色ごとに異なる位置からサンプリングを行う。
【0056】
これにより、アップサンプリング後のＲＧＢ画像のうち異なる位置からサンプリングされたＲＧＢの各値によって、歪み画像の各画素の値が決定される。なお式１によれば、歪み画像における画素の位置座標（ｘ，ｙ）と、サンプリング先までの変位量（Δｘ，Δｙ）との関係は、ＲＧＢごとの固定値であるレンズ歪み係数ｋ１、ｋ２、ｋ３、・・・によって定まる。したがって歪み補正部２８２において、原色プレーンごとに、サンプリング先の位置座標または変位量（Δｘ，Δｙ）をマッピングしたデータを準備しておくことで、サンプリングを効率化してもよい。
【0057】
なお式１は、接眼レンズによる歪みを補正するための代表的な数式であるが、本実施の形態で実施する歪み補正の演算をこれに限定する主旨ではない。一方、画像生成装置２００において、ＲＧＢに共通の歪みを与えた画像が生成されている場合、歪み補正部２８２は、残りの歪み分だけ補正すればよいことになる。
【0058】
例えば画像生成装置２００において、Ｇに対応する歪みを全てのプレーンに与えている場合、歪み画像における位置座標（ｘ，ｙ）の画素の、ＲＧＢの各成分のサンプリング先までの変位量ΔＲ（ｘ，ｙ）、ΔＧ（ｘ，ｙ）、ΔＢ（ｘ，ｙ）は次のようになる。
ΔＲ（ｘ，ｙ）＝ＤＲ（ｘ，ｙ）－ＤＧ（ｘ，ｙ）
ΔＧ（ｘ，ｙ）＝０
ΔＢ（ｘ，ｙ）＝ＤＢ（ｘ，ｙ）－ＤＧ（ｘ，ｙ）
ΔＲ（ｘ，ｙ）＝ＤＲ（ｘ，ｙ）－ＤＧ（ｘ，ｙ）
ΔＧ（ｘ，ｙ）＝０
ΔＢ（ｘ，ｙ）＝ＤＢ（ｘ，ｙ）－ＤＧ（ｘ，ｙ）
【0059】
ここでＤＲ（ｘ，ｙ）、ＤＧ（ｘ，ｙ）、ＤＢ（ｘ，ｙ）は、位置座標（ｘ，ｙ）からサンプリング先までの、ＲＧＢの各成分の本来の変位量であり、Ｒ、Ｇ、Ｂそれぞれのレンズ歪み係数を式１に代入することで得られる値である。表示部２８４は図７のＣＰＵ１２０、メインメモリ１２２、表示部１２４などで構成され、歪み補正部２８２により色ごとに歪みが与えられた画像が順次表示されるように表示パネルを駆動する。なお表示部２８４は、その時点でのユーザ頭部の位置姿勢を取得し、それに基づき画像の視野を補正するリプロジェクションを実施したうえで表示パネルに出力してもよい。
【0060】
次に、以上の構成によって実現できる画像表示システムの動作について説明する。図９は、本実施の形態において画像生成装置２００とヘッドマウントディスプレイ１００の協働により画像を表示させる処理手順を示している。同図は、動画像の１フレーム分を表示する処理を示しており、実際には各処理ステップを並列に実行することで、画像フレームの生成、送信、表示をパイプラインで実施してよい。また処理の具体的な方式は例示であり、本実施の形態を限定するものではない。
【0061】
まず画像生成装置２００の画像生成部２６２は、状態情報取得部２６０が取得した、ユーザ頭部の位置姿勢に基づきビュースクリーンを設定し、３次元オブジェクトを射影するなどして、歪みのない画像を生成する（Ｓ３０）。この画像は図４の画像１６、または左目用画像１８ａと右目用画像１８ｂからなるステレオ画像に対応し、各画素がずれなくＲＧＢの画素値を有する一般的な画像である。画像生成部２６２はさらに、ＲＧＢプレーンの全てに共通の度合いで歪みを与えもよい。
【0062】
次にダウンサンプリング部２６６は、画像生成部２６２が生成したＲＧＢの画像データをＹＵＶ画像に変換したうえ、ＹＵＶ４２０などのフォーマットにダウンサンプリングする（Ｓ３２）。そして送信部２７０は、例えばＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣなど所定の方式により符号化したうえ（Ｓ３４）、そのデータをヘッドマウントディスプレイ１００に送信する。
【0063】
ヘッドマウントディスプレイ１００の画像データ取得部２７８は、当該データを受信すし復号する（Ｓ３６）。このデータは例えばＹＵＶ４２０のフォーマットを有する。そしてアップサンプリング部２８０は、縮小されているＵ、Ｖのプレーンを拡大して元のサイズに戻したうえ、得られたＹＵＶ画像をＲＧＢ画像に変換する（Ｓ３８）。例えばアップサンプリング部２８０は、ＹＵＶ４２０のデータをＹＵＶ４４４とすることで表示画像の画素ごとにＹＵＶの値を決定し、それらの数値を用いてＲＧＢの値を算出する。
【0064】
次に歪み補正部２８２は、ＲＧＢの各プレーンに対し上述のとおり異なる度合いで歪みを与えることにより、色ずれのある画像を生成する（Ｓ４０）。表示部２８４は、そのようにして生成された色ずれのある画像を表示パネルに出力する（Ｓ４２）。このように表示された画像を、接眼レンズを介して鑑賞することにより、歪みや色ずれのない画像が視認されることになる。
【0065】
図１０は、色収差に対応する歪み補正を行うタイミングに依存した、色情報の損失の差を説明するための図である。同図において最小単位の矩形は１つの画素に対応し、横方向４画素、縦方向２画素からなる画素ブロックのデータの変遷を右方向に示している。（ａ）は、画像生成装置２００においてダウンサンプリング前に色収差に対応する歪み補正を行うケース、（ｂ）は本実施の形態のとおり、ヘッドマウントディスプレイ１００においてアップサンプリングされた後に色収差に対応する歪み補正を行うケースである。
【0066】
（ａ）の場合、まず画像生成装置２００において、表示の元となるＲＧＢの画像３０が生成される。この例では画素ブロックのうち、左から２番目の列の２画素を白色、その他の６画素を黒色としている。なお実際には、各画素値はＲＧＢの３成分によって構成されるが、図ではわかりやすさのためそれらをブレンドした、表現される色で示している。
【0067】
画像３０に対し原色ごとに異なる度合いで歪みを与えると、図５で説明したように、異なる表現色の境界位置がＲＧＢでずれる。結果として、図示する例では、左端列の２画素がＲ（赤）、２番目の列の２画素がＧ（緑）、３番目の列の２画素がＢ（青）、４番目の列の２画素が黒色の画像３２が生成される。そのようなＲＧＢ成分からなる画像３２をＹＵＶ成分に変換してＵ、Ｖプレーンをダウンサンプリングすると、Ｙ画像３４ａとＵＶ画像３４ｂが得られる。
【0068】
ＹＵＶ４２０であれば図示するように、Ｙ画像３４ａのサイズは元のままであり、ＵＶ画像３４ｂは２×２画素ごとにデータが平均化されるなどして１／４サイズに縮小される。画像生成装置２００側でこのような歪みのある画像を生成し送信すれば、ヘッドマウントディスプレイ１００ではそれをアップサンプリングして表示するのみでよくなる。しかしながらそのアップサンプリングされた画像３６は、色差の情報に損失がある。
【0069】
すなわち図示する例では２×２画素の色差が１画素に平均化されているため、画像３２で横方向の１画素ごとに分散していたＲ、Ｇ、Ｂの明確な輝度が、隣接画素とのブレンドにより鈍ってしまう。上述のとおり人の視覚特性に鑑みれば、通常の画像においてこのような差は認識されにくいが、色収差の補正のように光の屈折を考慮した画素単位での調整の場合、補正結果が変わることで偽色が目立って見えてしまうことが考えられる。
【0070】
本実施の形態である（ｂ）の手順では、まず画像生成装置２００の画像生成部２６２が（ａ）と同様、表示の元となるＲＧＢの画像３０を生成する。するとダウンサンプリング部２６６は、歪みを与える前の状態のままダウンサンプリングを行う。この例でもＹＵＶ４２０を想定すると、元のサイズのままのＹ画像４２ａと、１／４縮小されたＵＶ画像４２ｂが得られる。
【0071】
ヘッドマウントディスプレイ１００では、アップサンプリング部２９０がＵＶ画像４２ｂを拡大したうえ、ＲＧＢの画像４４に変換する。この場合も、送信される色差の情報は２×２画素ごとに平均化されているため、画像４４は元の画像３０とは厳密には異なる。しかしながら（ａ）の画像３２のように色収差に係る補正がなされていないため、当然、補正結果が損失を被ることはない。
【0072】
その後、歪み補正部２８２は、ＲＧＢの画像４４に対し原色ごとに異なる度合いで歪みを与える。これにより異なる表現色の境界位置がＲＧＢでずれ、画像３２とほぼ同様の、画素ごとにＲ、Ｇ、Ｂの明確な輝度が表れる画像４６が得られる。このように、送信のためにデータのダウンサンプリングを行う場合、色収差のための補正をアップサンプリング後にヘッドマウントディスプレイ１００側で実施することにより、画素単位の色ずれの情報を損失なく表現できる。
【0073】
図１１は、図１０の（ａ）の手順における、ダウンサンプリングによる影響を説明するための図である。色ごとの歪み補正はレンズの分光特性に基づくため、補正後の画像は図５で示したように、表現色の境界などにおいて特定の原色が１画素程度の微小な幅で他の原色よりはみ出すように表れる。図では当該特定の原色の、画素位置に対する輝度の変化を例示している。点線で示すように、補正後の輝度変化５０は、隣り合う画素Ａ、Ｂ間で急激に変化する。
【0074】
ダウンサンプリングによりそれらの輝度値が平均化されると、定性的には実線で示す輝度変化５２のように、本来高輝度であった画素Ａの輝度が下がるとともに、本来低輝度であった隣の画素Ｂの輝度が上がる。結果として、特定の原色がはみ出す幅が拡張されたり他の原色とのブレンドにより表現色が変化したりして、レンズを介して見た時に不自然な印象を与えてしまう。このような影響は、ダイナミックレンジや画素値の階調が大きいほど顕著となる。したがって、ＨＤＲ（High Dynamic Range）などにより豊かな画像表現を実現する態様においては特に、本実施の形態による効果が大きくなる。
【0075】
以上述べた本実施の形態によれば、ヘッドマウントディスプレイは画像生成装置から、ダウンサンプリングされた画像データを取得し、それをアップサンプリングしたうえで色差のための歪み補正を行い表示する。これにより伝送すべきデータサイズの軽減と、レンズを介して鑑賞したときの画像の質とを両立させることができる。結果として、ヘッドマウントディスプレイを無線化しても高品質な画像を安定して表示でき、ヘッドマウントディスプレイを軽量化できるとともにケーブルの引き回し等によるユーザの動きづらさを解消できる。
【0076】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0077】
例えば本実施の形態では、画像生成装置２００がデータサイズ軽減のためにダウンサンプリングを行うことを前提として、ヘッドマウントディスプレイ１００側でのアップサンプリングと色収差のための歪み補正をセットで実施した。一方、画像生成装置２００がダウンサンプリングを行わない場合を許容し、色収差のための歪み補正を画像生成装置２００側でも実施できるようにしてもよい。
【0078】
この場合、画像生成装置２００の画像生成部２６２は、生成する画像の特性や設定などに応じて、画像データのダウンサンプリングを行うか否かを決定する。ダウンサンプリングを行わない場合、画像生成部２６２は、生成した画像に色収差のための歪み補正を施したうえ、そのデータを送信部２７０に供給する。送信部２７０は、ダウンサンプリングがなされたか否かの情報を、画像データとともにヘッドマウントディスプレイ１００に送信する。
【0079】
ヘッドマウントディスプレイ１００の画像データ取得部２７８は当該情報に基づき、画像データの供給先を切り替える。すなわちダウンサンプリングがなされていれば、画像データ取得部２７８は画像データをアップサンプリング部２９０に供給する。これにより上述した実施形態の動作が実現する。一方、ダウンサンプリングがなされていなければ、画像データ取得部２７８は画像データを表示部２８４に供給する。これにより、ヘッドマウントディスプレイ１００側での処理を最小限に、低遅延での表示が可能となる。
【符号の説明】
【0080】
１００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ ＣＰＵ、 １２２ メインメモリ、 １２４ 表示部、 １３２ 通信部、 １３４ モーションセンサ、 ２００ 画像生成装置、 ２２２ ＣＰＵ、 ２２４ ＧＰＵ、 ２２６ メインメモリ、 ２６０ 状態情報取得部、 ２６２ 画像生成部、 ２６４ 画像データ記憶部、 ２６６ ダウンサンプリング部、 ２７０ 送信部、 ２７６ 状態情報送信部、 ２７８ 画像データ取得部、 ２８０ アップサンプリング部、 ２８２ 歪み補正部、 ２８４ 表示部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】