IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧

特許7198277ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム
<>
  • 特許-ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム 図1
  • 特許-ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム 図2
  • 特許-ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム 図3
  • 特許-ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム 図4
  • 特許-ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム 図5
  • 特許-ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム 図6
  • 特許-ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム 図7
  • 特許-ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-20
(45)【発行日】2022-12-28
(54)【発明の名称】ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム
(51)【国際特許分類】
   H04N 13/344 20180101AFI20221221BHJP
   H04N 13/327 20180101ALI20221221BHJP
   H04N 5/66 20060101ALI20221221BHJP
   G02B 30/36 20200101ALI20221221BHJP
   G02B 27/02 20060101ALI20221221BHJP
   G09G 5/00 20060101ALI20221221BHJP
   G09G 5/36 20060101ALI20221221BHJP
【FI】
H04N13/344
H04N13/327
H04N5/66 Z
G02B30/36
G02B27/02 Z
G09G5/00 X
G09G5/36 510V
G09G5/00 510V
G09G5/00 550X
【請求項の数】 8
(21)【出願番号】P 2020518846
(86)(22)【出願日】2018-05-15
(86)【国際出願番号】 JP2018018709
(87)【国際公開番号】W WO2019220527
(87)【国際公開日】2019-11-21
【審査請求日】2021-05-07
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【弁理士】
【氏名又は名称】三木 友由
(74)【代理人】
【識別番号】100134256
【弁理士】
【氏名又は名称】青木 武司
(72)【発明者】
【氏名】冨永 丈博
【審査官】益戸 宏
(56)【参考文献】
【文献】特開平06-343184(JP,A)
【文献】特開2017-158153(JP,A)
【文献】特開平03-292091(JP,A)
【文献】米国特許出願公開第2002/0113755(US,A1)
【文献】特開2008-299669(JP,A)
【文献】国際公開第2013/076994(WO,A1)
【文献】特開2011-145488(JP,A)
【文献】特表昭60-500077(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00
H04N 5/64-5/66
G02B 30/00
G02B 27/02
G09G 3/00-5/00
(57)【特許請求の範囲】
【請求項1】
左目用画像を表示する左画面と、
右目用画像を表示する右画面と、
前記左画面に表示された左目用画像を拡大してユーザに提示する左レンズと、
前記右画面に表示された右目用画像を拡大してユーザに提示する右レンズと、
記憶部と、
取得部と、
制御部と、
を備え、
前記左画面は前記左レンズのサイズより大きい部分を有し、前記左レンズのサイズを超えた前記左画面の領域に表示された左目用画像はユーザに視認されず、
前記右画面は前記右レンズのサイズより大きい部分を有し、前記右レンズのサイズを超えた前記右画面の領域に表示された右目用画像はユーザに視認されず、
前記記憶部は、前記左画面における前記左目用画像の表示開始位置と、前記右画面における前記右目用画像の表示開始位置を記憶し、
前記左目用画像の表示開始位置と、前記右目用画像の表示開始位置は、前記左レンズと前記右レンズとのずれに応じて、異なる値が設定され、
前記取得部は、外部装置により生成された画像であって、前記左レンズのサイズに対応するサイズの左目用画像と、前記右レンズのサイズに対応するサイズの右目用画像を、通信網を介して取得し、
前記制御部は、前記記憶部に記憶された前記左画面における前記左目用画像の表示開始位置から、前記取得部により取得された左目用画像を表示させ、前記記憶部に記憶された前記右画面における前記右目用画像の表示開始位置から、前記取得部により取得された右目用画像を表示させることを特徴とするヘッドマウントディスプレイ。
【請求項2】
左目用画像を表示する左画面と、
右目用画像を表示する右画面と、
前記左画面に表示された左目用画像を拡大してユーザに提示する左レンズと、
前記右画面に表示された右目用画像を拡大してユーザに提示する右レンズと、
第1記憶部と、
生成部と、
第2記憶部と、
制御部と、
を備え、
前記左画面は前記左レンズのサイズより大きい部分を有し、前記左レンズのサイズを超えた前記左画面の領域に表示された左目用画像はユーザに視認されず、
前記右画面は前記右レンズのサイズより大きい部分を有し、前記右レンズのサイズを超えた前記右画面の領域に表示された右目用画像はユーザに視認されず、
前記第1記憶部は、前記左画面における前記左目用画像の表示開始位置と、前記右画面における前記右目用画像の表示開始位置を記憶し、
前記左目用画像の表示開始位置と、前記右目用画像の表示開始位置は、前記左レンズと前記右レンズとのずれに応じて、異なる値が設定され、
前記生成部は、前記左レンズのサイズに対応するサイズの左目用画像と、前記右レンズのサイズに対応するサイズの右目用画像を生成し、生成した前記左目用画像と前記右目用画像とを前記第2記憶部に格納し、
前記制御部は、前記第1記憶部に記憶された前記左画面における前記左目用画像の表示開始位置から、前記第2記憶部に記憶された左目用画像を表示させ、前記第1記憶部に記憶された前記右画面における前記右目用画像の表示開始位置から、前記第2記憶部に記憶された右目用画像を表示させることを特徴とするヘッドマウントディスプレイ。
【請求項3】
前記制御部は、前記左目用画像を未表示の前記左画面の領域に、前記左目用画像に非依存の予め定められた画像を表示させ、前記右目用画像を未表示の前記右画面の領域に、前記右目用画像に非依存の予め定められた画像を表示させることを特徴とする請求項1または2に記載のヘッドマウントディスプレイ。
【請求項4】
前記制御部は、前記左画面において前記左目用画像を表示させるべき領域内の表示素子を駆動することにより前記左目用画像を表示させる一方、前記左画面において前記左目用画像を表示させるべき領域外の表示素子の駆動を抑制し、前記右画面において前記右目用画像を表示させるべき領域内の表示素子を駆動することにより前記右目用画像を表示させる一方、前記右画面において前記右目用画像を表示させるべき領域外の表示素子の駆動を抑制することを特徴とする請求項1または2に記載のヘッドマウントディスプレイ。
【請求項5】
前記取得部は、外部装置により生成された画像であって、前記左レンズのサイズと同じサイズの左目用画像と、前記右レンズのサイズと同じサイズの右目用画像を、通信網を介して取得する、
請求項1に記載のヘッドマウントディスプレイ。
【請求項6】
前記生成部は、前記左レンズのサイズと同じサイズの左目用画像と、前記右レンズのサイズと同じサイズの右目用画像を生成し、生成した前記左目用画像と前記右目用画像とを前記第2記憶部に格納する、
請求項2に記載のヘッドマウントディスプレイ。
【請求項7】
左目用画像を表示する左画面と、右目用画像を表示する右画面と、前記左画面に表示された左目用画像を拡大してユーザに提示する左レンズと、前記右画面に表示された右目用画像を拡大してユーザに提示する右レンズと、記憶部とを備えるヘッドマウントディスプレイが実行する方法であって、
前記左画面は前記左レンズのサイズより大きい部分を有し、前記左レンズのサイズを超えた前記左画面の領域に表示された左目用画像はユーザに視認されず、
前記右画面は前記右レンズのサイズより大きい部分を有し、前記右レンズのサイズを超えた前記右画面の領域に表示された右目用画像はユーザに視認されず、
前記記憶部は、前記左画面における前記左目用画像の表示開始位置と、前記右画面における前記右目用画像の表示開始位置を記憶し、
前記左目用画像の表示開始位置と、前記右目用画像の表示開始位置は、前記左レンズと前記右レンズとのずれに応じて、異なる値が設定され、
外部装置により生成された画像であって、前記左レンズのサイズに対応するサイズの左目用画像と、前記右レンズのサイズに対応するサイズの右目用画像を、通信網を介して取得するステップと、
前記記憶部に記憶された前記左画面における前記左目用画像の表示開始位置から、前記取得するステップで取得された左目用画像を表示させ、前記記憶部に記憶された前記右画面における前記右目用画像の表示開始位置から、前記取得するステップで取得された右目用画像を表示させるステップと、
を備えることを特徴とする画像表示方法。
【請求項8】
左目用画像を表示する左画面と、右目用画像を表示する右画面と、前記左画面に表示された左目用画像を拡大してユーザに提示する左レンズと、前記右画面に表示された右目用画像を拡大してユーザに提示する右レンズと、記憶部とを備えるヘッドマウントディスプレイを制御するコンピュータプログラムであって、
前記左画面は前記左レンズのサイズより大きい部分を有し、前記左レンズのサイズを超えた前記左画面の領域に表示された左目用画像はユーザに視認されず、
前記右画面は前記右レンズのサイズより大きい部分を有し、前記右レンズのサイズを超えた前記右画面の領域に表示された右目用画像はユーザに視認されず、
前記記憶部は、前記左画面における前記左目用画像の表示開始位置と、前記右画面における前記右目用画像の表示開始位置を記憶し、
前記左目用画像の表示開始位置と、前記右目用画像の表示開始位置は、前記左レンズと前記右レンズとのずれに応じて、異なる値が設定され、
外部装置により生成された画像であって、前記左レンズのサイズに対応するサイズの左目用画像と、前記右レンズのサイズに対応するサイズの右目用画像を、通信網を介して取得する機能と、
前記記憶部に記憶された前記左画面における前記左目用画像の表示開始位置から、前記取得する機能により取得された左目用画像を表示させ、前記記憶部に記憶された前記右画面における前記右目用画像の表示開始位置から、前記取得する機能により取得された右目用画像を表示させる機能と、
を前記ヘッドマウントディスプレイに実現させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、データ処理技術に関し、特にヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラムに関する。
【背景技術】
【0002】
近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ(Head Mounted Display)(以下「HMD」とも呼ぶ。)が普及してきている。このようなHMDでは、互いに視差を設けた左目用画像と右目用画像が入力されると、左パネルに左目用画像を表示し、左目用画像を左レンズにより拡大してユーザに提示し、また、右パネルに右目用画像を表示し、右目用画像を右レンズにより拡大してユーザに提示する。これにより、HMDが提示する映像の立体感を高め、ユーザに深い没入感を与えることができる。
【0003】
HMDの製造過程において、組立誤差により、左パネルの位置と右パネルの位置がずれることがあり、また、左レンズの位置と右レンズの位置がずれることがある。左右のパネルまたは左右のレンズにずれが生じると、ユーザが正しい立体感を得られず、また、ユーザが疲労してしまうことがある。HMDの製造過程における組立誤差を低減するには多大なコストがかかる。そのため、HMDの製造後に、パネルまたはレンズのずれを計測し、そのずれに応じて、描画位置を互いにずらした左目用画像と右目用画像が作成されることがある。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2008-197394号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
左目用画像と右目用画像の描画位置をずらす場合、HMDごとに異なる組立誤差の値を、描画処理を実行する上位層のソフトウェア(アプリケーション)へ伝達するという煩雑な処理が必要になる。また、当該アプリケーションは、組立誤差を吸収するように、左目用画像と右目用画像の描画位置をずらす処理が実装される必要があり、アプリケーションの開発コストが増大することがある。
【0006】
本発明は、上記課題に鑑みてなされたものであり、1つの目的は、HMDの組立誤差を効率的に吸収し、または、データ転送量を削減する技術を提供することである。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある態様のヘッドマウントディスプレイは、左目用画像を表示する左画面と、右目用画像を表示する右画面と、左画面に表示された左目用画像を拡大してユーザに提示する左レンズと、右画面に表示された右目用画像を拡大してユーザに提示する右レンズと、記憶部と、取得部と、制御部と、を備える。左画面は左レンズのサイズより大きい部分を有し、左レンズのサイズを超えた左画面の領域に表示された左目用画像はユーザに視認されず、右画面は右レンズのサイズより大きい部分を有し、右レンズのサイズを超えた右画面の領域に表示された右目用画像はユーザに視認されず、記憶部は、左画面における左目用画像の表示開始位置と、右画面における右目用画像の表示開始位置を記憶し、左目用画像の表示開始位置と、右目用画像の表示開始位置は、左画面と右画面とのずれと、左レンズと右レンズとのずれの少なくとも一方に応じて、異なる値が設定され、取得部は、外部装置により生成された画像であって、左レンズのサイズに対応するサイズの左目用画像と、右レンズのサイズに対応するサイズの右目用画像を取得し、制御部は、記憶部に記憶された左画面における左目用画像の表示開始位置から、取得部により取得された左目用画像を表示させ、記憶部に記憶された右画面における右目用画像の表示開始位置から、取得部により取得された右目用画像を表示させる。
【0008】
本発明の別の態様もまた、ヘッドマウントディスプレイである。このヘッドマウントディスプレイは、左目用画像を表示する左画面と、右目用画像を表示する右画面と、左画面に表示された左目用画像を拡大してユーザに提示する左レンズと、右画面に表示された右目用画像を拡大してユーザに提示する右レンズと、記憶部と、生成部と、制御部と、を備える。左画面は左レンズのサイズより大きい部分を有し、左レンズのサイズを超えた左画面の領域に表示された左目用画像はユーザに視認されず、右画面は右レンズのサイズより大きい部分を有し、右レンズのサイズを超えた右画面の領域に表示された右目用画像はユーザに視認されず、記憶部は、左画面における左目用画像の表示開始位置と、右画面における右目用画像の表示開始位置を記憶し、左目用画像の表示開始位置と、右目用画像の表示開始位置は、左画面と右画面とのずれと、左レンズと右レンズとのずれの少なくとも一方に応じて、異なる値が設定され、生成部は、左レンズのサイズに対応するサイズの左目用画像と、右レンズのサイズに対応するサイズの右目用画像を生成し、制御部は、記憶部に記憶された左画面における左目用画像の表示開始位置から、生成部により生成された左目用画像を表示させ、記憶部に記憶された右画面における右目用画像の表示開始位置から、生成部により生成された右目用画像を表示させる。
【0009】
本発明のさらに別の態様は、画像表示方法である。この方法は、左目用画像を表示する左画面と、右目用画像を表示する右画面と、左画面に表示された左目用画像を拡大してユーザに提示する左レンズと、右画面に表示された右目用画像を拡大してユーザに提示する右レンズと、記憶部とを備えるヘッドマウントディスプレイが実行する方法であって、左画面は左レンズのサイズより大きい部分を有し、左レンズのサイズを超えた左画面の領域に表示された左目用画像はユーザに視認されず、右画面は右レンズのサイズより大きい部分を有し、右レンズのサイズを超えた右画面の領域に表示された右目用画像はユーザに視認されず、記憶部は、左画面における左目用画像の表示開始位置と、右画面における右目用画像の表示開始位置を記憶し、左目用画像の表示開始位置と、右目用画像の表示開始位置は、左画面と右画面とのずれと、左レンズと右レンズとのずれの少なくとも一方に応じて、異なる値が設定され、外部装置により生成された画像であって、左レンズのサイズに対応するサイズの左目用画像と、右レンズのサイズに対応するサイズの右目用画像を取得するステップと、記憶部に記憶された左画面における左目用画像の表示開始位置から、取得するステップで取得された左目用画像を表示させ、記憶部に記憶された右画面における右目用画像の表示開始位置から、取得するステップで取得された右目用画像を表示させるステップと、を備える。
【0010】
なお、以上の構成要素の任意の組合せ、本発明の表現を、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0011】
本発明によれば、HMDの組立誤差を効率的に吸収し、または、データ転送量を削減することができる。
【図面の簡単な説明】
【0012】
図1】HMDの構成を模式的に示す図である。
図2】HMDの組立誤差の例を示す図である。
図3】パネルのサイズとレンズのサイズを示す図である。
図4】組立誤差吸収処理の一例を模式的に示す図である。
図5】実施例における組立誤差吸収処理を模式的に示す図である。
図6】第1実施例のエンタテインメントシステムの構成を示す図である。
図7】第2実施例のエンタテインメントシステムの構成を示す図である。
図8】第3実施例のエンタテインメントシステムの構成を示す図である。
【発明を実施するための形態】
【0013】
(第1実施例)
図1は、HMD10の構成を模式的に示す。HMD10は、パネル12で総称される左パネル12aと右パネル12b、レンズ14で総称される左レンズ14aと右レンズ14bを備える。パネル12は、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)または有機発光ダイオード(Organic Light-Emitting Diode;OLED)により構成される画面を含む。左パネル12aは、ユーザの左目に提示する画像(以下「左目用画像」)を表示する画面を含み、右パネル12bは、ユーザの右目に提示する画像(以下「右目用画像」)を表示する画面を含む。
【0014】
左レンズ14aおよび右レンズ14bは、例えば凸レンズである。左レンズ14aは、左パネル12aに表示された左目用画像を拡大してユーザの左目に提示する。右レンズ14bは、右パネル12bに表示された右目用画像を拡大してユーザの右目に提示する。これにより、大きな視野角をユーザに提供する。また、左目用画像と右目用画像の間には視差が設けられ、左目用画像と右目用画像を同時に見るユーザに立体感を提供する。このように、HMD10は、ユーザに立体映像を提示する。
【0015】
HMD10では、製造過程において組立誤差が生じ、左レンズ14aの位置と右レンズ14bの位置がずれることがある。また、左パネル12aと右パネル12bが異なるパネルを合体させたものである場合、左レンズ14aの位置と右レンズ14bの位置がずれることがある。図2は、HMD10の組立誤差の例を示す。同図では、左レンズ14aの位置と右レンズ14bの位置が上下方向にずれている。左右方向のズレは、ユーザ(HMD10の装着者)ごとに異なる瞳孔間距離(Pupil Distance;PD)の調整で相殺されるため問題になりにくい。一方、上下方向にずれると、ユーザに正しい立体感を与えることができず、また、ユーザを疲労させてしまう。
【0016】
また、HMD10の製造コストを低減するため、大量生産されている汎用品のパネル(言い替えれば一般的な解像度のパネル)を使用するという制約がある。汎用品のパネルは、例えば、フルHD(横1920×縦1080ピクセル=16:9)のOLEDパネルである。実施例では、左パネル12aと右パネル12bのサイズはそれぞれ、横960×縦1080ピクセル(横8:縦9)である。
【0017】
また、HMD10の製造コストを低減するため、大量生産されている汎用品のレンズを使用するという制約がある。汎用品のレンズは、通常、円形である。また、実施例のHMD10では、左パネル12aのサイズは、左レンズ14aのサイズより大きく、同様に、右パネル12bのサイズは、右レンズ14bのサイズより大きい。実施例では、左レンズ14aの直径は、左パネル12aの短手方向の長さ(960ピクセル)に対応する(実施例では同一)長さである。右レンズ14bの直径も同様(960ピクセル)である。
【0018】
パネル12から出力された光のうちレンズ14を通過しない光はユーザの目に届かない。したがって、左レンズ14aのサイズを超えた左パネル12aの領域に表示された画像はユーザから見えず、ユーザに視認されない。同様に、右レンズ14bのサイズを超えた右パネル12bの領域に表示された画像はユーザに視認されない。レンズ14のサイズを超えたパネル12の領域は、レンズ14によりカバーされないパネル12の領域とも言え、レンズを通したユーザの視野の範囲外となるパネル12の領域とも言え、出力した光がユーザの目に届かないパネル12の領域とも言える。
【0019】
逆に、パネル12から出力された光のうちレンズ14を通過する光はユーザの目に届く。したがって、左レンズ14aのサイズを超えない左パネル12aの領域に表示された画像はユーザに視認される。同様に、右レンズ14bのサイズを超えない右パネル12bの領域に表示された画像はユーザに視認される。レンズ14のサイズを超えないパネル12の領域は、レンズ14によりカバーされるパネル12の領域とも言え、レンズを通したユーザの視野の範囲内となるパネル12の領域とも言え、出力した光がユーザの目に届くパネル12の領域とも言える。
【0020】
図3は、パネル12のサイズとレンズ14のサイズを示す図である。左パネル12aのサイズは、横960ピクセル×縦1080ピクセルである一方、左レンズ14aのサイズは、直径が960ピクセルに対応する長さである。そのため、左パネル12aのうち左レンズ14aによりカバーされない範囲(図3の網掛け部分。左レンズ14aのサイズを超えた範囲とも言える。)に表示された画像はユーザに視認されない。したがって、左パネル12aの上部と下部の合計120ピクセル(約11%)は、表示した画像がユーザに見えない領域であり、言わば無駄な領域になる。
【0021】
HMD10の製造過程における組立誤差を低減するために、工場におけるHMD10の製造機器等を厳密に調整することが考えられるが、これには多大な時間や費用が掛かる。そこで、HMD10の製造後に、HMD10の組立誤差(左レンズ14aと右レンズ14bのズレ等)を計測する。そして組立誤差の計測値の分、左目用画像における各種オブジェクト(「描画対象」とも呼ぶ。)の描画位置と、右目用画像における各種オブジェクトの描画位置とをずらす処理(「組立誤差吸収処理」とも呼ぶ。)が実行されることがある。
【0022】
図4は、組立誤差吸収処理の一例を模式的に示す。同図のHMD10では、組立誤差により左レンズ14aの位置が右レンズ14bの位置より上にずれている。この場合、画像生成装置(後述のPC30等)は、右パネル12bに表示する右目用画像における描画対象の描画位置が、左パネル12aの表示する左目用画像における描画対象の描画位置より上になるよう調整する。この結果、ユーザの目には、左目用画像と右目用画像の高さが一致して見え、正しい立体感をユーザに提供できる。この方法は、図3で示したパネル12の非視認領域を有効に活用したものである。
【0023】
ただし、上記の組立誤差吸収処理には以下の課題がある。
(1)煩雑な処理および負荷の増加:
HMDごとに異なる組立誤差の値を、描画処理を実行する上位層のソフトウェア(アプリケーション)へ伝達するという煩雑な処理が必要になる。また、当該アプリケーションは、組立誤差を吸収するように、左目用画像と右目用画像の描画位置をずらす処理が実装される必要があり、アプリケーションの開発コストが増大することがある。
【0024】
(2)転送する画像データのサイズが増加:
現在の計算機では、データの記憶およびデータの転送に要する電力が相対的に大きくなっており、消費電力の面で不利になる。例えば、画像生成装置(後述のPC30等)とHMD10との通信に必要な電力が増加する。このことは、HMD10を電池で動作させる場合に顕著な問題となる。
【0025】
このような課題を解決するため、実施例では、HMD10における表示系半導体または表示デバイスに、組立誤差を吸収する仕組みを導入する。図5は、実施例における組立誤差吸収処理を模式的に示す。実施例の画像生成装置(後述のPC30等)は、HMD10における組立誤差の有無にかかわらず、言い換えれば組立誤差を考慮することなく、レンズ14のサイズに対応するサイズの画像を生成する。この画像は、ユーザに提示する仮想空間の様子を示す画像であり、以下「元画像」とも呼ぶ。
【0026】
実施例における元画像16は、左目用元画像16aと右目用元画像16bを含む。左目用元画像16aは、左レンズ14aと同じサイズ(横960ピクセル×縦960ピクセル)であり、左パネル12aより小さい。同様に、右目用元画像16bは、右レンズ14bと同じサイズ(横960ピクセル×縦960ピクセル)であり、右パネル12bより小さい。左目用元画像16aと右目用元画像16bは、互いに視差が設けられているが、組立誤差に起因するズレを含まない。すなわち、左目用元画像16aと右目用元画像16bは、画像生成アプリケーションが決定した通常の位置に描画対象のオブジェクトが配置されたものである。
【0027】
第1実施例では、HMD10の信号変換機構(後述の画像出力部50)は、左パネル12aに対する左目用元画像16aの不足部分に固定画像20を付加した左目用表示画像18aを左パネル12aに表示させる。同様に、HMD10は、右パネル12bに対する右目用元画像16bの不足部分に固定画像20を付加した右目用表示画像18bを右パネル12bに表示させる。固定画像20は、左目用元画像16aの内容に非依存の内容であり、右目用元画像16bの内容にも非依存の内容である。実施例の固定画像20は、黒一色等、固定画素値の画像である。左目用表示画像18aと右目用表示画像18bを総称する場合、「表示画像18」と呼ぶ。
【0028】
また、第1実施例では、左パネル12aにおける左目用元画像16aの表示開始位置と、右パネル12bにおける右目用元画像16bの表示開始位置とを独立して設定可能であり、これにより、HMD10の組立誤差を吸収する。このような構成により、HMD10の組立誤差の吸収処理をHMD10のみで実現できる。画像生成装置は、ユーザに視認される範囲の元画像16を生成すればよく、画像生成に係る処理の煩雑さを低減することができる。また、画像生成装置とHMD10との通信量を低減することができる。
【0029】
図6は、第1実施例のエンタテインメントシステム100の構成を示す。エンタテインメントシステム100は、画像を生成する情報処理装置であるPC30と、画像を表示する情報処理装置であるHMD10を備える情報処理システムである。PC30とHMD10は、HDMI(High-Definition Multimedia Interface)(登録商標)により接続されてもよい。なお、エンタテインメントシステム100は、PC40に代えて、ゲーム装置、スマートフォン、タブレット端末等を備える構成であってもよい。
【0030】
図6は、PC30の機能ブロックを示すブロック図を含む。PC30は、画像生成部32と送信部34を備える。本明細書のブロック図で示す各ブロックは、ハードウェア的にはコンピュータのCPUやメモリをはじめとする素子や電子回路、機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者に理解されるところである。
【0031】
PC30のストレージは、画像生成部32および送信部34に対応する複数のモジュールを含むコンピュータプログラム(例えばVR(Virtual Reality)ゲーム等の画像生成アプリケーション)を記憶してもよい。PC30のCPUまたはGPUは、そのコンピュータプログラムをメインメモリへ読み出して実行することにより、画像生成部32および送信部34の機能を発揮してもよい。
【0032】
画像生成部32は、ゲームの進行状況等に応じて、ユーザに提示すべき仮想空間の様子を示す元画像16を生成する。具体的には、画像生成部32は、HMD10の左パネル12aに表示される左目用元画像16aと、HMD10の右パネル12bに表示される右目用元画像16bを生成する。
【0033】
図5に関連して説明したように、画像生成部32は、左レンズ14aのサイズに対応するサイズの左目用元画像16aを生成し、右レンズ14bのサイズに対応するサイズの右目用元画像16bを生成する。実施例では、左レンズ14aのサイズと左目用元画像16aのサイズは同一とし、左レンズ14aのサイズと左目用元画像16aのサイズも同一とする。また、画像生成部32は、左目用元画像16aと右目用元画像16bの間に視差を設けるが、HMD10における組立誤差の有無にかかわらず、描画対象を通常の位置に描画する。例えば、図4のように、左レンズ14aと右レンズ14bが縦方向にずれている場合でも、図5に示すような縦方向にずれのない左目用元画像16aと右目用元画像16bを生成する。
【0034】
送信部34は、画像生成部32により生成された左目用元画像16aおよび右目用元画像16bをHMD10へ送信する。
【0035】
図6は、HMD10の機能ブロックを示すブロック図を含む。HMD10は、表示部40、画像記憶部44、開始位置記憶部46、画像取得部48、画像出力部50を備える。HMD10のストレージは、これら複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラム(例えば画像表示ソフトウェア)を記憶してもよい。HMD10のCPUまたはGPUは、そのコンピュータプログラムをメインメモリへ読み出して実行することにより、上記複数の機能ブロックの機能を発揮してもよい。なお、図6には示していないが、図1に示したように、HMD10はレンズ14も備える。
【0036】
表示部40は、パネル12とパネルコントローラ42を含む。実施例のパネル12は、横1920ピクセル×縦1080ピクセルの1枚のOLEDパネルである。パネル12におけるユーザから見て左側の横960ピクセル×縦1080ピクセルの範囲が左パネル12aとして機能し、ユーザから見て右側の横960ピクセル×縦1080ピクセルの範囲が右パネル12bとして機能する。変形例として、パネル12は、互いに独立した左パネル12aと右パネル12bとが一体化されたものでもよい。
【0037】
パネルコントローラ42は、画像出力部50から出力された信号にしたがって、パネル12内の表示素子を駆動し、パネル12に表示画像18を表示させる。パネルコントローラ42は、左パネル12aに左目用表示画像18aを表示させ、右パネル12bに右目用表示画像18bを表示させる。
【0038】
画像記憶部44は、PC30から送信された元画像16のデータを一時的に記憶する記憶領域である。画像記憶部44は、予め定められた固定画像20のデータ(例えば固定画像20の画素値)をさらに記憶する。開始位置記憶部46は、左パネル12aにおける左目用元画像16aの表示開始位置と、右パネル12bにおける右目用元画像16bの表示開始位置とを永続的に記憶する不揮発性メモリである。
【0039】
表示開始位置は、元画像の表示を開始すべき縦方向の座標値であってもよく、また、パネルの上端からの距離(ライン数)を指定するデータであってもよい。左目用元画像16aの表示開始位置は、左目用元画像16aが左レンズ14aによりカバーされる範囲に収まるように決定される。右目用元画像16bの表示開始位置は、右目用元画像16bが右レンズ14bによりカバーされる範囲に収まるように決定される。また、左目用元画像16aの表示開始位置と、右目用元画像16bの表示開始位置は、HMD10の組立誤差を反映した値になる。以下詳細に説明する。
【0040】
HMD10の製造後、左レンズ14aと右レンズ14bの組立誤差(例えば縦方向のずれの大きさ)が計測され、その計測値に基づいて、左目用元画像16aの表示開始位置と、右目用元画像16bの表示開始位置とが予め定められる。具体的には、左目用元画像16aの表示開始位置と、右目用元画像16bの表示開始位置は、組立誤差の計測値をパラメータとし、組立誤差を解消するための予め定められた規則にしたがって決定される。この規則は、開発者の知見や、エンタテインメントシステム100を用いた実験等により定められてよい。
【0041】
左目用元画像16aの表示開始位置と、右目用元画像16bの表示開始位置は、組立誤差に応じて、異なる値が設定されうる。図4および図5に関連して一部既述したように、左レンズ14aの位置が右レンズ14bの位置より上にずれている場合、右目用元画像16bの表示開始位置が左目用元画像16aの表示開始位置より上になるよう定められてもよい。例えば、左目用元画像16aの表示開始位置が上端から120ライン目に設定され、右目用元画像16bの表示開始位置が上端から0ライン目(すなわち上端から表示)に設定されてもよい。
【0042】
なお、左パネル12aと右パネル12bが独立したパネルである場合、左パネル12aと右パネル12bの組立誤差(例えば縦方向のずれの大きさ)も計測されてよい。そして、左レンズ14aと右レンズ14bの組立誤差の計測値と、左パネル12aと右パネル12bの組立誤差の計測値の少なくとも一方に応じて、左パネル12aにおける左目用元画像16aの表示開始位置と、右パネル12bにおける右目用元画像16bの表示開始位置とが定められてもよい。
【0043】
画像取得部48は、PC30から送信された左目用元画像16aおよび右目用元画像16bのデータを受け付ける。画像取得部48は、受け付けた左目用元画像16aおよび右目用元画像16bのデータを画像記憶部44に格納する。
【0044】
画像出力部50と表示部40(パネルコントローラ42)は、MIPI(Mobile Industry Processor Interface)により接続されてもよい。画像出力部50は、表示画像18の内容を示す信号(例えばMIPI信号)をパネルコントローラ42へ出力することにより、パネルコントローラ42を介して、パネル12に表示画像18を表示させる。以下、この処理を単に、パネル12に画像を表示させると表現する。第1実施例では、画像出力部50は、パネル12における表示画像18の表示を制御する制御部として機能する。
【0045】
具体的には、画像出力部50は、左パネル12aについて、開始位置記憶部46に記憶された左目用元画像16aの表示開始位置から、画像記憶部44に記憶された左目用元画像16aを表示させる。また、画像出力部50は、右パネル12bについて、開始位置記憶部46に記憶された右目用元画像16bの表示開始位置から、画像記憶部44に記憶された右目用元画像16bを表示させる。
【0046】
また、画像出力部50は、左目用元画像16aを未表示の左パネル12aの領域に固定画像20を表示させる。また、画像出力部50は、右目用元画像16bを未表示の右パネル12bの領域に固定画像20を表示させる。これにより、図5に示したような左目用表示画像18aと右目用表示画像18bを表示させる。
【0047】
第1実施例では、PC30の送信部34は、元画像16のデータを1ライン(走査線)ごとに順次HMD10へ送信する。画像記憶部44には、元画像16のデータが1ラインごとに蓄積される。まず、左パネル12aに左目用表示画像18aを表示させる処理を説明する。画像出力部50は、左目用表示画像18aの出力タイミングになった場合、開始位置記憶部46に記憶された左目用元画像16aの表示開始位置に達するまでは、画像記憶部44に記憶された固定画像20のデータを1ラインずつスキャンアウトし(すなわちパネルコントローラ42へ出力し)、固定画像20を左パネル12aに表示させる。
【0048】
画像出力部50は、開始位置記憶部46に記憶された左目用元画像16aの表示開始位置に達すると、画像記憶部44に記憶された左目用元画像16aのデータを1ラインずつスキャンアウトし、左目用元画像16aを左パネル12aに表示させる。画像記憶部44に記憶された左目用元画像16aのデータのスキャンアウトが完了し、かつ、左パネル12aに画像未表示の領域が残る場合、画像出力部50は、固定画像20のデータを1ラインずつスキャンアウトし、左パネル12aの下端まで固定画像20を表示させる。
【0049】
右パネル12bに右目用表示画像18bを表示させる処理も、左パネル12aに左目用表示画像18aを表示させる処理と同様である。画像出力部50は、左パネル12aに左目用表示画像18aを表示させる処理と、右パネル12bに右目用表示画像18bを表示させる処理を並行して実行してもよい。
【0050】
第1実施例のPC30は汎用のPCであってもよく、また、HMD10の表示部40は、汎用の表示デバイスであってもよい。第1実施例のエンタテインメントシステム100によると、HMD10の組立て誤差を吸収する処理が実装されていない汎用PC(言い換えれば汎用の画像生成アプリケーション)が使用される場合でも、組立誤差が吸収された、目を疲れさせない映像をユーザに提示できる。また、PC30により生成される画像のデータ量が削減されるため、PC30とHMD10との通信量が削減でき、また、HMD10の画像記憶部44のサイズも削減できる。これにより、エンタテインメントシステム100における消費電力も低減することができる。なお、画像のデータ量削減は、HMD10の組立て誤差の有無にかかわらず奏する効果である。
【0051】
(第2実施例)
図7は、第2実施例のエンタテインメントシステム100の構成を示す。第2実施例のエンタテインメントシステム100は、HMD10が元画像16を生成する点で第1実施例と異なる。第2実施例のエンタテインメントシステム100の構成要素のうち、第1実施例のエンタテインメントシステム100の構成要素と同一または対応するものには、第1実施例と同じ符号を付している。また、第1実施例で説明した内容は、再度の説明を適宜省略する。
【0052】
第2実施例のHMD10は、第1実施例(図6)の画像取得部48に代えて画像生成部52を備えるが、他の機能ブロックは第1実施例と同様である。画像生成部52は、第1実施例におけるPC30の画像生成部32に対応し、ゲーム等の進行に応じて、仮想空間の様子を示す元画像16を生成する。具体的には、画像生成部52は、左レンズ14aのサイズに対応するサイズの左目用元画像16aを生成し、右レンズ14bのサイズに対応するサイズの右目用元画像16bを生成する。また、画像生成部32は、左目用元画像16aと右目用元画像16bの間に視差を設けるが、各画像における描画対象を、HMD10における組立誤差を考慮しない通常の位置に描画する。
【0053】
画像生成部52は、生成した左目用元画像16aおよび右目用元画像16bを画像記憶部44に格納する。以降、第1実施例と同様に、画像出力部50は、左パネル12aについて、開始位置記憶部46に記憶された左目用元画像16aの表示開始位置から、画像記憶部44に記憶された左目用元画像16aを表示させる。また、画像出力部50は、右パネル12bについて、開始位置記憶部46に記憶された右目用元画像16bの表示開始位置から、画像記憶部44に記憶された右目用元画像16bを表示させる。
【0054】
第2実施例では、画像生成部52は汎用のGPUにより実現されてもよく、表示部40は汎用の表示デバイスにより実現されてもよい。また、画像生成部52と画像出力部50は、SoC54(System on a Chip)上に実装される。例えば、SoC54が、VRゲーム等の画像生成アプリケーションを実行することにより、画像生成部52と画像出力部50の機能を発揮してもよい。
【0055】
第2実施例のエンタテインメントシステム100も、第1実施例と同様の効果を奏する。すなわち、HMD10の組立て誤差を吸収する処理が実装されていない画像生成アプリケーションが使用される場合も、組立誤差が吸収された、目が疲れにくい映像をユーザに提供できる。また、画像生成部52により生成される画像のデータ量が削減されるため、画像記憶部44のサイズを削減できる。
【0056】
(第3実施例)
第3実施例のHMD10は、映像の表示開始位置を指定可能なレジスタを有する表示デバイス(表示部40)を備える。また、第3実施例のHMD10は、不揮発性メモリに予め記録された表示開始位置を上記のレジスタに設定する機構を有する。第3実施例のエンタテインメントシステム100の構成要素のうち、第1実施例のエンタテインメントシステム100の構成要素と同一または対応するものには、第1実施例と同じ符号を付している。第1実施例で説明した内容は、再度の説明を適宜省略する。
【0057】
図8は、第3実施例のエンタテインメントシステム100の構成を示す。第3実施例のPC30の構成は、第1実施例と同様である。第3実施例のHMD10はレジスタ更新部58をさらに備え、HMD10の表示部40はレジスタ56をさらに備える。レジスタ56は、左パネル12aにおける左目用元画像16aの表示開始位置と、右パネル12bにおける右目用元画像16bの表示開始位置を記憶する。
【0058】
レジスタ更新部58は、所定のタイミングにおいて、開始位置記憶部46に記憶された左目用元画像16aの表示開始位置と、右目用元画像16bの表示開始位置とを読み出し、レジスタ56に格納する。所定のタイミングは、例えば、HMD10の起動時でもよく、HMD10において画像の表示を開始する時点であってもよい。
【0059】
第3実施例の画像出力部50は、HMD10における組立誤差に関わらず、画像記憶部44に記憶された左目用元画像16aのデータを1ラインずつスキャンアウトする。言い換えれば、画像出力部50は、固定画像20をスキャンアウトすることなく、画像記憶部44に記憶された左目用元画像16aのデータのみをライン単位で順次パネルコントローラ42へ出力する。同様に、画像出力部50は、HMD10における組立誤差に関わらず、画像記憶部44に記憶された右目用元画像16bのデータを1ラインずつスキャンアウトする。
【0060】
第3実施例では、パネルコントローラ42は、パネル12における表示画像18の表示を制御する制御部として機能する。すなわち、パネルコントローラ42は、左パネル12aについて、レジスタ56に記憶された左目用元画像16aの表示開始位置から、画像出力部50から出力された左目用元画像16aを表示させる。また、画像出力部50は、右パネル12bについて、レジスタ56に記憶された右目用元画像16bの表示開始位置から、画像出力部50から出力された右目用元画像16bを表示させる。
【0061】
具体的には、パネルコントローラ42は、左パネル12aを構成する表示素子(例えばOLED)のうち、左目用元画像16aを表示させるべき領域内の表示素子を駆動することにより、左パネル12aに左目用元画像16aを表示させる。例えば、パネルコントローラ42は、レジスタ56に記憶された左パネル12aにおける左目用元画像16aの表示開始位置(特定のライン)から、画像出力部50からの出力信号(左目用元画像16aのデータ)にしたがって表示素子を駆動することを開始する。
【0062】
一方、パネルコントローラ42は、左パネル12aを構成する表示素子のうち、左目用元画像16aを表示させるべき領域外の表示素子の駆動を抑制し、言い換えれば、表示素子の駆動の制御をスキップする。例えば、パネルコントローラ42は、左パネル12aの上端から、レジスタ56に記憶された左目用元画像16aの表示開始位置(特定のライン)までの領域における表示素子を駆動しない。また、パネルコントローラ42は、画像出力部50から1枚の左目用元画像16aの出力が終了した場合に、左パネル12aに未制御のラインが残っていても、その未制御のラインを構成する表示素子の駆動を抑制する。
【0063】
同様に、パネルコントローラ42は、右パネル12bを構成する表示素子(例えばOLED)のうち、右目用元画像16bを表示させるべき領域内の表示素子を駆動することにより、右パネル12bに右目用元画像16bを表示させる。一方、パネルコントローラ42は、右パネル12bを構成する表示素子のうち、右目用元画像16bを表示させるべき領域外の表示素子の駆動を抑制する。
【0064】
これにより、左パネル12aにおける左目用元画像16aを表示させるべき領域の外にはデフォルトの色が表示される。また、右パネル12bにおける右目用元画像16bを表示させるべき領域の外にもデフォルトの色が表示される。デフォルトの色は、パネル12の種類により異なるが、OLEDの場合は黒である。したがって、第3実施例においても、第1実施例と実質的に同じ表示画像18(例えば図5)をパネル12に表示させることができる。
【0065】
第3実施例のPC30は汎用のPCであってもよく、また、HMD10の画像出力部50も汎用の信号変換機構であってもよい。第3実施例のエンタテインメントシステム100においても、第1実施例のエンタテインメントシステム100と同様の効果を奏する。また、第1実施例および第2実施例とは異なり、第3実施例では、固定画像20をスキャンアウトしないため、固定画像20のスキャンアウト中に元画像16を蓄積することが不要になり、画像記憶部44の容量を低減することができる。
【0066】
以上、本発明を第1実施例から第3実施例をもとに説明した。各実施例は例示であり、それらの構成要素や処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0067】
第1変形例を説明する。第3実施例の変形例として、第2実施例と同様に、HMD10が元画像16を生成してもよい。この場合、HMD10は、第3実施例の構成(図8)から、画像取得部48に代えて画像生成部52を備えてもよい。この変形例では、HMD10の画像生成部52は、汎用的なGPUにより実現されてもよく、また、HMD10の画像出力部50も汎用的な信号変換機構により実現されてもよい。この変形例の構成でも、第3実施例のエンタテインメントシステム100と同様の効果を奏する。
【0068】
第2変形例を説明する。上記の実施例および変形例に記載の技術は、ピクセル数単位のずれを補正することに特に好適である。そこで、組立誤差に伴うピクセル数単位のズレを、いずれかの実施例または変形例に記載の技術を用いて補正する一方、サブピクセル単位のズレ(言い換えれば1ピクセル未満のズレ)を別のシステム(公知の方法でよい)により補正するという組み合わせも可能である。
【0069】
第3変形例を説明する。上記の実施例および変形例に記載の技術は、組立誤差以外の要因による表示位置調整にも適用可能である。例えば、画像生成部32または画像生成部52が元画像16を生成後に、HMD10が動いた量に応じて、元画像16の表示位置を微調整する場合に適用可能である。また、組立誤差を吸収するための調整と、HMD10が動いた量に応じた調整とを組み合わせることも可能である。
【0070】
第4変形例を説明する。第1実施例の説明において、元画像16として矩形の画像を例示したが(図5)、元画像16は、レンズ14と同じ形状であってもよく、すなわち円形であってもよい。
【0071】
なお、上記の実施例では、左パネル12aのサイズはレンズ14aより大きく、右パネル12bのサイズは右レンズ14bより大きいこととしたが、レンズ14(例えば円形)がパネル12(例えば矩形)の内側に完全に含まれる必要はない。例えば、縦方向のサイズと横方向のサイズの一方はレンズ14が大きく、他方はパネル12が大きくてもよい。上記の実施例および変形例に記載の技術は、左パネル12aが左レンズ14aのサイズより大きい部分を有し、右パネル12bが右レンズ14bのサイズより大きい部分を有する場合に広く適用可能である。言い換えれば、上記の実施例および変形例に記載の技術は、左パネル12a(または右パネル12b)の一部の領域が、左レンズ14a(または右レンズ14b)を通したユーザの視野の範囲外となる場合に広く適用可能である。この構成においても、上記の実施例および変形例と同様の効果を奏する。例えば、HMD10は、縦9×横8の左パネル12a(または右パネル12b)に、直径8.5の左レンズ14a(または右レンズ14b)を組み合わせたものであってもよい。すなわち、横方向のサイズは左レンズ14a(または右レンズ14b)の方が大きく、縦方向のサイズは左パネル12a(または右パネル12b)の方が大きい場合でも、上記の実施例および変形例に記載の技術は好適である。
【0072】
上述した実施の形態および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。例えば、請求項に記載の制御部は、上述の実施例または変形例に記載の画像出力部50とパネルコントローラ42の一方により実現されてもよく、画像出力部50とパネルコントローラ42とが連携することにより実現されてもよい。
【符号の説明】
【0073】
10 HMD、 12 パネル、 14 レンズ、 30 PC、 32 画像生成部、 42 パネルコントローラ、 46 開始位置記憶部、 50 画像出力部、 100 エンタテインメントシステム。
【産業上の利用可能性】
【0074】
本開示に記載の技術は、ヘッドマウントディスプレイに利用可能である。
図1
図2
図3
図4
図5
図6
図7
図8