(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-27
(45)【発行日】2024-10-07
(54)【発明の名称】表示制御装置、ヘッドマウントディスプレイ、および画像表示方法
(51)【国際特許分類】
G09G 5/02 20060101AFI20240930BHJP
G09G 5/00 20060101ALI20240930BHJP
H04N 9/30 20060101ALI20240930BHJP
H04N 5/64 20060101ALI20240930BHJP
【FI】
G09G5/02 B
G09G5/00 X
G09G5/00 550X
G09G5/00 550C
H04N9/30
H04N5/64 511A
(21)【出願番号】P 2020002299
(22)【出願日】2020-01-09
【審査請求日】2022-12-13
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100105924
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【氏名又は名称】三木 友由
(74)【代理人】
【識別番号】100134256
【氏名又は名称】青木 武司
(72)【発明者】
【氏名】池上 渉一
【審査官】西島 篤宏
(56)【参考文献】
【文献】特開2004-282599(JP,A)
【文献】特開2015-192419(JP,A)
【文献】特開平09-271036(JP,A)
【文献】特開2016-075764(JP,A)
【文献】特開2003-241732(JP,A)
【文献】米国特許出願公開第2018/0139429(US,A1)
【文献】国際公開第2019/046215(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 5/00 - G09G 5/42
H04N 9/30
H04N 5/64
G02B 27/02
(57)【特許請求の範囲】
【請求項1】
表示パネルへ出力する画像のデータを制御する表示制御装置であって、
前記表示パネルの色域に係る測定値を格納する色域情報記憶部と、
基準の表示パネルの色域に係る情報を取得する基準情報取得部と、
前記基準の表示パネルで表示される色が表示されるよう、前記画像の画素値を前記測定値に基づき調整する色調整部と、
画素値が調整された画像のデータを出力する出力部と、
を備え、
前記色域情報記憶部は、前記表示パネルに所定の色を表示させたときの、当該表示パネルの前面に配置された接眼レンズを介して測定された色度の値を、前記色域に係る測定値として格納することを特徴とする表示制御装置。
【請求項2】
前記色調整部は、前記画像の画素値が表す色を、表示装置に依存しない表色系で表したうえ、それを出力先の表示パネルで表すときの画素値に変換することを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記基準情報取得部は、複数の表示パネルの前記色域に係る測定値に基づき決定された色域に係る情報を、前記基準の表示パネルの色域に係る情報として取得することを特徴とする請求項1または2に記載の表示制御装置。
【請求項4】
前記基準情報取得部は、出荷された表示パネルのうち色域が最も狭い表示パネルの色域に係る情報を、
前記基準の表示パネルの色域に係る情報として取得することを特徴とする請求項1または2に記載の表示制御装置。
【請求項5】
前記色域情報記憶部は、前記表示パネルの複数箇所における
色度の測定値から得られた値を、前記
測定された色度の値として格納することを特徴とする請求項
1から4
のいずれかに記載の表示制御装置。
【請求項6】
前記色域情報記憶部は、前記表示パネルの色ムラを軽減させる制御を介して
前記所定の色を表示さ
せたときの、前記
測定された色度の値を格納することを特徴とする請求項
1から5のいずれかに記載の表示制御装置。
【請求項7】
請求項1から
6のいずれかに記載の表示制御装置と、
前記表示制御装置によりデータ制御された画像を表示する表示パネルと、
を備えたヘッドマウントディスプレイ。
【請求項8】
表示パネルへ出力する画像のデータを制御する表示制御装置が、
メモリに格納された、前記表示パネルの色域に係る測定値を読み出すステップと、
基準の表示パネルの色域に係る情報を取得するステップと、
前記基準の表示パネルで表示される色が表示されるよう、前記画像の画素値を前記測定値に基づき調整するステップと、
画素値が調整された画像のデータを出力するステップと、
を含み、
前記読み出すステップは、前記表示パネルに所定の色を表示させたときの、当該表示パネルの前面に配置された接眼レンズを介して測定された色度の値を、前記色域に係る測定値として読み出すことを特徴とする画像表示方法。
【請求項9】
表示パネルへ出力する画像のデータを制御するコンピュータに、
メモリに格納された、前記表示パネルの色域に係る測定値を読み出す機能と、
基準の表示パネルの色域に係る情報を取得する機能と、
前記基準の表示パネルで表示される色が表示されるよう、前記画像の画素値を前記測定値に基づき調整する機能と、
画素値が調整された画像のデータを出力する機能と、
を実現させ、
前記読み出す機能は、前記表示パネルに所定の色を表示させたときの、当該表示パネルの前面に配置された接眼レンズを介して測定された色度の値を、前記色域に係る測定値として読み出すことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示パネルに画像データを出力する表示制御装置、当該表示制御装置を含むヘッドマウントディスプレイ、および画像表示方法に関する。
【背景技術】
【0002】
従来、テレビジョン放送や配信動画などの映像表示において画質を向上させるための様々な技術が開発されてきた。近年では解像度や色域を向上させる技術に加え、輝度のレンジを拡大したHDR(High Dynamic Range)の信号を処理する技術が普及しつつある。従来のSDR(Standard Dynamic Range)と比較し、HDRは輝度の許容範囲が100倍程になるため、太陽光の反射光など実世界で眩しいと感じるような対象を、画像上でもよりリアルに表現することができる。テレビジョン放送や配信動画のみならず、ゲーム画像などコンピュータグラフィクスの世界でも、HDRで表現することによって仮想世界にリアリティを与えられる。
【0003】
一方、ヘッドマウントディスプレイを装着したユーザの頭部の動きを検出し、それに対応する視野で表示対象の空間を表すことにより、臨場感のある画像世界を表現できるシステムが普及している。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。ユーザがヘッドマウントディスプレイに表示された画像を観察することによって生じる眼精疲労を、表示画像の色温度を徐々に低下させることにより軽減させる技術も提案されている(例えば特許文献1参照。)
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来、表示装置が備える表示パネルは、製造段階での様々な要因によって性能に微妙な個体差、ロット差、世代差が存在する。そのため表示される画像の質や印象が表示装置に依存し、同じコンテンツを複数の表示装置により視聴したユーザが違和感を覚えたり、ユーザが保有する表示装置によって映像体験に不公平が生じたりし得る。上述のとおり解像度、色域、輝度レンジなどを向上させ、より精細で臨場感のある画像を表示させようとするほどそのような問題が顕在化しやすい。
【0006】
本発明はこうした課題に鑑みてなされたものであり、その目的は、表示パネルの個体差による表示画像への影響を抑える技術を提供することにある。
【課題を解決するための手段】
【0007】
本発明のある態様は表示制御装置に関する。この表示制御装置は、表示パネルへ出力する画像のデータを制御する表示制御装置であって、表示パネルの色域に係る測定値を格納する色域情報記憶部と、基準の表示パネルの色域に係る情報を取得する基準情報取得部と、基準の表示パネルで表示される色が表示されるよう、画像の画素値を測定値に基づき調整する色調整部と、画素値が調整された画像のデータを出力する出力部と、を備えたことを特徴とする。
【0008】
本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記表示制御装置と、当該表示制御装置によりデータ制御された画像を表示する表示パネルと、を備えたことを特徴とする。
【0009】
本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は、表示パネルへ出力する画像のデータを制御する表示制御装置が、メモリに格納された、表示パネルの色域に係る測定値を読み出すステップと、基準の表示パネルの色域に係る情報を取得するステップと、基準の表示パネルで表示される色が表示されるよう、画像の画素値を測定値に基づき調整するステップと、画素値が調整された画像のデータを出力するステップと、を含むことを特徴とする。
【0010】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0011】
本発明によると、表示パネルの個体差による表示画像への影響を抑えられる。
【図面の簡単な説明】
【0012】
【
図1】本実施の形態を適用できるヘッドマウントディスプレイの外観例を示す図である。
【
図2】本実施の形態を適用できるコンテンツ処理システムの構成例を示す図である。
【
図3】本実施の形態において表示制御に用いる基準値の概念を説明するための図である。
【
図4】本実施の形態におけるヘッドマウントディスプレイの内部回路構成を示す図である。
【
図5】本実施の形態におけるヘッドマウントディスプレイが内蔵する表示制御装置の機能ブロックの構成を示す図である。
【
図6】本実施の形態の輝度レンジ調整部によって調整される、輝度レンジの時間変化を例示する図である。
【
図7】本実施の形態の輝度レンジ調整部が表示画像の各画素の輝度を調整する手法の例を説明するための図である。
【
図8】本実施の形態において色調整部が色を調整する原理を説明するための図である。
【発明を実施するための形態】
【0013】
本実施の形態は、表示パネルが備える素子の発光によってユーザに視認される画像の輝度レンジおよび色の少なくともいずれかを、所定の基準あるいは当該基準で表示を行う表示パネルに合わせることを基本とする。その限りにおいて本実施の形態を適用できる表示装置の種類や表示方式は特に限定されず、一般的なテレビ受像器、各種モニター、携帯端末のディスプレイなどでもよいが、以後、ヘッドマウントディスプレイを例に説明する。
【0014】
図1は、本実施の形態を適用できるヘッドマウントディスプレイ100の外観例を示す。この例においてヘッドマウントディスプレイ100は、出力機構部102および装着機構部104で構成される。装着機構部104は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド106を含む。出力機構部102は、ヘッドマウントディスプレイ100をユーザが装着した状態において左右の目を覆うような形状の筐体108を含み、内部には装着時に目に正対するように表示パネルを備える。
【0015】
筐体108内部にはさらに、ヘッドマウントディスプレイ100の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。またヘッドマウントディスプレイ100はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ100は、加速度センサ、ジャイロセンサ、地磁気センサなどのモーションセンサを内蔵し、ヘッドマウントディスプレイ100を装着したユーザの頭部の姿勢や動きを計測する。
【0016】
ヘッドマウントディスプレイ100はさらに、筐体108の前面にステレオカメラ110を備え、ユーザの顔の向きに対応する視野で周囲の実空間を動画撮影する。ある態様においてヘッドマウントディスプレイ100は、ステレオカメラ110が撮影した動画像を即時表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるシースルーモードを提供する。ヘッドマウントディスプレイ100はさらに、ステレオカメラ110による撮影画像を解析することにより、ユーザの頭部の位置や姿勢を取得してもよい。モーションセンサの計測値や撮影画像から得た、ユーザ頭部の位置や姿勢の情報は、ヘッドマウントディスプレイ100に表示させる画像の視野を決定したり、表示世界における変化の内容を決定したりするのに用いることができる。
【0017】
本実施の形態のヘッドマウントディスプレイ100はさらに、ユーザがヘッドマウントディスプレイ100を装着したことを検出する装着センサ112を備える。装着センサ112は一般的な接触センサでよく、ユーザがヘッドマウントディスプレイ100を装着した状態で接触する箇所に設けることにより、ユーザによるヘッドマウントディスプレイ100の着脱を検出する。図ではユーザの額に接する位置に装着センサ112を1つ設けているが、装着センサ112の位置や数はそれに限定されない。
【0018】
図2は、本実施の形態を適用できるコンテンツ処理システムの構成例を示す。ヘッドマウントディスプレイ100は、無線通信またはUSB Type-Cなどの周辺機器を接続するインターフェースによりコンテンツ処理装置10に接続される。コンテンツ処理装置10は、インターネットなどのネットワーク6を介してサーバ8に接続可能に構成される。コンテンツ処理装置10はコンテンツを処理し、画像や音声のデータを生成してヘッドマウントディスプレイ100に送信する。
【0019】
例えばコンテンツ処理装置10は、ユーザが指定した電子ゲームをユーザ操作に応じて進捗させ、そのゲーム画面のデータを所定のレートで描画し出力する。あるいはコンテンツ処理装置10は、ネットワーク6を介してサーバ8からストリーミング転送された動画像を取得したり、記録媒体に格納された動画像のデータを読み出したりして、それを順次復号して出力してもよい。
【0020】
この際、コンテンツ処理装置10は、ヘッドマウントディスプレイ100の位置や姿勢の情報を所定のレートでヘッドマウントディスプレイ100から取得し、それに基づきユーザの視点の位置や視線の方向を特定したうえ、対応する視野で表示画像を生成、送信する。なおコンテンツ処理装置10の一部または全部の機能は、ヘッドマウントディスプレイ100の内部に搭載してもよい。
【0021】
サーバ8は基本的に、ゲームを実行するためのアプリケーションや動画像などのコンテンツデータをコンテンツ処理装置10に提供する。本実施の形態のサーバ8はさらに、ヘッドマウントディスプレイ100の表示パネルの制御に用いる基準値を提供する。つまりサーバ8は、サーバ8を介して接続される複数のコンテンツ処理装置10に共通の基準を与えることにより、それに接続されるヘッドマウントディスプレイ100の個体に依存することなく同様の輝度や色で画像が表示されるようにする。なお表示パネルの制御に用いる基準値を提供するサーバ8は、ゲームアプリケーションやコンテンツデータを提供するサーバと異なっていてもよい。
【0022】
図3は、本実施の形態において表示制御に用いる基準値の概念を説明するための図である。まずコンテンツの作成者は、自分が保有する表示装置を用いてコンテンツの画像における輝度や色味を決定し、例えば16ビット浮動小数で画素ごとに各原色(赤、緑、青)の輝度を表した画像30を生成する。当該画像のデータは、光-電気伝達関数(OETF:Optical-Electro Transfer Function)32を用いて量子化され、10ビットなどの電気信号として保存されたり送信されたりする。
【0023】
コンテンツ処理装置10を介して当該信号を受信したヘッドマウントディスプレイ100は、電気-光伝達関数(EOTF:Electro-Optical Transfer Function)により電気信号を逆量子化してリニア輝度34とする。続いてヘッドマウントディスプレイ100はトーンカーブ36を用いて、画像の輝度レンジを表示パネルが出力可能な輝度レンジに収めるトーンマッピングを行う。典型的にはトーンカーブ36は、人の視覚特性を考慮して、低輝度領域から高輝度側へ向かうほど階調を抑えるような変換を実現する。
【0024】
ヘッドマウントディスプレイ100は変換後の各原色の輝度の値を、さらに表示パネルの輝度特性に応じた関数で電圧に変換したうえ表示パネルを駆動させることにより画像を表示する。このように同じ変換処理を経て同じ電圧で表示パネルを駆動しても、実際に表示される画像40a、40b、40cは、それを表示するヘッドマウントディスプレイ100によって輝度や色味が異なることが考えられる。
【0025】
例えばコンテンツ作成者が用いた表示装置の最大輝度が500nitであるのに対し、画像40a、40b、40cを表示するエンドユーザのヘッドマウントディスプレイ100の最大輝度がそれぞれ505nit、488nit、493nitであれば、表示される画像は元の画像30より明るくなったり暗くなったりする。
【0026】
ここで「最大輝度」は、発光素子を最大限光らせたときの輝度であるピーク輝度でもよいし、画像の輝度分布などに応じてピーク輝度を低減させる方向に調整したときの最大の輝度でもよい。完全に仕様の異なる表示装置であれば、最大輝度の差はトーンカーブ36やその後の電圧変換処理において補正対象となるが、製造時の個体差などは仕様には表れないため補正の範囲外となりやすい。
【0027】
また同じ電圧を印加しても原色の輝度のバランスが表示パネルによって異なれば、表示される色も変化する。例えばコンテンツ作成者の表示装置において、元の画像30の画素値(R,G,B)が設定される。それに対応する同じ電圧で、エンドユーザのヘッドマウントディスプレイ100の表示パネルを駆動させても、それぞれの画像40a、40b、40cにおける同じ画素の色に差が生じ得る。この場合も、従来の輝度変換の手順ではその差が補正されることは少ない。
【0028】
そこで本実施の形態では、最大輝度などの輝度特性および色域に基準を設け、複数のヘッドマウントディスプレイ100があたかも当該最大輝度や色域の特性を有しているように見せる。具体的には、各ヘッドマウントディスプレイ100の輝度特性および色域を実測し、基準との差を解消するように表示画像の画素値(各原色の輝度)を変換する。これにより、複数のヘッドマウントディスプレイ100において、輝度レンジおよび色調が同一の画像を表示できる。なお輝度レンジの調整と色の調整はどちらか一方を行ってもよいし、双方を行ってもよい。
【0029】
図4はヘッドマウントディスプレイ100の内部回路構成を示している。ヘッドマウントディスプレイ100は、CPU50、メインメモリ52、表示部54、音声出力部56、通信部62、モーションセンサ64、撮像部66、タイマー68、および装着センサ112を含む。これらの各部はバス58を介して相互に接続されている。CPU50は、バス58を介してヘッドマウントディスプレイ100の各部から取得した情報を処理し、出力データを表示部54、音声出力部56に供給する。メインメモリ52はCPU50における処理に必要なプログラムやデータを格納する。
【0030】
表示部54は、液晶パネルや有機ELパネルなどの表示パネルとその駆動機構で構成され、ヘッドマウントディスプレイ100を装着したユーザの眼前に画像を表示する。左右の目に対応する領域に一対の視差画像を表示することにより立体視を実現してもよい。音声出力部56は、ヘッドマウントディスプレイ100の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンとその制御機構で構成され、ユーザに音声を聞かせる。
【0031】
通信部62は、コンテンツ処理装置10と通信を確立し、必要なデータを送受する。モーションセンサ64は、加速度センサ、ジャイロセンサ、地磁気センサなどの少なくともいずれかで構成され、ヘッドマウントディスプレイ100の3次元空間での姿勢や動きを計測する。撮像部66はステレオカメラ110で構成され、実空間を所定のレートで撮影し、適宜補正処理を施すことにより撮影画像を出力する。タイマー68は、輝度レンジの調整において調整開始からの経過時間を計測する。装着センサ112は上述のとおり、ユーザによるヘッドマウントディスプレイ100の着脱を検出する。
【0032】
図5は、ヘッドマウントディスプレイ100が内蔵する表示制御装置70の機能ブロックの構成を示している。
図5に示す各機能ブロックは、ハードウェア的には、
図4に示したCPU50やメインメモリ52、各機構の制御回路などで実現でき、ソフトウェア的には、記録媒体などからメインメモリ52にロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【0033】
表示制御装置70は、画像のデータを取得する画像データ取得部72、画素値を輝度に変換する輝度取得部74、最大輝度および色域の基準情報を取得する基準情報取得部76、基準に合った画像が表示されるように画素値を調整する出力調整部78、および調整後の画像データを出力する出力部80を含む。画像データ取得部72は、通信部62を介してコンテンツ処理装置10から画像のデータを取得する。このデータは上述のとおり、元の画像の各画素が表す3原色の輝度を、OETFにより量子化したものである。
【0034】
輝度取得部74は、画像データ取得部72が取得した画像の画素値を、EOTFにより輝度に変換する。基準情報取得部76は、輝度特性および色域の少なくともいずれかの基準値を取得する。なお以後の説明では輝度特性として最大輝度を用いる場合を例示するが、輝度レンジ調整の根拠となるパラメータであれば最大輝度に限らず、例えば中間の輝度範囲を含め輝度の設定値と発光輝度の測定値の関係を表すテーブルやトーンカーブなどでもよい。
【0035】
最大輝度の基準値を取得する場合、基準情報取得部76は、例えば基準となる表示パネルに最大電圧を印加したときに得られる輝度の測定値を取得する。ここで「基準となる表示パネル」とは例えば次のようなものである。
1.それまでに出荷された製品のうち最大輝度の測定値が最も低かった表示パネル
2.コンテンツ作成者がコンテンツの作成において用いた表示パネル
【0036】
上記1を採用することにより、表示輝度を落とす方向で、複数のヘッドマウントディスプレイ100の輝度レンジを容易に一致させることができる。上記2を採用することにより、コンテンツ作成者が意図した画像を複数のヘッドマウントディスプレイ100で同様に表示できる。なお上記1と2は必ずしも排他条件ではない。すなわち本実施の形態による輝度レンジの調整を、最大輝度が最も低かった表示パネルに合うように実施する表示装置を、コンテンツ作成者が用いるようにすれば、上記1と2が同じ基準となる。
【0037】
また特定の表示パネルを基準とするのでなく、数値的に最大輝度を設定してもよい。例えば基準情報取得部76は、それまでに出荷された表示パネルの最大輝度の平均値や中央値を基準値として取得してもよい。色域の基準値を取得する場合、輝度取得部74は、例えば基準となる表示パネルに3原色および基準白色をそれぞれ表示させたときの色度の測定値を取得する。
【0038】
この場合の「基準となる表示パネル」とは例えば次のようなものである。
1.それまでに出荷された製品のうち色域が最も狭かった表示パネル
2.コンテンツ作成者がコンテンツの作成において用いた表示パネル
この場合も最大輝度と同様、1と2が同一基準となるようにしてもよい。あるいは基準値を数値的に設定してもよい。
【0039】
上述のとおり基準情報取得部76は、最大輝度と色域の基準値の双方を取得してもよい。基準情報取得部76は基本的に、当該基準値を内部のメモリに格納しておく。ただしその後も表示パネルは製造され続け、場合によっては機能のマイナーチェンジや世代移行などがなされた結果、基準値が変化することが考えられる。またコンテンツ作成者がコンテンツの作成に用いる表示パネルを変えることもある。
【0040】
そのため基準情報取得部76は、通信部62、ネットワーク6を介してサーバ8から最新の基準値を随時取得し、メモリの内容を更新する。コンテンツによって基準値が異なる場合、基準情報取得部76はコンテンツに対応づけて基準値をメモリに格納する。基準情報取得部76は、取得した基準値の最新情報を出力調整部78に供給する。コンテンツごとに基準値が異なる場合は、処理対象のコンテンツに対応づけられた基準値を供給する。
【0041】
出力調整部78は、基準情報取得部76から供給された基準値と、画像出力先の表示パネルについて測定された、対応するパラメータとに基づき、表示画像の画素値である3原色の輝度を調整する。詳細には出力調整部78は、画像の輝度レンジを調整する輝度レンジ調整部82、表示パネルの最大輝度の測定値を格納する輝度情報記憶部86、画像の色を調整する色調整部84、表示パネルの色域の測定値を格納する色域情報記憶部88を含む。
【0042】
輝度情報記憶部86は、表示パネルあるいはヘッドマウントディスプレイの出荷時などに輝度計により測定された、表示パネルの最大輝度を格納する。上述のとおり最大輝度はピーク輝度でもよいしそれを調整した輝度でもよいが、基準情報取得部76が取得する最大輝度と同じパラメータとする。輝度レンジ調整部82は、輝度情報記憶部86から表示先のパネルの最大輝度の測定値を読み出し、基準値との差を解消するよう、表示画像の輝度レンジを調整する。
【0043】
すなわち輝度レンジ調整部82は、基準の表示パネルの輝度レンジで表示されるよう、表示画像の輝度レンジを測定値に基づき変化させる。最も単純には、最大輝度の基準値に対する測定値の割合を、全ての画素値に乗算することにより画像全体の輝度を同じ割合で調整する。あるいは最大輝度の基準値が表示パネルの測定値より低いとき、基準値より大きい輝度についてのみ基準値まで低下させる調整を行ってもよい。あるいはトーンマッピング後の輝度の最大値が基準値となるようにトーンカーブを変化させてもよい。
【0044】
ここで輝度レンジ調整部82は、人の視覚の明暗順応を利用して、輝度の調整をユーザに気づかれないようにしてもよい。明暗順応とは、眼球への入射光の強度の急激な変化によって見えにくくなった物が、網膜の感度調節により徐々に適切に見えるようになる生理的反応をいう。輝度レンジ調整部82は、眼球への入射光の強度の変化が所定の基準を超えたタイミングで輝度レンジの調整を開始し、順応が完了する前、すなわち視力が低下している期間に徐々に輝度レンジを変化させる。
【0045】
これにより、輝度レンジの調整が必要ない期間においてはヘッドマウントディスプレイ100が本来有する性能を最大限発揮した画像を視認させたうえ、必要に応じて調整を加えてもユーザには気づかれにくい。途中で調整を解除する場合も同様である。ヘッドマウントディスプレイの場合、ユーザがそれを装着した時点で周囲の光は遮蔽されるため、結果として眼球への入射光強度に比較的大きな変化が生じる。
【0046】
例えば基準の最大輝度が小さい場合、ユーザがヘッドマウントディスプレイ100を装着した時点では本来の広い輝度レンジで画像を表させ、その直後から徐々に輝度レンジを縮小することで、ヘッドマウントディスプレイ100の性能が貧弱であるような誤解を与えないようにできる。この場合、輝度レンジ調整部82は、ユーザがヘッドマウントディスプレイ100を装着したタイミングを装着センサ112から取得し、そのタイミングからの経過時間をタイマー68から取得することにより、単位時間あたり所定の変化量で輝度レンジを徐々に変化させる。
【0047】
また輝度レンジ調整部82は、コンテンツのシーンによって輝度レンジを調整するか否かを切り替えてもよい。例えば高精細で厳密に作成されたシーンや、高周波数成分が少なく輝度レンジの差が視認されやすいシーンについては、輝度レンジ調整部82は表示画像の輝度レンジを基準値に合うように調整する。あるいは輝度レンジ調整部82は、図示しない入力装置を介したモード切り替え操作をユーザより受け付け、調整モードか否かによって輝度レンジを調整するか否かを切り替えてもよい。
【0048】
これらの場合においても輝度レンジ調整部82は、眼球への入射光の強度が大きく変換した時点から輝度レンジを徐々に調整することにより、変化を認識されにくくしてもよい。例えば輝度レンジ調整部82は、暗いシーンと明るいシーンの切り替わりを検出し、その直後から輝度レンジの調整を開始する。すなわちシーンの切り替わりからの経過時間をタイマー68から取得することにより、単位時間あたり所定の変化量で輝度レンジを徐々に変化させる。外光を遮蔽する形式のヘッドマウントディスプレイ100の場合、眼球への入射光は表示される画像に依存するため、視力低下のタイミングを捉えた輝度レンジの調整が容易かつ効率的に行える。
【0049】
色調整部84は、色域情報記憶部88から表示先のパネルの色域に係る測定値を読み出し、基準の色域との差による色の変化が解消されるように、表示画像の画素値、すなわち3原色の輝度を調整する。すなわち色調整部84は、基準の表示パネルで表示される色が表示されるよう、表示画像の画素値を測定値に基づき調整する。具体的には色調整部84はまず、3原色の輝度(R,G,B)の値を、XYZ表色系での値(X,Y,Z)に変換する。XYZ表色系は表示装置によらない絶対的な色を表す。そして色調整部84は、当該(X,Y,Z)の色を表すための、表示先のパネルでの3原色の輝度(R,G,B)を求める。画素値(R,G,B)をXYZ表色系へ変換する式は次のように表される。
【0050】
【0051】
ここでMは3×3の変換行列であり、表示パネルの色域、すなわち3原色と基準白色の色度によって一意に定まる。XYZ表色系での(X,Y,Z)を3原色の輝度(R,G,B)に変換する場合は当然、変換行列Mの逆行列を(X,Y,Z)に作用させればよい。色域情報記憶部88は、表示パネルあるいはヘッドマウントディスプレイの出荷時などに色度計により測定された、3原色および基準白色をそれぞれ表示させたときの色度を格納する。
【0052】
あるいは色域情報記憶部88には、それらの値から計算によって求められる変換行列Mを格納しておいてもよい。色度の測定は表示パネルの複数箇所で行い、外れ値を除外したうえ平均値や中央値を採用することにより、パネルの色ムラや輝度ムラによる影響を抑えることが望ましい。表示パネルの一般的な製造工程では、色ムラや輝度ムラを補正するためのキャリブレーションとして色の測定を行うため、その結果を流用してもよい。
【0053】
一方で、そのようなキャリブレーションの結果、色ムラを軽減させるように制御された状態で、3原色および基準白色をそれぞれ表示させた際の色度の測定値を色域情報記憶部88に格納してもよい。運用時には当該制御が導入された状態で画像が表示されるため、色調整部84はそれを反映させた測定値を用いて色を調整することにより、ユーザが実際に見る画像の色を統一できる。また接眼レンズを介して画像を視認する形式のヘッドマウントディスプレイの場合、当該接眼レンズを透過した光を測定対象としてもよい。基準情報取得部76が取得する基準値についても同様とすることにより、レンズによる影響を加味して厳密に色を揃えることができる。
【0054】
出力部80は、出力調整部78が画素値を調整した結果得られた画像のデータを、表示パネルを含む表示部54に出力する。すなわち出力部80は、調整によって得られた3原色のリニアの輝度を、表示部54の特性に応じた伝達関数により電圧に変換したうえ、表示部54の表示パネルを駆動させる。出力調整部78がトーンマッピングを調整に利用しない場合、出力部80において適宜トーンマッピングを行う。
【0055】
図6は、輝度レンジ調整部82によって調整される、輝度レンジの時間変化を例示している。図は縦軸を最大輝度(nit)、横軸を時間(sec)としている。また、画像表示先の表示パネルの最大輝度L
orgより、基準の最大輝度L
stdが小さい場合を想定しているが、本実施の形態をこれに限る主旨ではない。上述のとおり輝度レンジ調整部82は、好適には調整開始タイミングt0から徐々に輝度レンジを変化させ、基準の最大輝度L
stdに到達させる。
【0056】
輝度レンジ調整部82は基本的に、ユーザの眼球への入射光の強度が大きく変化したときを調整開始タイミングt0とする。例えば輝度レンジ調整部82は、ユーザがヘッドマウントディスプレイ100を装着した時点、ヘッドマウントディスプレイ100において画像表示が開始された時点、表示中のコンテンツにおいてシーンの明るさが大きく変化した時点などを調整開始タイミングt0とする。例えば輝度レンジ調整部82は、ユーザがヘッドマウントディスプレイ100を装着したタイミングを、装着センサ112からの通知により検出する。
【0057】
また輝度レンジ調整部82は、シーンの明るさが大きく変化したタイミングを、あらかじめ設定しておいた所定の条件に基づき判定する。例えば画像全体の輝度の平均値あるいは中央値が前のフレームから所定のしきい値以上、変化したことを条件として設定しておく。この場合、輝度レンジ調整部82は、ユーザがヘッドマウントディスプレイ100を装着したこと、あるいはユーザが調整モードへ切り替えたことを条件に、シーンの明るさが大きく変化するタイミングの判定処理を開始してよい。
【0058】
調整期間t0~t1における最大輝度の傾き、すなわち単位時間当たりの調整量は、人が気づきにくい輝度の変化速度をあらかじめ実験などにより求めておく。この場合、画像表示先の表示パネルの最大輝度Lorgと基準の最大輝度Lstdの差によって、調整終了タイミングt1は自ずと定まる。あるいは人の順応に要する時間から時刻t1を先に決定し、期間t0~t1内に調整が完了するように最大輝度の傾きを決定してもよい。なお図示する最大輝度の時間変化は一例であり、調整の途中で傾きを変化させたり曲線状に変化させたりしてもよい。
【0059】
図7は、輝度レンジ調整部82が表示画像の各画素の輝度を調整する手法の例を説明するための図である。同図は横軸を調整前の輝度、縦軸を調整後の輝度としたときの対応関係を実線で示している。比較のために調整しない場合の輝度、すなわち調整前後で輝度が変化しないときの対応関係も破線で示している。なお実際には、3原色に対し同様の調整を行う。(a)は、全ての画素の輝度を最大輝度の変化と同じ割合で変化させる例を示している。すなわち0から最大輝度L
orgの範囲の輝度を、0から基準の最大輝度L
stdの範囲に線形のまま変化させている。
【0060】
(b)は、表示画像のうち基準の最大輝度Lstd以上の画素については全て、当該最大輝度Lstdにクランプする例を示している。この場合、最大輝度Lstdより低い画素については元の輝度が維持される。(c)はトーンマッピングを利用して調整する例を示している。すなわち輝度レンジ調整部82は、通常用いるトーンカーブ90の代わりに、最大輝度がLstdとなるようなトーンカーブ92を用いてトーンマッピングを行う。(c)の手法はトーンマッピングと同時に輝度レンジの調整を行える。(a)、(b)のケースは、輝度レンジ調整部82による調整後、出力部80が適宜トーンマッピングを通常通り行う。
【0061】
図8は、色調整部84が色を調整する原理を説明するための図である。(a)はXYZ表色系のCIE色度図を示している。図ではグレースケールで示しているが、三刺激値XYZを比率で表したときの前二者を要素とするxy座標によって絶対的な色度が定められる。表示パネルが表すことのできる色域94は、馬蹄形の色度の範囲において、例えば図示するように定義される。
【0062】
色域は同じ仕様の表示パネルであれば名目上は同一であるが、(b)に実線および破線で示すように、製造時の様々な要因により僅かながらばらつくことがある。すると同じ色度96であっても、それを表す3原色の輝度の組み合わせ(R,G,B)が表示パネルによって異なることになる。これは(R,G,B)が、色域を表す三角形の頂点である3原色の座標からの相対的な位置関係で表されるためである。換言すれば、同じ画素値(R,G,B)であっても絶対的な色度に差が生じ、結果として表示パネルに依存した色で表される可能性がある。
【0063】
そこで色調整部84は、標準の色域(例えば色域98a)で表されるRGBの色が、表示先のパネルの色域(例えば色域98b)においてRGBでどのように表されるかを計算によって求める。すなわち上述のとおり、画像の画素値を式1によりXYZ表色系での値に変換して色度(例えば色度96)を求め、当該色度を表示先の表示パネルで表すときのRGBの値を、当該パネルの変換行列の逆行列により求める。元の画像の画素値(Rorg,Gorg,Borg)を、表示先のパネルにおける画素値(Rtgt,Gtgt,Btgt)に変換する式は次のようになる。
【0064】
【0065】
ここでMstdは基準の色域から取得されるXYZ表色系への変換行列、Mtgtは表示先のパネルの色域から取得されるXYZ表色系への変換行列である。このように元の画像の画素値を変換したうえで表示先のパネルに出力することにより、色域がばらついていても表示される画像の色を統一できる。なお上述のとおり、コンテンツの作成時に作成者が用いる表示装置を含め同様の調整を行えば、エンドユーザの表示装置との間で色表現が統一されるため、基準の色域は実在する表示パネルのものでなくてもよい。
【0066】
例えばそれまでに出荷された表示パネルの色域のうち最も狭い色域を基準とすれば、その内側で定義されるRGBの画素値の色度は、全ての表示パネルの色域に包含されることになる。その結果、色調整によってRGBの最大輝度を超えてしまい、画素値が当該最大輝度にクランプされてしまうのを回避できる。
【0067】
以上述べた本実施の形態によれば、最大輝度および色域の少なくともいずれかに基準値を設定し、表示制御装置はそれらと表示先のパネルにおける対応するパラメータの測定値との差を解消するように、表示画像の輝度レンジや色を調整する。これにより、製造時の様々な要因によって表示パネルに個体差が生じていても、複数の表示装置で輝度や色を統一できる。
【0068】
また表示制御装置は、ユーザの眼球への入射光強度が大きく変化してから暗明順応が完了するまでの視力が低下している状態において輝度レンジを調整する。これにより、コンテンツの途中で調整を開始しても、ユーザがそれを認識する可能性を低くでき、自然な調整を行える。またヘッドマウントディスプレイを装着したタイミングなど調整が好ましくない期間においてはそれを尊重でき、調整の有無を好適に両立できる。
【0069】
また、表示パネルの色域を、実際になされる制御下や接眼レンズを介した状態で測定しておき、表示制御装置はそれに基づき色の調整を行う。これにより、最終的な見た目で色を揃えることができる。以上の構成により、例えばコンテンツ作成者が作成した高精細な画像を、どの表示装置を用いてもその意図や世界観を損なうことなく視認させることができる。
【0070】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0071】
10 コンテンツ処理装置、 50 CPU、 52 メインメモリ、 54 表示部、 56 音声出力部、 62 通信部、 64 モーションセンサ、 66 撮像部、 68 タイマー、 70 表示制御装置、 72 画像データ取得部、 74 輝度取得部、 76 基準情報取得部、 78 出力調整部、 80 出力部、 82 輝度レンジ調整部、 84 色調整部、 86 輝度情報記憶部、 88 色域情報記憶部、 100 ヘッドマウントディスプレイ、 110 ステレオカメラ、 112 装着センサ。