(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024093070
(43)【公開日】2024-07-09
(54)【発明の名称】ＨＭＤ輝度調整装置およびそのプログラム
(51)【国際特許分類】
G09G 5/10 20060101AFI20240702BHJP
G09G 5/00 20060101ALI20240702BHJP
G02B 27/02 20060101ALI20240702BHJP
H04N 5/66 20060101ALI20240702BHJP
G09G 3/20 20060101ALI20240702BHJP
【ＦＩ】
G09G5/10 Z
G09G5/00 510A
G02B27/02 Z
H04N5/66 A
G09G3/20 680A
G09G3/20 660J
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022209207
(22)【出願日】2022-12-27
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】宮下 山斗
(72)【発明者】
【氏名】原澤 賢充
【テーマコード（参考）】
2H199
5C058
5C080
5C182
【Ｆターム（参考）】
2H199CA70
2H199CA75
5C058AB06
5C058BA05
5C080CC03
5C080DD01
5C080EE28
5C182AA12
5C182AB34
5C182AC03
5C182AC43
5C182BA46
5C182CA11
5C182CB04
(57)【要約】
【課題】ＨＭＤのディスプレイに表示する映像の周辺輝度を調整するＨＭＤ輝度調整装置を提供する。
【解決手段】ＨＭＤ輝度調整装置１は、映像をフレームごとに原画像として入力する原画像入力部１１と、ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、原画像の輝度を表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させる周辺輝度調整部１２と、周辺輝度調整部１２で原画像の輝度が調整された調整画像をフレームとしてＨＭＤ２に出力する調整画像出力部１３と、を備える。
【選択図】図５
【解決手段】ＨＭＤ輝度調整装置１は、映像をフレームごとに原画像として入力する原画像入力部１１と、ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、原画像の輝度を表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させる周辺輝度調整部１２と、周辺輝度調整部１２で原画像の輝度が調整された調整画像をフレームとしてＨＭＤ２に出力する調整画像出力部１３と、を備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
ＨＭＤのディスプレイに表示する映像の周辺輝度を調整するＨＭＤ輝度調整装置であって、
前記映像をフレームごとに原画像として入力する原画像入力部と、
前記ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、前記原画像の輝度を前記表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させる周辺輝度調整部と、
前記周辺輝度調整部で前記原画像の輝度が調整された調整画像をフレームとして前記ＨＭＤに出力する調整画像出力部と、
を備えることを特徴とするＨＭＤ輝度調整装置。
前記映像をフレームごとに原画像として入力する原画像入力部と、
前記ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、前記原画像の輝度を前記表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させる周辺輝度調整部と、
前記周辺輝度調整部で前記原画像の輝度が調整された調整画像をフレームとして前記ＨＭＤに出力する調整画像出力部と、
を備えることを特徴とするＨＭＤ輝度調整装置。
【請求項2】
前記周辺輝度調整部は、
前記関数に従って、前記原画像の画素値と前記ディスプレイ外輝度と等価な画素値とを合成する重みを算出する重み算出部と、
前記重み算出部で算出された重みに基づいて、前記原画像の画素値と前記ディスプレイ外輝度と等価な画素値とを重み付き加算することで前記調整画像の画素値を算出する合成画素値算出部と、
を備えることを特徴とする請求項１に記載のＨＭＤ輝度調整装置。
前記関数に従って、前記原画像の画素値と前記ディスプレイ外輝度と等価な画素値とを合成する重みを算出する重み算出部と、
前記重み算出部で算出された重みに基づいて、前記原画像の画素値と前記ディスプレイ外輝度と等価な画素値とを重み付き加算することで前記調整画像の画素値を算出する合成画素値算出部と、
を備えることを特徴とする請求項１に記載のＨＭＤ輝度調整装置。
【請求項3】
ユーザの予め定めた頭部中心座標を原点として、前記ユーザの正面方向からの偏心度および前記ユーザの前額面における前記頭部中心座標からの表示方向と、前記原画像の画素位置とを対応付けた画素情報と、前記表示方向ごとの前記表示境界の偏心度である境界情報と、を記憶するＨＭＤ情報記憶部を備え、
前記重み算出部は、前記表示方向ごとに、前記画素情報および前記境界情報に基づいて、前記関数により前記画素位置における重みを算出することを特徴とする請求項２に記載のＨＭＤ輝度調整装置。
前記重み算出部は、前記表示方向ごとに、前記画素情報および前記境界情報に基づいて、前記関数により前記画素位置における重みを算出することを特徴とする請求項２に記載のＨＭＤ輝度調整装置。
【請求項4】
前記関数は、シグモイド関数であることを特徴とする請求項１に記載のＨＭＤ輝度調整装置。
【請求項5】
コンピュータを、請求項１から請求項４のいずれか一項に記載のＨＭＤ輝度調整装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＨＭＤに表示する映像の輝度を調整するＨＭＤ輝度調整装置およびそのプログラムに関する。
【背景技術】
【0002】
ヘッドマウントディスプレイ（ＨＭＤ：Head-Mounted Display）は、広視野の映像を両眼視差および運動視差とともに提示することによって、あたかも自分がその場にいるかのような体感を可能にする。
理想的には、ディスプレイが人の視野全体を覆うことでＨＭＤ装着時に視野が制限されていることが知覚されない状態が、ＨＭＤにおける最も高い視野特性の条件である。
しかし、そのような理想的なＨＭＤを実現するためには、非常に大きな視野角のディスプレイが必要となる。例えば、ＨＭＤ装着時に自由な眼球運動を考慮した場合、水平でおよそ２５０°程度の視野角が必要になる（非特許文献１参照）。
理想的には、ディスプレイが人の視野全体を覆うことでＨＭＤ装着時に視野が制限されていることが知覚されない状態が、ＨＭＤにおける最も高い視野特性の条件である。
しかし、そのような理想的なＨＭＤを実現するためには、非常に大きな視野角のディスプレイが必要となる。例えば、ＨＭＤ装着時に自由な眼球運動を考慮した場合、水平でおよそ２５０°程度の視野角が必要になる（非特許文献１参照）。
【0003】
また、近年では、高精細なＶＲ（Virtual Reality）映像を提示する手法として、ドーム型のディスプレイも開示されている（非特許文献２参照）。
このドーム型のディスプレイをＨＭＤに適用することで、ＨＭＤにおいて高い視野特性を持たせることができる。
このドーム型のディスプレイをＨＭＤに適用することで、ＨＭＤにおいて高い視野特性を持たせることができる。
【0004】
一方、視野角を、見かけ上大きくする手法として、少なくとも視野角が１２０°以上となる光拡散板およびバックライトをＨＭＤのディスプレイの裏側に配置し、ディスプレイ周辺を発光させる手法が開示されている（特許文献１参照）。この手法は、光拡散板およびバックライトによってＨＭＤのディスプレイ周辺を明るくすることで、目の錯覚により、視野角を広く見せかける手法である。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平１０－２２１６３５号公報
【非特許文献】
【0006】
【非特許文献1】M. Harasawa, Y. Miyashita, and K. Komine, “Perimetry on Head-Centered Coordinate System for Requirements of Head-Mounted Display”, IDW 2021, https://doi.org/https://doi.org/10.36463/idw.2021.0587
【非特許文献2】“高精細ＶＲ映像”［online］，ＮＨＫ放送技術研究所 技研公開２０１９，［令和４年１２月１２日検索］、インターネット＜ＵＲＬ：https://www.nhk.or.jp/strl/open2019/tenji/e2.html＞
【発明の概要】
【発明が解決しようとする課題】
【0007】
ディスプレイを人の視野全体に覆う手法は、前記した通り、非常に大きな視野角のディスプレイが必要となり、装置が大型化するという問題がある。
また、従来の見かけ上の視野角を大きくする手法であっても、ＨＭＤに光拡散板およびバックライトを配置する必要があるため、装置が大型化してしまうという問題がある。
また、従来の見かけ上の視野角を大きくする手法であっても、ＨＭＤに光拡散板およびバックライトを配置する必要があるため、装置が大型化してしまうという問題がある。
【0008】
そこで、本発明は、輝度を調整してディスプレイの表示境界を知覚されにくくすることで、ディスプレイの大型化を抑えて、視野角を広く感じさせることが可能なＨＭＤ輝度調整装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0009】
前記課題を解決するため、本発明に係るＨＭＤ輝度調整装置は、ＨＭＤのディスプレイに表示する映像の周辺輝度を調整するＨＭＤ輝度調整装置であって、原画像入力部と、周辺輝度調整部と、調整画像出力部と、を備える構成とした。
【0010】
かかる構成において、ＨＭＤ輝度調整装置は、原画像入力部によって、映像をフレームごとに原画像として入力する。この映像は、ＨＭＤに入力される調整前の映像である。
そして、ＨＭＤ輝度調整装置は、周辺輝度調整部によって、ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、原画像の輝度を表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させる。これによって、ディスプレイの表示境界近傍の画像が徐々にディスプレイ外輝度と同じ輝度に変化する。
そして、ＨＭＤ輝度調整装置は、周辺輝度調整部で原画像の輝度が調整された調整画像をフレームとしてＨＭＤに出力する。
そして、ＨＭＤ輝度調整装置は、周辺輝度調整部によって、ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、原画像の輝度を表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させる。これによって、ディスプレイの表示境界近傍の画像が徐々にディスプレイ外輝度と同じ輝度に変化する。
そして、ＨＭＤ輝度調整装置は、周辺輝度調整部で原画像の輝度が調整された調整画像をフレームとしてＨＭＤに出力する。
【0011】
これによって、ユーザは、ＨＭＤを介して、ディスプレイの表示境界までに映像の輝度が予め定めた関数に従って段階的に暗くなった映像を視認することになり、表示境界そのものを知覚することが困難になる。そのため、ユーザは、表示境界を意識することなく、視野角を広く感じることができる。
なお、ＨＭＤ輝度調整装置は、コンピュータを、前記した各部として機能させるためのプログラムで動作させることができる。
なお、ＨＭＤ輝度調整装置は、コンピュータを、前記した各部として機能させるためのプログラムで動作させることができる。
【発明の効果】
【0012】
本発明によれば、ＨＭＤの装着者に周辺視野の制限が知覚され難くなるため、ディスプレイの大型化を抑えて視野角を広く感じさせることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係るＨＭＤ輝度調整装置とＨＭＤ（ディスプレイのみ）との全体構成を示す構成図である。
【図2】ＨＭＤ内部のディスプレイの斜視図である。
【図3】ＨＭＤ内部のディスプレイの正面図である。
【図5】本発明の実施形態に係るＨＭＤ輝度調整装置の構成を示すブロック構成図である。
【図6】シグモイド関数に従った偏心度と重みとの関係および調整画像を説明するための説明図である。
【図7】本発明の実施形態に係るＨＭＤ輝度調整装置の動作を示すフローチャートである。
【図8】周辺輝度を急峻に変化させた場合と徐々に変化させた場合とで、人間が認識する視野角の評価結果を説明するためのグラフである。
【図9】ＨＭＤ輝度調整装置が対象とするＨＭＤの変形例を示す図で（ａ）がＨＭＤ（ディスプレイのみ）の上面図、（ｂ）がＨＭＤ（ディスプレイのみ）の側面図である。
【発明を実施するための形態】
【0014】
【0015】
ＨＭＤ輝度調整装置１は、ＨＭＤ２と有線または無線で接続され、ＨＭＤ２の表示デバイス（ディスプレイＤ）に表示する映像の周辺輝度を調整するものである。
ここでは、ＨＭＤ輝度調整装置１は、ディスプレイＤとディスプレイＤの外側（通常は、プラスチック等の部材）との境界に近づくほど、映像の輝度を順次落としてディスプレイＤの外側の輝度に合わせる調整を行う。
ＨＭＤ輝度調整装置１は、ＨＭＤ２の位置や向きに応じた映像を外部の映像生成装置（不図示）からフレーム（原画像）ごとに入力し、輝度調整を行ったフレーム（調整画像）をＨＭＤ２に出力する。ＨＭＤ２の位置や向きに応じた映像の生成は、本発明とは直接は関係がないため、説明を省略する。なお、ＨＭＤ輝度調整装置１の構成については、図５を参照して、後記する。
ここでは、ＨＭＤ輝度調整装置１は、ディスプレイＤとディスプレイＤの外側（通常は、プラスチック等の部材）との境界に近づくほど、映像の輝度を順次落としてディスプレイＤの外側の輝度に合わせる調整を行う。
ＨＭＤ輝度調整装置１は、ＨＭＤ２の位置や向きに応じた映像を外部の映像生成装置（不図示）からフレーム（原画像）ごとに入力し、輝度調整を行ったフレーム（調整画像）をＨＭＤ２に出力する。ＨＭＤ２の位置や向きに応じた映像の生成は、本発明とは直接は関係がないため、説明を省略する。なお、ＨＭＤ輝度調整装置１の構成については、図５を参照して、後記する。
【0016】
ＨＭＤ２は、ユーザＨの頭部に装着され、ユーザＨの頭部の位置や向きを検出し、その位置や向きに対応した映像を表示するものである。
ここでは、ＨＭＤ２のディスプレイＤをドーム型の球面の一部とし、接眼レンズ等のディスプレイＤ以外の構成については図示を省略している。
ＨＭＤ２は、検出したユーザＨの頭部の位置や向きを映像生成装置（不図示）に通知することで、ＨＭＤ輝度調整装置１を介して、輝度調整されたフレーム（画像）を入力し、ディスプレイＤに表示する。
これによって、ユーザＨは、ディスプレイＤの周辺にいくほど、映像の輝度が低下するため、ディスプレイＤの境界を知覚することが困難になり、視野角を広く感じることができる。
ここでは、ＨＭＤ２のディスプレイＤをドーム型の球面の一部とし、接眼レンズ等のディスプレイＤ以外の構成については図示を省略している。
ＨＭＤ２は、検出したユーザＨの頭部の位置や向きを映像生成装置（不図示）に通知することで、ＨＭＤ輝度調整装置１を介して、輝度調整されたフレーム（画像）を入力し、ディスプレイＤに表示する。
これによって、ユーザＨは、ディスプレイＤの周辺にいくほど、映像の輝度が低下するため、ディスプレイＤの境界を知覚することが困難になり、視野角を広く感じることができる。
【0017】
＜ＨＭＤの座標系＞
図２～図４を参照して、ＨＭＤ２のディスプレイＤの座標系について説明する。図２は、ＨＭＤ２内部のディスプレイＤの斜視図である。図３は、ＨＭＤ２内部のディスプレイＤをユーザ側から見た正面図である。図４は、図３のＩＶ－ＩＶ線断面図である。
図２～図４を参照して、ＨＭＤ２のディスプレイＤの座標系について説明する。図２は、ＨＭＤ２内部のディスプレイＤの斜視図である。図３は、ＨＭＤ２内部のディスプレイＤをユーザ側から見た正面図である。図４は、図３のＩＶ－ＩＶ線断面図である。
【0018】
ここでは、図２に示すように、ＨＭＤ２を装着した際の頭部中心（両眼中心）が座標系の原点ｏに一致するものとする。ｘ方向はユーザＨから見て水平方向、ｙ方向はユーザＨから見て垂直方向、ｚ方向はユーザＨから見て奥行き方向を示す。
ｐ（ｉ，ｊ）は、ディスプレイＤ上のある位置（ｉ，ｊ）の画素ｐの画素値を示す。
ここで、画素ｐの位置を特定する指標として、偏心度ｅと表示方向θとを定義する。
ｐ（ｉ，ｊ）は、ディスプレイＤ上のある位置（ｉ，ｊ）の画素ｐの画素値を示す。
ここで、画素ｐの位置を特定する指標として、偏心度ｅと表示方向θとを定義する。
【0019】
図２に示すように、偏心度ｅは、ディスプレイＤ上のある位置（ｉ，ｊ）の画素ｐが正面方向からどれだけ離れているか、すなわち、どれだけ視野周辺に位置するかを示す指標であって、正面方向（ｚ方向）からの角度である。この偏心度ｅは、ベクトルｏｚとベクトルｏｐとのなす角である。
【0020】
図３に示すように、表示方向θは、ユーザＨの前額位置の平面（前額面）に相当するｘｙ平面において、ディスプレイＤ上のある位置（ｉ，ｊ）の画素ｐが水平方向（ｘ方向）からどれだけの角度に存在するか示すものである。すなわち、表示方向θは、線分ｏｐをｘｙ平面に投影したときのベクトルｏｘとのなす角である。例えば、表示方向θが０°の画素は、原点ｏに対して水平方向に配置された画素を意味し、表示方向θが９０°の画素は、原点ｏに対して垂直方向に配置された画素を意味する。
【0021】
図４に示すように、ＨＭＤ２のディスプレイＤには、ＨＭＤ２の外形形状を構成するプラスチック等で構成された領域（ディスプレイ外領域ＮＤ）が内部で球内面状に連続する。なお、ディスプレイ外領域ＮＤは、図１～図３では図示を省略している。
ディスプレイ外領域ＮＤは、黒いプラスチック等で構成され光を遮断する部材で構成される。
ここで、ＨＭＤ２のディスプレイＤとディスプレイ外領域ＮＤとの境界（ディスプレイの表示境界）をｅｂｏｕｎｄと表記する。そして、例えば、表示方向θにおける境界をｅｂｏｕｎｄ（θ）と表記する。このディスプレイの表示境界ｅｂｏｕｎｄ（θ）によって、原点ｏに対する表示方向θのディスプレイＤの球内面における表示範囲を特定することができる。
ディスプレイ外領域ＮＤは、黒いプラスチック等で構成され光を遮断する部材で構成される。
ここで、ＨＭＤ２のディスプレイＤとディスプレイ外領域ＮＤとの境界（ディスプレイの表示境界）をｅｂｏｕｎｄと表記する。そして、例えば、表示方向θにおける境界をｅｂｏｕｎｄ（θ）と表記する。このディスプレイの表示境界ｅｂｏｕｎｄ（θ）によって、原点ｏに対する表示方向θのディスプレイＤの球内面における表示範囲を特定することができる。
【0022】
＜ＨＭＤ輝度調整装置の構成＞
次に、図５を参照（適宜図２～図４参照）して、ＨＭＤ輝度調整装置１の構成について説明する。
図５に示すように、ＨＭＤ輝度調整装置１は、ＨＭＤ情報記憶部１０と、原画像入力部１１と、周辺輝度調整部１２と、調整画像出力部１３と、を備える。
次に、図５を参照（適宜図２～図４参照）して、ＨＭＤ輝度調整装置１の構成について説明する。
図５に示すように、ＨＭＤ輝度調整装置１は、ＨＭＤ情報記憶部１０と、原画像入力部１１と、周辺輝度調整部１２と、調整画像出力部１３と、を備える。
【0023】
ＨＭＤ情報記憶部１０は、ＨＭＤ２のディスプレイＤを特定する情報（ＨＭＤ情報）を予め記憶するものである。ＨＭＤ情報記憶部１０は、半導体メモリ等の一般的な記憶媒体で構成することができる。
ＨＭＤ情報には、画素情報、境界情報およびディスプレイ外輝度情報が含まれる。
ＨＭＤ情報には、画素情報、境界情報およびディスプレイ外輝度情報が含まれる。
【0024】
画素情報は、ユーザの予め定めた頭部中心座標を原点として、ユーザの正面方向からの偏心度およびユーザの前額面における頭部中心座標からの表示方向と、原画像の画素位置とを対応付けたものである。すなわち、画素情報は、ディスプレイ上の画素の位置（ｉ，ｊ）と偏心度ｅおよび表示方向θとを対応付けたテーブル情報である。
【0025】
境界情報は、表示方向ごとのディスプレイの表示境界の偏心度である。すなわち、境界情報は、表示方向θごとに、ディスプレイＤとディスプレイ外領域ＮＤとの境界（ディスプレイＤの表示境界）を示す偏心度ｅを対応付けたテーブル情報である。表示方向θに対応するディスプレイＤの表示境界を、以下、ｅｂｏｕｎｄ（θ）と表記する。
この境界情報によって、ディスプレイＤの物理的な境界が特定される。
ディスプレイ外輝度情報は、ディスプレイ外領域ＮＤの輝度（ディスプレイ外輝度）のレベルを特定する情報である。ディスプレイ外領域ＮＤは、ＨＭＤ２内部の黒いプラスチック等で構成され光を遮断する部材であるため、ディスプレイ外輝度Ｌ＝０［ｃｄ／ｍ２］とすればよい。
この境界情報によって、ディスプレイＤの物理的な境界が特定される。
ディスプレイ外輝度情報は、ディスプレイ外領域ＮＤの輝度（ディスプレイ外輝度）のレベルを特定する情報である。ディスプレイ外領域ＮＤは、ＨＭＤ２内部の黒いプラスチック等で構成され光を遮断する部材であるため、ディスプレイ外輝度Ｌ＝０［ｃｄ／ｍ２］とすればよい。
【0026】
ディスプレイ外輝度情報は、ディスプレイ外輝度と等価な仮想画素値を設定する。ここでは、ディスプレイ外輝度と等価な仮想画素値をｐｏｕｔ（ｉ，ｊ）と表記する。
例えば、ディスプレイ外輝度情報は、ＨＭＤ輝度調整装置１に入力される画像がカラー画像（ＲＧＢ画像等）の場合、ｐｏｕｔ（ｉ，ｊ）として、ディスプレイ外輝度Ｌと等価な画素値（Ｒ，Ｇ，Ｂ）＝（０，０，０）を設定すればよい。
例えば、ディスプレイ外輝度情報は、ＨＭＤ輝度調整装置１に入力される画像がカラー画像（ＲＧＢ画像等）の場合、ｐｏｕｔ（ｉ，ｊ）として、ディスプレイ外輝度Ｌと等価な画素値（Ｒ，Ｇ，Ｂ）＝（０，０，０）を設定すればよい。
【0027】
原画像入力部１１は、ＨＭＤ２のディスプレイＤに表示する映像をフレームごとに原画像として入力するものである。
ここでは、原画像入力部１１に入力される画像は、ディスプレイＤの画素位置（ｉ，ｊ）ごとにＲＧＢ値が対応付けられたカラー画像である。
原画像入力部１１に入力される画像は、輝度を調整する前の原画像であって、ｐｏｒｇ（ｉ，ｊ）と表記する。
原画像入力部１１は、入力した原画像を周辺輝度調整部１２に出力する。
ここでは、原画像入力部１１に入力される画像は、ディスプレイＤの画素位置（ｉ，ｊ）ごとにＲＧＢ値が対応付けられたカラー画像である。
原画像入力部１１に入力される画像は、輝度を調整する前の原画像であって、ｐｏｒｇ（ｉ，ｊ）と表記する。
原画像入力部１１は、入力した原画像を周辺輝度調整部１２に出力する。
【0028】
周辺輝度調整部１２は、ディスプレイの表示境界からディスプレイ内の予め定めた範囲で、原画像の輝度を表示境界に向かって予め定めた関数に従ってディスプレイ外輝度に段階的に変化させるものである。
ここでは、周辺輝度調整部１２は、重み算出部１２０と、合成画素値算出部１２１と、を備える。
ここでは、周辺輝度調整部１２は、重み算出部１２０と、合成画素値算出部１２１と、を備える。
【0029】
重み算出部１２０は、予め定めた関数に従って、原画像の画素値とディスプレイ外輝度と等価な画素値とを合成する重みを算出するものである。
重み算出部１２０は、ＨＭＤ２のディスプレイＤの周辺領域の原画像の輝度が、ディスプレイ外輝度に徐々に変化するように、原画像の画素値と、ディスプレイ外輝度と等価な画素値とを合成する重みを算出する。
この重みは、偏心度ｅの増加に伴って“１”から“０”に遷移するものを用いる。
ここでは、重み算出部１２０は、以下の式（１）に示すシグモイド関数に従い重みｗを算出する。
重み算出部１２０は、ＨＭＤ２のディスプレイＤの周辺領域の原画像の輝度が、ディスプレイ外輝度に徐々に変化するように、原画像の画素値と、ディスプレイ外輝度と等価な画素値とを合成する重みを算出する。
この重みは、偏心度ｅの増加に伴って“１”から“０”に遷移するものを用いる。
ここでは、重み算出部１２０は、以下の式（１）に示すシグモイド関数に従い重みｗを算出する。
【0030】
【数1】
【0031】
ここで、ａは、シグモイド関数の傾き、例えば“１”である。ｔは、重みｗが“０．５”となる偏心度（シグモイド関数の中心）から、重みｗが“０．００１”以下になる偏心度との差分を表す。
重み算出部１２０は、入力された原画像の画素位置（ｉ，ｊ）ごとに、当該位置に対応する偏心度ｅ、表示方向θおよびディスプレイの表示境界ｅｂｏｕｎｄ（θ）を、ＨＭＤ情報記憶部１０から読み出して、前記式（１）による重みｗを算出する。
重み算出部１２０は、算出した画素位置（ｉ，ｊ）ごとの重みを合成画素値算出部１２１に出力する。
重み算出部１２０は、入力された原画像の画素位置（ｉ，ｊ）ごとに、当該位置に対応する偏心度ｅ、表示方向θおよびディスプレイの表示境界ｅｂｏｕｎｄ（θ）を、ＨＭＤ情報記憶部１０から読み出して、前記式（１）による重みｗを算出する。
重み算出部１２０は、算出した画素位置（ｉ，ｊ）ごとの重みを合成画素値算出部１２１に出力する。
【0032】
なお、ここでは、重み算出部１２０は、シグモイド関数を用いたが、偏心度ｅの増加に伴って“１”から“０”に重みが減少する減少関数であれば、これに限定されるものではない。例えば、重み算出部１２０は、累積正規分布関数等を変形して用いてもよい。
【0033】
合成画素値算出部１２１は、重み算出部１２０で算出された重みに基づいて、原画像の画素値とディスプレイ外輝度と等価な画素値とを重み付き加算することで画素値を算出するものである。
すなわち、合成画素値算出部１２１は、原画像入力部１１で入力された原画像の画素値ｐｏｒｇ（ｉ，ｊ）と、ＨＭＤ情報記憶部１０に記憶されているディスプレイ外輝度と等価な仮想画素値ｐｏｕｔ（ｉ，ｊ）とから、以下の式（２）により、輝度調整後の画素値ｐｍｏｄ（ｉ，ｊ）を算出する。
すなわち、合成画素値算出部１２１は、原画像入力部１１で入力された原画像の画素値ｐｏｒｇ（ｉ，ｊ）と、ＨＭＤ情報記憶部１０に記憶されているディスプレイ外輝度と等価な仮想画素値ｐｏｕｔ（ｉ，ｊ）とから、以下の式（２）により、輝度調整後の画素値ｐｍｏｄ（ｉ，ｊ）を算出する。
【0034】
【数2】
【0035】
なお、ここでは、各画素はＲＧＢ値を持ち、ｐ（ｉ，ｊ）＝（Ｒ Ｇ Ｂ）ｔ（ｔは転置）と表されるものとする。ここで、ｐｍｏｄ（ｉ，ｊ）＝（Ｒｍｏｄ Ｇｍｏｄ Ｂｍｏｄ）ｔ、ｐｏｒｇ（ｉ，ｊ）＝（Ｒｏｒｇ Ｇｏｒｇ Ｂｏｒｇ）ｔ、ｐｏｕｔ（ｉ，ｊ）＝（Ｒｏｕｔ Ｇｏｕｔ Ｂｏｕｔ）ｔとすると、前記式（２）は、以下の式（３）となり、各ＲＧＢ値に対して重み付き加算が行われることになる、
【0036】
【数3】
【0037】
合成画素値算出部１２１は、合成（重み付き加算）した輝度調整後の画素値ｐｍｏｄ（ｉ，ｊ）を調整画像出力部１３に出力する。
【0038】
調整画像出力部１３は、周辺輝度調整部１２で原画像の輝度が調整された調整画像をフレームとしてＨＭＤ２に出力するものである。
調整画像出力部１３は、周辺輝度調整部１２で輝度が調整された画素値ｐｍｏｄ（ｉ，ｊ）を画素位置（ｉ，ｊ）の画素値とする調整画像をフレームとして、順次、ＨＭＤ２に出力する。これによって、ＨＭＤ２を装着したユーザは、ディスプレイＤで、輝度が調整された映像を視認することができる。
調整画像出力部１３は、周辺輝度調整部１２で輝度が調整された画素値ｐｍｏｄ（ｉ，ｊ）を画素位置（ｉ，ｊ）の画素値とする調整画像をフレームとして、順次、ＨＭＤ２に出力する。これによって、ＨＭＤ２を装着したユーザは、ディスプレイＤで、輝度が調整された映像を視認することができる。
【0039】
以上の構成によって、ＨＭＤ輝度調整装置１は、ＨＭＤ２のディスプレイＤの周辺領域の映像の輝度を、ディスプレイ外輝度に徐々に変化させた映像を生成することができる。 これによって、ＨＭＤ２を装着したユーザは、映像の周辺部分で視野の制限を知覚することが困難になり、視野角を広く感じることができる。
なお、ＨＭＤ輝度調整装置１は、図示を省略したコンピュータを前記した各部として機能させるためのプログラム（ＨＭＤ輝度調整プログラム）で動作させることができる。
なお、ＨＭＤ輝度調整装置１は、図示を省略したコンピュータを前記した各部として機能させるためのプログラム（ＨＭＤ輝度調整プログラム）で動作させることができる。
【0040】
（輝度調整後の映像例）
ここで、図６を参照して、ＨＭＤ輝度調整装置１が生成する輝度調整後の画像例について説明する。図６は、水平方向（表示方向θ＝０）において、ディスプレイの表示境界ｅｂｏｕｎｄ（θ）を１２０°としたとき、偏心度ｅ（ここでは、１００°から１３０°）と重みｗとの関係を示すグラフである。また、そのグラフの上側に重みｗに応じて生成される画像（調整画像ｐｍｏｄ（ｉ，ｊ））の例を示している。図６では、調整画像ｐｍｏｄ（ｉ，ｊ）を、模式的に２次元画像で表している。
ここで、図６を参照して、ＨＭＤ輝度調整装置１が生成する輝度調整後の画像例について説明する。図６は、水平方向（表示方向θ＝０）において、ディスプレイの表示境界ｅｂｏｕｎｄ（θ）を１２０°としたとき、偏心度ｅ（ここでは、１００°から１３０°）と重みｗとの関係を示すグラフである。また、そのグラフの上側に重みｗに応じて生成される画像（調整画像ｐｍｏｄ（ｉ，ｊ））の例を示している。図６では、調整画像ｐｍｏｄ（ｉ，ｊ）を、模式的に２次元画像で表している。
【0041】
図６は、シグモイド関数の傾きａ（式（１）参照）を“１”、重みｗが“０．５”となる偏心度（シグモイド関数の中心）から、重みｗが“０．００１”以下（≒０）になる偏心度との差分ｔ（式（１）参照）を“６．９１”とした重みｗを用いた例である。
これによって、ＨＭＤ輝度調整装置１は、ＨＭＤ２で表示する映像において、水平方向（θ＝０）では、ディスプレイの表示境界（ｅｂｏｕｎｄ（θ）＝１２０）よりも小さい偏心度（ｅ＝１２０°－２ｔ）から、ディスプレイの表示境界（ｅ＝１２０°）までで、輝度を徐々に暗くしてディスプレイ外輝度と同等の輝度に調整することができる。
図６の調整画像ｐｍｏｄ（ｉ，ｊ）に示すように、ディスプレイの表示境界に近い偏心度において輝度が徐々に変化し、ユーザは、視野制限の存在を知覚することが難しくなる。
これによって、ＨＭＤ輝度調整装置１は、ＨＭＤ２で表示する映像において、水平方向（θ＝０）では、ディスプレイの表示境界（ｅｂｏｕｎｄ（θ）＝１２０）よりも小さい偏心度（ｅ＝１２０°－２ｔ）から、ディスプレイの表示境界（ｅ＝１２０°）までで、輝度を徐々に暗くしてディスプレイ外輝度と同等の輝度に調整することができる。
図６の調整画像ｐｍｏｄ（ｉ，ｊ）に示すように、ディスプレイの表示境界に近い偏心度において輝度が徐々に変化し、ユーザは、視野制限の存在を知覚することが難しくなる。
【0042】
＜ＨＭＤ輝度調整装置の動作＞
次に、図７を参照（構成については、適宜図５参照）して、ＨＭＤ輝度調整装置１の動作について説明する。なお、ＨＭＤ情報記憶部１０には、ＨＭＤ２のディスプレイＤを特定するＨＭＤ情報として、画素情報、境界情報およびディスプレイ外輝度情報が、予め記憶されているものとする。
次に、図７を参照（構成については、適宜図５参照）して、ＨＭＤ輝度調整装置１の動作について説明する。なお、ＨＭＤ情報記憶部１０には、ＨＭＤ２のディスプレイＤを特定するＨＭＤ情報として、画素情報、境界情報およびディスプレイ外輝度情報が、予め記憶されているものとする。
【0043】
ステップＳ１において、原画像入力部１１は、ＨＭＤ２のディスプレイＤに表示する映像のフレームを原画像として入力する。
ステップＳ２において、重み算出部１２０は、ステップＳ１で入力された原画像の画素位置（ｉ，ｊ）ごとに、当該位置に対応する偏心度ｅ、表示方向θおよびディスプレイの表示境界ｅｂｏｕｎｄ（θ）を、ＨＭＤ情報記憶部１０から読み出して、前記式（１）により重みｗを算出する。
ステップＳ２において、重み算出部１２０は、ステップＳ１で入力された原画像の画素位置（ｉ，ｊ）ごとに、当該位置に対応する偏心度ｅ、表示方向θおよびディスプレイの表示境界ｅｂｏｕｎｄ（θ）を、ＨＭＤ情報記憶部１０から読み出して、前記式（１）により重みｗを算出する。
【0044】
ステップＳ３において、合成画素値算出部１２１は、ステップＳ２で算出された重みｗを用いて、原画像の画素ごとに、原画像の画素値と、ディスプレイ外輝度と等価な画素値とを合成（重み付き加算）する。
ステップＳ４において、合成画素値算出部１２１は、原画像のすべての画素位置について重み付き加算が完了したか否かを判定する。
ここで、まだ重み付き加算が完了していない画素位置がある場合（ステップＳ４でＮｏ）、ＨＭＤ輝度調整装置１は、ステップ５で画素位置を更新し、ステップ２に動作を戻す。
ステップＳ４において、合成画素値算出部１２１は、原画像のすべての画素位置について重み付き加算が完了したか否かを判定する。
ここで、まだ重み付き加算が完了していない画素位置がある場合（ステップＳ４でＮｏ）、ＨＭＤ輝度調整装置１は、ステップ５で画素位置を更新し、ステップ２に動作を戻す。
【0045】
一方、原画像のすべての画素位置について重み付き加算が完了した場合（ステップＳ４でＹｅｓ）、ステップＳ６において、調整画像出力部１３は、重み付き加算後の画像（調整画像）をフレームとしてＨＭＤ２に出力する。
ステップＳ７において、原画像入力部１１は、次フレームが存在するか否かを判定する。ここで、次フレームが存在する場合（ステップＳ７でＹｅｓ）、ＨＭＤ輝度調整装置１は、ステップ１に戻って動作を継続する。
ステップＳ７において、原画像入力部１１は、次フレームが存在するか否かを判定する。ここで、次フレームが存在する場合（ステップＳ７でＹｅｓ）、ＨＭＤ輝度調整装置１は、ステップ１に戻って動作を継続する。
【0046】
一方、次フレームが存在しない場合（ステップＳ７でＮｏ）、ＨＭＤ輝度調整装置１は、動作を終了する。
以上の動作によって、ＨＭＤ輝度調整装置１は、ＨＭＤ２のディスプレイＤの周辺領域の映像の輝度を、ディスプレイ外輝度に徐々に変化させた映像を生成することができる。
以上の動作によって、ＨＭＤ輝度調整装置１は、ＨＭＤ２のディスプレイＤの周辺領域の映像の輝度を、ディスプレイ外輝度に徐々に変化させた映像を生成することができる。
【0047】
＜ＨＭＤ輝度調整装置の評価＞
次に、図８を参照して、本発明により、人間が認識する視野角をディスプレイ視野角より小さくすることが可能であることを示す評価結果について説明する。
なお、ここでは、水平方向のみの視野角について説明する。
次に、図８を参照して、本発明により、人間が認識する視野角をディスプレイ視野角より小さくすることが可能であることを示す評価結果について説明する。
なお、ここでは、水平方向のみの視野角について説明する。
【0048】
この評価実験では、水平３６０°の円筒形ディスプレイを用いた。また、評価実験として、選択肢の数“２”のうち、どれか１つを必ず選ばなければならない２ＡＦＣ（2 Alternative Forced Choice）課題を被験者に与えて実験を行った。
【0049】
ここでは、表示方向θが０°（水平方向）における偏心度ｅを９０°から１４０°（ディスプレイの水平視野角１８０°から２８０°）まで変化させて、偏心度ｅで、急峻に周辺輝度をディスプレイ外輝度に落とした映像と、偏心度ｅの位置に到達するまでに徐々に周辺輝度をディスプレイ外輝度に落とした映像との２つの映像を連続してランダムに円筒形ディスプレイに表示した。
そして、被験者は、表示された映像が輝度を急峻に落とした映像か徐々に周辺輝度を落とした映像かを回答する。
そして、被験者は、表示された映像が輝度を急峻に落とした映像か徐々に周辺輝度を落とした映像かを回答する。
【0050】
図８は、この２ＡＦＣ課題における正答率を、グラフ化したものである。図８は、横軸にディスプレイの水平視野角（偏心度ｅ×２）、縦軸に２ＡＦＣ課題の正答率を示す。
また、図８の左のグラフは、周辺輝度を急峻に変化させたときのグラフ、右のグラフは、周辺輝度を徐々に変化させたときのグラフである。なお、グラフ中、エラーバンドは、９５％ベイズ予測区間である。
また、図８のグラフ中の上下のドットプロットは、被験者の正誤応答を表している。上側のドットプロットは正答、下側のドットプロットは誤答に相当する。
また、図８の左のグラフは、周辺輝度を急峻に変化させたときのグラフ、右のグラフは、周辺輝度を徐々に変化させたときのグラフである。なお、グラフ中、エラーバンドは、９５％ベイズ予測区間である。
また、図８のグラフ中の上下のドットプロットは、被験者の正誤応答を表している。上側のドットプロットは正答、下側のドットプロットは誤答に相当する。
【0051】
このとき、正答率０．７５において、視野の制限を知覚する水平視野角の閾値μは、輝度を急峻に変化させた場合でμ＝２４２．２（偏心度ｅ＝１２１．１）、輝度を徐々に変化させた場合でμ＝２２１．４（偏心度ｅ＝１１０．７）であった。
本発明のように、輝度を徐々に変化させた場合、輝度を急峻に変化させた場合よりも、約２０°視野角を低減させることが可能になる。
これによって、ある視野角のＨＭＤを実現する場合、本発明によれば、視野角を小さくしても、小さいことをユーザに認識されにくいため、ディスプレイを小型化することが可能になる。
以上、本発明の実施形態について説明したが、本発明は、これに限定されるものではない。
本発明のように、輝度を徐々に変化させた場合、輝度を急峻に変化させた場合よりも、約２０°視野角を低減させることが可能になる。
これによって、ある視野角のＨＭＤを実現する場合、本発明によれば、視野角を小さくしても、小さいことをユーザに認識されにくいため、ディスプレイを小型化することが可能になる。
以上、本発明の実施形態について説明したが、本発明は、これに限定されるものではない。
【0052】
＜対象ＨＭＤの変形例＞
ここでは、ＨＭＤ輝度調整装置１は、図１～図４に示すように、ユーザＨの頭部中心（両眼中心）を、ディスプレイＤの球内面の中心とするＨＭＤ２を対象として説明した。
しかし、ユーザＨの頭部中心を基準として、偏心度ｅおよび表示方向θと、ディスプレイＤの画素とが対応付け可能であれば、ＨＭＤは、球面や曲面を持ったディスプレイを用いる必要はなく、平面ディスプレイを組み合わせたものであっても構わない。
ここでは、ＨＭＤ輝度調整装置１は、図１～図４に示すように、ユーザＨの頭部中心（両眼中心）を、ディスプレイＤの球内面の中心とするＨＭＤ２を対象として説明した。
しかし、ユーザＨの頭部中心を基準として、偏心度ｅおよび表示方向θと、ディスプレイＤの画素とが対応付け可能であれば、ＨＭＤは、球面や曲面を持ったディスプレイを用いる必要はなく、平面ディスプレイを組み合わせたものであっても構わない。
【0053】
図９にディスプレイを平面ディスプレイとしたＨＭＤ２Ｂの例を示す。図９（ａ）はＨＭＤを装着した状態の上面を透視した上面図、図９（ｂ）はＨＭＤを装着した状態の側面を透視した側面図を示す。
なお、図９は、ＨＭＤ２Ｂの平面ディスプレイＤＦのみを図示し、接眼レンズ等の平面ディスプレイＤＦ以外の構成については図示を省略している。
ＨＭＤ輝度調整装置１は、図９に示すように、ＨＭＤ２Ｂとして、平面ディスプレイＤＦで構成された多面体の一部として構成したものを対象とすることも可能である。
なお、ＨＭＤ輝度調整装置１は、ＨＭＤ２，２Ｂの内部に備える構成としても構わない。
なお、図９は、ＨＭＤ２Ｂの平面ディスプレイＤＦのみを図示し、接眼レンズ等の平面ディスプレイＤＦ以外の構成については図示を省略している。
ＨＭＤ輝度調整装置１は、図９に示すように、ＨＭＤ２Ｂとして、平面ディスプレイＤＦで構成された多面体の一部として構成したものを対象とすることも可能である。
なお、ＨＭＤ輝度調整装置１は、ＨＭＤ２，２Ｂの内部に備える構成としても構わない。
【0054】
また、ここでは、ＨＭＤ２，２ＢのディスプレイＤを、ユーザの頭部を覆う形状のものとしたが、視野角１８０°以下のディスプレイで構成したものであっても構わない。この場合であっても、映像の周辺でディスプレイの表示境界が検出される確率が低下するため、ユーザに対して、視野が制限されている感覚を緩和することができる。
【符号の説明】
【0055】
１ ＨＭＤ輝度調整装置
１０ ＨＭＤ情報記憶部
１１ 原画像入力部
１２ 周辺輝度調整部
１２０ 重み算出部
１２１ 合成画素値算出部
１３ 調整画素出力部
２，２Ｂ ＨＭＤ
Ｄ ディスプレイ
ＮＤ ディスプレイ外領域
ｅ 偏心度
θ 表示方向
１０ ＨＭＤ情報記憶部
１１ 原画像入力部
１２ 周辺輝度調整部
１２０ 重み算出部
１２１ 合成画素値算出部
１３ 調整画素出力部
２，２Ｂ ＨＭＤ
Ｄ ディスプレイ
ＮＤ ディスプレイ外領域
ｅ 偏心度
θ 表示方向
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
