特許 7451514 表示装置のために画像を処理するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-08

(45)【発行日】2024-03-18

(54)【発明の名称】表示装置のために画像を処理するシステム及び方法

(51)【国際特許分類】

   G06T 3/04 20240101AFI20240311BHJP

【ＦＩ】

G06T3/04

【請求項の数】 18

(21)【出願番号】P 2021523476

(86)(22)【出願日】2019-11-27

(65)【公表番号】

(43)【公表日】2022-04-22

(86)【国際出願番号】 FI2019050847

(87)【国際公開番号】W WO2020128148

(87)【国際公開日】2020-06-25

【審査請求日】2022-08-30

(31)【優先権主張番号】16/223,657

(32)【優先日】2018-12-18

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】317018583

【氏名又は名称】ヴァルヨ テクノロジーズ オーユー

(74)【代理人】

【識別番号】100127188

【弁理士】

【氏名又は名称】川守田 光紀

(72)【発明者】

【氏名】ヴオリホキ ヤルノ

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】国際公開第２０１８／１００２３８（ＷＯ，Ａ２）

【文献】特開２０１０－１５３９８３（ＪＰ，Ａ）

【文献】特表２００６－５１６３３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／０４

(57)【特許請求の範囲】

【請求項1】

表示装置のために画像を処理し、前記表示装置に少なくとも通信可能に接続されたシステムであって、
前記表示装置は、
・ 少なくとも１つの第１の画像レンダラと、
・ 少なくとも１つの第２の画像レンダラと、
を備え、
前記システムは、
・ 画像ソースと、
・ 前記画像ソースに通信可能に接続された少なくとも１つのプロセッサと、
を備え、
前記画像ソースは、入力画像を生成するように利用され、
前記少なくとも１つのプロセッサは、前記入力画像の解像度よりも低い第１の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられ、
前記少なくとも１つのプロセッサは、第２の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、前記トリミングされた領域は、前記第１の画像の前記第１の領域に対応する前記入力画像の領域と同じであり、
前記少なくとも１つのプロセッサ、又は前記表示装置のプロセッサは、前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像をレンダリングするように構成され、
前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされ、
前記レンダリングされた第２の画像の投影と、前記レンダリングされた第１の画像の前記第１の領域の投影とは、ユーザの目の中心窩に入射し、前記レンダリングされた第１の画像の残りの領域の投影が前記ユーザの目の網膜の残りの領域に入射し、
前記第２の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、前記第２の画像の所与の画素の画素値と、前記第１の画像の前記第１の領域の対応する画素の画素値の合計が、前記入力画像の対応する画素の元の画素値からの所与の閾値内となるように、前記第２の画像の画素値を計算するように構成され、
前記レンダリングされた第２の画像の前記所与の画素の投影は、前記レンダリングされた第１の画像の前記第１の領域の前記対応する画素の投影に光学的に組み合わされる、
システムにおいて、
前記第１の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、
・ 前記入力画像の解像度と、前記第１の画像について実現される解像度とに基づいて、前記入力画像をスケールダウンすることで、部分処理画像を生成し、
・ 前記第１の画像の前記第１の領域に対応する前記部分処理画像の第１の領域の画素値にぼかしフィルタを適用することで、ぼかし画像を生成し、
・ 前記第１の画像の前記第１の領域に対応する前記ぼかし画像の第１の領域の画素値に減光効果を適用することで、前記第１の画像を生成する
ように構成される、システム。

【請求項2】

表示装置のために画像を処理し、前記表示装置に少なくとも通信可能に接続されたシステムであって、
前記表示装置は、
・ 少なくとも１つの第１の画像レンダラと、
・ 少なくとも１つの第２の画像レンダラと、
を備え、
前記システムは、
・ 画像ソースと、
・ 前記画像ソースに通信可能に接続された少なくとも１つのプロセッサと、
を備え、
前記画像ソースは、入力画像を生成するように利用され、
前記少なくとも１つのプロセッサは、前記入力画像の解像度よりも低い第１の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられ、
前記少なくとも１つのプロセッサは、第２の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、前記トリミングされた領域は、前記第１の画像の前記第１の領域に対応する前記入力画像の領域と同じであり、
前記少なくとも１つのプロセッサ、又は前記表示装置のプロセッサは、前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像をレンダリングするように構成され、
前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされ、
前記レンダリングされた第２の画像の投影と、前記レンダリングされた第１の画像の前記第１の領域の投影とは、ユーザの目の中心窩に入射し、前記レンダリングされた第１の画像の残りの領域の投影が前記ユーザの目の網膜の残りの領域に入射し、
前記第２の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、前記第２の画像の所与の画素の画素値と、前記第１の画像の前記第１の領域の対応する画素の画素値の合計が、前記入力画像の対応する画素の元の画素値からの所与の閾値内となるように、前記第２の画像の画素値を計算するように構成され、
前記レンダリングされた第２の画像の前記所与の画素の投影は、前記レンダリングされた第１の画像の前記第１の領域の前記対応する画素の投影に光学的に組み合わされる、
システムにおいて、
前記第１の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、
・ 前記入力画像の解像度と、前記第１の画像について実現される解像度とに基づいて、前記入力画像をスケールダウンすることで、部分処理画像を生成し、
・ 前記第１の画像の前記第１の領域に対応する前記部分処理画像の第１の領域の画素値に減光効果を適用することで、減光画像を生成し、
・ 前記第１の画像の前記第１の領域に対応する前記減光画像の第１の領域の画素値にぼかしフィルタを適用することで、前記第１の画像を生成する
ように構成される、システム。

【請求項3】

表示装置のために画像を処理し、前記表示装置に少なくとも通信可能に接続されたシステムであって、
前記表示装置は、
・ 少なくとも１つの第１の画像レンダラと、
・ 少なくとも１つの第２の画像レンダラと、
を備え、
前記システムは、
・ 画像ソースと、
・ 前記画像ソースに通信可能に接続された少なくとも１つのプロセッサと、
を備え、
前記画像ソースは、入力画像を生成するように利用され、
前記少なくとも１つのプロセッサは、前記入力画像の解像度よりも低い第１の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられ、
前記少なくとも１つのプロセッサは、第２の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、前記トリミングされた領域は、前記第１の画像の前記第１の領域に対応する前記入力画像の領域と同じであり、
前記少なくとも１つのプロセッサ、又は前記表示装置のプロセッサは、前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像をレンダリングするように構成され、
前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされ、
前記レンダリングされた第２の画像の投影と、前記レンダリングされた第１の画像の前記第１の領域の投影とは、ユーザの目の中心窩に入射し、前記レンダリングされた第１の画像の残りの領域の投影が前記ユーザの目の網膜の残りの領域に入射し、
前記第２の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、前記第２の画像の所与の画素の画素値と、前記第１の画像の前記第１の領域の対応する画素の画素値の合計が、前記入力画像の対応する画素の元の画素値からの所与の閾値内となるように、前記第２の画像の画素値を計算するように構成され、
前記レンダリングされた第２の画像の前記所与の画素の投影は、前記レンダリングされた第１の画像の前記第１の領域の前記対応する画素の投影に光学的に組み合わされる、
システムにおいて、
前記第１の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、
（ａ）前記入力画像の所与の画素と、前記所与の画素に隣接する複数の画素と、を含む画素アレイを選択することと、
（ｂ）該アレイの、残りの画素よりも明るい、少なくとも１つの画素の画素値を破棄することと、
（ｃ）前記残りの画素の画素値の平均を計算することで、前記第１の画像又は中間画像の所与の画素の画素値を決定することと、
によって前記第１の画像の前記第１の領域を生成するように構成される、システム。

【請求項4】

表示装置のために画像を処理し、前記表示装置に少なくとも通信可能に接続されたシステムであって、
前記表示装置は、
・ 少なくとも１つの第１の画像レンダラと、
・ 少なくとも１つの第２の画像レンダラと、
を備え、
前記システムは、
・ 画像ソースと、
・ 前記画像ソースに通信可能に接続された少なくとも１つのプロセッサと、
を備え、
前記画像ソースは、入力画像を生成するように利用され、
前記少なくとも１つのプロセッサは、前記入力画像の解像度よりも低い第１の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられ、
前記少なくとも１つのプロセッサは、第２の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、前記トリミングされた領域は、前記第１の画像の前記第１の領域に対応する前記入力画像の領域と同じであり、
前記少なくとも１つのプロセッサ、又は前記表示装置のプロセッサは、前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像をレンダリングするように構成され、
前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされ、
前記レンダリングされた第２の画像の投影と、前記レンダリングされた第１の画像の前記第１の領域の投影とは、ユーザの目の中心窩に入射し、前記レンダリングされた第１の画像の残りの領域の投影が前記ユーザの目の網膜の残りの領域に入射し、
前記第２の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、前記第２の画像の所与の画素の画素値と、前記第１の画像の前記第１の領域の対応する画素の画素値の合計が、前記入力画像の対応する画素の元の画素値からの所与の閾値内となるように、前記第２の画像の画素値を計算するように構成され、
前記レンダリングされた第２の画像の前記所与の画素の投影は、前記レンダリングされた第１の画像の前記第１の領域の前記対応する画素の投影に光学的に組み合わされる、
システムにおいて、
前記第１の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、
（ｉ）前記入力画像の所与の画素の周囲に隣接する複数の画素を選択することと、
（ｉｉ）前記隣接する複数の画素の画素値の平均を計算することで、平均画素値を決定することと、
（ｉｉｉ）前記入力画像の前記所与の画素の元の画素値と前記平均画素値のうちの最小値を選択することで、前記第１の画像又は中間画像の所与の画素の画素値を決定することと、
によって前記第１の画像の前記第１の領域を生成するように構成される、システム。

【請求項5】

前記少なくとも１つのプロセッサは、前記第１の画像の前記第１の領域内の第１の遷移領域が、前記第１の遷移領域の外周から前記第１の遷移領域の内周に向かって褪せていき、前記第２の画像内の第２の遷移領域が、前記第２の遷移領域の内周から前記第２の遷移領域の外周に向かって褪せていくように、前記第１の画像及び第２の画像を生成するように構成され、
前記第１及び第２の画像がレンダリングされると、前記第１の遷移領域の投影が、前記第２の遷移領域の投影に実質的に重なる、請求項１から４のいずれかに記載のシステム。

【請求項6】

前記少なくとも１つのプロセッサは、前記入力画像に関するシーン情報に基づいて、前記第１の画像及び第２の画像を生成するように構成され、
前記シーン情報は、前記入力画像により提示される視覚的シーンの種類と、前記視覚的シーン内に存在する少なくとも１つの物体又は該少なくとも１つの物体の少なくとも一部のテクスチャと、前記視覚的シーン内に存在する少なくとも１つの物体又は該少なくとも１つの物体の少なくとも一部の材料カテゴリと、の少なくともいずれかに関する情報を含む、請求項１から５のいずれかに記載のシステム。

【請求項7】

前記表示装置は、ユーザの視線方向を検出する手段を備え、
前記少なくとも１つのプロセッサは、
・ 前記手段から、前記検出されたユーザの視線方向を示す情報を受信し、
・ 前記検出されたユーザの視線方向に基づいて、前記入力画像の関心領域を決定し、
・ 前記入力画像の前記関心領域に基づいて、前記第１の画像及び前記第２の画像を生成するべく前記入力画像を処理する
ように構成され、
前記第２の画像及び前記第１の画像の前記第１の領域は、前記入力画像の前記関心領域に実質的に対応する、請求項１から６のいずれかに記載のシステム。

【請求項8】

前記表示装置は、ユーザの視線方向を検出する手段、又は、ユーザの頭部の向きを追跡する手段、を備え、
前記少なくとも１つのプロセッサは、
・ 前記手段から、前記検出されたユーザの視線方向又は頭部の向きを示す情報を受信し、
・ 前記検出されたユーザの視線方向又は頭部の向きに基づいて、前記入力画像を生成するべく前記画像ソースを制御する、
ように構成される、請求項１から６のいずれかに記載のシステム。

【請求項9】

表示装置のために画像を処理する方法であって、
前記表示装置は、
・ 少なくとも１つの第１の画像レンダラと、
・ 少なくとも１つの第２の画像レンダラと、
を備え、
前記方法は、
・ 画像ソースから入力画像を取得することと、
・ 前記入力画像の解像度よりも低い第１の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられる、前記処理することと、
・ 第２の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、前記トリミングされた領域は、前記第１の画像の前記第１の領域に対応する前記入力画像の領域と同じである、前記処理することと、
を含み、
前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像がレンダリングされ、
前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされ、
前記レンダリングされた第２の画像の投影と、前記レンダリングされた第１の画像の前記第１の領域の投影とは、ユーザの目の中心窩に入射し、前記レンダリングされた第１の画像の残りの領域の投影が前記ユーザの目の網膜の残りの領域に入射し、
前記方法は更に、前記第２の画像を生成するべく前記入力画像を処理する際、前記第２の画像の所与の画素の画素値と、前記第１の画像の前記第１の領域の対応する画素の画素値の合計が、前記入力画像の対応する画素の元の画素値からの所与の閾値内となるように、前記第２の画像の画素値を計算することを含み、
前記レンダリングされた第２の画像の前記所与の画素の投影は、前記レンダリングされた第１の画像の前記第１の領域の前記対応する画素の投影に光学的に組み合わされる、
方法において、
前記第１の画像を生成するべく前記入力画像を処理する際、前記方法は、
・ 前記入力画像の解像度と、前記第１の画像について実現される解像度とに基づいて、前記入力画像をスケールダウンすることで、部分処理画像を生成することと、
・ 前記第１の画像の前記第１の領域に対応する前記部分処理画像の第１の領域の画素値にぼかしフィルタを適用することで、ぼかし画像を生成することと、
・ 前記第１の画像の前記第１の領域に対応する前記ぼかし画像の第１の領域の画素値に減光効果を適用することで、前記第１の画像を生成することと、
を含む、方法。

【請求項10】

表示装置のために画像を処理する方法であって、
前記表示装置は、
・ 少なくとも１つの第１の画像レンダラと、
・ 少なくとも１つの第２の画像レンダラと、
を備え、
前記方法は、
・ 画像ソースから入力画像を取得することと、
・ 前記入力画像の解像度よりも低い第１の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられる、前記処理することと、
・ 第２の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、前記トリミングされた領域は、前記第１の画像の前記第１の領域に対応する前記入力画像の領域と同じである、前記処理することと、
を含み、
前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像がレンダリングされ、
前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされ、
前記レンダリングされた第２の画像の投影と、前記レンダリングされた第１の画像の前記第１の領域の投影とは、ユーザの目の中心窩に入射し、前記レンダリングされた第１の画像の残りの領域の投影が前記ユーザの目の網膜の残りの領域に入射し、
前記方法は更に、前記第２の画像を生成するべく前記入力画像を処理する際、前記第２の画像の所与の画素の画素値と、前記第１の画像の前記第１の領域の対応する画素の画素値の合計が、前記入力画像の対応する画素の元の画素値からの所与の閾値内となるように、前記第２の画像の画素値を計算することを含み、
前記レンダリングされた第２の画像の前記所与の画素の投影は、前記レンダリングされた第１の画像の前記第１の領域の前記対応する画素の投影に光学的に組み合わされる、
方法において、
前記第１の画像を生成するべく前記入力画像を処理する際、前記方法は、
・ 前記入力画像の解像度と、前記第１の画像について実現される解像度とに基づいて、前記入力画像をスケールダウンすることで、部分処理画像を生成することと、
・ 前記第１の画像の前記第１の領域に対応する前記部分処理画像の第１の領域の画素値に減光効果を適用することで、減光画像を生成することと、
・ 前記第１の画像の前記第１の領域に対応する前記減光画像の第１の領域の画素値にぼかしフィルタを適用することで、前記第１の画像を生成することと、
を含む、方法。

【請求項11】

表示装置のために画像を処理する方法であって、
前記表示装置は、
・ 少なくとも１つの第１の画像レンダラと、
・ 少なくとも１つの第２の画像レンダラと、
を備え、
前記方法は、
・ 画像ソースから入力画像を取得することと、
・ 前記入力画像の解像度よりも低い第１の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられる、前記処理することと、
・ 第２の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、前記トリミングされた領域は、前記第１の画像の前記第１の領域に対応する前記入力画像の領域と同じである、前記処理することと、
を含み、
前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像がレンダリングされ、
前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされ、
前記レンダリングされた第２の画像の投影と、前記レンダリングされた第１の画像の前記第１の領域の投影とは、ユーザの目の中心窩に入射し、前記レンダリングされた第１の画像の残りの領域の投影が前記ユーザの目の網膜の残りの領域に入射し、
前記方法は更に、前記第２の画像を生成するべく前記入力画像を処理する際、前記第２の画像の所与の画素の画素値と、前記第１の画像の前記第１の領域の対応する画素の画素値の合計が、前記入力画像の対応する画素の元の画素値からの所与の閾値内となるように、前記第２の画像の画素値を計算することを含み、
前記レンダリングされた第２の画像の前記所与の画素の投影は、前記レンダリングされた第１の画像の前記第１の領域の前記対応する画素の投影に光学的に組み合わされる、
方法において、
前記第１の画像を生成するべく前記入力画像を処理する際、前記方法は、
（ａ）前記入力画像の所与の画素と、前記所与の画素に隣接する複数の画素と、を含む画素アレイを選択することと、
（ｂ）該アレイの、残りの画素よりも明るい、少なくとも１つの画素の画素値を破棄することと、
（ｃ）前記残りの画素の画素値の平均を計算することで、前記第１の画像又は中間画像の所与の画素の画素値を決定することと、
によって前記第１の画像の前記第１の領域を生成することを含む、方法。

【請求項12】

表示装置のために画像を処理する方法であって、
前記表示装置は、
・ 少なくとも１つの第１の画像レンダラと、
・ 少なくとも１つの第２の画像レンダラと、
を備え、
前記方法は、
・ 画像ソースから入力画像を取得することと、
・ 前記入力画像の解像度よりも低い第１の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられる、前記処理することと、
・ 第２の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、前記トリミングされた領域は、前記第１の画像の前記第１の領域に対応する前記入力画像の領域と同じである、前記処理することと、
を含み、
前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像がレンダリングされ、
前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされ、
前記レンダリングされた第２の画像の投影と、前記レンダリングされた第１の画像の前記第１の領域の投影とは、ユーザの目の中心窩に入射し、前記レンダリングされた第１の画像の残りの領域の投影が前記ユーザの目の網膜の残りの領域に入射し、
前記方法は更に、前記第２の画像を生成するべく前記入力画像を処理する際、前記第２の画像の所与の画素の画素値と、前記第１の画像の前記第１の領域の対応する画素の画素値の合計が、前記入力画像の対応する画素の元の画素値からの所与の閾値内となるように、前記第２の画像の画素値を計算することを含み、
前記レンダリングされた第２の画像の前記所与の画素の投影は、前記レンダリングされた第１の画像の前記第１の領域の前記対応する画素の投影に光学的に組み合わされる、
方法において、
前記第１の画像を生成するべく前記入力画像を処理する際、前記方法は、
（ｉ）前記入力画像の所与の画素の周囲に隣接する複数の画素を選択することと、
（ｉｉ）前記隣接する複数の画素の画素値の平均を計算することで、平均画素値を決定することと、
（ｉｉｉ）前記入力画像の前記所与の画素の元の画素値と前記平均画素値のうちの最小値を選択することで、前記第１の画像又は中間画像の所与の画素の画素値を決定することと、
によって前記第１の画像の前記第１の領域を生成することを含む、方法。

【請求項13】

前記方法は、前記第１の画像の前記第１の領域内の第１の遷移領域が、前記第１の遷移領域の外周から前記第１の遷移領域の内周に向かって褪せていき、前記第２の画像内の第２の遷移領域が、前記第２の遷移領域の内周から前記第２の遷移領域の外周に向かって褪せていくように、前記第１の画像及び第２の画像を生成することを含み、
前記第１及び第２の画像がレンダリングされると、前記第１の遷移領域の投影が、前記第２の遷移領域の投影に実質的に重なる、
請求項９から１２のいずれかに記載の方法。

【請求項14】

前記方法は、前記入力画像に関するシーン情報に基づいて、前記第１の画像及び第２の画像を生成することを含み、
前記シーン情報は、前記入力画像により提示される視覚的シーンの種類と、前記視覚的シーン内に存在する少なくとも１つの物体又は該少なくとも１つの物体の少なくとも一部のテクスチャと、前記視覚的シーン内に存在する少なくとも１つの物体又は該少なくとも１つの物体の少なくとも一部の材料カテゴリと、の少なくともいずれかに関する情報を含む、請求項９から１３のいずれかに記載の方法。

【請求項15】

前記表示装置は、ユーザの視線方向を検出する手段を備え、
前記方法は、
・ 前記手段から、前記検出されたユーザの視線方向を示す情報を受信することと、
・ 前記検出されたユーザの視線方向に基づいて、前記入力画像の関心領域を決定することと、
・ 前記入力画像の前記関心領域に基づいて、前記第１の画像及び前記第２の画像を生成するべく前記入力画像を処理することと、
を含み、
前記第２の画像及び前記第１の画像の前記第１の領域は、前記入力画像の前記関心領域に実質的に対応する、請求項９から１４のいずれかに記載の方法。

【請求項16】

前記表示装置は、ユーザの視線方向を検出する手段を備え、
前記方法は、
・ 前記手段から、前記検出されたユーザの視線方向を示す情報を受信することと、
・ 前記検出されたユーザの視線方向に基づいて、前記入力画像を生成するべく前記画像ソースを制御することと、
を含む、請求項９から１４のいずれかに記載の方法。

【請求項17】

前記表示装置は、ユーザの頭部の向きを追跡する手段を備え、
前記方法は、
・ 前記手段から、前記ユーザの頭部の向きを示す情報を受信することと、
・ 前記ユーザの頭部の向きに基づいて、前記入力画像を生成するべく前記画像ソースを制御することと、
を含む、請求項９から１６のいずれかに記載の方法。

【請求項18】

装置の処理デバイスに実行されると、前記装置に、請求項９から１７のいずれかに記載の方法を遂行させるように構成される、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して画像処理に関し、より詳細には、表示装置のために画像を処理するシステムに関する。本開示は更に、表示装置のために画像を処理する方法に関する。本開示は更に、プログラム命令が記憶された非一時的機械可読データ記憶媒体を備えるコンピュータプログラム製品に関し、該プログラム命令は、処理デバイスによってアクセスされると、該処理デバイスに上述の方法を実行させる。

【背景】

【0002】

現在、ユーザがシミュレーション環境（例えば、仮想現実（virtual reality）、拡張現実（augmented reality）、複合現実（mixed reality）など）を体験し、相互作用するために、いくつかの専用デバイス（例えば、仮想現実ヘッドセット、仮想現実眼鏡、拡張現実ヘッドセット、拡張現実眼鏡、複合現実ヘッドセット、複合現実眼鏡など）が使用されている。そのようなシミュレーション環境は、立体視などの現代の技術を利用して、ユーザ自身の周囲の現実に対する体験を向上し、ユーザにシミュレーション環境への没入感を提供するものである。そのような専用デバイスは、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）として一般的に知られている。

【0003】

そのようなデバイスは一般的に、ユーザの両眼用の、個別の画像レンダラ（例えば、ディスプレイなど）上に、所与の画像の異なるビューを表示する。その結果、ユーザは所与の画像内で、立体的な奥行きを知覚可能となる。近年、該デバイスはユーザに中心窩視（foveated）画像を表示することで、人間の視覚の生理的機能を模すように設計されている。そのような中心窩画像は解像度が変動する。即ち、所与の中心窩画像の異なる領域は異なる解像度を有する。

【0004】

従来、中心窩画像は、異なる解像度を有する異なる画像を組み合わせることで形成される。そのような異なる画像は、中心窩画像がユーザに連続的に認識されるように、互いに光学的に組み合わされる必要がある。言い換えると、ユーザがそのような異なる画像を別画像として認識不能となるように、そのような異なる画像間の勾配は、最小限であることが求められる。しかし、中心窩画像を形成する異なる画像を生成するには、問題が多く伴う。第一に、従来の画像処理技術が十分に成熟しておらず、そのような技術により生成された異なる画像では、中心窩画像が十分とは言えない。通常、そのような異なる画像は、解像度、画素の輝度などが不適切となる。第二に、異なる画像が、光学的に組み合わせる際にずれていると、中心窩画像の異なる画像間の（１又は複数の）共通の辺に沿って、画素輝度が不適切となる。具体的に、そのような異なる画像を組み合わせる際に、（１又は複数の）共通の辺の重複部分において画素輝度が高くなりすぎる一方、（１又は複数の）共通の辺に沿った間隙部では画素輝度が低くなりすぎる。従来の画像処理技術により生成された異なる画像では、それらが光学的に組み合わされる際のずれが如何に小さくとも、補償することはできない。

【0005】

前述の説明を鑑みて、表示装置のために画像を生成することに関連する上述の欠点を克服する必要がある。

【摘要】

【0006】

本開示は、表示装置のために画像を処理するシステムを提供することを目標とする。本開示は更に、表示装置のために画像を処理する方法を提供することを目標とする。本開示は更に、プログラム命令が記憶された非一時的機械可読データ記憶媒体を備えるコンピュータプログラム製品を提供することを目標とし、該プログラム命令は、処理デバイスによってアクセスされると、該処理デバイスに表示装置のために画像を処理する方法を実行させる。本開示は、表示装置のために画像を生成するための十分とは言えない画像処理技術の既存の問題に対する解決策を提供することを目標とする。本開示の目的は、従来技術に見られる問題を少なくとも部分的に克服し、表示装置のために画像を生成する効率的かつ信頼できるシステムを提供することである。

【0007】

一態様では、本開示の実施形態は、表示装置のために画像を処理し、前記表示装置に少なくとも通信可能に接続されたシステムを提供する。前記表示装置は、少なくとも１つの第１の画像レンダラと、少なくとも１つの第２の画像レンダラと、を備える。前記システムは、画像ソースと、前記画像ソースに通信可能に接続された少なくとも１つのプロセッサと、を備える。前記画像ソースは、入力画像を生成するように利用される。前記少なくとも１つのプロセッサは、
・ 第１の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられ、
・ 第２の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、
前記少なくとも１つのプロセッサ、又は前記表示装置のプロセッサは、前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像をレンダリングするように構成され、
前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされる。

【0008】

別の態様では、本開示の実施形態は、表示装置のために画像を処理する方法を提供する。前記表示装置は、少なくとも１つの第１の画像レンダラと、少なくとも１つの第２の画像レンダラと、を備える。前記方法は、
・ 画像ソースから入力画像を取得することと、
・ 第１の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられる、前記処理することと、
・ 第２の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整される、前記処理することと、
を含み、
前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像がレンダリングされ、
前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされる。

【0009】

更に別の態様では、本開示の実施形態は、プログラム命令が記憶された非一時的機械可読データ記憶媒体を備えるコンピュータプログラム製品を提供する。前記プログラム命令は、処理デバイスによってアクセスされると、該処理デバイスに、
・ 画像ソースから入力画像を取得させ、
・ 第１の画像を生成するべく前記入力画像を処理させ、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられ、
・ 第２の画像を生成するべく前記入力画像を処理させ、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、
前記処理デバイスは、表示装置に通信可能に接続され、前記表示装置は、少なくとも１つの第１の画像レンダラと、少なくとも１つの第２の画像レンダラと、を備える。前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像がレンダリングされる。前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされる。

【0010】

本開示の実施形態は、従来技術における上述の問題を実質的に解決するか、又は少なくとも部分的に対処し、表示装置のための画像の生成を可能とし、この画像はレンダリングされると中心窩画像を形成する。

【0011】

本開示の追加の態様、利点、特徴、及び目的は、添付の特許請求の範囲と併せて解釈される例示的な実施形態の図面及び詳細な説明から明確にされるであろう。

【0012】

本開示の特徴は、添付の特許請求の範囲によって定義される本開示の範囲から逸脱することなく、様々に組合せ可能であることが理解されるであろう。

【図面の簡単な説明】

【0013】

上記摘要及び例示的な実施形態の以下の詳細な説明は、添付の図面と併せて読むとよりよく理解される。本開示を示す目的で、本開示の例示的な構成が図示される。しかしながら、本開示は、本明細書で開示される特定の方法及び手段に限定されない。更に、当業者は、図面が縮尺通りでないことを理解するであろう。可能な限り、同様の要素は、同一の番号で示されている。

【0014】

以下の図面を参照して、本開示の実施形態をあくまで例示目的で説明する。

【図1】本開示の実施形態に係る、表示装置のために画像を処理するシステムの上位レベルアーキテクチャのブロック図である。

【図2】本開示の別の実施形態に係る、表示装置のために画像を処理するシステムの図１とは異なる上位レベルアーキテクチャのブロック図である。

【図3】本開示の一実施形態による、入力画像、第１の画像、及び第２の画像の概略図である。

【図4】本開示の一実施形態による、それぞれ少なくとも１つの第１の画像レンダラ及び少なくとも１つの第２の画像レンダラを介してレンダリングされた第１の画像及び第２の画像の概略図である。

【図5】本開示の一実施形態による、表示装置のために画像を生成する方法のステップを示す。

【0015】

添付図面では、下線付き番号は、その番号が上部に位置している部材、又は隣接している部材を表すために使用される。下線無しの番号は、その番号を部材につなぐ線によって識別される部材に関する。番号が下線無しであり、対応付けられた矢印があるとき、その番号は、矢印が指す全体的な部材を識別するために使用される。

【実施形態の詳細説明】

【0016】

以下の詳細な説明は、本開示の実施形態及び実施形態が実施され得る方法を示す。本開示を実行するいくつかのモードが開示されているが、当業者は、本開示を実行又は実施するための他の実施形態もまた可能であることを認識するであろう。

【0017】

一態様では、本開示の実施形態は、表示装置のために画像を処理し、前記表示装置に少なくとも通信可能に接続されたシステムを提供する。前記表示装置は、少なくとも１つの第１の画像レンダラと、少なくとも１つの第２の画像レンダラと、を備える。前記システムは、画像ソースと、前記画像ソースに通信可能に接続された少なくとも１つのプロセッサと、を備える。前記画像ソースは、入力画像を生成するように利用される。前記少なくとも１つのプロセッサは、
・ 第１の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられ、
・ 第２の画像を生成するべく前記入力画像を処理するように構成され、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、
前記少なくとも１つのプロセッサ、又は前記表示装置のプロセッサは、前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像をレンダリングするように構成され、前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされる。

【0018】

別の態様では、本開示の実施形態は、表示装置のために画像を処理する方法を提供する。前記表示装置は、少なくとも１つの第１の画像レンダラと、少なくとも１つの第２の画像レンダラと、を備える。前記方法は、
・ 画像ソースから入力画像を取得することと、
・ 第１の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられる、前記処理することと、
・ 第２の画像を生成するべく前記入力画像を処理することであって、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整される、前記処理することと、
を含み、
前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像がレンダリングされる。前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされる。

【0019】

更に別の態様では、本開示の実施形態は、プログラム命令が記憶された非一時的機械可読データ記憶媒体を備えるコンピュータプログラム製品を提供する。前記プログラム命令は、処理デバイスによってアクセスされると、該処理デバイスに、
・ 画像ソースから入力画像を取得させ、
・ 第１の画像を生成するべく前記入力画像を処理させ、該処理において、前記第１の画像の少なくとも第１の領域が前記入力画像の対応する領域に対してぼかされ、前記第１の画像の前記第１の領域の輝度が、前記入力画像の前記対応する領域の輝度に対して下げられ、
・ 第２の画像を生成するべく前記入力画像を処理させ、該処理において、前記第２の画像が、前記入力画像のトリミングされた領域に対応し、前記第２の画像の輝度が、前記第１の画像の前記第１の領域の輝度に応じて調整され、
前記処理デバイスは、表示装置に通信可能に接続され、前記表示装置は、少なくとも１つの第１の画像レンダラと、少なくとも１つの第２の画像レンダラと、を備える。前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像がレンダリングされる。前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされる。

【0020】

本開示は、前述のシステム、方法、及びコンピュータプログラム製品を提供する。有利な点として、このシステムを介して生成された画像は、表示装置のユーザに中心窩画像を表示するために、表示装置でレンダリングされ、光学的に組み合わせることができる。更に、そのような中心窩画像をユーザが見ると、該画像の解像度の変動は、通常の人間の目の解像度と同様となる。特に、少なくとも１つのプロセッサによって生成された第１の画像及び第２の画像の解像度及び輝度は、そのような第１及び第２の画像を光学的に組み合わせることによって最適な中心窩画像が形成されるように調整される。更に、第１の画像及び第２の画像によると、それらが光学的に組み合わされる際のわずかなずれが補償可能であるため、表示装置を使用して視覚的シーンを見るユーザの体験は、そのようなわずかなずれがあっても適切に維持される。

【0021】

本開示全体において、「表示装置」という用語は、動作中の表示装置がユーザの頭に装着されたときに、シミュレーション環境をユーザに提示するように構成される専用機器を指す。このような場合、表示装置は、シミュレーション環境の視覚的シーンをユーザに提示するように操作可能なデバイスとして機能する（例えば、仮想現実ヘッドセット、仮想現実眼鏡、拡張現実ヘッドセット、拡張現実眼鏡、複合現実ヘッドセット、複合現実眼鏡など）。表示装置は、「ヘッドマウント表示装置」とも総称され得る。

【0022】

システムは、表示装置の画像を処理する。これら画像の集合により、シミュレーション環境の視覚的シーンが構築される。言い換えれば、視覚的シーンは一連の入力画像で構成される。一例では、視覚的シーンは仮想現実動画であり得る。別の例では、視覚的シーンは、教育用拡張現実動画であり得る。更に別の例では、視覚的シーンは複合現実ゲームであり得る。前述のシステム及び前述の方法は、表示装置のための単一の入力画像のみを処理することに限定されず、視覚的シーンを構成する一連の入力画像を処理するために使用できることが理解されよう。そのような場合、本明細書で説明される画像処理ステップは、一連の入力画像における各入力画像について実行される。

【0023】

システムは、少なくとも通信可能に表示装置に接続されている。このような通信可能な接続により、システムは、処理された画像を表示装置に送信する。いくつかの実装では、システムは表示装置と統合されている。そのような実施形態では、システムは、表示装置に物理的に接続されている（例えば、機械的及び電気的接続を介して表示装置の構成要素に取り付けられている）。別の実装では、システムは、表示装置とは別の遠隔装置に実装される。実施形態によっては、システムは遠隔装置に搭載される。遠隔装置の例としては、ドローンやロボットが挙げられるが、これらに限定されない。そのような場合、遠隔装置は、所与の実世界環境に物理的に配置され、一方、表示装置のユーザは、遠隔装置から離れた（例えば、距離を空けた）場所に存在する。そのような実施形態では、システムと表示装置は、有線通信インターフェース又は無線通信インターフェースを介して通信可能に接続される。

【0024】

本開示全体において、「画像レンダラ」という用語は、操作されると、所与の画像をレンダリングする機器を指す。特に、少なくとも１つの第１の画像レンダラ及び少なくとも１つの第２の画像レンダラは、操作されると、それぞれ第１の画像及び第２の画像をレンダリングする。

【0025】

実施形態によっては、該少なくとも１つの第１の画像レンダラ及び／又は該少なくとも１つの第２の画像レンダラは、少なくとも１つのディスプレイとして実装される。そのような場合、本明細書で使用される「ディスプレイ」という用語は、所与の画像を表示するように構成された機器（例えば、多層ディスプレイなど）を指す。特に、所与の画像は、少なくとも１つのディスプレイの画像レンダリング面（例えば、表示層又は表示画面など）に表示される。実施形態によっては、該少なくとも１つのディスプレイは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースのディスプレイ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースのディスプレイ、マイクロＯＬＥＤベースのディスプレイ、及びＬＣｏＳ（Liquid Crystal on Silicon）ベースのディスプレイ、ブラウン管ベースのディスプレイからなる群から選択される。

【0026】

実施形態によっては、該少なくとも１つの第１の画像レンダラ及び／又は該少なくとも１つの第２の画像レンダラは、少なくとも１つのプロジェクタと、それに関連付けられた投影面として実装される。そのような場合、投影面は、少なくとも１つのプロジェクタが所与の画像を投影する画像レンダリング面として機能する。実施形態によっては、単一の投影面が、所与の画像の別々の部分を投影面に投影するために使用される別々のプロジェクタ間で共有され得る。実施形態によっては、該少なくとも１つのプロジェクタは、ＬＣＤベースのプロジェクタ、ＬＥＤベースのプロジェクタ、ＯＬＥＤベースのプロジェクタ、ＬＣｏＳベースのプロジェクタ、ＤＬＰ（Digital Light Processing）ベースのプロジェクタ、及びレーザープロジェクタからなる群から選択される。

【0027】

実施形態によっては、少なくとも１つの第１の画像レンダラは第１の表示解像度を有し、第１の画像を第１の表示解像度でレンダリングするために使用され、一方、少なくとも１つの第２の画像レンダラは第２の表示解像度を有し、第２の画像を第２の表示解像度でレンダリングするために使用される。実施形態によっては、この点に関して、第１のディスプレイ解像度は、第２のディスプレイ解像度よりも低い。

【0028】

本開示全体において、「画像ソース」という用語は、使用されると、処理される画像を生成する機器を指す。そのような処理された画像は、その後、表示装置で利用される。画像ソースは、入力画像を生成するために使用される。画像ソースを使用して、単一の入力画像ならびに複数の入力画像を生成することができることが理解されよう。

【0029】

実施形態によっては、画像ソースは、所与の実世界のシーンの画像を撮影するために使用される少なくとも１つのカメラを含み、この画像は、入力画像を生成するために利用されるものである。このような場合、所与の実世界のシーンの画像を入力画像として直接利用することもできるし、これを処理して入力画像を生成することもできる。

【0030】

更に／あるいは、実施形態によっては、画像ソースは、入力画像を生成するコンピュータを含む。一実施形態では、入力画像は完全にコンピュータによって生成される。別の実施形態では、コンピュータは、入力画像を生成するために、所与の実世界のシーン（少なくとも１つのカメラによって撮影された）の画像を処理する。例えば、コンピュータは、所与の実世界のシーンの画像にコンピュータグラフィックスを追加して入力画像を生成することができる。

【0031】

本開示全体において、「入力画像を生成する」という表現は、以下のいずれかを意味するために使用されている。
・少なくとも１台のカメラを使用して所与の実世界のシーンの画像を撮影し、その画像を入力画像として使用。
・コンピュータを使用してコンピュータグラフィックスを生成し、そのコンピュータグラフィックスを入力画像として使用。
・少なくとも１台のカメラを使用して所与の実世界のシーンの画像を撮影し、入力画像を生成するためにコンピュータを使用して所与の実世界のシーンの画像にコンピュータグラフィックスを追加。

【0032】

実施形態によっては、前記表示装置は、ユーザの視線方向を検出する手段を備え、前記少なくとも１つのプロセッサは、
・ 前記手段から、前記検出されたユーザの視線方向を示す情報を受信し、
・ 前記検出されたユーザの視線方向に基づいて、前記入力画像を生成するべく前記画像ソースを制御する
ように構成される。

【0033】

本開示全体において、「視線方向を検出する手段」という用語は、表示装置のユーザが表示装置を介して視覚的シーンを見るときに、表示装置のユーザの視線方向を検出及び／又は追随するための専用機器を指す。特に、表示装置が動作時にユーザによって装着されると、ユーザの視線方向が検出される。実施形態によっては、視線方向を検出するための手段は、センサを備えたコンタクトレンズ、ユーザの目の瞳孔の位置を監視するカメラなどによって実現される。視線方向を検出するための該手段は、当技術分野において公知である。有利な点として、注視方向を検出するための手段は、レンダリングされた第１の画像及びレンダリングされた第２の画像の投影の光路に干渉しないように配置される。ユーザの検出された視線方向を示す情報を受信すると、少なくとも１つのプロセッサは、ユーザの視線方向に従って入力画像を生成するように画像ソースを制御する。このような場合、ユーザの視線が集中している視覚的シーンの一部が、生成された入力画像に視覚的に表され、その後ユーザに対して表示される。これにより、視覚的シーンを構成する入力画像がユーザの視線に応じて撮影されるため、視覚的シーンへの没入感をユーザに提供可能となる。即ち、少なくとも１つのプロセッサは、ユーザの視線方向に従って入力画像を生成することにより、ユーザに表示される視覚的シーンを調整する。

【0034】

実施形態によっては、画像ソースは、少なくとも１つのカメラを含み、システムは、該少なくとも１つのカメラの向きを調整するための少なくとも１つのアクチュエータを更に含む。少なくとも１つのプロセッサは、ユーザの検出された視線方向に基づき、少なくとも１台のカメラの向きを調整するために少なくとも１つのアクチュエータを制御するように構成される。特に、少なくとも１つのカメラの向きは、ユーザの視線方向に従って入力画像を生成するために、前述の方法で調整される。具体的には、少なくとも１つのカメラの向きを調整することによって、少なくとも１つのカメラによって撮影された入力画像が、ユーザの視線が集中した視覚的シーンの一部を示すように、少なくとも１つのカメラのパース及び／又は視野が調整される。本開示全体において、「アクチュエータ」という用語は、少なくとも１つのカメラの向きを調整するために使用可能な機器（例えば、電気部品、機械部品、磁気部品、ポリマー部品など）を指す。特に、少なくとも１つのアクチュエータは、動作時に作動信号によって少なくとも１つのカメラの向きを調整する。作動信号は、機械的トルク、電流、油圧、空気圧などであり得ることが理解されよう。更に、実施形態によっては、少なくとも１つのアクチュエータは、ユーザの検出された視線方向に基づいて、少なくとも１つのカメラを傾斜、回転、及び／又は平行移動するように使用される。

【0035】

実施形態によっては、前記表示装置は、ユーザの頭部の向きを追跡する手段を備える。前記少なくとも１つのプロセッサは、
・ 前記手段から、前記ユーザの頭部の向きを示す情報を受信し、
・ 前記ユーザの頭部の向きに基づいて、前記入力画像を生成するべく前記画像ソースを制御する
ように構成される。

【0036】

本開示全体において、「頭部の向きを追跡する手段」という用語は、表示装置がユーザによって着用されたときに、ユーザの頭部の向きを検出及び追随するための専用機器を指す。ユーザの頭部の向きは、正面、横向き、上向き、下向き、又はそれらの任意の組合せであり得ることが理解されよう。所与の時点に、ユーザの現在の頭の向きを示す情報が、表示装置から少なくとも１つのプロセッサに送信される。それを受けて、少なくとも１つのプロセッサは、該情報を利用して画像ソースを制御し、前記ユーザの現在の頭部の向きによる視点から入力画像を生成する。前述の方法で画像ソースを制御することで、少なくとも１つのプロセッサは、ユーザの頭部の向きに従って入力画像を生成することによって、ユーザに表示される視覚的シーンを調整することを可能にする。このような適切な視点の入力画像（画像ソースにより生成）が表示装置を介してユーザに表示されると、ユーザは、視覚的シーン内で没入感及びリアルな感覚を得る。ユーザの頭部の向きを追跡する手段の例として、ジャイロスコープ、加速計などが挙げられるが、これらに限定されない。

【0037】

実施形態によっては、画像ソースは、少なくとも１つのカメラを含み、システムは、少なくとも１つのカメラの向きを調整するための少なくとも１つのアクチュエータを更に含む。少なくとも１つのプロセッサは、ユーザの頭部の向きに基づいて該少なくとも１つのカメラの向きを調整するように、該少なくとも１つのアクチュエータを制御するように構成される。特に、少なくとも１つのアクチュエータは、少なくとも１つのカメラの向きを（例えば、回転、傾斜などによって）ユーザの頭部の向きと同様になるように調整する。その結果、少なくとも１台のカメラは、ユーザの頭部と同じ視点から入力画像を撮影するように適切に配置される。

【0038】

本開示全体において、「プロセッサ」という用語は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組合せを指す。前記システムの該少なくとも１つのプロセッサは、このシステムの動作を制御する。少なくとも１つのプロセッサは、画像ソースに通信可能に接続されている。画像ソースが少なくとも１つのカメラを含み、この少なくとも１つのカメラが遠隔装置に取り付けられている場合、少なくとも１つのプロセッサは、該少なくとも１つのカメラに物理的に接続されていてもよいし、されていなくてもよい。画像ソースがコンピュータを含む場合、少なくとも１つのプロセッサは、該コンピュータに物理的に接続されていてもよいし、されていなくてもよい。画像ソースが少なくとも１つのカメラ及びコンピュータを含む場合、少なくとも１つのプロセッサは、該画像ソースに物理的に接続されていても、されていなくてもよい。

【0039】

前記少なくとも１つのプロセッサは、前記第１の画像を生成するべく前記入力画像を処理するように構成される。本開示全体において、「第１の画像」という用語は、入力画像の低解像度表現を指す。即ち、第１の画像の解像度は入力画像の解像度よりも低い。

【0040】

特に、第１の画像の少なくとも第１の領域は、入力画像の対応する領域に対してぼかされている。即ち、第１の画像の第１の領域は、入力画像の対応する領域と比較して、視覚的な詳細が少ないように映る。第１の画像の第１の領域は、入力画像の対応する領域に比べてソフトに映る。いくつかの実装では、第１の画像の第１の領域のみが、入力画像の対応する領域に対してぼかされているが、別の実装では、第１の画像の少なくとも１つの第２の領域も、入力画像の少なくとも１つの対応する領域に対してぼかされている。

【0041】

更に、第１の画像の第１の領域の輝度は、入力画像の対応する領域の輝度に対して下げられる。即ち、第１の画像の第１の領域の所与の画素の輝度は、入力画像の対応する画素の輝度以下である。第１の画像の第１の領域は、入力画像の対応する領域と比較して暗く映る。

【0042】

実施形態によると、第１の画像を生成するべく入力画像を処理する際、前記少なくとも１つのプロセッサは、
・ 入力画像の解像度と、第１の画像について実現される解像度とに基づいて、入力画像をスケールダウンすることで、部分処理画像を生成し、
・ 第１の画像の第１の領域に対応する部分処理画像の第１の領域の画素値にぼかしフィルタを適用することで、ぼかし画像を生成し、
・ 第１の画像の第１の領域に対応するぼかし画像の第１の領域の画素値に減光効果を適用することで、第１の画像を生成する
ように構成される。このような場合、入力画像は所望の解像度（即ち、第１の画像について実現される解像度）にスケールダウンされ、次に、第２の画像に光学的に重なるはずの第１の画像の第１の領域のみがぼかされて暗く映るように、ぼかしフィルタ及び減光効果が適用される。

【0043】

本開示全体において、「部分処理画像」という用語は、第１の画像を生成するべく入力画像を処理する際に生成される中間画像を指す。特に、部分処理画像の解像度は、第１の画像について実現される解像度と同じとなる。第１の画像について実現される解像度は、少なくとも１つの第１の画像レンダラの第１の表示解像度に依存する。部分処理画像は入力画像のスケールダウン版であるため、この部分処理画像は入力画像に比べて視覚的な詳細が低減されている。部分処理画像の第１の領域は、第１の画像の第１の領域に対応し、一方、部分処理画像の残りの領域は、第１の画像の残りの領域に対応する。部分処理画像は、入力画像よりも解像度が低いが、入力画像と同じ視覚情報を表すことが理解されよう。入力画像は、少なくとも１つの画像処理アルゴリズム（例えば、ミップマッピング、ボックスサンプリング、Ｌａｎｃｚｏｓリサンプリング、ｓｉｎｃリサンプリングなど）により部分処理画像を生成するようにスケールダウンされる。そのような画像処理アルゴリズムは本技術において公知である。

【0044】

本開示全体において、所与の画素の「画素値」という用語は、所与の画素の輝度を指す。特に、「画素値」という用語は、次のいずれかを示すように使用される。
・所与の画像がグレースケール画像の画素である場合、その画素の輝度。
・所与の画像がカラー画像の画素である場合、その画素の色の輝度。

【0045】

本開示全体において、「ぼかし画像」という用語は、第１の画像を生成するべく入力画像を処理する際に生成される別の中間画像を指す。特に、実施形態によっては、部分処理画像の第１の領域のすべての画素の画素値にぼかしフィルタが適用されて、ぼかし画像が生成される。部分処理画像の第１の領域は第１の画像の第１の領域に対応するため、第１の画像を生成するためにぼかし画像が使用される場合、第１の画像の第１の領域はぼかされる。第１の画像の第１の領域は、入力画像の対応する領域に対してぼかされる必要があるため、部分処理画像の第１の領域の画素値にぼかしフィルタが適用されることが理解されよう。

【0046】

更に、実施形態によっては、ぼかし画像の第１の領域内のすべての画素の画素値に減光効果が適用されて、第１の画像が生成される。特に、ぼかし画像の第１の領域は、第１の画像の第１の領域に対応し、また、部分処理画像（ぼかしフィルタを適用）の第１の領域にも対応する。ぼかし画像の第１の領域は第１の画像の第１の領域に対応するため、減光効果が適用されたぼかし画像を使用して第１の画像が生成される場合、第１の画像の第１の領域を（前述のようにぼかされていることに加えて）暗くする。即ち、第１の画像は前述の暗くぼかされた画像を使用して生成されるため、第１の画像の第１の領域の輝度は、入力画像の第１の領域の輝度に対して下げられる。

【0047】

実施形態によっては、部分処理画像を生成するべく入力画像がスケールダウンされる範囲は、入力画像の解像度の、第１の画像について実現される解像度に対する倍数に比例する。例として、入力画像のサイズが１６０００×１６０００画素であり、少なくとも１つの第１画像レンダラの第１表示解像度が２０００×２０００画素である場合、第１画像について実現される解像度も２０００×２０００画素となる。このような場合、入力画像の解像度は、第１の画像について実現される解像度の４倍である。そのような例では、３つのミップマップＭ１、Ｍ２及びＭ３が入力画像に対して生成され得、ミップマップＭ１は８０００×８０００画素を有する部分処理画像を生成し、ミップマップＭ２は４０００×４０００画素を有する部分処理画像を生成し、ミップマップＭ３は２０００×２０００画素の部分処理画像を生成する。したがって、ミップマップＭ３の部分処理画像は、第１の画像を生成するべく入力画像を処理する際に、少なくとも１つのプロセッサによって使用される。

【0048】

実施形態によっては、ぼかしフィルタは、空間ローパスフィルタ、空間バンドパスフィルタ、ピラミッド型フィルタの少なくともいずれかによって実装される。実施形態によっては、ぼかしフィルタは線形有限インパルス応答フィルタである。あるいは、実施形態によっては、ぼかしフィルタは非線形無限インパルス応答フィルタである。

【0049】

一例として、ぼかしフィルタは、空間ローパスフィルタを介して実装し得る。そのような例では、３×３画素カーネル（即ち、３×３画素カーネルマスク）は、画素ごとに、部分処理画像の第１の領域の画素値と畳み込まれ得る。部分処理画像の第１の領域の画素値は、３×３画素カーネルの係数で畳み込まれ、３×３画素カーネルは１画素だけシフトされ、部分処理画像の第１の領域の画素値は、再び３×３画素カーネルの係数で畳み込まれ、３×３画素カーネルは再び１画素シフトされる、と続く。特に、部分処理画像の第１の領域の周波数領域特性は、３×３画素カーネルの係数によって定義される。

【0050】

実施形態によっては、ぼかした画像に必要なぼかし効果が得られるまで、部分処理画像の第１の領域の画素値に繰り返しぼかしフィルタが適用される。即ち、ぼかした画像に必要なぼかし効果が得られるまで、所与の回数だけ繰り返してぼかしフィルタが適用される。一例として、部分処理画像の第１の領域の画素値に３回繰り返してぼかしフィルタが適用され、ぼかされた画像において必要なぼかし効果が実現され得る。

【0051】

実施形態によっては、前記ぼかし画像の前記第１の領域の所与の画素に前記減光効果が適用される。これは、前記所与の画素の輝度を下げること、前記所与の画素の周囲に隣接する複数の画素の画素値の平均を決定し、該平均画素値を前記所与の画素に適用すること、前記ぼかし画像のミップマップから前記所与の画素の低減画素値を決定し、該低減画素値を前記所与の画素に適用すること、の少なくともいずれかによって行われる。

【0052】

一例では、所与の画素の輝度に１未満の数を掛けて、所与の画素の輝度を下げることにより、所与の画素を暗くすることができる。そのような場合、所与の画素の初期輝度がＸであるとすると、所与の画素の初期輝度に、例えば、０．５を掛けて、所与の画素の結果として生じる輝度を０．５×Ｘとして得ることができる。結果として得られる輝度は確実に初期輝度よりも小さいため、所与の画素に減光効果が適用される。

【0053】

別の例では、ぼかされた画像の第１の領域の所与の画素は、Ｙに等しい輝度を有し得、一方、その隣接する画素は、０に等しい輝度を有し得る。ぼかされた画像の第１レベルのミップマップは、所与の画素の２倍の大きさの第１の画素を生じ得、この第１の画素の輝度は０．５×Ｙとなる。ぼかされた画像の第２レベルのミップマップは、第１の画素の２倍の大きさの第２の画素を生じ得、この第２の画素の輝度は０．２５×Ｙとなる、と続く。第１の画素又は第２の画素の輝度値は、所与の画素の低減画素値であり、所与の画素に適用されて、所与の画素に減光効果を適用することができる。

【0054】

別の実施形態では、前記第１の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、
・ 前記入力画像の解像度と、前記第１の画像について実現される解像度とに基づいて、前記入力画像をスケールダウンすることで、部分処理画像を生成し、
・ 前記第１の画像の前記第１の領域に対応する前記部分処理画像の第１の領域の画素値に減光効果を適用することで、減光画像を生成し、
・ 前記第１の画像の前記第１の領域に対応する前記減光画像の第１の領域の画素値にぼかしフィルタを適用することで、前記第１の画像を生成する
ように構成される。このような場合、入力画像は所望の解像度（即ち、第１の画像について実現される解像度）にスケールダウンされ、次に、第２の画像と光学的に重なる第１の画像の第１の領域のみが暗くぼかされて映るように、減光効果及びぼかしフィルタが適用される。

【0055】

実施形態によっては、部分処理画像の第１の領域のすべての画素の画素値に減光効果が適用されて、減光画像を生成する。本開示全体において、「減光画像」という用語は、第１の画像を生成するべく入力画像を処理する際に生成される更に別の中間画像を指す。特に、部分処理画像の第１の領域は、第１の画像の第１の領域に対応する。その結果、第１の画像が減光画像を使用して生成される場合、第１の画像の第１の領域を暗くする。即ち、第１の画像が減光画像を使用して生成される場合、第１の画像の第１の領域の輝度は、入力画像の第１の領域の輝度に対して下げられる。

【0056】

実施形態によっては、前記部分処理画像の前記第１の領域の所与の画素に前記減光効果が適用される。これは、前記所与の画素の輝度を下げること、前記所与の画素の周囲に隣接する複数の画素の画素値の平均を決定し、該平均画素値を前記所与の画素に適用すること、前記部分処理画像のミップマップから前記所与の画素の低減画素値を決定し、該低減画素値を前記所与の画素に適用すること、の少なくともいずれかによって行われる。

【0057】

更に、実施形態によっては、減光画像の第１の領域内のすべての画素の画素値にぼかしフィルタが適用されて、第１の画像を生成する。減光画像の第１の領域は第１の画像の第１の領域に対応するため、ぼかしフィルタが適用された減光画像を使用して第１の画像が生成される際場合、第１の画像の第１の領域を（前述のようにぼかされていることに加えて）暗くする。第１の画像の第１の領域は、入力画像の対応する領域に対してぼかされる必要があるため、暗くされた画像の第１の領域の画素値にぼかしフィルタが適用されることが理解されよう。

【0058】

実施形態によっては、第１の画像に必要なぼかし効果が得られるまで、減光画像の第１の領域の画素値に繰り返しぼかしフィルタが適用される。即ち、第１の画像に必要なぼかし効果が得られるまで、所与の回数だけ繰り返してぼかしフィルタが適用される。一例として、減光画像の第１の領域の画素値に２回繰り返しぼかしフィルタが適用され、第１の画像において必要なぼかし効果を実現することができる。

【0059】

更に別の実施形態では、前記第１の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、
（ａ）前記入力画像の所与の画素と、前記所与の画素に隣接する複数の画素と、を含む画素アレイを選択することと、
（ｂ）該アレイの、残りの画素よりも明るい、少なくとも１つの画素の画素値を破棄することと、
（ｃ）前記残りの画素の画素値の平均を計算することで、前記第１の画像又は中間画像の所与の画素の画素値を決定することと、
によって前記第１の画像の前記第１の領域を生成するように構成される。

【0060】

特に、そのような実施形態は、第１の画像の第１の領域がぼかされ、入力画像の対応する領域に対してより低い輝度を有するように第１の画像の第１の領域が生成される非線形画像処理技術に関する。本開示全体において、所与の画素の「隣接する画素」という用語は所与の画素に隣接する画素を指す。動作（ｂ）は、（ｃ）で第１の画像又は中間画像の所与の画素の画素値を決定する前に、前記アレイの最も明るい画素の画素値を確実に除外可能にする。前記アレイの残りの画素は、（（ｂ）で破棄される前記アレイの少なくとも１つの画素に対して）比較的暗い画素を含む。結果として、第１の画像の所与の画素の（ｃ）で決定された画素値は、入力画像の所与の画素の元の画素値から変化する。更に、残りの画素の画素値の平均は、（ｃ）で所与の画素の画素値として決定されるため、第１の画像もぼかされる。前述の動作（ａ）から（ｃ）は、第１の画像の第１の領域に対応する入力画像の領域内のすべての画素について実行されることが理解されよう。

【0061】

実施形態によっては、第１の画像を生成するべく入力画像を処理する際に、少なくとも１つのプロセッサは、必要なぼかし及び必要な減光効果が、第１の画像の第１の領域について実現されるまで、前述の動作（ａ）から（ｃ）を繰り返し実行するように構成される。

【0062】

本開示全体において、「中間画像」という用語は、第１の画像を生成するべく入力画像を処理する際に生成される更に別の中間画像を指す。いくつかの実装では、中間画像を生成することなく第１の画像を生成するべく入力画像が処理される。そのような実装では、動作（ａ）から（ｃ）を実行する単一のインスタンスによって生成された第１の画像の第１の領域は、入力画像の対応する領域に対して暗くなり、ぼかされる。別の実装では、１つの中間画像の生成を介して第１の画像を生成するべく入力画像が処理される。このような実装では、動作（ａ）から（ｃ）が２回繰り返し実行される。最初の実行では、入力画像を使用して１つの中間画像が生成される。二度目の実行において、該１つの中間画像を使用して、第１の画像の第１の領域が、入力画像の対応する領域に対して暗くされると同時にぼかされるように生成される。更に他の実装では、複数の中間画像の生成を介して第１の画像を生成するべく入力画像が処理される。そのような実装では、動作（ａ）から（ｃ）は、第１の画像の第１の領域が、入力画像の対応する領域に対して暗くされると同時にぼかされるように生成されるまで、繰り返し実行される。

【0063】

一例では、（ａ）で選択された画素のアレイは、入力画像の所与の画素及び該所与の画素の３つの隣接する画素を含む画素の２×２アレイであり得る。アレイ内の４つの画素は、画素値Ａ、０．５×Ａ、０．６×Ａ、及び０．１×Ａを有し得、所与の画素は、０．６×Ａに等しい画素値を有する。（ｂ）では、４つの画素のアレイの中で最も明るい画素の画素値が破棄され得る。このような例では、画素値「Ａ」が破棄され得る。その後、（ｃ）において、残りの画素の画素値の平均を計算することによって、第１の画像又は中間画像の所与の画素の画素値が決定され得る。そのような例では、第１の画像又は中間画像の所与の画素の画素値は、０．４×Ａに等しいと決定され得る（画素値０．５×Ａ、０．６×Ａ及び０．１×Ａの平均を計算）。

【0064】

実施形態によっては、第１の画像を生成するべく入力画像を処理する際に、少なくとも１つのプロセッサは、入力画像の解像度及び第１の画像について実現される解像度に基づいて、前述の動作（ａ）から（ｃ）を繰り返し実行するように構成される。即ち、前述の動作（ａ）から（ｃ）が、第１の画像に必要な解像度が実現されるまで繰り返し実行される。いくつかの実装では、動作（ａ）から（ｃ）は１回だけ実行され、中間画像を生成することなく第１の画像を生成するべく入力画像が処理される。別の実装では、動作（ａ）から（ｃ）は、複数回繰り返し実行され、各繰り返しで、新しい中間画像が生成される。そのような実装では、第１の画像は、複数回の繰り返しの最後の（即ち、最終の）繰り返しの完了時に生成される。一例では、前記第１の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、
・ 前記中間画像の所与の画素と、前記所与の画素の隣接する複数の画素と、を含む画素アレイを選択することと、
・ 該アレイの、残りの画素よりも明るい、少なくとも１つの画素の画素値を破棄することと、
・ 前記残りの画素の画素値の平均を計算することで、前記第１の画像又は後続の中間画像の所与の画素の画素値を決定することと、
によって前記第１の画像の前記第１の領域を生成するように構成される。

【0065】

更に別の実施形態では、前記第１の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、
（ｉ）前記入力画像の所与の画素の周囲に隣接する複数の画素を選択することと、
（ｉｉ）前記隣接する複数の画素の画素値の平均を計算することで、平均画素値を決定することと、
（ｉｉｉ）前記入力画像の前記所与の画素の元の画素値と前記平均画素値のうちの最小値を選択することで、前記第１の画像又は中間画像の所与の画素の画素値を決定することと、
によって前記第１の画像の前記第１の領域を生成するように構成される。

【0066】

特に、そのような実施形態は、第１の画像の第１の領域がぼかされ、入力画像の対応する領域に対してより低い輝度を有するように第１の画像の第１の領域が生成される別の非線形画像処理技術に関する。（ｉｉ）で平均画素値を決定すると、入力画像の所与の画素にぼかし効果を実行することにより、第１の画像の第１の領域をぼかされる。（ｉｉｉ）で第１の画像又は中間画像の所与の画素の画素値を決定する方法により、第１の画像の第１の領域が入力画像の対応する領域に対して暗くされる。これは、前記入力画像の前記所与の画素の元の画素値と（ｉｉ）で決定された前記平均画素値のうちの、より低い値（即ち、より低い輝度値）が選択されることによる。前述の動作（ｉ）から（ｉｉｉ）は、第１の画像の第１の領域に対応する入力画像の領域内のすべての画素について実行されることが理解されよう。

【0067】

実施形態によっては、第１の画像を生成するべく入力画像を処理する際に、少なくとも１つのプロセッサは、第１の画像の第１の領域に必要なぼかし及び必要な減光効果が実現されるまで、上述の動作（ｉ）から（ｉｉｉ）を繰り返し実行するように構成される。

【0068】

一例では、入力画像の所与の画素の周囲に隣接する３つの画素が、（ｉ）で選択され得る。隣接する３つの画素は、画素値Ｂ、０．７×Ｂ、０．１×Ｂを有し得、入力画像の所与の画素は、０．３×Ｂに等しい画素値を有する。（ｉｉ）において、隣接する複数の画素の画素値の平均を計算することによって平均画素値が決定される。そのような例では、平均画素値は、０．６×Ｂであり得る（画素値Ｂ、０．７×Ｂ、及び０．１×Ｂの平均を計算）。その後、（ｉｉｉ）において、入力画像の所与の画素の元の画素値（即ち、０．３×Ｂ）と決定された平均画素値（即ち、０．６×Ｂ）のうちの最小値を選択することにより、第１の画像又は中間画像の所与の画素の画素値が決定される。このような例では、第１の画像又は中間画像の所与の画素の画素値は、０．３×Ｂであると決定される。

【0069】

実施形態によっては、第１の画像を生成するべく入力画像を処理する際に、少なくとも１つのプロセッサは、入力画像の解像度及び第１の画像について実現される解像度に基づいて、前述の操作（ｉ）から（ｉｉｉ）を繰り返し実行するように構成される。即ち、前述の操作（ｉ）から（ｉｉｉ）は、第１の画像に必要な解像度が実現されるまで繰り返し実行される。いくつかの実装では、操作（ｉ）から（ｉｉｉ）は１回だけ実行され、中間画像を生成することなく第１の画像を生成するべく入力画像が処理される。別の実装では、操作（ｉ）から（ｉｉｉ）は、複数回繰り返し実行され、各繰り返しで、所与の中間画像が生成される。そのような実装では、第１の画像は、複数回の繰り返しの最後の（即ち、最終の）繰り返しの完了時に生成される。一例では、前記第１の画像を生成するべく前記入力画像を処理する際、前記少なくとも１つのプロセッサは、
・ 前記中間画像の所与の画素の周囲に隣接する複数の画素を選択することと、
・ 前記隣接する複数の画素の画素値の平均を計算することで、平均画素値を決定することと、
・ 前記中間画像の前記所与の画素の元の画素値と前記平均画素値のうちの最小値を選択することで、前記第１の画像又は後続の中間画像の所与の画素の画素値を決定することと、
によって前記第１の画像の前記第１の領域を生成するように構成される。

【0070】

実施形態によっては、前記平均は加重平均である。このような場合、画素値の平均が計算される画素のセットが与えられると、そのセットの一部の画素値は、同セットの他の画素値よりも前記平均に大きく寄与する。一例として、所与の画素群の加重平均を計算することによって所与の画素の画素値を決定することにより、該所与の画素に対してガウスぼかし効果が実施可能になり得る。

【0071】

あるいは、実施形態によっては、前記平均は非加重平均である。このような場合、画素値の平均が計算される画素のセットが与えられると、そのセットのすべての画素値が前記平均に等しく寄与する。一例として、所与の画素群の非加重平均を計算することによって所与の画素の画素値を決定することにより、該所与の画素に対してボックスぼかし効果が実施可能になり得る。

【0072】

少なくとも１つのプロセッサは、第２の画像を生成するべく入力画像を処理するように構成される。本開示全体において、「第２の画像」という用語は、、「第２の画像」という用語は、入力画像からトリミングされた入力画像の領域を指す。即ち、第２の画像は、入力画像のトリミングされた領域に対応する。特に、第２の画像は、入力画像から抽出される（即ち、切り取られる）ため、入力画像と同じ解像度を有する。第１の画像は入力画像の低解像度表現であるのに対し、第２の画像は入力画像と同じ解像度を有するため、第２の画像の解像度は第１の画像の解像度よりも高いことが理解されよう。

【0073】

更に、第２の画像は、第１の画像の第１の領域と同じ入力画像の領域に対応する。即ち、入力画像のトリミングされた領域（第２の画像に対応する）は、第１の画像の第１の領域に対応する入力画像の領域と同じである。

【0074】

第２の画像の輝度は、第１の画像の第１の領域の輝度に応じて調整される。前述のように、第１の画像の第１の領域は、入力画像の対応する領域と比較して輝度が低い。更に、第２の画像は、第１の画像の第１の領域と同じ入力画像の領域に対応するため、第２の画像の輝度は、レンダリングされた第２の画像の投影とレンダリングされた第１の画像の第１の領域の投影が重なる場合に、入力画像の対応する領域が元の輝度を有するものとして映るように調整される必要がある。

【0075】

実施形態によっては、第２の画像を生成するべく入力画像を処理する際、少なくとも１つのプロセッサは、第２の画像の所与の画素の画素値と、第１の画像の第１の領域の対応する画素の画素値の合計が、入力画像の対応する画素の元の画素値からの所与の閾値内となるように、第２の画像の画素値を計算するように構成され、レンダリングされた第２の画像の所与の画素の投影は、レンダリングされた第１の画像の第１の領域の対応する画素の投影に光学的に組み合わされる。即ち、第２の画像の所与の画素の画素値は、入力画像の対応する画素の元の画素値と第１の画像の第１の領域の対応する画素の画素値との間の差から所与の閾値内となる。前述の光学的組合せにより、第２の画像の所与の画素の画素値と第１の画像の第１の領域の対応する画素の画素値が加算的に組み合わされて、その結果としての画素値が得られる。この画素値は、入力画像の対応する画素の元の画素値から所与の閾値内とされ、これにより、レンダリングされた第２の画像の投影とレンダリングされた第１の画像の第１の領域の投影との光学的組合せに基づいて、入力画像の対応する画素の元の画素値が正確に複製される。

【0076】

実施形態によっては、所与の閾値は、入力画像の対応する画素の元の画素値の＋／－１０％である、。言い換えると、実施形態によっては、第２の画像の所与の画素の画素値と、第１の画像の第１の領域の対応する画素の画素値の合計が、入力画像の対応する画素の元の画素値の－１０％から入力画像の対応する画素の元の画素値＋１０％以内となる。一例では、入力画像の対応する画素の元の画素値がＭである場合、第２の画像の所与の画素の画素値と第１の画像の第１の領域の対応する画素の画素値の合計が０．９×Ｍと１．１×Ｍの範囲内となる。第２の画像の所与の画素の画素値と第１の画像の第１の領域の対応する画素の画素値の合計は、例えば、０．９×Ｍ、０．９５×Ｍ、Ｍ、１．０５×Ｍ又は１．１×Ｍに等しくなり得る。

【0077】

第１の画像の解像度は第２の画像の解像度よりも低いため、第１の画像の任意の所与の画素について、第２の画像の複数の対応する画素が常に存在することが理解されよう。実施形態によっては、前記少なくとも１つのプロセッサは、
・ 前記第１の画像の所与の第１の画素に対応する前記第２の画像の複数の画素を決定し、
・ 前記入力画像の対応する画素の輝度と、前記第１の画像の前記所与の第１の画素の輝度とに基づいて、前記第２の画像の前記複数の画素のうちの所与の第２の画素の輝度を決定する
ように構成される。前記所与の第２の画素の輝度は、前記入力画像の前記対応する画素の輝度と前記第１の画像の前記所与の第１の画素の輝度との差から所与の閾値内にある。

【0078】

実施形態によっては、この点に関して、所与の閾値は、入力画像の対応する画素の輝度と第１の画像の所与の第１の画素の輝度との間の差の＋／－１０％である。

【0079】

一例では、第１の画像及び第２の画像の解像度は、第１の画像の１つの画素が第２の画像の９つの画素に対応するようなものであり得る。このような場合、更に第１の画像の１つの画素は、入力画像の９つの画素にも対応する。特に、第２の画像の９つの画素のそれぞれの画素値は、第２の画像の所与の画素の画素値と第１の画像の該１つの画素の画素値の合計が、入力画像の対応する画素の元の画素値からの所与の閾値内となるように計算され得る。換言すれば、第２の画像の９つの画素のそれぞれの画素値は、入力画像の９つの画素のうちの対応する画素の画素値から第１の画像の１つの画素の画素値を引くことによって計算され得る。例えば、入力画像の９つの画素すべての元の画素値はＺに等しくなり得る。第１の画素を生成するべくこのような入力画像を処理する場合、第１の画像の該１つの画素の画素値は０．７×Ｚとなり得る。このような場合、第２の画像の９つの画素のそれぞれの画素値は、入力画像（即ち、値Ｚ）の９つの画素のうちの対応する画素の画素値から第１の画像（即ち、値０．７×Ｚ）の１つの画素の画素値を引くことによって計算され得る。その結果、第２の画像の９つの画素すべての画素値は、０．３×Ｚであると決定され得る。

【0080】

低い画素値を有する第２の画像が少なくとも１つの第２の画像レンダラでレンダリングされる場合、この少なくとも１つの第２の画像レンダラの寿命が延長され得ることが理解されよう。例えば、少なくとも１つの第２の画像レンダラが少なくとも１つの有機ＬＥＤ（ＯＬＥＤ）ベースのディスプレイによって実装され、低い画素値を有する第２の画像が少なくとも１つの第２の画像レンダラでレンダリングされる場合、少なくとも１つのＯＬＥＤベースのディスプレイの画素は通常、このディスプレイに必要な輝度及び時間に基づいて消耗するため、少なくとも第２の画像レンダラの寿命は延長される。

【0081】

実施形態によっては、前記少なくとも１つのプロセッサは、前記第１の画像の前記第１の領域内の第１の遷移領域が、前記第１の遷移領域の外周から前記第１の遷移領域の内周に向かって褪せていき、前記第２の画像内の第２の遷移領域が、前記第２の遷移領域の内周から前記第２の遷移領域の外周に向かって褪せていくように、前記第１の画像及び第２の画像を生成するように構成され、前記第１及び第２の画像がレンダリングされると、前記第１の遷移領域の投影が、前記第２の遷移領域の投影に実質的に重なる。第１の画像の第１の領域内の第１の遷移領域及び第２の画像内の第２の遷移領域を退色させる該方法は、第１の遷移領域及び第２の遷移領域の投影が重なるときの網戸効果を低減することを可能にする。更に、第１の遷移領域及び第２の遷移領域を退色させる前述の方法は、第１及び第２の画像がレンダリングされる際に、第１の遷移領域の投影と第２の遷移領域の投影との滑らかかつ漸進的な融合を可能にする。第１の遷移領域及び第２の遷移領域を退色させるための画像処理技術は、当技術分野で公知である。上記において、「実質的に重なる」とは、第１の遷移領域の対応する画素と第２の遷移領域の画素との間の不整合が、０から１０画素、更に実施形態によっては０から５画素の範囲内にあることを意味する。

【0082】

本開示全体において、「第１の遷移領域」という用語は、可変輝度を有する第１の画像の領域を指し、第１の画像の輝度は、第１の遷移領域の外周から第１の遷移領域の内周に向かって減少する。特に、第１の遷移領域の内周に囲まれた第１の画像の領域は、第１の遷移領域の外周の外側にある第１の画像の領域と比較して、輝度が低い。言い換えれば、第１の遷移領域の外周の外側にある第１の画像の領域は最大の（実施形態によっては均一な）輝度を有し、第１の遷移領域は可変の輝度を有し、第１の遷移領域の内周に囲まれた第１の画像の領域は最小の（実施形態によっては均一な）輝度を有する。第１の遷移領域は、第１の画像の前述の２つの領域の間にある中間領域であることが理解されよう。実施形態によっては、第１の画像の第１の領域は、第１の遷移領域及び第１の遷移領域の内周に囲まれた第１の画像の領域に対応する。

【0083】

本開示全体において、「第２の遷移領域」という用語は、可変輝度を有する第２の画像の領域を指し、第２の画像の輝度は、第２の遷移領域の内周から第２の遷移領域の外周に向かって減少する。実施形態によっては、第２の遷移領域は、第２の画像の境界に沿って存在する。更に、第２の遷移領域の内周に囲まれた第２の画像の領域は、最大の（実施形態によっては均一な）輝度を有する。実施形態によって、少なくとも１つのプロセッサが前述の方法で退色を実行する場合、第１の画像及び第２の画像は、レンダリングされると、互いにシームレスに融合するように映る。その結果、第１及び第２の画像が表示装置を介してレンダリングされると、ユーザには視覚的シーンの単一の画像が見える。このような画像は、実質的に均一な輝度と可変解像度（第１の画像は第２の画像よりも解像度が低いため）を有する。

【0084】

実施形態によっては、第１の遷移領域の幅は、第１の画像の幅の１％から１０％に相当する。更に実施形態によっては、第１の遷移領域の幅は、第１の画像の幅の５％から１０％に相当する。例えば、第１の画像の幅がＷ１ミリメートルであるとすると、第１の遷移領域の幅は０．０１×Ｗ１、０．０２×Ｗ１、０．０３×Ｗ１、０．０４×Ｗ１、０．０５×Ｗ１、０．０６×Ｗ１、０．０７×Ｗ１、０．０８×Ｗ１、０．０９×Ｗ１又は０．１×Ｗ１ミリメートルとなる。同様に、実施形態によっては、第２の遷移領域の幅は、第２の画像の幅の１％から１０％に相当する。更に実施形態によっては、第２の遷移領域の幅は、第２の画像の幅の５％から１０％に相当する。例えば、第２の画像の幅がＷ２ミリメートルであるとすると、第２の遷移領域の幅は０．０１×Ｗ２、０．０２×Ｗ２、０．０３×Ｗ２、０．０４×Ｗ２、０．０５×Ｗ２、０．０６×Ｗ２、０．０７×Ｗ２、０．０８×Ｗ２、０．０９×Ｗ２又は０．１×Ｗ２ミリメートルとなる。

【0085】

実施形態によっては、第１の遷移領域の幅は、第２の遷移領域の幅と等しい。あるいは、実施形態によっては、第１の遷移領域の幅及び第２の遷移領域の幅は等しくない。

【0086】

一例では、第１の画像は、５センチメートル（５０ミリメートル）に等しい幅を有し得る。このような場合、第１の遷移領域の幅は１ミリメートルであり得る（第１の画像の幅の２％に相当する）。そのような例では、第２の画像は、２センチメートル（２０ミリメートル）に等しい幅を有し得る。このような場合、第２の遷移領域の幅は１ミリメートルであり得る（第２の画像の幅の５％に相当する）。

【0087】

実施形態によっては、前記少なくとも１つのプロセッサは、前記入力画像に関するシーン情報に基づいて、前記第１の画像及び第２の画像を生成するように構成され、前記シーン情報は、前記入力画像により提示される視覚的シーンの種類と、前記視覚的シーン内に存在する少なくとも１つの物体又は該少なくとも１つの物体の少なくとも一部のテクスチャと、前記視覚的シーン内に存在する少なくとも１つの物体又は該少なくとも１つの物体の少なくとも一部の材料カテゴリと、の少なくともいずれかに関する情報を含む。特に、入力画像は、一般にそれに関連する特定の特性を有する様々な物体及び／又は特徴を表現する。このような特性に関する情報は、入力画像の「シーン情報」を構成する。そのような特性の例には、視覚的特性、材料組成、音声特性、触覚的特性、及び物理的相互作用特性が含まれるが、これらに限定されない。入力画像に関するシーン情報は、少なくとも１つのプロセッサによって抽出されるか、又は画像ソースから取得され得る。一例として、画像ソースがコンピュータを含む場合、シーン情報は、入力画像とともに提供され得る。「視覚的シーンの種類」という用語は、入力画像に描写されている視覚的シーンの性質を指す。視覚的シーンの種類の例としては、「屋内環境」（例えば、入力画像が家の部屋を描写する場合）、「屋外環境」（例えば、入力画像が浜辺、公園を描写する場合など）、「コンピュータグラフィックス」（例えば、入力画像が仮想現実のチュートリアルを描写する場合）などが挙げられる。次に、「視覚的シーン内に存在する少なくとも１つの物体又は該少なくとも１つの物体の少なくとも一部のテクスチャ」は、滑らかなテクスチャ、粗いテクスチャ、高い空間周波数を有するテクスチャ、低い空間周波数を有するテクスチャなどであり得る。次に、「視覚的シーン内に存在する少なくとも１つの物体又は該少なくとも１つの物体の少なくとも一部の材料カテゴリ」は、少なくとも１つの物体を作ることができる材料の種類を指す。特に、少なくとも１つの物体は、単一の材料又は複数の材料で生成され得る。少なくとも１つの物体が複数の材料でできている場合、少なくとも１つの物体の異なる部分は、異なる材料でできていてもよい。材料カテゴリの例には、布、石、金属、木材、葉、プラスチック、ガラス、レンガ、水、皮革、塗装、タイルが含まれるが、これらに限定されない。

【0088】

実施形態によっては、少なくとも１つのプロセッサは、入力画像の画像コンテンツを分析して、入力画像に関するシーン情報を決定するように構成される。このような場合、少なくとも１つのプロセッサは、入力画像の画像コンテンツを分析して、入力画像に関するシーン情報を抽出する。入力画像の画像コンテンツの該分析は、少なくとも１つのプロセッサが、第１の画像及び第２の画像を生成しながら、画像処理操作を正しく実施することを可能にする。このために、少なくとも１つのプロセッサはパラメータ化されたモデル又は機械学習を利用し得る。パラメータ化されたモデルは、実施形態によっては、第１の画像及び第２の画像を生成するための画像処理パラメータを決定するために分析される複数のパラメータを含む。あるいは、機械学習手法は、入力画像の画像コンテンツを分析するために、入力画像のテスト選択及びレンダリング時の入力画像のテスト選択の見た目に関するユーザフィードバックを利用することによって、少なくとも１つのプロセッサを訓練することに関する。例えば、入力画像の画像コンテンツの分析に基づいて、少なくとも１つのプロセッサは、ぼかしフィルタを適用しながら画素カーネルのサイズを調整し、減光効果が適用される範囲を調整することなどが可能である。一例として、入力画像の画像コンテンツを分析することで、少なくとも１つのプロセッサは、入力画像が晴天（テクスチャ又はエッジのない屋外環境）を描写していると判断し得る。そのような場合、少なくとも１つのプロセッサは、入力画像を処理して、第１の画像のみを生成し、少なくとも１つの第１の画像レンダラで第１の画像のみをレンダリングすることができる。

【0089】

実施形態によっては、該分析は、画像ソースが少なくとも１つのカメラを含む場合にのみ実行される。実施形態によっては、少なくとも１つのプロセッサは、入力画像の画像コンテンツを分析するために少なくとも１つの画像処理アルゴリズムを使用する。そのような少なくとも１つの画像処理アルゴリズムの例として、パターン認識アルゴリズム、エッジ検出アルゴリズム、コンピュータビジョンアルゴリズム（例えば、自己位置推定とマッピングの同時実行（Simultaneous Localization and Mapping：ＳＬＡＭ）アルゴリズム、モーションからの構造（Structure from Motion：ＳｆＭ）アルゴリズム、スケール不変特徴変換（Scale-Invariant Feature Transform：ＳＩＦＴ）、高速化ロバスト特徴（Speeded-Up Robust Features：ＳＵＲＦ）アルゴリズムなど）、及び人工知能アルゴリズム（例えば、少なくとも１つのニューラルネットワークをトレーニングするための深層学習アルゴリズムなど）が挙げられるが、これらに限定されない。

【0090】

更に、実施形態によっては、少なくとも１つのプロセッサは、入力画像の画像コンテンツを少なくとも１つの前の入力画像の画像コンテンツと比較して、視覚的シーン内の少なくとも１つの物体の動きを検出する。

【0091】

少なくとも１つのプロセッサ、又は表示装置のプロセッサは、少なくとも１つの第１の画像レンダラで第１の画像をレンダリングする一方で、少なくとも１つの第２の画像レンダラで第２の画像をレンダリングするように構成される。レンダリングされた第２の画像の投影が、レンダリングされた第１の画像の第１の領域の投影と実質的に重なるように、レンダリングされた第１の画像の投影は、レンダリングされた第２の画像の投影と光学的に組み合わされる。所与の画像が所与の画像レンダラでレンダリングされると、所与の画像の投影が所与の画像レンダラから発せられる。特に、レンダリングされた第１の画像の投影は、レンダリングされた第２の画像の投影と光学的に組み合わされて、組み合わされた投影を形成する。組み合わされた投影がユーザの目に入射すると、ユーザには２つの個別の画像ではなく、視覚的シーンの単一の画像が見える。前述のように、入力画像の同じ領域が、異なる解像度で第２の画像と第１の画像の第１の領域に表示される。具体的には、入力画像の該領域は、第１の画像の第１の領域と比較して、第２の画像においてより高い解像度で表される。したがって、入力画像の前記領域の光学的歪みを回避するために、レンダリングされた第２の画像の投影は、レンダリングされた第１の画像の第１の領域の投影と実質的に重なる。更に、レンダリングされた第２の画像の投影及びレンダリングされた第１の画像の第１の領域の投影は、入力画像の対応する領域がその元の輝度を有するものとして映るように、加算的に組み合わされる。上記において、「実質的に重なる」とは、第２の画像の対応する画素と第１の画像の第１の領域の画素との間の不整合が、０から１０画素、更に実施形態によっては０から５画素の範囲内にあることを意味する。

【0092】

ユーザに見える入力画像の解像度は可変であるため、人間の視覚系の中心窩特性を模倣することが理解されよう。入力画像はユーザには、光学的に重なった第２の画像及び第１の画像の第１の領域に対応する領域においてより高い解像度を有する一方で、入力画像の残りの領域においては比較的低い解像度を有するように映る。その結果、入力画像を見るユーザの体験の大幅な向上が図られる。

【0093】

本開示全体において、所与の画像の「投影」という用語は、所与の画像が少なくとも１つの画像レンダラによってレンダリングされる際に、該所与の画像から発する光線の集合を指す。所与の画像の投影（即ち、光線の集合）は、ユーザの目に到達する前に、表示装置の様々な構成要素を透過し、かつ／あるいは反射され得る。本開示の実施形態の目的のために、「所与の画像の投影」という用語は、光線の集合が透過し、かつ／あるいは反射されるかは無関係に、一貫して使用されている。

【0094】

実施形態によっては、少なくとも１つのプロセッサ、又は表示装置のプロセッサは、第１の画像及び第２の画像を実質的に同時にレンダリングする。特に、第１及び第２の画像を実質的に同時にレンダリングすることにより、ユーザには２つの個別の画像ではなく、完全な入力画像が見えるように、入力画像全体をレンダリングすることが可能となる。「実質的に同時に」とは、第１の画像をレンダリングする時点と第２の画像をレンダリングする時点とが、２００ミリ秒以内、更に実施形態によっては２０ミリ秒以内にあることを意味する。

【0095】

一部の実装では、前記少なくとも１つのプロセッサは、前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像をレンダリングするように構成される。別の実装では、前記表示装置のプロセッサは、前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像をレンダリングするように構成される。

【0096】

実施形態によっては、前記表示装置は、ユーザの視線方向を検出する手段を備える。前記少なくとも１つのプロセッサは、
・ 前記手段から、前記検出されたユーザの視線方向を示す情報を受信し、
・ 前記検出されたユーザの視線方向に基づいて、前記入力画像の関心領域を決定し、
・ 前記入力画像の前記関心領域に基づいて、前記第１の画像及び前記第２の画像を生成するべく前記入力画像を処理する
ように構成される。前記第２の画像及び前記第１の画像の前記第１の領域は、前記入力画像の前記関心領域に実質的に対応する。

【0097】

「関心領域」という用語は、ユーザが入力画像を見るときにユーザの視線方向が向けられる（即ち、焦点を合わせる）入力画像の領域を指す。言い換えると、関心領域は、入力画像内の固定領域である。ユーザの視線方向が関心領域に焦点を合わせると、関心領域はユーザの目の中心窩に向けられ、入力画像の残りの領域（１又は複数）と比較してはるかに詳細に解像される。したがって、関心領域が高解像度の第２の画像によって描画されるように第１の画像及び第２の画像を生成するべく入力画像が処理される。したがって、第１の画像の第１の領域（第２の画像が光学的に重なる）もまた、関心領域を描画する。更に、ユーザの視線方向は通常、視覚的シーンを見ている間に変化するため、視覚的シーンの入力画像ごとに、第１及び第２の画像が前述の方法で有利に生成され、関心領域を常に高解像度で（つまり、視覚的に非常に詳細に）表現できる。このようなユーザの視線方向に応じた入力画像の動的処理により、入力画像から視線に応じた第１及び第２の画像が生成可能である。そのような視線に応じた第１及び第２の画像が、それぞれ、少なくとも１つの第１の画像レンダラ及び少なくとも１つの第２の画像レンダラでレンダリングされることで、アクティブな中心窩視覚（foveation）が表示装置において実現される。

【0098】

上述の「第２の画像及び第１の画像の第１の領域は、入力画像の関心領域に実質的に対応する」という表現は、第２の画像及び第１の画像の第１の領域が入力画像の関心領域の少なくとも８０％、実施形態によっては少なくとも９０％、更に実施形態によっては少なくとも９５％に相当することを意味する。

【0099】

実施形態によっては、前記表示装置は、レンダリングされた第１の画像の投影をレンダリングされた第２の画像の投影と光学的に組み合わせるための少なくとも１つの光学素子を更に備える。表示装置のプロセッサは、検出されたユーザの視線方向に基づいて、レンダリングされた第１の画像の第１の領域の投影及びレンダリングされた第２の画像の投影が集中する少なくとも１つの光学素子の領域を決定し、レンダリングされた第１の画像の第１の領域の投影及びレンダリングされた第２の画像の投影が少なくとも１つの光学素子の前記領域に集中するように調整するように構成される。少なくとも１つの光学素子は、「少なくとも１つの光学コンバイナ」とも称され得る。本明細書において、「光学素子」という用語は、レンダリングされた第１及び第２の画像の投影を光学的に組み合わせるための機器（例えば、光学部品など）を指す。少なくとも１つの光学素子は動作時、レンダリングされた第１及び第２の画像の投影を光学的に結合して、結合された投影を構成する。実施形態によっては、少なくとも１つの光学素子は、レンダリングされた第２の画像の投影及び第１の画像の第１の領域の投影がユーザの目の中心窩に入射し、レンダリングされた第１の画像の残りの領域の投影がユーザの目の網膜の残りの領域に入射するように、レンダリングされた第１の画像の投影をレンダリングされた第２の画像の投影と光学的に組み合わせることができる。

【0100】

実施形態によっては、レンダリングされた第１の画像の第１の領域の投影及びレンダリングされた第２の画像の投影が集中する少なくとも１つの光学素子の領域は、入力画像の関心領域の位置に基づいて決定される。これにより、入力画像の残りの領域に対する関心領域の位置合わせに対応する方法で、レンダリングされた第１の画像の第１の領域の投影及びレンダリングされた第２の画像の投影を、レンダリングされた第１の画像の残りの領域の投影に対して光学的に位置合わせすることが可能になる。これにより、表示装置のユーザには、視覚的シーンが光学的に歪んでいないように映る。

【0101】

実施形態によっては、表示装置は、画像ステアリングユニットを含む。画像ステアリングユニットは、レンダリングされた第１の画像の第１の領域の投影及びレンダリングされた第２の画像の投影を、少なくとも１つの光学素子の該領域に集中するように調整を行うように構成される。本開示全体において、本明細書において使用される「画像ステアリングユニット」という用語は、レンダリングされた第１の画像の第１の領域の投影及びレンダリングされた第２の画像の投影を少なくとも１つの光学素子に集中させる位置を制御するための機器（例えば、光学素子、電気機械部品など）を指す。少なくとも１つの光学素子の前記領域は、ユーザの視線方向の変化に応じて変化することが理解されよう。そのような場合、画像ステアリングユニットは、レンダリングされた第１の画像の第１の領域の投影及びレンダリングされた第２の画像の投影が、少なくとも１つの光学素子の正しい領域に入射するように、レンダリングされた第１の画像の第１の領域の投影の光路及びレンダリングされた第２の画像の投影の光路を動的に調整する。これにより、表示装置内で、アクティブな中心窩視覚がシームレスに実現可能となる。

【0102】

実施形態によっては、少なくとも１つの画像ステアリングユニットは、少なくとも１つの第１の画像レンダラ、少なくとも１つの第２の画像レンダラ、少なくとも１つの光学素子の少なくともいずれかを動かすための、少なくとも１つのアクチュエータを備える。特に、そのような少なくとも１つのアクチュエータによって実現される動きは、少なくとも１つの第１の画像レンダラ、少なくとも１つの第２の画像レンダラ、少なくとも１つの光学素子の少なくともいずれかの、変位（水平及び／又は垂直）、回転及び／又は傾斜の少なくともいずれかを含む。

【0103】

実施形態によっては、該少なくとも１つの光学素子は、レンズ、ミラー、ハーフミラー、半透明フィルム、半透明可撓膜、プリズム、ビームスプリッタ、光導波路、偏光子の少なくともいずれかとして実装される。

【0104】

本開示はまた、上述の方法に関する。上述の開示された様々な実施形態及び変形例は、方法にも同様に適用される。

【0105】

実施形態によっては、前記第１の画像を生成するべく前記入力画像を処理する際、前記方法は、
・ 前記入力画像の解像度と、前記第１の画像について実現される解像度とに基づいて、前記入力画像をスケールダウンすることで、部分処理画像を生成することと、
・ 前記第１の画像の前記第１の領域に対応する前記部分処理画像の第１の領域の画素値にぼかしフィルタを適用することで、ぼかし画像を生成することと、
・ 前記第１の画像の前記第１の領域に対応する前記ぼかし画像の第１の領域の画素値に減光効果を適用することで、前記第１の画像を生成することと、
を含む。

【0106】

実施形態によっては、前記第１の画像を生成するべく前記入力画像を処理する際、前記方法は、
・ 前記入力画像の解像度と、前記第１の画像について実現される解像度とに基づいて、前記入力画像をスケールダウンすることで、部分処理画像を生成することと、
・ 前記第１の画像の前記第１の領域に対応する前記部分処理画像の第１の領域の画素値に減光効果を適用することで、減光画像を生成することと、
・ 前記第１の画像の前記第１の領域に対応する前記減光画像の第１の領域の画素値にぼかしフィルタを適用することで、前記第１の画像を生成することと、
を含む。

【0107】

実施形態によっては、前記第１の画像を生成するべく前記入力画像を処理する際、前記方法は、
（ａ）前記入力画像の所与の画素と、前記所与の画素に隣接する複数の画素と、を含む画素アレイを選択することと、
（ｂ）該アレイの、残りの画素よりも明るい、少なくとも１つの画素の画素値を破棄することと、
（ｃ）前記残りの画素の画素値の平均を計算することで、前記第１の画像又は中間画像の所与の画素の画素値を決定することと、
によって前記第１の画像の前記第１の領域を生成することを含む。

【0108】

実施形態によっては、前記第１の画像を生成するべく前記入力画像を処理する際、前記方法は、前記入力画像の解像度と、前記第１の画像について実現される解像度とに基づいて、前記（ａ）から（ｃ）の動作を繰り返し実行することを含む。

【0109】

実施形態によっては、前記第１の画像を生成するべく前記入力画像を処理する際、前記方法は、
（ｉ）前記入力画像の所与の画素の周囲に隣接する複数の画素を選択することと、
（ｉｉ）前記隣接する複数の画素の画素値の平均を計算することで、平均画素値を決定することと、
（ｉｉｉ）前記入力画像の前記所与の画素の元の画素値と前記平均画素値のうちの最小値を選択することで、前記第１の画像又は中間画像の所与の画素の画素値を決定することと、
によって前記第１の画像の前記第１の領域を生成することを含む。

【0110】

実施形態によっては、前記第１の画像を生成するべく前記入力画像を処理する際、前記方法は、前記入力画像の解像度と、前記第１の画像について実現される解像度とに基づいて、前記（ｉ）から（ｉｉｉ）の動作を繰り返し実行することを含む。

【0111】

実施形態によっては、前記第２の画像を生成するべく前記入力画像を処理する際、前記方法は、前記第２の画像の所与の画素の画素値と、前記第１の画像の前記第１の領域の対応する画素の画素値の合計が、前記入力画像の対応する画素の元の画素値からの所与の閾値内となるように、前記第２の画像の画素値を計算することを含む。前記レンダリングされた第２の画像の前記所与の画素の投影は、前記レンダリングされた第１の画像の前記第１の領域の前記対応する画素の投影に光学的に組み合わされる。

【0112】

実施形態によっては、前記方法は、前記第１の画像の前記第１の領域内の第１の遷移領域が、前記第１の遷移領域の外周から前記第１の遷移領域の内周に向かって褪せていき、前記第２の画像内の第２の遷移領域が、前記第２の遷移領域の内周から前記第２の遷移領域の外周に向かって褪せていくように、前記第１の画像及び第２の画像を生成することを含む。前記第１及び第２の画像がレンダリングされると、前記第１の遷移領域の投影が、前記第２の遷移領域の投影に実質的に重なる。

【0113】

実施形態によっては、前記方法は、前記入力画像に関するシーン情報に基づいて、前記第１の画像及び第２の画像を生成することを含む。前記シーン情報は、前記入力画像により提示される視覚的シーンの種類と、前記視覚的シーン内に存在する少なくとも１つの物体又は該少なくとも１つの物体の少なくとも一部のテクスチャと、前記視覚的シーン内に存在する少なくとも１つの物体又は該少なくとも１つの物体の少なくとも一部の材料カテゴリと、の少なくともいずれかに関する情報を含む。

【0114】

実施形態によっては、前記方法は、前記入力画像に関する前記シーン情報を決定するべく、前記入力画像の画像コンテンツを分析することを含む。

【0115】

実施形態によっては、該方法において、前記表示装置は、ユーザの視線方向を検出する手段を備え、前記方法は、
・ 前記手段から、前記検出されたユーザの視線方向を示す情報を受信することと、
・ 前記検出されたユーザの視線方向に基づいて、前記入力画像の関心領域を決定することと、
・ 前記入力画像の前記関心領域に基づいて、前記第１の画像及び第２の画像を生成するべく前記入力画像を処理することと、
を含む。前記第２の画像及び前記第１の画像の前記第１の領域は、前記入力画像の前記関心領域に実質的に対応する。

【0116】

実施形態によっては、該方法において、前記表示装置は、ユーザの視線方向を検出する手段を備え、前記方法は、
・ 前記手段から、前記検出されたユーザの視線方向を示す情報を受信することと、
・ 前記検出されたユーザの視線方向に基づいて、前記入力画像を生成するべく前記画像ソースを制御することと、
を含む。

【0117】

実施形態によっては、該方法において、前記画像ソースは、少なくとも１つのカメラを備え、前記方法は、前記検出されたユーザの視線方向に基づいて、前記少なくとも１つのカメラの向きを調整するべく少なくとも１つのアクチュエータを制御することを含む。

【0118】

実施形態によっては、該方法において、前記表示装置は、ユーザの頭部の向きを追跡する手段を備え、前記方法は、
・ 前記手段から、前記ユーザの頭部の向きを示す情報を受信することと、
・ 前記ユーザの頭部の向きに基づいて、前記入力画像を生成するべく前記画像ソースを制御することと、
を含む。

【0119】

実施形態によっては、該方法において、前記画像ソースは、少なくとも１つのカメラを備え、前記方法は、前記ユーザの頭部の向きに基づいて、前記少なくとも１つのカメラの向きを調整するべく少なくとも１つのアクチュエータを制御することを含む。

【0120】

本開示は上述のように、コンピュータプログラム製品にも関する。開示された各種実施形態及びその変形例は、コンピュータプログラム製品にも同様に適用される。

【図面の詳細説明】

【0121】

図１を参照すると、本開示の一実施形態による、表示装置１０２のために画像を処理するシステム１００の上位レベルアーキテクチャのブロック図が示されている。システム１００は、表示装置１０２に少なくとも通信可能に接続される。表示装置１０２は、少なくとも１つの第１の画像レンダラ（第１の画像レンダラ１０４として示される）及び少なくとも１つの第２の画像レンダラ（第２の画像レンダラ１０６として示される）を備える。システム１００は、画像ソース１０８と、画像ソース１０８に通信可能に接続された少なくとも１つのプロセッサ（プロセッサ１１０として示される）と、を備える。画像ソース１０８は、入力画像を生成するように利用される。少なくとも１つのプロセッサ１１０は、
・ 第１の画像を生成するべく入力画像を処理するように構成され、該処理において、第１の画像の少なくとも第１の領域が入力画像の対応する領域に対してぼかされ、第１の画像の第１の領域の輝度が、入力画像の対応する領域の輝度に対して下げられ、
・ 第２の画像を生成するべく入力画像を処理するように構成され、該処理において、第２の画像が、入力画像のトリミングされた領域に対応し、第２の画像の輝度が、第１の画像の第１の領域の輝度に応じて調整され、
少なくとも１つのプロセッサ１１０、又は表示装置１０２のプロセッサ１１２は、少なくとも１つの第２の画像レンダラ１０６で第２の画像をレンダリングしながら、少なくとも１つの第１の画像レンダラ１０４で第１の画像をレンダリングするように構成され、レンダリングされた第２の画像の投影が、レンダリングされた第１の画像の第１の領域の投影に実質的に重なるように、レンダリングされた第１の画像の投影は、レンダリングされた第２の画像の投影に光学的に組み合わされる。

【0122】

図１は、明確さのためにシステム１００を簡略化したアーキテクチャを含み、本明細書の請求の範囲を不当に制限するものではないことを当業者は理解されるであろう。当業者は、本開示の実施形態の多様な変形、変更、修正を認識されるであろう。

【0123】

図２を参照すると、本開示の一実施形態による、表示装置２０２のために画像を処理するシステム２００の上位レベルアーキテクチャのブロック図が示されている。システム２００は、表示装置２０２に少なくとも通信可能に接続される。表示装置２０２は、少なくとも１つの第１の画像レンダラ（第１の画像レンダラ２０４として示される）及び少なくとも１つの第２の画像レンダラ（第２の画像レンダラ２０６として示される）を備える。システム２００は、画像ソース２０８と、画像ソース２０８に通信可能に接続された少なくとも１つのプロセッサ（プロセッサ２１０として示される）と、を備える。表示装置２０２は更に、プロセッサ２１２を備えるように示される。

【0124】

表示装置２０２は、ユーザの視線方向を検出する手段２１４を更に備え、少なくとも１つのプロセッサ２１０は、
・ 手段２１４から、検出されたユーザの視線方向を示す情報を受信し、
・ 検出されたユーザの視線方向に基づいて、入力画像の関心領域を決定し、
・ 入力画像の関心領域に基づいて、第１の画像及び第２の画像を生成するべく入力画像を処理する
ように構成され、
第２の画像及び第１の画像の第１の領域は、入力画像の関心領域に実質的に対応する。

【0125】

これに関し、表示装置２０２は、レンダリングされた第１の画像の投影を、レンダリングされた第２の画像の投影に光学的に組み合わせるための、少なくとも１つの光学素子（光学素子２１６として示される）を更に備える。表示装置２０２のプロセッサ２１２は、検出されたユーザの視線方向に基づいて、レンダリングされた第１の画像の第１の領域の投影及びレンダリングされた第２の画像の投影が集中される、該少なくとも１つの光学素子２１６の領域を決定し、この光学素子２１６の領域上に、レンダリングされた第１の画像の第１の領域の投影及びレンダリングされた第２の画像の投影が集中するように調整を行うように構成される。

【0126】

少なくとも１つのプロセッサ２１０は、
・ 手段２１４から、検出されたユーザの視線方向を示す情報を受信し、
・ 検出されたユーザの視線方向に基づいて、入力画像を生成するべく画像ソース２０８を制御する
ように構成される。

【0127】

更に、表示装置２０２は、ユーザの頭部の向きを追跡する手段２１８を備え、
少なくとも１つのプロセッサ２１０は、
・ 手段２１８から、ユーザの頭部の向きを示す情報を受信し、
・ ユーザの頭部の向きに基づいて、入力画像を生成するべく画像ソース２０８を制御する
ように構成される。

【0128】

画像ソース２０８は、少なくとも１つのカメラ（カメラ２２０として示される）を備え、システム２００は、該少なくとも１つのカメラ２２０の向きを調整する、少なくとも１つのアクチュエータ（アクチュエータ２２２として示される）を更に備える。少なくとも１つのプロセッサ２１０は、検出されたユーザの視線方向及び／又はユーザの頭部の向きに基づいて、該少なくとも１つのカメラ２２０の向きを調整するように、少なくとも１つのアクチュエータ２２２を制御するように構成される。

【0129】

図２は、明確さのためにシステム２００を簡略化したアーキテクチャを含み、本明細書の請求の範囲を不当に制限するものではないことを当業者は理解されるであろう。当業者は、本開示の実施形態の多様な変形、変更、修正を認識されるであろう。

【0130】

図３を参照すると、本開示の一実施形態による、入力画像３００、第１の画像３０２、及び第２の画像３０４の概略図が示されている。入力画像３００は、第１の画像３０２及び第２の画像３０４を生成するべく処理される。図示のように、第２の画像３０４は入力画像３００のトリミングされた領域に対応する。

【0131】

図３は、明確さのために入力画像３００、第１の画像３０２及び第２の画像３０４を簡略化した例示的概略図を含み、本明細書の請求の範囲を不当に制限するものではないことを当業者は理解されるであろう。当業者は、本開示の実施形態の多様な変形、変更、修正を認識されるであろう。

【0132】

図４を参照すると、本開示の一実施形態による、それぞれ少なくとも１つの第１の画像レンダラ（第１の画像レンダラ４０６として示される）及び少なくとも１つの第２の画像レンダラ（第２の画像レンダラ４０８として示される）を介してレンダリングされた、第１の画像４０２及び第２の画像４０４の概略図が示されている。第２の画像４０４は、第１の画像４０２の第１の領域に実質的に重なるように映る。更に、第１の画像４０２の第１の領域内の第１の遷移領域は、第２の画像４０４内の第２の遷移領域と実質的に重なるように映る。このように第１及び第２の遷移領域が重なる領域は、領域Ａとして示される。

【0133】

図４は、明確さのために第１の画像４０２及び第２の画像４０４を簡略化した例示的概略図を含み、本明細書の請求の範囲を不当に制限するものではないことを当業者は理解されるであろう。当業者は、本開示の実施形態の多様な変形、変更、修正を認識されるであろう。第１の画像４０２及び第２の画像４０４の形状は、例えば楕円、多角形、又は円、あるいはそれに近いものであり得る。

【0134】

図５を参照すると、本開示の一実施形態による表示装置のために画像を生成する方法５００のステップが示されている。表示装置は、少なくとも１つの第１の画像レンダラと、少なくとも１つの第２の画像レンダラとを備える。

【0135】

ステップ５０２において、画像ソースから入力画像が取得される。ステップ５０４において、第１の画像の少なくとも第１の領域が入力画像の対応する領域に対してぼかされるように、第１の画像を生成するべく入力画像が処理される。第１の画像の第１の領域の輝度は、入力画像の対応する領域に対して下げられる。

【0136】

ステップ５０６において、第２の画像が入力画像のトリミングされた領域に対応するように、第２の画像を生成するべく入力画像が処理される。第２の画像の輝度は、第１の画像の第１の領域の輝度に応じて調整される。

【0137】

前記少なくとも１つの第２の画像レンダラで前記第２の画像をレンダリングしながら、前記少なくとも１つの第１の画像レンダラで前記第１の画像がレンダリングされる。前記レンダリングされた第２の画像の投影が、前記レンダリングされた第１の画像の前記第１の領域の投影に実質的に重なるように、前記レンダリングされた第１の画像の投影は、前記レンダリングされた第２の画像の投影に光学的に組み合わされる。

【0138】

ステップ５０２からステップ５０６は、単なる例示であって、明細書の特許請求の範囲から逸脱することなく、１つ以上のステップが追加されるか、１つ以上のステップが削除されるか、又は１つ以上のステップが異なる順序で提供される代替例も可能である。

【0139】

添付の特許請求の範囲によって定義される本開示の範囲から逸脱することなく、上述の本開示の実施形態に対する修正が可能である。本開示を説明及び請求するために使用される「含む」、「備える」、「組み込む」、「有する」、「である」などの表現は、非排他的に解釈されることが意図され、即ち、明示的に説明されていない、部材、構成要素、又は要素が存在することも可能である。単数での言及も、その複数のものにも関すると解釈されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】