特許 7141300 ライトフィールド表示装置及びそのライトフィールド画像の表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-13

(45)【発行日】2022-09-22

(54)【発明の名称】ライトフィールド表示装置及びそのライトフィールド画像の表示方法

(51)【国際特許分類】

   H04N 13/122 20180101AFI20220914BHJP

   H04N 13/307 20180101ALI20220914BHJP

   H04N 13/128 20180101ALI20220914BHJP

   G06T 19/00 20110101ALI20220914BHJP

   G06T 1/00 20060101ALI20220914BHJP

   G09G 5/36 20060101ALI20220914BHJP

   G09G 5/377 20060101ALI20220914BHJP

【ＦＩ】

H04N13/122

H04N13/307

H04N13/128

G06T19/00 F

G06T1/00 500B

G09G5/36 510V

G09G5/36 520L

【請求項の数】 21

(21)【出願番号】P 2018192247

(22)【出願日】2018-10-11

(65)【公開番号】P2019075784

(43)【公開日】2019-05-16

【審査請求日】2021-02-05

(31)【優先権主張番号】201710952001.X

(32)【優先日】2017-10-13

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】500093133

【氏名又は名称】中強光電股▲ふん▼有限公司

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】林 函萱

(72)【発明者】

【氏名】▲呉▼ 瑞翊

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０１４２６１５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／０２７１４６７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２０８３１７（ＵＳ，Ａ１）

【文献】特表２０１５－５２１２９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００－１３／３９８

Ｇ０６Ｔ １９／００－１９／２０

Ｇ０６Ｔ １／００

Ｇ０９Ｇ ５／００－５／４０

(57)【特許請求の範囲】

【請求項1】

ライトフィールド表示装置に用いられるライトフィールド画像の表示方法であって、
複数の奥行値を有する画像を提供するステップと、
互いに異なり且つ順に部分的に重なる複数の異なる拡張奥行値範囲に基づいて、前記画像中の前記複数の奥行値に対応する複数の画素をそれぞれ取り出して、複数の階層化画像を形成するステップと、
前記複数の階層化画像に基づいて、ライトフィールド画像を形成するステップと、
前記ライトフィールド画像に対応する信号を前記ライトフィールド表示装置のディスプレイに提供するステップとを含み、
前記複数の奥行値が前記画像の遠近程度を表し、且つ、前記複数の奥行値がそれぞれ前記複数の拡張奥行値範囲内にあり、
前記ライトフィールド表示装置は奥行値範囲を有し、前記画像の前記複数の奥行値が前記奥行値範囲中にあり、
前記画像から前記複数の階層化画像を形成する方法は、
前記奥行値範囲を順に複数のサブ奥行値範囲に分けるステップと、
前記複数のサブ奥行値範囲をそれぞれ前記複数の異なる拡張奥行値範囲に修正するステップと、
各拡張奥行値範囲に基づいて、前記画像から対応する各階層化画像を形成するステップとを含み、
前記複数のサブ奥行値範囲は範囲長さ値を有し、前記範囲長さ値が前記複数のサブ奥行値範囲の上限と下限の差であり、
各拡張奥行値範囲がその対応する各サブ奥行値範囲以上であることを特徴とする、ライトフィールド画像の表示方法。

【請求項2】

前記複数のサブ奥行値範囲を前記複数の異なる拡張奥行値範囲に修正する方法は、
前記複数のサブ奥行値範囲の数に基づいて、複数の範囲拡張値を決定するステップと、
前記複数の範囲拡張値をそれぞれ対応する前記複数のサブ奥行値範囲に加えて、前記複数の異なる拡張奥行値範囲を形成するステップとを含み、
前記複数の範囲拡張値が０以上であることを特徴とする請求項１に記載のライトフィールド画像の表示方法。

【請求項3】

前記複数の異なる拡張奥行値範囲中の最も小さい範囲下限に対応する前記範囲拡張値は０であることを特徴とする、請求項２に記載のライトフィールド画像の表示方法。

【請求項4】

前記複数の範囲拡張値が前記範囲長さ値の八分の一以下であることを特徴とする、請求項２記載のライトフィールド画像の表示方法。

【請求項5】

前記複数の範囲拡張値が前記奥行値範囲の全体長さ値の百二十八分の一以下であることを特徴とする、請求項２に記載のライトフィールド画像の表示方法。

【請求項6】

前記複数の範囲拡張値を前記複数のサブ奥行値範囲に加えて、前記複数の異なる拡張奥行値範囲を形成する方法は、
前記複数の範囲拡張値をそれぞれ前記複数のサブ奥行値範囲の上限及び下限に加えて、各拡張奥行値範囲を形成するステップと、
各拡張奥行値範囲がそれぞれ対応する各サブ奥行値範囲に取って代わるステップとを含むことを特徴とする、請求項２に記載のライトフィールド画像の表示方法。

【請求項7】

前記階層化画像はそれぞれ階層化奥行値を有し、
前記階層化奥行値は前記階層化画像が反映する拡張奥行値範囲中にあり、且つ、前記階層化奥行値を前記階層化画像の奥行値と見なすことを特徴とする、請求項１に記載のライトフィールド画像の表示方法。

【請求項8】

前記複数の階層化画像に基づいて前記ライトフィールド画像を形成するステップは、
前記複数の階層化画像及びそのそれぞれ対応する複数の前記階層化奥行値に基づいて、前記ライトフィールド画像を形成するステップを含むことを特徴とする、請求項７に記載のライトフィールド画像の表示方法。

【請求項9】

前記階層化画像それぞれが有する前記階層化奥行値は、その対応する各拡張奥行値範囲の平均値又は中央値であることを特徴とする、請求項７に記載のライトフィールド画像の表示方法。

【請求項10】

ライトフィールド表示装置であって、
ディスプレイ、レンズアレイ及びプロセッサーを含み、
前記ディスプレイはライトフィールド画像を提供し、且つ前記ライトフィールド画像が投射目標まで伝達され、
前記レンズアレイは前記ディスプレイの一方側に配置されて、前記ライトフィールド画像を前記投射目標まで伝達し、前記レンズアレイが前記ディスプレイと前記投射目標との間に位置し、
前記プロセッサーは前記ディスプレイに電気的に接続され、前記プロセッサーは複数の異なる拡張奥行値範囲に基づいて、画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出して、複数の階層化画像を形成し、且つ前記複数の階層化画像に基づいて前記ライトフィールド画像を形成し、前記ライトフィールド画像に対応する信号を前記ディスプレイに提供し、
前記複数の奥行値はそれぞれ前記複数の拡張奥行値範囲内にあり、前記奥行値は前記画像の遠近程度を表し、前記複数の異なる拡張奥行値範囲は互いに異なり且つ順に部分的に重なり、
前記ライトフィールド表示装置は奥行値範囲を含み、且つ前記画像の前記複数の奥行値が前記奥行値範囲中にあり、
前記奥行値範囲は複数のサブ奥行値範囲を順に含み、前記複数のサブ奥行値範囲が範囲長さ値を有し、
前記範囲長さ値は前記複数のサブ奥行値範囲の上限と下限の差であることを特徴とする、ライトフィールド表示装置。

【請求項11】

前記複数の異なる拡張奥行値範囲は前記複数のサブ奥行値範囲がそれぞれ修正されることで形成され、且つ、各拡張奥行値範囲がその対応する各サブ奥行値範囲以上であることを特徴とする、請求項１０に記載のライトフィールド表示装置。

【請求項12】

各階層化画像は前記プロセッサーが各拡張奥行値範囲に基づいて前記画像を修正することで形成されることを特徴とする、請求項１１に記載のライトフィールド表示装置。

【請求項13】

前記プロセッサーは前記複数のサブ奥行値範囲の数に基づいて複数の範囲拡張値を決定し、前記複数の範囲拡張値が０以上であることを特徴とする、請求項１１に記載のライトフィールド表示装置。

【請求項14】

前記複数の異なる拡張奥行値範囲は、前記複数の範囲拡張値がそれぞれ対応する前記複数のサブ奥行値範囲に加えられることで形成されることを特徴とする、請求項１３に記載のライトフィールド表示装置。

【請求項15】

前記複数の異なる拡張奥行値範囲中の最も小さい範囲下限に対応する前記範囲拡張値が０であることを特徴とする、請求項１４に記載のライトフィールド表示装置。

【請求項16】

前記複数の範囲拡張値が前記範囲長さ値の八分の一以下であることを特徴とする、請求項１５に記載のライトフィールド表示装置。

【請求項17】

前記範囲拡張値が前記奥行値範囲の全体長さ値の百二十八分の一であることを特徴とする、請求項１５に記載のライトフィールド表示装置。

【請求項18】

各拡張奥行値範囲は、前記複数の範囲拡張値がそれぞれ前記複数のサブ奥行値範囲の範囲上限と下限に加えられることで形成されることを特徴とする、請求項１４に記載のライトフィールド表示装置。

【請求項19】

前記階層化画像はそれぞれ階層化奥行値を有し、前記階層化奥行値がそれぞれ前記階層化画像の反映する拡張奥行値範囲中にあり、且つ前記階層化奥行値を前記階層化画像の奥行値と見なすことを特徴とする、請求項１０に記載のライトフィールド表示装置。

【請求項20】

前記ライトフィールド画像は、前記プロセッサーによって前記複数の階層化画像及びそのそれぞれ対応する複数の前記階層化奥行値に基づいて形成されることを特徴とする、請求項１９に記載のライトフィールド表示装置。

【請求項21】

前記階層化画像それぞれが有する前記階層化奥行値は、その対応する各拡張奥行値範囲の平均値又は中央値であることを特徴とする、請求項１９に記載のライトフィールド表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は表示装置及びその画像の表示方法に関し、特にライトフィールド表示装置及びそのライトフィールド画像の表示方法に関する。

【背景技術】

【0002】

一般的に、ライトフィールドニアアイディスプレイ技術は、ディスプレイを利用してライトフィールドアレイ画像を表示するとともに、レンズアレイを組み合わせることで、ユーザの目の中に像を形成する。ライトフィールドアレイ画像光束がレンズアレイを透過してユーザに伝達された時に、ユーザはレンズアレイを介してディスプレイの後に、奥行のある立体的虚像を見ることができる。しかし、一つのライトフィールドアレイ画像の形成は莫大のデータ演算を必要とするため、ライトフィールドアレイ画像を生成する情報がディスプレイに伝達された時に、演算を減らして画像処理を簡潔化するプロセスとして、例えば、奥行情報を有する立体画像をデジタル化の階層にして、画像処理を簡潔化することはよくある。しかし、画像を階層にする処理方法では、ライトフィールドアレイ画像の階層により奥行が分断された部分に欠陥が発生し、さらに画像にノイズが発生し、ユーザに不明確な立体的虚像が見えることがある。

【0003】

「背景技術」部分は本発明の内容に対する理解を促すものであり、「背景技術」部分で開示された内容に、当業者に知られている従来技術を構成しないものが含まれている可能性もある。「背景技術」部分で開示された内容は、当該内容又は本発明の一つ若しくは複数の実施例で解決しようとする課題が本発明の出願前に既に当業者に把握又は認識されていたことを意味するものではない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明はライトフィールド表示装置及びそのライトフィールド画像の表示方法を提供し、画像中の奥行の違いによる欠陥を改善し、観察者に立体的奥行のある高品質の画像を提供することができる。

【課題を解決するための手段】

【0005】

本発明のその他の目的と利点について、本発明が開示する技術的特徴からさらに理解を深めることができる。

【0006】

上記一つ、一部又は全ての目的、及びその他の目的を達成するために、本発明の一実施例はライトフィールド表示装置に適用されるライトフィールド画像の表示方法を提供し、ライトフィールド画像の表示方法が以下のステップを含む。複数の奥行値を有する画像を提供するステップ、奥行値が画像の遠近程度を表す。複数の異なる拡張奥行値範囲に基づいて、画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出して、複数の階層化画像を形成するステップ、複数の奥行値がそれぞれ複数の拡張奥行値範囲内にあり、拡張奥行値範囲が互いに異なり且つ順に部分的に重なる。階層化画像に基づいてライトフィールド画像を形成するステップ。ライトフィールド画像に対応する信号をライトフィールド表示装置のディスプレイに提供するステップ。

【0007】

上記一つ、一部又は全ての目的、及びその他の目的を達成するために、本発明の別の実施例はライトフィールド表示装置を提供し、ライトフィールド表示装置がディスプレイ、レンズアレイ及びプロセッサーを含む。ディスプレイはライトフィールド画像を提供する。レンズアレイはディスプレイの一方側に配置され、ライトフィールド画像を透過させる。プロセッサーはディスプレイに電気的に接続され、プロセッサーは複数の異なる拡張奥行値範囲に基づいて、画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出して、複数の階層化画像を形成し、且つ、階層化画像に基づいてライトフィールド画像を形成し、ライトフィールド画像に対応する信号をディスプレイに提供する。複数の奥行値がそれぞれ複数の拡張奥行値範囲内にあり、奥行値が画像の遠近程度を表し、拡張奥行値範囲が互いに異なり且つ順に部分的に重なる。

【0008】

以上により、本発明の実施例は少なくとも以下の利点又は効果のうちの一つを有する。本発明の実施例において、複数の奥行値を有する画像をプロセッサーに提供し、プロセッサーが複数の異なる拡張奥行値範囲に基づいて、画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出して、互いに異なり且つ順に部分的に重なる複数の階層化画像を形成し、さらに、これらの階層化画像に基づいてライトフィールド画像を形成し、複数の奥行値がそれぞれ複数の拡張奥行値範囲内にある。従って、ライトフィールド画像を形成する時に、階層化画像が部分的に重なるため、階層化画像の奥行が分断された部分に発生する欠陥を改善し、観察者に立体的奥行のある高品質な観察画像を提供する。

【0009】

本発明の上記特徴及び利点をより明確に、わかり易く示すべく、以下は実施例を挙げて、図面を参照しながら詳しく説明する。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施例のライトフィールド表示装置の概略図である。

【図2】本発明の一実施例中の複数の奥行値を有する画像の概略図である。

【図3】図２の画像を奥行値に基づいてグレースケール化した概略図である。

【図4A】図２の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。

【図4B】図２の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。

【図4C】図２の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。

【図4D】図２の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。

【図4E】図２の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。

【図4F】図２の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。

【図5A】図１のライトフィールド表示装置が階層化画像に基づいてライトフィールド画像を形成する概略図である。

【図5B】図５Ａのライトフィールド画像のディスプレイにおける概略図である。

【図6A】比較実施例のライトフィールド表示装置が階層化画像に基づいてライトフィールド画像を形成する概略図である。

【図6B】図６Ａのライトフィールド画像のディスプレイにおける概略図である。

【発明を実施するための形態】

【0011】

本発明の上記及びその他の技術内容、特徴及び効果は、以下図面に基づいて行われる好ましい実施例の詳細説明において明確に示されている。以下の実施例において言及される方向用語、例えば、上、下、左、右、前又は後などは図面を参照するための方向のみである。従って、これらの方向用語は説明目的のものであり、本発明を制限するものではない。

【0012】

図１は本発明の一実施例のライトフィールド表示装置の概略図である。図２は本発明の一実施例中の複数の奥行値を有する画像の概略図である。図１及び図２を参照すると、本実施例において、ライトフィールド表示装置１００はディスプレイ１２０、レンズアレイ１１０及びプロセッサー１３０を含む。ディスプレイ１２０はライトフィールド画像光束Ｆ１を提供する。レンズアレイ１１０は、ディスプレイ１２０の一方側に配置され、ライトフィールド画像光束Ｆ１を透過させる。プロセッサー１３０は、ディスプレイ１２０に電気的に接続され、ライトフィールド画像に対応する信号をディスプレイ１２０に提供し、且つ、ディスプレイ１２０によってライトフィールド画像光束Ｆ１が投射目標Ｐ、例えば人の目の瞳孔まで投射される。また、レンズアレイ１１０はディスプレイ１２０と投射目標Ｐとの間に配置される。使用上、外部画像源、例えばパーソナルコンピュータ又はその他の携帯式装置から、表示する必要がある画像であって奥行値を有する画像ＤＩがプロセッサー１３０に伝達され、なお、伝達方式として有線方式でも無線方式でもよい。プロセッサー１３０は奥行値を有する画像ＤＩをライトフィールド画像光束Ｆ１に変調し、ライトフィールド画像光束Ｆ１がディスプレイ１２０によって射出され、且つレンズアレイ１１０を通った後に投射目標Ｐに入り、投射目標Ｐにおいて像を形成する（例えば、ユーザの目の網膜において像を形成する）。なお、投射目標Ｐは、ユーザの目の瞳孔であっても、又は画像獲得装置（例えば、撮影機）の絞りであってもよく、本発明はこれに限定されない。このように、レンズアレイ１１０の視差特性によって、観察者は奥行値を有する仮想画像、つまり立体的奥行のある観察画像を見ることができる。

【0013】

図３は図２の画像を奥行値に基づいてグレースケール化した概略図である。図１から図３を参照すると、本実施例において、ライトフィールド画像Ｆ１の表示方法はライトフィールド表示装置１００に適用され、ライトフィールド画像Ｖ１の表示方法は以下のステップを含む。複数の奥行値を有する画像ＤＩを提供するステップ、これらの奥行値が画像の遠近程度を表す。言い換えれば、画像ＤＩ中の各領域の遠近程度を奥行値で示すことができる。詳しく言うと、上記ステップにおいて提供される画像ＤＩは、例えば複数の画素によって構成され、これらの画素がそれぞれ一つの奥行値情報を有するため、これら異なる奥行値情報を有する画素の組み合わせによって、図２が示すように、複数の奥行値を有する画像ＤＩが形成される。さらに例を挙げると、グレースケール値で説明すると明確に理解できるように、奥行値の範囲が例えば０から２５５に定義され、異なるグレースケールレベルによって、対応する奥行値の変化を表示し、即ち、図３が示すように、２５６種の異なるグレースケールレベルのグレースケール化画像ＤＩ’を表示することができる。

【0014】

図４Ａから図４Ｆはそれぞれ、図２の画像の異なる拡張奥行値範囲の階層化画像の概略図である。図１、図２、図４Ａから図４Ｆを同時に参照すると、上記ステップの後に続き、複数の異なる拡張奥行値範囲に基づいて、画像ＤＩ中の複数の奥行値に対応する複数の画素をそれぞれ取り出し、かつ、複数の奥行値がそれぞれ複数の拡張奥行値範囲内にあって、複数の階層化画像ＰＩ１、ＰＩ２、ＰＩ３、ＰＩ４、ＰＩ５、ＰＩ６を形成し、図４Ａから図４Ｆがそれぞれ示すように、これらの拡張奥行値範囲は互いに異なり、且つ順に部分的に重なる。具体的に言うと、本実施例において、プロセッサー１３０は、予め設定された複数の異なる拡張奥行値範囲に基づいて、複数の奥行値を有する画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出し、且つ、複数の奥行値がそれぞれ複数の拡張奥行値範囲内にあり、これらの階層化画像ＰＩ１、ＰＩ２、ＰＩ３、ＰＩ４、ＰＩ５、ＰＩ６を形成する。

【0015】

詳しく言うと、本実施例では、上記の複数の階層化画像を形成するステップにおいてさらに、画像ＤＩの奥行値範囲を順に複数のサブ奥行値範囲に分けて、複数のサブ奥行値範囲が一部の同じ範囲長さ値を有し、範囲長さ値は複数のサブ奥行値範囲の上限と下限の差である。例を挙げると、画像ＤＩの奥行値範囲は例えば０から２５５であり、従って、奥行値範囲０から２５５を順に複数のサブ奥行値範囲に分けることが可能であり、例えば６階層に分ける場合、順に０から４１、４２から８４、８５から１２７、１２８から１７０、１７１から２１２、及び２１３から２５５に分けて、且つ、それぞれ同じ又は近い範囲長さ値４１～４２を有する。なお、本実施例における「近い」範囲長さ値とは、できるだけ均一に分けて複数のサブ奥行値範囲にする場合、奥行値範囲の合計範囲長さをサブ奥行値範囲の数で割った時に整数が得られず、一部の範囲長さ値が１多く又は１少なくなることを意味する。

【0016】

続いて、上記ステップの後、プロセッサー１３０はこれらのサブ奥行値範囲をそれぞれ複数の拡張奥行値範囲に修正し、各拡張奥行値範囲はその対応する各サブ奥行値範囲以上である。言い換えれば、拡張奥行値範囲はこれらのサブ奥行値範囲をそれぞれ修正して得られたものである。詳しく言うと、本実施例において、上記ステップではさらに、複数のサブ奥行値範囲の数に基づいて複数の範囲拡張値を決定し、範囲拡張値が０以上であり、及び、これらの範囲拡張値がそれぞれ対応するサブ奥行値範囲に加えられて、拡張奥行値範囲を形成する。言い換えれば、サブ奥行値範囲の数に基づいて範囲拡張値を調整することが可能であり、さらにこれらの範囲拡張値をそれぞれサブ奥行値範囲に加えて、サブ奥行値範囲を増大させて、カバーする範囲が比較的に広い拡張奥行値範囲を形成する。一般的に、サブ奥行値範囲の数が大きい程、範囲拡張値が小さくなるが、サブ奥行値範囲の数が小さい程、範囲拡張値が大きくなる。

【0017】

本実施例において、上記のステップではさらに、これらの範囲拡張値をそれぞれ対応するサブ奥行値範囲の上限及び下限に加えて、各拡張奥行値範囲を形成し、及び、各拡張奥行値範囲がそれぞれ対応する各サブ奥行値範囲に取って代わる。例を挙げると、本実施例において、プロセッサー１３０は６つの異なるサブ奥行値範囲に基づいて、範囲拡張値が４であると決定し、そして範囲が０から４１のサブ奥行値範囲を０から４５に修正し、範囲が４２から８４のサブ奥行値範囲を３８から８８に修正し、範囲が８５から１２７のサブ奥行値範囲を８１から１３１に修正し、このように、修正後の範囲は対応する拡張奥行値範囲であり、さらに対応するサブ奥行値範囲に取って代わる。言い換えれば、拡張奥行値範囲中の最も小さい範囲下限に対応する範囲拡張値は０であり、奥行値範囲の上下限（即ち、範囲が０又は２５５）以外のその他のサブ奥行値範囲の範囲値はいずれも外へ４つ拡張され、即ち、上限に４を足し、下限から４を引く。

【0018】

別の実施例において、上記の範囲拡張値はサブ奥行値範囲中の範囲長さ値の八分の一以下であり、又は、範囲拡張値が奥行値範囲の全体の長さ値の百二十八分の一以下である。例を挙げると、奥行値範囲が０から２５５であり、且つサブ奥行値範囲の数が１６である場合、範囲拡張値が２以下であるが、別の実施例において、範囲拡張値を必要に応じて変更することも可能であり、本発明はこれに限定されない。

【0019】

本実施例において、上記のように複数のサブ奥行値範囲をそれぞれ複数の拡張奥行値範囲に修正した後、さらに、各拡張奥行値範囲に基づいて、画像を対応する各階層化画像ＰＩ１、ＰＩ２、ＰＩ３、ＰＩ４、ＰＩ５、ＰＩ６に形成し、画像ＤＩから複数の階層化画像を形成するステップを完了する。言い換えれば、プロセッサー１３０が各拡張奥行値範囲に基づいて画像ＤＩを修正することによって、階層化画像ＰＩ、ＰＩ２、ＰＩ３、ＰＩ４、ＰＩ５、ＰＩ６が形成される。詳しく言うと、本実施例において、各階層化画像ＰＩ１、ＰＩ２、ＰＩ３、ＰＩ４、ＰＩ５、ＰＩ６はそれぞれ階層化奥行値を有し、且つ各階層化奥行値が各階層化画像中の対応する拡張奥行値範囲中にあり、階層化奥行値は階層化画像の奥行値を示す。例を挙げると、本実施例において、階層化画像ＰＩ１の階層化奥行値は階層化画像ＰＩ１の拡張奥行値範囲の平均値であり、即ち、階層化奥行値が２１であって、その拡張奥行値範囲０から４１の中にあり、階層化画像ＰＩ２の階層化奥行値は階層化画像ＰＩ２の拡張奥行値範囲の平均値であり、即ち、階層化奥行値が６３であって、その拡張奥行値範囲４２から８４の中にある。別の実施例において、階層化画像の階層化奥行値は、例えば階層化画像の拡張奥行値範囲の中央値等とすることも可能であり、本発明はこれに限定されない。

【0020】

図５Ａは図１のライトフィールド表示装置が階層化画像に基づいてライトフィールド画像を形成する概略図である。図５Ｂは図５Ａのライトフィールド画像がディスプレイにおける概略図である。図５Ａ及び図５Ｂを参照すると、便利の見地から、図５Ａには一部の階層化画像及び画素のみが示されている。本実施例において、上記ステップの後に続いて、複数の階層化画像ＰＩ１、ＰＩ２に基づいて、ライトフィールド画像ＶＩを形成し、及び、プロセッサー１３０がライトフィールド画像ＶＩに対応する信号をライトフィールド表示装置１００のディスプレイ１２０に提供する。言い換えれば、プロセッサー１３０はこれらの階層化画像ＰＩ１、ＰＩ２に基づいてライトフィールド画像ＶＩを形成し、且つディスプレイ１２０に提供し、レンズアレイ１１０によって、ユーザに立体的奥行のある高品質な観察画像ＨＩを見せて、提供する。また、ライトフィールド画像ＶＩは奥行値を有する画像ＤＩが重なって表示されることで構成され、且つレンズアレイ１１０のレンズ位置に対応して、奥行値を有する画像ＤＩをシフトさせて（ｓｈｉｆｔｉｎｇ）、ディスプレイ１２０の提供するライトフィールド画像ＶＩがレンズアレイ１１０を介して、観察者に一つの完全かつ立体的奥行のある観察画像ＨＩとして見えるようにする。

【0021】

具体的に言うと、本実施例において、上記のステップではさらに、これらの階層化画像ＰＩ１、ＰＩ２及びそのそれぞれに対応する階層化奥行値に基づいて、ライトフィールド画像ＶＩを形成する。具体的に言うと、本実施例において、プロセッサー１３０は階層化奥行値１２に対応する階層化画像ＰＩ１と階層化奥行値３１に対応する階層化画像ＰＩ２、及びその他の階層化画像を合成してライトフィールド画像ＶＩを形成し、且つ、合成されたライトフィールド画像ＶＩに対応する信号がプロセッサー１３０によってディスプレイ１２０に提供され、レンズアレイ１１０によって投射目標Ｐに表示される。階層化画像ＰＩ１、ＰＩ２及びその他の階層化画像の拡張奥行値範囲が互いに異なり、且つ順に部分的に重なるため、ライトフィールド画像ＶＩを形成する時に、階層化画像ＰＩ１、ＰＩ２及びその他の階層化画像が部分的に重なることによって、階層化画像の奥行が分断された部分に発生する欠陥を改善し（つまり、階層の境界において画像の奥行がないことを改善し）、さらに観察画像ＨＩにノイズが発生することを防止し、観察画像ＨＩ中の奥行の違いによる欠陥を改善することができて、観察者に立体的奥行のある高品質な観察画像ＨＩを提供することができる。

【0022】

一実施例において、プロセッサー１３０は例えば中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、マイクロプロセッサー（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、デジタルシグナルプロセッサー（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、プログラマブルコントローラー、プログラマブルロジックデバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）又はその他の類似する装置、及びこれらの装置の組み合わせであってもよいが、本発明はこれに限定されない。その他、一実施例において、プロセッサー１３０の各機能は複数のプログラムコードとして実現されてもよい。これらのプログラムコードはメモリに記憶され、プロセッサー１３０がこれらのプログラムコードを実行する。また、一実施例において、プロセッサー１３０の各機能は一つ又は複数の回路として実現されてもよい。本発明は、ソフトウエア又はハードウエアの方式を用いてプロセッサー１３０の各機能を実施することについて制限しない。

【0023】

図６Ａは比較実施例のライトフィールド表示装置が階層化画像に基づいてライトフィールド画像を形成する概略図である。図６Ｂは図６Ａのライトフィールド画像がディスプレイにおける概略図である。図６Ａ及び図６Ｂを参照すると、比較実施例のライトフィールド表示装置５０において、ライトフィールド画像ＶＩ’は互いに重なる部分を有しない階層化画像ＰＩ１’、ＰＩ２’及びその他の階層化画像によって形成されたため、階層化画像の奥行が分断された部分に欠陥が発生し、さらに観察画像ＨＩ’においてノイズＮが発生し、観察者に見えるのはノイズを含む画像ＨＩ’である。

【0024】

以上をまとめると、本発明の実施例は少なくとも以下のうち一つの利点又は効果を有する。本発明の実施例において、プロセッサーに複数の奥行値を有する画像を提供し、且つプロセッサーが複数の異なる拡張奥行値範囲に基づき、画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出し、複数の奥行値がそれぞれ前記複数の拡張奥行値範囲内にあって、互いに異なり且つ順に部分的に重なる複数の階層化画像を形成し、さらに、これらの階層化画像に基づいてライトフィールド画像を形成する。従って、ライトフィールド画像を形成する時に、階層化画像が部分的に重なるため、階層化画像の奥行が分断された部分に発生する欠陥を改善し、さらに観察画像にノイズが発生することを防止し、観察画像における奥行の違いによる欠陥を改善し、観察者に立体的奥行のある高品質な観察画像を提供できる。

【0025】

以上に記載したのは本発明の好ましい実施例であり、本発明の実施範囲がこれに限定されるべきではない。即ち、本発明の請求の範囲及び発明の詳細な説明を基に行った簡単な等価変更及び修正も本発明の請求範囲内に属する。また、本発明の実施例又は請求項のいずれかが必ずしも本発明の開示した目的又は利点又は特徴を全て満たすとは限らない。その他、要約書と発明の名称は特許文献の検索のために用いられるものであり、本発明の権利範囲を制限するものではない。また、明細書又は請求の範囲に言及された「第一」、「第二」などの用語は、素子（ｅｌｅｍｅｎｔ）を示す名称であり、素子の数量の上限又は下限を制限するものではない。

【符号の説明】

【0026】

５０、１００ ライトフィールド表示装置
１１０ レンズアレイ
１２０ ディスプレイ
１３０ プロセッサー
ＤＩ 奥行値を有する画像
ＤＩ’ グレースケール化画像
Ｆ１ ライトフィールド画像光束
ＨＩ、ＨＩ’ 観察画像
Ｎ ノイズ
Ｐ 投射目標
ＰＩ１、ＰＩ２、ＰＩ１’、ＰＩ２’、ＰＩ３、ＰＩ４、ＰＩ５、ＰＩ６ 階層化画像
ＶＩ、ＶＩ’ ライトフィールド画像

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図5A】

【図5B】

【図6A】

【図6B】