IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 群創光電股▲ふん▼有限公司の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025018930
(43)【公開日】2025-02-06
(54)【発明の名称】画像処理方法および表示システム
(51)【国際特許分類】
   G06T 5/50 20060101AFI20250130BHJP
   G09G 5/00 20060101ALI20250130BHJP
【FI】
G06T5/50
G09G5/00 550C
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024084917
(22)【出願日】2024-05-24
(31)【優先権主張番号】63/528,650
(32)【優先日】2023-07-25
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/625,228
(32)【優先日】2024-04-03
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】510134581
【氏名又は名称】群創光電股▲ふん▼有限公司
【氏名又は名称原語表記】Innolux Corporation
(74)【代理人】
【識別番号】100081961
【弁理士】
【氏名又は名称】木内 光春
(74)【代理人】
【識別番号】100112564
【弁理士】
【氏名又は名称】大熊 考一
(74)【代理人】
【識別番号】100163500
【弁理士】
【氏名又は名称】片桐 貞典
(74)【代理人】
【識別番号】230115598
【弁護士】
【氏名又は名称】木内 加奈子
(72)【発明者】
【氏名】住 尚樹
【テーマコード(参考)】
5B057
5C182
【Fターム(参考)】
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE02
5B057CE08
5B057CE11
5C182AA02
5C182AA03
5C182AA28
5C182AB02
5C182AB08
5C182AC03
5C182AC46
5C182BA14
5C182BA46
5C182BA47
5C182BA56
(57)【要約】
【目的】広い範囲にわたってリアルな光沢変化を有する表示内容を提供することのできる画像処理方法および表示システムを提供する。
【解決手段】画像処理方法は、複数の位置に対応する角度プロファイルデータを有する画像データを受信するステップと、ノイズのフィルタリング、画像補償、画像修正、および画像不連続性の低減のうちの少なくとも1つを実行することによって画像データを処理し、処理済み画像データを生成するステップと、処理済み画像データを出力するステップと、を含む。
【選択図】図2
【特許請求の範囲】
【請求項1】
複数の位置に対応する角度プロファイルデータを有する画像データを受信するステップと、
ノイズフィルタリング、画像補償、画像修正、および画像不連続性の低減のうちの少なくとも1つを実行することによって前記画像データを処理し、処理済み画像データを生成するステップと、
前記処理済み画像データを出力するステップと、
を含む画像処理方法。
【請求項2】
前記角度プロファイルデータが、複数の視野角に対応する複数の光強度値を含む請求項1に記載の画像処理方法。
【請求項3】
前記画像データが、複数の撮像画像を含み、前記画像データを処理する前記ステップが、
前記複数の撮像画像から複数の散乱光成分画像と複数の鏡面反射光成分画像を分離するステップを含む請求項1に記載の画像処理方法。
【請求項4】
前記複数の撮像画像から前記複数の散乱光成分画像と前記複数の鏡面反射光成分画像を分離する前記ステップが、
前記複数の撮像画像内の各位置に対応する最小光強度成分を決定するステップと、
前記複数の撮像画像のうちの1つ1つの前記最小光強度成分に基づいて、前記複数の散乱光成分画像を生成するステップと、
前記複数の撮像画像のうちの前記1つ1つから前記最小光強度成分をそれぞれ引いて、前記複数の鏡面反射光成分画像を生成するステップと、
を含む請求項3に記載の画像処理方法。
【請求項5】
前記画像データが、切り取られた光プロファイル画像を含み、前記画像データを処理する前記ステップが、
前記切り取られた光プロファイル画像内の失われたピークデータおよび欠落した角度プロファイルデータのうちの少なくとも1つを補償するステップを含む請求項1に記載の画像処理方法。
【請求項6】
前記画像データを処理する前記ステップが、
前記角度プロファイルデータに対してステップ補償のサンプリングを実行するステップを含む請求項1に記載の画像処理方法。
【請求項7】
前記画像データを処理する前記ステップが、
前記角度プロファイルデータ内の各位置に対応する少なくとも1つの特定の視野角に対応する少なくとも1つの光強度値を調整するステップを含む請求項1に記載の画像処理方法。
【請求項8】
前記少なくとも1つの光強度値を調整する前記ステップが、
各光強度値から対応する最小光強度値を引いて、第1調整係数を掛けた後に、前記対応する最小光強度値を足すステップを含み、前記第1調整係数が、0よりも大きい請求項7に記載の画像処理方法。
【請求項9】
前記画像データを処理する前記ステップが、
前記角度プロファイルデータ内の各位置に対応する少なくとも1つの色に対応する少なくとも1つの光強度値を修正するステップを含む請求項1に記載の画像処理方法。
【請求項10】
前記画像データを処理する前記ステップが、
前記角度プロファイルデータ内の各位置に対応する少なくとも1つの光強度値を調整して、角度が不連続な光プロファイルを低減するステップを含む請求項1に記載の画像処理方法。
【請求項11】
前記少なくとも1つの光強度値を調整する前記ステップが、
各光強度値から対応する最小光強度値を引いて、第2調整係数を掛けた後に、前記対応する最小光強度値を足すステップを含み、前記第2調整係数が、0~1であり、各位置の光強度分布の一端の角度から前記光強度分布の他端の角度に向かって徐々に0になる請求項10に記載の画像処理方法。
【請求項12】
前記角度プロファイルデータ内の前記各位置に対応する前記少なくとも1つの光強度値を調整した後、各位置の光強度分布の一端の角度に対応する第1強度値が、前記各位置の前記光強度分布の他端の角度に対応する第2強度値と等しくなる請求項10に記載の画像処理方法。
【請求項13】
前記画像データを処理する前記ステップが、
前記角度プロファイルデータの複数の光強度値を複製して、各位置に対応する前記角度プロファイルデータ内の他の視野角において光プロファイルを拡大するステップを含む請求項1に記載の画像処理方法。
【請求項14】
前記画像データを処理する前記ステップが、
眼位または頭位を検出するステップと、
前記眼位または前記頭位に基づいて前記画像データを処理することにより、前記処理済み画像データによって駆動された表示モジュールの出射光線の角度を調整するステップと、
を含む請求項1に記載の画像処理方法。
【請求項15】
前記画像データを処理する前記ステップが、
表示モジュールの表示位置または傾斜角を検出するステップと、
前記表示位置または前記傾斜角に基づいて画像データを処理することにより、前記処理済み画像データによって駆動された表示モジュールの出射光線の角度を調整するステップと、
を含む請求項1に記載の画像処理方法。
【請求項16】
複数の撮像画像を提供するカメラと、
前記カメラに結合され、前記複数の撮像画像の画像データを受信し、前記画像データに基づいて処理済み画像データを生成する画像処理装置と、
前記画像処理装置に結合され、前記処理済み画像データを受信する表示モジュールと、
を含み、前記画像データが、複数の位置に対応する角度プロファイルデータを含み、前記画像処理装置が、ノイズのフィルタリング、画像補償、画像修正、および画像不連続性の低減のうちの少なくとも1つを実行することによって前記画像データを処理し、処理済み画像データを生成する表示システム。
【請求項17】
前記画像処理装置に結合されたアイトラッキングセンサーをさらに含み、
前記アイトラッキングセンサーが、眼位または頭位を検出し、前記画像処理装置が、前記眼位または前記頭位に基づいて前記画像データを処理することにより、前記処理済み画像データによって駆動された表示モジュールの出射光線の角度を調整する請求項16に記載の表示システム。
【請求項18】
前記画像処理装置に結合されたモーションセンサーをさらに含み、
前記モーションセンサーが、前記表示モジュールの表示位置または傾斜角を検出し、前記画像処理装置が、前記表示位置または前記傾斜角に基づいて前記画像データを処理することにより、前記処理済み画像データによって駆動された表示モジュールの出射光線の角度を調整する請求項16に記載の表示システム。
【請求項19】
前記画像処理装置が、
前記カメラに結合され、前記複数の撮像画像の前記画像データを受信する入力ユニットと、
前記入力ユニットに結合され、前記画像データに基づいて前記画像データを処理し、前記処理済み画像データを生成する処理ユニットと、
前記処理ユニットおよび前記表示モジュールに結合され、前記処理済み画像データを前記表示モジュールに出力する出力ユニットと、
を含む請求項16に記載の表示システム。
【請求項20】
前記表示モジュールが、サーフェスライトフィールド表示装置である請求項16に記載の表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ処理方法に関するものであり、特に、画像処理方法および表示システムに関するものである。
【背景技術】
【0002】
現在、高コントラストの画像を提供するために、高ダイナミックレンジ(high dynamic range, HDR)表示技術が開発され、画像内の明るい部分と暗い部分の両方の詳細を同時にはっきりと表示できるようになった。しかしながら、高ダイナミックレンジ表示技術を備えたディスプレイは、依然として現実の光がオブジェクトに当たったときに生じる光沢(glossy)効果(キラメキ効果)を再現するのが難しい。また、ディスプレイが光沢感やリアルな効果を示すことできても、満足な視覚効果を提供するには、画像の光プロファイルをさらに処理または最適化する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、広い範囲にわたってリアルな光沢変化を有する表示内容を提供することのできる画像処理方法および表示システムを提供する。
【課題を解決するための手段】
【0004】
本発明の画像処理方法は、複数の位置に対応する角度プロファイルデータを有する画像データを受信するステップと、ノイズのフィルタリング、画像補償、画像修正、および画像不連続性の低減(image discontinuity reduction)のうち少なくとも1つを実行することによって画像データを処理し、処理済み画像データを生成するステップと、処理済み画像データを出力するステップと、を含む。
【0005】
表示システムは、カメラ、画像処理装置、および表示モジュールを含む。カメラは、複数の撮像画像を提供する。画像処理装置は、カメラに結合され、複数の撮像画像の画像データを受信し、画像データに基づいて、処理済み画像データを生成する。表示モジュールは、画像処理装置に結合され、処理済み画像データを受信する。画像データは、複数の位置に対応する角度プロファイルデータを含む。画像処理装置は、ノイズのフィルタリング、画像補償、画像修正、および画像不連続性の低減のうち少なくとも1つを実行することによって画像データを処理し、処理済み画像データを生成する。
【発明の効果】
【0006】
以上のように、本発明の画像処理方法および表示システムは、画像データの角度プロファイルデータに対して効果的な画像処理を実施することができる。
【0007】
上述した内容をより理解しやすくするために、以下、いくつかの実施形態について、図面と合わせて詳しく説明する。
【図面の簡単な説明】
【0008】
添付の図面は、本発明の原理をさらに理解するために含まれており、本明細書に組み込まれ、かつその一部を構成するものである。図面は、本発明の実施形態を例示しており、説明とともに、本発明の原理を説明する役割を果たしている。
【0009】
図1】本発明の1つの実施形態に係る画像処理装置の概略図である。
図2】本発明の1つの実施形態に係る画像処理方法のフローチャートである。
図3A】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図3B】本発明の1つの実施形態に係る角度プロファイルデータの最小光強度成分の概略図である。
図3C】本発明の1つの実施形態に係る角度プロファイルデータの鏡面反射光成分の概略図である。
図4A】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図4B】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図4C】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図4D】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図4E】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図4F】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図5A】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図5B】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図5C】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図5D】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図5E】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図5F】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図6A】本発明の1つの実施形態に係るオブジェクト上のスポットライト効果を調整したときの概略図である。
図6B】本発明の1つの実施形態に係るオブジェクト上のスポットライト効果を調整したときの概略図である。
図6C】本発明の1つの実施形態に係るオブジェクト上のスポットライト効果を調整したときの概略図である。
図6D】本発明の1つの実施形態に係るオブジェクト上のスポットライト効果を調整したときの概略図である。
図7A】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図7B】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図7C】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図7D】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図7E】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図8】本発明の1つの実施形態に係る表示システムの概略図である。
図9】本発明の1つの実施形態に係る表示システムの概略図である。
図10A】本発明の1つの実施形態に係る観察者が表示モジュールを見ているときの概略図である。
図10B】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図10C】本発明の1つの実施形態に係る観察者が表示モジュールを見ているときの概略図である。
図10D】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図10E】本発明の1つの実施形態に係る観察者が表示モジュールを見ているときの概略図である。
図10F】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図11A】本発明の1つの実施形態に係る観察者が表示モジュールを見ているときの概略図である。
図11B】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図11C】本発明の1つの実施形態に係る観察者が表示モジュールを見ているときの概略図である。
図11D】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
図11E】本発明の1つの実施形態に係る観察者が表示モジュールを見ているときの概略図である。
図11F】本発明の1つの実施形態に係る角度プロファイルデータの概略図である。
【発明を実施するための形態】
【0010】
以下、添付の図面を例として、本発明の例示的実施形態について詳しく説明する。可能な限り、図面および説明において、同一の、または類似する構成要素には、同一の参照番号を使用する。
【0011】
本発明の明細書および添付の請求項を通して特定の用語を使用することにより、特定の構成要素を指す。当業者であれば理解できるように、電子デバイスの製造業者は、異なる名称によって同じ構成要素を指すことができる。本明細書は、同じ機能を有するが名称の異なるこれらの構成要素を区別する意図はない。以下の説明および権利要求において、「含む」および「含有する」などの用語は、開放性の用語であり、「含むが…に限定されない」のように説明されるべきである。
【0012】
本願の明細書全体(添付の請求項を含む)を通して使用される「結合(または接続)」という用語は、任意の直接的な、または間接的な接続手段を指すことができる。例えば、文中で第1のデバイスが第2のデバイスに結合される(または、接続される)と記載されている場合、第1のデバイスが第2のデバイスに直接接続されてもよく、または、第1のデバイスが他のデバイスまたは特定の接続手段を介して間接的に第2のデバイスに接続されてもよいと解釈すべきである。本願の明細書全体(添付の請求項を含む)を通して言及される「第1」、「第2」、およびそれに類似する用語は、単に別々の素子を示すために使用されるか、または異なる実施形態または範囲の間で区別するために使用される。したがって、これらの用語は、素子の数量の上限または下限を限定するものとしてみなされるべきではなく、素子の配置順序を限定するために使用されるべきではない。また、可能な限り、図面および実施形態において同じ参照番号を有する素子/構成要素/ステップは、同じ、または類似する部品を表す。異なる実施形態において同じ参照番号または同じ用語を使用している素子/構成要素/ステップの関連説明は、相互に参照することができる。
【0013】
図1は、本発明の1つの実施形態に係る画像処理装置の概略図である。図1を参照すると、画像処理装置100は、処理ユニット110、入力ユニット120、および出力ユニット130を含む。処理ユニット110は、入力ユニット120および出力ユニット130に結合される。本発明の実施形態において、入力ユニット120は、画像源に結合され、複数の位置(すなわち、複数の画面位置(x,y))に対応する複数の強度値および出射光線の角度プロファイル(すなわち、サーフェスライトフィールド(surface light field)データ)を含む画像データ101を読み取ることができる。画像源は、パソコン、1つまたはそれ以上のデジタルスチルカメラ(digital still camera, DSC)、ビデオプレーヤー、または画像サーバーであってもよいが、本発明はこれに限定されない。画像データ101は、二次元画像データまたは三次元画像データであってもよい。画像データ101は、同じオブジェクトの異なる視野角で複数のカメラによって撮像された複数の撮像画像のデータで構成されてもよい。したがって、画像データ101は、複数の位置に対応する角度プロファイルデータを含むことができる。
【0014】
本発明の実施形態において、処理ユニット110は、入力ユニット120によって提供された画像データ101を受信することができ、画像データ101に対して画像処理を実行し、処理済み画像データ102を生成することができる。処理ユニット110は、処理済み画像データ102を出力ユニット130に出力する。本発明の実施形態において、出力ユニット130は、記憶装置またはサーフェスライトフィールド表示装置(すなわち、「キラメキディスプレイ」)に結合されてもよい。本発明の1つの実施形態において、出力ユニット130は、処理済み画像データ102をサーフェスライトフィールド表示装置に出力することができる。サーフェスライトフィールド表示装置は、処理済み画像データ102に基づいて、異なる視野角から見ている観察者に対してリアルな光沢のある表示効果を有する画像を表示することができる。
【0015】
本発明の実施形態において、処理ユニット110は、例えば、中央処理ユニット(central processing unit, CPU)、グラフィック処理ユニット(graphic processing unit, GPU)、または他のプログラム可能な汎用または専用のマイクロプロセッサ(microprocessor)、デジタル信号プロセッサ(digital signal processor, DSP)、特定用途向け集積回路(application specific integrated circuit, ASIC)、プログラマブル論理デバイス(programmable logic device, PLD)、他の類似する処理回路、またはこれらのデバイスの組み合わせを含むことができる。本発明の実施形態において、画像処理装置100は、さらに、メモリなどの記憶ユニットを含んでもよい。処理ユニット110は、さらに、記憶ユニットに結合されてもよい。記憶ユニットは、例えば、不揮発性メモリ(non-volatile memory, NVM)であってもよい。記憶ユニットは、本発明の様々な実施形態を実現するための関連するプログラム、モジュール、データ、またはアルゴリズムを保存することができ、処理ユニット110がアクセスして実行することによって、本発明の様々な実施形態に記載した関連する機能や操作を実現することができる。
【0016】
本発明の実施形態において、入力ユニット120および出力ユニット130は、通信インターフェースであってもよく、関連する通信データ変換回路を有する。本発明の1つの実施形態において、角度プロファイルデータを含む画像データは、大量のデータを有することができるため、入力ユニット120および出力ユニット130のうちの少なくとも1つは、一連の離散値、周波数領域内の係数、または波形のフィッティングパラメータ(fitting parameter)の形式で光線の角度プロファイルのデータ伸長回路またはデータ圧縮回路を含むことができる。
【0017】
図2は、本発明の1つの実施形態に係る画像処理方法のフローチャートである。図1および図2を参照すると、画像処理装置100は、下記のステップS210~S230を実行することができる。ステップS210において、入力ユニット120は、複数の位置(すなわち、複数の画面位置(x,y))に対応する角度プロファイルデータを有する画像データ101を受信することができる。入力ユニット120は、さらに、角度プロファイルデータを有する画像データ101を処理ユニット110に提供することができる。ステップS220において、処理ユニット110は、ノイズのフィルタリング、画像補償、画像修正、および画像不連続性の低減のうちの少なくとも1つを実行することによって画像データ101を処理し、処理済み画像データ102を生成することができる。本発明の1つの実施形態において、処理ユニット110は、特定の表示要件または外部制御要件に基づいて、画像データ101を処理することができる。処理ユニット110は、さらに、処理済み画像データ102を出力ユニット130に提供することができる。ステップS230において、出力ユニット130は、処理済み画像データ102を出力することができる。以下の実施形態において、画像データ101の処理方法について詳しく説明する。
【0018】
図3Aは、本発明の1つの実施形態に係る角度プロファイルデータの概略図である。図1および図3Aを参照すると、処理ユニット110は、角度プロファイルデータを含む画像データを受信することができる。図3Aに示すように、1つの画面位置(すなわち、(x,y))に対応する角度プロファイルデータを例に挙げると(すなわち、各1つの画面位置は、異なる視野角からの複数の画像データに対応することができ、データ形式は(x,y、角度、光強度値(すなわち、グレースケール))であってもよい)、1つの画面位置に対し、異なる視野角は、異なる光強度値に対応することができる。図3Aにおいて、曲線301は、1つの画面位置(すなわち、(x,y))における異なる視野角に対応する複数の光強度値を含む角度プロファイルデータを表す。つまり、表示モジュールがこの画像データを表示する場合、観察者が異なる視野角から1つの画面位置を見たときに、観察者は、異なる光沢効果(または、スポットライト効果)を有する表示内容を見ることができる。
【0019】
図3Bは、本発明の1つの実施形態に係る角度プロファイルデータの最小光強度成分の概略図である。図3Cは、本発明の1つの実施形態に係る角度プロファイルデータの鏡面反射光成分の概略図である。図1および図3A図3Cを参照すると、画像データ101は、異なる視野角で撮像された複数の画像のデータを含むことができ、処理ユニット110は、複数の撮像画像を処理して、複数の散乱光(diffuse light)成分画像と複数の鏡面反射光(specular light)成分画像を分離し、後続の実施形態の画像処理過程において使用することができる。注意すべきこととして、例えば、散乱光成分画像内の画像光沢は、壁や天井からの環境光(ambient light)により異なる視野角では変化しないが、鏡面反射光成分画像内の画像光沢は、例えば、1つまたはそれ以上のスポットライトにより変化する可能性がある。
【0020】
本発明の実施形態において、処理ユニット110は、複数の撮像画像内の各位置に対応する最小光強度成分を決定することができ、処理ユニット110は、複数の撮像画像のうちの1つ1つの最小光強度成分に基づいて、複数の散乱光成分画像を生成することができる。図3Bに示すように、各位置における各散乱光成分画像の角度プロファイルデータは、図3Bの曲線302として示すことができる。その後、処理ユニット110は、複数の撮像画像のうちの1つ1つから最小光強度成分をそれぞれ引いて、複数の鏡面反射光成分画像を生成することができる。図3Cに示すように、各位置における各鏡面反射光成分画像の角度プロファイルデータは、図3Cの曲線303として示すことができる。
【0021】
図4A図4Fは、本発明の1つの実施形態に係る角度プロファイルデータの概略図である。図1図4A、および図4Bを参照すると、画像データ101は、切り取られた光プロファイル画像のデータを含むことができ、処理ユニット110は、切り取られた光プロファイル画像内の失われたピークデータを補償することができる。図4Aに示すように、曲線401は、1つの画面位置(すなわち、(x,y))における異なる視野角に対応する複数の光強度値を含む角度プロファイルデータを表し、曲線401のピーク内のいくつかの光強度値は、切り取られる(例えば、画像内の露出オーバー(overexposure)効果に対応して)。本発明の実施形態において、処理ユニット110は、図4Aの失われたピークデータ(または、図3Cにおける曲線303の角度プロファイルデータの鏡面反射光成分内の失われたピークデータ)を補償し、図4Bの曲線402として示されている補償された角度プロファイルデータを生成することができる。具体的に説明すると、処理ユニット110は、露出オーバーしていない隣接する画面位置から失われたピークデータに対応するプロファイルを推定してもよく、または、処理ユニット110は、配光方式により失われたピークデータに対応する曲線に当てはめてもよい。そのため、処理ユニット110は、光プロファイルの失われたピークデータを復元し、より高いダイナミックレンジの写真を生成することができる。
【0022】
図1図4C、および図4Dを参照すると、画像データ101は、切り取られた光プロファイル画像のデータを含むことができ、処理ユニット110は、切り取られた光プロファイル画像の視野角範囲外の欠落した角度プロファイルデータを補償することができる。図4Cに示すように、曲線403は、1つの画面位置(すなわち、(x,y))における異なる視野角に対応する複数の光強度値を含む角度プロファイルデータを表し、曲線403の視野角範囲外のいくつかの光強度値は、切り取られる。本発明の実施形態において、処理ユニット110は、図4Cの欠落した角度プロファイルデータ(または、図3Cにおける曲線303の角度プロファイルデータの鏡面反射光成分内の欠落した角度プロファイルデータ)を補償して、図4Dの曲線404として示されている補償された角度プロファイルデータを生成することができる。具体的に説明すると、処理ユニット110は、ピーク位置が異なる隣接する画面位置からプロファイルを推定してもよく、または、処理ユニット110は、配光方式により欠落した角度プロファイルデータに対応する曲線に当てはめてもよい。そのため、処理ユニット110は、たとえ測定されたプロファイルが不十分であったとしても、光プロファイルの角度範囲を拡張することができる。
【0023】
図1図4E、および図4Fを参照すると、画像データ101の角度プロファイルデータの光強度値は、8ビットデータ形式であってもよい。図4Eに示すように、曲線405は、8ビットデータ形式の角度プロファイルデータを表す。処理ユニット110は、曲線405の角度プロファイルデータ(または、図3Cにおける曲線303の角度プロファイルデータ)に対してステップ補償のサンプリングを実行して、図4Fの曲線406として示されている補償された角度プロファイルデータを生成することができる。具体的に説明すると、処理ユニット110は、角度プロファイルデータに対して線形または非線形補間を実行し、角度プロファイルデータの角度ステップサイズを増やすことができる。あるいは、処理ユニット110は、配光方式またはローパスフィルター(low-pass filter)により曲線の当てはめを実行し、角度プロファイルデータの角度ステップサイズを、例えば、0~255(8ビット)から0~4095(12ビット)に増やすことができる。そのため、処理ユニット110は、画像上でノイズのフィルタリングを実行して、画像の暗部のノイズを減らすことができる。処理ユニット110は、マッハバンド(Mach band)の問題を解決して、画像の滑らかな階調を示すことができる。
【0024】
図5A図5Fは、本発明の1つの実施形態に係る角度プロファイルデータの概略図である。図6A図6Dは、本発明の1つの実施形態に係るオブジェクト上のスポットライト効果を調整したときの概略図である。図1図5Aおよび図5Bを参照すると、処理ユニット110は、角度プロファイルデータを有する画像データを受信することができる。図5Aにおいて、曲線501は、1つの画面位置(すなわち、(x,y))における異なる視野角に対応する複数の光強度値を含む角度プロファイルデータを表し、曲線501は、特定の視野角において光強度値が強すぎる可能性がある。処理ユニット110は、角度プロファイルデータ内の各位置に対応する少なくとも1つの特定の視野角に対応する少なくとも1つの光強度値を修正することができる。具体的に説明すると、処理ユニット110は、図3Bの上述した実施形態において説明したように散乱光プロファイル画像を生成し、最小光強度値を得ることができる。処理ユニット110は、曲線501の各光強度値から最小光強度値を引いて、調整係数を掛けた後に、最小光強度値を足すことによって、図5Bに示した曲線502の角度プロファイルデータを生成することができる。調整係数は、0より大きくてもよい。そのため、いくつかの特定の視野角における対応する鏡面反射光は、適切で快適になることができる。処理ユニット110は、撮像した後、いくつかの特定の視野角における光プロファイルの鏡面反射光強度を増やす、または減らすことができる。処理ユニット110は、画像品質を最適化して、最高の画像性能を得ることができる。
【0025】
例えば、図6Aを参照すると、初期光条件610は、オブジェクト611を含むことができ、オブジェクト611は、スポットライト612によって光沢効果が強くなりすぎる。処理ユニット110は、上述した実施形態のように対応する画像データの角度プロファイルデータを調整して、角度プロファイルデータ内の光強度値を減らすことができる。したがって、調整後の光条件は、図6Bのように示すことができる。図6Bにおいて、調整後の光条件620は、弱めたスポットライト612を含むことができ、オブジェクト611は、適切な光沢効果を有する。つまり、表示モジュールによって表示される表示内容は、スポットライト612を暗くする効果を提供する。
【0026】
図1図5Cおよび図5Dを参照すると、処理ユニット110は、異なる色(例えば、赤、緑、および青)にそれぞれ対応する角度プロファイルデータを有する画像データを受信することができる。処理ユニット110は、図3Cの上述した実施形態において説明したように、異なる色に対応する複数の鏡面反射光プロファイル画像を抽出することができ、処理ユニット110は、角度プロファイルデータ内の各位置に対応する少なくとも1つの色に対応する少なくとも1つの光強度値を修正することができる。具体的に説明すると、図5Cにおいて、曲線503R、503G、および503Bは、それぞれ赤、緑、および青の角度プロファイルデータの鏡面反射光成分を表す。各曲線は、1つの画面位置(すなわち、(x,y))における異なる視野角に対応する複数の光強度値を含み、曲線503R、503G、および503Bは、黄色っぽい表示効果に対応することができる。処理ユニット110は、図5Dに示すように、曲線503R、503G、および503Bの光強度値をそれぞれ曲線504R、504G、および504Bに修正することができ、曲線504R、504G、および504Bは、青っぽい表示効果に対応することができる。つまり、処理ユニット110は、例えば、画像内の散乱光色(すなわち、基本光色)を保持したまま、スポットライト色を調整することができる。さらに、処理ユニット110は、画像内の鏡面反射光と散乱光の間で類似する色を得られるように調整することもできる。
【0027】
例えば、図6Aを参照すると、初期光条件610は、オブジェクト611を含むことができ、オブジェクト611は、スポットライト612によって黄色っぽく見える。処理ユニット110は、上述した実施形態のように、対応する画像データの異なる色に対応する角度プロファイルデータを調整することができる。したがって、調整後の光条件は、図6Cのように示すことができる。図6Cにおいて、調整後の光条件630は、オブジェクト611を含むことができ、オブジェクト611は、青っぽく見える。つまり、表示モジュールによって表示される表示内容は、スポットライト612の色相(hue)を変更する効果を提供する。
【0028】
図1図5E、および図5Fを参照すると、処理ユニット110は、角度プロファイルデータを有する画像データを受信することができる。処理ユニット110は、角度プロファイルデータ内の各位置に対応する少なくとも1つの光強度値を修正することができる。処理ユニット110は、図3Cの上述した実施形態において説明したように、角度プロファイルデータの鏡面反射光成分を抽出することができる。処理ユニット110は、光強度値を修正して、光プロファイルをシフトおよび/または追加するとともに、修正された鏡面反射光成分画像を散乱光成分画像に追加して、処理画像を生成することができる。具体的に説明すると、図5Eにおいて、曲線505は、1つの画面位置(すなわち、(x,y))における異なる視野角に対応する複数の光強度値を含む角度プロファイルデータを表す。処理ユニット110は、曲線505に基づいて、光プロファイルをシフトおよび追加し、曲線506および507を生成することができる。つまり、処理ユニット110は、撮像画像中のスポットライト効果をシフトしてもよく、または撮像画像内により多くのスポットライト効果を追加してもよい。
【0029】
例えば、図6Aを参照すると、初期光条件610は、オブジェクト611を含むことができ、オブジェクト画像611は、スポットライト612によってスポットライト効果を有する。処理ユニット110は、上述した実施形態のように、対応する画像データの角度プロファイルデータを調整することができる。したがって、調整後の光条件は、図6Dのように示すことができる。図6Dにおいて、調整後の光条件640は、オブジェクト画像611を含むことができ、オブジェクト611は、より多くのスポットライト効果を有する。つまり、表示モジュールによって表示される表示内容は、オブジェクト611上でスポットライト612とスポットライト613のスポットライト効果を同時に提供する。
【0030】
図7A図7Eは、本発明の1つの実施形態に係る角度プロファイルデータの概略図である。図1図7A、および図7Bを参照すると、画像データ101は、角度が不連続な光プロファイルを含むことができ、処理ユニット110は、角度プロファイルデータ内の各位置に対応する少なくとも1つの光強度値を調整して、角度が不連続な光プロファイルを低減することができる。図7Aに示すように、曲線701は、1つの画面位置(すなわち、(x,y))における異なる視野角に対応する複数の光強度値を含む角度プロファイルデータを表し、曲線701は、角度が不連続な光プロファイルを形成する。本発明の実施形態において、処理ユニット110は、曲線701のいくつかの光強度値を調整して、角度が不連続な光プロファイルを低減することができる。曲線701のいくつかの光強度値を調整した後、図7Bに示すように、曲線702の光強度分布の一端の角度に対応する強度値は、曲線702の光強度分布の他端の角度に対応する別の強度値と等しくなる。
【0031】
具体的に説明すると、処理ユニット110は、図3Bの上述した実施形態において説明したように散乱光プロファイル画像を生成し、最小光強度値を得ることができる。処理ユニット110は、曲線701の各光強度値から最小光強度値を引いて、調整係数を掛けた後に、最小光強度値を足すことによって、図7Bに示すような曲線702の角度プロファイルデータを生成することができる。調整係数は、0~1であってもよく、一端の角度から他端の角度に向かって徐々に0になる。そのため、一端の角度および他端の角度における曲線702の光強度値は、徐々に0まで減少する。
【0032】
図1図7C、および図7Dを参照すると、画像データ101は、角度が不連続な光プロファイルを含むことができ、処理ユニット110は、角度プロファイルデータ内の各位置に対応する少なくとも1つの光強度値を調整して、角度が不連続な光プロファイルを低減することができる。図7Cに示すように、曲線703は、1つの画面位置(すなわち、(x,y))における異なる視野角に対応する複数の光強度値を含む角度プロファイルデータを表し、曲線703は、角度が不連続な光プロファイルを形成する。本発明の実施形態において、処理ユニット110は、曲線703のいくつかの光強度値を調整して、角度が不連続な光プロファイルを低減することができる。曲線703のいくつかの光強度値を調整した後、図7Dに示すように、曲線704の光強度分布の一端の角度に対応する強度値は、曲線704の光強度分布の他端の角度に対応する別の強度値と等しくなる。
【0033】
具体的に説明すると、処理ユニット110は、図3Bの上述した実施形態において説明したように散乱光プロファイル画像を生成し、最小光強度値を得ることができる。処理ユニット110は、曲線703の各光強度値から最小光強度値を引いて、調整係数を掛けた後に、最小光強度値を足すことによって、図7Dに示した曲線704の角度プロファイルデータを生成することができる。調整係数は、0~1であってもよく、一端の角度から他端の角度に向かって徐々に1になる。そのため、一端の角度に隣接する曲線704の光強度値は、他端の角度において曲線704の別の光強度値まで増加する。
【0034】
図1および図7Eを参照すると、1つの実施形態において、処理ユニット110は、図7Aの曲線701の光強度値を複製して、図7Eに示した曲線705および曲線706のデータを増やしてもよい。そのため、処理ユニット110は、角度プロファイルデータの他の視野角において光プロファイルを効果的に拡大することができる。
【0035】
図8は、本発明の1つの実施形態に係る表示システムの概略図である。図8を参照すると、表示システム800は、電子デバイス810および表示モジュール820を含む。電子デバイス810は、画像処理装置811およびカメラ812を含む。画像処理装置811は、カメラ812および表示モジュール820に結合される。画像処理装置811は、上述した実施形態における画像処理装置100の関連する画像処理機能およびハードウェア特性を実施することができる。本発明の実施形態において、画像処理装置811およびカメラ812は、電子デバイス810に統合される。電子デバイス810は、端末デバイスまたはコンピュータデバイスなどである。本発明の1つの実施形態において、電子デバイス810は、ビデオキャプチャデバイスであり、表示モジュール820は、サーフェスライトフィールド表示装置(すなわち、キラメキ表示装置)である。カメラ812は、角度プロファイルデータを有する画像データを生成し、角度プロファイルデータを有する画像データを画像処理装置811に提供するように構成される。画像処理装置811は、角度プロファイルデータを有する画像データを処理し、処理済み画像データを生成して表示モジュール820を駆動するように構成される。カメラ812は、単眼画像センサーまたは多系統画像センサーであってもよく、あるいは、カメラ812は、シーン上のオブジェクトの三次元形状情報を取得するための深度センサー(例えば、ToFセンサー)を含んでもよい。本発明の1つの実施形態において、電子デバイス810は、さらに、画像データを保存するためのメモリ素子を含んでもよい。電子デバイス810は、さらに、背景上の光マップを取得するための魚眼センサーを含んでもよい。
【0036】
図9は、本発明の1つの実施形態に係る表示システムの概略図である。図9を参照すると、表示システム900は、電子デバイス910およびカメラ920を含む。電子デバイス910は、画像処理装置911および表示モジュール912を含む。画像処理装置911は、表示モジュール912に結合される。画像処理装置911は、上述した実施形態における画像処理装置100の関連する画像処理機能およびハードウェア特性を実施することができる。本発明の実施形態において、画像処理装置911および表示モジュール912は、電子デバイス910に統合される。表示モジュール912は、サーフェスライトフィールド表示装置(すなわち、キラメキ表示装置)である。カメラ920は、角度プロファイルデータを有する画像データを生成し、角度プロファイルデータを有する画像データを画像処理装置911に提供するように構成される。画像処理装置911は、角度プロファイルデータを有する画像データを処理し、処理済み画像データを生成して表示モジュール912を駆動するように構成される。
【0037】
本発明の1つの実施形態において、表示モジュール912は、さらに、液晶ディスプレイ(liquid crystal display, LCD)パネル、ミニ発光ダイオード(light emitting diode, LED)パネル、マイクロLEDパネル、有機発光ダイオードパネルなどの表示モジュール上に少なくとも1つのピクセルアレイを含むことができる。表示モジュール912は、さらに、空間内のピクセルからの光線を各異なる方向(角度)に変調する光学部品、例えば、レンチキュラレンズ(lenticular lens)、液晶GRIN(liquid crystal gradient-index, LC GRIN)レンズ、パララックスバリア(parallax barrier)、またはLCパララックスバリアを含むことができる。表示モジュール912は、さらに、表示制御回路を含むことができ、表示制御回路は、画像データの角度プロファイルデータに基づいて、各ピクセルからの光強度の角度プロファイル出力を制御するように構成される。
【0038】
また、本発明の1つの実施形態において、画像処理装置911、表示モジュール912、およびカメラ920をすべて電子デバイス910に統合してもよい。電子デバイス910は、例えば、スマートフォンまたはタブレットコンピュータであってもよい。
【0039】
図10A図10C、および図10Eは、本発明の1つの実施形態に係る観察者が表示モジュールを見ているときの概略図である。図10B図10D、および図10Fは、本発明の1つの実施形態に係る角度プロファイルデータの概略図である。本発明の実施形態において、図8の表示システム800および図9の表示システム900は、それぞれ画像処理装置811および画像処理装置911に結合されたアイトラッキングセンサー(eye-tracking sensor)をさらに含むことができ、アイトラッキングセンサーは、RGBカメラ、IRカメラ、またはToFセンサーであってもよい。アイトラッキングセンサーは、観察者の眼位または頭位を検出するように構成され、電子デバイスの画像処理装置は、眼位または頭位に基づいて画像データを処理し、処理済み画像データによって駆動された表示モジュールの出射光線の角度を調整することができる。
【0040】
具体的に説明すると、図10Aにおいて、表示モジュールは、ピクセルアレイ1011およびレンチキュラーレンズ1012を含むことができる。ピクセルアレイ1011およびレンチキュラーレンズ1012は、それぞれ方向D1および方向D3に延伸する。ピクセルアレイ1011は、方向D2に向かってレンチキュラーレンズ1012を通過する出射光線を提供し、出射光線は、観察者1020に提供される。方向D1~D3は、互いに垂直である。本発明の実施形態において、電子デバイスのアイトラッキングセンサーは、観察者1020の眼位または頭位を検出することができ、電子デバイスの画像処理装置は、眼位または頭位に基づいて画像データを処理することができる。図10Bに示すように、電子デバイスの画像処理装置は、観察者1020の眼位または頭位に基づく角度範囲1030に対応する角度プロファイルデータを使用して、ピクセルアレイ1011を駆動するための処理済み画像データを生成することができる。
【0041】
本発明の1つの実施形態において、図10Cにおいて、観察者1020が表示モジュールを横から見るために移動すると、電子デバイスのアイトラッキングセンサーは、観察者1020の眼位または頭位が変わったことを検出することができる。したがって、図10Dに示すように、電子デバイスの画像処理装置は、角度範囲1040に対応する角度プロファイルデータを使用するように変更して、ピクセルアレイ1011を駆動するための処理済み画像データを生成することにより、ピクセルアレイ1011から提供された出射光線の角度を調整することができる。
【0042】
本発明の1つの実施形態において、図10Eにおいて、観察者1020が表示モジュールを別の側の横から見るために移動すると、電子デバイスのアイトラッキングセンサーは、観察者1020の眼位または頭位が変わったことを検出することができる。したがって、図10Fに示すように、電子デバイスの画像処理装置は、角度範囲1050に対応する角度プロファイルデータを使用するように変更して、ピクセルアレイ1011を駆動するための処理済み画像データを生成することにより、ピクセルアレイ1011から提供された出射光線の角度を調整することができる。
【0043】
そのため、電子デバイスの画像処理装置は、観察者1020の眼位または頭位に基づいて角度プロファイルデータを効果的に処理し、ピクセルアレイ1011を駆動するための処理済み画像データを生成することができる。ピクセルアレイ1011は、観察者の視野角に基づいて変化し、広い範囲にわたってリアルな光沢変化を有する表示内容を提供することができる。
【0044】
図11A図11C、および図11Eは、本発明の1つの実施形態に係る観察者が表示モジュールを見ているときの概略図である。図11B図11D、および図11Fは、本発明の1つの実施形態に係る角度プロファイルデータの概略図である。本発明の実施形態において、図8の表示システム800および図9の表示システム900は、それぞれ画像処理装置811および画像処理装置911に結合されたモーションセンサーをさらに含むことができ、モーションセンサーは、加速度計またはジャイロスコープであってもよい。モーションセンサーは、表示モジュールの表示位置または傾斜角度を検出するように構成され、電子デバイスの画像処理装置は、表示位置または傾斜角度に基づいて画像データを処理することにより、処理済み画像データによって駆動された表示モジュールの出射光線の角度を調整することができる。
【0045】
具体的に説明すると、図11Aにおいて、表示モジュールは、ピクセルアレイ1111、レンチキュラーレンズ1112、およびモーションセンサー1113を含むことができる。ピクセルアレイ1111およびレンチキュラーレンズ1112は、それぞれ方向D1および方向D3に延伸する。ピクセルアレイ1111は、方向D2に向かってレンチキュラーレンズ1112を通過する出射光線を提供し、出射光線は、観察者1120に提供される。方向D1~D3は、互いに垂直である。本発明の実施形態において、モーションセンサー1113は、表示モジュールの表示位置または傾斜角度を検出することができ、電子デバイスの画像処理装置は、表示モジュールの表示位置または傾斜角度に基づいて画像データを処理することができる。図11Bに示すように、電子デバイスの画像処理装置は、表示モジュールの表示位置または傾斜角度に基づく角度範囲1130に対応する角度プロファイルデータを使用して、ピクセルアレイ1111を駆動するための処理済み画像データを生成することができる。
【0046】
本発明の1つの実施形態において、図11Cにおいて、表示モジュールが反時計回りに角度を回転すると、モーションセンサー1113は、表示モジュールの表示位置または傾斜角度が変わったことを検出することができる。したがって、図11Dに示すように、電子デバイスの画像処理装置は、角度範囲1140に対応する角度プロファイルデータを使用するように変更して、ピクセルアレイ1111を駆動するための処理済み画像データを生成することにより、ピクセルアレイ1111によって提供された出射光線の角度を調整することができる。
【0047】
本発明の1つの実施形態において、図11Eにおいて、観察者1120が時計回りに角度を回転すると、モーションセンサー1113は、表示モジュールの表示位置または傾斜角度が変化したことを検出することができる。したがって、図11Fに示すように、電子デバイスの画像処理装置は、角度範囲1150に対応する角度プロファイルデータを使用するように変更して、ピクセルアレイ1111を駆動するための処理済み画像データを生成することにより、ピクセルアレイ1111によって提供された出射光線の角度を調整することができる。
【0048】
そのため、電子デバイスの画像処理装置は、表示モジュールの表示位置または傾斜角度に基づいて角度プロファイルデータを効果的に処理し、ピクセルアレイ1111を駆動するための処理済み画像データを生成することができる。ピクセルアレイ1111は、表示モジュールの表示位置または傾斜角度に基づいて変化し、広い範囲にわたってリアルな光沢変化を有する表示内容を提供することができる。
【0049】
以上のように、本発明の画像処理方法および表示システムは、角度プロファイルデータを有する画像データに対して効果的な画像処理機能を実施して、使用に必要な適切な角度プロファイルデータを生成することができる。画像処理方法は、処理済み画像データに基づいて表示モジュールを効果的に駆動し、広い範囲にわたってリアルな光沢変化を有する表示内容を提供することができる。
【0050】
当業者にとって明らかであるように、本発明の範囲または精神から逸脱することなく、開示された実施形態に対してさまざまな修正および変更を行うことが可能である。これを考慮して、本発明は、以下の特許請求の範囲およびそれらの同等物の範囲内にある修正および変更を包含することが意図されている。
【産業上の利用可能性】
【0051】
本発明の画像処理方法および表示システムは、表示装置に適用することができる。
【符号の説明】
【0052】
100、811、911 画像処理装置
101 画像データ
102 処理済み画像データ
110 処理ユニット
120 入力ユニット
130 出力ユニット
301~303、401~406、501、502、503R、503G、503B、504R、504G、504B、505~507、701~706 曲線
610 初期光条件
611 オブジェクト
612、613 スポットライト
620、630、640 調整後の光条件
800、900 表示システム
810、910 電子デバイス
812、920 カメラ
820、912 表示モジュール
1011、1111 ピクセルアレイ
1012 レンチキュラーレンズ
1020、1120 観察者
1030、1040、1050、1130、1140、1150 角度範囲
1112 レンチキュラーレンズ
1113 モーションセンサー
D1、D2、D3 方向
S210~S230 ステップ

図1
図2
図3A
図3B
図3C
図4A
図4B
図4C
図4D
図4E
図4F
図5A
図5B
図5C
図5D
図5E
図5F
図6A
図6B
図6C
図6D
図7A
図7B
図7C
図7D
図7E
図8
図9
図10A
図10B
図10C
図10D
図10E
図10F
図11A
図11B
図11C
図11D
図11E
図11F
【外国語明細書】