特許 7181202 ディスプレイ装置上の反射の補正のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-21

(45)【発行日】2022-11-30

(54)【発明の名称】ディスプレイ装置上の反射の補正のためのシステムおよび方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20221122BHJP

   G09G 5/10 20060101ALI20221122BHJP

【ＦＩ】

G09G5/00 X

G09G5/10 Z

G09G5/00 550C

【請求項の数】 27

(21)【出願番号】P 2019533169

(86)(22)【出願日】2017-12-18

(65)【公表番号】

(43)【公表日】2020-02-13

(86)【国際出願番号】 CA2017051526

(87)【国際公開番号】W WO2018112609

(87)【国際公開日】2018-06-28

【審査請求日】2020-12-11

(31)【優先権主張番号】62/436,667

(32)【優先日】2016-12-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518072003

【氏名又は名称】フォルシア イリステック インコーポレイテッド

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(72)【発明者】

【氏名】グレッグ ワード

【審査官】西島 篤宏

(56)【参考文献】

【文献】特開２００９－０３１３３７（ＪＰ，Ａ）

【文献】特開２０１５－０２２５２５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００９１７９２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１２／０２２９４８７（ＵＳ，Ａ１）

【文献】特開２００９－２４４７００（ＪＰ，Ａ）

【文献】国際公開第２０１４／０２７５６９（ＷＯ，Ａ１）

【文献】特開２０１５－２２２３１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

(57)【特許請求の範囲】

【請求項1】

ディスプレイ装置上の反射を補正するための方法であって、
前記ディスプレイ装置に面するシーンの１つまたは複数の画像を取り込む工程と、
前記ディスプレイ装置に面する前記シーン内に位置する１つまたは複数の反射誘導ゾーンを、取り込まれた前記１つ又は複数の画像から特定する工程と、
前記反射誘導ゾーンによって引き起こされる、前記ディスプレイ装置に対する鏡面反射効果を決定する工程と、
前記決定された鏡面反射効果に基づいて、前記ディスプレイ装置上に表示される対象画像を調整する工程と、を含み、
前記１つまたは複数の反射誘導ゾーンが、取り込まれた前記１つまたは複数の画像内の複数の画像ピクセルの輝度値に基づいて決定され、
前記１つまたは複数の反射誘導ゾーンが、規定の閾値よりも大きい輝度値を有する取り込まれた前記１つまたは複数の画像内のエリアに相当し、
前記ディスプレイ装置に面する前記シーンの前記１つまたは複数の画像を取り込む工程が、前記シーン内に位置する視聴者の顔を取り込む工程を含み、
前記規定の閾値が、前記視聴者の顔の一部分に相当する取り込まれた前記１つまたは複数の画像内のゾーンの輝度値に基づいて決定される、
方法。

【請求項2】

前記対象画像を調整する工程が、前記対象画像の１つまたは複数の領域内の複数の画像ピクセルの輝度値を調整する工程を含み；
前記対象画像の領域が、前記反射誘導ゾーンから決定される、請求項１に記載の方法。

【請求項3】

請求項１又は２に記載の方法であって、取り込まれた前記画像から、前記ディスプレイ装置を見ている前記視聴者の位置を決定する工程をさらに含み、
前記反射誘導ゾーンによって引き起こされる前記ディスプレイ装置への前記鏡面反射効果が、前記視聴者の位置および前記ディスプレイ装置からの前記反射誘導ゾーンの各々の距離に基づいて決定される、方法。

【請求項4】

前記シーン内の１つまたは複数の発光オブジェクトの所定のプロパティを受信する工程と、
１つまたは複数の前記反射誘導ゾーンを、相当する１つまたは複数の発光オブジェクトとマッチングさせる工程と、
前記複数の反射誘導ゾーンと前記相当する複数の発光オブジェクトの前記所定のプロパティとによって引き起こされる、前記ディスプレイ装置に対する前記鏡面反射効果を決定する工程と、
前記決定された鏡面反射効果に基づいて、前記ディスプレイ装置上に表示される前記対象画像を調整する工程と、をさらに含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記シーン内に位置する前記１つまたは複数の発光オブジェクトの前記所定のプロパティが、各発光オブジェクトの位置、所定の輝度値、およびサイズのうちの１つまたは複数を含む、請求項４に記載の方法。

【請求項6】

前記ディスプレイ装置からの前記１つまたは複数の反射誘導ゾーンの各々の距離を前記複数の発光オブジェクトの前記所定のプロパティに基づいて決定する工程を更に含む、請求項５に記載の方法。

【請求項7】

前記複数の発光オブジェクトは自動車のキャビンにあり、前記ディスプレイ装置は前記自動車の前記キャビン中の固定位置に位置する、請求項４～６のいずれかに記載の方法。

【請求項8】

前記シーン内に位置する遮蔽要素を特定する工程をさらに含む、請求項４～７のいずれかに記載の方法。

【請求項9】

前記鏡面反射効果が、前記ディスプレイ装置に面する前記シーン内に位置する反射誘導ゾーンに起因して前記ディスプレイ装置上に示される１つまたは複数の反射ゾーンにおける画像ピクセルの位置及び輝度値を定義し、
前記対象画像を調整する工程が、決定された前記鏡面反射効果に従って前記対象画像内の輝度値を調整する工程を含む、請求項１～８のいずれか一項に記載の方法。

【請求項10】

輝度値を調整する工程が、１つまたは複数の反射ゾーンのうちの所与の１つに相当する前記対象画像のエリアに対して、
前記エリアの１つまたは複数のサブエリアであって、前記対象画像のピクセルの輝度値が前記反射ゾーンの相当するサブエリアにおける前記鏡面反射効果の輝度値より大きいサブエリアに対して、前記１つまたは複数のサブエリア内のピクセルの輝度値を減少させる工程と、
前記エリアの１つまたは複数のサブエリアであって、前記サブエリアにおける前記対象画像のピクセルの輝度値が前記反射ゾーンの相当するサブエリアにおける前記鏡面反射効果の輝度値より小さいサブエリアに対して、前記１つまたは複数のサブエリア内のピクセルの輝度値を増加させる工程と、
を含む、請求項９に記載の方法。

【請求項11】

請求項１０に記載の方法において、
前記所与の１つまたは複数の反射ゾーンに相当する前記対象画像におけるエリア内の複数のピクセルの輝度値が
Ｌ´＝（ｍＬ－Ｖ）／ｋ
に基づいて調整され、
Ｌ´＝前記エリアにおける前記対象画像のピクセルの調整した輝度値、
Ｌ＝前記エリアにおける前記対象画像のピクセルの元の輝度値、
Ｖ＝前記反射ゾーンの相当するエリアにおける相当するピクセルの前記鏡面反射効果の輝度値、
Ｌｌｏｗ≧Ｖａｖｇの場合ｍ＝１、そうでなければｍｉｎ（Ｖａｖｇ／Ｌｌｏｗ，（Ｖａｖｇ＋ｋ）／Ｌｈｉｇｈ）、
Ｖａｖｇ＝前記反射ゾーンの相当するエリアにおける前記相当するピクセルの前記鏡面反射効果の輝度値の局所平均、
Ｌｌｏｗ＝前記エリアにおける前記対象画像のピクセルの元の輝度値の極小値、
Ｌｈｉｇｈ＝前記エリアにおける前記対象画像のピクセルの元の輝度値の極大値、
ｋ＝１．０以上のヘッドルーム値
である、方法。

【請求項12】

前記ディスプレイ装置に面する前記シーンの前記１つまたは複数の画像が、前記ディスプレイ装置から既知の距離および向きだけオフセットされた正面カメラによって取り込まれる、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記対象画像を調整する工程が、前記ディスプレイ装置の所定の反射率にさらに基づく、請求項１～１２いずれか一項に記載の方法。

【請求項14】

少なくとも１つのデータ記憶装置と、
前記少なくとも１つのデータ記憶装置に動作可能に結合された少なくとも１つのプロセッサとを含むコンピュータシステムであって、
前記少なくとも１つのプロセッサが、
ディスプレイ装置に面するシーンの１つまたは複数の取り込み画像を受信する工程と、
前記ディスプレイ装置に面する前記シーン内に位置する１つまたは複数の反射誘導ゾーンを前記取り込み画像から特定する工程と、
前記反射誘導ゾーンによって引き起こされる、前記ディスプレイ装置に対する鏡面反射効果を決定する工程と、
前記決定された鏡面反射効果に基づいて、前記ディスプレイ装置上に表示される対象画像を調整する工程とを実行するように構成され、
前記１つまたは複数の反射誘導ゾーンが、前記１つまたは複数の取り込み画像内の複数の画像ピクセルの輝度値に基づいて決定され、
前記１つまたは複数の反射誘導ゾーンが、規定の閾値よりも大きい輝度値を有する前記１つまたは複数の取り込み画像内のエリアに相当し、
前記ディスプレイ装置に面する前記シーンの前記１つまたは複数の取り込み画像が、前記シーン内に位置する視聴者の顔の１つまたは複数の取り込み画像を含み、
前記規定の閾値が、前記視聴者の顔の一部分に相当する１つまたは複数の取り込み画像内のゾーンの輝度値に基づいて決定される、
コンピュータシステム。

【請求項15】

前記対象画像を調整する工程が、前記対象画像の１つまたは複数の領域内の複数の画像ピクセルの輝度値を調整する工程を含み、
前記対象画像の領域が、前記反射誘導ゾーンから決定される、請求項１４に記載のコンピュータシステム。

【請求項16】

請求項１４又は１５に記載のシステムであって、前記プロセッサが、前記取り込み画像から、前記ディスプレイ装置を見ている前記視聴者の位置を決定するようにさらに構成されており、
前記反射誘導ゾーンによって引き起こされる前記ディスプレイ装置への前記鏡面反射効果が、前記視聴者の位置および前記ディスプレイ装置からの前記反射誘導ゾーンの各々の距離に基づいて決定される、コンピュータシステム。

【請求項17】

請求項１４～１６のいずれか一項に記載のシステムであって、前記プロセッサが、
前記シーン内の１つまたは複数の発光オブジェクトの所定のプロパティを受信する工程と、
１つまたは複数の前記反射誘導ゾーンを、相当する１つまたは複数の発光オブジェクトとマッチングさせる工程と、
前記複数の反射誘導ゾーンと前記相当する複数の発光オブジェクトの前記所定のプロパティとによって引き起こされる、前記ディスプレイ装置に対する前記鏡面反射効果を決定する工程と、
前記決定された鏡面反射効果に基づいて、前記ディスプレイ装置上に表示される前記対象画像を調整する工程とを実行するように構成される、コンピュータシステム。

【請求項18】

前記シーン内に位置する前記１つまたは複数の発光オブジェクトの前記所定のプロパティが、各発行オブジェクトの位置、所定の輝度値、およびサイズのうちの１つまたは複数を含む、請求項１７に記載のコンピュータシステム。

【請求項19】

請求項１８に記載のシステムであって、前記プロセッサが、
前記ディスプレイ装置からの前記１つ又は複数の反射誘導ゾーンの各々の距離を前記複数の発光オブジェクトの前記所定のプロパティに基づいて決定する工程を更に実行するように構成される、コンピュータシステム。

【請求項20】

請求項１７～１９のいずれか一項に記載のシステムであって、
前記複数の発光オブジェクトは自動車のキャビンにあり、前記ディスプレイ装置は前記自動車の前記キャビン中の固定位置に位置する、コンピュータシステム。

【請求項21】

前記プロセッサが、前記シーン内に位置する遮蔽要素を特定するようにさらに構成されている、請求項１７～２０のいずれかに記載のコンピュータシステム。

【請求項22】

前記鏡面反射効果が、前記ディスプレイ装置に面する前記シーン内に位置する反射誘導ゾーンに起因して前記ディスプレイ装置上に示される１つまたは複数の反射ゾーンにおける画像ピクセルの位置及び輝度値を定義し、
前記対象画像を調整する工程が、決定された鏡面反射効果に従って前記対象画像内の輝度値を調整する工程を含む、請求項１４～２１のいずれか一項に記載のコンピュータシステム。

【請求項23】

輝度値を調整する工程が、１つまたは複数の反射ゾーンのうちの所与の１つに相当する前記対象画像のエリアに対し、
前記エリアの１つまたは複数のサブエリアであって、前記対象画像のピクセルの輝度値が前記反射ゾーンの相当するサブエリアにおける前記鏡面反射効果の輝度値より大きいサブエリアに対して、前記１つまたは複数のサブエリア内のピクセルの輝度値を減少させる工程と、
前記エリアの１つまたは複数のサブエリアであって、前記サブエリアにおける前記対象画像のピクセルの輝度値が前記反射ゾーンの相当するサブエリアにおける前記鏡面反射効果の輝度値より小さいサブエリアに対して、前記１つまたは複数のサブエリア内のピクセルの輝度値を増加させる工程とを含む、
請求項１７に記載のコンピュータシステム。

【請求項24】

請求項２３に記載のシステムにおいて、
前記所与の１つまたは複数の反射ゾーンに相当する前記対象画像におけるエリア内の複数のピクセルの輝度値が
Ｌ´＝（ｍＬ－Ｖ）／ｋ
に基づいて調整され、
Ｌ´＝前記エリアにおける前記対象画像のピクセルの調整した輝度値、
Ｌ＝前記エリアにおける前記対象画像のピクセルの元の輝度値、
Ｖ＝前記反射ゾーンの相当するエリアにおける相当するピクセルの前記鏡面反射効果の輝度値、
Ｌｌｏｗ≧Ｖａｖｇの場合ｍ＝１、そうでなければｍｉｎ（Ｖａｖｇ／Ｌｌｏｗ，（Ｖａｖｇ＋ｋ）／Ｌｈｉｇｈ）、
Ｖａｖｇ＝前記反射ゾーンの相当するエリアにおける前記相当するピクセルの前記鏡面反射効果の輝度値の局所平均、
Ｌｌｏｗ＝前記エリアにおける前記対象画像のピクセルの元の輝度値の極小値、
Ｌｈｉｇｈ＝前記エリアにおける前記対象画像のピクセルの元の輝度値の極大値、
ｋ＝１．０以上のヘッドルーム値
である、コンピュータシステム。

【請求項25】

前記ディスプレイ装置に面する前記シーンの前記１つまたは複数の取り込み画像が、前記ディスプレイ装置から既知の距離および向きだけオフセットされた正面カメラによって取り込まれる、請求項１４～２４のいずれか一項に記載のコンピュータシステム。

【請求項26】

前記対象画像を調整する工程が、前記ディスプレイ装置の所定の反射率にさらに基づく、請求項１４～２５のいずれか一項に記載のコンピュータシステム。

【請求項27】

少なくとも１つのプロセッサで実行されたときに、前記少なくとも１つのプロセッサに請求項１～１３のいずれか一項に記載の方法を実施させるコンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【関連特許出願】

【0001】

本出願は、２０１６年１２月２０日に提出された、ディスプレイ装置上の反射の補正のためのシステムおよび方法という名称の米国仮特許出願第６２／４３６，６６７号明細書からの優先権を主張し、この開示は、その全体が参照により本明細書に組み入れられるものとする。

【技術分野】

【0002】

技術分野は、概して、デジタル画像処理を実施し、周辺環境内の１つまたは複数の鏡面反射の反射を補正することに関する。

【背景技術】

【0003】

光が携帯機器のディスプレイ装置と相互作用するとき、光はさまざまな形で反射され得る。例えば、反射率は、完全拡散～完全鏡面反射まで変化する反射の拡散性に関して定量化することができる。例えば、完全鏡にスポットライトを当てると鏡面反射のみを提供し、鏡がスポットライトの角度と相補的な角度から表示されたときに、スポット光は反射された画像にのみ見える。すなわち、スポットライトが鏡の中心の左側に配置され、４５度から鏡上に示される場合、スポットライトは、それが鏡の右側４５度に位置する観察者によって見られるときだけ見えるようになる。一方、拡散表面は光を受け入れ、それをあらゆる角度で反射する。したがって、スポットライトが完全拡散表面上に示される場合、スポットライトからの光の一部はあらゆる角度から見ることができ、スポットライトが拡散体を照らしていないときのように反射体は明るく見える。ほとんどのディスプレイは、完全鏡または完全拡散体ではないが、鏡のように光を鏡面反射し、一部を拡散反射する。ディスプレイによって提供される拡散反射および鏡面反射の両方を含む全反射は、双方向反射分布関数を使用して特徴付けることができる。

【0004】

現代のディスプレイ装置、特に携帯機器に見られるディスプレイ装置は、高周辺照度の状況では鏡面反射を示す傾向がある。図１Ａおよび図１Ｂに見られるように、そのような反射はコンテンツを見ることを困難にし、背景変化および画面の傾きに対応してハイライトを移行させると、特にビデオで人の視野をさらに混乱させる。

【0005】

周辺の影響を緩和するために一般的に適用される方法は黒レベルを上げることを伴うが、これはコントラストをさらに弱めるだけであり、表示されたコンテンツと反射された背景情報間の混乱を補うためにはほとんど役立たない。

【0006】

低照度条件の補正は、カラーおよびトーンマッピングを適切に操作することで達成できる。しかしながら、明るい周辺環境は、画面反射、周囲グレア、および制限されたディスプレイの明るさを含む、いくつかの問題を引き起こす。ある程度まで、最初の２つの問題は、３番目の問題を排除することにより、すなわちより明るいディスプレイを作製して周辺環境を克服することにより解決することができる。携帯機器において容認できない対価は消費電力であるが、自動車の場合、それは主に技術的限界の問題である。最新のＬＥＤバックライト付きＬＣＤまたはＯＬＥＤパネルで特別な冷却が必要になる前に、ディスプレイはやっとそこまで明るくなる。さらに、そのような調整は、鏡面反射よりも拡散反射をより良好に解決する。それにもかかわらず、輝度を高めることは、おそらく自動車用ディスプレイの可読性問題に対処するための最初の手段になるであろう。例えば、米国特許第６，４１１，３０６号明細書、米国特許第７，５４５，３９７号明細書を参照。

【0007】

画面反射を減らすことはもう１つのよく知られたアプローチであり、典型的には低反射率コーティングを使用する。タッチ画面用の薄膜コーティングは飛躍的な進歩を遂げており、メタマテリアルはさらなる改良の可能性を秘めているが、光源がディスプレイよりも桁違いに明るい場合は、画面反射が完全に排除されることは決してない。０．０１％まで低い鏡面反射率は、既存のコーティングよりも桁違いに小さく、１０，０００ニトを超える間接的な太陽光反射（自動車、窓ガラス、または水域からの反射）をもたらす。この問題はとにかく大きすぎて、全ての条件下で解決することはできない。

【発明の概要】

【0008】

一態様によれば、ディスプレイ装置上の反射を補正するための方法が提供される。この方法は、ディスプレイ装置に面するシーンの１つまたは複数の画像を取り込む工程と、ディスプレイ装置に面するシーン内に位置する１つまたは複数の反射誘導ゾーンを取り込み画像から特定する工程と、反射誘導ゾーンによって引き起こされる、ディスプレイ装置に対する鏡面反射効果を決定する工程と、決定された鏡面反射効果に基づいて、ディスプレイ装置上に表示される対象画像を調整する工程とを含む。

【0009】

様々な態様によれば、コンピュータ実施システムは、少なくとも１つのデータ記憶装置と；少なくとも１つの記憶装置に動作可能に結合された少なくとも１つのプロセッサとを含み、その少なくとも１つのプロセッサは、様々な態様に従って本明細書に記載の方法を実施するように構成されている。

【0010】

例示的な一実施形態によれば、コンピュータ実施システムは、少なくとも１つのデータ記憶装置と；
少なくとも１つの記憶装置に動作可能に結合された少なくとも１つのプロセッサとを含み、その少なくとも１つのプロセッサは、以下の工程のために構成されている：
ディスプレイ装置に面するシーンの１つまたは複数の取り込み画像を受信する工程と；
ディスプレイ装置に面するシーン内に位置する１つまたは複数の反射誘導ゾーンを取り込み画像から特定する工程と；
反射誘導ゾーンによって引き起こされる、ディスプレイ装置に対する鏡面反射効果を決定する工程と；
決定された鏡面反射効果に基づいて、ディスプレイ装置上に表示される対象画像を調整する工程。

【0011】

様々な態様によれば、コンピュータ可読記憶媒体は、様々な態様に従って本明細書に記載の方法を実施するためのコンピュータ実行可能命令を含む。

【図面の簡単な説明】

【0012】

本明細書に記載の実施形態をよりよく理解し、それらがどのように実施され得るかをより明確に示すために、単に例示として、少なくとも１つの例示的な実施形態を示す添付の図面をここで参照する：

【図1a】ディスプレイ装置に面するシーン内の窓によって引き起こされる、ディスプレイ装置に対する反射効果を示す第１試料画像を示す図である；

【図1b】ディスプレイ装置に面するシーン内の窓によって引き起こされる、ディスプレイ装置に対する反射効果を示す第２試料画像を示す図である；

【図2】ディスプレイ装置に対する反射を補正するための例示的な方法の動作工程のフローチャートを示す図である；

【図3】１つまたは複数の反射誘導ゾーンを特定するための例示的な方法の動作工程のフローチャートを示す図である；

【図4】シーン内の発光オブジェクトのディスプレイ装置からの距離を決定するための例示的な方法の動作工程のフローチャートを示す図である；

【図5】ディスプレイ装置に対する反射効果を決定するための例示的な方法の動作工程のフローチャートを示す図である；

【図6】視聴者、ディスプレイ装置、および画像取り込み装置の相対位置を示す概略図を示す図である；

【図7】反射効果に基づいて、表示される対象画像を調整するための例示的な方法の動作工程のフローチャートを示す図である；

【図8a】反射の補正がミスマッチである、ディスプレイ装置に面するシーン内の窓によって引き起こされるディスプレイ装置に対する反射効果を示す第１試料画像を示す図である；

【図8b】反射の補正がミスマッチである、ディスプレイ装置に面するシーン内の窓によって引き起こされるディスプレイ装置に対する反射効果を示す第２試料画像を示す図である；

【図8c】本明細書に記載の様々な例示的実施形態による反射補正が適用された、ディスプレイ装置に面するシーン内の窓によって引き起こされるディスプレイ装置に対する反射効果を示す第１試料画像を示す図である；

【図8d】本明細書に記載の様々な例示的実施形態による反射補正が適用された、ディスプレイ装置に面するシーン内の窓によって引き起こされるディスプレイ装置に対する反射効果を示す第２試料画像を示す図である；

【図8e】本明細書に記載の様々な例示的実施形態による反射補正が適用された、ディスプレイ装置に面するシーン内の窓によって引き起こされるディスプレイ装置に対する反射効果を示す第１試料画像を示す図である；

【図8f】本明細書に記載の様々な例示的実施形態による反射補正が適用された、ディスプレイ装置に面するシーン内の窓によって引き起こされるディスプレイ装置に対する反射効果を示す第２試料画像を示す図である；

【図9a】ディスプレイ装置に面するシーンを取り込んだ画像を示す図である；

【図9b】ディスプレイ装置に面するシーンの画像から決定された反射ゾーン（白）を示すマスクを示す図である；

【図10a】処理前の第３試料画像を示す図である；

【図10b】反射補正のための調整後の第３試料画像を示す図である；

【図10c】反射効果を示し、反射補正なしの、表示された第３試料画像を示す図である；ならびに

【図10d】本明細書に記載の様々な例示的実施形態による反射補正を適用した、表示された第３試料画像を示す図である。

【0013】

説明を簡単かつ明瞭にするために、図に示される要素は必ずしも一定の縮尺で描かれてはいないことが理解されるであろう。例えば、いくつかの要素の寸法は他の要素に対して、明瞭にするために誇張されている場合がある。

【発明を実施するための形態】

【0014】

大まかに説明すると、本明細書に記載の様々な例示的実施形態は、ディスプレイ装置に面するシーン内の発光オブジェクトによって引き起こされる反射を、シーンの画像を取り込む工程、発光オブジェクトに相当する反射誘導ゾーンを画像内で特定する工程、反射誘導ゾーンからディスプレイ装置に対する反射効果を推定する工程、推定された反射効果に基づいて表示される対象画像を調整する工程により補正するためのシステムおよび方法を提供する。反射誘導ゾーンは、鏡面反射を引き起こすゾーンとすることができ、推定する工程は、ディスプレイ装置に対する鏡面反射効果を推定する。

【0015】

本明細書に記載の１つまたは複数の反射補正システムおよび方法は、プログラム可能なコンピュータ上で実行されるコンピュータプログラムで実施することができ、それぞれ少なくとも１つのプロセッサ、データ記憶システム（揮発性および不揮発性メモリおよび／または記憶素子を含む）、少なくとも１つの入力装置、ならびに少なくとも１つの出力装置を含む。例えば、限定されるものではないが、プログラム可能なコンピュータは、プログラム可能な論理ユニット、メインフレームコンピュータ、サーバ、およびパーソナルコンピュータ、クラウドベースのプログラムまたはシステム、ラップトップ、パーソナルデータアシスタント、携帯電話、スマートフォン、ウェアラブル端末、タブレット端末、仮想現実機器、スマートディスプレイ装置（例：スマートテレビ）、セットトップボックス、ビデオゲーム機、またはポータブルビデオゲーム機器であり得る。

【0016】

各プログラムは、好ましくは、高級手続き型またはオブジェクト指向プログラミングおよび／またはスクリプト言語で実装され、コンピュータシステムと通信する。しかしながら、プログラムは、必要に応じて、アセンブリ言語または機械語で実装することができる。いずれにせよ、言語はコンパイラ型またはインタープリタ型言語であり得る。そのような各コンピュータプログラムは、好ましくは、コンピュータを構成し動作させるための汎用または専用のプログラム可能コンピュータによって読み取り可能な記憶媒体またはデバイスに記憶されており、記憶媒体またはデバイスがコンピュータによって読み取られたときに、本明細書に記載の手順を実施する。いくつかの実施形態では、システムは、プログラム可能なコンピュータ上で実行されるオペレーティングシステム内に埋め込まれていてもよい。他の例示的な実施形態では、システムは、ＣＰＵまたはビデオカード（ＧＰＵ）内などのハードウェア内に実装されていてもよい。

【0017】

さらに、記載された実施形態のシステム、プロセスおよび方法を、１つまたは複数のプロセッサのためのコンピュータ使用可能命令を持つコンピュータ可読媒体を備えるコンピュータプログラム製品に分散させることができる。媒体は、１つまたは複数のディスケット、コンパクトディスク、テープ、チップ、有線伝送、衛星伝送、インターネット伝送またはダウンロード、磁気および電子記憶媒体、デジタルおよびアナログ信号などを含む様々な形態で提供することができる。コンピュータ使用可能命令は、コンパイル済みコードおよび非コンパイル済みコードを含む様々な形態でもあり得る。

【0018】

本明細書に記載の１つまたは複数の反射補正システムおよび方法は、画像またはビデオ（以下、「対象画像」と呼ぶ）を電子ディスプレイ装置に表示する場合に適用される。限定されるものではないが、電子ディスプレイ装置は、コンピュータモニター、携帯機器の画面（例えば、タブレット、スマートフォン、ラップトップ、ウェアラブル端末）、ビデオゲーム機の画面、ＴＶなどであり得る。ディスプレイ装置は、ＯＬＥＤ、ＬＣＤ、量子ドットディスプレイ、レーザープロジェクター、ＣＲＴなどのディスプレイ技術を使用して実装され得る。

【0019】

図１ａおよび図１ｂは、一般的な反射問題を表す第１および第２試料画像を示す。ディスプレイ装置に面するエリア内の発光オブジェクトは、ディスプレイ装置上に白っぽいハイライトとして現れるディスプレイ装置上の反射を引き起こす。

【0020】

ここで図２を参照すると、そこには、ディスプレイ装置上の鏡面反射を補正するための例示的な方法１００の動作工程のフローチャートが示されている。

【0021】

工程１０８では、ディスプレイ装置に面するシーンの１つまたは複数の画像が取り込まれる。ディスプレイ装置は、１つまたは複数の対象画像を表示するために使用されることになる。ディスプレイ装置に面するシーンは、ディスプレイ装置の前の環境に相当する。

【0022】

ディスプレイ装置上で鏡面反射を引き起こす光を発するシーン内の任意のオブジェクトは、本明細書では概して「発光オブジェクト」と呼ばれる。当然のことながら、発光オブジェクトは鏡面反射を引き起こす光を直接放射し得るか、または発光オブジェクトは外部光源からの光を反射し、その反射光がディスプレイ装置上で鏡面反射をさらに引き起こし得る。

【0023】

１つまたは複数の画像は、ビデオ内などに連続的に取り込まれ得る。したがって、画像内に取り込まれているシーンは、画像取り込み装置の向きの変更またはシーン内のオブジェクトに対する変更などのために、シーケンスにわたって変化し得る。

【0024】

シーンの１つまたは複数の画像を、画像取り込み装置によって取り込むことができる。画像取り込み装置は、ディスプレイ装置から既知の距離および向きだけオフセットするように配置されてもよい。好ましくは、画像取り込み装置はディスプレイ装置に近接して配置され、ディスプレイ装置と同じ方向を向いている。例えば、画像取り込み装置は、ディスプレイ装置に近接して配置された外部カメラであり得る。代替的に、画像取り込み装置は、携帯機器（スマートフォン、タブレット、ウェブカメラ付きラップトップ、ビデオゲーム機など）の前面カメラなどの埋め込みカメラであり得る。

【0025】

画像取り込み装置は、カメラと周辺光センサーとの組み合わせなどの、取り込み装置の組み合わせとすることができる。好ましくは、カメラおよび周辺光センサーは、カメラによって取り込まれたシーンが周辺光センサーによって取り込まれたシーンと実質的に一致するように、互いに近接して配置される。カメラと周辺光センサーとの両方を備えた様々な携帯機器が現在提供されていることが理解されよう。

【0026】

いくつかの例示的実施形態では、画像取り込み装置は、シーン内のオブジェクトの深度情報を提供しながらシーンを取り込むように動作され得る２つ以上のカメラ（例えば、立体視カメラ）を有し得る。飛行時間センサーなど、深度を決定するように動作可能な追加の装置も使用することができる。

【0027】

シーンの取り込み画像は、より低い解像度にダウンサンプリングされてもよく、これは処理速度を向上させ得る。ディスプレイに面するシーンの取り込み画像を処理する本明細書に記載される工程は、ダウンサンプリングされた取り込み画像を指すことができると理解されよう。

【0028】

画像取り込み装置によって取り込まれた画像に表される、ディスプレイ装置に面するシーンは、取り込み装置の視野によって画定される。

【0029】

図２を続けて参照すると、工程１１６では、１つまたは複数の取り込み画像内に位置する１つまたは複数の反射誘導ゾーンが特定される。反射誘導ゾーンは、ディスプレイ装置上で鏡面反射を引き起こし得るシーン内の発光オブジェクトに相当する。取り込み画像内で、反射誘導ゾーンは、シーン内の明るい発光オブジェクトを示す十分に高い輝度値を有する取り込み画像のエリアである。

【0030】

工程１２４では、発光オブジェクトによって引き起こされ、取り込み画像内の反射誘導ゾーンによって表されるような、ディスプレイ装置に対する鏡面反射効果が決定される。鏡面反射効果は、ディスプレイ装置を見ている視聴者が、ディスプレイ装置に面するシーン内の発光オブジェクトによって引き起こされる鏡面反射をどのように認識するかの推定を表す。

【0031】

工程１３２では、ディスプレイ装置に表示される対象画像は、反射効果に基づいて調整される。対象画像は、視聴者によって認識される反射を低減または緩和するように調整され得る。調整は、対象画像をデジタル処理することを含み得る。

【0032】

ここで図３を参照すると、そこには、１つまたは複数の取り込み画像内に位置する１つまたは複数の反射誘導ゾーンを特定するための例示的方法の動作工程のフローチャートが示されている。方法は、工程１１６のサブ工程に対応し得る。

【0033】

工程２０８では、反射誘導ゾーンではない１つまたは複数の取り込み画像のエリアが特定される。このゾーンは、ディスプレイ装置に面するシーンの一部に相当し、それは視聴者によって認識される顕著な鏡面反射を引き起こすことはない。

【0034】

一例では、視聴者の顔は、ディスプレイ装置に面するシーンの画像内に取り込まれ、視聴者の顔の一部に相当する画像のゾーンは、取り込み画像の反射誘導ゾーンを特定するための閾値を設定するための参照エリアとして使用される。例えば、視聴者の鼻梁に相当する顔のエリアが使用され得る。このエリアは、ユーザーの額の一部および各目の部分も含み得る。

【0035】

工程２１６では、反射誘導ゾーンを決定するための閾値が設定される。閾値は、読み取り画像内の参照エリアを構成するピクセルの輝度値の平均の倍数（例えば１００倍）の輝度値として設定され得る。代替的に、または追加的に、閾値は最大画像値（例えば、閾値が最大輝度ピクセル値を超えるような参照エリア内の高輝度）の係数として設定され得る。

【0036】

工程２２４では、閾値を超える輝度値を有する取り込み画像のエリアは、反射誘導ゾーンであると決定される。一例では、平滑化または拡張を適用して、特定のサイズ未満の反射誘導ゾーンを除去してもよい。

【0037】

工程２３２では、反射誘導ゾーンによって表される各発光オブジェクトの、ディスプレイ装置からの距離が決定される。すなわち、工程２２４から特定された各反射誘導ゾーンについて、その反射誘導ゾーンによって表される実際の発光オブジェクトの距離が決定される。

【0038】

一例によれば、各発光オブジェクトの距離は、ディスプレイ装置に面するシーンの既知のプロパティから決定され得る。これは、シーンがディスプレイ装置に対して固定されている場合であり得る。ディスプレイ装置からのそれらの距離を含む、シーン内の各発光オブジェクトの位置は規定されて、特定された反射誘導ゾーンはその相当する発光オブジェクトにマッチングされる。

【0039】

例えば、コンピュータモニターまたはＴＶなどのディスプレイ装置は、室内などの空間内の固定位置にあり、その空間内に見られる発光オブジェクト（例：壁、窓、照明器具、ランプ）は規定されている。固定位置にあるディスプレイ装置は、公共の場に配置された電子広告板または他のディスプレイ装置であり得る。

【0040】

例えば、ディスプレイ装置は自動車の内部キャビン中の固定位置にあってもよく、キャビンの発光オブジェクト（例：車両の窓、キャビン内の照明）は規定されている。自動車は移動可能であるが、ディスプレイ装置はキャビンの内部に対して固定位置に留まることが理解されよう。

【0041】

１つまたは複数の例では、発光オブジェクトの位置および明るさなどのシーンのプロパティは、前もって知られている場合がある。例えば、そのようなプロパティは予め測定され、予め記憶されてもよい。

【0042】

例示的な一実施形態によれば、ディスプレイ装置からのシーン内の発光オブジェクトの距離は、ディスプレイ装置の感知された動きと、ディスプレイ装置が移動するときのシーンを取り込んだ画像内の反射誘導ゾーンの移動とから決定される。発光体の距離は、視差効果に基づいて算出することができる。

【0043】

シーン内の発光オブジェクトの距離の決定は、ディスプレイ装置からの画像取り込み装置のオフセットを考慮に入れることができる。追加的または代替的に、シーン内の発光オブジェクトの距離の決定は、視聴者の目などの視聴者の位置を考慮に入れることができる。

【0044】

ここで図４を参照すると、そこには、シーン内の発光オブジェクトのディスプレイ装置からの距離を決定するための例示的な方法２３２の動作工程を示すフローチャートが示されている。

【0045】

工程３０８では、画像取り込み装置の動きが感知される。動きは、画像取り込み装置の外部のセンサーによって感知され得るが、それは画像取り込み装置の動きを表す。例えば、ディスプレイ装置が携帯機器（例えば、スマートフォン、タブレット、ラップトップ、携帯ビデオゲーム機）である場合、動きは、ジャイロスコープなどの携帯機器の運動センサーで感知され得る。画像取り込み装置が移動されているとき、画像取り込み装置に面するシーンの複数の画像が取り込まれる。

【0046】

工程３１６では、シーン内の反射誘導ゾーンの移動は、画像取り込み装置の移動中に取り込まれたシーンの複数の画像から決定される。

【0047】

工程３２４では、画像取り込み装置の感知された動きは、決定された反射誘導ゾーンの移動内で相関し、ディスプレイ装置からの反射誘導ゾーンによって表される発光オブジェクトの距離が決定される。

【0048】

例示的な一実施形態によれば、画像取り込み装置の横方向の移動が感知される。さらに、運動方向に対してほぼ垂直である反射誘導ゾーンのエッジが特定される。複数の取り込み画像によって表されるシーン内のエッジの移動が特定される。検知された動きに反するエッジの動きは無視される。取り込まれたシーン内の移動量が最も少ないエッジは、ディスプレイ装置からより遠い距離（例えば無限遠）に位置すると判断される。移動が大きい方のエッジが、ディスプレイ装置に近いと判断される。

【0049】

様々な例示的実施形態によれば、シーン内の遮蔽オブジェクトも検出される。遮蔽オブジェクトは、発光オブジェクトとディスプレイ装置との間に位置するオブジェクトに相当し、ディスプレイ装置上に示される反射の一部を遮断するように作用する。

【0050】

ここで図５を参照すると、そこには、工程１１６で特定された反射誘導ゾーンによって引き起こされるディスプレイ装置に対する反射効果を決定するための例示的な方法１２４の動作工程のフローチャートが示されている。

【0051】

工程４０８では、ディスプレイ装置を見ている視聴者の位置が決定される。ディスプレイ装置に面するシーンの取り込み画像のオブジェクト認識を実施し、視聴者を認識することができる。一例では、視聴者の目の位置が探し当てられる。視聴者の位置は、経時的に追跡することができる。

【0052】

工程４１６では、１１６で特定された反射誘導ゾーンと、反射誘導ゾーンによって表される各発光オブジェクトの距離とが受信される。

【0053】

工程４２４では、視聴者の位置と、反射誘導ゾーンに関する情報と、相当する発光オブジェクトのディスプレイ装置からの距離とに基づいて、反射ゾーンが決定される。決定される反射ゾーンは、シーン内の発光オブジェクトによって引き起こされ、ユーザーによって認識される際にディスプレイ装置上に示される反射を表す。当然のことながら、反射ゾーンはディスプレイ装置のエリアの一部のみを覆っていてもよい。例えば、ディスプレイ装置のいくつかのエリアは反射誘導ゾーンに相当しないため、反射を示さないと判断される。

【0054】

ここで図６を参照すると、そこには、視聴者、ディスプレイ装置および画像取り込み装置の相対位置を示す概略図が示されている。視聴者によって認識されるディスプレイ装置上の反射は、ディスプレイ装置上に映し出される視聴者の目の位置に相当する仮想視点位置から見たシーン内の発光オブジェクトの視聴者の視点に相当することが理解されよう。しかしながら、シーンの画像を取り込む画像取り込み装置は、仮想視点位置からオフセットされている。したがって、外挿を適用して、取り込み画像内で反射誘導ゾーンとして表されている発光オブジェクトが仮想視点位置からどのように見られるかを決定する。

【0055】

例示的な一実施形態によれば、反射ゾーンは、２次元アレイの形態のベーリンググレアとして表すことができ、ここでアレイ内の値は、ディスプレイ装置上で視聴者によって認識される際の反射ゾーンの輝度値を定義する。

【0056】

ここで図７を参照すると、そこには、表示される対象画像を反射効果に基づいて調整するための例示的な方法１３２の動作工程のフローチャートが示されている。

【0057】

工程５０８では、工程４２４で決定された反射ゾーンが受信される。反射ゾーンの輝度値を規定するベーリンググレアも受信される。

【0058】

工程５１６では、反射ゾーンの輝度値は対象画像の輝度値と比較され、対象画像に適用される調整を決定する。例えば、ディスプレイ装置上の所与のエリアにおける反射領域の輝度値は、対象画像の対応するエリア（ディスプレイ装置に表示されるとき）での輝度値と比較される。輝度値の比較は、ピクセルごとに行われてもよい。ベーリンググレアのアップサンプリングが適用される場合がある。

【0059】

例示的な一実施形態によれば、対象画像の１つまたは複数のサブエリアであって、対象画像のピクセルの輝度値が反射ゾーンの対応するサブエリア内の輝度値より大きいサブエリアに対して、１つまたは複数のサブエリアエリア内のピクセルの輝度値を減少させる。

【0060】

対象画像の１つまたは複数のサブエリアであって、サブエリア内の対象画像のピクセルの輝度値が反射ゾーンの対応するサブエリア内の輝度値よりも小さいサブエリアについて、１つまたは複数のサブエリア内のピクセルの輝度値を増加させる。

【0061】

これは、対象画像が既に高い輝度値を有するエリアにおいて対象画像内の輝度値を減少させ、対象画像が輝度値を有しないエリアにおいて対象画像内の輝度値を高めるという効果を有することが理解されるであろう。

【0062】

反射を示さないディスプレイ装置のエリア（工程１１６および４２４から決定されるように、反射ゾーンがないエリア）に対応する対象画像のエリアは、調整されない。

【0063】

工程５２４では、対象画像は、工程５１６で計算された調整に従って調整される。

【0064】

工程５３２では、調整済み対象画像はディスプレイ装置上に表示される。

【実施例】

【0065】

（実施例１）
基本的な概念は、携帯機器から連続的なビデオ、周辺光および運動センサーのデータを取得し、それを使用して、ユーザーによって自身の画面上に見られる進行中の反射をリアルタイムで推測することである。正面カメラから見られる明るい領域を再投影するために、頭部位置も同時に追跡される。

【0066】

ベール減算の主な課題は、視聴者の視点から見た反射画像の正確な予測にある。反射画像が間違った場所にある場合、間違ったベールを減算することに起因して、図８ａおよび８ｂに示されるように、結果が劣化する可能性がある。ベール推定は、（ａ）観察者の目がどこに位置するかを把握することと、（ｂ）重要な反射源の明るさおよび位置を把握することを必要とし、両方ともディスプレイに相対的なものである。

【0067】

一実施例では、使用されている装置は、正面カメラ、周辺光センサー、および運動センサーを備え、いつ、どのようにディスプレイが動いているかを提供することを前提とする。これらの機能は、現在の携帯機器では一般的であり、将来的には改善した仕様が利用可能になる可能性があるが、現在の機能は十分である。目的は、ＣＰＵ、ＧＰＵ、またはバッテリーに過度の負担をかけないように、計算の複雑さを低く抑えることでもある。

【0068】

ベール計算は次のように進行する：
・ 画面に対する頭および目の位置を特定（追跡）する。正面カメラの固有のパラメータおよび典型的な人間の頭のサイズを使用して距離を判断する。
・ 取り込み画像の中で明るいゾーンと接するエッジを見つける。（図９ａおよび図９ｂの取り込みと明るいエリアの周辺ビットマップの例を参照。）領域のサイズが大きく変化しすぎないように、カメラの露出に基づいて閾値を動的に調整する。
・ 横方向の移動が（回転ではなく）運動センサーによって検出された場合は、明るいエリアのマスクで動きの方向にほぼ垂直なエッジを特定する。
・ 不適当な方向に大きく移動するエッジは、シーン内で動いているはずであるため、無視される。動きが最も少ないエッジは、無限遠（消失点または地平線）にあると想定される。動きが大きいエッジほど近くにあると想定され、それらの距離は、地平線に対する視差と固有のカメラパラメータに基づいて計算される。
・ さまざまな方向への小さな横方向の動きの積み重ねで、これらの明るいエリアの周辺との距離についての情報および信頼度を集める。周辺の距離を補間し、極端な異常値を破棄する。結果は、ハイライト領域を囲む３Ｄ輪郭のセットである。
・ 周辺センサーを使用して、白い（切り取られた）エリアの平均の明るさを推定する。
・ 推定された頭／目の位置に基づいて、３Ｄハイライト輪郭を再投影する。
・ 画面ＢＲＤＦ（双方向反射分布関数）を乗算し、想定される瞳孔サイズに基づいてぼかしを行い、反射（ベール）画像推定値を得る。
・ 反射推定値の信頼度に基づいて方法と強度を選択しながら、本明細書の他の箇所で説明されているようにハイライト緩和技術を適用する。

【0069】

この方法にはいくつかの重要な利点がある。

【0070】

明るさレベルを正確に捉えるには露出設定が高すぎる標準正面カメラを使用することができ、それは、記録された絶対レベルからのそれらの強度を、隣接する周辺センサーから推定することができるためである。

【0071】

完全３-Ｄ再構成問題を解決するのではなく、明るいエリアの周辺を使用して、装置の運動センサーおよび視聴者の不規則な手からの情報を構築する。動きに対して垂直にエッジを追跡することは、エラーをさらに減らし、ほとんどの多視点深度法で使用される特徴マッチングの労力を回避する。

【0072】

少数の離散位置が一組の３-Ｄ輪郭に沿って移動して充填され、新しいハイライトを推定するため、再投影も単純化される。これは軽量プロセスとして設計されている。

【0073】

ディスプレイを少し動かすようにユーザーを効果的に「訓練」し、画像を改善する。

【0074】

将来の正面カメラが高いダイナミックレンジの取り込み能力を有する場合、ベール画像はさらに改善されるであろう。

【0075】

（ハイライト閾値化）
１つのタスクは、取り込まれた前面カメラ視野のどの部分がユーザーの画面に反射することになる考えられるハイライトを構成するかを判断することである。閾値は、ユーザーの鼻梁での取り込み画像のピクセル値に基づいて経験的に設定される。これは視聴者の目の適応に比例することが予想され、すでにカメラの明るさの単位にあるため、露出がどうであれ、これは閾値を設定する便利な方法として役立つ。眼間距離に等しい正方形の面積が平均化され、これは鼻の大部分、額の一部、および各眼の約半分を覆う。ハイライト閾値は、この平均の倍数（例：１００倍）、または［０，１］の範囲内の最大画像値の係数（例：０．９２）のどちらか小さい方に設定される。２-Ｄビットマップを使用してダウンサンプリングされた閾値を上回る取り込み画像ピクセルは、マークされる。その後、このビットマップは収縮および拡張され、修正するには小さすぎる孤立したハイライトを削除する。

【0076】

（ハイライト再投影）
再投影工程では、前面カメラのジオメトリおよび決定された頭の位置を使用し、ユーザーの視点からの反射画像に相当する画面の背後の視点を外挿する。この段階では、全てのシーンピクセルに対する距離推定値が必要とされ、これはコールバック関数から得られる。自動車のデモでは、この関数はモックアップ自動車の窓ジオメトリを使用する。

【0077】

再投影を必要としないであろう仮想視点は、ディスプレイの後ろの不可能な位置に相当する。前面カメラで取り込まれたハイライトの再投影は、シーン内のオブジェクトまでの距離によって異なる。視聴者の頭の輪郭までの距離は、目追跡データ、および固定の自動車デモジオメトリに基づくその他の距離から推定することができる。

【0078】

示されている図はまた、片目だけを示すことによって問題を単純化する。視聴者は２つの目を持つと推定されるため、再投影は２回実施され、結果を重ね合わせる。周辺センサー値に基づいて正規化した後、各ハイライトに対して５０％の係数を使用することができる。

【0079】

異なるシーン距離に相当するピクセルを再投影するために、ピクセルエリアはクワッドフィリング方法を使用して開かれる。再投影された視野の一部が視聴者の頭によって遮られ、そこではハイライトがはっきりしないことが理解される。これらは境界に応じてハイライトまたは非ハイライト領域で埋められることになる。次いで、最終ハイライト画像を、測定された画面反射率値を使用して、ディスプレイに反射される際に絶対輝度に変換する。

【0080】

（ハイライト補正）
ベール減算の重大な問題は、ネガティブ光を生成することが不可能であるため、「黒」に達する前に画像からそれほど多くを減算できないことである。これは、例えば、空の元のハイライトのピンクがかった残部に見える。幸いなことに、実際の生活の中で目はかなりヘイズを許容しているため、黒レベルを上げることは合理的なことである。黒レベルを認識に適した方法で上げると、画像の上に向かってヘイズが多くなり、より大きな反射の減算に必要なヘッドルームが得られる。追加されるヘイズの量は、最適な結果のために視聴条件およびユーザーの好みに基づいて調整することができる。

【0081】

視聴者から見たハイライト輝度が推定されると、劣化を最小限に抑えるための対象ディスプレイ画像を補正する必要がある。全体的な戦略は、対象画像値が許すハイライトのためにベールを減算し、必要に応じて他の値を上げ、本来なら減算には暗すぎるであろう対象領域においてベールを減算することである。これは、いくつかのハイライト領域で明るさを操作することを犠牲にして、ハイライトであっても局所的なコントラストを維持するという目的に適う。全体的な効果は興味深いもので、放出型ディスプレイと反射型ディスプレイの間に視覚的に存在する。ベール減算がちょうど機能する対象画像の明るい領域では、ベールはほとんど消え、色が復元される。より暗い領域では、画像のハイライトは反射プリント上のまだらな光のようであり、コントラストと色の見た目を維持しながら局所的な明るさを引き出す。これは、試験された他の操作よりも気にならないものとなる。

【0082】

ハイライト緩和方法は次の式で表すことができる：
Ｌ´＝（ｍＬ－Ｖ）／ｋ
ここで、
Ｌ´＝調整したピクセル値
Ｌ＝元のピクセル値
Ｖ＝ベーリンググレア
Ｌ_ｌｏｗ≧Ｖ_ａｖｇの場合ｍ＝１、そうでなければｍｉｎ（Ｖ_ａｖｇ／Ｌ_ｌｏｗ、（Ｖ_ａｖｇ＋ｋ）／Ｌ_ｈｉｇｈ）
Ｖ_ａｖｇ＝ベーリンググレアの局所平均Ｙ
Ｌ_ｌｏｗ＝最小局所Ｙ値
Ｌ_ｈｉｇｈ＝最大局所Ｙ値
ｋ＝ヘッドルーム値、≧１．０

【0083】

対象画像の値は、［０，１］の範囲のシングルチャンネル浮動小数点に変換される。Ｌ_ｌｏｗ値およびＬ_ｈｉｇｈ値は、局所乗数ｍを設定するために使用される対象画像の小領域内で計算される。このダウンサンプリングされた乗算画像ならびにベール画像は、人為境界の出現を回避するために一定量だけ平滑化される（ぼかされる）。ヘッドルーム定数ｋは、小さい領域を明るい値に押し上げることができるが、ＯＬＥＤ装置などの高い全出力を維持することが困難であるディスプレイ上にさらなる範囲を提供するために使用され得る。１．０を超える設定では、ハイライトを補正するために明るさを追加する必要がないディスプレイはどこでもわずかに暗くなる。

【0084】

（実施例２）
（自動車用ディスプレイ用途のデモの作製）
自動車用途は、車両の大まかなジオメトリが知られているため、シーン内の境界を強調するために距離を推定する必要性を回避するという制約付きの部分問題である。視聴者の頭の位置は、依然として、前面カメラのデータに基づいて追跡する必要がある。例えば、Ａｎｄｒｏｉｄは、このタスクを実施する組み込まれた呼び出しを搭載している。

【0085】

視聴者の目の位置をディスプレイエリアに対するカメラの視野および位置と共に使用して、明るい領域の位置を、反射画面での表示が予想される位置に再投影する。この工程は、取り込み画像の閾値を超えた領域ではピクセルごとに実施されるが、応答性を維持するために解像度を下げて行われる。このような状況では、視聴者の頭の位置の移行および視聴者の背後のシーンの変化に対応する。ある程度の遅延（例：数分の１秒程度）は許容範囲である。

【0086】

この実装例では、大体運転手の前に配置されたダッシュボード埋め込みディスプレイをシミュレートしようとしている。

【0087】

（頭部追跡方法のＡｎｄｒｏｉｄへの移植／実装）
正面カメラにアクセスしてリアルタイムで頭／目の位置を追跡し、必要に応じて移動を予測して待ち時間をゼロに減らする。これは、モバイルアプリケーション用の運動センサーへのアクセスから恩恵を受ける可能性がある。

【0088】

（ハイライト輝度を決定するための開発／試験方法）
周辺センサーと組み合わせて前面カメラを使用し、照明環境を推定し、同じ（カメラの）視点からのＨＤＲ取り込みと比較する。可能な限りエラーの原因を評価して排除する。

【0089】

（車両ジオメトリの入力方法を決定する）
デモパフォーマンスに必要な大まかな距離と窓の数を入力するための簡単なユーザーインターフェイスを作成する。

【0090】

（デモ用のビデオコンテンツを選択する）
運転席側の自動車用途に適したシミュレートされた計器パネル、ヘッドアップまたは他のディスプレイコンテンツを選択する。

【0091】

（設計および試験の再投影法）
入力された車両窓のジオメトリおよびタブレットの位置を使用して、タブレットディスプレイで予想される（反射された）窓の輪郭を追跡することで反射予測と組み合わせた頭部追跡の試験精度。

【0092】

（適切なハイライト緩和戦略を選択する）
さまざまな照明状況でのハイライト緩和手法を試験および調整し、最も効果的な方法（単数または複数）を選択する。

【0093】

（乗客を検出する機能を追加する）
隣の助手席に乗客がいる運転手のシナリオで、乗客が遮断する可能性があることに基づいてアプリの動作を変更する。

【0094】

（実施例３）
（モバイルアプリケーション用のデモの修正）
（単一視聴者頭部追跡）
方位センサーと前面カメラからの入力を使用して、可能性のある／可能な表示構成に基づいて視聴者の頭部を追跡する。頭のサイズおよび／または目の間隔を使って、距離および関連するシルエットの境界を推定する。

【0095】

（運動センサー入力を整理する）
運動センサーにアクセスし、境界距離の決定に必要なディスプレイ面内の「視差シフト」を検出するためのロバストな方法を開発する。ユーザーがコンテンツを操作して視聴しながら装置を自然に持っているときに生じる面内シフトとより一般的な回転を区別することを学ぶ。動作追跡分析のパフォーマンスを評価するために、記録された前面ビデオを使用する。

【0096】

（ハイライト領域境界の推定）
閾値化技術を使用して明るい領域の境界を特定し、垂直面内運動を使用して距離を推定し、距離が信頼できない場合には必要に応じて輪郭を接続する。測定値を確認すること。

【0097】

（ライブ追跡）
頭部追跡と一緒に３Ｄハイライト領域の境界および輝度推定値を使用し、ライブディスプレイで等高線を再投影し、精度を試験／改善する。動きとカメラ入力から信頼値を導き出す。

【0098】

（デモ統合）
完全な方法への自動車デモ用に開発された緩和と共に強度を含む結合反射推定。さまざまな画像およびビデオコンテンツで試験する。

【0099】

（フレームレート調整）
動作データおよび信頼度値を使用して、反射が問題にならない場合または信頼度が高く、頭部、シーンもしくは装置の動きが検出されない場合は、フレームレートを下げる。

【0100】

現在のデモの実装は、Ｓａｍｓｕｎｇタブレットデバイス上で動作する２つのＣ＋＋クラスと、ＡｎｄｒｏｉｄおよびグラフィックハードウェアとのインターフェイスをとるためのＧＰＵコードを含むＪａｖａインターフェイスから構成されている。以下は、Ｃ＋＋クラスを呼び出す前に取得する入力値のリストである：
（ａ）ディスプレイの解像度、サイズ、画面の反射率、前面カメラのジオメトリおよび固有パラメータ（ＦＯＶなど）などの静的パラメータ
（ｂ）前面カメラからの動的取り込み画像
（ｃ）周辺センサーの読み取り値（カメラと同様の視点を想定）
（ｄ）正面カメラのピクセルで測定した目の位置（鼻梁）および間隔（眼間距離）
（ｅ）正面カメラ画像のピクセルまでの推定距離（車両ジオメトリおよび頭部位置から）
（ｆ）ディスプレイ用の対象画像または映像フレーム。

【0101】

最初のＣ＋＋クラスはＧｅｔＨｉｇｈｌｉｇｈｔｓであり、その目的は、視聴者に見える反射ハイライトの位置と相対強度を決定することである。別のクラスＨｉｄｅＨｉｇｈｌｉｇｈｔｓに適用される対象ディスプレイ画像（ｆ）を除いて、上記の全ての情報が必要である。ＧｅｔＨｉｇｈｌｉｇｈｔｓクラスは、入力に対して次の操作を実施する：
（１）取り込み正面画像を低解像度（約４００×４００ピクセル）版にダウンサンプリングする
（２）方法の節に記載されているように、観察された鼻の明るさに基づいてハイライト強度閾値を決定する
（３）この閾値を超える低解像度画像の領域を見つけ、次いで、２つのダウンサンプリングされたピクセルだけ収縮および拡張して小さな特徴を除去する
（４）反射画面で見られるように、ハイライトをそれぞれの目の視界に投影して再マッピングする
（５）周辺センサーの読み取り値、画面の反射率、およびハイライトの平均輝度に基づいて反射の大きさを補正する

【0102】

前面カメラの画像がＨＤＲであるか、さらには有用な方法で較正されているとは限らない。実際、ハイライト領域の多くは最大画像値に切り取られることがある。工程（５）における正規化は、この較正の欠如を補正するように特に設計され、周辺センサーからの絶対値を置換し、測定された光の大部分が白色としてのみ示される場合でも画像内のどこかに表示されていると推測できる。ハイライトを周辺センサーの読み取り値で拡大縮小することで、記録されたハイライトがほぼ正しい範囲に戻る。唯一の仮定は、露出はユーザーの目の位置を追跡するのに十分明るく、他の全てが完全に飛ばされないほど十分に薄暗いということである。視聴者の顔の明るさを大きく超えるものが何もない場合、ハイライトは返されず、周辺センサーが照明の変化を検出するまでループは一時停止され得る。

【0103】

ＧｅｔＨｉｇｈｌｉｇｈｔｓクラスによって生成される結果は、ディスプレイの縦横比と、正面の画像が取り込まれた瞬間に視聴者が見ていると予想されるハイライトが一致する低解像度画像である。次に、この推定されたハイライト画像は、対象ディスプレイ画像（ｆ）と共にＨｉｄｅＨｉｇｈｌｉｇｈｔｓクラスに渡され、以下の工程を実施する：
（６）方法の節に記載されているように、問題となっているハイライトを減算するのに十分に画像を明るくする各ディスプレイピクセルで乗算を計算する
（７）乗算後の対象ディスプレイ画像からハイライト画像を減算する

【0104】

工程（６）では、ディスプレイ上でピクセル値が絶対輝度にどのように変換されるかを知る必要がある。これはＡｎｄｒｏｉｄで利用可能な明るさ設定によって決定されるべきであるが、この設定とＯＬＥＤディスプレイの実際のピクセル輝度との間には複雑で動的な関係があるようである。

【0105】

最後の操作（７）は最大ディスプレイ解像度で実施される唯一の操作であるが、ＧＰＵを使用することで十分に容易に速度を上げることができる。

【0106】

本明細書では、いくつかの代替実施形態ならびに実施例を説明および図示した。上記の本発明の実施形態は、例示的なものにすぎないことを意図している。当業者は、個々の実施形態の特徴、ならびに構成要素の可能な組み合わせおよび変形形態を理解するであろう。当業者はさらに、任意の実施形態が本明細書に開示された他の実施形態との任意の組み合わせで提供され得ることを理解するであろう。本発明は、その中心的な特徴から逸脱することなく他の特定の形態で実施され得ることが理解される。したがって、本実施例および実施形態は、あらゆる点で例示的であり限定的ではないと見なされるべきであり、本発明は本明細書で与えられる詳細に限定されるべきではない。したがって、特定の実施形態を図示し説明してきたが、添付の特許請求の範囲に定義されている本発明の範囲から著しく逸脱することなく、多数の修正が思い浮かぶ。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図8c】

【図8d】

【図8e】

【図8f】

【図9a】

【図9b】

【図10a】

【図10b】

【図10c】

【図10d】