特許 6472869 周囲光に基づく画像調整

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6472869

(24)【登録日】2019年2月1日

(45)【発行日】2019年2月20日

(54)【発明の名称】周囲光に基づく画像調整

(51)【国際特許分類】

   H04N 9/73 20060101AFI20190207BHJP

   H04N 9/04 20060101ALI20190207BHJP

【ＦＩ】

   H04N9/73

   H04N9/04 B

【請求項の数】21

【全頁数】16

(21)【出願番号】特願2017-508612(P2017-508612)

(86)(22)【出願日】2015年9月29日

(65)【公表番号】特表2017-528975(P2017-528975A)

(43)【公表日】2017年9月28日

(86)【国際出願番号】US2015052983

(87)【国際公開番号】WO2016060842

(87)【国際公開日】20160421

【審査請求日】2017年3月24日

(31)【優先権主張番号】14/515,165

(32)【優先日】2014年10月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】ヒックス、リッチモンド

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開平１１−０８５９５２（ＪＰ，Ａ）

【文献】 特開平１０−２２４６４６（ＪＰ，Ａ）

【文献】 特開２０１１−０１３８８９（ＪＰ，Ａ）

【文献】 特開２０１０−２７８５３０（ＪＰ，Ａ）

【文献】 特開２０１０−２４３３００（ＪＰ，Ａ）

【文献】 特開２００７−２０８６２９（ＪＰ，Ａ）

【文献】 特開２０１３−０１５３２４（ＪＰ，Ａ）

【文献】 国際公開第２００８／０４４７３２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／７３

Ｈ０４Ｎ ９／０４

(57)【特許請求の範囲】

【請求項1】

画像レンダリングのためのシステムであって、
処理デバイスと、
前記処理デバイスによって実装される複数のモジュールと
を備え、
前記複数のモジュールは、
画像、ならびに、取り込まれる前記画像の取り込み中に存在する周囲光のレベルおよび色を示す周囲光データまたは同等のホワイトバランス情報を含む画像データを受信するためのデータ受信モジュールと、
前記画像が表示される環境の周囲光を検出するための検出モジュールと、
前記検出された周囲光、および取り込まれる前記画像の取り込み中に存在する前記周囲光、または同等のホワイトバランス情報に基づいて、前記画像のスペクトルコンテンツを調整するための調整モジュールと、
ディスプレイを較正するための較正モジュールとを含み、
前記較正モジュールは、
第１の色パターンの第１の画像を、カメラデバイスを介して取り込み、
前記ディスプレイでレンダリングされている第２の色パターンが反射面によって反射された第２の画像を、前記カメラデバイスを介して取り込み、
前記第１の画像と前記第２の画像との間の差異を低減するために複数の色チャンネルに複数の補正係数を適用する、システム。

【請求項2】

前記調整された取り込まれる画像をディスプレイにレンダリングするためのレンダリングモジュールをさらに備える、請求項１に記載のシステム。

【請求項3】

前記調整モジュールが、前記取り込まれる画像が表示される前記環境の前記周囲光において変化が検出されるときに前記スペクトルコンテンツを動的に調整する、請求項１または２に記載のシステム。

【請求項4】

前記周囲光データが、交換可能な画像ファイルのフォーマットフィールドに格納される、請求項１から３のいずれか一項に記載のシステム。

【請求項5】

前記検出モジュールが、さらに、
前記取り込まれる画像が表示される前記環境内のオブジェクトの色を識別し、
前記周囲光における変化を示す前記オブジェクトの前記色の変化を決定する、請求項１から４のいずれか一項に記載のシステム。

【請求項6】

前記取り込まれる画像のレンダリングを含む画像データを外部ディスプレイで受信し、
前記外部ディスプレイにおける前記取り込まれる画像の前記レンダリングと前記取り込まれる画像の基準モデルとの間の色差を決定し、
前記レンダリングされた画像と前記基準モデルとの間の前記色差に基づいて、前記外部ディスプレイへのデータフィードを調整するための外部ディスプレイモジュールをさらに備える、請求項１から５のいずれか一項に記載のシステム。

【請求項7】

前記カメラデバイスをさらに備え、前記外部ディスプレイでレンダリングされた前記画像データが、前記カメラデバイスでの画像取り込みによって受信される、請求項６に記載のシステム。

【請求項8】

前記調整モジュールが、前記取り込まれる画像が表示される前記システムのディスプレイの透過品質から生じる不適応を修正する、請求項１から７のいずれか一項に記載のシステム。

【請求項9】

画像レンダリングのための方法であって、前記方法は、
取り込まれる画像、ならびに、前記取り込まれる画像の取り込み中に存在する周囲光のレベルおよび色を示す周囲光データを含む画像データを受信することと、
前記取り込まれる画像が表示される環境の周囲光を検出することと、
前記検出された周囲光および前記取り込まれる画像の取り込み中に存在する前記周囲光に基づいて、前記取り込まれる画像のスペクトルコンテンツを調整すること、
ディスプレイを較正することとを含み、
前記較正は、
第１の色パターンの第１の画像を、カメラデバイスを介して取り込むことと、
前記ディスプレイでレンダリングされている第２の色パターンが反射面によって反射された第２の画像を、前記カメラデバイスを介して取り込むことと、
前記第１の画像と前記第２の画像との間の差異を低減するために複数の色チャンネルに複数の補正係数を適用することとを含む、方法。

【請求項10】

前記調整された取り込まれる画像をディスプレイにレンダリングすることをさらに含む、請求項９に記載の方法。

【請求項11】

前記取り込まれる画像が表示される前記環境の前記周囲光において変化が検出されるときに前記スペクトルコンテンツを動的に調整することをさらに含む、請求項９または１０に記載の方法。

【請求項12】

前記周囲光データが、交換可能な画像ファイルのフォーマットフィールドに格納される、請求項９から１１のいずれか一項に記載の方法。

【請求項13】

前記取り込まれる画像が表示される前記環境内のオブジェクトの色を識別することと、
前記周囲光における変化を示す前記オブジェクトの前記色の変化を決定することと、をさらに含む、請求項９から１２のいずれか一項に記載の方法。

【請求項14】

前記取り込まれる画像のレンダリングを含む画像データを外部ディスプレイで受信することと、
前記外部ディスプレイにおける前記取り込まれる画像の前記レンダリングと前記取り込まれる画像の基準モデルとの間の色差を決定することと、
前記レンダリングされた画像と前記基準モデルとの間の前記色差に基づいて、前記外部ディスプレイへのデータフィードを調整することとをさらに含む、請求項９から１３のいずれか一項に記載の方法。

【請求項15】

前記外部ディスプレイにレンダリングされた前記画像データは、前記外部ディスプレイに通信可能に接続され、かつ、前記外部ディスプレイにデータストリームを提供するコンピューティングデバイスの前記カメラデバイスでの画像取り込みによって受信される、請求項１４に記載の方法。

【請求項16】

前記調整することが、前記取り込まれる画像が表示されるディスプレイの透過品質から生じる不適応を修正することを含む、請求項９から１５のいずれか一項に記載の方法。

【請求項17】

実行されたときに、処理デバイスに、請求項９から１６のいずれか一項に記載の方法を実施させるコンピュータプログラム。

【請求項18】

請求項１７に記載のコンピュータプログラムを格納したコンピュータ可読記憶媒体。

【請求項19】

取り込まれる画像、ならびに、前記取り込まれる画像の取り込み中に存在する周囲光のレベルおよび色を示す周囲光データまたは同等のホワイトバランスデータを含む画像データを受信し、
前記取り込まれる画像が表示される環境の周囲光を検出し、
前記検出された周囲光および前記取り込まれる画像の取り込み中に存在する前記周囲光に基づいて、前記取り込まれる画像のスペクトルコンテンツを調整し、
第１の色パターンの第１の画像を、カメラデバイスを介して取り込み、
ディスプレイでレンダリングされている第２の色パターンが反射面によって反射された第２の画像を、前記カメラデバイスを介して取り込み、
前記第１の画像と前記第２の画像との間の差異を低減するために複数の色チャンネルに複数の補正係数を適用するための手段を備える、装置。

【請求項20】

前記調整された取り込まれる画像をディスプレイにレンダリングするための手段をさらに備える、請求項１９に記載の装置。

【請求項21】

前記手段が、
前記取り込まれる画像が表示される前記環境内のオブジェクトの色を識別し、
前記周囲光における変化を示す前記オブジェクトの前記色の変化を決定する、請求項１９または２０に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照 本出願は、参照により本明細書に組み込まれる、２０１４年１０月１５日に出願された米国特許出願第１４／５１５１６５号の出願日の利益を主張する。

【0002】

本開示は、一般に画像調整に関する。より具体的には、本開示は、周囲光に基づく画像調整を説明する。

【背景技術】

【0003】

コンピューティングデバイスは、コンピューティングデバイスのディスプレイデバイス上の画像を見るためにますます使用されている。しかしながら、見られているときの周囲光と比較した場合の画像取り込み中の周囲光の差異が、見られた画像の不適応を招く可能性がある。不適応は、さまざまな周囲の照明環境において、観察者が色を異なって知覚する結果をもたらす、眼の視覚的誤認であり得る。例えば、画像取り込み中のオブジェクトの色は、所与の周囲光を用いた画像取り込み中に存在する観察者には、赤色として知覚され得る。しかし、画像がコンピュータモニタのようなディスプレイを介して取り込まれ、再送信されると、そのオブジェクトは、視聴者の眼が取り込まれる画像が表示される環境の周囲光に対して適応するため、わずかに異なる色を有するように見え得る。

【図面の簡単な説明】

【0004】

【図1】コンピューティングデバイスにおいて画像をレンダリングするレンダリングアプリケーションを有するコンピューティングデバイスのブロック図である。

【0005】

【図2】コンピューティングデバイスにおいて実行される画像レンダリングを示すプロセスフロー図である。

【0006】

【図3】コンピューティングデバイスにおける較正プロセスを示す図である。

【0007】

【図4】外部ディスプレイデバイスの較正を示す図である。

【0008】

【図5】周囲光データに基づく画像レンダリングの方法を示すブロック図である。

【0009】

【図6】周囲光データに基づいて画像をレンダリングするように構成されたコンピュータ可読媒体の一例を示すブロック図である。

【発明を実施するための形態】

【0010】

本明細書で開示される主題は、周囲光データに基づく画像レンダリングのための技術に関する。上述のように、ユーザは、ディスプレイではなく周囲光へのユーザの適応に基づいて、オブジェクトの色を誤って解釈する可能性がある。本明細書に記載の技術は、画像が表示される環境の周囲光データを検出し、検出された周囲光と元の画像の取り込み中に記録された色との間の差異に基づいて、レンダリングされた画像を調整する。

【0011】

例えば、赤色のセーターのような、所与の色を有するオブジェクトの画像を取り込むことができる。赤色のセーターの画像が取り込まれる画像取り込み環境内に存在する周囲光を決定して格納することができる。赤色のセーターを含む画像がコンピューティングデバイスのモニタなどのディスプレイで見られるとき、セーターの色は、表示環境内で生じるユーザの周囲光への適応によって、観察者に赤よりも明るく見えるか、または赤より暗く見えることがある。本明細書に記載の技術は、表示環境の周囲光およびユーザの知覚に対する既知の影響に基づいて、レンダリングされた画像のスペクトルコンテンツを調整することを含む。例えば、周囲光が濃い青色である場合、赤色のセーターの画像に青色を追加して、局所的な周囲照明のように表示することができ、したがって、ユーザの眼の適応を一致させるとともに、セーターが存在する場合に、ユーザが見るものを一致させることができる。

【0012】

図１は、コンピューティングデバイスにおいて画像をレンダリングするレンダリングアプリケーションを有するコンピューティングデバイスのブロック図である。コンピューティングデバイス１００は、プロセッサ１０２、非一時的コンピュータ可読媒体を含むストレージデバイス１０４、およびメモリデバイス１０６を含むことができる。コンピューティングデバイス１００は、ディスプレイデバイス１１０を操作してグラフィカルユーザインタフェース（ＧＵＩ）で画像をレンダリングするように構成されたディスプレイドライバ１０８と、１つまたは複数のカメラデバイス１１４を操作するように構成されたカメラドライバ１１２を含むことができる。いくつかの態様では、コンピューティングデバイス１００は、周囲光データを取り込むように構成された１つまたは複数のセンサ１１６を含む。

【0013】

コンピューティングデバイス１００は、ディスプレイデバイス１１０に表示された画像のスペクトルコンテンツを調整するように構成されたレンダリングアプリケーション１１８のモジュールを含む。図１に示すように、モジュールは、データ受信モジュール１２０と、検出モジュール１２２と、調整モジュール１２４と、レンダリングモジュール１２６と、較正モジュール１２８と、外部ディスプレイモジュール１３０とを含む。モジュール１２０，１２２，１２４，１２６，１２８，および１３０は、ハードウェアロジックを少なくとも部分的に含むロジックであってもよい。いくつかの例では、モジュール１２０，１２２，１２４，１２６，１２８，および１３０は、プロセッサ１０２などの処理デバイスによって実行されるように構成された記憶媒体に格納された命令であってもよい。さらに他の例では、モジュール１２０，１２２，１２４，１２６，１２８，および１３０は、ハードウェア、ソフトウェア、およびファームウェアの組み合わせであってもよい。モジュール１２０，１２２，１２４，１２６，１２８，および１３０は、独立して、並列に、分散して、またはより広範なプロセスの一部として動作するように構成されてもよい。モジュール１２０，１２２，１２４，１２６，１２８，および１３０は、別個のモジュールまたは親モジュールのサブモジュールと見なされてもよい。追加のモジュールが含まれていてもよい。いずれにしても、モジュール１２０，１２２，１２４，１２６，１２８，および１３０は、操作を実行するように構成されている。

【0014】

データ受信モジュール１２０は、取り込まれる画像、ならびに、取り込まれる画像の取り込み中に存在する周囲光のレベルおよび色を示す周囲光データを含む画像データを受信するように構成されている。場合によっては、取り込まれる画像を、コンピューティングデバイス１００のネットワークインタフェースコントローラ１３６に通信可能に接続されたネットワーク１３４を介して、コンピューティングデバイス１００に設けられた１つまたは複数のリモートコンピューティングデバイス１３２で遠隔で取り込むことができる。例えば、画像データは、ウェブサイト上で販売されている商品のような品物の取り込まれる画像を含むことができる。画像データはまた、画像取り込み中に生じる周囲光のレベルおよび色を示す周囲光データを含むことができる。

【0015】

検出モジュール１２２は、取り込まれる画像が表示される環境の周囲光を検出するように構成されている。場合によっては、検出モジュール１２２を、１つもしくは複数のセンサ１１６を介して、または１つもしくは複数のカメラデバイス１１４を介して周囲光データを収集するように構成することができる。取り込まれる画像が表示される環境の周囲光を、取り込まれる画像を調整するために使用することができる。調整モジュール１２４は、検出された周囲光および存在する周囲光、または画像の取り込み中に記録されたホワイトバランス情報に基づいて、取り込まれる画像のスペクトルコンテンツを調整することができる。換言すれば、調整モジュール１２４は、画像が取り込まれた環境内で生じる光のレベルおよび色に基づいて、取り込まれる画像のスペクトルコンテンツを、ディスプレイデバイス１１０を介して画像が表示される環境で生じる光のレベルおよび色と比較して、調節することができる。スペクトルコンテンツを調整することは、画像が画像取り込み環境と表示環境との間で同じ色を有するように見えるように、取り込まれる画像の１つまたは複数の色を変更することを含むことができる。実行される調整は、ディスプレイおよびディスプレイデバイス１１０の周りに存在する周囲照明の色温度の不一致に起因する、人間の知覚の不適応を修正することができる。

【0016】

場合によっては、検出モジュール１２２を、画像が表示される環境内のオブジェクトの色を識別するようにさらに構成することができる。検出モジュール１２２を、識別された色を動的に監視し、周囲光の変化を示すオブジェクトの色の変化を決定するように構成することができる。変化は、表示された画像のスペクトルコンテンツの調整において動的な更新を提供するために、調整モジュール１２４に報告することができる。

【0017】

上述したように、いくつかの実施形態では、コンピューティングデバイス１００は、ネットワーク１３４に通信可能に接続されたネットワークインタフェースコントローラ１３６を介して、インターネットサーバなどのリモートコンピューティングデバイス１３２から画像データを受信することができる。いくつかのシナリオでは、ネットワークインタフェースコントローラ１３６は、システムバス１３４に通信可能に接続されるように構成された拡張カードである。他のシナリオでは、ネットワークインタフェースコントローラ１３６を、コンピューティングデバイス１００などのコンピューティングデバイスのマザーボードと一体化させることができる。いくつかの実施形態では、レンダリングアプリケーション１１８は、リモートコンピューティングデバイス１３２の１つのようなリモートコンピューティングデバイスで実行され、および／または格納され得る。例えば、表示環境の周囲光データをリモートコンピューティングデバイス１３２に送信することができ、コンピューティングデバイス１００に画像データを提供する前に、取り込まれる画像を遠隔で調整することができる。

【0018】

また、レンダリングアプリケーション１１８は、レンダリングモジュール１２６を含んでもよい。レンダリングモジュール１２６は、ディスプレイドライバ１０８を介してディスプレイデバイス１１０に調整された取り込まれる画像をレンダリングするように構成されている。場合によっては、レンダリングモジュール１２６は、グラフィック処理ユニット（図示せず）によって実行されるか、またはグラフィック処理ユニット（図示せず）と協働して、調整された取り込まれる画像をディスプレイデバイス１１０にレンダリングすることができる。

【0019】

較正モジュール１２８は、１つまたは複数のカメラ１１４および外部ディスプレイモジュール１３０を較正するように構成され得る。例えば、較正モジュール１２８は、図３に関して以下により詳細に説明するように、第１の色パターンの第１の画像を取り込み、ディスプレイデバイス１１０でレンダリングされている第２の色パターンの反射の第２の画像を取り込み、第１の画像と第２の画像との間の差異を低減するために色チャンネルに補正係数を適用するように構成され得る。

【0020】

いくつかの実施形態では、外部ディスプレイモジュール１３０は、外部ディスプレイ（図示せず）を較正するように構成され得る。例えば、コンピューティングデバイス１００は、テレビなどの外部ディスプレイに画像データフィードを提供するように構成され得る。ただし、外部ディスプレイは、コンピューティングデバイス１００と同じ方法で較正を可能にすることができない可能性がある。場合によっては、赤色を含む画像が、外部ディスプレイによってピンクとしてレンダリングされる可能性がある。このシナリオでは、外部ディスプレイモジュール１３０は、１つまたは複数のカメラ１１４を介して外部ディスプレイに取り込まれる画像のレンダリングを含む画像データを受信するように構成されている。また、外部ディスプレイモジュール１３０は、外部ディスプレイにおける取り込まれる画像のレンダリングと取り込まれる画像の基準モデルとの間の色差を決定するように構成されている。基準モデルは、受信した画像データと、較正モジュール１２８によって実行された１つまたは複数のカメラ１１４の較正に基づくことができる。例えば、基準モデルは、取り込まれる画像の所与の領域が赤色であることを示すことができるが、外部ディスプレイ向けの１つまたは複数のカメラ１１４を介して受信された画像データは、外部ディスプレイが領域をピンクとしてレンダリングしていることを示すことができる。したがって、外部ディスプレイモジュール１３０は、外部ディスプレイにおけるレンダリングされた画像と基準モデルとの間の差異に基づいて、外部ディスプレイへのデータフィードを調整するように構成され得る。

【0021】

本明細書で言及するコンピューティングデバイス１００を、処理デバイス、ストレージデバイス、およびディスプレイデバイスなどのコンポーネントが単一の筐体内に配置されるモバイルコンピューティングデバイスとすることができる。例えば、コンピューティングデバイス１００は、タブレットコンピュータ、スマートフォン、携帯用ビデオゲームシステム、携帯電話、オールインワン・スレート・コンピューティング・デバイス、またはオールインワン機能を有する任意の他のコンピューティングデバイスであってもよく、コンピューティングデバイスの筐体には、ストレージコンポーネントやプロセッシングコンポーネントなどのコンポーネントだけでなくディスプレイも収容されている。

【0022】

プロセッサ１０２は、格納された命令を実行するように適合されたメインプロセッサであってもよい。プロセッサ１０２は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成であってもよい。プロセッサ１０２は、複雑命令セットコンピュータ（ＣＩＳＣ）もしくは縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セットの互換プロセッサ、マルチコア、または任意の他のマイクロプロセッサもしくは中央処理装置（ＣＰＵ）として実装されてもよい。

【0023】

メモリデバイス１０６は、ランダムアクセスメモリ（ＲＡＭ）（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、ゼロキャパシタＲＡＭ、シリコン−酸化物−窒化物−酸化物−シリコンＳＯＮＯＳ、組み込み型ＤＲＡＭ、拡張データ出力ＲＡＭ、ダブルデータレート（ＤＤＲ）ＲＡＭ、抵抗ランダムアクセスメモリ（ＲＲＡＭ（登録商標））、パラメータランダムアクセスメモリ（ＰＲＡＭ）など）、リードオンリメモリ（ＲＯＭ）（例えば、マスクＲＯＭ、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）など）、フラッシュメモリ、または任意の他の適切なメモリシステムを含むことができる。メインプロセッサ１０２は、システムバス１３４（例えば、ペリフェラル・コンポーネント・インターコネクト（ＰＣＩ）、業界標準アーキテクチャ（ＩＳＡ）、ＰＣＩ−Ｅｘｐｒｅｓｓ、ＨｙｐｅｒＴｒａｎｓｐｏｒｔ（登録商標）、ＮｕＢｕｓなど）を介して、メモリ１０６およびストレージデバイス１０４を含むコンポーネントに接続され得る。

【0024】

図１のブロック図は、コンピューティングデバイス１００が図１に示されるコンポーネントのすべてを含むことを示すことを意図するものではない。さらに、コンピューティングデバイス１００は、特定の実装形態の詳細に応じて、図１には示されていない任意の数の追加コンポーネントを含むことができる。

【0025】

図２は、コンピューティングデバイスで実行される画像レンダリングを示すプロセスフロー図である。プロセスフロー図２００は、画像取り込み環境内に周囲光レベルが存在する画像取り込みフェーズ２０２と、画像表示環境内に周囲光レベルが存在する画像ディスプレイフェーズ２０４とに分けられている。ブロック２０６では、所与のシーンまたはオブジェクトの画像が取り込まれる。ブロック２０８では、周囲光が検知される。周囲光を、画像取り込みデバイスで１つまたは複数のセンサを介して検知することができる。場合によっては、反射率は２１０で計算される。周囲光が分かれば、画像取り込み環境において画像取り込みデバイスで検出された光に基づいて反射率を計算することができる。

【0026】

２１２では、周囲光データまたはホワイトバランス情報および取り込まれる画像を含む画像データが格納される。いくつかの実施形態では、画像データを、周囲光またはホワイトバランスデータを格納するためのメタデータフィールドを有するフォーマットで格納することができる。ある場合には、周囲光またはホワイトバランスデータは、交換可能な画像ファイル（ＥＸＩＦ）のフォーマットフィールドに格納されてもよい。例えば、周囲光またはホワイトバランスデータがジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）のＥＸＩＦフィールドに格納される、ＪＰＥＧファイルを使用することができる。ディスプレイフェーズ２０４に進むと、２１４では、表示環境内の周囲光が検知され、ブロック２１６では、２０６で取り込んだ画像のスペクトルコンテンツが、２０８で検知された周囲光またはホワイトバランスデータを考慮して、２１４で検知された周囲光に基づいて調整され得る。例えば、取り込みフェーズ２０２の周囲光がディスプレイフェーズ２０４の周囲光より暖色である場合、取り込まれる画像の１つまたは複数の波長を下げて、ユーザがディスプレイフェーズ２０４で取り込まれる画像のより正確な色表現を知覚し得るようにすることができる。

【0027】

さらなるステップは、２１８におけるディスプレイの較正、２２０における較正の格納、および２２４におけるトーンマップの作成を含み得る。ディスプレイ較正および２１６におけるスペクトルコンテンツの調整に基づいて、トーンマッピングは、コントラストに対するユーザの、予想される眼の適応および正確さのために、最適化され得る。２２６では、調整された画像が、図１のディスプレイデバイス１１０などのディスプレイデバイスに表示される。

【0028】

図３は、コンピューティングデバイスにおける較正プロセスを示す図である。上述したように、コンピューティングデバイスのディスプレイデバイス１１０を較正することができる。本明細書に記載の技術は、図１の１つまたは複数のカメラデバイス１１４のようなカメラを介して色ターゲット３０２の画像を取り込むことによるディスプレイデバイス１１０の較正を含む。色ターゲット３０２は、ディスプレイデバイス１１０にレンダリングされた色チャート３０４と比較され得、３０８に示すように、ミラーなどの反射面３０６を介してカメラ１１４に反射され得る。

【0029】

図４は、外部ディスプレイデバイスの較正を示す図である。図１に関して上述したように、いくつかの態様では、外部ディスプレイ４０２を使用して、取り込まれる画像をレンダリングすることができる。このシナリオでは、コンピューティングデバイス１００は、外部ディスプレイデバイス４０２にデータフィードを提供することができる。ただし、外部ディスプレイデバイス４０２は、コンピューティングデバイス１００による較正に関して構成可能でなくてもよい。したがって、コンピューティングデバイス１００は、カメラデバイス１１４が画像データを取り込んで、データストリームが調整を必要とするかどうかを評価することを可能にし得る。場合によっては、調整は、図４に示すような既知の色パターンに基づいてもよい。いずれにせよ、データストリームの較正は、外部ディスプレイデバイス４０２に表示されている色が、コンピューティングデバイス１００のディスプレイデバイス１１０に表示される色と一致するように、外部ディスプレイデバイス４０２に提供され得る。

【0030】

図５は、周囲光データに基づく画像レンダリングの方法を示すブロック図である。ブロック５０２では、取り込まれる画像、ならびに、取り込まれる画像の取り込み中に存在する周囲光のレベルを示す周囲光データを含む画像データが受信される。ブロック５０４では、取り込まれる画像が表示される環境の周囲光が検出される。ブロック５０６では、取り込まれる画像のスペクトルコンテンツは、検出された周囲光および画像の取り込み中に存在する周囲光に基づいて調整される。

【0031】

いくつかの実施形態では、方法５００は、調整された取り込まれる画像をディスプレイにレンダリングすることをさらに含む。場合によっては、方法５００は、図３に関して上述したようにディスプレイの較正を含むこともできる。

【0032】

図６は、周囲光データに基づいて画像をレンダリングするように構成されたコンピュータ可読媒体の一例を示すブロック図である。コンピュータ可読媒体６００は、コンピュータバス６０４を介してプロセッサ６０２によってアクセスされ得る。いくつかの例では、コンピュータ可読媒体６００は、非一時的コンピュータ可読媒体であってもよい。いくつかの例では、コンピュータ可読媒体は、記憶媒体であってもよいが、搬送波、信号などは含まない。さらに、コンピュータ可読媒体６００は、現行の方法のステップを実行するようプロセッサ６０２に指示するコンピュータ実行可能命令を含んでもよい。

【0033】

本明細書で説明するさまざまなソフトウェアコンポーネントを、図６に示すように、有形の非一時的コンピュータ可読媒体６００に格納することができる。例えば、レンダリングアプリケーション６０６は、取り込まれる画像、および、取り込まれる画像の取り込み中に存在する周囲光のレベルを示す周囲光データを含む画像データを受信するように構成されてもよい。また、レンダリングアプリケーション６０６は、取り込まれる画像が表示される環境の周囲光を検出し、検出された周囲光および取り込まれる画像の取り込み中に存在する周囲光に基づいて、取り込まれる画像のスペクトルコンテンツを調整するように構成されてもよい。

【0034】

実施例は、方法、方法の動作を実行するための手段、機械によって実行されたときに機械に方法の動作を実行させる命令を含む少なくとも１つの機械可読媒体などの主題を含むことができる。

【0035】

実施例１は、画像レンダリングのためのシステムを含む。このシステムは、処理デバイスと、処理デバイスによって実施されるモジュールとを含む。モジュールは、画像、ならびに、取り込まれる画像の取り込み中に存在する周囲光のレベルおよび色を示す周囲光データ、または同等のホワイトバランス情報を含む画像データを受信するためのデータ受信モジュールを含む。検出モジュールは、画像が表示される環境の周囲光を検出するように構成され得る。調整モジュールは、検出された周囲光、および取り込まれる画像の取り込み中に存在する周囲光、または同等のホワイトバランス情報に基づいて、画像のスペクトルコンテンツを調整するように構成され得る。

【0036】

実施例２は、取り込まれる画像、および、取り込まれる画像の画像取り込み中に存在する周囲光のレベルおよび色を示す周囲光データを含む画像データを受信することを含む画像レンダリングのための方法を含む。また、方法は、取り込まれる画像が表示される環境の周囲光を検出することを含む。さらに、方法は、検出された周囲光および取り込まれる画像の取り込み中に存在する周囲光に基づいて取り込まれる画像のスペクトルコンテンツを調整することを含む。場合によっては、例２の方法を実施するためにコンピュータ可読媒体を使用してもよい。

【0037】

実施例３は、実行されたときに、処理デバイスに、取り込まれる画像、ならびに、取り込まれる画像の取り込み中に存在する周囲光のレベルおよび色を示す周囲光データまたは同等のホワイトバランスデータを含む画像データを受信させ、取り込まれる画像が表示される環境の周囲光を検出させるコードを含むコンピュータ可読媒体を含む。また、コンピュータ可読媒体は、実行されたときに、処理デバイスに、検出された周囲光と、取り込まれる画像の取り込み中に存在する周囲光に基づいて、取り込まれる画像のスペクトルコンテンツを調整させるコードを含むことができる。

【0038】

実施例４は、取り込まれる画像、ならびに、取り込まれる画像の取り込み中に存在する周囲光のレベルおよび色を示す周囲光または同等のホワイトバランスデータを含む画像データを受信するための手段を有する装置を含む。また、この手段は、取り込まれる画像が表示される環境の周囲光を検出し、検出された周囲光および取り込まれる画像の取り込み中に存在する周囲光に基づいて、取り込まれる画像のスペクトルコンテンツを調整するように構成される。

【0039】

実施例５は、取り込まれる画像、ならびに、取り込まれる画像の取り込み中に存在する周囲光のレベルおよび色を示す周囲光または同等のホワイトバランスデータを含む画像データを受信するために、ハードウェアロジックを少なくとも部分的に含むロジックを有する装置を含む。また、ロジックは、取り込まれる画像が表示される環境の周囲光を検出し、検出された周囲光および取り込まれる画像の取り込み中に存在する周囲光に基づいて、取り込まれる画像のスペクトルコンテンツを調整するように構成される。

【0040】

実施形態は、実装形態または実施例である。本明細書における「実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、「いくつかの実施形態」、「さまざまな実施形態」、または「他の実施形態」への言及は、実施形態との関連で説明した特定の特徴、構造、または特性が本発明の技術の少なくともいくつかの実施形態に含まれるが、必ずしもすべての実施形態に含まれるものではないことを意味する。「実施形態」、「一実施形態」、または「いくつかの実施形態」というさまざまな表現は、必ずしもすべてが同じ実施形態に言及しているわけではない。

【0041】

本明細書に記載され図示されたすべての構成要素、特徴、構造、特性などが特定の実施形態に含まれる必要はない。本明細書において、例えば、構成要素、特徴、構造、または特性を含む「可能性がある（ｍａｙ）」、「かもしれない（ｍｉｇｈｔ）」、「ことができる（ｃａｎ）」、または「であろう（ｃｏｕｌｄ）」と記述される場合、特定の構成要素、特徴、構造、または特性が含まれる必要はない。明細書または特許請求の範囲における単数形の表現（ａまたはａｎ）を付した要素への言及は、１つの要素だけが存在することを意味するものではない。明細書または特許請求の範囲における「追加（ａｎ ａｄｄｉｔｉｏｎａｌ）」要素への言及は、１つより多い追加要素が存在することを除外するものではない。

【0042】

いくつかの実施形態は、特定の実装形態を参照して説明されてきたが、いくつかの実施形態に従って、他の実装形態も可能であることに留意されたい。さらに、図面に示され、かつ／または本明細書に記載されている回路要素または他の特徴の配置および／または順序は、図示され説明された特定の方法で配置される必要はない。いくつかの実施形態によれば、他の多くの配置が可能である。

【0043】

図に示される各システムにおいて、要素は、場合によっては、表現される要素が異なり得るおよび／または類似であり得ることを示唆するために、それぞれが同じ参照符号または異なる参照符号を有することができる。ただし、要素は、異なる実装形態を有し、本明細書に図示または説明されているシステムの一部またはすべてと協働するのに十分に柔軟であり得る。図面に示されるさまざまな要素は、同じであっても異なっていてもよい。どちらが第１の要素と呼ばれ、どちらが第２の要素と呼ばれるかは任意である。

【0044】

上記の例の詳細は、１つまたは複数の実施形態のどこでも使用され得ることを理解されたい。例えば、上述したコンピューティングデバイスのすべての任意選択の特徴を、本明細書に記載の方法またはコンピュータ可読媒体のいずれかに関して実装することも可能である。さらに、本明細書では、実施形態を説明するためにフロー図および／または状態図が使用されているかもしれないが、本技術はこれらの図または本明細書の対応する記述に限定されるものではない。例えば、フローは、図示された各ボックスまたは状態を経て、または本明細書に図示され記載されたのと全く同じ順序で進める必要はない。

【0045】

本技術は、本明細書に列挙される特定の詳細に限定されない。実際、本開示の利益を受ける当業者であれば、本技術の範囲内で、前述の説明および図面から他の多くの変形が可能であることは理解されよう。したがって、本技術の範囲を規定するのは、以下の特許請求の範囲であって、特許請求の範囲に対する任意の修正を含む。
［項目１］
画像レンダリングのためのシステムであって、
処理デバイスと、
上記処理デバイスによって実装される複数のモジュールと
を備え、
上記複数のモジュールは、
画像、ならびに、取り込まれる上記画像の取り込み中に存在する周囲光のレベルおよび色を示す周囲光データまたは同等のホワイトバランス情報を含む画像データを受信するためのデータ受信モジュールと、
上記画像が表示される環境の周囲光を検出するための検出モジュールと、
上記検出された周囲光、および取り込まれる上記画像の取り込み中に存在する上記周囲光、または同等のホワイトバランス情報に基づいて、上記画像のスペクトルコンテンツを調整するための調整モジュールとを含む、システム。
［項目２］
上記調整された取り込まれる画像をディスプレイにレンダリングするためのレンダリングモジュールをさらに備える、項目１に記載のシステム。
［項目３］
上記ディスプレイを較正するための較正アプリケーションをさらに備え、
上記較正アプリケーションが、
第１の色パターンの第１の画像を取り込み、
上記ディスプレイでレンダリングされている第２の色パターンの反射の第２の画像を取り込み、
上記第１の画像と上記第２の画像との間の差異を低減するために複数の色チャンネルに複数の補正係数を適用する、項目１から２の任意の組み合わせに記載のシステム。
［項目４］
上記調整モジュールが、上記取り込まれる画像が表示される上記環境の上記周囲光において変化が検出されるときに上記スペクトルコンテンツを動的に調整する、項目１から２の任意の組み合わせに記載のシステム。
［項目５］
上記取り込まれる画像が、シーンに対する上記周囲光の反射の生成物である、項目１から２の任意の組み合わせに記載のシステム。
［項目６］
上記周囲光データが、交換可能な画像ファイルのフォーマットフィールドに格納される、項目１から２の任意の組み合わせに記載のシステム。
［項目７］
上記検出モジュールが、さらに、
上記取り込まれる画像が表示される上記環境内のオブジェクトの色を識別し、
上記周囲光における変化を示す上記オブジェクトの上記色の変化を決定する、項目１から２の任意の組み合わせに記載のシステム。
［項目８］
上記取り込まれる画像のレンダリングを含む画像データを外部ディスプレイで受信し、
上記外部ディスプレイにおける上記取り込まれる画像の上記レンダリングと上記取り込まれる画像の基準モデルとの間の色差を決定し、
上記レンダリングされた画像と上記基準モデルとの間の上記色差に基づいて、上記外部ディスプレイへのデータフィードを調整するための外部ディスプレイモジュールをさらに備える、項目１から２の任意の組み合わせに記載のシステム。
［項目９］
カメラデバイスをさらに備え、上記外部ディスプレイでレンダリングされた上記画像データが、上記カメラデバイスでの画像取り込みによって受信される、項目８に記載のシステム。
［項目１０］
上記調整モジュールが、上記取り込まれる画像が表示される上記システムのディスプレイの透過品質から生じる不適応を修正する、項目１から２の任意の組み合わせに記載のシステム。
［項目１１］
画像レンダリングのための方法であって、上記方法は、
取り込まれる画像、ならびに、上記取り込まれる画像の取り込み中に存在する周囲光のレベルおよび色を示す周囲光データを含む画像データを受信することと、
上記取り込まれる画像が表示される環境の周囲光を検出することと、
上記検出された周囲光および上記取り込まれる画像の取り込み中に存在する上記周囲光に基づいて、上記取り込まれる画像のスペクトルコンテンツを調整することとを含む、方法。
［項目１２］
上記調整された取り込まれる画像をディスプレイにレンダリングすることをさらに含む、項目１１に記載の方法。
［項目１３］
上記方法が、ディスプレイを較正することをさらに含み、
上記較正が、
第１の色パターンの第１の画像を取り込むことと、
上記ディスプレイでレンダリングされている第２の色パターンの反射の第２の画像を取り込むことと、
上記第１の画像と上記第２の画像との間の差異を低減するために複数の色チャンネルに複数の補正係数を適用することとを含む、項目１１から１２の任意の組み合わせに記載の方法。
［項目１４］
上記取り込まれる画像が表示される上記環境の上記周囲光において変化が検出されるときに上記スペクトルコンテンツを動的に調整することをさらに含む、項目１１から１２の任意の組み合わせに記載の方法。
［項目１５］
上記取り込まれる画像が、シーンに対する上記周囲光の反射の生成物である、項目１１から１２の任意の組み合わせに記載の方法。
［項目１６］
上記周囲光データが、交換可能な画像ファイルのフォーマットフィールドに格納される、項目１１から１２の任意の組み合わせに記載の方法。
［項目１７］
上記取り込まれる画像が表示される上記環境内のオブジェクトの色を識別することと、
上記周囲光における変化を示す上記オブジェクトの上記色の変化を決定することと、をさらに含む、項目１１から１２の任意の組み合わせに記載の方法。
［項目１８］
上記取り込まれる画像のレンダリングを含む画像データを外部ディスプレイで受信することと、
上記外部ディスプレイにおける上記取り込まれる画像の上記レンダリングと上記取り込まれる画像の基準モデルとの間の色差を決定することと、
上記レンダリングされた画像と上記基準モデルとの間の上記色差に基づいて、上記外部ディスプレイへのデータフィードを調整することとをさらに含む、項目１１から１２の任意の組み合わせに記載の方法。
［項目１９］
上記外部ディスプレイにレンダリングされた上記画像データは、上記外部ディスプレイに通信可能に接続され、かつ、上記外部ディスプレイに上記データストリームを提供するコンピューティングデバイスのカメラデバイスでの画像取り込みによって受信される、項目１８に記載の方法。
［項目２０］
上記調整することが、上記取り込まれる画像が表示されるディスプレイの透過品質から生じる不適応を修正することを含む、項目１１から１２の任意の組み合わせに記載の方法。
［項目２１］
実行されたときに、処理デバイスに、項目１１から１２の任意の組み合わせに記載の方法を実施させるためのコードを含む、コンピュータ可読媒体。
［項目２２］
取り込まれる画像、ならびに、上記取り込まれる画像の取り込み中に存在する周囲光のレベルおよび色を示す周囲光データまたは同等のホワイトバランスデータを含む画像データを受信し、
上記取り込まれる画像が表示される環境の周囲光を検出し、
上記検出された周囲光および上記取り込まれる画像の取り込み中に存在する上記周囲光に基づいて、上記取り込まれる画像のスペクトルコンテンツを調整するための手段を備える、装置。
［項目２３］
上記調整された取り込まれる画像をディスプレイにレンダリングするための手段をさらに備える、項目２２に記載の装置。
［項目２４］
上記手段が、
第１の色パターンの第１の画像を取り込み、
上記ディスプレイでレンダリングされている第２の色パターンの反射の第２の画像を取り込み、
上記第１の画像と上記第２の画像との間の差異を低減するために複数の色チャンネルに複数の補正係数を適用するように構成されている、項目２２に記載の装置。
［項目２５］
上記手段が、
上記取り込まれる画像が表示される上記環境内のオブジェクトの色を識別し、
上記周囲光における変化を示す上記オブジェクトの上記色の変化を決定する、ように構成されている、項目２２に記載の装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】