▶ フィリップス ライティング ホールディング ビー ヴィの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-14
(45)【発行日】2022-12-22
(54)【発明の名称】ダイナミック性レベルの比較に基づく画像解析領域の選択
(51)【国際特許分類】
G06T 7/215 20170101AFI20221215BHJP
A63F 13/50 20140101ALI20221215BHJP
G06V 20/40 20220101ALI20221215BHJP
H04N 5/262 20060101ALI20221215BHJP
【ＦＩ】
G06T7/215
A63F13/50
G06V20/40
H04N5/262
【請求項の数】
14
(21)【出願番号】P 2022511235
(86)(22)【出願日】2020-08-20
(65)【公表番号】
(43)【公表日】2022-09-29
(86)【国際出願番号】 EP2020073272
(87)【国際公開番号】W WO2021032811
(87)【国際公開日】2021-02-25
【審査請求日】2022-04-20
(31)【優先権主張番号】19193052.8
(32)【優先日】2019-08-22
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】516043960
【氏名又は名称】シグニファイ ホールディング ビー ヴィ
【氏名又は名称原語表記】ＳＩＧＮＩＦＹ ＨＯＬＤＩＮＧ Ｂ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ４８，５６５６ ＡＥ Ｅｉｎｄｈｏｖｅｎ，Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100163821
【弁理士】
【氏名又は名称】柴田 沙希子
(72)【発明者】
【氏名】アリアクセイエウ ディミトリ ヴィクトロヴィッチ
(72)【発明者】
【氏名】メイソン ジョナサン デイビッド
【審査官】野木 新治
(56)【参考文献】
【文献】特表２０１９－５０１４８４（ＪＰ，Ａ）
【文献】特表２０１７－５３９０５７（ＪＰ，Ａ）
【文献】特表２００７－５２１７７５（ＪＰ，Ａ）
【文献】国際公開第２０１６／１９４３１１（ＷＯ，Ａ１）
【文献】特開２００５－２５１５０８（ＪＰ，Ａ）
【文献】特開２００６－１０７９０５（ＪＰ，Ａ）
【文献】特表２０１９－５１５７０６（ＪＰ，Ａ）
【文献】特表２００９－５２８７５５（ＪＰ，Ａ）
【文献】米国特許出願公開第２００９／０２３７５６７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０２４８８７２（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２１５
Ａ６３Ｆ １３／５０
Ｇ０６Ｖ ２０／４０
Ｈ０４Ｎ ５／２６２
(57)【特許請求の範囲】
【請求項1】
ビデオコンテンツにおける解析エリアから画像特性を決定するシステムであって、前記画像特性は、前記ビデオコンテンツがディスプレイデバイスでレンダリングされる際に１つ以上の照明デバイスでレンダリングされるべき１つ以上の光効果を決定するために使用され、当該システムは、少なくとも１つの出力インターフェースと、
連続するビデオフレームを得る、
前記ビデオフレームにおける第１のダイナミック性レベルを決定し、前記ビデオフレームにおける前記第１のダイナミック性レベルは、前記ビデオフレームの連続したものにおいてビデオフレームがどれだけ変化するかを表す、
前記ビデオフレームにおける複数の解析エリアの各々における第２のダイナミック性レベルを決定し、前記ビデオフレームにおける前記複数の解析エリアにおける前記第２のダイナミック性レベルは、前記ビデオフレームの連続したものにおいてそれぞれの解析エリアがどれだけ変化するかを表す、
前記第２のダイナミック性レベルの各々を前記第１のダイナミック性レベルと比較する、
前記比較に基づいて前記解析エリアのサブセットを選択する、
前記ビデオコンテンツにおける前記解析エリアのサブセットから画像特性を決定する、
前記画像特性に基づいて１つ以上の光効果を決定する、及び
前記１つ以上の光効果を指定する光スクリプトを保存する及び／又は前記１つ以上の光効果をレンダリングするように１つ以上の照明デバイスを制御するために前記少なくとも１つの出力インターフェースを使用する、
ように構成される、少なくとも１つのプロセッサと、
を含む、システム。
【請求項2】
前記第１のダイナミック性レベルは、前記ビデオフレームの全体的なダイナミック性を表す、請求項１に記載のシステム。
【請求項3】
前記少なくとも１つのプロセッサは、前記決定された第２のダイナミック性レベルから前記第１のダイナミック性レベルと類似する又は同じである１つ以上の第２のダイナミック性レベルを選択することによって前記解析エリアの前記サブセットを選択するように構成される、請求項２に記載のシステム。
【請求項4】
前記第１のダイナミック性レベルは、ピクセルごとに又はピクセルの領域ごとに決定される、請求項１又は２に記載のシステム。
【請求項5】
前記解析エリアのサブセットのうちの少なくとも１つは、デフォルト解析エリアに対して指定された境界内に留まる一方、前記デフォルト解析エリアとは異なるサイズ及び／又は位置を有する、請求項１又は２に記載のシステム。
【請求項6】
前記ビデオフレームは、前記ビデオコンテンツの一部である、請求項１又は２に記載のシステム。
【請求項7】
前記ビデオフレーム及び前記ビデオコンテンツは、同じゲーム、同じタイプのゲーム又は同じコレクションのゲームに属する、請求項１又は２に記載のシステム。
【請求項8】
前記少なくとも１つのプロセッサは、前記ビデオフレームの連続したものを比較することによって前記第１のダイナミック性レベル及び／又は前記第２のダイナミック性レベルを決定するように構成される、請求項１に記載のシステム。
【請求項9】
前記少なくとも１つのプロセッサは、前記ビデオフレームの前記連続したものにおける色度及び／又は輝度の差を決定するように構成される、請求項８に記載のシステム。
【請求項10】
前記少なくとも１つのプロセッサは、前記ビデオフレームの前記連続したものの各々においてエッジを検出する、及び、前記ビデオフレームの前記連続したものの間の前記検出されたエッジの変化を決定するように構成される、請求項８に記載のシステム。
【請求項11】
前記少なくとも１つのプロセッサは、前記ビデオフレームに渡るカラーヒストグラムを決定することによって前記第１のダイナミック性レベル及び／又は前記第２のダイナミック性レベルを決定するように構成される、請求項１に記載のシステム。
【請求項12】
前記少なくとも１つのプロセッサは、いくつの色が前記カラーヒストグラムにおいて所定の回数以上出現したかを決定するように構成される、請求項１１に記載のシステム。
【請求項13】
ビデオコンテンツにおける解析エリアから画像特性を決定する方法であって、前記画像特性は、前記ビデオコンテンツがディスプレイデバイスでレンダリングされる際に１つ以上の照明デバイスでレンダリングされるべき１つ以上の光効果を決定するために使用され、当該方法は、連続するビデオフレームを得ることと、
前記ビデオフレームにおける第１のダイナミック性レベルを決定することであって、前記ビデオフレームにおける前記第１のダイナミック性レベルは、前記ビデオフレームの連続したものにおいてビデオフレームがどれだけ変化するかを表す、ことと、
前記ビデオフレームにおける複数の解析エリアの各々における第２のダイナミック性レベルを決定することであって、前記ビデオフレームにおける前記複数の解析エリアにおける前記第２のダイナミック性レベルは、前記ビデオフレームの連続したものにおいてそれぞれの解析エリアがどれだけ変化するかを表す、ことと、
前記第２のダイナミック性レベルの各々を前記第１のダイナミック性レベルと比較することと、
前記比較に基づいて前記解析エリアのサブセットを選択することと、
前記ビデオコンテンツにおける前記解析エリアのサブセットから画像特性を決定することと、
前記画像特性に基づいて１つ以上の光効果を決定することと、
前記１つ以上の光効果を指定する光スクリプトを保存する及び／又は前記１つ以上の光効果をレンダリングするように１つ以上の照明デバイスを制御することと、
を含む、方法。
【請求項14】
少なくとも１つのソフトウェアコード部分を含むコンピュータプログラム若しくはコンピュータプログラム一式又は少なくとも１つのソフトウェアコード部分を記憶するコンピュータ可読記憶媒体であって、前記ソフトウェアコード部分は、コンピュータシステム上で実行されると、請求項１３に記載の方法が実行されることを可能にするように構成される、コンピュータプログラム若しくはコンピュータプログラム一式又はコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオコンテンツにおける解析エリアから画像特性を決定するシステムであって、前記画像特性は、前記ビデオコンテンツがディスプレイデバイスでレンダリングされる際に１つ以上の照明デバイスでレンダリングされるべき１つ以上の光効果を決定するために使用される、システムに関する。
【0002】
本発明はさらに、ビデオコンテンツにおける解析エリアから画像特性を決定する方法であって、前記画像特性は、前記ビデオコンテンツがディスプレイデバイスでレンダリングされる際に１つ以上の照明デバイスでレンダリングされるべき１つ以上の光効果を決定するために使用される、方法に関する。
【0003】
本発明はまた、コンピュータシステムがこのような方法を実行することを可能にするコンピュータプログラムプロダクトに関する。
【背景技術】
【0004】
ＰｈｉｌｉｐｓのＨｕｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔ及びＨｕｅ Ｓｙｎｃが好評を博している。Ｐｈｉｌｉｐｓ Ｈｕｅ Ｓｙｎｃは、コンピュータで再生されるコンテンツ、例えば、ビデオゲームに基づく光効果のレンダリングを可能にする。ダイナミック照明システム(dynamic lighting system)は、特にライトに送られる色がスクリーンの周りに構成される環境において見られるものとマッチする場合、オーディオビジュアルマテリアルの体験及び印象に劇的な影響を与えることができる。この新しい光の使用は、ビデオゲームの雰囲気をプレーヤーのいる部屋の中に持ち込むことができる。ゲーマーは、ゲーム環境の雰囲気に没頭し、武器の発射又は魔法の呪文の閃光を楽しみ、フォースフィールドの輝きの中に座って、まるで現実のように感じることができる。
【0005】
Ｈｕｅ Ｓｙｎｃは、ビデオコンテンツの解析エリアを観察し、スクリーンの周りのＨｕｅライトでレンダリングされる光出力パラメータを計算する仕組みになっている。同様の技術は、ＵＳ ２００９／１７５５３６ Ａ１に述べられている。ＵＳ ２００９／１７５５３６ Ａ１は、環境光源によってエミュレートされるべきレンダリング色空間においてエンコードされたビデオ内容の抽出および処理であって、ビデオ信号から色情報を抽出し、三刺激原色行列を使って前記色情報を未レンダリング色空間を通過して変換して環境光源を駆動するための第二のレンダリング色空間を形成することを含む、ことを開示している。ビデオ信号のフレームへのデコードは、ビットストリーム負荷を減らすため選択された画面領域から平均またはその他の色情報を抽出することを許容できる。負のガンマ補正はどぎつい、または不適切な色度および輝度を防止する助けとなる。
【0006】
現在、Ｈｕｅ Ｓｙｎｃでは、色抽出のために、すなわち、光効果を決定するために、固定のあらかじめ定められた解析エリアが使用されている。このアプローチの不利な点は、ビデオゲームの場合、決定された光効果がビデオゲームのビデオコンテンツにマッチしていないと感じられることがよくあることである。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の第１の目的は、ゲームに適しているようにビデオコンテンツから画像特性を決定することができる、システムを提供することである。
【0008】
本発明の第２の目的は、ゲームに適しているようにビデオコンテンツから画像特性を決定することができる、方法を提供することである。
【課題を解決するための手段】
【0009】
本発明の第１の態様では、ビデオコンテンツにおける解析エリアから画像特性を決定するシステムであって、前記画像特性は、前記ビデオコンテンツがディスプレイデバイスでレンダリングされる際に１つ以上の照明デバイスでレンダリングされるべき１つ以上の光効果(light effect)を決定するために使用される、システムは、少なくとも１つの出力インターフェースと、ビデオフレームを得る、前記ビデオフレームにおける第１のダイナミック性レベル(level of dynamicity)を決定する、及び、前記ビデオフレームにおける複数の解析エリアの各々における第２のダイナミック性レベルを決定するように構成される、少なくとも１つのプロセッサとを含む。
【0010】
少なくとも１つのプロセッサはさらに、前記第２のダイナミック性レベルの各々を前記第１のダイナミック性レベルと比較する、前記比較に基づいて前記解析エリアのサブセットを選択する、前記ビデオコンテンツにおける前記解析エリアのサブセットから画像特性を決定する、前記画像特性に基づいて１つ以上の光効果を決定する、及び、前記１つ以上の光効果を指定する光スクリプト(light script)を保存する及び／又は前記１つ以上の光効果をレンダリングするように１つ以上の照明デバイスを制御するために前記少なくとも１つの出力インターフェースを使用するように構成される。
【0011】
ビデオフレームにおけるダイナミック性レベルは、これらのビデオフレームがどれだけダイナミック(how dynamic)であるか、すなわち、あるフレームから別のフレームへとビデオフレームがどれだけ変化するか(how much the video frames change)を表す。解析エリアにおけるダイナミック性レベルは、この解析エリアがどれだけダイナミックであるか、すなわち、あるフレームから別のフレームへと解析エリアがどれだけ変化するかを表す。後述されるように、ダイナミック性レベルが決定され得るやり方は複数ある。
【0012】
ゲームは、「アクション(action)」がスクリーン上でどのように分布するかによって大きく異なり得る。あるゲームでは、スクリーン全体にいくつかのユーザインターフェース（ＵＩ）要素がある。他のゲームでは、ＵＩがスクリーンの大部分を占めることがあり、さらに第３のタイプでは、すべてのアクションがスクリーンの中央で起こり、スクリーンのサイドではほとんど又はまったくアクションが起こらないことがある。当該システムは、ビデオフレームの全体的なダイナミック性レベル(overall level of dynamicity)に最も類似するダイナミック性レベルを有する１つ以上の解析エリアが選択されることを可能にする。ダイナミック性レベルは、例えば、これらが輝度及び／又は色度において同様の変化量を表す場合に類似すると考えられてもよい。
【0013】
高いダイナミック性レベルを有する解析エリアは、低いダイナミック性レベルを有する解析エリアよりも好ましいのが普通であるが、例えばアンビエンスライト(ambiance light)にはよりゆったりとしたダイナミクス(slower dynamics)がより最適であるため、高いダイナミック性レベルを有する解析エリアが好ましくない状況もある。さらに、ビデオコンテンツ全体がカラフルなダイナミクスを有する一方、変化が殆ど輝度に起こる解析エリアも最適ではない。解析エリアを、これらのダイナミック性レベルとビデオフレームのダイナミック性レベルとの比較に基づいて選択することにより、光効果のダイナミック性(dynamicity)及びビデオコンテンツのダイナミック性が整合される(aligned)ことができる。これは、光効果をビデオゲーム等のビデオコンテンツにマッチ(match)させるのに役立つ。
【0014】
前記第１のダイナミック性レベルは、ピクセルごとに又はピクセルの領域(region of pixels)ごとに決定され、その後、例えば、平均化されてもよい。例えば、前記ビデオフレーム及び前記ビデオコンテンツは、同じゲーム、同じタイプのゲーム(same type of game)又は同じコレクションのゲーム(same collection of games)に属してもよい。
【0015】
前記少なくとも１つのプロセッサは、前記決定された第２のダイナミック性レベルから前記第１のダイナミック性レベルと類似する又は同じである１つ以上の第２のダイナミック性レベルを選択することによって前記解析エリアの前記サブセットを選択するように構成されてもよい。十分に多くの数の解析エリアについて第２のダイナミック性レベルが決定される場合、これらの解析エリアのうちの１つが第１のダイナミック性レベルと同じ又は類似する第２のダイナミック性レベルを有する可能性が高く、その結果、ビデオコンテンツと非常によくマッチした光効果が得られる。代替的に、第１のダイナミック性レベルと最も類似する１つ以上の第２のダイナミック性レベルが選択されてもよい。
【0016】
前記解析エリアのサブセットのうちの１つ以上は、デフォルト解析エリア(default analysis area)に対して指定された境界内に留まる一方、前記デフォルト解析エリアとは異なるサイズ及び／又は位置を有してもよい。典型的には、照明デバイスは、照明デバイスのロケーションに基づいて特定のデフォルト解析エリアと関連付けられ、例えば、テレビの左側にあるライトデバイスは、ビデオフレームの左側のゾーンと関連付けられる。デフォルト解析エリアに対して指定された境界を維持することにより、この関連付けが正しく維持されることが保証され得る。
【0017】
前記ビデオフレームは、前記ビデオコンテンツの一部であってもよい。これは、例えば、ゲームがプレイされている際に解析エリアが変更されることを可能にする。代替的に、例えば、解析エリアは、同じゲーム、同じタイプのゲーム又は同じコレクションのゲームのゲームが次にプレイされるときにのみ変更されてもよい。
【0018】
前記少なくとも１つのプロセッサは、以下の態様のうちの１つ以上で前記第１のダイナミック性レベル及び／又は前記第２のダイナミック性レベルを決定するように構成されてもよい（最良のパフォーマンスのために、これらの態様のうちの複数が実施され、その後、比較されてもよい）。
【0019】
Ａ：前記少なくとも１つのプロセッサは、前記ビデオフレームの連続したもの(successive ones of said video frames)を比較することによって前記第１のダイナミック性レベル及び／又は前記第２のダイナミック性レベルを決定するように構成されてもよい。Ａ１：例えば、前記少なくとも１つのプロセッサは、前記ビデオフレームの前記連続したものにおける色度及び／又は輝度の差を決定するように構成されてもよい。Ａ２：例えば、前記少なくとも１つのプロセッサは、前記ビデオフレームの前記連続したものの各々においてエッジを検出する、及び、前記ビデオフレームの前記連続したものの間の前記検出されたエッジの変化を決定するように構成されてもよい。
【0020】
Ｂ：前記少なくとも１つのプロセッサは、前記ビデオフレームに渡るカラーヒストグラム(color histogram over said video frames)を決定することによって前記第１のダイナミック性レベル及び／又は前記第２のダイナミック性レベルを決定するように構成されてもよい。例えば、前記少なくとも１つのプロセッサは、いくつの色が前記カラーヒストグラムにおいて所定の回数以上出現したかを決定するように構成されてもよい。
【0021】
本発明の第２の態様では、ビデオコンテンツにおける解析エリアから画像特性を決定する方法であって、前記画像特性は、前記ビデオコンテンツがディスプレイデバイスでレンダリングされる際に１つ以上の照明デバイスでレンダリングされるべき１つ以上の光効果を決定するために使用される、方法は、ビデオフレームを得ることと、前記ビデオフレームにおける第１のダイナミック性レベルを決定することと、前記ビデオフレームにおける複数の解析エリアの各々における第２のダイナミック性レベルを決定することとを含む。
【0022】
方法はさらに、前記第２のダイナミック性レベルの各々を前記第１のダイナミック性レベルと比較することと、前記比較に基づいて前記解析エリアのサブセットを選択することと、前記ビデオコンテンツにおける前記解析エリアのサブセットから画像特性を決定することと、前記画像特性に基づいて１つ以上の光効果を決定することと、前記１つ以上の光効果を指定する光スクリプトを保存する及び／又は前記１つ以上の光効果をレンダリングするように１つ以上の照明デバイスを制御することとを含む。前記方法は、プログラマブルデバイスで実行されるソフトウェアによって実行されてもよい。このソフトウェアは、コンピュータプログラムプロダクトとして提供されてもよい。
【0023】
さらに、本明細書で説明される方法を実践するためのコンピュータプログラム、並びに、そのコンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供される。コンピュータプログラムは、例えば、既存のデバイスによってダウンロードされるか、又は、既存のデバイスにアップロードされてもよく、あるいは、これらのシステムの製造時に記憶されてもよい。
【0024】
非一時的コンピュータ可読記憶媒体は、ソフトウェアコード部分を記憶し、ソフトウェアコード部分は、コンピュータによって実行又は処理されると、ビデオコンテンツにおける解析エリアから画像特性を決定するための実行可能オペレーションであって、前記画像特性は、前記ビデオコンテンツがディスプレイデバイスでレンダリングされる際に１つ以上の照明デバイスでレンダリングされるべき１つ以上の光効果を決定するために使用される、実行可能オペレーションを実行するように構成される。
【0025】
実行可能オペレーションは、ビデオフレームを得ることと、前記ビデオフレームにおける第１のダイナミック性レベルを決定することと、前記ビデオフレームにおける複数の解析エリアの各々における第２のダイナミック性レベルを決定することと、前記第２のダイナミック性レベルの各々を前記第１のダイナミック性レベルと比較することと、前記比較に基づいて前記解析エリアのサブセットを選択することと、前記ビデオコンテンツにおける前記解析エリアのサブセットから画像特性を決定することと、前記画像特性に基づいて１つ以上の光効果を決定することと、前記１つ以上の光効果を指定する光スクリプトを保存する及び／又は前記１つ以上の光効果をレンダリングするように１つ以上の照明デバイスを制御することとを含む。
【0026】
当業者には理解されるように、本発明の諸態様は、デバイス、方法、又はコンピュータプログラムプロダクトとして具現化されてもよい。したがって、本発明の諸態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、あるいは、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態を取ってもよく、それらは全て、本明細書では「回路」、「モジュール」、又は「システム」と総称されてもよい。本開示で説明される機能は、コンピュータのプロセッサ／マイクロプロセッサによって実行される、アルゴリズムとして実装されてもよい。さらには、本発明の諸態様は、１つ以上のコンピュータ可読媒体として具現化されている、コンピュータプログラムプロダクトの形態を取ってもよく、１つ以上のコンピュータ可読媒体は、その上に具現化されている、例えば記憶されている、コンピュータ可読プログラムコードを有する。
【0027】
１つ以上のコンピュータ可読媒体の任意の組み合わせが、利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子、磁気、光学、電磁気、赤外線、又は半導体の、システム、装置、若しくはデバイス、あるいは、上述の任意の好適な組み合わせであってもよい。より具体的なコンピュータ可読記憶媒体の例としては、限定するものではないが、１つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（random access memory；ＲＡＭ）、読み出し専用メモリ（read-only memory；ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（erasable programmable read-only memory；ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（portable compact disc read-only memory；ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上述の任意の好適な組み合わせを挙げることができる。本発明の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを含むか、又は記憶することが可能な、任意の有形媒体であってもよい。
【0028】
コンピュータ可読信号媒体としては、例えばベースバンド内又は搬送波の一部として、その内部に具現化されているコンピュータ可読プログラムコードを有する、伝搬データ信号を挙げることができる。そのような伝搬信号は、限定するものではないが、電磁気、光学、又はこれらの任意の好適な組み合わせを含めた、様々な形態のうちのいずれを取ってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、通信、伝搬、又は伝送することが可能な、任意のコンピュータ可読媒体であってもよい。
【0029】
コンピュータ可読媒体上に具現化されているプログラムコードは、限定するものではないが、無線、有線、光ファイバ、ケーブル、ＲＦ等、又は上述の任意の好適な組み合わせを含めた、任意の適切な媒体を使用して送信されてもよい。本発明の諸態様に関する動作を実施するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋等のオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語又は同様のプログラミング言語等の従来の手続き型プログラミング言語、及び、Ｓｃａｌａ、Ｈａｓｋｅｌｌ等の関数型プログラミング言語を含めた、１つ以上のプログラミング言語の任意の組み合わせで書き込まれてもよい。このプログラムコードは、スタンドアロン型ソフトウェアパッケージとして、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で実行されてもよく、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ若しくはサーバ上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（local area network；ＬＡＮ）若しくは広域ネットワーク（wide area network；ＷＡＮ）を含めた任意のタイプのネットワークを通じて、ユーザのコンピュータに接続されてもよく、又は、この接続は、外部コンピュータに対して（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）実施されてもよい。
【0030】
本発明の実施形態による方法、装置（システム）、及びコンピュータプログラムプロダクトの、フローチャート図及び／又はブロック図を参照して、本発明の諸態様が以下で説明される。フローチャート図及び／又はブロック図の各ブロック、並びに、フローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実装されることができる点が理解されるであろう。これらのコンピュータプログラム命令は、マシンを作り出すために、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置の、プロセッサ、特にマイクロプロセッサ又は中央処理ユニット（central processing unit；ＣＰＵ）に提供されてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスのプロセッサを介して実行される命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施するための手段を作り出す。
【0031】
これらのコンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに、特定の方式で機能するように指示することが可能な、コンピュータ可読媒体内に記憶されてもよく、それにより、コンピュータ可読媒体内に記憶されている命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施する命令を含む、プロダクトを作り出す。
【0032】
コンピュータプログラム命令はまた、コンピュータ実施プロセスを作り出すために、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードされて、それらのコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上で一連の動作ステップを実行させてもよく、それにより、コンピュータ又は他のプログラマブル装置上で実行される命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施するためのプロセスを提供する。
【0033】
図におけるフローチャート及びブロック図は、本発明の様々な実施形態によるデバイス、方法、及びコンピュータプログラムプロダクトの可能な実装の、アーキテクチャ、機能性、及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定されている論理関数を実施するための１つ以上の実行可能命令を含む、コードのモジュール、セグメント、又は部分を表してもよい。また、一部の代替的実装形態では、ブロック内に記されている機能は、それらの図に記されている順序と異なる順序で行われてもよい点にも留意されたい。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよく、又は、それらのブロックは、関与している機能性に応じて、逆の順序で実行される場合があってもよい。また、ブロック図及び／又はフローチャート図の各ブロック、並びに、それらブロック図及び／又はフローチャート図内のブロックの組み合わせは、指定されている機能若しくは行為を実行する専用ハードウェアベースのシステム、又は、専用ハードウェアとコンピュータ命令との組み合わせによって実施されることができる点にも留意されたい。
【図面の簡単な説明】
【0034】
本発明のこれらの及び他の態様は、以下の図面から明らかであり、例として、それらの図面を参照してさらに解明されるであろう。
【図1】システムの一実施形態のブロック図である。
【図2】方法の第１の実施形態のフロー図である。
【図3】表示されるビデオコンテンツの一例を示す。
【図5】オフセンターのダイナミクスを有する解析エリアが選択される一例を示す。
【図6】カラフルなダイナミクスを有する解析エリアが選択される一例を示す。
【図7】中央解析エリアが特定の境界に制限される一実施形態を示す。
【図8】５つの中央解析エリアについてダイナミック性レベルが決定される一実施形態を示す。
【図9】方法の第２の実施形態のフロー図である。
【図10】方法の第３の実施形態のフロー図である。
【図11】方法の第４の実施形態のフロー図である。
【図12】ＬＥＤストリップのための解析エリアが選択される一例を示す。
【図13】本発明の方法を実行するための例示的なデータ処理システムのブロック図である。
【発明を実施するための形態】
【0035】
図面中の対応する要素は、同じ参照番号によって示される。
【0036】
図１は、ビデオコンテンツにおける解析エリアから画像特性を決定するシステムの一実施形態、モバイルデバイス１を示している。画像特性は、ビデオコンテンツがディスプレイデバイスでレンダリングされる際に１つ以上の照明デバイスでレンダリングされるべき１つ以上の光効果を決定するために使用される。モバイルデバイス１は、例えば、携帯電話又はタブレットであってもよい。
【0037】
モバイルデバイス１は、ワイヤレスＬＡＮアクセスポイント１７に接続される。また、ブリッジ１１が、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）を介して、ワイヤレスＬＡＮアクセスポイント１７に接続される。照明デバイス１３、１４及び１５は、ブリッジ１１と、例えばＺｉｇｂｅｅ（登録商標）プロトコルを用いてワイヤレス通信し、ブリッジ１１を介して、例えばモバイルデバイス１によって制御されることができる。例えば、ブリッジ１１は、Ｐｈｉｌｉｐｓ Ｈｕｅブリッジであってもよく、照明デバイス１３～１５は、Ｐｈｉｌｉｐｓ Ｈｕｅライトであってもよい。ワイヤレスＬＡＮアクセスポイント１７は、インターネット１８に接続される。インターネットサーバ１９も、インターネット１８に接続されている。
【0038】
モバイルデバイス１は、プロセッサ５、レシーバ３、トランスミッタ４、メモリ７、及びディスプレイ９を含む。プロセッサ５は、（例えば、スクリーンキャプチャソフトウェアを使用して）ビデオフレームを得る、ビデオフレームにおける第１のダイナミック性レベルを決定する、ビデオフレームにおける複数の解析エリアの各々における第２のダイナミック性レベルを決定する、及び、第２のダイナミック性レベルの各々を第１のダイナミック性レベルと比較するように構成される。
【0039】
プロセッサ５はさらに、比較に基づいて解析エリアのサブセットを選択する、ビデオコンテンツにおける解析エリアのサブセットから画像特性を決定する、画像特性に基づいて１つ以上の光効果を決定する、及び、例えばメモリ７又はサーバ１９に、１つ以上の光効果を指定する光スクリプトを保存する及び／又は１つ以上の光効果をレンダリングするように照明デバイス１３～１５を制御するためにトランスミッタ４を使用するように構成される。ビデオコンテンツは、例えば、ディスプレイ９及び／又はＴＶ２１でレンダリングされてもよい。ＴＶ２１も、ワイヤレスＬＡＮアクセスポイント１７に接続される。
【0040】
ビデオフレーム及びビデオコンテンツは、例えば、同じゲーム、同じタイプのゲーム又は同じコレクションのゲームに属してもよい。ゲームは、例えば、レシーバ３を使用してインターネットサーバ１９から取得されてもよい。決定された解析エリアを特定する情報は、同じゲーム、同じタイプのゲーム又は同じコレクションのゲームのゲームのために他の人がそれらを使用することを可能にするためにインターネットサーバ１９に送信されてもよい。決定された解析エリアは、例えば、他のユーザが同じゲーム、同じタイプのゲーム又は同じコレクションのゲームのゲームを開始する際に該他のユーザに推奨されてもよい。
【0041】
本明細書では、新しい解析エリアの選択も「解析エリアの調整(analysis area adjustment)」と称される。解析エリアの調整の量は、モバイルデバイス１によって制限されてもよい。例えば、解析エリアの移動又はサイズの変更は、予め定められた境界内でのみ許可されてもよい。例えば、予め定められた境界内にある（同じサイズ又は異なるサイズを有する）現在の解析エリアの周りのエリアが解析されてもよく、より適した解析エリアが特定される場合、それらがユーザに提案されてもよい。
【0042】
予め定められた境界は、ゾーン（例えば、左、右、中央）と関連付けられてもよい。例えば、ゾーンが中央の照明デバイスにマッピングされている場合、このゾーンのための解析エリアは中央から大きく移動されるべきではなく、左及び右のゾーンについても同様である。ゾーンは、典型的には、デフォルト解析エリアを有する。
【0043】
ビデオフレームは、ビデオコンテンツの一部であってもよい。斯くして、解析エリアの調整は、（通常はユーザの介入なしに）リアルタイムで行われてもよい。これは、例えば、２つの解析エリアを使用することによって実施されてもよい。第１の解析エリアは、光効果が決定される現在の解析エリアである。これは、典型的には、ゲーム等のビデオコンテンツの開始時のデフォルト解析エリアである。第２の解析エリアは、アクションに従い、例えば、対応するゾーンの境界内で、ダイナミック性ヒートマップ(dynamicity heat map)におけるオブジェクト／ブロブ検出(object/blob detection)に基づいて決定される。
【0044】
第２の解析エリアがブロブを含むという事実は、必ずしも第２の解析エリアのダイナミック性レベルが、第１の解析エリアのダイナミック性レベルよりも全体的なダイナミック性レベルに類似することを意味するものではない。しかしながら、比較がそうであることを示す場合、第２エリアの解析エリアが、結果として得られる光効果のダイナミクスを最適化するために選択される。例えば、シューティングゲームでは、何らかのアクションが、短いバトル中に中央から外れて(off center)行われる可能性がある。これが検出され、必要な時間だけ当該エリアを対象に光のレンダリングが行われる。
【0045】
図１に示されるモバイルデバイス１の実施形態では、モバイルデバイス１は、１つのプロセッサ５を含む。代替的な実施形態では、モバイルデバイス１は複数のプロセッサを含む。モバイルデバイス１のプロセッサ５は、例えばＱｕａｌｃｏｍｍからの若しくはＡＲＭベースの、汎用プロセッサ、又は特定用途向けプロセッサであってよい。モバイルデバイス１のプロセッサ５は、例えば、Ａｎｄｒｏｉｄ（登録商標）又はｉＯＳ（登録商標）オペレーティングシステムを実行してもよい。メモリ７は、１つ以上のメモリユニットを含んでもよい。メモリ７は、例えば、ソリッドステートメモリを含んでもよい。メモリ７は、例えば、オペレーティングシステム、アプリケーション及びアプリケーションデータを記憶するために使用されてもよい。
【0046】
レシーバ３及びトランスミッタ４は、例えば、ワイヤレスＬＡＮアクセスポイント１７と通信するためにＷｉ－Ｆｉ（登録商標）（ＩＥＥＥ ８０２．１１）等の１つ以上のワイヤレス通信技術を使用してもよい。代替的な実施形態では、単一のレシーバ及び単一のトランスミッタの代わりに、複数のレシーバ及び／又は複数のトランスミッタが使用される。図１に示される実施形態では、別個のレシーバ及び別個のトランスミッタが使用されている。代替的な実施形態では、レシーバ３及びトランスミッタ４は、トランシーバにまとめられる。ディスプレイ９は、例えば、ＬＣＤ又はＯＬＥＤパネルを含んでもよい。ディスプレイ９は、タッチスクリーンであってもよい。モバイルデバイス１は、バッテリ及び電源コネクタ等のモバイルデバイスに典型的な他の構成要素を含んでもよい。本発明は、１つ以上のプロセッサで実行されるコンピュータプログラムを使用して実装されてもよい。
【0047】
図１の実施形態では、本発明のシステムは、モバイルデバイスである。代替的な実施形態では、本発明のシステムは、異なるデバイス、例えば、ＰＣ、ラップトップ、ＴＶ（例えば、ＴＶ２１）、ＨＤＭＩ（登録商標）モジュール、又はインターネットサーバ（例えば、インターネットサーバ１９）である。ＨＤＭＩ（登録商標）モジュールは、間に接続され、パーソナルコンピュータがＴＶ２１に送るものをキャプチャし、光コマンドをブリッジ１１に又は直接照明デバイス１３～１５に送ってもよい。これは、コンテンツがＨＤＭＩ（登録商標）ケーブルを介してＴＶ２１に提供される場合に使用されてもよい。
【0048】
ビデオコンテンツにおける解析エリアから画像特性を決定する方法の第１の実施形態が図２に示されている。画像特性は、ビデオコンテンツがディスプレイデバイスでレンダリングされる際に１つ以上の照明デバイスでレンダリングされるべき１つ以上の光効果を決定するために使用される。ステップ１０１は、ビデオフレームを得ることを含む。ステップ１０３は、ビデオフレームにおける第１のダイナミック性レベルを決定することを含む。ステップ１０５は、ビデオフレームにおける複数の解析エリアの各々における第２のダイナミック性レベルを決定することを含む。ステップ１０７は、第２のダイナミック性レベルの各々を第１のダイナミック性レベルと比較することを含む。
【0049】
ステップ１０９は、比較に基づいて解析エリアのサブセットを選択することを含む。ステップ１１１は、ビデオコンテンツにおける解析エリアのサブセットから画像特性を決定することを含む。ステップ１１３は、画像特性に基づいて１つ以上の光効果を決定することを含む。ステップ１１５は、１つ以上の光効果を指定する光スクリプトを保存する及び／又は１つ以上の光効果をレンダリングするように１つ以上の照明デバイスを制御することを含む。
【0050】
斯くして、ユーザがゲームをプレイしている又は他のビデオコンテンツを見ている場合に、ダイナミクスレベル(level of dynamics)が、（例えば、ピクセルごとに又は小さなエリアごとに）スクリーン全体で監視され、これらの測定されたダイナミクスが、（当該解析エリアから決定される光効果のダイナミクスに対応する）各解析エリアのダイナミクスと比較され、スクリーン全体と最も類似するダイナミクスレベルを有する解析エリアが、例えば次回ゲームを開始する直前に、新しい解析エリアとして使用されてもよい。例えば、選択された解析エリアは、選択されなかった解析エリアに比べて、より高いダイナミクスレベル、よりカラフルなダイナミクス(colorful dynamics)（すなわち、変化が、輝度ばかりでなく、色でより多く起こる）、又は（例えば、アンビエンスライトにより最適である）よりゆったりとしたダイナミクスを有してもよい。
【0051】
この方法の第１の実施形態は、図３～図８を用いて示されている。図３は、モバイルデバイス１のディスプレイ９に表示されるビデオコンテンツの一例を示している。典型的には、スクリーンの複数の領域は異なる照明デバイスにマッピングされ、各解析エリア領域は別々に解析される。図４は、それぞれ照明デバイス１３、１４及び１５にマッピングされている３つの解析エリア領域５１、５２及び５３を示している。ステップ１１３の基本的な実装では、解析エリアごとに、解析エリア内のピクセルから色が抽出され、対応する照明デバイスの光効果に使用される。
【0052】
図９～図１１に関連して述べられるように、ダイナミック性レベルは、異なるアルゴリズムを用いて決定されてもよい。ダイナミック性ヒートマップは、コンテンツ全体のダイナミクス及びピクセル／小さなエリアごとのコンテンツのダイナミクスをよく表している。このようなマップが作成される場合、解析エリアごとのダイナミクスレベルが決定され、全体的なダイナミック性(overall dynamicity)と比較されることができる。
【0053】
図５及び図６は、デフォルト解析エリアとは異なる解析エリアが、デフォルト解析エリアよりも最適である例を示している。図５は、オフセンターのダイナミクス(off-center dynamics)を有する解析エリアが選択される一例を示している。図５は、ビデオコンテンツの中央に対するデフォルト解析エリア５２及び代替解析エリア６１を示している。
【0054】
Ｌｅａｇｕｅ ｏｆ Ｌｅｇｅｎｄｓ等、特定のゲームでは、多くのアクションが中央から外れることが多く、デフォルトの中央解析エリアのダイナミック性レベルが全体的なダイナミック性レベルよりも低いことが多く、その結果、表示されるビデオコンテンツよりもダイナミックではない光効果が得られる。図５は、ブロブ６３において最も高いダイナミック性レベルを有するダイナミック性ヒートマップを示している。代替解析エリア６１は、このブロブ６３を囲むように決定されていて、この結果、ビデオコンテンツのダイナミック性レベルにより類似する、高いダイナミック性レベルを有する光効果が得られるので、デフォルト解析エリア５２に代えて代替解析エリア６１を選択することが有益であると判断される。ゲームが再開される場合、ユーザは、スクリーンのダイナミック性レベル及び光効果のダイナミック性レベルのより良い整合性(alignment)を持つために中央ゾーンをシフトさせる提案を受けることができる。
【0055】
リアルタイム解析が必要な場合、スクリーンの異なるゾーン（例えば、左、中央、右）ごとにいくつかの解析エリアのダイナミック性レベルを決定するだけでも有益であり得る。このプロセスは、毎回少なくとも１つの新しい解析エリアを含むように、繰り返し実行されてもよい。例えば、現在の解析エリア付近の１つ以上の新しい解析エリアが、中央解析エリアがわずかに移動される場合に中央解析エリアのダイナミック性レベルが増加するかどうか確認するために含められてもよい。
【0056】
図６は、カラフルなダイナミクス(colorful dynamics)を有する解析エリアが選択される一例を示している。図６は、ビデオコンテンツの中央に対するデフォルト解析エリア５２及び代替解析エリア７３を示している。Ｃａｌｌ ｏｆ Ｄｕｔｙ等、特定のゲームは、キャラクターが携帯する武器のビジュアライゼーション(visualization)を有する。図６において、グラフィック７１は、このような武器のビジュアライゼーションである。キャラクターが走る又は歩く場合、武器は上下に動き、デフォルト解析エリアに出入りすることが多く、スクリーン上のダイナミック性レベルとは一致しない非常にダイナミックな光効果を生み出す。
【0057】
さらに、デフォルト解析エリア５２は、非常に低いカラーダイナミクスレベルを有し、多くの動きがあるかもしれないが、同じ色のセットが使用される。一方、代替解析エリア７３（スクリーン中央より僅かに上で、武器の真上のエリア）は、よりカラフルなダイナミクスを有する。それゆえ、デフォルト解析エリア５２に代えて代替解析エリア７３を選択することが有益であり、この結果、全体的にダイナミックさは小さいが、よりカラフルな光効果が得られる。次回ユーザがゲームを開始する場合、ユーザは、銃の動きの影響を避けるために中央ゾーンをシフトさせる提案を受けることができる。
【0058】
図５及び図６の例では、中央解析エリアは移動されるが、サイズは変更されない。しかしながら、解析エリアのサイズを追加的又は代替的に変更することも可能である。例えば、ビデオコンテンツのサイドは、雰囲気を作り出すために使用されることが多い。何らかの非常にダイナミックなＵＩ要素（オンラインゲームのチャット等）がビデオコンテンツのサイドに使用される場合、これは、ゲーム全体のダイナミクスとは一致しない非常にダイナミックな光効果を生み出す。この場合、システムは、ダイナミックなＵＩ要素の影響を減らす、すなわち、よりゆったりとしたダイナミクスを生み出すためにより大きな解析エリアを提案してもよい。
【0059】
単純にこれらのダイナミックな部分を解析から完全に外すことが良いかもしれないが、多くの場合、これらのＵＩ要素は、（オーバーレイチャット等）透明なので、これらを外すと、光効果の全体的な色に影響を与える可能性がある。さらに、このようなエリアの境界は必ずしも明確であるとは限らないため、これらのＵＩ要素の影響を減らすためには、単純に解析エリアのサイズを大きくすることがより簡単である。
【0060】
図７は、代替解析エリア８５が、デフォルト解析エリア５２よりも小さなサイズを有する一例を示している。図７で代替解析エリア８５が小さなサイズを有している理由は、図７の実施形態では、中央解析エリアが、特定の境界、すなわち、矩形の境界８１に制限されているためである。斯くして、代替解析エリア８５は、デフォルト解析エリア５２に対して指定された境界内に留まる一方、デフォルト解析エリア５２とは異なるサイズ及び位置を有する。図５の例と同様に、デフォルト解析エリア５２の代わりに代替解析エリア８５が選択されるのは、この結果、より高いダイナミック性レベルを有する光効果が得られるからである。
【0061】
図７の実施形態では、オブジェクト／ブロブ検出がダイナミクスヒートマップ(dynamics heat map)上で繰り返し適用され、必要に応じて新しい中央解析エリアが選択される。例えば、ブロブ８３が左に移動した場合、ブロブ８３を含む別の解析エリアが選択される。図７の実施形態では、新しい解析エリアは、例えばブロブ８３が上方にも移動した場合等、矩形の境界８１内に留まるためにサイズを（さらに）小さくする必要があり得る。
【0062】
図５～図７の例では、全体的なダイナミック性レベルが、２つの解析エリア、すなわち、デフォルト解析エリア及び代替解析エリアのダイナミック性レベルと比較される。図８は、５つの中央解析エリア、すなわち、デフォルトの中央解析エリア５２及び４つ代替解析エリア９１～９４についてダイナミック性レベルが決定される一実施形態を示している。この実施形態では、中央解析エリアは、図７の実施形態と同様に、特定の境界、すなわち、矩形の境界８１に制限される。図８の例では、解析エリアのサイズはすべて同じである。
【0063】
【0064】
ビデオコンテンツにおける解析エリアから画像特性を決定する方法の第２の実施形態が図９に示されている。図９の実施形態では、図３のステップ１０３は、サブステップ１３１を含み、図３のステップ１０５は、サブステップ１３３を含み、図３のステップ１０９は、サブステップ１３５を含む。ステップ１３１で決定される第１のダイナミック性レベルは、ビデオフレームの全体的なダイナミック性を表し、ピクセルごとに又はピクセルの領域ごとに決定される。
【0065】
ステップ１３１及び１３３において、第１のダイナミック性レベルが、ビデオフレームにおいて決定され、第２のダイナミック性レベルが、ビデオフレームにおける複数の解析エリアの各々においてそれぞれ決定される。ステップ１３１及び１３３において、第１のダイナミック性レベル及び／又は第２のダイナミック性レベルは、ビデオフレームの連続したもの(successive ones)を比較することによって決定される。
【0066】
ステップ１３１及び１３３は、これらの連続したビデオフレーム(these successive video frames)の色度及び／又は輝度の差、具体的には累積フレーム差を決定することを含む。これらのステップにおいて、各連続フレーム(consecutive frame)間の差が、設定された時間（例えば、プレイセッション）にわたって合計される。追加の閾値又は閾値関数が、小さな変化の影響を減らすために適用されてもよい。累積差は、例えば、すべての色が組み合わされるグレースケールで計算されてもよく、ＲＧＢの色ごとに計算されてもよく、又は（例えば、ＸＹＺ色空間又はＬａｂ色空間において）輝度及び色成分ごとに分割及び測定されてもよい。
【0067】
ステップ１０７は、第２のダイナミック性レベルの各々を第１のダイナミック性レベルと比較することを含む。ステップ１３５は、第１のダイナミック性レベルと（最も）類似する又は同じである１つ以上の第２のダイナミック性レベルを選択することによって解析エリアのサブセットを選択することを含む。次いで、図３のステップ１１１～１１５が実行される。
【0068】
ビデオコンテンツにおける解析エリアから画像特性を決定する方法の第３の実施形態が図１０に示されている。図１０の実施形態では、図３のステップ１０３は、サブステップ１４１を含み、図３のステップ１０５は、サブステップ１４３を含む。ステップ１４１で決定される第１のダイナミック性レベルは、ビデオフレームの全体的なダイナミック性を表し、ピクセルごとに又はピクセルの領域ごとに決定される。
【0069】
ステップ１４１及び１４３において、第１のダイナミック性レベルが、ビデオフレームにおいて決定され、第２のダイナミック性レベルが、ビデオフレームにおける複数の解析エリアの各々においてそれぞれ決定される。ステップ１４１及び１４３において、第１のダイナミック性レベル及び／又は第２のダイナミック性レベルは、ビデオフレームの連続したものを比較することによって決定される。
【0070】
ステップ１４１及び１４３は、ビデオフレームの連続したものの各々においてエッジを検出すること、及び、ビデオフレームの連続したものの間の検出されたエッジの変化を決定することを含む。ステップ１４１及び１４３は、図９のステップ１３１及び１３３と似ているが、色の累積差に代えてエッジの累積差を使用する。その結果、多くのオブジェクトの動きがあるエリアは、ＵＩのエッジ等のスクリーンの安定したエリアに比べて強調される。
【0071】
ステップ１０７は、第２のダイナミック性レベルの各々を第１のダイナミック性レベルと比較することを含む。図９と同様に、ステップ１０９は、第１のダイナミック性レベルと（最も）類似する又は同じである１つ以上の第２のダイナミック性レベルを選択することによって解析エリアのサブセットを選択することを含む、サブステップ１３５を含む。次いで、図３のステップ１１１～１１５が実行される。
【0072】
ビデオコンテンツにおける解析エリアから画像特性を決定する方法の第４の実施形態が図１１に示されている。図１１の実施形態では、図３のステップ１０３は、サブステップ１５１を含み、図３のステップ１０５は、サブステップ１５３を含む。ステップ１５１で決定される第１のダイナミック性レベルは、ビデオフレームの全体的なダイナミック性を表し、ピクセルごとに又はピクセルの領域ごとに決定される。
【0073】
ステップ１５１及び１５３において、第１のダイナミック性レベルが、ビデオフレームにおいて決定され、第２のダイナミック性レベルが、ビデオフレームにおける複数の解析エリアの各々においてそれぞれ決定される。ステップ１５１及び１５３において、第１のダイナミック性レベル及び第２のダイナミック性レベルは、ビデオフレームに渡るカラーヒストグラムを決定することによって決定される。これは、本明細書では、エントロピー推定とも称される。
【0074】
各連続フレーム間の差を計算する代わりに、測定時間にわたる各ピクセル／エリアの色度及び／又は輝度の変化が、当該ピクセル又はエリアの色度／輝度ヒストグラムを作り出すために使用され、このカラーヒストグラムが、このピクセルが時間の経過とともにどれだけ変化するかを示すエントロピーを測定するために使用される。ステップ１５１及び１５３はさらに、いくつの色がカラーヒストグラムにおいて所定の回数以上出現したかを決定することを含む。代替的な実施形態では、ダイナミック性レベルは、カラーヒストグラムから別のやり方で決定される。
【0075】
ステップ１０７は、第２のダイナミック性レベルの各々を第１のダイナミック性レベルと比較することを含む。図９と同様に、ステップ１０９は、第１のダイナミック性レベルと類似する又は同じである１つ以上の第２のダイナミック性レベルを選択することによって解析エリアのサブセットを選択することを含む、サブステップ１３５を含む。次いで、図３のステップ１１１～１１５が実行される。
【0076】
図９～図１１の実施形態では、異なる方法が、ダイナミック性レベルを決定するために使用されている。代替的な実施形態では、これらの方法のうち複数の方法が、同じ実施形態で組み合わされる。異なる方法を用いて決定される各ダイナミック性レベルは、その後、比較されてもよく、これにより、例えば、全体的なダイナミクス(overall dynamics)と色のダイナミクス(color dynamics)とを区別することができる。これにより、より優れたパフォーマンスが得られる。
【0077】
図１２は、ピクセル化されたＬＥＤストリップ２００のための解析エリアが選択される一例を示している。ピクセル化されたＬＥＤストリップの各ＬＥＤは、通常、比較的小さな解析エリアにマッピングされるため、解析エリアを僅かでも移動させることは、望ましくない光効果、すなわち、コンテンツにマッチしていないような光効果につながる可能性がある。これは、エリアの中心を変えずに解析エリアを増やすことによって緩和又は防止されてもよいが、ピクセル化されたＬＥＤストリップでは、異なる解決策も利用可能である。
【0078】
この例では、ＬＥＤストリップ２００は、５つのＬＥＤ２０１～２０５を有する。ＬＥＤ２０１～２０５は、それぞれデフォルト解析エリア２１１～２１５に関連付けられている。各ＬＥＤについて、デフォルト解析エリアのダイナミック性レベル及び対応する代替解析エリアのダイナミック性レベルが決定される。代替解析エリア２２１～２２５は、それぞれ対応するデフォルト解析エリア２１１～２１５よりも大きいが、同じ中心を有する。
【0079】
例えば、代替解析エリア２２３のダイナミック性レベルが、デフォルト解析エリア２１３のダイナミック性レベルよりも全体的なダイナミック性レベルに類似し、代替解析エリアが全体的なダイナミック性レベルに十分に類似している場合、代替解析エリア２１３が選択される。デフォルト解析エリア２１３及び代替解析エリア２２３のどちらのダイナミック性レベルも全体的なダイナミック性レベルに十分に類似していない場合、以下の解決策のいずれかが使用されてもよい。
【0080】
Ａ． 隣接する解析エリア、すなわち、解析エリア２１２及び２１４からＬＥＤ２０３のために決定される光効果を混合することで、均質な光効果を生み出し、ＬＥＤ２０３のダイナミック性と全体的なダイナミック性とのミスマッチを防止してもよい。斯くして、隣接する解析エリア２１２及び２１４は、ＬＥＤ２０３のために選択される解析エリアのサブセットを形成してもよい。隣接する解析エリアから決定される光効果は、ＬＥＤ２０３に関連する解析エリアの１つ、例えば、デフォルト解析エリア２１３又は代替解析エリア２２３から決定される光効果と混合されてもよい。例えば、解析エリア２１２及び２１４から決定される光効果の何らかのパラメータ、例えば、ダイナミック性を表すパラメータが混合されてもよく、１つ以上の他のパラメータ、例えば、カラーパレットを表すパラメータが、解析エリア２１３又は２２３から取得されてもよい。
【0081】
Ｂ． 光効果を混合する代わりに、同じ結果が、先ず解析エリア２１２及び２１４から別々に光効果を決定し、その後混合することに代えて、結合された解析エリア２１２及び２１４から直接光効果を決定することによって得られてもよい。解決策Ａに対する解決策Ｂの有利な点は、全体的なアーキテクチャを維持していること、すなわち、スクリーン上の（複数の）エリアが光源（ＬＥＤ）にマッピングされていることである。解決策Ｂに対する解決策Ａの有利な点は、計算負荷が低いことである。
【0082】
Ｃ． 解析エリアのサイズを変える又は解析エリアをシフトさせる代わりに、生成される光効果に対して解析エリア内の各ピクセルが有する寄与の重みが変えられてもよい。このようにして、解析エリア２１３又は２２３はＬＥＤ２０３のために依然選択されることができるが、同じ解析エリア内の他のピクセルと比較して、静的又は過度にダイナミックなピクセルの影響が低減されてもよい。
【0083】
【0084】
図１３に示されるように、データ処理システム３００は、システムバス３０６を介してメモリ要素３０４に結合される、少なくとも１つのプロセッサ３０２を含んでもよい。それゆえ、データ処理システムは、メモリ要素３０４内にプログラムコードを記憶してもよい。さらに、プロセッサ３０２は、システムバス３０６を介してメモリ要素３０４からアクセスされるプログラムコードを実行してもよい。一態様では、データ処理システムは、プログラムコードを記憶及び／又は実行するために好適なコンピュータとして実装されてもよい。しかしながら、データ処理システム３００は、本明細書内で述べられる機能を実行することが可能な、プロセッサ及びメモリを含む任意のシステムの形態で実装されてもよい点を理解されたい。
【0085】
メモリ要素３０４は、例えば、ローカルメモリ３０８及び１つ以上の大容量記憶デバイス３１０等の、１つ以上の物理メモリデバイスを含んでもよい。ローカルメモリとは、プログラムコードの実際の実行中に一般に使用される、ランダムアクセスメモリ又は他の非永続的メモリデバイスを指してもよい。大容量記憶デバイスは、ハードドライブ又は他の永続的データ記憶デバイスとして実装されてもよい。処理システム３００はまた、実行中に大容量記憶デバイス３１０からプログラムコードが取得されなければならない回数を低減するために、少なくとも一部のプログラムコードの一時記憶を提供する、１つ以上のキャッシュメモリ（図示せず）を含んでもよい。また、処理システム３００は、例えば、処理システム３００がクラウドコンピューティングプラットフォームの一部である場合、別の処理システムのメモリ要素を使用することができてもよい。
【0086】
入力デバイス３１２及び出力デバイス３１４として示される、入出力（input/output： Ｉ／Ｏ）デバイスが、オプションとして、データ処理システムに結合されることができる。入力デバイスの例としては、限定するものではないが、キーボード、マウス等のポインティングデバイス、（例えば、ボイス及び／又はスピーチ認識のための）マイク等を挙げることができる。出力デバイスの例としては、限定するものではないが、モニタ又はディスプレイ、スピーカ等を挙げることができる。入力デバイス及び／又は出力デバイスは、直接、又は介在Ｉ／Ｏコントローラを介して、データ処理システムに結合されてもよい。
【0087】
一実施形態では、入力デバイス及び出力デバイスは、（入力デバイス３１２及び出力デバイス３１４を取り囲む破線で図１３に示されるような）複合型入力／出力デバイスとして実装されてもよい。そのような複合型デバイスの一例は、「タッチスクリーンディスプレイ」又は単に「タッチスクリーン」と称される場合もある、タッチ感知ディスプレイである。そのような実施形態では、デバイスへの入力は、タッチスクリーンディスプレイ上、又はタッチスクリーンディスプレイの近くでの、例えばスタイラス又はユーザの指等の、物理的実体の移動によって提供されてもよい。
【0088】
ネットワークアダプタ３１６もまた、データ処理システムに結合されて、介在する私設ネットワーク又は公衆ネットワークを介して、データ処理システムが、他のシステム、コンピュータシステム、リモートネットワークデバイス、及び／又はリモート記憶デバイスに結合されることを可能にしてもよい。ネットワークアダプタは、上述のシステム、デバイス、及び／又はネットワークによってデータ処理システム３００に送信されるデータを受信するための、データ受信機と、データ処理システム３００から上述のシステム、デバイス、及び／又はネットワークにデータを送信するための、データ送信機とを含んでもよい。モデム、ケーブルモデム、及びＥｔｈｅｒｎｅｔ（登録商標）カードは、データ処理システム３００と共に使用されてもよい、種々のタイプのネットワークアダプタの例である。
【0089】
図１３に示されるように、メモリ要素３０４は、アプリケーション３１８を記憶してもよい。様々な実施形態では、アプリケーション３１８は、ローカルメモリ３０８、１つ以上の大容量記憶デバイス３１０内に記憶されてもよく、あるいは、ローカルメモリ及び大容量記憶デバイスとは別個であってもよい。データ処理システム３００はさらに、アプリケーション３１８の実行を促すことが可能な（図１３には示されない）オペレーティングシステムを実行してもよいことを理解されたい。アプリケーション３１８は、実行可能プログラムコードの形態で実装されており、データ処理システム３００によって、例えばプロセッサ３０２によって、実行されることができる。アプリケーションの実行に応答して、データ処理システム３００は、本明細書で述べられる１つ以上の動作又は方法ステップを実行するように構成されてもよい。
【0090】
本発明の様々な実施形態は、コンピュータシステムと共に使用するためのプログラムプロダクトとして実装されてもよく、このプログラムプロダクトのプログラムは、（本明細書で説明される方法を含めた）実施形態の機能を定義する。一実施形態では、このプログラムは、様々な非一時的コンピュータ可読記憶媒体上に含まれることができ、本明細書で使用されるとき、「非一時的コンピュータ可読記憶媒体」という表現は、全てのコンピュータ可読媒体を含むが、唯一の例外は一時的な伝搬信号である。別の実施形態では、このプログラムは、様々な一時的コンピュータ可読記憶媒体上に含まれることができる。例示的なコンピュータ可読記憶媒体としては、限定するものではないが、（ｉ）情報が永続的に記憶される、書き込み不可記憶媒体（例えば、ＣＤ－ＲＯＭドライブによって読み取り可能なＣＤ－ＲＯＭディスク、ＲＯＭチップ、又は任意のタイプの不揮発性固体半導体メモリ等の、コンピュータ内部の読み出し専用メモリデバイス）、及び（ｉｉ）変更可能な情報が記憶される、書き込み可能記憶媒体（例えば、フラッシュメモリ、ディスケットドライブ若しくはハードディスクドライブ内部のフロッピー（登録商標）ディスク、又は任意のタイプのランダムアクセス固体半導体メモリ）が挙げられる。コンピュータプログラムは、本明細書で述べられるプロセッサ３０２上で実行されてもよい。
【0091】
本明細書で使用される用語法は、特定の実施形態を説明することのみを目的とするものであり、本発明を限定することを意図するものではない。本明細書で使用されるとき、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形も含むことが意図される。本明細書で使用されるとき、用語「含む」及び／又は「含んでいる」は、記述された特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するものであるが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらの群の存在若しくは追加を排除するものではない点が、さらに理解されるであろう。
【0092】
以下の請求項における全てのミーンズプラスファンクション又はステッププラスファンクションの要素の、対応する構造、材料、行為、及び均等物は、具体的に特許請求される他の特許請求要素と組み合わせて機能を実行するための、任意の構造、材料、又は行為を含むことが意図される。本発明の実施形態の説明は、例示を目的として提示されてきたが、網羅的であるか、又は開示された形態の実装形態に限定されることを意図するものではない。本発明の範囲及び趣旨から逸脱することなく、多くの修正形態及び変形形態が当業者には明らかとなるであろう。実施形態は、本発明の原理及び一部の実際的応用を最良に説明し、想到される特定の用途に適するような様々な修正を有する様々な実施形態に関して、他の当業者が本発明を理解することを可能にするために、選択及び説明されるものとした。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】