特許 7383022 自動リアルタイム高ダイナミックレンジコンテンツレビューシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-09

(45)【発行日】2023-11-17

(54)【発明の名称】自動リアルタイム高ダイナミックレンジコンテンツレビューシステム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20231110BHJP

   G06T 7/00 20170101ALI20231110BHJP

【ＦＩ】

G06T5/00 735

G06T7/00 350B

【請求項の数】 15

(21)【出願番号】P 2021525752

(86)(22)【出願日】2019-11-27

(65)【公表番号】

(43)【公表日】2022-02-17

(86)【国際出願番号】 US2019063482

(87)【国際公開番号】W WO2020117575

(87)【国際公開日】2020-06-11

【審査請求日】2022-10-25

(31)【優先権主張番号】16/211,003

(32)【優先日】2018-12-05

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(74)【代理人】

【識別番号】100162950

【弁理士】

【氏名又は名称】久下 範子

(72)【発明者】

【氏名】マレー，チャールズ クラウディウス

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１３０１８８（ＵＳ，Ａ１）

【文献】特開２０１７－０５０８６４（ＪＰ，Ａ）

【文献】P.Didyk et al，Enhancement of Bright Video Features for HDR Displays，Computer Graphics Forum - June 2008，2008年06月，https://www.researchgate.net/publication/220506144_Enhancement_of_Bright_Video_Features_for_HDR_Displays/link/5c59aec0299bf1d14cadbb4f/download

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像内において、前記画像の一部である明領域を識別することと、
前記識別された明領域を、異なる所定の輝度値を有する異なる分類のセットの特定の分類に分類することと、
前記識別された明領域の輝度値を決定することと、
前記識別された明領域の輝度値を、前記識別された明領域の前記特定の分類に関する特定の事前定義輝度値と比較することと、
少なくとも前記比較に基づいて、前記識別された明領域の輝度値を調整輝度値に調整することと、
前記調整輝度値を有する前記識別された明領域を有する前記画像をレンダリングすることと
を含む方法。

【請求項2】

前記比較することは、
前記特定の事前定義輝度値との差に基づいて、前記識別された明領域の輝度値が間違っていると決定すること
を含み、
前記調整することは、
前記識別された明領域に対応する場所において前記画像上に視覚的インジケーターをレンダリングすることと、
前記識別された明領域に関する手動補正輝度値を前記調整輝度値として受け取ることと
をさらに含む、請求項１に記載の方法。

【請求項3】

前記調整することは、
前記識別された明領域に関する前記調整輝度値を自動的に決定すること
を含む、請求項１に記載の方法。

【請求項4】

前記調整することは、
前記識別された明領域の輝度値を、前記特定の分類を有する前記画像内の第２の明領域の別の輝度値に設定すること
を含む、請求項１に記載の方法。

【請求項5】

前記レンダリングすることは、
前記画像における視覚効果を考慮するために、線形スケーリングを前記調整輝度値に適用して、スケーリング及び調整された輝度値を生成することと、
前記スケーリング及び調整された輝度値を有する前記識別された明領域を有する前記画像をレンダリングすることと
を含む、請求項１に記載の方法。

【請求項6】

前記識別することは、
前記明領域の場所及びサイズを識別するために、前記画像を機械学習モデルに提供することであって、前記機械学習モデルは、明領域を識別するように訓練される、提供すること
を含む、請求項１に記載の方法。

【請求項7】

前記分類することは、
前記機械学習モデルにより、前記識別された明領域を分類すること
を含む、請求項６に記載の方法。

【請求項8】

前記調整輝度値が決定されている前記識別された明領域の情報をログ記録することをさらに含む、請求項１に記載の方法。

【請求項9】

１つ又は複数のプロセッサー回路、及び
前記１つ又は複数のプロセッサー回路に接続された１つ又は複数のメモリデバイスであって、前記１つ又は複数のプロセッサー回路による実行のためのコンピュータープログラム論理を保存する１つ又は複数のメモリデバイス
を含むシステムであって、前記コンピュータープログラム論理は、
画像分類器であって、
画像の一部である明領域を識別することと、
前記識別された明領域を、異なる所定の輝度値を有する異なる分類のセットの特定の分類に分類することと
を行うように構成された画像分類器と、
前記識別された明領域の輝度値を決定し、前記識別された明領域の輝度値と、前記識別された明領域の前記特定の分類に関する特定の事前定義輝度値との間の比較を行うように構成された輝度分析器と、
前記比較に基づいて、前記識別された明領域の輝度値を調整輝度値に調整するように構成された輝度調整器と
を含む、システム。

【請求項10】

前記特定の事前定義輝度値は、前記識別された明領域における異なる色のピーク平均輝度値を反映する、請求項９に記載のシステム。

【請求項11】

前記輝度調整器は、前記識別された明領域に関する前記調整輝度値を自動的に決定するように構成されている、請求項９に記載のシステム。

【請求項12】

前記画像分類器は、前記明領域の場所及びサイズを識別するために、前記画像を機械学習モデルに提供するように構成され、前記機械学習モデルは、明領域を識別するように訓練される、請求項９に記載のシステム。

【請求項13】

前記機械学習モデルは、前記識別された明領域の前記特定の分類を識別する、請求項１２に記載のシステム。

【請求項14】

前記コンピュータープログラム論理は、前記識別された明領域の情報及び別の調整輝度値が決定されている前記画像内の少なくとも１つの他の明領域の情報をログ記録するように構成されたロガーをさらに含む、請求項９に記載のシステム。

【請求項15】

記録されたコンピュータープログラム論理を有するコンピューター可読メモリデバイスであって、プロセッサーが、請求項１～８の何れか一項に記載のステップの何れかを行うことを可能にするコンピュータープログラム論理を含む、コンピューター可読メモリデバイス。

【発明の詳細な説明】

【背景技術】

【0001】

背景
[0001] 「高ダイナミックレンジ」（ＨＤＲ）コンテンツは、標準ダイナミックレンジ（ＳＤＲ）（例えば、従来のガンマ曲線を用いてレンダリングされた画像／ビデオ）よりも大きいと見なされるダイナミックレンジ（すなわち最大値と最小値との比率）を有するトーン（色合いの明るさ、深さ又は色相）を含むコンテンツ（例えば、画像、ビデオ）を指す。光源及び光の反射は、ＨＤＲコンテンツの視覚的品質において大きい役割を果たす。したがって、ＨＤＲ画像が不自然な及び一貫性のない輝度値を有するフィーチャーを含む場合、画像の視覚的品質は、低下する。

【0002】

[0002] 一部のＨＤＲコンテンツは、カメラなどの記録デバイスによって捕捉されるのではなく、コンテンツ作成ツールを用いて「作成される」。このような作成状況の例には、ビデオゲーム並びにアニメ映画及び映画における視覚効果（「ＶＦＸ」）が含まれる。ＨＤＲコンテンツは、アルゴリズムで「自動作成」され得る。このタイプのＨＤＲコンテンツは、記録されることも、コンテンツ作成ツールを用いて手動で作成されることもない。

【0003】

[0003] 多くの場合、ＨＤＲコンテンツは、ＳＤＲディスプレイデバイスを用いて作成及び／又は編集される。例えば、ビデオゲームは、長年にわたり、リアルタイムでＨＤＲ画像を生成しており、ＨＤＲ照明技術を利用した最初のビデオゲームは、早くも１９９７年に存在した。ＳＤＲディスプレイ上でゲームのリアルタイムＨＤＲ画像を見るために、これらの画像におけるＨＤＲ値は、最初に、はるかに小さい範囲の明るさ及び色値に処理されなければならない。このような処理は一般的に、トーンマッピングと呼ばれる。ＨＤＲディスプレイは、トーンマッピングの必要なしにＨＤＲコンテンツのネイティブ表示が可能であり、これは当然のことながら、より優れた視覚的品質をもたらす。

【0004】

[0004] しかし、２０１５年頃まで、全ての一般消費者向けディスプレイデバイスはＳＤＲであり、ＨＤＲコンテンツをネイティブ表示することが不可能であった。したがって、消費者の大半は、依然としてＳＤＲディスプレイデバイスのみを有している。また、ＨＤＲディスプレイ（特に机上に簡単にフィットし得る小型サイズのディスプレイ）の現在の低い普及率は、ほとんどのビデオゲームコンテンツクリエイターですら、依然としてＳＤＲディスプレイデバイスを使用していることを意味し、実際、多くのコンテンツ作成ツールは、依然としてＨＤＲディスプレイデバイスをサポートしていない。すなわち、ＨＤＲであるコンテンツを含むほとんどのビデオゲームコンテンツは、依然としてＳＤＲで習得される。その結果、ＨＤＲコンテンツ作成中、このようなＨＤＲコンテンツは、光源及び光の反射に関する不自然な及び一貫性のない輝度値の不注意な使用を含むことがあり、なぜなら、ゲームコンテンツクリエイターは、ＨＤＲコンテンツを作成するために使用されるＳＤＲディスプレイデバイス上において、クリエイターが使用しているＨＤＲにネイティブの輝度値を実際に見ることができないためである。これは、ＨＤＲ可能ディスプレイデバイス上で表示されたときに低品質のＨＤＲ画像をもたらし得る。

【発明の概要】

【課題を解決するための手段】

【0005】

概要
[0005] この概要は、詳細な説明において下記でさらに説明される概念の選択を単純化した形式で紹介するために提供される。この概要は、特許請求される主題の主要な特徴又は不可欠な特徴を識別することを意図したものではなく、また特許請求される主題の範囲を限定するために使用されることを意図したものでもない。

【0006】

[0006] 本明細書では、ＨＤＲコンテンツ内の間違った及び／又は一貫性のないトーンを有する明領域の検出並びにそのようなトーンの自動又は手動補正を可能にする方法、システム及びコンピュータープログラム製品が記載される。明領域は、画像内で識別される。明領域は、割り当てられた分類に分類される。明領域の輝度値が決定され、且つ分類に対応する事前定義輝度値と比較される。不一致が存在する明領域の輝度値は、事前定義輝度値と一致するように調整される。不一致の又は間違った輝度値を含む明領域は、そのような領域が不一致の輝度値を含むという視覚的インジケーターを含むように、ディスプレイ上でレンダリングされ得る。

【0007】

[0007] そのような不一致の明領域に関して、手動入力輝度補正が受け取られ得るか、又は補正が自動生成され得る。このような補正は、補正ＨＤＲ画像を生成するためにＨＤＲ画像に適用され得る。同じ画像内の同じ分類を有する別の明領域と一致する補正輝度値が生成され得る。間違った輝度値に対する補正を生成することに加えて、スケーリング及び調整された輝度値を生成するために、スケーリング調整が明領域の輝度値に適用され得る。

【0008】

[0008] 画像の明領域の識別及び分類は、適宜に訓練された機械学習モデルによってなど、様々な方法で行われ得る。このようなモデルは、ＨＤＲコンテンツで用いられ得る分類（例えば、太陽、月、火、爆発、鏡面反射ハイライトなど）を有する明領域を含む画像を用いて訓練され得る。同様に、明領域の各クラスに関する事前定義輝度値は、適切に訓練された機械学習モデルによって決定され得る。このようなモデルは、期待される分類の画像を用いて訓練されるだけでなく、輝度値もそのような分類のための望ましい範囲である。代替的に、事前定義輝度値は、テクニカルアーティスト、ゲーム開発者、他のコンテンツクリエイター又は他の人によって手動で定義され得る。

【0009】

[0009] さらなる特徴及び利点並びに様々な例の構造及び動作は、添付の図面を参照して以下に詳細に説明される。アイデア及び技術は、本明細書に記載される具体例に限定されないことに留意されたい。このような例は、本明細書では、単なる例示目的で提示されるものである。追加の例は、本明細書に含まれる教示に基づいて当業者に明らかとなるであろう。

【0010】

図面／図の簡単な説明
[0010] 本明細書に組み込まれ、本明細書の一部をなす添付の図面は、本出願の実施形態を示し、説明と共にこれらの実施形態の原理を説明すること並びに当業者がこれらの実施形態を製造及び使用することを可能にすることにさらに役立つ。

【図面の簡単な説明】

【0011】

【図1】[0011]ある実施形態による、ＨＤＲ輝度補正器を含む例示的ＨＤＲコンテンツレビューシステムを描く。

【図2】[0012]ある実施形態による、例示的輝度補正システムを描く。

【図3】[0013]ある実施形態による、２人の異なるコンテンツクリエイターにより、異なる輝度値を用いて作成された、同じ画像内の同じ分類の例示的ＨＤＲコンテンツの２つのインスタンスを描く。

【図4】[0014]ある例示的実施形態による、ＳＤＲトーンマッピングが適用された後の図３の例示的ＨＤＲコンテンツのＳＤＲレンダリングを描く。

【図5】[0015]ある実施形態による、ＨＤＲコンテンツのレビュー及び補正を行う方法のフローチャートを描く。

【図6】[0016]ある実施形態による、ＨＤＲコンテンツのレビュー及び補正を行うための図５のフローチャートに対する改良のフローチャートを描く。

【図7】[0017]ある実施形態による、識別された明領域に関する調整輝度値を自動的に決定する方法のフローチャートを描く。

【図8】[0018]ある実施形態による、明領域の場所及びサイズを識別するために表示画像を機械学習モデルに提供する方法であって、機械学習モデルは、明領域を識別するように訓練される、方法のフローチャートを描く。

【図9】[0019]ある実施形態による、機械学習モデルによる、識別された明領域を分類する方法のフローチャートを描く。

【図10】[0020]様々な実施形態を実施するために使用され得る例示的プロセッサーベースのコンピューターシステムのブロック図を描く。

【発明を実施するための形態】

【0012】

[0021] 実施形態の特徴及び利点は、全体を通して同様の参照符号が対応する要素を識別する図面と併せて、以下に記載される詳細な説明からより明白となるであろう。図面では、同様の参照番号が、一般に、同一の要素、機能的に類似した要素及び／又は構造的に類似した要素を示す。ある要素が最初に出現した図面は、対応する参照番号の一番左の１つ又は複数の数字によって示される。

【0013】

詳細な説明
Ｉ．導入部
[0022] 以下の詳細な説明は、多数の実施形態を開示する。本特許出願の範囲は、開示された実施形態に限定されず、開示された実施形態の組み合わせ及び開示された実施形態の変更形態も包含する。

【0014】

[0023] 本明細書における「一実施形態」、「ある実施形態」、「ある例示的実施形態」などへの言及は、記載された実施形態が特定の特徴、構造又は特性を含み得るが、あらゆる実施形態が必ずしもその特定の特徴、構造又は特性を含まなくてもよいことを示す。また、このような表現は、必ずしも同じ実施形態を指していない。さらに、ある特徴、構造又は特性がある実施形態に関連して記載される場合、明確に記載されているか否かにかかわらず、そのような特徴、構造又は特性を他の実施形態と関連させて生じさせることは、当業者の知識の範囲内であると考えられる。

【0015】

[0024] 多数の例示的実施形態を以下の通り説明する。本明細書で提供される何れのセクション／サブセクションの見出しも、限定することを意図したものではないことに留意されたい。本明細書全体を通して実施形態が記載され、何れのタイプの実施形態も何れのセクション／サブセクションに含まれ得る。さらに、何れかのセクション／サブセクションに開示された実施形態は、同じセクション／サブセクション及び／又は異なるセクション／サブセクションに記載された他の何れの実施形態とも任意の様式で組み合わされ得る。

【0016】

ＩＩ．例示的実施形態
[0025] 上述の通り、ＨＤＲコンテンツは、ＳＤＲディスプレイデバイスを用いて作成されることが多く、実際、現在のほとんどのビデオゲームコンテンツは、ＳＤＲディスプレイを用いて作成される。このような場合、コンテンツの作成中、ＨＤＲコンテンツのコンテンツクリエイターは必ずしもＳＤＲディスプレイ上で複数のトーンの違いを認識できず、場合により、光源及び光の反射に関して不自然な及び一貫性のない輝度値が誤って使用される結果となる。これにより低品質のＨＤＲ画像が生じ得る。特に、ＨＤＲディスプレイ上のコンテンツの視聴者は、同じ画像中に表示されるコンテンツフィーチャー（例えば、２つの火）間の説明のつかないトーンの違いを見ることがあり、これにより視聴者の観点からその画像の質が低下する。

【0017】

[0026] ＳＤＲディスプレイデバイス上のＨＤＲコンテンツの設計は、さらなる問題を引き起こし得る。例えば、一部のコンテンツ作成ツールは、特定の光源及び視覚効果（ＶＦＸ）を強調するために、線形スカラー値を適用することにより、一部の画像フィーチャーの輝度値を不自然に増加させ得る。さらにまた、複数の異なるコンテンツクリエイターが、同じタイプの光源及びＶＦＸに対して複数の異なる輝度値を使用することがある。例を以下に示す。
・水に対する太陽の反射が実際の太陽よりも明るく作成されることがあり、
・ろうそくからの光が白熱ランプよりも明るく作成されることがあり、
・爆発が、あるゲームレベルでは、別のコンテンツクリエイターによって作成された別のレベルよりも明るく作成されることがあり、及び
・月が放射性ではないにもかかわらず、月がスポットライトよりも明るく作成されることがある。

【0018】

[0027] その結果、一貫性のない及び不自然な輝度値が含まれていても、ＳＤＲディスプレイデバイス上に提示された最終画像が正しく見え得るとしても、同じ画像が、ＨＤＲディスプレイデバイス上で非常に不自然に及び／又は一貫性がなく見え得る。

【0019】

[0028] これらの問題を解決するために、コンテンツのクリエイター及びメーカーは、一貫性のない輝度値及び不自然な輝度値を識別するために、複数の異なるＨＤＲディスプレイ上でビデオゲームなどのコンテンツをレビューすることに多くの余分の時間を費やす。一般に、レビュープロセス全体は、非常に時間のかかるものである。例えばビデオゲームの場合、コンテンツのクリエイター及びメーカーは、複数のゲームレベルの大部分を最後までプレイしなければならず、映画の場合、映画の大部分が見られなければならず、ビデオゲーム又は映画は、特定のコンテンツクリエイター／メーカーによって提供された画像が作成されてからはるかに後になるまで全体が完成されないことがある。そのビデオゲーム又は映画に関して後に作成されたコンテンツは、異なる輝度値を用いて作成されることがある。したがって、実施形態は、これらの課題を克服する、より効率的なＨＤＲコンテンツレビュー及び輝度補正を可能にする。ある例示的実施形態による、ビデオゲームに関連するＨＤＲコンテンツレビュープロセスのハイレベルな概説をここで説明する。

【0020】

[0029] ＨＤＲコンテンツレビュープロセスは、グラフィックアーティスト、ゲーム開発者又は他のコンテンツクリエイターがＨＤＲコンテンツを作成することから始まる。一般的に、コンテンツクリエイターは、ＨＤＲ輝度値を用いてレンダリングされる、あるシーンの１つ又は複数のオブジェクトを選択し、実行時に適用される輝度値を定義する。あるシーンのＨＤＲオブジェクトの作成が完了した後、ビデオゲームは、新しく作成されたＨＤＲコンテンツを用いて実行され得る。ビデオゲーム内の起動時、コンテンツの作成中に定義された輝度値は、最終的なＨＤＲゲーム画像（すなわち画面上に表示される最終画像）をレンダリングするためにシーンのＨＤＲオブジェクトに適用され得る（必要に応じて追加の視覚効果をレンダリングするためにも使用され得る）。自動リアルタイムＨＤＲコンテンツレビュアーの実施形態は、最終的なＨＤＲゲーム画像を受け取り、以下のように動作し得る。

【0021】

[0030] ある実施形態では、最終的なＨＤＲゲーム画像は、最終的なＨＤＲゲーム画像における明エリアの場所、サイズ及び輝度値を識別するために、適切に訓練された機械学習モデルに入力される。実施形態では、同じ機械学習モデルがこのような明エリアを分類する。すなわちこのモデルは、予め識別されたカテゴリー（すなわち火、太陽、月、ヘッドライトなど）に関して、各明エリアが描いているものを識別する。自動リアルタイムＨＤＲコンテンツレビュアーの実施形態は、次に、各明エリアに関して決定された輝度値を、決定された分類に対応する事前定義輝度値と比較し得る。例えば、ある実施形態では、様々なＨＤＲオブジェクト分類に関する事前定義輝度値のリストが自動リアルタイムＨＤＲコンテンツレビュアーに提供され得る。各オブジェクトに関して決定された輝度値と、その分類のオブジェクトに関する事前定義輝度値との不一致は、レンダリングされたオブジェクトが不自然な及び／又は一貫性のない輝度値を有し得ることを示す。

【0022】

[0031] 実施形態はさらに、不自然な及び一貫性のないＨＤＲオブジェクトに視覚的インジケーターを重ねて、最終的なＨＤＲゲーム画像をレンダリングできるようにされる。その後、実施形態は、ＨＤＲ画像の処理を停止し、次の一連のアクション（例えば、オブジェクトの輝度値の手動補正）を決定するためにコンテンツクリエイターに制御を返し得る。しかし、別の実施形態では、不自然な及び一貫性のないＨＤＲオブジェクトの輝度値は、ＨＤＲオブジェクト分類に対応する事前定義値に一致するように自動的に調整され、最終的なＨＤＲゲーム画像のプレビューが（レビューのためにこのようなオブジェクトにフラグを立てる視覚的インジケーターと共に）ディスプレイ上にレンダリングされ得る。その後、コンテンツクリエイターは、ＨＤＲオブジェクトのレンダリングされたプレビューを精査し、自動輝度調整が受諾、拒否又は修正されるべきかを決定し得る。

【0023】

[0032] リアルタイムＨＤＲコンテンツレビュアーのこれらの実施形態及びさらなる実施形態は、様々な方法で実施され得る。例えば、図１は、ある実施形態による、ＨＤＲ輝度補正器１０６を含む例示的ＨＤＲコンテンツレビューシステム１００を描く。図１に示されるように、システム１００は、コンピューティングデバイス１０２及びディスプレイデバイス１０８を含む。コンピューティングデバイス１０２は、コンピューティングデバイス上で動作するコンテンツエディターツール１０４を含み、及びコンテンツエディターツール１０４は、輝度補正器１０６を含む。他の構造実施形態及び動作実施形態は、図１のシステム１００に関する以下の説明に基づいて当業者に明らかとなるであろう。

【0024】

[0033] 本明細書において、図１のシステム１００及びコンピューティングデバイス１０２に関連して記載される実施形態の一般的説明が以下に続く。ユーザーによって操作されるコンピューティングデバイス１０２の観点から記載されるが、実施形態は、このシナリオ又はコンピューティングハードウェアに限定されないことが理解されるものとする。例えば、実施形態は、グラフィック処理装置（「ＧＰＵ」）及び他のタイプのコンピューティングハードウェアを含む（ただし、これらに限定されない）様々なハードウェア環境において、半自動又は全自動で動作し得る。本明細書における実施形態の説明は、ビデオゲームに関連して処理されたＨＤＲ画像及びビデオの観点から表現されることが多いが、実施形態は、任意のタイプのＨＤＲコンテンツにおいて、輝度値のレビュー及び補正を行うために有用に用いられ得ることにも留意されたい。

【0025】

[0034] システム１００のコンピューティングデバイス１０２は、モバイル又は固定式の任意のタイプのコンピューティングデバイス、そのようなデスクトップコンピューター、サーバー、ビデオゲームコンソールなどを含み得る。コンピューティングデバイス１０２は、任意のタイプのモバイルコンピューティングデバイス（例えば、Microsoft（登録商標）Surface（登録商標）デバイス、携帯情報端末（ＰＤＡ）、ラップトップコンピューター、ノート型パソコン、Apple iPad（商標）などのタブレットコンピューター、ネットブックなど）、携帯電話（例えば、セルラー電話、Microsoft Windows（登録商標）の電話、Apple iPhone（登録商標）、Google（登録商標）Android（商標）オペレーティングシステムを実装した電話などのスマートフォン）、ウェアラブルコンピューティングデバイス（例えば、Google（登録商標）Glass（商標）、Oculus VR, LLCによるOculus Rift（登録商標）などのスマートグラスを含む、ヘッドマウントデバイス）、デスクトップコンピューター又はＰＣ（パーソナルコンピューター）などの固定式コンピューティングデバイス、ゲームコンソール／ゲーム機（例えば、Microsoft Xbox（登録商標）、Sony PlayStation（登録商標）、Nintendo Wii（登録商標）又はSwitch（登録商標）など）などであり得る。

【0026】

[0035] ある実施形態では、コンピューティングデバイス１０２上で動作するコンテンツエディターツール１０４は、コンテンツエディター、ゲームの開発者又は他の有資格者が、本明細書で上記に記載した性質の不一致輝度値についてＨＤＲコンテンツのレビューを行うことを可能にする。ある実施形態では、コンテンツエディターツール１０４に含まれる輝度補正器１０６は、以下の一般的な様式で手動、半自動又は全自動のレビュー及び間違った輝度値の補正を可能にする。

【0027】

[0036] 初めに、レビューのためのＨＤＲコンテンツを含むビデオ又は静止画像は、ディスプレイデバイス１０８上での表示及びレビューのために、コンピューティングデバイス１０２のコンテンツエディターツール１０４に提供され得る。例えば、ＨＤＲ画像１１０は、コンテンツエディターツール１０４によってロードされるか又は他の方法でアクセスされ、且つディスプレイデバイス１０８上にレンダリングされ得る。コンテンツエディターツール１０４の輝度補正器１０６によってアクセス可能になると、ＨＤＲビデオ及び／又は画像（ＨＤＲ画像１１０など）は、下記で順に述べるような以下の一般的ステップの動作により、実施形態において検出及び補正される間違った輝度値を有することがある。
・明領域の識別及び分類を行い、
・そのような明領域ごとに、
・その領域に関する輝度値を決定し、
・決定された輝度値を、明領域の分類に対応する事前定義輝度値と比較し、
・任意選択的に、補正が必要な明領域の上に視覚的インジケーターをレンダリングし、
・任意選択的に、視覚的インジケーターを含む画像／フレームのスクリーンショットと共に、不適切な輝度レベルを有する明エリアのリストを有するログファイルを書き込み、
・明領域に関して、手動で又は自動的に生成された補正輝度値を受諾し、
・補正輝度値に従って明領域輝度を補正する。

【0028】

[0037] 図１の輝度補正器１０６の実施形態は、このような動作を行うための様々な方法で構成され得る。例えば、図２は、輝度補正器１０６のある実施形態を描く。図２に示されるように、輝度補正器１０６は、画像分類器２０４、輝度分析器２０６、画像レンダラー２０８、輝度調整器２１０、ロガー２１４及びストレージコンポーネント２１６を含む。輝度補正器１０６は、以下の通りさらに詳細に説明される。

【0029】

[0038] 実施形態では、ＨＤＲ画像１１０が画像分類器２０４によって受け取られる。画像分類器２０４は、その後、ＨＤＲ画像１１０などの画像（ビデオを含む）に含まれる明領域の識別及び分類を行うように構成される。初めに、画像分類器２０４の実施形態は、シーン内に明領域が存在するか否か、その領域が見つかった場合、そのサイズ及び明領域の識別情報（例えば、明領域１１２などのキャンプファイヤー）を決定しなければならない。画像分類器２０４は、マシンビジョン、画像認識又は画像内のオブジェクトを識別するための他のアルゴリズムに従ってこのような識別及び分類を行うことを含む、これらの機能を行うように様々な方法で構成され得る。このようなアルゴリズムの例には、畳み込みニューラルネットワーク、外観ベースの方法（例えば、エッジマッチング、分割統治サーチ、グレースケールマッチング、受容野応答のヒストグラム、ラージモデルベース）、フィーチャーベースの方法（例えば、解釈木、ポーズの一貫性、ポーズクラスタリング、不変性、幾何学的ハッシング、スケール不変特徴変換（ＳＩＦＴ）、高速化ロバスト特徴（ＳＵＲＦ）、遺伝的アルゴリズムなどが含まれる。下記でより詳細に説明されるように、機械学習（「ＭＬ」）アルゴリズムは、このような識別及び分類タスクに有用に用いられ得る。実施形態では、画像分類器２０４に含まれる、適切に訓練された機械学習モデルは、検査中の画像（例えば、ＨＤＲ画像１１０）を与えられ、明領域２２０のリスト（それらの場所、サイズ及び分類を含む）を生成し得る。実施形態の例示的ＨＤＲ画像及びＳＤＲ画像をここで簡潔に説明し、その後、図２に描かれるような輝度補正器１０６の説明が下に続く。

【0030】

[0039] 例えば、同じ分類を有するコンテンツアイテム３０２及び３０４を含む例示的ＨＤＲコンテンツ画像３００を描く図３である。具体的には、コンテンツアイテム３０２及び３０４は、それぞれコンテンツ画像３００内の明領域であり、共に「火」と分類される。図３に示されるように、コンテンツアイテム３０２は、５００ｎｉｔの火の平均ＨＤＲ明るさを有するように作成されたものである。一方、コンテンツアイテム３０４は、別のコンテンツクリエイターにより、１０００ｎｉｔの火の平均ＨＤＲ明るさを有するように作成されたものである。上述の通り、これらのＨＤＲ明るさ値は、ＨＤＲ可能ディスプレイデバイス上でネイティブ表示されたときのコンテンツの各部分の意図された明るさを表す。５００ｎｉｔの明るさと１０００ｎｉｔの明るさとの差は大きすぎるので、ＨＤＲディスプレイデバイス上で人間の視聴者はこの差に気付くであろう。このような画像内のコンテンツの明るさの不一致は、上述の通り、各コンテンツクリエイターによるＳＤＲディスプレイの使用によって生じ得る。

【0031】

[0040] 例えば、ある例示的実施形態による、ＳＤＲトーンマッピングが適用された後の図３の例示的ＨＤＲコンテンツ画像３００のＳＤＲ画像４００へのＳＤＲレンダリングを描く図４を考察する。ＳＤＲディスプレイデバイスは、ＨＤＲ画像で符号化され得る輝度値の全範囲を表示することが物理的に不可能であるため、画像の輝度値は、ＳＤＲディスプレイデバイスのダイナミックレンジに適合するようにスケーリングされなければならない。このスケーリングプロセスは一般に、トーンマッピングと呼ばれる。図４のスケーリングされたＨＤＲコンテンツ４０２及び４０４は、ＳＤＲトーンマッピング後、ＳＤＲディスプレイデバイス上で表示されたときにコンテンツアイテム３０２及び３０４がどのように見え得るかを示している。トーンマッピングされたＳＤＲコンテンツ４０２及び４０４は、実際には、目に見えて異なる輝度値を有する（すなわち、ＳＤＲコンテンツ４０２は、ＳＤＲコンテンツ４０４よりも僅かに明るさが劣って見える）が、この差は、ＳＤＲディスプレイ上で目立つほど大きくない、すなわち同じ分類のコンテンツにとって許容範囲内の差となる場合がある。このため、コンテンツアイテム３０２及び３０４のクリエイターの一方又は両方にとって輝度値が満足のいくもの及び／又は実質的に同じとなるほど互いに十分に類似しているように見え得る。しかし、ＨＤＲコンテンツアイテム３０２及び３０４が、図３（ここでは、それぞれが互いに大きく異なって見える）に示されるように表示されるときに問題が生じる。

【0032】

[0041] ここで、図２に描かれるような輝度補正器１０６の説明に戻り、画像分類器２０４は、ＨＤＲ画像１１０内の明領域の識別及び分類を行い、且つ明領域２２０と呼ばれる明領域のリスト（このリストは、各明領域の場所（例えば、左上の画素座標、中心画素座標などによる）、サイズ（例えば、画素座標の二次元配列として識別された矩形又は他の形状）及び分類（例えば、分類名、分類識別子などによる）を示す）を生成するように構成されることを想起されたい。

【0033】

[0042] 実施形態では、明エリア２２０のリストは、輝度分析器２０６によって受け取られる。明エリア２２０で示される各明エリアは、その明エリアの全体的な輝度値を決定するために輝度分析器２０６によって分析される。輝度分析器２０６は、色値のヒストグラム分析、単色値に対する演算、値の平均化などを含む多数の方法でこのような分析を行うように構成され得る。例えば、実施形態は、明領域のピークＲＧＢ（赤－緑－青）値（すなわちＲ値、Ｇ値若しくはＢ値の最大値）又はピーク平均値（すなわち各画素のＲ＋Ｂ＋Ｇ／３の最大値）に応じて全体的な輝度値を設定することができる。代替的に、実施形態は、明領域の輝度値のヒストグラムを描画し、その領域の輝度値をヒストグラムの中央値となるように設定し得る。他の実施形態では、明るさに対する人間の知覚の非線形性を考慮するために、知覚調整係数を適用することもできる。

【0034】

[0043] 各明領域の輝度値を決定した後、輝度分析器２０６の実施形態は、各決定された輝度値を、明領域２２０のリストに示された明領域分類に対応する事前定義輝度値と比較するように構成される。例えば、輝度値は、ＨＤＲコンテンツにおいて遭遇され得る明領域のクラスごとに事前に定義され得る。具体的には、ゲームデザイナー又はコンテンツエディターは、例えば、火、爆発又は太陽に関する輝度値がそれぞれ１０００、３０００又は１００００ｎｉｔであると事前に定義し得る。したがって、輝度補正器１０６の実施形態は、ＨＤＲ画像１１０の明領域１１２を検出し、明領域１１２を火として分類し、且つその輝度値を５００ｎｉｔであると決定し得る。この例では、５００ｎｉｔの値を１０００ｎｉｔの事前定義値と比較すると、輝度分析器２０６の実施形態は、補正のためにその明領域の輝度を決定する。明領域２２０の検出及び分類が行われた各明領域に対して上記の比較を行った後、輝度分析器２０６は、間違った明領域２２２として補正を必要とする明領域のリストをそれらの場所及び寸法と共に生成するように構成される。

【0035】

[0044] 補正を必要としている明領域を決定した後、実施形態は、多数の方法で補正を行うことができる。例えば、一実施形態では、画像レンダラー２０８は、間違った明領域２２２を受け取り、ディスプレイ画面上で（例えば、図１のディスプレイデバイス１０８上で）、コンテンツクリエイター又はコンテンツエディターによるレビューのために、そのような領域にフラグを立てるために、明領域の上に（例えば、図１の明領域１１２の上に）視覚表現をレンダリングする。このような視覚表現は、明領域上の半透明強調表示、明領域の周りの適宜に着色された境界ボックスなどを含む任意の適宜の形式を有し得る。ある実施形態では、フラグが立てられた明領域の上に視覚表現をレンダリングすることに加えて、実施形態は、明領域に対して暫定又は提案輝度調整を自動的に適用することもできる。代替的に、画像レンダラー２０８は、提案輝度値２２４を輝度調整器２１０に提供するように構成され得る。

【0036】

[0045] 実施形態では、輝度調整器２１０は、輝度補正器１０６の構成に応じて異なる方法で動作するように構成され得る。例えば、輝度調整器２１０は、明領域に対して暫定又は提案輝度値を自動的及び永久的に適用することにより、各明領域に対する補正を含む補正画像２２６を生成するように構成され得る。代替的に、輝度調整器２１０は、以前に適用された暫定／提案輝度値のレビューを可能にし、且つそのような変更が拒否又は受諾されることを可能にするように構成され得る。後者の代替形態は、画像分類器２０４の機械学習モデルが、画像の一部を間違った輝度値を有するものとして誤認するなどの様々な理由のため、そのような暫定／提案輝度値が受諾されるべきではない（例えば、提案輝度調整が物理的に現実的な輝度値に基づいているが、レビュー中のＨＤＲ画像が「漫画的に」見えることが意図される場合）など芸術的理由のために実行され得る。輝度調整器２１０の別の実施形態では、提案輝度値２２４は、プレビューとしてＨＤＲ画像に適用されず、代わりにコンテンツエディター又は開発者から手動で入力された輝度補正値を受理したときに提案輝度値としてコンテンツエディターに提示され得る。輝度値の補正が自動的であろうと手動入力によるものであろうと、輝度調整器２１０は、補正画像２２６をレンダリングするために、補正輝度値を適用するように構成される。

【0037】

[0046] 別の実施形態では、輝度補正器１０６は、自動画像テストツールとして動作するように構成され得る。このような実施形態では、レビューのためのＨＤＲ画像は、各画像が、上記の通り、輝度分析器２０６（これは、次に、間違った明領域２２２を決定する）に入力される明エリア２２０のリストを生成するために画像分類器２０４によって処理された状態で、一括で輝度調整器１０６に提供され得る。しかし、この実施形態では、間違った明領域２２２は、上記の様式の画像のインタラクティブなレビューのために画像レンダラー２０８に提供されても又はされなくてもよい。さらに、輝度分析器２０６は、補正を必要とするこのような明エリアのログ２１８を生成し得る。ログ２１８は、各明領域に関するデータ及びメタデータ（例えば、場所、サイズ、分類、決定された明るさ）を含み得、且つ上記のような視覚表現を有する画像レンダラー２０８の出力のスクリーンショットを含み得る。ロガー２１４は、ある実施形態において、輝度分析器２０６からログ２１８を受け取り、ストレージコンポーネント２１６における保存のためにログ２１８を処理するように構成され得る。

【0038】

[0047] なお、輝度補正器１０６の実施形態の上記説明は、様々なタイプのリストの観点から表現されるが、実施形態は、文字通りのリストを生成又は保存する必要はなく、他のタイプのデータ構造又は上述の各リストに関して説明されたデータを表す手段が用いられ得ることが理解されるものとする。実施形態では、例えば、上述のリストは、メモリ内であろうと何らかの形式で保存されようと、任意の数の異なるデータ構造を含み得る。このようなデータ構造は、例えば、配列、連想配列、リンクリスト、レコード、オブジェクト（オブジェクト法を含む）、スタック、キュー又はグラフを含み得る。

【0039】

[0048] 輝度補正器１０６は、その機能を行うために様々な方法で動作し得る。例えば、図５は、ある実施形態による、ＨＤＲコンテンツのレビュー及び補正を行う方法のフローチャート５００を描く。図５の説明は、図１及び図４を引き続き参照して行う。しかし、フローチャート５００並びに図１及び図４の輝度補正器１０６に関する以下の説明に基づいて、他の構造実施形態及び動作実施形態が当業者に明らかとなるであろう。

【0040】

[0049] 図５に示されるように、フローチャート５００は、ステップ５０２から開始される。ステップ５０２では、画像内において、明領域であるその画像の部分が識別される。例えば、図２を引き続き参照して、画像分類器２０４は、ＨＤＲ画像１１０などの画像内において、その画像の部分である１つ又は複数の明領域を識別し得る。上記で説明したように、画像分類器２０４は、（本明細書において下記でより詳細に説明される）適切に訓練された機械学習モデルを用いてこのような識別を行うように構成され得る。例えば、画像分類器２０４は、画像３００内の明領域３０２及び３０４を識別し得る。

【0041】

[0050] ステップ５０４では、識別された明領域は、所定の分類のセットの割り当てられた分類に分類される。例えば、図２を引き続き参照して、画像分類器２０４は、上記及び下記でさらに詳細に説明される通り、ＨＤＲ画像１１０内で識別された明領域の分類を行うように構成され得る。

【0042】

[0051] 図５のフローチャート５００は、ステップ５０６を続ける。ステップ５０６では、明領域の輝度値が決定される。例えば、図２の画像分類器２０４は、明領域２２０中の明領域のリスト（それらの場所、サイズ及び分類を含む）を輝度分析器２０６に提供し得る。上述の通り、輝度分析器２０６は、識別及び分類が行われた明領域ごとに輝度値を決定するように構成される。

【0043】

[0052] ステップ５０８では、決定された輝度値は、割り当てられた分類に対応する事前定義輝度値と比較される。例えば、図２を参照して上記に説明した通り、輝度分析器２０６は、明領域の決定された輝度値を、割り当てられた分類に対応する事前定義輝度値と比較するように構成され得る。すなわち、上記で説明した例につき、輝度分析器２０６は、「火」に関して決定された輝度値を１０００ｎｉｔの事前定義値と比較するように構成され得る。図２に示されるように、輝度分析器２０６は、識別された明領域の分類に関する所定の輝度値と（例えば、正確に又は所定の閾値の範囲内で）一致しない輝度値を有する識別された明領域を含む間違った明領域２２２を生成する。

【0044】

[0053] 図５のフローチャート５００は、ステップ５１０を続ける。ステップ５１０では、決定された輝度値は、前記比較に基づいて、その明領域に関する調整輝度値に調整される。例えば、図２を参照して上記で説明した通り、輝度調整器２１０は、自動的に又は手動の支援を受けて、輝度分析器２０６によって補正が必要であると間違った明領域２２２内で識別された明領域の輝度値を調整するように構成される。

【0045】

[0054] 図５のフローチャート５００は、ステップ５１２で完了する。ステップ５１２では、調整輝度値を有する明領域を有する画像がレンダリングされる。例えば、図２を引き続き参照して、輝度調整器２１０は、補正画像２２６（補正画像２２６は、次に、レンダリングのために画像レンダラー２０８に提供され得る）を生成するために、必要な輝度調整を適用するように構成され得る。

【0046】

[0055] フローチャート５００のステップ５０２～５１２の上述の説明では、ときにこれらのステップが異なる順序で又は他のステップと同時に行われ得ることが理解されるものとする。例えば、ステップ５０２の識別すること及びステップ５０４の分類することは、同じ機械学習モデルによって同時に行われ得る。他の動作実施形態が当業者に明らかとなるであろう。輝度補正器１０６の動作の上述の一般的説明は、例示のためにのみ提供されるものであり、輝度補正器１０６の実施形態は、異なるハードウェア及び／又はソフトウェアを含み得、且つ上記と異なる様式で動作し得ることにも留意されたい。実際、フローチャート５００のステップは、様々な方法で行われ得る。

【0047】

[0056] 例えば、図６は、ある実施形態による、図５のフローチャート５００に描かれたようなＨＤＲコンテンツのレビュー及び補正を行う方法に対する改良のフローチャートを描く。図６の説明は、図１、図４及び図５を引き続き参照して行う。しかし、フローチャート６００、図１、図４及び図５に関する以下の説明に基づいて、他の構造実施形態及び動作実施形態が当業者に明らかとなるであろう。

【0048】

[0057] 図６に示されるように、フローチャート６００は、ステップ６０２から開始される。ステップ６０２では、決定された輝度値を調整輝度値に調整する前に、決定された輝度値は、事前定義輝度値との差に基づいて、間違っていると決定される。例えば、図２を引き続き参照して、分析器２０６は、ステップ５０６で決定された輝度値を、割り当てられた分類に対応する事前定義輝度値と比較するように構成される。ある実施形態では、輝度分析器２０６は、ある明領域に関して決定された輝度値と、割り当てられた分類に対応する事前定義輝度値との差を決定するように構成され得る。輝度分析器２０６は、決定された差を用いて、関連する明領域の輝度値が間違っていると決定し得る（ここでは、例えば、決定された差が絶対値又はパーセンテージのいずれかで事前定義閾値を超える）。

【0049】

[0058] ステップ６０４では、決定された輝度値を調整するプロセスにおいて、識別された明領域に対応する場所にある画像上に視覚的インジケーターがレンダリングされる。例えば、図２を引き続き参照して、画像レンダラー２０８は、輝度分析器２０６によって識別された、間違った明領域２２２に対応する場所で視覚的インジケーターをレンダリングするように構成される。このような視覚的インジケーターは、例えば、明領域の周りの境界ボックス又は補正が必要な場所を示す何らかの他の手段を含み得る。

【0050】

[0059] フローチャート６００は、ステップ６０６で完了する。ステップ６０６では、識別された明領域に関する手動補正輝度値（すなわちグラフィックアーティスト、ゲーム開発者、他のコンテンツクリエイター又は他の人によるユーザーインターフェースへの手動入力により受理された輝度値）は、決定された輝度値を調整するプロセスにおける調整輝度値として受け取られる。例えば、図２に関連して上記で詳細に説明した通り、輝度補正器１０６の輝度調整器２１０は、識別された各明領域に関する手動補正輝度値又は自動的に生成された補正輝度値を受理するように構成される。ある実施形態では、自動的に生成された補正輝度値は、提案される画像の変更をプレビューするために使用され得、これらは、その後、手動で受諾、拒否又は変更することができる。

【0051】

[0060] 図７は、ある実施形態による、識別された明領域に関する調整輝度値を自動的に決定する方法のフローチャート７００を描く。図７の説明は、図１、図４及び図５を引き続き参照して行う。しかし、フローチャート７００、図１、図４及び図５に関する以下の説明に基づいて、他の構造実施形態及び動作実施形態が当業者に明らかとなるであろう。

【0052】

[0061] 図７のフローチャート７００は、ステップ７０２を含む。ステップ７０２では、決定された輝度値を調整輝度値に調整する前に、識別された明領域に関する調整輝度値が自動的に決定される。例えば、図６のフローチャート６００に関連して上記で詳細に説明した通り、輝度補正器１０６の輝度調整器２１０は、識別された各明領域に関する手動補正輝度値又は自動的に生成された補正輝度値を受理するように構成される。ある実施形態では、自動的に生成された補正輝度値は、提案される画像の変更をプレビューするために使用され得、これらは、その後、手動で受諾、拒否又は変更することができる。ある実施形態では、自動生成される補正輝度値は、明領域が補正を必要とすると決定するために輝度分析器２０６によって使用された事前定義輝度値（すなわち分類に関連付けられた輝度値）と一致するように生成され得る。

【0053】

[0062] 上記の通り、画像分類器２０４は、明領域の識別及び分類を行う様々なアルゴリズムの何れも使用し得る。例えば、図８は、ある実施形態による、機械学習モデルが明領域の識別及び分類を行うための方法のフローチャート８００を描く。図８の説明は、図１、図４及び図５を引き続き参照して行う。しかし、フローチャート８００、図１、図４及び図５に関する以下の説明に基づいて、他の構造実施形態及び動作実施形態が当業者に明らかとなるであろう。

【0054】

[0063] 図８のフローチャート８００は、ステップ８０２を含む。ステップ８０２では、明領域の場所及びサイズを識別するために、表示画像が機械学習モデルに提供され、機械学習モデルは、明領域を識別するように訓練される。例えば、図２を引き続き参照して、画像分類器２０４は、本明細書において下記でより詳細に説明されるように、適切に訓練された機械学習モデルを使用して、ＨＤＲ画像１１０内の明領域の場所及びサイズを識別するように構成され得る。

【0055】

[0064] 画像分類器２０４による使用に適した訓練された機械学習モデルは、様々な方法で生成され得る。例えば、このようなモデルを生成するため、ビデオゲームは、ビデオゲームのビデオストリーム（又はビデオストリームのフレームのあるサブセット）を含む訓練データを生成するために、TensorFlow（商標）などの機械学習（ＭＬ）アプリケーションにおいて実行され得る。代替的に、映画又はＨＤＲコンテンツを含む他のコンテンツは、機械学習モデルを訓練するためにＭＬアプリケーション内で再生され得る。訓練フェーズは、ライブのゲームプレー中又はそれから抜粋された若しくは他の方法で提供された静止画像に基づいて、画像内の明エリアの識別及び分類を行うことが可能な機械学習モデルを生成する。代替的に、機械学習モデルは、ビデオゲームから抜粋された静止画像又は様々な位置、輝度強度及び分類の明エリアを他の方法で含む静止画像に対して訓練され得る。

【0056】

[0065] ＭＬアプリケーションに提供されたビデオストリーム及び／又は静止画像は、一般的に、各フレーム又は画像における関心対象領域（すなわち訓練されると、ＭＬモデルによる検出及び分類が可能であることが望まれるＨＤＲコンテンツのクラス）を識別する他のデータ又はメタデータ（「訓練インジケーション」）を伴う。例えば、訓練インジケーションは、各画像／フレーム内の太陽、月、火、爆発、鏡面反射ハイライト、ヘッドライト、テールライト、ナンバープレートなどの光源の場所、強度及び分類を識別し得る。要するに、複数の異なるタイプのオブジェクトに対する光源の反射を含む、ゲーム内の様々なタイプの光源の全てが訓練セットに含まれるべきである。これらの光源又は特定のゲーム状況にとって重要であると決定された他の光源などの光源は、例えば、ビデオ又は画像のフレーム内の場所を示すことによって（例えば、ユーザーが、点により又はオブジェクトの周りにボックスを描くことなどにより、オブジェクトの場所を示すことにより）、コンテンツクリエイター／ゲーム開発者のユーザーによって（又は自動的に）訓練フェーズ中にフラグが立てられ得る。

【0057】

[0066] ある実施形態では、ＭＬアプリケーションは、機械語モデルを訓練するために、訓練ビデオ及び／又は静止画像を対応する訓練インジケーションと共に受け取り、且つ処理するように構成され得る。ＭＬアプリケーションは、教師付きベクターマシン（ＳＶＭ）、線形回帰、ロジスティック回帰、ナイーブベイズ、線形判別分析、決定木、ｋ最近傍アルゴリズム、ニューラルネットワークなどの教師付きＭＬモデル生成アルゴリズムを含む任意の適宜の技術を用いてモデルを生成し得る。ある実施形態では、生成されたモデルは、明領域の特定のクラスがビデオフレーム又は静止画像で識別されたか否かを示す信頼度を提供することが可能である。

【0058】

[0067] 適切に訓練されたＭＬモデルを取得した後、（ＭＬモデルを組み込んだ）画像分類器２０４の実施形態は、最終的なＨＤＲゲーム画像における明エリアの検出及び分類を行うために、開発中のシーン、ビデオ又は静止画像（例えば、ＨＤＲ画像１１０）を有するモデルに提供される。ある実施形態では、上述の通り、そのような検出及び分類が行われた全ての明エリアのリスト２２０（明エリアの分類（例えば、火対太陽対ヘッドライトなど）、位置及びサイズに関する詳細を含む）が輝度分析器２０６に提供され得る。

【0059】

[0068] 図９は、ある実施形態による、機械学習モデルによる、識別された明領域を分類する方法のフローチャート９００を描く。図９の説明は、図１、図４及び図５を引き続き参照して行う。しかし、フローチャート９００、図１、図４及び図５に関する以下の説明に基づいて、他の構造実施形態及び動作実施形態が当業者に明らかとなるであろう。

【0060】

[0069] 図９のフローチャート９００は、ステップ９０２を含む。ステップ９０２では、識別された明領域が機械学習モデルによって分類される。例えば、直前で述べたように、画像分類器２０４は、明領域の場所及びサイズの識別を行うだけでなく、そのような領域をそれらのタイプに応じて分類する（すなわち火対太陽対ヘッドライトなど）ためにも、適切に訓練された機械学習モデルを組み込み得る。

【0061】

ＩＩＩ．例示的コンピューターシステムの実装
[0070] コンテンツエディターツール１０４、輝度補正器１０６、画像分類器２０４、輝度分析器２０６、画像レンダラー２０８、輝度調整器２１０、ロガー２１４並びにフローチャート５００、６００、７００、８００及び／又は９００は、ハードウェア若しくはソフトウェア及び／又はファームウェアと組み合わされたハードウェアに実装され得る。例えば、コンテンツエディターツール１０４、輝度補正器１０６、画像分類器２０４、輝度分析器２０６、画像レンダラー２０８、輝度調整器２１０、ロガー２１４並びにフローチャート５００、６００、７００、８００及び／又は９００は、１つ又は複数のプロセッサーで実行され、且つコンピューター可読ストレージ媒体に保存されるように構成されたコンピュータープログラムコード／命令として実装され得る。代替的に、コンテンツエディターツール１０４、輝度補正器１０６、画像分類器２０４、輝度分析器２０６、画像レンダラー２０８、輝度調整器２１０、ロガー２１４並びにフローチャート５００、６００、７００、８００及び／又は９００は、ハードウェア論理／電気回路網として実装され得る。

【0062】

[0071] 例えば、ある実施形態では、コンテンツエディターツール１０４、輝度補正器１０６、画像分類器２０４、輝度分析器２０６、画像レンダラー２０８、輝度調整器２１０、ロガー２１４並びにフローチャート５００、６００、７００、８００及び／又は９００の１つ又は複数（任意の組み合わせ）がＳｏＣで一緒に実装され得る。ＳｏＣは、プロセッサー（例えば、中央処理装置（ＣＰＵ）、マイクロコントローラー、マイクロプロセッサー、デジタル信号プロセッサー（ＤＳＰ）など）、メモリ、１つ若しくは複数の通信インターフェース及び／又はさらに他の回路の１つ又は複数を含む集積回路チップを含み得、任意選択的に受け取ったプログラムコードを実行し得、及び／又は機能を行うための埋め込みファームウェアを含み得る。

【0063】

[0072] 図１０は、実施形態が実施され得るコンピューティングデバイス１０００の例示的実装を描く。例えば、コンテンツエディターツール１０４、輝度補正器１０６、画像分類器２０４、輝度分析器２０６、画像レンダラー２０８、輝度調整器２１０及びロガー２１４は、それぞれコンピューティングデバイス１０００の１つ若しくは複数の特徴及び／又は代替特徴を含む固定式又はモバイルコンピューター実施形態において、コンピューティングデバイス１０００に類似の１つ又は複数のコンピューティングデバイスに実装され得る。本明細書で提供されるコンピューティングデバイス１０００の説明は、例示目的で提供されるものであり、限定することを意図したものではない。実施形態は、当業者に知られているようなさらに他のタイプのコンピューターシステムにおいて実装され得る。

【0064】

[0073] 図１０に示されるように、コンピューティングデバイス１０００は、プロセッサー回路１００２と呼ばれる１つ又は複数のプロセッサー、システムメモリ１００４及びシステムメモリ１００４を含む様々なシステムコンポーネントをプロセッサー回路１００２に結合させるバス１００６を含む。プロセッサー回路１００２は、中央処理装置（ＣＰＵ）、マイクロコントローラー、マイクロプロセッサー及び／又は他の物理的ハードウェアプロセッサー回路として、１つ又は複数の物理的ハードウェア電気回路デバイス素子及び／又は集積回路デバイス（半導体材料チップ若しくはダイ）に実装された電気回路及び／又は光回路である。プロセッサー回路１００２は、オペレーティングシステム１０３０のプログラムコード、アプリケーションプログラム１０３２、他のプログラム１０３４など、コンピューター可読媒体に保存されたプログラムコードを実行することができる。バス１００６は、メモリバス又はメモリコントローラー、周辺機器用バス、アクセラレイティッドグラフィックスポート及び様々なバスアーキテクチャーの何れかを用いたプロセッサー又はローカルバスを含む、様々なタイプのバス構造の何れかの１つ又は複数を表す。システムメモリ１００４は、読出し専用メモリ（ＲＯＭ）１００８及びランダムアクセスメモリ（ＲＡＭ）１０１０を含む。基本入出力システム１０１２（ＢＩＯＳ）は、ＲＯＭ１００８に保存される。

【0065】

[0074] コンピューティングデバイス１０００は、以下のドライブ：ハードディスクに対する読み書きを行うためのハードディスクドライブ１０１４、リムーバブル磁気ディスク１０１８に対する読み書きを行うための磁気ディスクドライブ１０１６及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ又は他の光媒体などのリムーバブル光ディスク１０２２に対する読み書きを行うための光ディスクドライブ１０２０の１つ又は複数も有する。ハードディスクドライブ１０１４、磁気ディスクドライブ１０１６及び光ディスクドライブ１０２０は、ハードディスクドライブインターフェース１０２４、磁気ディスクドライブインターフェース１０２６及び光ドライブインターフェース１０２８にそれぞれ接続される。これらのドライブ及び関連するコンピューター可読媒体は、コンピューター可読命令、データ構造、プログラムモジュール及びコンピューターのための他のデータの不揮発性ストレージを提供する。ハードディスク、リムーバブル磁気ディスク及びリムーバブル光ディスクが記載されるが、フラッシュメモリカード、デジタルビデオディスク、ＲＡＭ、ＲＯＭ及び他のハードウェアストレージ媒体など、他のタイプのハードウェアベースのコンピューター可読ストレージ媒体がデータを保存するために使用され得る。

【0066】

[0075] 多数のプログラムモジュールがハードディスク、磁気ディスク、光ディスク、ＲＯＭ又はＲＡＭに保存され得る。これらのプログラムは、オペレーティングシステム１０３０、１つ又は複数のアプリケーションプログラム１０３２、他のプログラム１０３４及びプログラムデータ１０３６を含む。アプリケーションプログラム１０３２又は他のプログラム１０３４は、例えば、コンテンツエディターツール１０４、輝度補正器１０６、画像分類器２０４、輝度分析器２０６、画像レンダラー２０８、輝度調整器２１０、ロガー２１４並びにフローチャート５００、６００、７００、８００及び／又は９００（フローチャート５００、６００、７００、８００及び／又は９００の任意の適宜のステップを含む）及び／又は本明細書に記載されるさらなる実施形態を実装するためのコンピュータープログラム論理（例えば、コンピュータープログラムコード又は命令）を含み得る。

【0067】

[0076] ユーザーは、キーボード１０３８及びポインティングデバイス１０４０などの入力デバイスを用いて、コマンド及び情報をコンピューティングデバイス１０００に投入し得る。他の入力デバイス（図示せず）には、マイクロホン、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナー、タッチスクリーン及び／又はタッチパッド、音声入力を受け取る音声認識システム、ジェスチャー入力を受け取るジェスチャー認識システムなどが含まれ得る。これらの入力デバイス及び他の入力デバイスは、バス１００６に結合されたシリアルポートインターフェース１０４２を介してプロセッサー回路１００２に接続されることが多いが、パラレルポート、ゲームポート又はユニバーサルシリアルバス（ＵＳＢ）などの他のインターフェースによって接続され得る。

【0068】

[0077] ビデオアダプター１０４６などのインターフェースを介して、ディスプレイ画面１０４４もバス１００６に接続される。ディスプレイ画面１０４４は、コンピューティングデバイス１０００の外部であり得るか、又はコンピューティングデバイス１０００内に組み込まれ得る。ディスプレイ画面１０４４は、（例えば、タッチ、指によるジェスチャー、仮想キーボードなどによる）ユーザーコマンド及び／又は他の情報を受け取るためのユーザーインターフェースであるだけでなく、情報を表示し得る。ディスプレイ画面１０４４に加えて、コンピューティングデバイス１０００は、スピーカー及びプリンターなどの他の周辺出力デバイス（図示せず）を含み得る。

【0069】

[0078] コンピューティングデバイス１０００は、アダプター若しくはネットワークインターフェース１０５０、モデム１０５２又はネットワーク上で通信を確立するための他の手段を介してネットワーク１０４８（例えば、インターネット）に接続される。モデム１０５２（これは、内蔵又は外付けであり得る）は、図１０に示されるように、シリアルポートインターフェース１０４２を介してバス１００６に接続され得るか、又はパラレルインターフェースを含む別のインターフェースタイプを用いてバス１００６に接続され得る。

【0070】

[0079] 本明細書では、「コンピュータープログラム媒体」、「コンピューター可読媒体」及び「コンピューター可読ストレージ媒体」は、ハードディスクドライブ１０１４に関連付けられたハードディスク、リムーバブル磁気ディスク１０１８、リムーバブル光ディスク１０２２、ＲＡＭ、ＲＯＭ、フラッシュメモリカード、デジタルビデオディスク、ジップディスク、ＭＥＭ、ナノテクノロジーベースのストレージデバイス及びさらに他のタイプの物理的／有形ハードウェアストレージ媒体などの他の物理的ハードウェア媒体などの物理的ハードウェア媒体を指すために使用される。このようなコンピューター可読ストレージ媒体は、通信媒体とは区別され、且つ重複しない（通信媒体を含まない）。通信媒体は、コンピューター可読命令、データ構造、プログラムモジュール又は搬送波などの変調データ信号の他のデータを具現化する。「変調データ信号」という用語は、信号で情報を符号化するように設定又は変更された特徴の１つ又は複数を有する信号を意味する。限定としてではなく、例として、通信媒体は、有線媒体だけでなく、音響、ＲＦ、赤外線及び他の無線媒体などの無線媒体を含む。実施形態は、コンピューター可読ストレージ媒体に向けられた実施形態とは別個であり、且つ重複しないこのような通信媒体にも向けられる。

【0071】

[0080] 上述の通り、コンピュータープログラム及びモジュール（アプリケーションプログラム１０３２及び他のプログラム１０３４を含む）は、ハードディスク、磁気ディスク、光ディスク、ＲＯＭ、ＲＡＭ又は他のハードウェアストレージ媒体に保存され得る。このようなコンピュータープログラムは、ネットワークインターフェース１０５０、シリアルポートインターフェース１０４２又は他のインターフェースタイプを介しても受け取られ得る。このようなコンピュータープログラムは、アプリケーションによる実行時又はロード時、コンピューティングデバイス１０００が、本明細書に記載される実施形態の特徴を実装することを可能にする。したがって、このようなコンピュータープログラムは、コンピューティングデバイス１０００のコントローラーを表す。

【0072】

[0081] 実施形態は、任意のコンピューター可読媒体に保存されたコンピューターコード又は命令を含むコンピュータープログラム製品にも向けられる。このようなコンピュータープログラム製品は、ハードディスクドライブ、光ディスクドライブ、メモリデバイスパッケージ、ポータブルメモリスティック、メモリカード及び他のタイプの物理的ストレージハードウェアを含む。

【0073】

ＩＶ．追加の例示的実施形態
[0082] 本明細書では、方法が記載される。この方法は、画像内において、その画像の一部である明領域を識別することと、識別された明領域を所定の分類のセットの割り当てられた分類に分類することと、識別された明領域の輝度値を決定することと、決定された輝度値を、割り当てられた分類に対応する事前定義輝度値と比較することと、前記比較に基づいて、識別された明領域の輝度値を調整輝度値に調整することと、調整輝度値を有する識別された明領域を有する画像をレンダリングすることとを含む。

【0074】

[0083] 前述の方法の一実施形態では、比較することは、事前定義輝度値との差に基づいて、決定された輝度値が間違っていると決定することを含み、前記調整することは、識別された明領域に対応する場所において画像上に視覚的インジケーターをレンダリングすることと、識別された明領域に関する手動補正輝度値を調整輝度値として受け取ることとをさらに含む。

【0075】

[0084] 前述の方法の追加の実施形態では、調整することは、識別された明領域に関する調整輝度値を自動的に決定することを含む。

【0076】

[0085] 前述の方法の一実施形態では、調整することは、識別された明領域の輝度値を、割り当てられた分類を有する画像内の第２の明領域に関する同じ輝度値である調整輝度値に調整することを含む。

【0077】

[0086] 前述の方法の別の実施形態では、レンダリングすることは、表示画像における視覚効果を考慮するために、線形スケーリングを調整輝度値に適用して、スケーリング及び調整された輝度値を生成することと、スケーリング及び調整された輝度値を有する識別された明領域を有する表示画像をレンダリングすることとを含む。

【0078】

[0087] 前述の方法の追加の実施形態では、識別することは、明領域の場所及びサイズを識別するために、表示画像を機械学習モデルに提供することであって、機械学習モデルは、明領域を識別するように訓練される、提供することを含む。

【0079】

[0088] 前述の方法の一実施形態では、分類することは、機械学習モデルにより、識別された明領域を分類することを含む。

【0080】

[0089] 前述の方法の別の実施形態では、本方法は、識別された明領域の情報及び調整輝度値が決定されている画像内の少なくとも１つの他の明領域の情報をログ記録することをさらに含む。

【0081】

[0090] 本明細書では、システムが記載される。一実施形態では、このシステムは、１つ又は複数のプロセッサー回路、１つ又は複数のプロセッサー回路に接続された１つ又は複数のメモリデバイスであって、１つ又は複数のプロセッサー回路による実行のためのコンピュータープログラム論理を保存する１つ又は複数のメモリデバイスを含み、コンピュータープログラム論理は、画像分類器であって、表示画像内において、その表示画像の一部である明領域を識別することと、識別された明領域を所定の分類のセットの割り当てられた分類に分類することとを行うように構成された画像分類器と、識別された明領域の輝度値を決定し、且つ決定された輝度値と、割り当てられた分類に対応する事前定義輝度値との間の比較を決定するように構成された輝度分析器と、調整輝度値を有する識別された明領域を有する画像をレンダリングするように構成された画像レンダラーと、前記比較に基づいて、識別された明領域の輝度値を調整輝度値に調整するように構成された輝度調整器とを含み、画像レンダラーは、調整輝度値を有する識別された明領域を有する表示画像をレンダリングするようにさらに構成される。

【0082】

[0091] 前述のシステムの一実施形態では、比較を決定することは、事前定義輝度値との差に基づいて、決定された輝度値が間違っていると決定することを含み、輝度調整器は、識別された明領域に関する手動補正輝度値を調整輝度値として受け取ることにより、識別された明領域の輝度値を調整するように構成される。

【0083】

[0092] 前述のシステムの別の実施形態では、輝度調整器は、識別された明領域に関する調整輝度値を自動的に決定するように構成される。

【0084】

[0093] 前述のシステムの追加の実施形態では、輝度調整器は、識別された明領域の輝度値を、割り当てられた分類を有する画像内の第２の明領域に関する同じ輝度値である調整輝度値に調整するように構成される。

【0085】

[0094] 前述のシステムの一実施形態では、画像レンダラーは、表示画像における視覚効果を考慮するために、線形スケーリングを調整輝度値に適用して、スケーリング及び調整された輝度値を生成し、且つスケーリング及び調整された輝度値を有する識別された明領域を有する表示画像をレンダリングするようにさらに構成される。

【0086】

[0095] 前述のシステムの別の実施形態では、識別することは、明領域の場所及びサイズを識別するために、表示画像を機械学習モデルに提供することであって、機械学習モデルは、明領域を識別するように訓練される、提供することを含む。

【0087】

[0096] 前述のシステムの追加の実施形態では、分類することは、機械学習モデルにより、識別された明領域を分類することを含む。

【0088】

[0097] 前述のシステムの一実施形態では、本システムは、識別された明領域の情報及び調整輝度値が決定されている画像内の少なくとも１つの他の明領域の情報をログ記録するように構成されたロガーをさらに含む。

【0089】

[0098] 本明細書では、コンピューティングデバイスの少なくとも１つのプロセッサーによって実行されると、少なくとも１つのプロセッサーに動作を行わせる、記録されたコンピュータープログラム論理を有するコンピューター可読メモリデバイスが記載される。コンピュータープログラム製品の一実施形態では、動作は、画像内において、その画像の一部である明領域を識別することと、識別された明領域を所定の分類のセットの割り当てられた分類に分類することと、識別された明領域の輝度値を決定することと、決定された輝度値を、割り当てられた分類に対応する事前定義輝度値と比較することと、前記比較に基づいて、識別された明領域の輝度値を調整輝度値に調整することと、調整輝度値を有する識別された明領域を有する画像をレンダリングすることとを含む。

【0090】

[0099] 前述のコンピューター可読メモリデバイスの一実施形態では、前記比較することは、事前定義輝度値との差に基づいて、決定された輝度値が間違っていると決定することを含み、前記調整することは、識別された明領域に対応する場所において画像上に視覚的インジケーターをレンダリングすることと、識別された明領域に関する手動補正輝度値を調整輝度値として受け取ることとをさらに含む。

【0091】

[0100] 前述のコンピューター可読メモリデバイスの別の実施形態では、前記調整することは、識別された明領域に関する調整輝度値を自動的に決定することを含む。

【0092】

[0101] 前述のコンピューター可読メモリデバイスの追加の実施形態では、調整することは、識別された明領域の輝度値を、割り当てられた分類を有する画像内の第２の明領域に関する同じ輝度値である調整輝度値に調整することを含む。

【0093】

結論
[0102] 開示された主題の様々な実施形態を上記に記載したが、それらは、限定としてではなく、単なる例として提示されたものであることが理解されるものとする。添付の特許請求の範囲で定義される実施形態の趣旨及び範囲から逸脱することなく、それに対する形式及び詳細の様々な変更形態がなされ得ることが当業者に理解されるであろう。したがって、開示された主題の広がり及び範囲は、上記の例示的な実施形態の何れによっても限定されるものではなく、以下の請求項及びそれらの均等物に従ってのみ定義されるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】