知財求人 - 知財ポータルサイト「IP Force」
特開2024-36351グラフィックスセーフなＨＤＲ画像輝度の再グレーディング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024036351
(43)【公開日】2024-03-15
(54)【発明の名称】グラフィックスセーフなＨＤＲ画像輝度の再グレーディング
(51)【国際特許分類】
G06T 5/90 20240101AFI20240308BHJP
H04N 5/20 20060101ALI20240308BHJP
H04N 9/77 20060101ALI20240308BHJP
G09G 5/37 20060101ALI20240308BHJP
G09G 5/00 20060101ALI20240308BHJP
【ＦＩ】
G06T5/90
H04N5/20
H04N9/77
G09G5/37 100
G09G5/00 520V
G09G5/00 520W
G09G5/00 520A
G09G5/00 550H
G09G5/00 555D
G09G5/00 555A
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024001545
(22)【出願日】2024-01-10
(62)【分割の表示】P 2020512839の分割
【原出願日】2018-09-04
(31)【優先権主張番号】17189493.4
(32)【優先日】2017-09-05
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ファン デ ケルクホフ レオン マリア
(72)【発明者】
【氏名】デ ハーン ウィーブ
(72)【発明者】
【氏名】タルストラ ヨハン コーネリス
(57)【要約】
【課題】 画像処理装置を提供する。
【解決手段】 最終ディスプレイに接続された装置による２次画像の実用的な挿入を可能にするために、ディスプレイに接続する出力画像接続部と、入力画像ＩＭ及び少なくとも１つの輝度マッピング関数Ｆ＿Ｌｔを特定するメタデータを受信する入力部とを有し、輝度マッピング関数が入力画像及び高い又は低い最大輝度を持つ第２の画像における輝度間の関係を特定し、２次画像ＩＭＧを決定するグラフィック生成ユニットと、入力画像及び２次画像のピクセル色に基づき出力画像ＩＭＣを合成する画像合成ユニットと、を備える画像処理装置が、輝度関数選択ユニットであって、２次画像の色が入力画像とミックスされない場合、メタデータ出力部に少なくとも１つの輝度マッピング関数Ｆ＿Ｌｔのコピーを出力し、２次画像の一部のピクセル色が使用され入力画像の色を変更したため出力画像が入力画像と同一でない場合、所定のマッピング関数Ｆ３を出力する、輝度関数選択ユニットを備える。
【選択図】 図５
【解決手段】 最終ディスプレイに接続された装置による２次画像の実用的な挿入を可能にするために、ディスプレイに接続する出力画像接続部と、入力画像ＩＭ及び少なくとも１つの輝度マッピング関数Ｆ＿Ｌｔを特定するメタデータを受信する入力部とを有し、輝度マッピング関数が入力画像及び高い又は低い最大輝度を持つ第２の画像における輝度間の関係を特定し、２次画像ＩＭＧを決定するグラフィック生成ユニットと、入力画像及び２次画像のピクセル色に基づき出力画像ＩＭＣを合成する画像合成ユニットと、を備える画像処理装置が、輝度関数選択ユニットであって、２次画像の色が入力画像とミックスされない場合、メタデータ出力部に少なくとも１つの輝度マッピング関数Ｆ＿Ｌｔのコピーを出力し、２次画像の一部のピクセル色が使用され入力画像の色を変更したため出力画像が入力画像と同一でない場合、所定のマッピング関数Ｆ３を出力する、輝度関数選択ユニットを備える。
【選択図】 図５
【特許請求の範囲】
【請求項1】
画像処理装置であって、
ディスプレイに接続するための出力画像接続部と、
入力部であって、入力画像と、少なくとも１つの輝度マッピング関数を特定する入力メタデータとを受信し、前記輝度マッピング関数が、前記入力画像と前記入力画像の最大輝度より高い又は低い最大輝度を持つ第２の画像とにおける輝度間の関係を特定する、入力部と、
２次画像を生成するグラフィック生成ユニットと、
前記入力画像のピクセル色及び前記２次画像のピクセル色に基づいて出力画像を合成する画像合成ユニットと、
輝度関数選択ユニットであって、２次画像の色が前記入力画像とミックスされない場合には、前記少なくとも１つの輝度マッピング関数を表す第１種類の出力メタデータ、及び、前記２次画像の一部のピクセル色が使用されて前記入力画像の色を変更したために前記出力画像が前記入力画像と同一でない場合には、前記２次画像が合成される限り幾つかの連続画像に渡り固定される、前記出力画像の所定の輝度マッピング関数を表す第２種類の出力メタデータ、のうちの１つを選択的にメタデータ出力部に出力する、輝度関数選択ユニットと、
を含む画像処理装置。
ディスプレイに接続するための出力画像接続部と、
入力部であって、入力画像と、少なくとも１つの輝度マッピング関数を特定する入力メタデータとを受信し、前記輝度マッピング関数が、前記入力画像と前記入力画像の最大輝度より高い又は低い最大輝度を持つ第２の画像とにおける輝度間の関係を特定する、入力部と、
２次画像を生成するグラフィック生成ユニットと、
前記入力画像のピクセル色及び前記２次画像のピクセル色に基づいて出力画像を合成する画像合成ユニットと、
輝度関数選択ユニットであって、２次画像の色が前記入力画像とミックスされない場合には、前記少なくとも１つの輝度マッピング関数を表す第１種類の出力メタデータ、及び、前記２次画像の一部のピクセル色が使用されて前記入力画像の色を変更したために前記出力画像が前記入力画像と同一でない場合には、前記２次画像が合成される限り幾つかの連続画像に渡り固定される、前記出力画像の所定の輝度マッピング関数を表す第２種類の出力メタデータ、のうちの１つを選択的にメタデータ出力部に出力する、輝度関数選択ユニットと、
を含む画像処理装置。
【請求項2】
固定された所定の輝度マッピング関数を、接続される前記ディスプレイの最大輝度に関係なく許容可能な視覚的結果を与えるように事前に決定されている形状で出力する、請求項１に記載の画像処理装置。
【請求項3】
接続される前記ディスプレイの最大輝度に依存する形状の所定の輝度マッピング関数を出力する、請求項１に記載の画像処理装置。
【請求項4】
ディスプレイが接続されて前記出力画像を受信すると、接続された前記ディスプレイが受信する前記出力画像を異なる輝度ダイナミックレンジの画像に変換するために所定のマッピング関数が前記ディスプレイによって使用されるべきことを示す、フラグ又は関数型番号であるインジケータを前記出力メタデータで通信する、請求項１から３のいずれか一項に記載の画像処理装置。
【請求項5】
動的メタデータ解析器を備えるディスプレイであって、前記動的メタデータ解析器は、請求項１から４のいずれか一項に記載の画像処理装置が前記ディスプレイの画像入力部に接続されたときに、前記画像処理装置から受信される出力メタデータから、前記画像処理装置が動的に変動する輝度マッピング関数の代わりに所定のフォールバック輝度マッピング関数を通信したことを読み取る、ディスプレイ。
【請求項6】
所定のフォールバック輝度マッピング関数を通信するために事前に定義された第１の種類のメタデータが前記出力メタデータに存在することを識別する、請求項５に記載のディスプレイ。
【請求項7】
時変輝度マッピング関数を通信するために事前に定義された第２の種類のメタデータが前記出力メタデータに存在しないことを識別する、請求項５に記載のディスプレイ。
【請求項8】
出力画像を変換するために所定のマッピング関数が前記ディスプレイによって使用されるべき旨のインジケータが前記出力メタデータに存在することを識別する、請求項５に記載のディスプレイ。
【請求項9】
画像処理装置がディスプレイを駆動する画像信号を提供する方法であって、
入力画像と、少なくとも１つの輝度マッピング関数を特定する入力メタデータとを受信するステップであって、前記輝度マッピング関数が、前記入力画像及び前記入力画像の最大輝度より高い又は低い最大輝度を持つ第２の画像における輝度間の関係を特定する、ステップと、
２次画像を生成するステップと、
前記入力画像のピクセル色及び前記２次画像のピクセル色に基づいて出力画像を合成するステップと、
メタデータ出力部に出力するために、２次画像の色が前記入力画像とミックスされない場合には、前記少なくとも１つの輝度マッピング関数を表す第１種類の出力メタデータ、及び、前記２次画像の一部のピクセル色が使用されて前記入力画像の色を変更したために前記出力画像が前記入力画像と同一でない場合には、前記出力画像の所定の輝度マッピング関数を表す第２種類の出力メタデータ、のうちの１つである輝度関数を選択するステップと、
を含む方法。
入力画像と、少なくとも１つの輝度マッピング関数を特定する入力メタデータとを受信するステップであって、前記輝度マッピング関数が、前記入力画像及び前記入力画像の最大輝度より高い又は低い最大輝度を持つ第２の画像における輝度間の関係を特定する、ステップと、
２次画像を生成するステップと、
前記入力画像のピクセル色及び前記２次画像のピクセル色に基づいて出力画像を合成するステップと、
メタデータ出力部に出力するために、２次画像の色が前記入力画像とミックスされない場合には、前記少なくとも１つの輝度マッピング関数を表す第１種類の出力メタデータ、及び、前記２次画像の一部のピクセル色が使用されて前記入力画像の色を変更したために前記出力画像が前記入力画像と同一でない場合には、前記出力画像の所定の輝度マッピング関数を表す第２種類の出力メタデータ、のうちの１つである輝度関数を選択するステップと、
を含む方法。
【請求項10】
輝度を有する色を有するピクセル、及び画像ごとの少なくとも１つの輝度マッピング関数を有する、一連のピクセル化画像を有する画像信号を受信する方法であって、前記方法は、請求項１から４のいずれか一項に記載の結合された画像処理装置からの出力メタデータである、受信されたメタデータから、前記画像処理装置が動的に変動する輝度マッピング関数の代わりに所定のフォールバック輝度マッピング関数を通信したことを読み取ることによって、前記輝度マッピング関数が連続画像に対して動的に変動するか、または連続画像に対して事前に決定及び固定されるかを解析するステップを有する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、輝度が第１の状況から第２の状況に調整される必要があるピクセル色を操作するための方法及び装置に関し、第１の状況は、例えば典型的には、ＨＤＲ画像の元の符号化であり、第２の状況は、例えば典型的には、ダイナミックレンジ、特に、符号化ＨＤＲ画像に存在するピーク明度、別称最大輝度（ＰＢ＿Ｃ）と異なるディスプレイピーク明度ＰＢ＿Ｄを持つディスプレイ上で提示するための当該画像の最適化である。
【背景技術】
【0002】
数年前まで、全ての映像及び大抵の静止画像は、標準ダイナミックレンジ（ＳＤＲ）とも呼ばれる、いわゆる低ダイナミックレンジ（ＬＤＲ）方針に従ってエンコードされていた。そのことは、取り込まれた元のシーンがどのようなものであれ、コードの最大値（典型的には８ビットルマＹ’＝２５５、及び非線形のほぼ平方根Ｒ’Ｇ’Ｂ’色成分に対しても同様）が、標準化された定義によって、標準合意によって１００ニトであるディスプレイピーク明度ＰＢ＿Ｄ（すなわちそのディスプレイが描画することができる最も明るい白色）を持つディスプレイに対応する、すなわち描画されるべきであることを意味した。これがなされた理由は、全てのディスプレイがそれらの表色能力に関しては実際にはほとんど同一であった、すなわちそれらが０．１～１００ニトとの間の輝度（だけ）を描画することができたからであり、所望された任意の画像の色を作るためには、それで間に合わせなければならなかった。それでも、システムのユーザには、数十年の間、発生し得た又は所望された任意の画像が適度に納得のいくように且つ十分な表色又は視覚品質で表示されることができたようであった。しかしそれは事態を単純にもしたが、その理由は、任意のシーン、洞穴のような元々ＨＤＲのシーンに対してさえ、例えば、洞穴内部を明るくし、そして典型的には、外界ピクセルを白又は明るいパステル色に制限することによって、適度に見える画像及びそれらの色を定義することができた明確な単一の色域を有したからである。
【0003】
そのようなディスプレイはかなり良好な画像を描画することができ、そして消費者が画質について不満を訴えないのは、特に、自然物の反射率がおよそ９５％～０．５％の間に及ぶので、コンテンツ制作の間、シーンの照明を適度に均一にすることによってシーンの照明に気をつけさえすれば、最終視聴者が実際には少なくとも全ての物体を写実的な色及び相対明度で程よく見たからである。しかしながら、特に視聴者がシーンの全体にわたって異なる照明形態の現実的な印象を得られるように、明るい光領域または暗い陰の範囲のいずれかを含んだシーンが写実的に描画されなければならない場合、これはそれほど明白でない可能性がある。
【0004】
期待されて、現在実現された、はるかに明るいピクセルを描画することが可能である高ダイナミックレンジ（ＨＤＲ）ディスプレイ（典型的には良質のＨＤＲディスプレイに関しては１０倍明るいが、ハイエンドＨＤＲディスプレイとなると１００倍も明るい）の出現は、そのようなＨＤＲ画像、すなわち、１００ニトのＳＤＲ白よりかなり明るい領域（例えば、９００ニトの明るい都市照明ランプ描画）及び／又はより暗い領域（正しい視聴環境下のＯＬＥＤは±１／１０００ニトと同程度暗くなるはずである）を含む画像の符号化及び操作のための新技術も必要とした。カメラのダイナミックレンジもますます良好になったが、本技術の理解のために、読者は単純に、ピクセル輝度がコンピュータによって、すなわち随意であるが、もちろん必要とされる技術原理、例えば、具体的なＨＤＲ映像コーデックの詳細に従って生成されると仮定してもよい。読者は、実際にはＨＤＲ映像が、民生用テレビジョンからセキュリティまで等、様々な領域の技術に使用されることができると理解する。
【0005】
本テキストでは、ＨＤＲ画像又は映像が言及されるときに、それが、１００ニトのＳＤＲ ＰＢ値より高く、典型的には少なくとも６倍高い、最高ルマコード（又はＹＣｂＣｒエンコードの代わりにＲＧＢ符号化の場合には同等に最高のＲ’、Ｇ’、Ｂ’値）に対する対応する符号化ピーク明度ＰＢ＿Ｃ又は最大輝度を有すると仮定される。それ故に、たとえエンコードが行われる方式が多様であり得るとしても、そのような明るいピクセル輝度（例えば、ＳＤＲ画像／映像符号化でのように１００ニトに限定される代わりに１０００ニト）のＨＤＲ画像符号化においてエンコードされる画像ピクセル色情報があることができる。それに対応して、ＨＤＲ画像を最適に見えるようにするための、描画される最大表示輝度は、例えば１０００ニト、５０００ニト又は１００００ニトである。これが、そのようなＨＤＲ画像又は映像を実際には受信機に通信されることになる或るＳＤＲ画像又は映像としてエンコードすることができるという、以下に詳述されることになる自明の複合概念と混同されるべきでなく、その場合には、そのＳＤＲ画像は１００ニトディスプレイに直接描画可能であるが、重要なことに、そのような通信されるＳＤＲ画像は、ＳＤＲ画像ピクセル輝度からＨＤＲ画像輝度を復元するための輝度変換をエンコードした対応する関連メタデータを同時通信するときに、例えば１０００ニトのＰＢ＿Ｃ、したがってそのような明るいＨＤＲピクセル輝度を持つＨＤＲ画像を作成するための、全ての情報も含む（ＳＤＲルマのみとして直接符号化されるわけではない）ことに留意されたい。
【0006】
例えば典型的なテレビジョン配信チェーン又は、例えばＢＤプレーヤ若しくはセットトップボックス（ＳＴＢ）などの典型的なテレビジョン信号操作装置において、一旦ＨＤＲ映像符号化の措置を行ったならば、一般の従来技術の多くを再開発しなければならず、且つ一般のＳＤＲ時代の技術的信念を再考案し、しばしば再発明さえしなければならないことに気づく。
【0007】
そこで、高ダイナミックレンジマスタ画像の高ダイナミックレンジ符号化が、例えば１０００ニトまでの（又は他のＨＤＲ画像符号化ではより高い）表示されることになる輝度を持つ画像をエンコードすることが可能で、例えば、周囲の表示されたシーンと比較して明るい爆発、又は実に快晴に見える休日の写真等の、良質のＨＤＲ画像を表示することができる。
【0008】
実際には、世界には、輝度計で測定可能なような超高ダイナミックレンジを有することができるシーンがある（例えば、１０，０００ニトを上回る輝度を持つ外部の日に照らされた物体を窓越しに見るのと同時に、１ニト以下と同程度に暗い物体を持つ屋内の取込みは、≧１００００：１のダイナミックレンジを与えるが、これは１０００：１のダイナミックレンジ（ＤＲ）より１０倍大きく、１００：１のダイナミックレンジより１００倍も大きく、また例えば、ＴＶ視聴は、一部の典型的な状況、例えば昼間視聴で３０：１未満のＤＲを有する）。
【0009】
ディスプレイが以前に増して良好になっている（１００ニトより２、３倍明るいＰＢ＿Ｄであり、現在１０００ニトがテレビジョンとしてはほぼ１年前から及び今年からはモニタさえ購入可能であり、数千ニトのＰＢ＿Ｄが想定されて既に出現している）ので、目的は、それに対応して様々なＨＤＲシーンの画像をますます美しく、且つ異なる視聴条件のような要因のため実物と厳密に同一でなくとも、少なくとも非常に自然に、又は少なくとも満足に描画することができることである。そしてこれには、ＳＤＲ映像符号化時代には欠けていたこと、すなわち、それらの画像を描画する仕方をエンコードする良好な実用的なＨＤＲ映像符号化技術を必要とする。符号化画像のためのこの良好な操作方法に加えて、例えば新規な最適表示方法もそうである。符号化は、ケーブルＴＶプロバイダ、ＩＣメーカ、コンテンツ作成者等などの、市場の様々なプレーヤの多くの実際的要求も可能な限り満たすべきである。
【0010】
読者は、視聴者が通例は異なる状況でコンテンツを見ている（例えば、取り込まれた明るいアフリカの風景に実際に立っているのではなく、夜間に僅かに照らされた居間に、又は暗いホームシアター若しくは映画館に座っているため、より暗い視聴状況では明るい物体が急激に過度に明るく見え得る）ので、シーンにおける輝度とＴＶ（又は他のディスプレイ）に最終的に描画されるそれらとの間に同一性がないことも理解するはずである。相対又は正規化輝度、すなわち、或る最大シーン輝度で割った全てのシーン輝度対（同じく０～１．０スケールで）ＰＢ＿Ｄで割ったディスプレイ描画輝度間にさえ同一性がない。したがって、本考察に関しては、読者は、元のシーンがカメラ取込み中に存在したとしてそれを無視することによって自分の研究を始め、そして画像が表示されるはずである（例えば、実際のＨＤＲ画像がどのようなものであるかの表現として、例えば５０００ニトＰＢ＿Ｄの高品質基準ディスプレイに）としてそれだけに集中してもよい。元のシーン輝度及び明度印象に対応して表示されることになる最終ＨＤＲ画像のこの形成は、とりわけ、人間のカラーグレーダに、例えば、シーン内の太陽が５０００ニトで（いかなるディスプレイにも描画されることができない、その１０億ニトの実測値でなく）画像に描画されるべきであると規定することによって、利用可能な、すなわち関連する基準ディスプレイ（例えばＰＢ＿Ｄ＝５０００ニト）の、符号化ダイナミックレンジＣ＿ＤＲ上の最適色について手動で決定してもらうことによって操作されることができる。
【0011】
これはコンテンツのＨＤＲマスタグレーディングと呼ばれ（また結果的に得られる画像はマスタＨＤＲ画像又はグレーディングであり）、そして明らかに、それが実際にはどのように行われるかは、ここでも、例えば、コンテンツがブロードキャストされている出来事からライブストリームとして作成されるかどうか等などの様々な実際的要因に依存する。例えば、人間の介入の代わりに且つ本出願の態様に関する限り、自動アルゴリズムが、例えば生のカメラ取込みからテキストで（マスタ）ＨＤＲグレーディングと（一般的に）呼ばれるであろうものへのそのような変換を行う。これは、次いで（上記５０００ニトディスプレイと一致して、したがって、それがそのような５０００ニトディスプレイに描画されても最適であるので、直接に、更なる表色最適化なしで）このマスタグレーディングを５０００ニトＰＢ＿Ｄ ＨＤＲディスプレイでそれが利用可能である位置に表示することができることを意味する。自動輝度判定は、最初の作成者から最終消費者まで、ＨＤＲ映像通信の技術的操作チェーンのどこかでしばしば起こるであろう。
【0012】
しかしながら同時に、今後数年間は、１００ニトＰＢ＿ＤのレガシーＳＤＲディスプレイ、又は、少なくとも、例えば携帯用であるために５０００ニト白を作ることができない何らかのディスプレイ（例えばディスプレイピーク明度ＰＢ＿Ｄ＝５００ニトのダイナミックレンジを持つ）を有する人々がインストールベースで多くなると思われるが、それらの人々は、どうにかしてＨＤＲ映画も、理想的には可能な限り最適に（すなわち典型的には、全ての物体明度がＨＤＲマスタでのものに適度に近く見えて、その結果、画像の少なくとも、例えば雰囲気又はムードが維持されて）見ることができる必要がある。そこで、同じシーンの５０００ニトＰＢ＿Ｃ ＨＤＲ画像から１００ニトＳＤＲルック画像に変換する何らかのメカニズムがある必要がある。
【0013】
読者の便宜上且つ関連する態様の一部に関して読者に迅速に熟知させるために、図１は、将来のＨＤＲシステム（例えば、１０００ニトＰＢ＿Ｄディスプレイに接続される）が正しく、すなわち画像内の全ての物体／ピクセルに対して適切な輝度を描画することによって、操作することができる必要がある多くのあり得るＨＤＲシーンの幾つかの原型的な例示例を図示する。例えば、ＩｍＳＣＮ１が西部劇映画からの快晴の屋外画像である（大抵は明るい範囲を有しており、理想的には１００ニトディスプレイ上でより幾分明るく描画されるべきであり、雨天ルックより快晴のルックを提供する）一方、ＩｍＳＣＮ２は夜間画像である。
【0014】
何がそのような画像を快晴にし、対して他方を暗くするか？ 必ずしも相対輝度でなく、少なくともＳＤＲパラダイムにおいてはそうでない。ＨＤＲ画像描画を、ほんの２、３年前に終わったＳＤＲ時代に常であった仕方と異ならせるものは、ＳＤＲが非常に限られたダイナミックレンジ（約ＰＢ＝１００ニト、及び黒レベルほぼ０．１～１ニト）を有したので、大抵は物体の固有反射率しかＳＤＲで示されることができなかった（良好な白の９０％と良好な黒の１％との間に収まる）ことである。それは、均一の技術的に制御された照明下で物体（それらの反射からの或る量の明度、及びもちろんそれらの色度を有する）を認識するためには良好であるが、自然なシーンに照明自体の美しい変化を有することすらできず、視聴者に少しの影響も与えることができない。ルマヒストグラムで夜間画像を幾分暗くすることができたが、さもなければあまりに暗く且つ不快な画像として描画しただけであり、１００ニトＴＶでは又は１００ニトエンコードでは、明る過ぎるものに利用可能な余地は全くない。そこで、物体をそれらの照明から独立して示さなければならなかったが、シーンの全ての起こり得る、時に極めてコントラストが強い照明を同時に忠実に示すことはできなかった。実際には、それは、極めて明るい快晴のシーンがどんよりした雨天シーンとほぼ同じディスプレイ輝度（０～１００ニト）で描画されなければならないことを意味した。そして、夜間シーンさえあまり暗く描画されることができなかったが、さもなければ視聴者が画像の最も暗い部分をよく区別することができなかったので、やはりそれらの夜間明度は０～１００ニトの間の範囲にわたって描画された。それに対する従来の解決策は、夜間シーンを青色にすることであったため、その結果、視聴者は自分が昼間のシーンを見ているのではないと理解した。ここで、もちろん現実には人間の視覚も利用可能な光量に順応するが、それほどではない（大抵の人々は現実には、暗くなっていることを、又は彼らがより暗い若しくはかなり明るい環境にいることを認識する）。そこで、その中に芸術的に設計することができる全ての壮大な局所的及び更には時間的照明効果を伴う画像を描画して、少なくともＨＤＲディスプレイが利用可能であれば、はるかに現実的な描画画像を得たい。例えば暗室内のライトサーベルのための適切な輝度が厳密に何であるかを決定するのを、マスタグレーディングを作成するカラーグレーダ（又は放送におけるシェーダ若しくは色処理自動アルゴリズム等）に任せ、そして本出願は、そのような画像を作成及び操作する必要とされた技術的可能性に集中する。
【0015】
図１の左軸上は、５０００ニトＰＢ＿Ｄディスプレイに対して、５０００ニトＰＢマスタＨＤＲグレーディングで見たい物体輝度である（すなわち、グレーダが、家庭の典型的な高品質ＨＤＲ ＴＶが５０００ニトＰＢ＿Ｄを有すると仮定して画像を作り、そしてそのような家庭の視聴室の表現に実際に座っていて、そのようなグレーディングディスプレイ上でグレーディングしてもよい）。単なる錯覚でなく、カウボーイが明るい日に照らされた環境にいる実際の感覚を伝達したければ、それらのピクセル輝度を十分に明るく（但し、ＨＤＲ画像作成及び操作の典型的な落し穴である、迷惑になるほど過度に明るいこともなく）、例えば５００ニト付近に指定及び描画しなければならない。夜間シーンに関しては、大抵は暗い輝度を望むが、オートバイ上の主人公は良好に認識可能にする、すなわち、あまり暗くなりすぎないように（例えば５ニト付近）すべきであり、同時に、例えば５０００ニトディスプレイで３０００ニト付近の、又は任意のＨＤＲディスプレイ（例えば１０００ニト）でピーク明度付近の、例えば街灯の、かなり高輝度のピクセルがあり得る。第３の例ＩｍＳＣＮ３は、現在ＨＤＲディスプレイでも可能であるものを図示しており、非常に明るいピクセルも非常に暗いピクセルも同時に描画することができる。それは暗い洞穴を示し、小さな開口を通じて快晴の外部を見ることができる。このシーンに関しては、木のような日に照らされた物体を、明るい快晴の風景の印象を描画したいシーンでより幾分明るくなく、例えば４００ニト付近にしたく、これが洞穴の内部の基本的に暗い性状とより調和されるはずである。カラーグレーダは、不適切に暗く又は明るく見えるものがなく且つコントラストが良好である、例えば、この洞穴の暗がりに立っている人物がマスタＨＤＲグレーディング画像で０．０５ニト付近に符号化される（ＨＤＲ描画が明るいハイライトだけでなく暗い領域も描画することができると仮定する）ように、全ての物体（既にＰＢ＿ＨＤＲ＝５０００ニトマスタＨＤＲ画像における）の輝度を最適に調和させたい。
【0016】
ここで第２に、しばしばＨＤＲ画像に対するＳＤＲ再グレーディング画像を有する必要があり、これは簡単には次のように要約することができる。能力を有するＨＤＲディスプレイ（又は、例えばＰＢ＿Ｃ＝５０００ニトのＨＤＲ画像として、それに従って符号化された画像）では、全て大きな輝度範囲に沿ってはるかに離れた物体輝度を最適に見える輝度位置に拡散するのに対して、ＳＤＲ輝度範囲では、それらを互いに圧縮して小さな輝度範囲に沿って適合させる必要がある。それでも、好ましくはＳＤＲ画像がＨＤＲルックを可能な限りそれでも伝達するような態様では、それが理由で、今のところＨＤＲマスタグレーディングから導き出される２次グレーディングがそれでもカラーグレーダによって作られたマスタグレーディング、すなわちＳＤＲマスタグレーディングでもあると仮定する。すなわち、動的メタデータとしても目下記載される、コンテンツ依存最適輝度マッピング関数を適用する必要がある。読者は、全てのピクセル／物体輝度を、マスタＨＤＲ画像に対応する任意のダイナミックレンジ（特にピーク明度ＰＢ＿Ｃ）の任意の２次画像、又は一般に任意の第１の画像から導き出されるかなり異なるダイナミックレンジの任意の第２の画像に最適にする際に関係する何らかの複雑さがあると理解することができるが、簡単のために、読者は、低ダイナミックレンジに変換するとき、暗いピクセル輝度ほど相対的に明るくし（すなわち対角線である１．０より高い傾斜）、且つ低ダイナミックレンジ画像の輝度範囲の上部における明るい色ほど、すなわち低下された傾斜で圧縮する（このグラフは入力又は出力それぞれの画像に対して２つの［０－１．０］正規化輝度軸で定式化されることができる）、単純な輝度関数が使用されると仮定することができる。
【0017】
全ての対応するＳＤＲ画像ピクセル／物体輝度が図１において右ＳＤＲ輝度範囲に図示される。２つのグレーディング画像間で、異なる符号化ピーク明度ＰＢ＿Ｃを持つ他のＨＤＲ画像を計算することもでき、それを中間ダイナミックレンジ（ＭＤＲ）画像（例えば８００ニトに対する）と呼ぶことに留意されたい。
【0018】
全てのこれらの非常に異なる種類のＨＤＲシーンに対する全ての物体輝度を図１の右に図示されるはるかに小さなＳＤＲダイナミックレンジ（ＤＲ＿１）で利用可能な最適輝度にマッピングすることが常に些細なタスクであるわけではないと理解されることができ、それが理由で好ましくは、色変換を決定するために人間のカラーグレーダが関与してもよい（同変換は少なくとも輝度変換、又は同等にルマコードに行われるときにはルマ変換を含み、輝度変換は実際には、技術的に興味深い下位戦略を定式化した幾つかの関数から成ってもよいが、本出願に関して読者は、理解を簡単にするために、それを単一の関数Ｌ＿ｏｕｔ＿ＳＤＲ＝Ｆ＿Ｌ（Ｌ＿ｉｎ＿ＨＤＲ）であると考えてもよい）。しかしながら、例えば、画像内容の、その輝度ヒストグラムなどの色特徴を分析することに基づく、自動的に決定された変換を使用することを常に選ぶことができ、これは、例えば、より単純な種類のＨＤＲ映像、又は例えばリアルタイムコンテンツ制作において人間のグレーディングがあまり好まれない用途に対する好適なオプションである（本特許出願において、限定することなく、グレーディングが、例えば、取込み開始前に迅速に制作全体に対して、少数の色変換関数パラメータの簡易設定も伴い得ると仮定される）。
【0019】
更には、単に一部の技術的な映像符号化可能性を例示するため、解明のために、出願人がＨＤＲ画像符号化及び特にＨＤＲ映像符号化のために設計した例証的なＨＤＲ映像符号化システムを記載する（それによって読者は、本発明の原則が説明のための例証的なシステム以外のシステムにも適用可能であると理解するはずである）が、同映像符号化システムは、その分野の典型的な単一種類のディスプレイに対して、単一の標準化されたＨＤＲ映像（例えば、エンコードのためのＥＯＴＦを定義するルマコードとして使用される１０ビット知覚量子化器）だけ（例えば、あらゆる最終視聴者が１０００ニトＰＢ＿Ｄディスプレイを有するという仮定下で、ＰＢ＿Ｃ＝１０００ニトで定義された画像）の通信（エンコード）を扱うことができるだけでなく、同時に、その分野の様々な他のピーク明度を持つ様々なあり得る他のディスプレイ種類に対して最適ルック／グレーディングを有する映像を、特に、１００ニトＰＢ＿Ｄ ＳＤＲディスプレイに対してＳＤＲ画像を通信及び操作することができる。
【0020】
すなわち、そのようなＨＤＲ映像通信システムにおいて、送信されるピクセル化画像としては、実際には一種類のグレーディング画像だけを、排他的でなく典型的に本出願においてはＳＤＲ画像を（又は代替的にＨＤＲ画像を、典型的には次の低ＰＢ＿Ｃを持つ画像のピクセル輝度を導き出すための輝度変更関数と共に）通信するが、本システムにおいて、それらのＳＤＲ画像からＨＤＲ画像ピクセル色及び特に輝度を定義する１つ又は複数の関数もメタデータに追加するので、シーンに対するＨＤＲ画像ルックも同時に通信した（実際には、二重画像通信でのようにＨＤＲ画像、又はピクセル化ＨＤＲ画像データの少なくとも第２の層を通信する必要なく）。そして、これが単に２つの画像の二重通信でなく、それが画像について考える及び画像を操作することができる新たな観点をもたらすと強調したく、ルック、すなわち２つのはるかに離れたダイナミックレンジ画像の様々なピクセル輝度、を通信することによって（実際にはそれらの２つのうち１つだけが、ピクセル化された、例えばＭＰＥＧ－ＨＥＶＣ画像として受信機に通信されるのであるが）、コンテンツ作成者は、特定のシーンに対して代表画像（マスタＨＤＲ画像）内の様々なシーン物体ピクセル輝度がどのように輝度的に再グレーディングするべきかに関する自分の芸術的観点も通信する（すなわち実際、一束の画像が通信される、又はマスタＨＤＲ画像内のルック若しくはピクセル輝度と一致するＰＢ＿Ｄの任意のディスプレイに対して任意の所望の画像を再グレーディングする仕方に関する少なくとも受信側のための命令）。その追加的利益は、しかしながら、少なくとも一部の実際的状況での増加した複雑さを代償にして生じる。
【0021】
例えば１０００ニトＨＤＲモニタでの描画のために時間的に連続した一連のＨＤＲ画像だけを、すなわち正しいルック、すなわち画像物体輝度と共に、例えば１０ビットレガシーＭＰＥＧ ＨＥＶＣ又は同様の映像符号化技術でエンコードすることはそれほど困難でない。かなり大きなダイナミックレンジを持つ新たな種類の画像、すなわち、多くの白と比較して相対的に暗い領域にバンディングを示さないものに対して最適ルマコード割当て関数、別称ＯＥＴＦ（光電子伝達関数）を確立し、次いで全てのピクセル／物体輝度に対してルマコードを計算する必要があるだけである。
【0022】
出願人は、しかしながら、ＨＤＲ画像を実際にはＳＤＲ画像（１００ニトＰＢ基準ディスプレイに向けられ、しばしばそのような基準ディスプレイ上で最適にカラーグレーディングされるレガシーＲｅｃ．７０９ ＯＥＴＦベースのエンコードを意味する標準ダイナミックレンジ）として通信することができ、同画像が次いで、レガシー１００ニトＰＢ＿Ｄ ＳＤＲディスプレイに正しく見えるＳＤＲルックを描画するために早く直ちに使用されることができる、システムを設計した。
【0023】
これは、ａ）全ての物体の相対輝度が１００ニトＰＢ＿Ｄディスプレイ上で正しく又は少なくとも妥当に見えるようにそれらが決定されていること、及びｂ）そのような輝度を作成するためのルマが、ほぼ平方根関数であるＲｅｃ．７０９ ＯＥＴＦによって定義されたと受信機が仮定することができることを意味する。
【0024】
このようにして、各時間の連続画像の特定の一枚における各種類のＨＤＲシーンに対して、受信側で復元可能なＨＤＲ及びＳＤＲの両画像がそれらの最良に見えるように、ＨＤＲ画像ピクセル輝度とＬＤＲ画像ピクセル輝度との間の最適関数関係（関数形状、典型的にはあり得る各Ｌ＿ｉｎに対してＬ＿ｏｕｔを定義する１次元関数、例えば０．１／１００＜Ｌ＿ｉｎ＜１００／１００）を定義することができる（例えば、ディスプレイＤＲの能力がどうであれ、洞穴内の人が見えるように洞穴の内部を最適に明るくする、又は十分に迫力があるように見えるように窓越しに見える屋外領域の輝度を最適化する）。
【0025】
それに対して、図２で例示されるように、一組の適切な可逆色変換関数Ｆ＿ｃｔが定義される。図２は、基本概念を説明する目的で、ＳＤＲ通信型の典型的なシステムを非限定的に図示する。これらの関数は、ＨＤＲマスタ画像ＭＡＳＴ＿ＨＤＲに対応する適度に見えるＳＤＲ画像（Ｉｍ＿ＬＤＲ）を得るために、人間のカラーグレーダによって定義される一方、同時に、逆関数ＩＦ＿ｃｔを使用することによって、元のマスタＨＤＲ（ＭＡＳＴ＿ＨＤＲ）画像が再構築ＨＤＲ画像（Ｉｍ＿ＲＨＤＲ）として十分な精度で再構築されることができることを保証する、又は適切なそのような色変換関数Ｆ＿ｃｔを決定するためにコンテンツ作成側で自動分析アルゴリズムが使用される。ＩＦ＿ｃｔ関数は、伝達される順方向ＨＤＲ－ＳＤＲマッピングＦ＿ｃｔ関数から決定されることができる、又はシステムはＩＦ＿ｃｔ関数を直接伝達さえしてもよい。
【0026】
色変換器２０２は、典型的には、マスタＨＤＲ画像（ＭＡＳＴ＿ＨＤＲ）ピクセルの相対輝度のＦ＿ｃｔ輝度マッピングを適用する、すなわち、最大輝度が１．０となるように正規化される。本発明の概念を単純な形で理解するために、簡単のため、それが、１００ニトＰＢ＿Ｃ ＳＤＲ出力画像Ｉｍ＿ＬＤＲのピクセルの正規化ＳＤＲ出力輝度（すなわち図１の右側）を導き出すための４乗輝度マッピング関数（Ｌ＿ｏｕｔ＿ＳＤＲ＝ｐｏｗｅｒ（Ｌ＿ｉｎ＿ＨＤＲ；１／４））を使用すると、すなわち、そのような関数がシーンのマスタＨＤＲ画像にＳＤＲグレーディング対応画像のための適度なルックを与えると仮定する（適度とは、特定のシーンにとっては、陰の範囲の大部分があまり暗く見えず、ランプ及び他の発光物が、少なくともＳＤＲ輝度ダイナミックレンジが許す限り、それらがＳＤＲ画像でさえより暗い画像領域と依然適度な領域間コントラストを有するおかげで所望通り現れるといった態様を意味する。他の画像にとっては他の要因が寄付するが、そのような詳細は本発明の技術的構成要素を解明するために必須でもなく限定的でもない）。
【0027】
受信機が受信した対応するＳＤＲ画像からマスタＨＤＲ画像を、又は少なくとも一部の圧縮関連アーチファクトを除いた近似再構築を再構築することができなければならないので、実際のピクセル化画像とは別に、色マッピング関数も映像符号化器２０３に入らなければならない。限定することなく、映像がＭＰＥＧ ＨＥＶＣ映像圧縮器で圧縮され、そして関数が、例えばＳＥＩメカニズム又は同様の技術によってメタデータに記憶されると仮定する。
【0028】
そこで、コンテンツ作成装置２２１の動作後、画像通信技術観点から、映像符号化器２０３は、それが入力として通常のＳＤＲ画像を得ると装い、そして更に重要なことに、Ｒｅｃ．７０９標準ＳＤＲルマ仕様に従って、技術的にＳＤＲ画像であるものを出力する。次いで、更なる技術、例えば全ての必要な変換を適用してデータを何らかの伝送媒体２０５を通じて進行するようにフォーマットする（例えばＢＤディスクに記憶するために符号化する又はケーブル伝送のために周波数符号化する等）伝送フォーマッタ２０４は、それがＳＤＲ符号化パラダイムで機能するために使用した全ての典型的なステップをまさに適用することができる。
【0029】
続いて、画像データは、１つ又は複数の受信側に、何らかの伝送媒体２０５、例えばＡＴＳＣ３．０、ＤＶＢ、又はいずれかの映像信号通信原理に従う、例えば衛星、ケーブル又はインターネット伝送を通じて伝わる。
【0030】
任意の消費者又は専門家側では、受信機２０６が、例えばセットトップボックス、テレビジョン又はコンピュータのような様々な物理装置に組み込まれており、アンフォーマット及びチャネルデコードを適用することによってチャネルエンコードを元に戻す。次いで、映像デコーダ２０７が、例えばＨＥＶＣデコードを適用して、デコードＳＤＲ画像Ｉｍ＿ＲＬＤＲ及び色変換関数メタデータＦ＿ｃｔを生じさせる。次いで、色変換器２０８が、ＳＤＲ画像を任意の非ＳＤＲダイナミックレンジの画像に変換するように構成されている。例えば、ＭＡＳＴ＿ＨＤＲからＩｍ＿ＬＤＲを作るためにエンコード側で使用された色変換Ｆ＿ｃｔの逆色変換ＩＦ＿ｃｔを適用することによって、５０００ニトの元のマスタ画像Ｉｍ＿ＲＨＤＲが再構築される。或いは、ＳＤＲ画像Ｉｍ＿ＲＬＤＲを異なるダイナミックレンジ、例えば、ディスプレイ２１０が３０００ニトＰＢディスプレイである場合に最適にグレーディングされるＩｍ３０００ニト、又は１５００ニト若しくは１０００ニトＰＢ画像等に変換するディスプレイ調整ユニット２０９が備えられる。このディスプレイ調整又はディスプレイ適合は本フレームワーク内であり、同時通信される輝度マッピング関数に基づいており、これは、デコード画像に適用されることになるディスプレイ調整輝度マッピング関数を計算することによって手際よく導き出され、同ディスプレイ調整輝度マッピング関数は、Ｆ＿ｃｔで受信される輝度マッピング関数、及び接続される、又は画像が供給される必要があるディスプレイの表示能力に基づいて計算される。
【0031】
非限定的に、映像デコーダ及び色変換器が単一の映像再決定装置２２０内にあると仮定した。熟練した読者は、例えばＰＢ＿Ｃ＝１０，０００ニトを持つＨＤＲ画像を通信するトポロジを同様に設計することができ、そして色変換器が、対応するＴＶ又はモニタに対して、例えばＰＢ＿Ｃ＝２５００ニトを持つ出力ＨＤＲ画像を作ると理解することができる。
【0032】
基本エンコード／デコードを越えた追加的な課題：
本システムは、例えば、コンテンツ作成側（例えばテレビジョン放送事業者を考える）でＳＤＲ画像及びＳＤＲ－ＨＤＲ＿１００００輝度上昇関数を作り、そして任意の受信側で単にそれらの関数を適用して、受信したＳＤＲ画像からＨＤＲ＿１００００画像をデコードすれば（典型的には、３つの受信側デコード処理ユニット２０６、２０７及び２０８が全てＨＤＲテレビジョンに備えられると仮定する）、完全な作用となる。これは、当業者がエンコード／デコードフレームワークから通例考えることと完全に一致しており、すなわち、或る技術的画像通信システムにとっての何であれ主な所望のものに従って、通信用の最適画像を生成するために数学的色変換として符号化器が行ったことをデコーダがちょうど好適に元に戻す。しかしながら、実際の映像通信チェーンでは、間に装置があり得（しかも実際には更に悪いことに、装置は、処理順でそれらの前後の装置の色操作動作又はハードウェア接続の映像操作システムチェーンについてあまり又は全く知らない）、そして不都合にも、それらの中間装置が画像特性、特に少なくとも一部の画像の一部のピクセルの輝度を変え得る。ピクセル輝度は、その場合もはや輝度マッピング関数にとって正しくない、又は異なって定式化されており、輝度マッピング関数Ｆ＿ｃｔは、一部の瞬間に少なくとも一部の画像の一部の部分に対して、突然最適でなくなる（場合によっては最適からほど遠くなる）。そして、課題はその場合：何をすべきか；この大きな問題をどのように手際よく扱うか？、である。これは、急に発生し得る、且つ以下に概説する先行技術の特許出願で例証するように、様々な方式で扱われ得る問題である。この課題が全く発生し得ず、したがって、ＳＤＲ映像時代に何事もなく無視されたのは、誰もが安定した０．１～１００ニト輝度範囲フレームワーク内で研究し、誰も少なくとも２つの非常に異なる輝度ダイナミックレンジ（潜在的には高い方のダイナミックレンジは典型的にはＳＤＲダイナミックレンジより１００倍大きく、かなり不快な視覚誤差が発生して、潜在的には定期的なちらつき等さえ生じ得ることを意味する）で画像を表現するための（かなり異形状の）輝度変換をしなかったからであると強調したい。
本システムは、例えば、コンテンツ作成側（例えばテレビジョン放送事業者を考える）でＳＤＲ画像及びＳＤＲ－ＨＤＲ＿１００００輝度上昇関数を作り、そして任意の受信側で単にそれらの関数を適用して、受信したＳＤＲ画像からＨＤＲ＿１００００画像をデコードすれば（典型的には、３つの受信側デコード処理ユニット２０６、２０７及び２０８が全てＨＤＲテレビジョンに備えられると仮定する）、完全な作用となる。これは、当業者がエンコード／デコードフレームワークから通例考えることと完全に一致しており、すなわち、或る技術的画像通信システムにとっての何であれ主な所望のものに従って、通信用の最適画像を生成するために数学的色変換として符号化器が行ったことをデコーダがちょうど好適に元に戻す。しかしながら、実際の映像通信チェーンでは、間に装置があり得（しかも実際には更に悪いことに、装置は、処理順でそれらの前後の装置の色操作動作又はハードウェア接続の映像操作システムチェーンについてあまり又は全く知らない）、そして不都合にも、それらの中間装置が画像特性、特に少なくとも一部の画像の一部のピクセルの輝度を変え得る。ピクセル輝度は、その場合もはや輝度マッピング関数にとって正しくない、又は異なって定式化されており、輝度マッピング関数Ｆ＿ｃｔは、一部の瞬間に少なくとも一部の画像の一部の部分に対して、突然最適でなくなる（場合によっては最適からほど遠くなる）。そして、課題はその場合：何をすべきか；この大きな問題をどのように手際よく扱うか？、である。これは、急に発生し得る、且つ以下に概説する先行技術の特許出願で例証するように、様々な方式で扱われ得る問題である。この課題が全く発生し得ず、したがって、ＳＤＲ映像時代に何事もなく無視されたのは、誰もが安定した０．１～１００ニト輝度範囲フレームワーク内で研究し、誰も少なくとも２つの非常に異なる輝度ダイナミックレンジ（潜在的には高い方のダイナミックレンジは典型的にはＳＤＲダイナミックレンジより１００倍大きく、かなり不快な視覚誤差が発生して、潜在的には定期的なちらつき等さえ生じ得ることを意味する）で画像を表現するための（かなり異形状の）輝度変換をしなかったからであると強調したい。
【0033】
ＷＯ２０１６０７４９９９Ａも、中間装置及び輝度処理をする最終ディスプレイが関与し、他方の装置が何をしているかを十分に知らない且つ／又は必要とされるピクセル輝度処理動作を同調させることが十分にできないときに、映像（映像と関連し且つ同時受信可能なメタデータ内の輝度マッピング関数として同時供給される対応する輝度再グレーディング動作を有する）にグラフィックを挿入する課題に対処するが、問題は、本明細書で提案されるものと異なる方式で扱われる。
【0034】
コンテンツのソース元（すなわち、コンテンツ作成者又は少なくとも、例えばＴＶ放送事業者などのコンテンツ供給者の装置）と、典型的にはディスプレイであるか又はそれを備える、映像コンテンツを最終的に使用する装置との間の何らかの中間装置によって挿入された幾つかのグラフィック挿入ピクセル（グラフィックが、輝度マッピング関数が正しく対応しない何らかの２次画像、及び典型的には、例えばロゴのような、限られた一組の色を持つ幾つかの単純なグラフィック、おそらく天気図、字幕等を示すアプリのような何かの挿入である）があるという事実が、画像ピクセルの、例えばＲＧＢ色コードの下位ビットに何らかのコードを入れることによって信号で送られる。最終的な装置、すなわち、最終処理をしてそのディスプレイピーク明度に対して正しく見える画像を得るディスプレイは、次いで、グラフィックオブジェクト領域を囲む映像に対して最適だったがグラフィックピクセル色に対しては間違っていた輝度マッピング関数（図６における５５、又は図１０における１００９）を単に適用することより安全なマッピング方法をグラフィックピクセルに使用しようとすることができる。グラフィック合成の分野には様々な種類のグラフィック挿入があり、したがって、幾つかの変形が教示される。それらは概略的に２つのカテゴリに収まる。グラフィックピクセルによる映像ピクセルの単なる置換（又はそのようなフレームワーク内で不透明なブレンディングとして再配合されて、混合物が１００％のグラフィック及び０％の映像を有する）に関しては、最下位ビットに２進コードを入れて、ピクセルがオリジナル、例えばＳＤＲ映像ピクセルである場合にはＡ＝０を、それが例えば字幕ピクセルである場合にはＡ＝１を示すことで十分である。受信側ディスプレイは、次いで、受信されるＳＤＲ－ＨＤＲ輝度マッピング関数を映像ピクセルに適用し、そして例えば、そのピーク明度の固定相対輝度率、例えばＰＢ＿Ｄ＝１０００ニトの２０％で字幕ピクセルを描画することに決定することができる。より高度な実施形態は、映像及びグラフィック入力ピクセル色が或る割合でブレンドされ、そして最下位ビットの符号化が、その配合物の或る態様、例えば、映像輝度又は色の何％が最終的なブレンド出力に保持されたかを伝達し、次いで受信側ディスプレイがそれを考慮に入れて、グラフィックス領域に対してより高度な輝度マッピングを設計することができる（例えば、分割されたグラフィック及び映像を推定することによって混合物を元に戻そうと、又はその推定したブレンド若しくは分割情報に基づいて、少なくとも、適度に動作する輝度マッピングを作成しようとする）、より困難な状況に備える。いずれの場合にも、全ての変形は、グラフィックミキシング状況の態様を分類する新規な信号に加えて、まだディスプレイ最適化されていない画像（例えば、受信された、又はグラフィック挿入後に少なくとも再符号化された符号化画像、すなわち、ピクセルの最終輝度がまだ、例えばＨＤＭＩ（登録商標）リンクの受け側によって確立される必要がある）と共に元の輝度マッピング関数（５５）をディスプレイに通信して、最高又は少なくともより良好なディスプレイ最適化処理がどうであるべきかをディスプレイに算定させることに関する。以下の実施形態において、送信側、すなわち中間装置がより良好な後処理手法の判断に対処する。ＷＯ２０１７０８９１４６Ａははるかに高度なシステムであり（以下の実施形態は単純システムでさえ作用することができる）、かなり異なるダイナミックレンジを有する２つの異なる入力信号、例えば、１００ニトＰＢ＿Ｃ ＳＤＲ画像と調和されることになる２０００ニトＰＢ＿Ｃ ＨＤＲ第１画像の一般的なマッチング、及びこれのために計算される必要がある基礎技術、すなわち、ミックスされた画像内容提示の最適ミキシングダイナミックレンジの決定（両入力画像のダイナミックレンジとかなり異なり得るが、幾つかの状況では、例えば、ミックス画像を示すことになるディスプレイの最終ダイナミックレンジである必要はない）を、また様々な代表（ＨＤＲシーン状況要約）輝度アンカのマッチング、及びミックスされることになる様々な画像の輝度をミキシングダイナミックレンジ上の出力輝度にマッピングする最終全域関数の決定をも扱う。これは、少なくともその態様の一部が以下の態様の一部と組み合わされ得る技術であるが、非常に異なるシステム及び技術的推論である。
【0035】
ＵＳ２０１５０１５６４６９Ａは、高レベルで類似している（すなわち、グラフィックとの組合せも述べられる）一組のＨＤＲ教示であるが、相違点も多い。読者が様々な要点及び相違点を得るようにするために、図６により、そのようなＨＤＲ手法を概説する。’４６９のＥＤＲ（ＨＤＲに対する同文献での語法）デコーダはスケーラブル型、別称２層型（ベース層データ及び拡張層型）、又は実際には画像当たり２画像型である。最後の部分は、映像瞬間当たり１つの画像だけを通信する本出願の典型的な実施形態と異なり、’４６９が瞬間当たり２つの画像を送る必要があることを意味する。それ自体はＨＤＲマスタグレーディング及びＳＤＲグレーディングでさえない（「それなら単にそれらの２つの画像を送ってくれないか？」と頼み得る）が、それから画像が導き出され、いずれにせよ通常は両グレーディングを符号化することができ、しかもおそらくは、より少ないビットでできる（但し、２つの画像変形が通信チャネルを通じてより多くのデータ、及びより多くの複雑さも必要とするため、ディスプレイ調整が必要とされる場合に特に関心を引くようになる）。
【0036】
異なる技術的構成要素（及びタスク）が完全に理解されるように、最初に本特許出願の図６Ａを見る必要がある。
【0037】
これは、ＨＤＲ映像操作処理チェーン（又は装置構造）が、当業者がコーディング及びデコーディング（少なくともＬＤＲ時代のフレームワーク及び見方に由来する）から典型的に考える以上のものを伴うことを明確に図示する。デコーダ６０１（或るＨＤＲ映像信号受信装置に存在する）が、この（単なる）例では、受信したＬＤＲ画像（ＢＬ＿ＬＤＲ）から、例えば１０００ニトＨＤＲ画像（Ｉｍ＿ＲＥＦ＿Ｈ、更なるディスプレイ最適化の出発点となる）を生成する。したがって、それは、典型的には、かなり急峻な輝度マッピング関数を適用することになり、図示されるように主に入力画像ＢＬ＿ＬＤＲのより明るいピクセルを増光する。基準画像状況（典型的には、作成又は送信側で作成されたマスタＨＤＲ画像の再構築である）へのこのデコード後、接続されたディスプレイ６０３に最終的なディスプレイ適合画像Ｉｍ＿ＤＡを送る前に、接続されたディスプレイのダイナミックレンジ能力に合わせた、その画像、すなわち全てのそのピクセル輝度の最適化がディスプレイ適合ユニット６０２によって発生しなければならない。そのディスプレイが８００ニトのＰＢ＿Ｄを有すれば、ＰＢ＿Ｃ＝８００ニトの最大符号化ピーク明度を持つ画像を作るべきである。これが１０００ニト中間基準画像Ｉｍ＿ＲＥＦ＿Ｈの１０００ニトにかなり近いので、この例では、原則としてディスプレイ適合を省略し、単に１０００ニト画像を描画して（それによって最大画像輝度ＰＢ＿Ｃがディスプレイの最大表示可能輝度ＰＢ＿Ｄにマッピングされる、すなわち、明るい１０００ニトピクセルとして表示されるべきであるものが暗い８００ニトピクセルになり）、輝度誤差ともみなし得るが、正しく行いたければ、６０２の矩形に図示されるように、或る僅かな輝度－補正輝度マッピング曲線が適用されるべきである。
【0038】
この全体的な態様は以下の本出願による手法に高レベルで類似しているが、但し、図６Ｂにおける先行技術のスケーラブルＨＤＲデコーダの分解立体図によって説明することになるように、ディスプレイ適合及びもちろん映像デコードもかなり異なる。’４６９における本出願によるディスプレイ適合（ＤＡ）の同等物はディスプレイマッピング（ＤＭ）メタデータである。これは、典型的には、色空間又は色域情報のような態様に基づく一般的な色域マッピングなど、ディスプレイ最適化を導くべきである状況についてのより一般的な情報である。
【0039】
信号Ｓ＿ＨＤＲは、４種類のデータを有する（おそらく簡略バージョンでは３種類だが、一般論として説明する）：第１の、ベース層画像（ＢＬ＿ＬＤＲ）であり、レガシー１００ニトＳＤＲディスプレイに直接表示可能なＬＤＲ画像となる（’４６９においてＶＥＳ１と呼ばれる）；第２の、拡張層画像（Ｉｍ２＿ＥＮＨ；ＶＥＳ２）であり別の、例えばＡＶＣ映像デコーダ１２０によってデコードされる；第１の画像に関するメタデータ（ＭＥＴ（Ｆ＿Ｌ２ＩｍＰ））であり、典型的には、一部の実施形態において、中間画像Ｉｍｐを予測するための輝度マッピング関数である；及び、第２の、拡張画像に関するメタデータ（ＭＥＴ（ＤｅｃＥｎｈ））である。
【0040】
厳密に画像及びメタデータに何があるかは、幾つかの変形（通常、乗法対加法変形に関する軽微な変形）があるので、使用されるスケーラブルＨＤＲ符号化変形に依存する。
【0041】
古い方は乗法変形であり、それは、一方では、最初のＨＤＲディスプレイが、ピクセルが局所光の一定割合を通す弁として機能するＬＣＤパネルを照明する局所変調可能な２Ｄバックライト（すなわち、背後に存在する様々なＬＥＤを減光か増光かして小領域のＬＣＤピクセルを照明することができた）から成ったという事実に基づいた。固定バックライトに関しては、古いＬＣＤパネルは、例えば、光の０．５％～１００％を通して、２００：１の表示可能なダイナミックレンジを与えるのみである。画像の暗い領域に対してそれらのピクセルの背後のＬＥＤ光を１０分の１に減光することによって０．５％の光出力を例えば０．０５％の光に低下させ、且つ他方でより明るい画像物体領域の背後のＬＥＤを１０倍に増光する（ＬＣＤピクセルが依然として光の多くとも１００％を通すことができるだけであるが、今や局所的に１０倍の光の１００％であることを意味する）ことができれば、一方で２０，０００：１のより程よいＤＲを、及び他方で通常の１００ニトの代わりに１０００ニトのＰＢ＿Ｄを（それが最も明るい画像領域ピクセルのために今や発生されることができる輝度であるため）既に達成することができるであろう。そこで、これを他方で、同じく実世界において物体点から出射する輝度を可変入射照度ｘ０．５％～９９％の程度の物体反射率としてモデル化することができるというより一般的な観察に結びつけると、これがディスプレイ上で「任意に、より現実的に照らされた」物体ピクセルを生成するために必要とされることであれば、それらを、各ピクセルに対してＬ＿ｄｉｓｐｌａｙｅｄ［ｘ，ｙ］＝Ｌ＿ＬＤＲ［ｘ，ｙ］ｘＩ［ｘ，ｙ］から成る符号化により駆動することができると想像することができ、式中、Ｌは輝度を表し、ｘ及びｙはピクセルの空間座標である（表示されることになる出力画像、すなわちデコード画像に配列されており、そして２つの入力画像が二重画像ＨＤＲエンコードを構成しており：Ｌ＿ＬＤＲはＬＣＤピクセル透過率を駆動するために使用されるベース画像であり、Ｉ［ｘ，ｙ］はバックライト照明画像であり、何らかの同意された定義によって、どのＩ値が位置［ｘ，ｙ］の背後の様々なバックライトＬＥＤのどの増光又は減光量に対応するべきかを特定する）。変動する照明の空間分解能に対して目があまり敏感でないだけでなく、その種類の実際のＨＤＲディスプレイが、例えば２Ｋ ＨＤ ＬＣＤ分解能より低いＬＥＤバックライトマトリクスの分解能を有する（ＯＬＥＤ ＨＤＲディスプレイは実際には当時注目されていなかった）ので、この符号化技術においてデータ圧縮節約がなされることができる。他方で、そのＨＤＲコーデック変形に対する第２のメタデータＭＥＴ（ＤｅｃＥｎｈ）の一例が、対数関数を介して必要とされるバックライト照明値Ｉを定義し、そしてその定義が、程よいＨＤＲ画像（マスタＨＤＲ画像の近似再構築であろうと、自宅にレガシーＬＤＲディスプレイを持つ多くの人々が見ることになる、ＬＤＲ画像ＢＬ＿ＬＤＲと一致する単に一部の良好に見える表示ＨＤＲ画像であろうと）を示すためにＬＥＤ減光又は増光のどの知覚量が必要とされるかを受信側で決定することができるために必要とされる、ということである。
【0042】
ＬＤＲ画像ＢＬ＿ＬＤＲは、映像チェーンが、例えばＨＤＲカメラ取込みから開始する場合に、典型的には、６０１に図示されるものの逆のものであるダウンマッピング曲線を正規化ＨＤＲ輝度に適用することによって生成される。
【0043】
その他のクラスは加法２画像ＨＤＲ符号化クラスであり、最近より人気のものであり且つ’４６９の様々な実施形態に使用されるものであるようである。
【0044】
この場合、ＢＬ＿ＬＤＲ画像は、そのような画像がＨＤＲ輝度をＬＤＲ輝度として最適に伝達するために必要とされるものに調整された、特定の画像又は単一のＨＤＲシーンの連続画像の少なくとも一枚に動的に調整される或る（典型的には凸）ＨＤＲ－ＬＤＲ輝度マッピング関数を自由に適用することによって送信器によって再び計算される。第１の、ベース層メタデータは、典型的には、或る加法予測輝度マッピング関数を含み、これはＬＤＲ入力画像輝度から中間予測画像（Ｉｍｐ）輝度を計算するものであり、画像予測器６１０によって行われる。その補正ユニット６１１には、適切なデコード及び潜在的に前処理した後に、補正画像（ＶＥＳ２）が加算される。それ故に、２画像加法ＨＤＲデコーダは、Ｌ＿ＨＤＲ［ｘ，ｙ］＝Ｆ＿Ｌ２ＩｍＰ（ＢＬ＿ＬＤＲ［ｘ，ｙ］）＋Ｉｍ２＿ＥＮＨ［ｘ，ｙ］［Ｅｑ．１］として機能する。
【0045】
そして、その画像にディスプレイマッピング戦略：Ｌ＿ｄｉｓｐ［ｘ，ｙ］＝Ｆ＿ＤＭ［Ｌ＿ＨＤＲ［ｘ，ｙ］］を適用し（今のところ依然としてグラフィック情報がないと仮定する）、それによって、ディスプレイマッピングは原則として多くのもの、例えば位置［ｘ，ｙ］での入力輝度Ｌ＿ＨＤＲの局所値だけを考慮に入れるグローバルマッピング、又は位置［ｘ，ｙ］を囲む物体の輝度に基づいて表示のための最終画像を調整してもよいより複雑なローカルマッピング技術であることができ、これの詳細は’４６９では与えられていない。しかし興味深いことに、そのような画像特徴ベースのローカル処理は、グラフィック態様があることをディスプレイにおいて調査し、そしてそれをそのディスプレイ端最終ディスプレイマッピング戦略で考慮に入れることができる一方、他の技術の変形はそうすることができない。
【0046】
ここで、２層ＨＤＲエンコードのその基礎知識が与えられて、’４６９は、そのような符号化状況でグラフィックも有するときに、それらの方針で何がされることができるかを記載している。これは、特に、デジタルメディアプレーヤ及びディスプレイ／ＴＶである２つの接続された装置のどちらが、デコード（及び６０１の対応する輝度マッピング）、ディスプレイマッピング、並びにグラフィックミキシングである様々な必要とされる処理のどれをするべきか、更に潜在的にどの順にかという問題に関して記載されている。
【0047】
そのために、２つの解決カテゴリ教示が示される（図２Ｂ、図３Ｂ及び図４は単に、右目視画像を含むべきであったが、ここでは２Ｄアプリケーションに転用される第２の画像プレースホルダでグラフィック画像が通信される、後者の変形の具体的な実施形態を教示しているが、その詳細は本出願に無関係である）。
【0048】
メディアプレーヤ（すなわち、例えば衛星又はインターネット接続を通じて作成者のメタデータの受信機、及び例えばＨＤＭＩ（登録商標）を通じてディスプレイへの映像の供給者として機能する中間装置、すなわち、この受信機が例えばセットトップボックスである）においてデコードの一部（典型的には、一方では混同されるべきでないＭＰＥＧ伸長、及び他方では最終又は中間画像のための正しい輝度を得る表色変換を伴う）を、並びにディスプレイにおいて一部をすることが提案されている。実際、この段落では、例えばＨＤＭＩ（登録商標）インタフェースを通じて全ての情報、すなわちＨＤＲ映像情報、グラフィック情報及びメタデータを適切な形式で送っており、その場合実際に問題がないのは、ディスプレイがその端で最終出力画像を最適に作成する仕方を決定することができるからである。実際には、それは、最初にデコードＨＤＲ画像にディスプレイマッピング戦略を適用し、そしてその後に限りグラフィックをミックスすることになるので、それは、グラフィックをミックスする（例えば、輝度を調整する）仕方を選ぶことができるだけでなく、いずれの場合にも、ダイナミックマッピングが既に適用されてグラフィックとのミキシング前に最適化映像を決定しているので、動的に変化する輝度マッピングの適用によるミックスされたグラフィックのちらつきがもはや発生し得ない。もちろん他方で、このシステムでは、セットトップボックス又はＢＤプレーヤが所望したようにディスプレイが実際にグラフィックミキシングをするという保証がない（例えば、そのディスプレイが別の装置のインタフェース機能性を行うために、そのプレーヤの内部メニューがここでディスプレイにまで通信されなければならない）。また、接続されたディスプレイのＰＢ＿Ｄへの映像の最適化を含む全てが専ら映像プレーヤで既に発生していれば、ＴＶは次いで単純に予め最適化された画像を得、そして単にダムモニタとして機能して、いかなる更なる処理もなしで単に表示するだけであるので、問題もない。
【0049】
図１のバージョン１では、受信機（例えばセットトップボックス）において、上記Ｅｑ．１に従ってコンポーザ１２５によってＨＤＲ映像デコードを行う。高品質共通色空間、例えば１２ビットＹＣｂＣｒでこれを制作する。ＨＤＭＩ（登録商標）を通じる出力信号１３７は、ブレンダによって作られたブレンド映像及びグラフィック、並びに或る（多分静的）ディスプレイ管理データを備える。グラフィック及びディスプレイ管理は、コンポーネント１４５で統合的に扱われるようである。ユニット１４５についての詳細はほとんど又は全く与えられていないが、動的処理が依然としてＴＶで発生する場合－プレーヤで既に発生していれば発生しない、ちらつきの問題が依然として存在する（そしていずれの場合にも、本発明に向けた方向に扱われるとは提案されていない）。
【0050】
より実際的な解決策が図２Ａに提案される（少なくとも今後数年間は、高価なＴＶがより強力なＨＤＲ処理能力を有し、そしてより安価なプレーヤは、おそらくチャネル調整のような一部の初期管理をするが、全ての複雑なＨＤＲ計算はＴＶに任せ、単にだけに全ての必要とされるデータをそれに渡すと仮定されるが、しかしＴＶが全ての処理をすれば、不調和の問題は再び存在しないであろう）。全てのデータが単にインタリーブされて、瞬間当たりの２つの画像両方が、（３Ｄ映像トリックを介して通信されなければ）例えばより高いフレームレート映像の時間的にインタリーブされたフレームとして通信される、ＥＤＲ、別称ＨＤＲ画像及びグラフィック画像をデコードすることを許容することが実際教示される。また、プレーヤによって所望されるようにグラフィックをミックスする仕方に関する命令、すなわちアルファブレンドメタデータを含め、全てのメタデータが通信される。本発明の実施形態の根底にある動的ちらつき問題が発生し得ないようにＴＶが正しい処理順序を選ぶことができる、すなわちＴＶが最初にコンポーザ３２５でＨＤＲ画像をデコードし、次いでディスプレイ管理プロセッサ３３０で色域マッピングを適用し、そしてようやくユニット３４０でグラフィックとのブレンディングをすることになることが図３Ａにまさに再び見ることができる。典型的には、単に、画像の識別された特徴及び、例えば、受信画像における最大輝度（例えば、５０００ニトピクセルを含まない、暗い洞穴のシーンに対して読者がおそらく想像することができるような、最大の理論的に符号化可能な輝度ＰＢ＿Ｃと同じでない）のような一部の大域的特徴だけに基づき、且つ作成者の芸術的輝度マッピングガイダンスに基づく本出願により導き出される輝度マッピング関数方式でない、受信機側で決定された色域マッピングであるそれらのディスプレイ管理の違いにも留意したい。しかし、いずれの場合にも、装置間の処理トポロジは常に異なり、ちらつきの問題さえ存在しない。
【発明の概要】
【0051】
全画像操作チェーンの良好な動作、すなわち最終ディスプレイで適度な画像が表示されることを可能にするために、ディスプレイ（５５０）に接続するための出力画像接続部（５０６）と、入力画像（ＩＭ）及び少なくとも１つの輝度マッピング関数（Ｆ＿Ｌｔ）を特定するメタデータを受信するための入力部（５１０）と、を有し、輝度マッピング関数が、入力画像及び少なくとも６倍高い（又は低い）最大輝度を持つ第２の画像における輝度間の関係を特定し、更に、例えばロゴ又はテキストのような例えばＣＧＩ画像である２次画像（ＩＭＧ）を生成するように構成されるグラフィック生成ユニット（５０２）と、入力画像の及び２次画像ＩＭＧのピクセル色に基づいて出力画像（ＩＭＣ）を合成するように構成される画像合成ユニット（５０４）と、を備える、画像処理装置（図３における３０１及び図５における５０１）において、画像処理装置が、輝度関数選択ユニット（５０５）を備え、輝度関数選択ユニット（５０５）は、２次画像の色が入力画像とミックスされない場合には、メタデータ出力部（５０７）に（出力メタデータで）少なくとも１つの輝度マッピング関数（Ｆ＿Ｌｔ）のコピーを出力するように構成され、２次画像の一部のピクセル色が使用されて入力画像の色を変更したために出力画像が入力画像と同一でない（すなわち、それらのピクセルに関して、出力画像ＩＭＧにおける色が入力画像又はそのデコードＩＭＤにおける対応する同位置ピクセル色と異なり、且つ典型的には自明でなく関連する）場合には、出力メタデータで所定の輝度マッピング関数（Ｆ３）を出力するように構成されることを特徴とする、画像処理装置を発明した。
【0052】
そのような装置は、画像処理チェーン又はシステムで、コンテンツ作成側からの画像の入力ストリーム（例えば直接ＴＶ放送等）と最終ディスプレイとの間に存在する中間画像処理装置（例えばＢＤプレーヤ又はセットトップボックス等）であり、ディスプレイは、受信画像にダイナミックレンジ変換の輝度マッピング、別称再グレーディングもして、例えば、そのダイナミックレンジ能力に最適である最終画像を得ることになる（すなわち例えば、ＳＤＲから２０００ニトＰＢ＿ＣデコードＨＤＲに、そして続いて１５００ニトＰＢ＿Ｄに、又は一段階でＳＤＲから１５００ＨＤＲに）。中間装置は、必ずしも画像の中身を知らず（たとえ一部の実施形態においてハイエンドディスプレイほど画像特徴の知識を有するとしても、より劣るＨＤＲ ＴＶは有しない）、コンテンツ作成者の意図（輝度再マッピング関数形状にエンコードされる）は言うまでもなく、最終ディスプレイで輝度処理的に何が発生するかも知らない。非常に実用的な解決策が必要である。
【0053】
本装置／ＳＴＢが知っていることは、それが作動中に一部のピクセル色、特にそれらの輝度を変更することができるということである（例えば、暗い街路のＨＤＲシーン画像ピクセルを白いグラフィック矢印ピクセルによって置き換えることによって、又はその映像ピクセルを白色でアルファブレンディングすることによって等）、すなわちそれは事実を知っている（それが何をしたか、すなわちその制御下で何が発生したか、例えばユーザが、映像及び２次画像、この典型例ではグラフィック画像（ＩＭＧ）の画像合成を開始するユーザインタフェース上のリモコンスイッチを押してオンにしたかどうかについて）。輝度関数選択ユニット（５０５）は、そこで一種の選択スイッチとして機能する：グラフィックがミックスされなかった場合、ピクセル色は変更されなかったであろう（すなわちＩＭＣ＝ＩＭＤ、ここでＤは任意選択で伸長画像である（同様にプロセスはデコード又は伸長される必要がない画像に作用することができる）、ＭＰＥＧ映像圧縮が関与した場合、そうでなければＩＭＣ＝ＩＭ）、次いでコンテンツ作成者の元の輝度マッピング関数Ｆ＿Ｌｔは全ての画像の各ピクセルに対して完全に正しく、単にディスプレイに渡すことができる（より高度な中間装置は、それら自体のバージョンの一層良好な関数、及びおそらく異なるピクセル輝度分布を持つ新たな画像を計算してもよいが、原理は同じままである）。しかし、グラフィックがミックスされた場合、装置５０１は、代わりにストリームに所定の関数（Ｆ３）、すなわち、それがそれ自体で現在の若しくは典型的なグラフィック挿入状況に対して安全な関数であるように事前に決定することができる関数、又は本装置の開発者によって事前に、例えば工場で決定される関数集合の少なくとも１つの選択を入れることができる（１つ又はＮ関数のうち１つが例えばメモリからロードされる）、或いはコンテンツ作成者さえ自分の通信した通常の動的輝度マッピング関数に、典型的な又は非定型でないグラフィックミキシング状況に対して使用されることになるうまく作用する所定の固定輝度マッピング関数を追加したかもしれない（が、現在のＨＤＲシーン画像の輝度分布詳細を考慮に入れる）、そしてＳＴＢが、次いでその作成者側で事前に決定された関数をロード及び使用して、直接それを出力するか、それからそれ自体の（最終的な、ディスプレイへの通信用の）調整された所定の関数を決定することができる。そこで、元のコンテンツ作成者はこれを知っていてもいなくてもよい（すなわち、自分が自分の映画に対するうまく作用するフォールバック関数を特定しなくてもよい）が、少なくとも装置５０１が、うまく作用するスマートな関数を選ぶ。スマートさの程度は異なる実施形態で変化し得る。単純な実施形態は、単にグラフィック一般又は少なくとも１つの原型的なグラフィック挿入状況にうまく作用する単一の単純関数を使用する（例えば、白い字幕に対して、本装置は、任意の特定のＨＤＲ又はＳＤＲ画像の様々な画像ピクセルの輝度マッピング動作よりそれらの字幕の最終輝度に集中することに決定するが、但し、より高度なバージョンは、グラフィックがミックスされる限り、又は少なくとも相当なミキシング期間の間使用されることになる固定された所定の輝度マッピング関数の関数を、一層グラフィック及び映像ピクセル輝度又は色間の関係に合わせて調整する）。例えば、本装置は、動的関数で通信される所望の輝度マッピング動作にある程度従おうとし、例えば、それは輝度マッピング動作、すなわち、最も暗いピクセルに対する関数形状を元々入力された動的輝度マッピング関数Ｆ＿Ｌｔの形状と同一又は類似しているように保つが、それは、より明るいピクセル輝度の上昇に関して控えめにすることを望む等してもよい。これは、典型的には、例えば幾分暗いハイライト、例えば街灯（例えば４倍だけ増光され、すなわち１０００ニトの代わりに４００ニト）を持つ表示用の最適下限ＨＤＲ画像（すなわち必ずしもマスタＨＤＲ画像ルックでない）を制作するが、少なくともＵＩが表示される限り、ＵＩは適度に見えて表示され、そして典型的には、ＨＤＲ映像もそれでもかなり適度である（そして、おそらく視聴者はＵＩに集中し、例えばコメント、メニュー又は何らかの映像についての情報を読む間、ＨＤＲ画像ピクセル輝度の最終的な完全にではない。関数Ｆ３の形状は装置５０１によって選ばれることができ、その結果、平均して、そのＵＩ色は、最終ディスプレイを考慮に入れることさえなく大抵の典型的に発生する種類のＨＤＲ画像で程よく見えるであろう（おそらく画像は明るいディスプレイ上で幾分明るくなるが、そのような手法により、少なくとも元の映像ピクセル輝度とグラフィック変更輝度との間の関係は適度に制御され、すなわち例えば白い矢印が、画像における他の典型的な輝度よりどのくらい明るいであろうか、すなわち最終表示且つ視聴者の目の適合さえ割引いても、画像のルマコード表現におけるグラフィック輝度と映像輝度との間の関係は既に重要であり、したがって、本装置のより高品質実施形態によってより慎重に扱われることができる。
【0054】
一部の実施形態において、本装置は、固定された所定の輝度マッピング関数を、接続されるディスプレイ（５５０）の最大輝度に関係なく許容可能な視覚的結果を与えるように事前に決定されている形状で出力する。そこで例えば、或る輝度基準レベル（例えば１００％白）の９０％で字幕が配置される場合、映像で発生する最大の可能な輝度を、例えば１５０％又は２００％を上回って上昇させない関数形状が選ばれることができる。或るグラフィックがハイエンド高ＰＢ＿Ｄ ＨＤＲディスプレイ上でかなり明るくなることがあるが、少なくとも、かなりの量の映像ピクセルが一層明るいという関係を目が視覚的に見ることができるので、結果はあまり不快でない。所定の曲線は、１．０に正規化された表現よりむしろ絶対輝度表現でも通信され得、例えば、或るマッピング曲線はその最も明るいピクセルに対して２０００ニトで終わる（映像であれグラフィックであれ）が、そのため１０，０００ニトディスプレイでさえ、一部の視聴者によって迷惑であると考えられ得る大きなグラフィックをあまり明るく描画しない。
【0055】
他の実施形態は、接続されるディスプレイ（５５０）の最大輝度に依存する形状の所定の輝度マッピング関数を出力する。これは相対表現にとって有用であり、それによってＳＴＢは、最初に単純にディスプレイのピーク明度をポーリングし、次いで最も明るい、例えば入力ＳＤＲ輝度若しくはルマに対して１０００ニトＰＢ＿Ｄディスプレイには１００％（すなわち１．０）で、２０００ニトＰＢ＿Ｄには７０％で、３０００ニトＰＢ＿Ｄには５０％等で、そのマッピング関数を終えるか、又は中間装置／ＳＴＢの製造業者によればどのような配分でも望ましい。
【0056】
画像処理装置（３０１、５０１）の代替実施形態は、ディスプレイが接続されて出力画像（ＩＭＣ）を受信すると、上記接続されたディスプレイが受信する出力画像（ＩＭＣ）を異なる輝度ダイナミックレンジの画像（典型的にはディスプレイ適合画像）に変換するために所定のマッピング関数がディスプレイによって使用されるべきことを示す、フラグ又は関数型番号などのインジケータ（ＦＬＧ）をディスプレイに出力メタデータで通信する。これはスマートディスプレイに関して関心が持たれる。良好な所定の関数を送ることで、それが受信する固定又は動的メタデータを単に適用することを越える能力を有しない任意のダムディスプレイに応対することができるのに対して、すなわち本装置がどちらを出力しようと、スマートディスプレイはそれら自体手順の一部を行うことを望む。安全な固定輝度マッピングが必要とされるという印だけを得ることによって、連続画像及びそれらの関連フラグ又は他の同様のメタデータによって示される或る時間の間、ディスプレイは、それ自体のメモリから固定関数を読み出すことができる（同じ関数が装置にロードされているかディスプレイにロードされているかは原則として大きな違いでないが、しかしながら、例えば作成者のＦ＿ｃｔ又は画像特徴に基づいて、よりスマートな関数決定が必要とされる場合に違いは発生し得る、更には装置及びディスプレイが異なる製造業者によって作られ得るので、変形は他より大きく、又は少なくとも十分な協調が必要であることが留意されるべきである）。例えば装置及びディスプレイが同じ製造業者によって作られれば、そのような同期が有用であり得るのは、整数（所定の関数番号１又は番号２を使用する等）が、対応する関数が装置関数メモリから取り出されて次いで通信されるよりむしろ、自身のメモリから選択せよというディスプレイへの連絡であり得るからである（これは依然として、装置内部でグラフィックミキシングに関して何が発生したか、及びディスプレイ内部の輝度再グレーディングとして適用するのにどの関数が安全であるか又はより安全そうであるかの同じ粗い印を視覚品質的に与えている）。これは、参照によって、機能コミュニケーションの等価物である。フラグは、例えば、質的に十分な単一の非常に警戒の関数であるとわかるシステムで機能する。
【0057】
装置の実施形態の一部は処理能力のない既存のＨＤＲディスプレイと共に作用する。しかし、例えば以下のような対応するスマートＨＤＲディスプレイもある。
【0058】
動的メタデータ解析器（５５１）を備えるディスプレイ（５５０）であり、動的メタデータ解析器（５５１）は、教示された変形のいずれかに係る画像処理装置がディスプレイの画像入力部（５５２）に接続されたときに、そのような画像処理装置から受信される出力メタデータから、そのような画像処理装置が動的に変動する輝度マッピング関数の代わりに所定のフォールバック輝度マッピング関数（Ｆ３）を通信したことを読み取るように構成される。そのようなことが、例えば、信号標準でコードＰＲＥＤ＿ＦＬ、それから関数形状の多重線形表現の０＜［ｉ，ｊ］＜１座標等などの、その関数のためのデータを予約することによって、所定の固定関数（すなわち、幾つかの連続画像のための固定形状を保つ）より他の受信された映像信号のプレースホルダにおけるフラグ又は書込動的メタデータ関数などの、任意のメカニズムによって示されれば、ディスプレイは、固定関数を適用することができるだけでなく、状況を知って、更なる動作を調整することができる（例えば、過剰な内部コントラストストレッチングをしない、等）。
【0059】
所定のフォールバック輝度マッピング関数を通信するために事前に定義された第１の種類のメタデータ（ＭＥＴ＿１）が出力メタデータに存在することを識別するディスプレイ（５５０）。
【0060】
時変輝度マッピング関数を通信するために事前に定義された第２の種類のメタデータ（ＭＥＴ＿２）が出力メタデータに存在しないことを識別するディスプレイ（５５０）。これは元の動的輝度マッピング関数の欠如の検査であることができる。
【0061】
出力画像（ＩＭＣ）を変換するために所定のマッピング関数がディスプレイによって使用されるべき旨のインジケータ（ＦＬＧ）が出力メタデータに存在することを識別するディスプレイ（５５０）。
【0062】
これらの装置は対応する動作方法も有する。
【0063】
入力画像（ＩＭ）及び少なくとも１つの輝度マッピング関数（Ｆ＿Ｌｔ）を特定するメタデータを受信するステップを有し、輝度マッピング関数が、入力画像及び少なくとも６倍高い又は低い最大輝度を持つ第２の画像における輝度間の関係を特定する、ディスプレイを駆動するための高ダイナミックレンジ画像信号を提供する方法であって、上記方法が、２次画像（ＩＭＧ）を生成するステップ、並びに入力画像の及び２次画像ＩＭＧのピクセル色に基づいて出力画像（ＩＭＣ）を合成する後続ステップを有する、上記方法において、上記方法が、輝度関数を選択するステップを有し、上記選択ステップが、２次画像の色が入力画像とミックスされない場合に、メタデータ出力部（５０７）に出力メタデータで少なくとも１つの輝度マッピング関数（Ｆ＿Ｌｔ）のコピーを出力するように構成され、且つ２次画像の一部のピクセル色が使用されて入力画像の色を変更したために出力画像が入力画像と同一でない場合に、出力メタデータで所定の輝度マッピング関数（Ｆ３）を出力するように構成されることを特徴とする、方法。
【0064】
所定の輝度マッピング関数は、本方法の出力画像信号における画像を変換して最適化画像を導き出すために受信装置、例えばテレビジョンなどのディスプレイによって使用されることになる。これは、例えば、より暗い輝度と比較して入力画像におけるより明るいピクセルの輝度を典型的に上昇させる関数を使用することによる受信ＳＤＲ画像（そのような画像がかなりの量の輝度ストレッチングにより、対応するＨＤＲシーンの元のＨＤＲ表現画像に近い画像を得ることを許容するという点で、より高いダイナミックレンジの輝度情報を含む）のアップグレーディングであることができる。しかし、関数は、例えば１０００ニトＰＢ＿Ｃ画像を受信してダウングレードして５００ニトＰＢ＿Ｄディスプレイ用の画像を得ること等によって、受信ＨＤＲ画像からダウングレードするために使用されることもできる。
【0065】
輝度を有する色を有するピクセル、及び画像ごとの少なくとも１つの輝度マッピング関数（Ｆ＿Ｌｔ）を有する、一連のピクセル化画像を有する画像信号を受信する方法であって、画像処理装置の実施形態の１つに記載の結合された画像処理装置からの出力メタデータである受信されたメタデータから、そのような画像処理装置が動的に変動する輝度マッピング関数の代わりに所定のフォールバック輝度マッピング関数（Ｆ３）を通信したことを読み取ることによって、輝度マッピング関数（Ｆ＿Ｌｔ）が連続画像に対して動的に変動するか、又は連続画像に対して事前に決定及び固定されるかを解析するステップを有する、方法。当業者は、実際にはこれが様々な（典型的には標準化された）方式で通信／同調されることができるという本教示からの着想を見いだすことができ、例えば一部の記述子は、輝度マッピング関数がどの種類（動的又は固定された所定）であるかを識別することができ（典型的には幾つかの連続画像に対して、しかし代替的に、連続画像の各々に対して関数及び対応する説明を送ることができ、次いでこれは特定の固定された所定の関数の適用可能性のために実際に期間情報を必要とすることなく状況を通信することができる）、又は画像信号のメタデータに異なるプレースホルダ、例えば、ＬＵＴ定義可変輝度マッピング関数を含む第１の区分、及び本出願の実施形態のいずれかに従って所定の関数を通信する（それ故に実際にはグラフィック又は２次画像一般「変更」状況を通信する）ことの可能性を可能にする第２のプレースホルダを予約することができる。
【0066】
本発明に係る方法及び装置のこれら及び他の態様が、本明細書に記載される実装例及び実施形態から及びそれらを参照しつつ、並びに添付図面を参照しつつ明らか及び説明されるであろうが、同図面はより多くの一般概念を例証する非限定的な具体的な例示であるに過ぎず、そして破線は、構成要素が任意選択であることを示すために使用され、非破線の構成要素は必ずしも必須でない。破線は、必須であると説明されるが、物体の内部で見えない要素を示すため、又は例えば物体／領域の選択（及びそれらがディスプレイ上に図示される）などの無形のもののためにも使用されることができる。
【図面の簡単な説明】
【0067】
【図1】高ダイナミックレンジ画像を対応する最適にカラーグレーディングされ且つ同じように見える（第１及び第２のダイナミックレンジＤＲ＿１又はＤＲ＿２の違いを考慮して所望通り且つ可能な限り同じ）低又はより正確に標準ダイナミックレンジ画像に最適にマッピングするときに発生する幾つかの典型的な色変換を概略的に例示する図であり、可逆性の場合には、ＨＤＲシーンを符号化したＳＤＲ画像の、同シーンの再構築されたＨＤＲ画像へのマッピングにも対応する。
【図2】高ダイナミックレンジ画像、すなわち、典型的には少なくとも７００ニトの輝度（すなわちＳＤＲ画像のＰＢ＿Ｃの少なくとも７倍）又はそれを超える（典型的には１０００ニト以上）を有することが可能な画像をエンコードする、本出願人が最近開発した技術の一例を概略的に例示する図であり、実際には、受信されるＳＤＲ画像を、画像作成側で作成された元のマスタＨＤＲ画像の忠実な再構築であるＨＤＲ画像へ変換するためにデコーダによって使用されることになる、ＳＤＲ画像に加えて、少なくともピクセル色のための適切な決定された輝度変換を有する色変換関数をエンコードしたメタデータとしてＨＤＲ画像を通信する。
【図3】一部のピクセル輝度を変更する画像処理が可能な中間装置が、コンテンツ作成者からの画像のソースと、最終輝度マッピングをしてディスプレイ上に程よい出力画像を得るディスプレイとの間に常駐するシステムを図示する図である。
【図4A】時間と共に相当変化する輝度マッピングがその後適用されることになる場合の、例えばグラフィック小画像（ＵＩウィンドウのような）を映像と任意にミックスするときの課題の一部を概略的に説明する図である。
【図4B】時間と共に相当変化する輝度マッピングがその後適用されることになる場合の、例えばグラフィック小画像（ＵＩウィンドウのような）を映像と任意にミックスするときの課題の一部を概略的に説明する図である。
【図4C】時間と共に相当変化する輝度マッピングがその後適用されることになる場合の、例えばグラフィック小画像（ＵＩウィンドウのような）を映像と任意にミックスするときの課題の一部を概略的に説明する図である。
【図5】本概念に係る一部の可能な技術的装置を１つの概要画像に図示する図である。
【図6】スケーラブル２層型の、可能な先行技術のＨＤＲ映像エンコードの一部の概念を説明する図である。
【発明を実施するための形態】
【0068】
図３によって本発明の態様の一部を説明する。コンテンツ作成装置３０１があり、限定することなく、読者はそれを、映像を作成及び通信する中継車内のテレビジョン放送事業者の映像装置、又はコンピュータグラフィック生成会社のコンピュータ等であると仮定することができる。作成された符号化映像ＩＭ（すなわち例えばＲｅｃ．７０９エンコードＳＤＲ画像、又は代替的にＳＭＰＴＥ２０８４ＥＯＴＦエンコードＨＤＲ画像等）、及び異なるダイナミックレンジの画像を得るための輝度再マッピング（例えば、チャネル通信され、例えばケーブルテレビジョン映像通信システムの受信側で受信されたＳＤＲ画像によって元のマスタＨＤＲ画像が表現される場合のその再構築）のために必要な関数Ｆ＿ｃｔ＿ｏｒがある（「ｏｒ」はオリジナルを示すが、関数ベースのＨＤＲ画像符号化によれば、これが、受信サイトで異なるダイナミックレンジの少なくとも１つの画像を計算することができるために、出力されるピクセル化画像に属する関数であるからである）。このＦ＿ｃｔ＿ｏｒは元のコンテンツ作成者によって特定される色変換又は特に輝度マッピング関数であり（例えば、対応する特定のＨＤＲシーン画像がどのように、例えば１００ニトＳＤＲ画像に輝度再グレーディングされるべきかを特定するとしてコンテンツ作成者によって元々作成された輝度マッピング関数形状Ｆ＿ｃｔ＿ｏｒにエンコードされる具体的な輝度処理指示に基づいて、受信側が、例えば７５０ニトディスプレイピーク明度ＰＢ＿Ｄで描画するための対応する画像のルマ又は輝度がどれくらいであるかを計算することによって、非常に異なるダイナミックレンジ能力下で依然として最適に見える画像を得るために、自分のコンテンツがどのように輝度適合されるべきかを示す）、そしてそれは、コンテンツ作成装置によって出力されるメタデータ、例えばＳＥＩメッセージで、映像通信媒体３０２を通じて通信される。今のところこの媒体をポータブルメモリ及び特にブルーレイディスク（ＢＤ）であると仮定するであろうが、熟練した読者は同様に、例えば衛星ＴＶ接続又はインターネット接続等を想像することができる。
【0069】
ＢＤに記憶される映像は、ディスプレイ３０５（例えばＨＤＲ ＴＶ）に直接入力されるのでなく、典型的には、作動中に第２の映像通信インタフェース３０４、例えばＨＤＭＩ（登録商標）ケーブル又はワイヤレス接続等を介してディスプレイに接続される中間画像処理装置３０３へ入力されることになる（これは、中間装置が一部の画像処理動作をすることができる一方、さもなければディスプレイへの直接の供給では、どのような動作もそのディスプレイで発生することになるという興味深い追加的な問題を提起する）。そのＢＤの例では、中間画像処理装置３０３はＢＤプレーヤであろうが、当業者は、ＳＴＢ又はコンピュータ等に同じ技術が同様に具現化され得る仕方を理解するはずである。中間画像処理装置３０３が典型的にはディスプレイと同じ位置、通常は最終視聴者の家に存在するということが、点線の長方形で象徴的に図示される。
【0070】
ここで図４によって問題が更に説明される。映画の様々なＨＤＲシーンの輝度特性の変化に対応して映像の順次連続場面の間変化する時変輝度マッピングの典型例を図示する（本出願で与えられる単純な説明より多くの情報については、読者はＷＯ２０１２０３５４７６を参照されたい）。ＳＤＲ＜＞ＨＤＲ変換が比較的簡単であると考える人もいるが、この単純な例で、輝度マッピング関数形状から、早くも、汎用ダイナミックレンジ再マッピングがどのようであるかがわかる。
【0071】
図４Ａにおいて、ＨＤＲシーンの一例であるが、そこから連続画像が示されて行く。或る人物が夜間街路の概観街路シーンからよく照らされた住宅内へ歩いて行くが、ここで室内構成フレームだけが示される（窓越しに見える外側は黒に制限されることができる）。又は、日に照らされた昼間の屋外からかなり暗いがまだ暗闇でない屋内に人物が歩いて行くときに関連する問題が発生する。
【0072】
図４Ｂにおいて、左のＨＤＲ輝度Ｌ＿ＨＤＲ（最大ＰＢ＿Ｃ＝１０，０００ニトまでの典型的なＨＤＲ１０レンジを仮定する）と右側軸の（１．０に正規化された）ＳＤＲ輝度との間の数例の（例えばコンテンツ作成者のカラーグレーダによって決定される芸術的）所望の輝度マッピング（すなわち対応するマッピング関数形状）を挙げる。
【0073】
例えば、人間が白い衣服を着ていれば、白い物体に対して良好な参照輝度物体となることができる（が、明暗環境間を歩くと輝度は変化する）。
【0074】
よく照らされた屋内場面では、ＳＤＲに近い状況となることができる（実際、室内がよく照らされれば、おそらく、見えない黒にマッピングする一部のあまりに暗い隅、又は一部のランプをクリッピングするなどを除いて、通常ＳＤＲ表現がかなりよく作用すると知られており、それ故に、あまり問題を含むＳＤＲの色表現及び／又は表示誤差ではない）。それ故に、ＳＤＲ白レベルまでの輝度を有することができ、すなわち、人物の衣服の白を１００ニトの近くに、又は説明のために厳密に１００ニトにマッピングすることができる。それは、通信されたＳＤＲ画像で１００ニトである（そして照明に関して、ＨＤＲ画像においても、これが１００ニト輝度レベルに対応するようである場合、少なくともその瞬間のその部分的な状況に対しては、ＳＤＲ画像はＨＤＲ画像のかなり良好な表現であるようである）。
【0075】
逆に定式化すると、そのような状況でも、（受信側で再構築可能な又は作成側でマスタ）ＨＤＲ画像で人物の白シャツピクセルに±１００のニトの輝度を与えることが意味をなし、これは等輝度マッピングである。図４Ｃの正規化関数定義において（すなわち最大１．０まで上ることができる正規化ＳＤＲ及びＨＤＲ輝度間に輝度マッピング関数が等しく定義される）、そのような動作は第１のマッピング関数４２０に対応し、それは（相対）減光性を有する。例えば、ＨＤＲ画像のＰＢ＿Ｃが１０００ニト（すなわち１．０に対応する実際の輝度）であれば、第１のマッピング関数４２０は、全ての可能なＳＤＲ入力輝度に対して減光／１０に対応する（１００ニト白シャツが１０００ニトＨＤＲ画像ＰＢ＿Ｃの１／１０であるからである）（この例では、ＨＤＲ画像では１００ニト又は０．１を上回るものがないことを意味し、ＨＤＲ画像として表現されるあまり高ダイナミックレンジでない均一に照らされたシーンの場合には、事実その通りであり、実際には、一部の明るい異常値があるが、それらのマッピングは、ＳＤＲ画像がそれらを表現する仕方、例えばクリッピングに依存する）。図４Ｂにおいて、白い人物の衣服の対応マッピングが点線の輝度再割当て矢印４１０で概略的に表現される。
【0076】
しかしながら人物が外を歩く場合、夜間街路は非常に暗い角並びに、例えば街灯（及び壁のような、それらの近くの物体）の非常に明るいピクセルを同時に有し得る。それ故に、このかなり高ダイナミックレンジの輝度を依然同じかなり小さい０．１～１００ニトＳＤＲレンジへ圧縮しなければならない。ＳＤＲレンジでの人物の相対明度を減光して（矢印４１１）、街灯のような、より明るい物体のための空間を得る（矢印４１２）必要がある。典型的には凸関数を得て、これは、デコード側（すなわち、受信したＳＤＲ画像からＨＤＲ＿１０００画像へのマッピング）では狭義増加凹第２輝度マッピング関数４２１（例えば、最も暗い及び最も明るいピクセルに対する線形区分によって定義される）のように見える逆関数である。これは明らかに、かなり異なる視覚行動を伴う、非常に異形状の関数であるが、但し時間と共に一連の画像に対応する。
【0077】
シーン物体の観点から、コンテンツ作成者は、映画全体が、画像ごとだけでなく、時間の連続としても最適に見えるように、それらの関数を最適化したであろう。例えば、第１の関数４２０に対するＨＤＲ輝度範囲の表面上奇妙な低使用から見ることができるように、これは、人物が屋外を歩いているときと類似しているＨＤＲピクセル輝度を生成するが、それでもＳＤＲ画像に関して人物は屋内及び屋外画像両方で程よく明るく且つ目に見える。そのような関数は、ＳＤＲ及びＨＤＲ画像両方において、シーンの暗い又は明るい領域に移動するときに人物に同様の見た目、或る量の減光又は増光を与えるように調整されることが、並びに同調されることができ、そして原則として、その関係は、各瞬間のために自分が必要とする関数形状を特定するコンテンツ作成者の能力によって、２つのグレーディングで芸術的に必要とされれば何であることもできる。それ故に、シーンピクセルはこの映像コンテンツに「完全に」見えることになる。
【0078】
しかしながら、中間画像処理装置３０３が新たなピクセル値を作成し始めるときに問題が発生するため、スマートに対処し得る（例えばその後の典型的な又は実際の輝度変更動作を予想する）が、しばしば固定的にそうしており、関数輝度再グレーディングの具体的な表色態様を考慮していない（しばしば、ＢＤプレーヤはＳＤＲ画像を変更したいが、単にディスプレイに関数を渡して、そのディスプレイに必要とされるＳＤＲ－ＨＤＲ変換、又は異なるダイナミックレンジの画像の他の生成を行わせるだけである）。
【0079】
ＢＤプレーヤがそのユーザインタフェースの状態を示すグラフィック要素４０２を重畳するとする。簡単のために、それが単なるピクセル置換であるとするが、例えば透明度が関与すると、例えばアルファｘグラフィック輝度＋（１－アルファ）ｘ下のＨＤＲシーン画像輝度のミキシング、又はフェードなどの一時効果等さえ、事態をより複雑にし得る。
【0080】
グラフィック要素４０２内の矢印（すなわち小画像）は、典型的には、ＵＩの設計者によって、例えば、白色を与えられる。ＵＩのその設計者が白を指定するとき、ＳＤＲ白（すなわち、１００ニトとして表示するルマ２５５、故に、通信されるＳＤＲ画像の１．０値、すなわち、人物のシャツが、少なくとも一部の照明領域に対応する画像の一部にある）を暗に考えており、そしてＨＤＲ画像符号化又は表示において幾つかのかなり異なる白があり得ることを意識さえしていない。関数４２０が使用される場合、矢印は再構築ＨＤＲ画像上で１００ニトとして現れるので、事態はうまくいくであろう。しかしながら、別の時点のためにＦ＿Ｌｔが関数４２１に変われば、ディスプレイは、ＳＤＲ画像で白として定義される全ての色をＨＤＲ画像のピーク明度、すなわち１０００ニトに上昇させることになる。１０００ニトは、ランプのような、ＨＤＲシーン画像内の対応物体に対しては公正な値であるが、矢印は極端に光り始める。そして、より当惑させるほどに、動的に可変の輝度マッピング関数形状が変化するたびに、それはちらつき始めて、この例では既に１０倍と、著しく明るく又は暗くなる（更に読み易さで不利であるので、例えばユーザインタフェースメニューや字幕等には適切でない）。
【0081】
図５は、本発明概念の一部の可能な実施形態を１つの全システム構成で簡潔に図示する。
【0082】
本発明は中間画像前処理装置（５０１）だけで実現されることができ、その場合、標準の、例えばＨＤＲ ＴＶが接続されることができ、特別な何かが発生したという事実には気づかない。それは、ここで新たな代替輝度マッピング関数Ｆ３を適用することになる（すなわち、現画像のための時間と共に動的に変化する、最適に決定された輝度マッピング関数Ｆ＿Ｌｔを渡す代わりに、装置５０１は（フォールバック）関数Ｆ３を通信し、これは現ＨＤＲシーン画像に対しては最適でないが、実際には十分に作用し、視聴者はおそらくメニュー情報を見ているので、周囲の映像輝度についてはあまり重要でない）。この問題に良好な理論的解法がないのは、グラフィック位置が任意の種類の輝度を作成することができ、これは、グラフィックが存在しない下の映像の相似値入力輝度に対する出力輝度より同じ入力輝度値（グラフィック内部）に対する別の出力輝度を必要とし（すなわち、１Ｄ輝度マッピング関数によって完全に実現されることができない）、例えば、白矢印でなくランプを増光したくなるからである。実際、導入部に記載したＷＯ２０１７０８９１４６Ａのような複雑な新規な輝度同調技術を設計する必要があるが、例えば、製造業者が単純に保ちたい装置においては、必ずしも可能でない。しかし、装置５０１は、少なくとも、それが、例えばグラフィックピクセルが下の映像とほぼ１００％ミックスされている、すなわち例えば、不透明であるときでもあまり明るくならないこと、及び特にグラフィックピクセルのためのこの出力輝度が時間と共にあまり大きく変化しないことが少なくとも保証される関数を通信する（少なくとも１つのメタデータで）ようにし得る。例えば、図４を参照すると、ディスプレイ（又は中間装置５０１に接続される装置一般）は、関数４２０と類似している線形関数を使用し得るが、３倍高くなる、すなわち、１．０ＳＤＲ入力輝度（Ｌ＿ｉｎ＿ＳＤＲ）をＨＤＲ出力輝度Ｌ＿ｏｕｔ＿ＨＤＲ＝０．３にマッピングする。これは、早くもＳＤＲ画像の程よく明るくされたＨＤＲバージョンを与える。しかし、迷惑なほど明るいグラフィック要素がなく、そして特にこの関数が連続画像に対して使用され続けるので、ちらつき描画でない（映像輝度は幾分変化するが、それはこのグラフィックディスプレイシナリオではあまり迷惑でなく、そして映像の変化は自然で且つ予想通りであるが、ここではそれは理論的に最適ものより軽減されたＨＤＲルックで表示される）。より高度な関数は関数４２１のように凹形状を有する、すなわち、大抵は画像のより明るいピクセルを明るくするが、最大値は１．０にでなく、例えば０．３にマッピングする（少なくとも１０００ニトＰＢ＿Ｄディスプレイに対して）。
【0083】
この関数は、例えば、ハイライトのより強い増光が開始する決定位置（Ｌ＿ｉｎ＿ＳＤＲ＿ｔ）を持つ２つの線形部分を有する形状を有し得る。中間装置は、一部の実施形態において、或るスマートさを適用してもよく、例えばディスク媒体を使用するとき、それは、連続した、例えば２分間どの種類の画像関数が必要とされるかを検査する先読みをし、そして所定の関数としてそれに基づく何らかの平均関数を使用して、例えば、暗い輝度が適度に描画され（あまり明るくない又は薄暗くない）且つ明るい輝度があまり過度に増光されないが、物体間低コントラストであまりに鈍くもないように保とうとし得る。又は、それは単に、映像状況の全て又は大抵のグラフィックに適切な表示動作を与えると知られている、製造業者の研究室で予め設計された単純関数を使用する（関数は、グラフィックの種類、例えば小さなロゴ対映像の有意な部分と重複する大きなウィンドウに依存し得る）。
【0084】
ディスプレイのＰＢ＿Ｄに依存する関数について、最も暗いピクセルのセグメントの角度がＰＢ＿Ｄに依存することができる（そして、それが事前に同意されたアルゴリズムによって決定されている場合、ディスプレイがそれ自体のＰＢ＿Ｄ及び事前に同意されたアルゴリズムを既に知っているので、出力画像ＩＭＣのＨＤＲバージョンを作るために、それにそのような関数が適用されなければならないことを示すフラグだけがディスプレイに通信されるべきである）。
【0085】
一部の場合には、ディスプレイは、そのＰＢ＿Ｄ値を装置５０１に通信して、ＰＢ＿Ｄに応じて程よいフォールバック関数を行い、次いで例えば、この関数の厳密な形状を通信する（例えば、メタデータにＬＵＴをエンコードする、又は関数形状を一意に特定する幾つかのパラメータを与えることによってなされることができる）。
【0086】
すなわち、画像処理装置（図３における３０１及び図５における５０１）は、ディスプレイ（５５０）に接続するための出力画像接続部（５０６）と、入力画像（ＩＭ）及び少なくとも１つの輝度マッピング関数（Ｆ＿Ｌｔ）を特定するメタデータを受信するための入力部（５１０）とを有するが、出力接続部は、一部の実施形態において、ディスプレイからのフィードバック情報に対して双方向性でもよい（又はそれのための第２の入力があってもよい）。典型的には（但し任意選択で）入力画像はＭＰＥＧ圧縮（例えばＨＥＶＣ）されており、この場合ＨＥＶＣデコーダ５０３がそれらを、ピクセル輝度を有するピクセル色を有する通常のピクセル画像（ＩＭＤ）にデコードする。入力がＢＤから来る場合、輝度マッピング関数はＢＤに焼かれており、そしてそれから読出し等がなされる。出力画像は幾つかのシナリオで伸長されるが、原則ではディスプレイに通信される圧縮画像のままでも作用する。
【0087】
画像処理装置（３０１、５０１）は、固定された所定の輝度マッピング関数を、接続されるディスプレイ（５５０）の最大輝度に関係なく許容可能な結果を与えるように事前に決定されている形状で出力することができる。関数は絶対方式で特定され、そして５０００ニトディスプレイに対してさえ、例えば１０００ニトで終わるように示される。
【0088】
これは、例えば、画像のコントラストが最適でないことを意味し得るが、関数は、例えば、最も暗いピクセルを、少なくともそれらが見えるようにマッピングするように（受信したＨＤＲ画像を低ダイナミックレンジにダウングレードする例で）、又は例えば、最も暗いピクセルに対して等輝度手法を使用するように（例えば正規化ＳＤＲ輝度で０．３まで）設計され得る。本装置は、ディスプレイがその所定の輝度マッピング関数Ｆ３を適用するとグラフィック単独がどのように見えるかという仮定を、画像を見る必要なくすることができる。
【0089】
画像処理装置（３０１、５０１）は、代替的に、接続されるディスプレイ（５５０）の最大輝度に依存する形状の所定の輝度マッピング関数を出力することができる。これは、例えば、最も暗い画像範囲のより良好な暗さを維持し、そして明るいＵＩがディスプレイ上でどのように見えるかを調整するため等に有用である。
【0090】
装置５０１が実際にディスプレイに状況を通信する方式は、例えばＨＤＭＩ（登録商標）インタフェースをどのように標準化したいかに応じて様々である。例えば、単純に適用されることになる輝度マッピング関数が通信される（単一メタデータ）ことが同意されることができ、それでディスプレイは、それを盲目的に適用し、そしてそれを安全に選ぶのを装置５０１に依存する。
【0091】
又は、通信を２つの異なる種類のメタデータ、所定のフォールバック関数のためのＭＥＴ＿１及び動的変化関数が通信される場合のＭＥＴ＿２で交互にすることができ、その場合、ディスプレイは、その画像入力部（５５２）に接続される画像供給装置が所定のフォールバック輝度マッピング関数（Ｆ３）を通信したという状況を認識するように構成されるその動的メタデータ解析器（５５１）で状況を検査することができる。
【0092】
そのようなメタデータ解析器（５５１）は、インジケータが満たされて、その関数の形状が通信されないがディスプレイによって知られていても、普遍的に事前に同意された（そのインジケータによって示される、例えばＦａｌｌｂａｃｋ＿ｔｙｐｅ＿１）ので、所定のフォールバック輝度マッピング関数が使用されるべきであることを示したかどうかも見ることができる。
【0093】
すなわち、特許請求される画像処理装置（３０１、５０１）は、加えて又は代替的に、ディスプレイが受信する出力画像（ＩＭＣ）を異なる輝度ダイナミックレンジの画像に変換するために所定のマッピング関数がディスプレイによって使用されるべきことを示す、フラグ若しくは関数型番号（例えば、或る種類のグラフィックミキシング及び／又は元の映像輝度分布に適切な３つのうちの所定の関数形状１）などの、インジケータ（ＦＬＧ）をディスプレイに通信する。
【0094】
ダムディスプレイに応対する中間装置に加えて、本発明の一部の態様がより高度なディスプレイに至ることもでき、そして中間装置の実施形態もそのようなより高度なディスプレイと作用するように設計されることができる。そのようなディスプレイ（５５０）は、その画像入力部（５５２）に接続される画像供給装置が所定のフォールバック輝度マッピング関数（Ｆ３）を通信したという状況を認識するように構成される動的メタデータ解析器（５５１）を備え、例えば、それは、所定のフォールバック輝度マッピング関数を通信するために事前に定義された第１の種類のメタデータ（ＭＥＴ＿１）が満たされていること、又は時変輝度マッピング関数を通信するために事前に定義された第２の種類のメタデータ（ＭＥＴ＿２）が満たされていない（最適化メタデータがなく、フォールバックメタデータがあるであろうことを意味する）ことを識別する。
【0095】
理解を簡単にするために関数を教示し、一部の実施形態においても画像（瞬間）上への関数集合が通信されることができ、これらは連結されて適用されることになるが、本新技術の本質を大きく変えないことに留意されたい。輝度は３次元色特性評価の１次元であるので、他の色処理態様が存在し、しかも異なる色表現で異なるが、本発明は輝度動作に集中することによって完全に説明されることができる。装置５０１がルマ又は輝度表現でそのピクセルをミックスするかどうかは一般的な本教示とは無関係な選択可能な詳細であるが、しばしば本装置は、ディスプレイへの接続を通じて（例えばＨＤＭＩ（登録商標）を通じて）非圧縮映像を送る。本装置がメタデータを通信しないことによってそのフォールバック状況を通信する場合、ディスプレイは、固定された所定のマッピング関数を適用することによってそのことも理解する。
【0096】
本テキストに開示されるアルゴリズム構成要素は、実際には、ハードウェア（例えば特定用途向け集積回路の部品）として又は専用デジタル信号プロセッサ若しくは汎用プロセッサ上で実行するソフトウェア等として（全体的に又は部分的に）実現される。
【0097】
どの構成要素が任意選択の改良であり、そして他の構成要素と組み合わせて実現されることができるか、並びに方法の（任意選択の）ステップがどのように装置のそれぞれの手段に対応するか、及びその逆が、本提示から当業者に理解可能であるはずである。本出願における語「装置」は最も広義、すなわち、特定の目的の実現を可能にする一群の手段に使用され、したがって例えば、ＩＣ（の小回路部）、専用器具（ディスプレイ付き器具など）、又はネットワーク化システムの部品、等である。「配置」も最も広義に使用されると意図されるので、それは、とりわけ、単一の装置、装置の一部、協調装置の（一部）の集合、等を備えてる。
【0098】
コンピュータプログラム製品表示は、汎用又は専用プロセッサが、一連のロードステップ（中間言語及び最終プロセッサ言語への変換などの中間変換ステップを含む）後に、プロセッサへコマンドを入力すること、及び発明の特性関数のいずれかを実行することを可能にするコマンドの集合の任意の物理的実現を包含すると理解されるべきである。特に、コンピュータプログラム製品は、例えばディスク若しくはテープなどのキャリア上のデータ、メモリに存在するデータ、ネットワーク接続－有線若しくは無線－を介して進行するデータ、又は紙上のプログラムコードとして実現される。プログラムコードから離れて、プログラムのために必要とされる特性データも、コンピュータプログラム製品として具現化される。
【0099】
方法の動作のために必要とされるステップの一部が、データ入出力ステップなど、コンピュータプログラム製品に記載される代わりに、プロセッサの機能性に既に存在してもよい。
【0100】
上述の実施形態が本発明を限定するよりむしろ例示することが留意されるべきである。当業者が請求項の他の領域に提示した例のマッピングを容易に実現することができるが、簡明さのために全てのこれらの選択肢を詳細に記載したわけではない。請求項に組み合わされる本発明の要素の組合せから離れて、要素の他の組合せが可能である。要素の任意の組合せが単一の専用要素に実現されることができる。
【0101】
請求項内の括弧間の任意の参照符号は、請求項を限定するために意図されない。語「備える」は、請求項に列記されない要素又は態様の存在を除外しない。要素に先行する単語「ａ」又は「ａｎ」は、複数のそのような要素の存在を除外しない。
【符号の説明】
【0102】
５０１ 画像処理装置
５０２ グラフィック生成ユニット
５０４ 画像合成ユニット
５０５ 輝度関数選択ユニット
５０６ 出力画像接続部
５０７ メタデータ出力部
５１０ 入力部
５５０ ディスプレイ
５０２ グラフィック生成ユニット
５０４ 画像合成ユニット
５０５ 輝度関数選択ユニット
５０６ 出力画像接続部
５０７ メタデータ出力部
５１０ 入力部
５５０ ディスプレイ
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
