(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0024】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【0025】
図1には、本明細書で開示する技術を適用する画像伝送システム100の構成例を模式的に示している。図示の画像伝送システム100は、画像ストリームを送信する画像送信装置200と、画像ストリームを受信して表示出力する画像受信装置300で構成される。
【0026】
画像伝送システム100がOTT(Over The Top)などのネット配信サービスに適用される場合、画像送信装置200はストリーミング・サーバーであり、画像受信装置300はパーソナル・コンピューターなどで構成されるクライアントである。また、画像伝送システム100がディジタル放送サービスに適用される場合、画像送信装置200は放送局であり、画像受信装置300は家庭内に設置されたテレビ受信機などである。また、画像伝送システム100がUHD(Ultra High Definition)−BD(Blu−ray(登録商標) Disc)などの記録再生システムに適用される場合、画像送信装置200はBDなどのメディアに画像を記録する記録装置に相当し、画像受信装置300はBDプレーヤーなどのメディア再生装置と再生画像を表示出力するディスプレイなどである。画像伝送システム100では、映画などの商用コンテンツが伝送される。例えばネット配信サービスや放送サービスでは、コンテンツはMPEG2 TSなどの符号化ストリームとして伝送される。また、UHD−BDのような再生システムでは、例えばHDMI(登録商標)(High Definition Multimedia Interface)インターフェース経由で、BDプレーヤーからディスプレイへ、非圧縮の再生ストリームが伝送される。
【0027】
ネット配信サービス、放送、UHD−BDなど画像コンテンツを提供する各種業界では、高品位コンテンツの要素4K解像度技術に加えて、輝度成分のダイナミック・レンジ拡張並びに広コントラストのHDR技術が期待されている。HDR技術によれば、可視範囲のすべての輝度を記録することができ、人間の視覚特性と同等のダイナミック・レンジと色域をサポートすることができる。また、ディスプレイ業界においても、輝度成分のダイナミック・レンジ拡張に対応した機能を搭載した製品が出現してきている。例えば、直下型LED(Light Emitting Diode)を用いた液晶表示ディスプレイは、光の煌きを忠実に再現し、高輝度な画像表現を実現することができる。
【0028】
図2には、画像送信装置200側(若しくは、コンテンツ制作側)においてHDRコンテンツを処理するワークフローを模式的に示している。
【0029】
撮影部201は、例えば4Kカメラを装備して、ITU−R勧告 BT.2020に基づく広色域表色系のカラー画像を記録する。
【0030】
次いで、グレーディング・マスタリング部202では、撮影したコンテンツに対してグレーディング又はマスタリング処理を行ない、参照番号212に示すような変換テーブルを用いて符号値と輝度を線形変換して、HDRのマスター・コンテンツを生成する。このHDRマスター・コンテンツに対して、後述するようにメタデータ生成処理が行なわれる。
【0031】
次いで、光電変換部203は、参照番号213で示すようなOETF変換テーブルを用いて輝度を10ビットの符号値に非線形変換して、HDRマスター・コンテンツの光線形の輝度信号をパネル駆動信号に変換する。
【0032】
符号化部204は、HDRマスター・コンテンツ並びにそのメタデータを符号化して、MPEG−2 TS(Moving Picture Experts Group −2 Transport Stream)などの所定の符号化形式のストリームを生成する。そして、生成された符号化ストリームは、図示しない送信インターフェースから、画像受信装置300に向けて送出される。
【0033】
図3には、画像受信装置300側においてHDRコンテンツを処理するワークフローを模式的に示している。
【0034】
復号部301は、図示しない受信インターフェースで受信した符号化ストリームを元のコンテンツ(パネル駆動信号)に復号処理するとともに、メタデータを抽出する。
【0035】
次いで、電光線形変換部302は、参照番号312で示すようにEOTF変換テーブルを用いて、復号した10ビットの符号値からなるパネル駆動信号を光線形の輝度信号に変換する。本実施形態では、EOTF変換した後の光線形の輝度信号に対して、メタデータに記述された輝度情報に基づくダイナミック・レンジ変換処理が行なわれる(後述)。
【0036】
次いで、線形ディスプレイ・ガンマー変換部303は、参照番号313で示す線形変換テーブルを用いて、輝度信号にガンマー処理を施して、表示パネルの入力特性に合わせたパネル駆動信号へ変換する。そして、液晶表示パネルなどからなる表示部304は、パネル駆動信号に従って駆動して、コンテンツを画面表示する。
【0037】
画像伝送システム100において、HDR技術を適用する場合、画像送信装置200と画像受信装置300がそれぞれ持つダイナミック・レンジが一致しないという事態が想定される。このような場合、画像受信装置300側では、受信した画像のダイナミック・レンジ変換を行なって、自分の性能に適合させるディスプレイ・マッピングが必要になる。
【0038】
ところが、ディスプレイ・マッピングにおいて、単純に線形スケーリングによりダイナミック・レンジの変換を行なうと、多大な情報が失われ、変換の前後で人間の見た目が多いに相違する画像になってしまうことが懸念される。このような情報の損失は、コンテンツの制作者や供給者の意図にも反することである。
【0039】
したがって、画像伝送システム100においてHDRの世界を構築するには、制作側若しくは画像送信装置200側においてHDRコンテンツを提供し、画像受信装置300側においてHDR対応の表示デバイスを装備するというだけでなく、HDRコンテンツの制作ワークフローを確立する必要がある、と本発明者らは思料する。
【0040】
また、画像受信装置300側などでディスプレイ・マッピングによりHDR画像のダイナミック・レンジ変換を行なう際に、コンテンツの制作者や供給者の意図が損失しないようにする必要がある。そこで、本明細書で開示する技術では、単純な線形スケーリングではなく、コンテンツの制作者や供給者の意図を、画像ストリームに付随するメタデータとして伝送するようにしている。
【0041】
画像伝送システム100では、HDRコンテンツの制作プロセス、撮影、編集、符号化・復号、伝送、表示の一連のワークフローにおいて、マスタリング又はグレーディング時におけるコンテンツのピーク輝度、色域、光電伝達特性(EOTF)などの、コンテンツの制作者や供給者の意図を示す情報を格納するメタデータを定義する。画像送信装置200から画像受信装置300へコンテンツを伝送する際には、このようなメタデータを合わせて送信する。そして、画像受信装置300側では、メタデータを活用して受信したコンテンツに対するダイナミック・レンジ変換などの処理を行なうことで、コンテンツの制作者や供給者の意図を反映する効果的なHDR画像表示を実現することができる。
【0042】
コンテンツの制作者や供給者の意図を反映させるためのメタデータは、以下の(1)と(2)の2種類に大きく分類することができる。
【0043】
(1)コンテンツのオーサリング又はマスタリング
時で取得可能なメタデータ
(2)ディスプレイ・マッピングで必要(若しくは、強く要求される)メタデータ
【0044】
また、ディスプレイ・マッピングで有用と思われる要素として以下の(a)〜(d)を挙げることができる。
【0045】
(a)コンテンツのマスタリングに使用するモニター・ディスプレイのピーク輝度
(b)コンテンツのピーク輝度
(c)Diffuse white輝度
(d)注目輝度
【0046】
ここで、(a)のマスタリング・モニターのピーク輝度はハードウェアの基本仕様として自動検出することができる。また、(b)のコンテンツのピーク輝度は、画像又はシーン内の最大輝度であり、例えば光が反射している部分に相当し、画像の輝度解析により自動検出することができる。また、(c)のDiffuse white輝度は、画像又はシーン内で基準となる白の輝度である。Diffuse white輝度は、大面積を占める白でもあり、画像の輝度解析により自動検出することができ、コンテンツの制作者が検出値を任意に変更することも可能である。また、(d)の注目輝度は、コンテンツの制作者が主に見せたい、シーンの中心となる物体の輝度であり、コンテンツの制作者が設定する。例えば、人が映ったシーンでは、注目輝度は人物の肌(Flesh tone)に相当する輝度である。上記の4種類の輝度情報のうち、(a)はハードウェアの仕様により定まる静的な値であり、(b)〜(d)はシーン毎に変化する動的な値である。なお、Diffuse White輝度は、一般に100%白輝度と呼ばれる輝度レベルに類似することもある。また、注目輝度は、例えば100%白輝度の18%程度の輝度レベル(18%gray)や平均輝度に類似することもある。
【0047】
図4に示す、白いテーブルの上に載せたガラス細工を撮影した画像を例にとって、ディスプレイ・マッピングにおいて基準となる各輝度情報(b)〜(d)をについて説明しておく。ガラス細工の表面で、光が反射している部分がピーク輝度401に相当する、また、白いテーブルはシーンの大面積を占め、Diffuse White輝度402に相当する。また、ガラス細工は、
図4に示したシーンの中心となる物体であり、その表面の主に見せたい部分を、注目輝度403としてコンテンツの制作者が設定する。
【0048】
例えば、画像送信装置200から送信されたHDRコンテンツに対して、画像受信装置300側でディスプレイ・マッピングを行なう場合、注目輝度以下の輝度は保持することが、コンテンツの制作者又は供給者から強く期待されていると考えられる。また、Diffuse white以下の輝度は、ある程度保持することが、コンテンツの制作者又は供給者から期待されていると考えられる。
【0049】
図5には、ディスプレイ・マッピングにおいて基準となる輝度情報(b)〜(d)の一例を、EOTF特性上で示している(横軸は輝度の10ビット符号値であり、縦軸は線形輝度値[cd/m
2]である)。同図中、参照番号501は、コンテンツのピーク輝度(Peak white)を示している。図示の例では、ピーク輝度は2000cd/m
2、10ビットの符号値で844である。また、参照番号502は、Diffuse white輝度を示している。Diffuse white輝度には、リファレンス白の輝度値を設定する。具体的には、Diffuse white輝度は、シーン内に映っているテーブルやシャツのような支配的な白などに相当し、300〜500cd/m
2程度の輝度であり、従来のSDR(Standard Dynamic Range)の100%白に相当する。図示の例では、Diffuse white輝度は500cd/m
2、10ビットの符号値で691に設定されている。また、参照番号503は、注目輝度を示している。注目輝度には、シーンの中心となる人の肌色(Flesh Tone)や物体の輝度値を設定する。図示の例では、注目輝度は50cd/m
2、10ビットの符号値で451に設定されている。
【0050】
本実施形態に係る画像伝送システム100では、画像受信装置300側で適切なディスプレイ・マッピングを実現するために、画像送信装置200は、上記の輝度情報(a)〜(d)をメタデータとして伝送する。また、画像受信装置300は、これらの輝度情報(a)〜(d)を利用して、個々の性能に適したコンテンツの表示を行なうことができる。すなわち、HDRコンテンツの送信側からは、保持すべき輝度ポイントであるDiffuse white輝度や注目輝度がメタデータを用いて指定される。一方、HDRコンテンツの受信側では、ディスプレイ・マッピングにおいてダイナミック・レンジを圧縮又は伸長する際に、メタデータで指定された輝度ポイントを参考にすることで、コンテンツの制作者又は供給者の意図に応じた画像表示を実現することができる。但し、ダイナミック・レンジの圧縮又は伸長処理(変換処理の際に、メタデータで指定された輝度ポイントをどのように利用するか)は、基本的には受信側(ディスプレイ側)に委ねられているものとする。上記の輝度情報(b)〜(d)以外に、100%白輝度や18%gray、平均輝度などもメタデータに含めるようにしてもよい。
【0051】
なお、メタデータは、シーン単位で上記の輝度(a)〜(d)を反映させるために、ダイナミックであるべきである。
【0052】
ディスプレイ・マッピングにおいて有用な上記の輝度情報(a)〜(d)を伝送するコンテナーとして、MPEGで既に定義されているSEI(Supplemental Enhancement Information)を利用することができる。あるいは、輝度情報(a)〜(d)の伝送コンテナーとなるSEIを新たに定義したり、SEI以外の伝送コンテナーを利用したりしてもよい。
【0053】
以下では、MPEGにおいて非圧縮画像データのダイナミック・レンジ変換定義情報として定義されている「knee_function_info SEI(Supplemental Enhancement Information)」を輝度情報(a)〜(d)の伝送コンテナーに用いる場合を例にとって説明する。
【0054】
図6には、ダイナミック・レンジ変換定義情報「knee_function_info SEI」のシンタクス例を示している。各パラメーターの本来の意味について説明しておく。
【0055】
このknee_function_info600では、ニー変換ID(knee_function_id)601とニー変換キャンセル・フラグ(knee_function_cancel_flag)602が設定される。
【0056】
ニー変換ID601は、ニー圧縮又はニー伸長であるニー変換の目的に固有のIDである。本実施形態では、当該knee_function_info SEIを本来のダイナミック・レンジ変換定義情報として用いる場合にはニー変換ID601をロー・レベル「0」に設定し、上記の輝度情報(a)〜(d)の伝送コンテナーに用いる場合にはニー変換ID601をハイ・レベル「1」に設定するものとする。また、ニー変換キャンセル・フラグ602は、直前のknee_function_infoの連続性をキャンセルするかどうかを表すフラグである。ニー変換キャンセル・フラグ602は、前のknee_function_infoの連続性をキャンセルする場合にはハイ・レベル「1」を設定し、キャンセルしない場合にはロー・レベル「0」を設定する。
【0057】
また、ニー変換キャンセル・フラグ602がロー・レベル「0」である場合、knee_function_info600には、ダイナミック・レンジ変換定義情報が設定される。このダイナミック・レンジ変換定義情報は、持続フラグ(knee_function_persistence_flag)603と、圧縮伸長フラグ(mapping_flag)604と、入力画像のピーク輝度(0.1%単位)を格納する入力画像ダイナミック・レンジ情報(input_d_range)605と、入力画像のピーク輝度に対応するディスプレイの明るさ(0.1%単位)を格納する入力画像表示ディスプレイ最大輝度情報(input_disp_luminance)606と、出力画像のピーク輝度(0.1%単位)を格納する出力画像ダイナミック・レンジ情報(output_d_range)607と、出力画像のピーク輝度に対応するディスプレイの明るさ(0.1%単位)を格納する出力表示ディスプレイ最大輝度情報(output_disp_luminace)608と、ニー位置数情報(num_knee_point_minus1)609が設定される。さらに、ニー位置数情報609の数分だけニー位置毎の情報のループ610が配置される。各ニー位置情報ループ内には、ニー位置毎の変換前ニー位置情報(input_knee_point)611と変換後ニー位置情報(output_knee_point)612がニー位置毎に設定される。
【0058】
持続フラグ603は、一度送ったknee_function_info600がその後も有効なのか、1回限りなのかを示すものである。knee_function_info600が付加されたピクチャーに限り有効な場合には、持続フラグ603にロー・レベル「0」を設定し、ストリームが切り替わるまで有効又は新しいニー変換ID601が来るまで有効の場合には、持続フラグ603にハイ・レベル「1」を設定する。
【0059】
圧縮伸長フラグ604は、ニー変換がニー圧縮であるかどうかを表すフラグである。すなわち、ニー位置の数が1つである場合、変換前ニー位置情報が変換後ニー位置情報以上であるとき、ニー変換がニー伸長であると判断し、変換前ニー位置情報が変換後ニー位置情報より小さいとき、ニー変換がニー圧縮であると判断することができる。しかしながら、ニー位置の数が複数である場合、変換前ニー位置情報と変換後ニー位置情報の大小関係で、ニー変換がニー伸長であるか、ニー圧縮であるかを正確に判断することができないため、圧縮伸長フラグ604が設定される。なお、ニー・ポイントの数が1つである場合であっても、圧縮伸長フラグ604が設定されるようにしてもよい。圧縮伸長フラグ604は、ニー変換がニー圧縮である場合にはハイ・レベル「1」を設定し、ニー伸長である場合にはロー・レベル「0」を設定する。
【0060】
ニー位置数情報609は、ニー位置の数から1を減算した値である。なお、ニー位置の変換前ニー位置情報611と変換後ニー位置情報612が設定される順番i(iは0以上の整数)は、変換前ニー位置情報611の小さい順である。続くニー位置数の数分の各ループでは、i番目のニー位置における変換前ニー位置情報611と変換後ニー位置情報612が格納される。
【0061】
変換前ニー位置情報611は、ダイナミック・レンジ変換における変換前の符号化対象の画像のニー位置を表す情報であり、符号化対象の画像の輝度の最大値を1000‰としたときのニー位置の千分率で表される。ニー位置とは、符号化対象の画像の輝度のダイナミック・レンジの同一の変換率でニー変換される輝度の範囲の始点の0以外の輝度である。
【0062】
また、変換後ニー位置情報612は、ダイナミック・レンジ変換における変換後の画像の、ニー位置を始点とするニー変換される輝度の範囲に対応する輝度の範囲の始点を表す情報である。具体的には、変換後ニー位置情報(output_knee_point)は、変換後の画像の輝度の最大値を1000‰としたときのニー位置に対応する変換後の画像の輝度の千分率で表される。
【0063】
図6に示したknee_function_info SEIを、ディスプレイ・マッピングにおいて有用な上記の輝度情報(a)〜(d)の伝送コンテナーとして用いる場合、1番目の変換前ニー位置情報及び1番目の変換後ニー位置情報として注目輝度の輝度値を格納し、2番目の変換前ニー位置情報及び1番目の変換後ニー位置情報としてDiffuse whiteの輝度値を格納し、3番目の変換前ニー位置情報及び1番目の変換後ニー位置情報としてコンテンツのピーク輝度値を格納する。knee_function_info SEIを輝度情報の伝送コンテナーとして用いる場合の各パラメーターのセマンティックスを以下の表1にまとめておく。
【0065】
また、knee_function_info SEIに各パラメーターに輝度情報(b)〜(d)を設定した例を、以下の表2に示した。
図7には、表2に示したパラメーター設定例701、702、703をダイナミック・レンジ変換定義情報として示している。なお、上記の輝度情報(b)〜(d)以外に、100%白輝度や18%gray、平均輝度などもメタデータに含めるようにしてもよい。
【0067】
また、UHD−BDのようにコンテンツをブルーレイ・ディスクに記録して配布するシステムの場合には、上記のようにSEIを伝送コンテナーに利用する以外に、ブルーレイ・ディスク内のデータベース・ファイルに輝度変換情報を格納する方法も考えられる。ブルーレイ・ディスク内のデータベース・ファイルを輝度情報(a)〜(d)の伝送コンテナーに用いる場合についても説明しておく。
【0068】
ディスプレイ・マッピングにおいて有用な輝度情報(a)〜(d)の伝送コンテナー(格納場所)に使用するデータベース・ファイルとして、インデックス・ファイル(Index.bdmv file)、動画像再生リスト・ファイル(Movie PlayList file)、クリップ情報ファイル(Clip Information file)を挙げることができる。これらのうちいずれかのデータベース・ファイル内の拡張データExtensionData()を定義して、そこにディスプレイ・マッピングにおいて有用な輝度情報(a)〜(d)を格納する。各格納場所についての格納方法を以下の表3にまとめておく。
【0070】
インデックス・ファイル(Index.bdmv file)は、メディア全体を管理する大元のファイルであり、ユーザーに見せるタイトルと動画像オブジェクト(MovieObject)との対応関係を管理している。インデックス・ファイル(Index.bdmv file)を輝度情報の格納場所に用いる場合、display_mapping_luminance_point_metadata()というExtensionData()を定義し、そこでディスプレイ・マッピングにおいて有用な輝度情報(ディスク全体に対してStatic)を示す。
【0071】
動画像再生リスト・ファイル(Movie PlayList file)は、一まとまりの動画像再生単位(Movie PlayList)に関する情報をまとめたファイルである。動画像再生リスト・ファイル(Movie PlayList file)を輝度情報の格納場所に用いる場合、インデックス・ファイル(Index.bdmv file)の場合と同様の構造のExtensionData()を定義し、MoviePlaylist全体に対してStaticな輝度情報を示す。
【0072】
あるいは、動画像再生リスト・ファイル(Movie PlayList file)を輝度情報の格納場所に用いる場合、display_mapping_luminance_point_metadata_table()というExtensionData()を定義し、そこで再生アイテム(PlayItem)毎にStaticな、ディスプレイ・マッピングにおいて有用な輝度情報を示すブロックのテーブルを持つ。
【0073】
クリップ情報ファイル(Clip Information file)には、記録されたClip AV Streamファイルと対で存在し、実際のストリームを再生する上で必要なストリームに関する情報が記載されている。クリップ情報ファイル(Clip Information file)を輝度情報の格納場所に用いる場合、インデックス・ファイル(Index.bdmv file)の場合と同様の構造のExtensionData()を定義し、クリップ全体に対してStaticな輝度情報を示す。
【0074】
図28には、ブルーレイ・ディスクにおけるデータベース・ファイルのシンタックス例を示している。参照番号2801、2802でそれぞれ示すID1とID2の値の組み合わせで、拡張データExtensionData()の種類を定義するようにしている。ID1とID2の組み合わせと、拡張データ・エントリーとの対応関係を、以下の表4に例示する。同表では、(ID1,ID2)=(0xaaaa,0xbbbb)でdisplay_mapping_luminance_point_metadata()が格納され、(ID1,ID2)=(0xcccc,0xdddd)でdisplay_mapping_luminance_point_metadata_table()が格納される。Index TableやMovie PlayList fileは、格納する場所によって、MoviePlayList fileやClip Information fileになる。
【0076】
図29並びに
図30には、ブルーレイ・ディスクのデータベース・ファイルに格納される拡張データのシンタックス例を示している。但し、
図29はdisplay_mapping_luminance_point_metadata()のシンタックス例であり、
図30はdisplay_mapping_luminance_point_metadata_table()のシンタックス例である。
図29並びに
図30に示す例では、どのような輝度タイプの輝度値を送るのか、画像送信装置200と画像受信装置300の間であらかじめ取り決められている。
図29並びに
図30において、それぞれ参照番号2901、3001で示すフィールドluminance_point[i]に、コンテンツのピーク輝度、Diffuse White輝度、注目輝度が順に格納される。但し、i番目のフィールドがいずれの輝度を示すかは画像送信装置200と画像受信装置300の間であらかじめ取り決められているものとする。
【0077】
また、以下の表5には、
図29並びに
図30に示したシンタックスで、フィールドの設定例を示している。但し、格納する輝度ポイント数情報(num_luminance_points_minus1)として2を設定し、i=0に注目輝度、i=1にDiffuse White輝度、i=2にコンテンツのピーク輝度がそれぞれ割り当てられているものとする。注目輝度に50cd/m
2が設定され、Diffuse White輝度に100cd/m
2が設定され、コンテンツのピーク輝度に2000cd/m
2が設定されている。
【0079】
また、
図31並びに
図32には、ブルーレイ・ディスクのデータベース・ファイルに格納される拡張データの他のシンタックス例を示している。但し、
図31はdisplay_mapping_luminance_point_metadata()のシンタックス例であり、
図32はdisplay_mapping_luminance_point_metadata_table()のシンタックス例である。
【0080】
図31並びに
図32に示す例では、どのような輝度タイプの輝度値を送るのか、画像送信装置200と画像受信装置300の間ではあらかじめ決められておらず、拡張データ内で輝度タイプが指定される。画像送信装置200は、任意の輝度タイプの輝度値を選択的に送ることができる。
図31に示す例では、参照番号3101で示すフィールドluminance_point[i]に、参照番号3102で指定される輝度タイプの輝度値が格納される。同様に、
図32に示す例では、参照番号3201で示すフィールドluminance_point[i]に、参照番号3202で指定される輝度タイプの輝度値が格納される。但し、i番目の輝度タイプがいずれの輝度を示すかは画像送信装置200と画像受信装置300の間であらかじめ取り決められているものとする。輝度タイプの設定例を以下の表6に示しておく。
【0082】
また、以下の表7には、
図31並びに
図32に示したシンタックスで、フィールドの設定例を示している。但し、格納する輝度ポイント数情報(num_luminance_points_minus1)として2を設定している。そして、i=0の輝度値luminance_point[0]に50cd/m
2が設定され、その輝度タイプpoint_type[0]が1すなわち注目輝度に指定されている。また、i=1の輝度値luminance_point[1]に100cd/m
2が設定され、その輝度タイプpoint_type[1]が2すなわちDiffuse White輝度に指定されている。また、i=2の輝度値luminance_point[2]に2000cd/m
2が設定され、その輝度タイプpoint_type[2]が3すなわちコンテンツのピーク輝度に指定されている。
【0084】
このように、本実施形態に係る画像伝送システム100では、画像送信装置200は、ディスプレイ・マッピングにおいて有用な上記の輝度情報(a)〜(d)を、knee_function_info SEIやブルーレイ・ディスクのデータベース・ファイルなどの伝送コンテナーで伝送する。一方、HDRコンテンツの受信側では、ディスプレイ・マッピングにおいてダイナミック・レンジを圧縮又は伸長する際に、メタデータで指定された輝度ポイントを参考にすることで、コンテンツの制作者又は供給者の意図に応じた画像表示を実現することができる。具体的には、圧縮又は伸長時に、ダイナミック・レンジを線形スケーリングするのではなく、注目輝度以下の輝度は保持すること、並びに、Diffuse white以下の輝度はある程度保持することが、期待されている。メタデータで指定された輝度ポイントをどのように利用するかは、基本的には画像受信装置300(ディスプレイ)側の処理に委ねられている。
【0085】
図8には、画像受信装置300において、メタデータに基づいてHDR画像のストリーム・データを処理するブロック図の一例を示している。同図は、
図3に示した画像受信装置300において、復号部301での復号後の処理に相当する。
【0086】
画像送信装置200からMPEG2 TSなどの符号化ストリームが伝送される場合、復号部301はMPEGデコードして、HDRのストリーム・データとメタデータを出力する。また、画像送信装置200から非圧縮データが伝送される場合、HDMI(登録商標)受信部(図示しない)から、HDRのストリーム・データとメタデータが出力される。
【0087】
電光線形変換部802は、HDRのストリーム・データから光線形の輝度信号へ変換するEOTFテーブルを備えており、入力されたHDRのストリーム・データを光線形の輝度信号に変換する。
【0088】
ダイナミック・レンジ変換部803は、光線形の輝度信号のダイナミック・レンジを変換するルックアップ・テーブル(LUT)を備えている。CPU(Central Processing Unit)801は、メタデータを入力すると、上述したような輝度情報(a)〜(d)を取り出し、これらに基づいてLUTを設定する。そして、ダイナミック・レンジ変換部803は、LUTに従って光線形の輝度信号のダイナミック・レンジを変換する。ダイナミック・レンジ変換は、画像受信装置300自身の表示部304の性能に適合させるディスプレイ・マッピングを目的とするものであるが、詳細については後述に譲る。
【0089】
光電変換部804は、光線形の輝度信号をパネル駆動信号に変換するOETFテーブルを備えており、ダイナミック・レンジ変換した後の輝度信号を表示部304の入力特性に合わせたパネル駆動信号に変換する。
【0090】
図9には、
図8に示した処理ブロックの変形例を示している。光電変換部804で使用する変換テーブルOETFの内容は固定であることから、ダイナミック・レンジ変換部803が使用するLUTに統合して、回路としての光電変換部804を省略した構成となっている。
【0091】
また、
図10には、
図9に示した処理ブロックの変形例を示している。
図10では、電光線形変換部802とダイナミック・レンジ変換部803の間に、原色点変換部(Color Primary Converter)805が挿入されている。入力信号(ストリーム・データ)の色域と表示部304のパネル色域が異なる場合、図示のように電光線形変換部802の後段に原色点変換部805を配設して、光線形の輝度信号に対して原色点変換を行なう必要がある。
【0092】
また、
図11には、
図8に示した処理ブロックのさらなる変形例を示している。図示の構成例では、ダイナミック・レンジ変換部803において3D−LUTを用いており、ストリーム・データからパネル駆動回路への変換を直接行なうようになっている。
【0093】
画像受信装置300側で、ディスプレイ・マッピングにおいてダイナミック・レンジを圧縮又は伸長する際に、圧縮又は伸長時に、ダイナミック・レンジを線形スケーリングするのではなく、注目輝度以下の輝度は保持すること、並びに、Diffuse white以下の輝度はある程度保持することが、期待されている。
【0094】
図12には、HDRマスター・コンテンツをディスプレイ・マッピングする例(但し、コンテンツのピーク輝度のみを使用する場合)を示している。同図では、特定のコンテンツのピーク輝度を持つHDRマスター・コンテンツを、ピーク輝度が異なる3種類の対象ディスプレイにディスプレイ・マッピングする例を併せて示している。
【0095】
処理するHDRマスター・コンテンツは、コンテンツのピーク輝度が2000cd/m
2であるとする。これらの輝度情報はknee_function_info SEIなどの伝送コンテナーで、ストリーム・データとともに画像受信装置300に伝送される(前述)。
【0096】
ケース1の対象ディスプレイは、そのピーク輝度が500cd/m
2であり、コンテンツのピーク輝度よりも低い。このため、HDRマスター・コンテンツに対し、ディスプレイのピーク輝度以上の輝度信号についてはディスプレイのピーク輝度まで圧縮するディスプレイ・マッピングを行なう。
【0097】
また、ケース2の対象ディスプレイは、そのピーク輝度が1000cd/m
2であり、上記と同様に、コンテンツのピーク輝度よりも低い。このため、HDRマスター・コンテンツに対し、ディスプレイのピーク輝度以上の輝度信号についてはディスプレイのピーク輝度まで圧縮するディスプレイ・マッピングを行なう。
【0098】
また、ケース3の対象ディスプレイは、そのピーク輝度が3000cd/m
2であり、HDRマスター・コンテンツのピーク輝度よりも高い。この場合、すべての輝度レベルにわたり、HDRマスター・コンテンツの輝度を保持する。
【0099】
図13には、
図8乃至
図11に示した処理ブロックにおける処理動作の一例(但し、コンテンツのピーク輝度のみを使用する場合)をフローチャートの形式で示している。
【0100】
CPU801は、メタデータから、コンテンツのピーク輝度の輝度情報を取得する(ステップS1301)。
【0101】
そして、CPU801は、表示部304(対象ディスプレイ)のピーク輝度L
pdがコンテンツのピーク輝度L
pcよりも小さいかどうかをチェックする(ステップS1302)。
【0102】
ここで、表示部304のピーク輝度L
pdがコンテンツのピーク輝度L
pcよりも大きいとき(ステップS1302のNo)、すなわち、画像表示の際にコンテンツのピーク輝度L
pcを維持できるときには、CPU801は、
図14に示すように、ダイナミック・レンジ変換部803内のLUTを変更しない。
【0103】
一方、表示部304のピーク輝度L
pdがコンテンツのピーク輝度L
pcよりも小さいとき(ステップS1302のYes)、すなわち、画像表示の際にコンテンツのピーク輝度L
pcを維持できないときには、CPU801は、ダイナミック・レンジ変換部803内のLUTのピーク輝度を表示部304のピーク輝度L
pdに下げる(ステップS1303)。例えば、
図15Aに示すように、LUTのピーク輝度を表示部304のピーク輝度L
pdに直線で下げ、あるいは、
図15Bに示すように、LUTのピーク輝度を表示部304のピーク輝度L
pdに曲線で下げる。
【0104】
図23には、HDRマスター・コンテンツをディスプレイ・マッピングする例(但し、コンテンツのピーク輝度とDiffise white輝度を使用する場合)を示している。同図では、特定のコンテンツのピーク輝度及びDiffise white輝度を持つHDRマスター・コンテンツを、ピーク輝度が異なる4種類の対象ディスプレイにディスプレイ・マッピングする例を併せて示している。
【0105】
処理するHDRマスター・コンテンツは、コンテンツのピーク輝度が2000cd/m
2、Diffuse white輝度が500cd/m
2であるとする。これらの輝度情報はknee_function_info SEIなどの伝送コンテナーで、ストリーム・データとともに画像受信装置300に伝送される(前述)。
【0106】
ケース11の対象ディスプレイは、そのピーク輝度が300cd/m
2であり、HDRマスター・コンテンツのDiffuse white輝度よりも低い。このため、HDRマスター・コンテンツに対し、ディスプレイのピーク輝度以上の輝度信号についてはディスプレイのピーク輝度まで圧縮するディスプレイ・マッピングを行なう。
【0107】
ケース12の対象ディスプレイは、そのピーク輝度が500cd/m
2であり、HDRマスター・コンテンツのDiffuse white輝度と一致する。このため、HDRマスター・コンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで圧縮するディスプレイ・マッピングを行なう。
【0108】
また、ケース13の対象ディスプレイは、そのピーク輝度が1000cd/m
2であり、HDRマスター・コンテンツのピーク輝度よりは低いがDiffuse white輝度よりは高い。このため、HDRマスター・コンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで圧縮するディスプレイ・マッピングを行なう。
【0109】
また、ケース14の対象ディスプレイは、そのピーク輝度が3000cd/m
2であり、HDRマスター・コンテンツのピーク輝度よりも高い。この場合、すべての輝度レベルにわたり、HDRマスター・コンテンツの輝度を保持する。あるいは、HDRマスター・コンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで伸長するディスプレイ・マッピングを行なう。
【0110】
図16には、
図8乃至
図11に示した処理ブロックにおける処理動作の他の例(但し、コンテンツのピーク輝度とDiffise white輝度を使用する場合)をフローチャートの形式で示している。
【0111】
CPU801は、メタデータから、コンテンツのピーク輝度、Diffuse white輝度の輝度情報を取得する(ステップS1601)。
【0112】
そして、CPU801は、表示部304(対象ディスプレイ)のピーク輝度L
pdがコンテンツのピーク輝度L
pcよりも小さいかどうかをチェックする(ステップS1602)。
【0113】
ここで、表示部304のピーク輝度L
pdがコンテンツのピーク輝度L
pcよりも大きいとき(ステップS1602のNo)、すなわち、画像表示の際にコンテンツのピーク輝度L
pcを維持できるときには、CPU801は、ダイナミック・レンジ変換部803内のLUTを変更しない。
【0114】
一方、表示部304のピーク輝度L
pdがコンテンツのピーク輝度L
pcよりも小さいとき(ステップS1602のYes)、すなわち、画像表示の際にコンテンツのピーク輝度L
pcを維持できないときには、表示部304のピーク輝度L
pdがコンテンツのDiffuse white輝度L
dcよりも小さいかどうかをさらにチェックする(ステップS1603)。
【0115】
ここで、表示部304のピーク輝度L
pdがコンテンツのDiffuse white輝度L
dcよりも大きいとき(ステップS1603のNo)、すなわち、画像表示の際にコンテンツのDiffuse white輝度L
dcを維持できるときには、CPU801は、ダイナミック・レンジ変換部803内のLUTのピーク輝度とDiffuse white輝度をつなぐ(ステップS1605)。例えば、
図17に示したようにLUTのピーク輝度とDiffuse white輝度を直線でつなぎ、あるいは、
図18に示したようにLUTのピーク輝度とDiffuse white輝度をログ曲線などの曲線でつなぐ。
【0116】
一方、表示部304のピーク輝度L
pdがコンテンツのDiffuse white輝度L
dcよりも小さいとき(ステップS1603のYes)、すなわち、画像表示の際にコンテンツのDiffuse white輝度L
dcを維持できないときには、CPU801は、ダイナミック・レンジ変換部803内のLUTのピーク輝度を表示部304のピーク輝度L
pdに下げる。(ステップS1604)。例えば、例えば、
図24に示すように、LUTのピーク輝度を表示部304のピーク輝度L
pdに直線で下げ、あるいは、
図25に示すように、LUTのピーク輝度を表示部304のピーク輝度L
pdに曲線で下げる。
【0117】
図22には、HDRマスター・コンテンツをディスプレイ・マッピングする例(但し、コンテンツのピーク輝度とDiffise white輝度、注目輝度を使用する場合)を示している。同図では、特定のコンテンツのピーク輝度、Diffise white輝度、及び注目輝度を持つHDRマスター・コンテンツを、ピーク輝度が異なる4種類の対象ディスプレイにディスプレイ・マッピングする例を併せて示している。
【0118】
処理するHDRマスター・コンテンツは、コンテンツのピーク輝度が2000cd/m
2、Diffuse white輝度が500cd/m
2、注目輝度が50cd/m
2であるとする。これらの輝度情報はknee_function_info SEIなどの伝送コンテナーで、ストリーム・データとともに画像受信装置300に伝送される(前述)。
【0119】
ケース21の対象ディスプレイは、そのピーク輝度が300cd/m
2であり、HDRマスター・コンテンツのDiffuse white輝度よりも低いが注目輝度よりも高い。このため、HDRマスター・コンテンツに対し、注目輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、ディスプレイのピーク輝度以上の輝度信号についてはディスプレイのピーク輝度まで圧縮するディスプレイ・マッピングを行なう。
【0120】
ケース22の対象ディスプレイは、そのピーク輝度が500cd/m
2であり、HDRマスター・コンテンツのDiffuse white輝度と一致する。このため、HDRマスター・コンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで圧縮するディスプレイ・マッピングを行なう。
【0121】
また、ケース23の対象ディスプレイは、そのピーク輝度が1000cd/m
2であり、HDRマスター・コンテンツのピーク輝度よりは低いがDiffuse white輝度よりは高い。このため、HDRマスター・コンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで圧縮するディスプレイ・マッピングを行なう。
【0122】
また、ケース24の対象ディスプレイは、そのピーク輝度が3000cd/m
2であり、HDRマスター・コンテンツのピーク輝度よりも高い。この場合、すべての輝度レベルにわたり、HDRマスター・コンテンツの輝度を保持する。あるいは、HDRマスター・コンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで伸長するディスプレイ・マッピングを行なう。
【0123】
図19には、
図8乃至
図11に示した処理ブロックにおける処理動作のさらに他の例(但し、コンテンツのピーク輝度とDiffise white輝度、注目輝度を使用する場合)をフローチャートの形式で示している。
【0124】
CPU801は、メタデータから、コンテンツのピーク輝度、Diffuse white輝度、注目輝度の輝度情報を取得する(ステップS1901)。
【0125】
そして、CPU801は、表示部304(対象ディスプレイ)のピーク輝度L
pdがコンテンツのピーク輝度L
pcよりも小さいかどうかをチェックする(ステップS1902)。
【0126】
ここで、表示部304のピーク輝度L
pdがコンテンツのピーク輝度L
pcよりも大きいとき(ステップS1902のNo)、すなわち、画像表示の際にコンテンツのピーク輝度L
pcを維持できるときには、CPU801は、ダイナミック・レンジ変換部803内のLUTを変更しない。
【0127】
一方、表示部304のピーク輝度L
pdがコンテンツのピーク輝度L
pcよりも小さいとき(ステップS1902のYes)、すなわち、画像表示の際にコンテンツのピーク輝度L
pcを維持できないときには、すなわち、画像表示の際にコンテンツのピーク輝度L
pcを維持できないときには、表示部304のピーク輝度L
pdがコンテンツのDiffuse white輝度L
dcよりも小さいかどうかをさらにチェックする(ステップS1903)。
【0128】
ここで、表示部304のピーク輝度L
pdがコンテンツのDiffuse white輝度L
dcよりも大きいとき(ステップS1903のNo)、すなわち、画像表示の際にコンテンツのDiffuse white輝度L
dcを維持できるときには、CPU801は、ダイナミック・レンジ変換部803内のLUTのピーク輝度とDiffuse white輝度をつなぐ(ステップS1905)。例えば、
図26に示すようにLUTのピーク輝度とDiffuse white輝度を直線でつなぎ、あるいは、
図27に示すようにLUTのピーク輝度とDiffuse white輝度をログ曲線などの曲線でつなぐ。
【0129】
一方、表示部304のピーク輝度L
pdがコンテンツのDiffuse white輝度L
dcよりも小さいとき(ステップS1903のYes)、すなわち、画像表示の際にコンテンツのDiffuse white輝度L
dcを維持できないときには、CPU801は、ダイナミック・レンジ変換部803内のLUTのピーク輝度と注目輝度L
fcをつなぐ(ステップS1904)。例えば、
図21に示すようにLUTのピーク輝度と注目輝度L
fcを直線でつなぎ、あるいは、
図22に示すようにLUTのピーク輝度と注目輝度L
fcをログ曲線などの曲線でつなぐ。
【産業上の利用可能性】
【0130】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【0131】
本明細書では、OTTなどのネット配信サービス、ディジタル放送サービス、UHD−BDなどのHDRコンテンツを伝送する画像伝送システムに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。本明細書で開示する技術は、HDRコンテンツを伝送し又は表示するさまざまなシステムに適用することができる。
【0132】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【0133】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)画像データを送信する画像送信部と、
画像データに基づいて設定される、ディスプレイ・マッピングにおいて有用な輝度情報を含むメタデータを送信するメタデータ送信部と、
を具備する画像処理装置。
(1−1)前記メタデータ送信部は、画像データのknee_function_info SEIにメタデータを格納する、
上記(1)に記載の画像処理装置。
(1−2)前記メタデータ送信部は、画像データを記録するブルーレイ・ディスクのデータベース・ファイルにメタデータを格納する、
上記(1)に記載の画像処理装置。
(2)前記メタデータ送信部は、前記画像送信部から送信する画像データにおいて基準とする白の輝度値を表すDiffuse white輝度の情報をメタデータに含めて送信する、
上記(1)に記載の画像処理装置。
(3)前記メタデータ送信部は、前記画像送信部から送信する画像データにおいて(シーン毎に)中心となり又は注目すべき物体の輝度値を表す注目輝度の情報をメタデータに含めて送信する、
上記(1)に記載の画像処理装置。
(4)前記メタデータ送信部は、前記画像送信部から送信する画像データにおけるピーク輝度の情報をメタデータに含めて送信する、
上記(1)に記載の画像処理装置。
(5)画像データを送信する画像送信ステップと、
画像データに基づいて設定される、ディスプレイ・マッピングにおいて有用な輝度情報を含むメタデータを送信するメタデータ送信ステップと、
を有する画像処理方法。
(6)画像データを受信する画像受信部と、
画像データに基づいて設定された、ディスプレイ・マッピングにおいて有用な輝度情報を含むメタデータを受信するメタデータ受信部と、
を具備する画像処理装置。
(6−1)前記メタデータ受信部は、画像データのknee_function_info SEIからメタデータを受信する、
上記(6)に記載の画像処理装置。
(6−2)前記メタデータ受信部は、画像データを記録したブルーレイ・ディスクのデータベース・ファイルからメタデータを受信する、
上記(6)に記載の画像処理装置。
(7)表示部と、
メタデータに基づいて画像データのディスプレイ・マッピングを行なうディスプレイ・マッピング処理部と、
をさらに備える上記(6)に記載の画像処理装置。
(8)前記メタデータ受信部は、画像データにおいて基準とする白の輝度値を表すDiffuse white輝度又は画像データにおいて(シーン毎に)中心となり又は注目すべき物体の輝度値を表す注目輝度のうちすくなとも一方の情報をメタデータとして受信し、
前記ディスプレイ・マッピング処理部は、Diffuse white輝度又は注目輝度を保持するように画像データのディスプレイ・マッピングを行なう、
上記(7)に記載の画像処理装置。
(9)前記メタデータ受信部は、画像データのピーク輝度の情報をメタデータとして受信し、
前記ディスプレイ・マッピング処理部は、画像データのピーク輝度が前記表示部のピーク輝度より大きいときには、画像データのピーク輝度を前記表示部のピーク輝度まで圧縮する、
上記(7)に記載の画像処理装置。
(10)前記メタデータ受信部は、画像データのピーク輝度の情報と、画像データにおいて基準とする白の輝度値を表すDiffuse white輝度の情報をメタデータとして受信し、
前記ディスプレイ・マッピング処理部は、画像データのピーク輝度が前記表示部のピーク輝度より大きいときには、画像データのピーク輝度を前記表示部のピーク輝度まで圧縮するとともに、ピーク輝度からDiffuse white輝度までを線形的又は非線形的に圧縮する、
上記(7)に記載の画像処理装置。
(11)前記メタデータ受信部は、画像データのピーク輝度の情報と、画像データにおいて(シーン毎に)中心となり又は注目すべき物体の輝度値を表す注目輝度の情報をメタデータとして受信し、
前記ディスプレイ・マッピング処理部は、画像データのピーク輝度が前記表示部のピーク輝度より大きいときには、画像データのピーク輝度を前記表示部のピーク輝度まで圧縮するとともに、ピーク輝度から注目輝度までを線形的又は非線形的に圧縮する、
上記(7)に記載の画像処理装置。
(12)前記メタデータ受信部は、画像データのピーク輝度の情報と、画像データにおいて基準とする白の輝度値を表すDiffuse white輝度の情報と、画像データにおいて中心となり又は注目すべき物体の輝度値を表す注目輝度の情報をメタデータとして受信し、
前記ディスプレイ・マッピング処理部は、Diffuse white輝度が前記表示部のピーク輝度より大きいときには、画像データのピーク輝度を前記表示部のピーク輝度まで圧縮するとともに、ピーク輝度から注目輝度までを線形的又は非線形的に圧縮する、
上記(7)に記載の画像処理装置。
(13)画像データを受信する画像受信ステップと、
画像データに基づいて設定された、ディスプレイ・マッピングにおいて有用な輝度情報を含むメタデータを受信するメタデータ受信ステップと、
を有する画像処理方法。