特開2016-225965(P2016-225965A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-225965(P2016-225965A)
(43)【公開日】2016年12月28日
(54)【発明の名称】表示方法および表示装置
(51)【国際特許分類】
   H04N 9/64 20060101AFI20161205BHJP
   H04N 5/93 20060101ALI20161205BHJP
   H04N 5/91 20060101ALI20161205BHJP
   H04N 9/87 20060101ALI20161205BHJP
   H04N 9/455 20060101ALI20161205BHJP
   G09G 5/00 20060101ALI20161205BHJP
   G09G 5/10 20060101ALI20161205BHJP
   G09G 5/02 20060101ALI20161205BHJP
【FI】
   H04N9/64 F
   H04N5/93 Z
   H04N5/91 Z
   H04N9/87 Z
   H04N9/455
   G09G5/00 555A
   G09G5/10 B
   G09G5/02 B
   G09G5/00 520T
【審査請求】未請求
【請求項の数】10
【出願形態】OL
【全頁数】34
(21)【出願番号】特願2015-247985(P2015-247985)
(22)【出願日】2015年12月18日
(31)【優先権主張番号】62/166,169
(32)【優先日】2015年5月26日
(33)【優先権主張国】US
(71)【出願人】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Panasonic Intellectual Property Corporation of America
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】小塚 雅之
(72)【発明者】
【氏名】東田 隆司
(72)【発明者】
【氏名】森 美裕
(72)【発明者】
【氏名】平川 晴康
(72)【発明者】
【氏名】遠間 正真
(72)【発明者】
【氏名】中西 弘一
【テーマコード(参考)】
5C053
5C055
5C066
5C182
【Fターム(参考)】
5C053FA24
5C053GB06
5C053LA06
5C055AA04
5C055CA04
5C055EA02
5C055EA04
5C055EA05
5C055EA16
5C066AA03
5C066CA06
5C066CA21
5C066EA07
5C066GA01
5C066GA05
5C066GB01
5C066KA12
5C066KD01
5C066KE04
5C182AB01
5C182AB21
5C182AC03
5C182AC11
5C182BA14
5C182BC43
5C182CA12
5C182CA13
5C182CA22
5C182CA42
5C182CC24
5C182DA53
5C182DA70
(57)【要約】
【課題】更なる改善を実現することができる表示方法および表示装置を提供する。
【解決手段】HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示装置に表示する表示方法であって、映像データを取得し、取得した映像データに含まれる映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行い、複数の画素のそれぞれについて、第1判定の結果、当該画素の輝度が第1所定輝度を超える場合と、当該画素の輝度が第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行い、デュアルトーンマッピングの結果を用いて、映像を表示装置に表示する。
【選択図】図11
【特許請求の範囲】
【請求項1】
HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示装置に表示する表示方法であって、
前記映像データを取得し、
取得した前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行い、
前記複数の画素のそれぞれについて、前記第1判定の結果、当該画素の輝度が前記第1所定輝度を超える場合と、当該画素の輝度が前記第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行い、
前記デュアルトーンマッピングの結果を用いて、前記映像を前記表示装置に表示する
表示方法。
【請求項2】
前記デュアルトーンマッピングでは、前記複数の画素のそれぞれについて、
当該画素の輝度が前記第1所定輝度を超える場合、当該画素のYUV空間で定義される輝度を縮小するYUV空間トーンマッピングを行い、
当該画素の輝度が前記第1所定輝度以下の場合、当該画素のRGB空間で定義されるRGBの各色の値を縮小するRGB空間トーンマッピングを行う
請求項1に記載の表示方法。
【請求項3】
前記映像データは、静的メタデータを含み、
取得した前記映像データに含まれる前記静的メタデータに基づいて、前記映像データに含まれる前記映像の輝度が絶対輝度管理されているか相対輝度管理されているかを判定する第2判定を行い、
前記第2判定の結果、前記映像データに含まれる前記映像の輝度が絶対輝度管理されている場合、前記デュアルトーンマッピングを行い、
前記第2判定の結果、前記映像データに含まれる前記映像の輝度が相対輝度管理されている場合、前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素のRGB空間で定義されるRGBの各色の値を縮小するRGB空間トーンマッピングを行う
請求項1または2に記載の表示方法。
【請求項4】
前記映像データは、ST2086の情報を前記静的メタデータとして含み、
前記第2判定では、
前記ST2086の情報に含まれる、前記映像データが生成される基になったマスター映像を生成したときに使用していたマスターモニターの特性が、絶対輝度管理されている映像を生成するときに使用する所定のマスターモニターの特性に近いか否かを判定し、
前記マスターモニターの特性が前記所定のマスターモニターの特性に近いと判定した場合に前記映像データの映像の輝度が絶対輝度管理されていると判定し、前記マスターモニターの特性が前記所定のマスターモニターの特性に近くないと判定した場合に前記映像データの映像の輝度が相対輝度管理されていると判定する
請求項3に記載の表示方法。
【請求項5】
前記第2判定では、
前記マスターモニターの特性としての前記マスターモニターの表示ピーク輝度を示す表示ピーク輝度情報に基づいて、前記表示ピーク輝度が4000nit近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、
前記表示ピーク輝度が4000nit近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記表示ピーク輝度が4000nit近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定する
請求項4に記載の表示方法。
【請求項6】
前記第2判定では、
前記マスターモニターの特性としての前記マスターモニターの表示原色を示す表示原色情報に基づいて、前記表示原色が前記所定のマスターモニターの表示原色近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、
前記表示原色が前記所定のマスターモニターの表示原色近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記表示原色が前記所定のマスターモニターの表示原色近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定する
請求項4または5に記載の表示方法。
【請求項7】
前記第2判定では、
前記マスターモニターの特性としての前記マスターモニターのホワイトポイントを示すホワイトポイント情報に基づいて、前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、
前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定する
請求項4から6のいずれか1項に記載の表示方法。
【請求項8】
前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、
前記第2判定では、前記ピーク輝度情報により示される前記ピーク輝度が第2所定輝度を超えるか否かを判定し、
前記ピーク輝度が前記第2所定輝度を超える場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記ピーク輝度が前記第2所定輝度以下の場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定する
請求項4から7のいずれか1項に記載の表示方法。
【請求項9】
前記映像データは、前記映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報を含み、
前記第2判定では、前記最大フレーム平均輝度情報により示される前記最大フレーム平均輝度が第3所定輝度を超えるか否かを判定し、
前記最大フレーム平均輝度が前記第3所定輝度を超える場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記最大フレーム平均輝度が前記第3所定輝度以下の場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定する
請求項4から8のいずれか1項に記載の表示方法。
【請求項10】
HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示する表示装置であって、
前記表示装置は、
前記映像データを取得し、取得した前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する判定部と、
前記複数の画素のそれぞれについて、前記判定部による判定の結果、当該画素の輝度が前記第1所定輝度を超える場合と、前記第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行う処理部と、
前記デュアルトーンマッピングの結果を用いて、前記映像を前記表示装置に表示する表示部と、を備える
表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示方法および表示装置に関する。
【背景技術】
【0002】
従来、表示可能な輝度レベルを改善するための画像信号処理装置が開示されている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−167418号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献では、更なる改善が必要とされていた。
【課題を解決するための手段】
【0005】
本発明の一態様に係る表示方法は、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示装置に表示する表示方法であって、前記映像データを取得し、取得した前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行い、前記複数の画素のそれぞれについて、前記第1判定の結果、当該画素の輝度が前記第1所定輝度を超える場合と、当該画素の輝度が前記第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行い、前記デュアルトーンマッピングの結果を用いて、前記映像を前記表示装置に表示する。
【0006】
なお、これらの全般包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0007】
上記態様によれば、更なる改善を実現することができる。
【図面の簡単な説明】
【0008】
図1】映像技術の進化について説明するための図である。
図2】SDR信号とHDR信号との違いを説明するための図である。
図3】コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度を復元するプロセスの説明図である。
図4】HDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。
図5】高輝度マスターモニターでグレーディンされたHDRコンテンツのHDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。
図6】画像撮影時の輝度の尺度を示す図である。
図7】撮影した画像の輝度の例に示す図である。
図8】SDRに対応したホームエンターテイメント用マスターを制作するフロー、配信媒体および表示装置の関係について説明するための図である。
図9A図7で示した原画像をSDR画像にマスタリングした結果の輝度の一例を示す図である。
図9B】原信号値をSDR信号値に変換する(マスタリングする)ための、原信号値とSDR信号値との関係の一例を示す図である。
図10A図7で示した原画像をHDR画像にマスタリングした結果の輝度の一例を示す図である。
図10B】原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。
図11】実施の形態1に係る表示方法における輝度変換処理の具体例について説明するための図である。
図12】グレーディングの方式について説明した表である。
図13】標準マスターモニターを使って従来方式でHDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。
図14A図7で示した原画像をHDR画像に従来方式でマスタリングした結果の輝度の一例を示す図である。
図14B】原信号値をHDR信号値に変換する(従来方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。
図15】従来方式でHDRグレーディングすることにより得られたSDR画像の例を示す図である。
図16】従来方式でHDRグレーディングすることにより得られたHDR画像の例を示す図である。
図17】標準マスターモニターを使ってACES方式でACES/HDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。
図18A図7で示した原画像をHDR画像にACES方式でマスタリングした結果の輝度の一例を示す図である。
図18B】原信号値をHDR信号値に変換する(ACES方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。
図19】ACES方式でACES/HDRグレーディングすることにより得られたACES/HDRのマスター映像から、自動生成したSDR画像の例を示す図である。
図20】ACES方式でACES/HDRグレーディングすることにより得られたACES/HDRのマスター映像から、自動生成したHDR画像の例を示す図である。
図21】高輝度マスターモニターを使ってDolbyVision方式でHDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。
図22A図7で示した原画像をHDR画像にDolbyVision方式でマスタリングした結果の輝度の一例を示す図である。
図22B】原信号値をHDR信号値に変換する(DolbyVision方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。
図23】DolbyVision方式でHDRグレーディングすることにより得られた高輝度マスター映像から、自動生成したSDR画像と同等の効果を有すると思われるデジタルシネマ評価用コンテンツ”Stem”の例を示す図である。
図24】DolbyVision方式でHDRグレーディングすることにより得られた高輝度マスター映像と同等の傾向を有すると思われるデジタルシネマ評価用コンテンツ”Stem”の例を示す図である。
図25】グレーディングの3つの方式の課題について説明した表である。
図26】HDR対応したUltra HD Blu−ray(登録商標)機器をHDR対応のHDMI(登録商標)2.0a経由でHDRTVに繋いだ場合の例を示す図である。
【発明を実施するための形態】
【0009】
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した、画像信号処理装置に関し、以下の問題が生じることを見出した。
【0010】
特許文献1に開示されている画像信号処理装置では、被写体を構成する画素から算出されたリニアRGB値に基づいて画素毎にリニア輝度を算出し、リニアRGB値およびリニア輝度に基づいて画素毎の補正リニア輝度および当該画素を含む複数の画素を合成した合成画素の補正リニアRGB値を算出し、補正リニア輝度および補正リニアRGB値をそれぞれガンマ補正して表示用輝度および表示用RGB値を算出する。このように、画像信号処理装置では、補正リニアRGB値に基づいてリニア輝度を補正することにより、表示可能な階調数の増加を図っている。
【0011】
ところで、近年、映像技術の進化に伴い、従来の映像の輝度が定義されているダイナミックレンジよりも広いダイナミックレンジであるHDR(High Dynamic Range)で輝度を定義した映像であるHDR映像をTVなどの表示装置に表示させる技術が知られている。ここで、映像技術の変遷について、図1を用いて説明する。
【0012】
図1は、映像技術の進化について説明するための図である。
【0013】
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition(SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
【0014】
近年、更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096x1920画素の、所謂4K映像の導入が開始された。
【0015】
4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
【0016】
ダイナミックレンジ拡張については、デジタルカメラやCMOS(Complementary metal−oxide−semiconductor)イメージセンサの性能向上により、露出を示すStop数が14Stops以上の広いダイナミックレンジの画像の撮影が可能になっている。このため、暗部階調を維持しつつ、100%反射光以上に明るい光(鏡面反射光などの明るい光)を撮影することが可能になっている。このカメラまたはイメージセンサの性能向上を表現力の向上に活かすために、より高輝度な信号も伝送可能にする信号規格として、HDRが注目されている。
【0017】
これまでのTV信号は、SDR(Standard Dynamic Range)と呼ばれ、ピーク輝度(最大輝度)が100nitであったのに対して、HDR(特に、SMPTEで標準化されたEOTFであるST 2084(PQカーブ)で符号化するHDR)の場合は、10000nit以上までピーク輝度を表現することができるようになった。
【0018】
HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu−ray(登録商標) Disc等)、インターネット配信などで使われることが想定されている。
【0019】
次に、SDRおよびHDRについて、図2を用いて説明する。
【0020】
図2は、SDR信号とHDR信号との違いを説明するための図である。なお、SDR信号とは、SDRに対応したSDR映像を示す映像信号であり、HDR信号とは、HDRに対応したHDR映像を示す映像信号である。
【0021】
ダイナミックレンジ(14Stop等)の広いデジタルカメラで撮ることにより得られた原信号には、0〜10000nitの広い範囲の輝度情報が含まれている。
【0022】
SDR信号は、bt709等の放送規格を満たす映像であり、原信号から、ピーク輝度が100nitであるSDR映像になるように色補正(グレーディング)処理を行うことで得られた映像信号である。つまり、SDR信号は、映像の輝度が0〜100nitの輝度のダイナミックレンジで定義された映像信号である。
【0023】
一方で、HDR信号は、SDR信号のようなピーク輝度を100nitとする制約を取り払い、ST2084(以下、「PQカーブ」と言う。)の制約に合わせるように輝度のダイナミックレンジの最大輝度を10000nitまでのHDR映像になるように色補正(グレーディング)処理を行うことで得られた映像信号である。つまり、HDR信号は、映像の輝度が0〜10000nitの輝度のダイナミックレンジで定義された映像信号である。なお、HDR信号の輝度のダイナミックレンジの最大輝度は、10000nitに限らずに、例えば、800〜4000nitであってもよい。
【0024】
このように、HDRの輝度のダイナミックレンジは、SDRの輝度のダイナミックレンジよりもピーク輝度が大きいダイナミックレンジである。なお、HDRの輝度のダイナミックレンジの最小輝度は、SDRの輝度のダイナミックレンジの最小輝度と同じであり、0nitである。
【0025】
図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度を復元するプロセスの説明図である。
【0026】
本例における映像信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRの逆EOTFにより量子化され、当該画像の輝度に対応するコード値が決定する。このコード値に基づいて画像符号化などが行われ、ビデオのストリームが生成される。再生時には、ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することによりリニアな信号に変換され、画素毎の輝度が復元される。以下、HDRの逆EOTFを用いた量子化を「逆HDRのEOTF変換」という。HDRのEOTFを用いた逆量子化を「HDRのEOTF変換」という。同様に、SDRの逆EOTFを用いた量子化を「逆SDRのEOTF変換」という。SDRのEOTFを用いた逆量子化を「SDRのEOTF変換」という。
【0027】
上述したようなHDR信号をHDR対応の表示装置(例えば、HDRTV)で表示させる表示制御を行う場合、HDR信号のピーク輝度よりもHDRTVの表示可能なピーク輝度(以下、「表示ピーク輝度」と言う)が小さいことが多い。このため、HDR信号のピーク輝度をHDRTVの表示ピーク輝度に合わせるために、HDR信号の輝度のダイナミックレンジをHDRTVが対応している輝度のダイナミックレンジに縮小する必要がある。
【0028】
しかしながら、特許文献1に開示されている画像信号処理装置などの輝度の補正(変換)においては、映像の輝度が定義されているHDRの輝度のダイナミックレンジよりも狭い輝度のダイナミックレンジに輝度を補正(変換)するときの輝度の変換方法については考慮されていなかった。
【0029】
このため、次のような課題があった。
【0030】
SDRのEOTF(ガンマカーブ:相対輝度基準)とHDRのEOTF(ST2084:PQカーブ:絶対輝度基準)との違いにより、HDRTVでHDR信号を表示する場合は、SDR対応の表示装置(例えば、SDRTV)でSDR信号を表示する場合と異なり、下記の課題があった。
【0031】
Blu−ray(登録商標) Disc Association、UHD Alliance等のデジタルAV技術の国際標準化団体は、HDRに対応したコンテンツを、当面10000nitよりも小さい所定輝度(例えば1000nit)を上限としてグレーディング(これ以上の輝度も存在することを許す)することを求めている。
【0032】
図4は、HDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。図4の(a)は、HDRコンテンツの映像の輝度が定義されているHDRのEOTFを示す図である。図4の(b)は、HDRTVの表示ピーク輝度に合わせてHDRコンテンツの輝度を変換するためのトーンマッピング処理(輝度変換処理)を示す図である。
【0033】
図4に示すように、表示ピーク輝度が所定輝度未満(例えば500nit)のHDRTVに、所定輝度(例えば1000nit)をピーク輝度とするダイナミックレンジで定義されたHDR映像を表示させる場合、当該HDR映像のHDR信号に対して所定のトーンマッピング処理を行うことで、HDRTVにHDR映像のピーク輝度である所定輝度を表現させることが求められている。つまり、HDR映像のピーク輝度がHDRTVで表現できるように、所定輝度をHDRTVの表示ピーク輝度に合わせるトーンマッピング処理を行うことが求められている。
【0034】
この場合、輝度成分のみであれば、図4の(b)に示すように、入力輝度と出力輝度との関係を示したニーカーブを用いたニーカーブ処理を含むトーンマッピング処理を行えば映像の輝度をHDRTVの表示ピーク輝度に合わせて変換することができる。しかし、映像信号のRGBの各色の値に対して独立に、同等のニーカーブ処理を適用した場合、色が変化するおそれがあった。
【0035】
所定のトーンマッピング処理では、色が変化しないように、RGBの各色の値に対して独立に同等の処理を行う必要がある。このとき、所定のトーンマッピング処理の対象となる1画素の色が、ニーカーブさせるポイントにまたがって配置されるRGBの各色の値で構成されている場合、所定のトーンマッピング処理後のRGBのバランスが崩れ、トーンマッピング処理前後で色が変化してしまう。つまり、RGBの第1の色(例えばR)ではニーカーブされない輝度範囲の輝度に対応する値であり、RGBの第1の色とは異なる第2の色(例えばB)ではニーカーブされている輝度範囲の輝度に対応する値である場合、ニーカーブされていない輝度範囲内にある輝度に対応する第1の色の値では輝度が変化しないため第1の色の値にもほとんど影響せず、ニーカーブされている輝度範囲内にある輝度に対応する第2の色の値では輝度が小さく変化するため第2の色の値も変化する。このため、所定のトーンマッピング処理の前後でRGBの各色間の値の相対関係が崩れ、色が変化してしまう。また、RGBの各色の値がニーカーブされている輝度範囲内の輝度であったとしても、ニーカーブされている輝度範囲では、輝度の大きさに応じて輝度が縮小される変化率が異なるため、RGBの各色間の値の相対関係が崩れてしまう。したがって、所定のトーンマッピング処理の前後での色の変化を低減するために、3次元色変換処理等の複雑な処理が必要とされていた。
【0036】
つまり、絶対輝度基準のHDRコンテンツをグレーディングするための高輝度マスターモニター(例えば、DolbyVision)でグレーディングされたHDRコンテンツの場合、1000nit以上の範囲にも有効な画素がある。このため、図4に示すように1000nitでクリップするようにニーカーブ処理を行うトーンマッピング処理では、1000nit以上の輝度を有する画素の色を正しく再現できないおそれがあった。
【0037】
図5は、高輝度マスターモニターでグレーディンされたHDRコンテンツのHDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。図5の(a)は、HDRコンテンツの映像の輝度が定義されているHDRのEOTFを示す図である。図5の(b)は、HDRTVの表示ピーク輝度に合わせてHDRコンテンツの輝度を変換するためのトーンマッピング処理(輝度変換処理)を示す図である。
【0038】
図5に示すように、高輝度マスターモニターでグレーディングされたHDRコンテンツの場合、例えば2000nitのピーク輝度を有する可能性がある。このようなピーク輝度が2000nitであるHDRコンテンツのHDR映像に対しても、表示ピーク輝度が2000nit未満(例えば500nit)のHDRTVに表示させる場合、図5に示すようなニーカーブ処理を含むトーンマッピング処理を行うことで、HDRTVにHDR映像のピーク輝度である2000nitを表現させることが求められている。
【0039】
このトーンマッピング処理を、単純に図4と同様に行った場合、2000nitまでの輝度を500nitに収めるために、リニアに表示できる範囲が非常に狭くなる。つまり、図4と比較して、例えば1000〜2000nitの領域の表現が可能になる代わりに、1000nit以下の輝度では、図4のような1000nitまでの輝度に比べて再現性が悪くなると言う課題があった。
【0040】
また、例えば1000nitのような所定の高輝度を超える輝度を有する映像は、sparkleと呼ばれる、雷、花火、電球、炎、爆発、太陽、水の反射等の映像であり、全体の映像(画像)に対して小領域の映像である。また、当該映像は、白または単色の場合が多い。このため、所定の高輝度を超える輝度を有する画素に対しては、当該画素で構成される映像が小領域であり、かつ、白または単色の場合が多いという特徴を考慮した処理を行い、所定の高輝度以下の輝度はできるだけ、図4と同様な処理を行うことで、映像を表現することが必要になる。
【0041】
以上の検討を踏まえ、本発明者は、上記課題を解決するために、下記の改善策を検討した。
【0042】
本発明の一態様に係る表示方法は、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示装置に表示する表示方法であって、前記映像データを取得し、取得した前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行い、前記複数の画素のそれぞれについて、前記第1判定の結果、当該画素の輝度が前記第1所定輝度を超える場合と、当該画素の輝度が前記第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行い、前記デュアルトーンマッピングの結果を用いて、前記映像を前記表示装置に表示する。
【0043】
これによれば、第1所定輝度を超える輝度と、第1所定輝度以下の輝度とで異なる方式で輝度を縮小するデュアルトーンマッピングを行うため、輝度の変換処理の前後で各画素の色が変化することを抑制することができる。
【0044】
また、前記デュアルトーンマッピングでは、前記複数の画素のそれぞれについて、当該画素の輝度が前記第1所定輝度を超える場合、当該画素のYUV空間で定義される輝度を縮小するYUV空間トーンマッピングを行い、当該画素の輝度が前記第1所定輝度以下の場合、当該画素のRGB空間で定義されるRGBの各色の値を縮小するRGB空間トーンマッピングを行ってもよい。
【0045】
これによれば、HDRコンテンツのHDR映像に含まれる複数の画素に対して、当該画素が有する輝度が第1所定輝度を超えている場合には、YUV空間トーンマッピングを行うため、輝度の変換処理の前後で各画素の色が変化することを効果的に抑制することができる。また、HDRコンテンツのHDR映像に含まれる複数の画素に対して、当該画素が有する輝度が第1所定輝度を超えている場合には、RGB空間トーンマッピングを行うため、輝度の変換処理の前後で各画素の色の再現性を極力維持することができる。
【0046】
また、前記映像データは、静的メタデータを含み、取得した前記映像データに含まれる前記静的メタデータに基づいて、前記映像データに含まれる前記映像の輝度が絶対輝度管理されているか相対輝度管理されているかを判定する第2判定を行い、前記第2判定の結果、前記映像データに含まれる前記映像の輝度が絶対輝度管理されている場合、前記デュアルトーンマッピングを行い、前記第2判定の結果、前記映像データに含まれる前記映像の輝度が相対輝度管理されている場合、前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素のRGB空間で定義されるRGBの各色の値を縮小するRGB空間トーンマッピングを行ってもよい。
【0047】
これによれば、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを判定するため、絶対輝度管理か相対輝度管理かに応じてトーンマッピング処理を適切に選択して行うことができる。このように絶対輝度管理された映像であるか、相対輝度管理された映像であるかに関わらず、適切な処理を行うことができるため、適切な映像を表示させることができる。
【0048】
また、前記映像データは、ST2086の情報を前記静的メタデータとして含み、前記第2判定では、前記ST2086の情報に含まれる、前記映像データが生成される基になったマスター映像を生成したときに使用していたマスターモニターの特性が、絶対輝度管理されている映像を生成するときに使用する所定のマスターモニターの特性に近いか否かを判定し、前記マスターモニターの特性が前記所定のマスターモニターの特性に近いと判定した場合に前記映像データの映像の輝度が絶対輝度管理されていると判定し、前記マスターモニターの特性が前記所定のマスターモニターの特性に近くないと判定した場合に前記映像データの映像の輝度が相対輝度管理されていると判定してもよい。
【0049】
このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
【0050】
また、前記第2判定では、前記マスターモニターの特性としての前記マスターモニターの表示ピーク輝度を示す表示ピーク輝度情報に基づいて、前記表示ピーク輝度が4000nit近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、前記表示ピーク輝度が4000nit近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記表示ピーク輝度が4000nit近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定してもよい。
【0051】
このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
【0052】
また、前記第2判定では、前記マスターモニターの特性としての前記マスターモニターの表示原色を示す表示原色情報に基づいて、前記表示原色が前記所定のマスターモニターの表示原色近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、前記表示原色が前記所定のマスターモニターの表示原色近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記表示原色が前記所定のマスターモニターの表示原色近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定してもよい。
【0053】
このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
【0054】
また、前記第2判定では、前記マスターモニターの特性としての前記マスターモニターのホワイトポイントを示すホワイトポイント情報に基づいて、前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定してもよい。
【0055】
このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
【0056】
また、前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、前記第2判定では、前記ピーク輝度情報により示される前記ピーク輝度が第2所定輝度を超えるか否かを判定し、前記ピーク輝度が前記第2所定輝度を超える場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記ピーク輝度が前記第2所定輝度以下の場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定してもよい。
【0057】
このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
【0058】
また、前記映像データは、前記映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報を含み、前記第2判定では、前記最大フレーム平均輝度情報により示される前記最大フレーム平均輝度が第3所定輝度を超えるか否かを判定し、前記最大フレーム平均輝度が前記第3所定輝度を超える場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記最大フレーム平均輝度が前記第3所定輝度以下の場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定してもよい。
【0059】
このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
【0060】
なお、これらの全般包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【0061】
以下、添付の図面を参照して、本発明の一態様に係る表示方法および表示装置について、具体的に説明する。
【0062】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0063】
本開示は、SMPTE(Society of Motion Picture & Television Engineers) ST2084規格のEOTF(以下、「PQカーブ」という。)で符号化されたダイナミックレンジが高い高輝度信号であるHDR(High Dynamic Range)信号を、HDR信号が対応している輝度のダイナミックレンジにおけるピーク輝度(最大輝度または最高輝度)とは異なる輝度のダイナミックレンジの表示能力を有する表示装置(例えば、TV、プロジェクタ、タブレット、スマートホン等)で表示させることを実現するための、HDR信号形式とそのHDR信号の表示方法および表示装置に関する。
【0064】
(実施の形態1)
以下、図6図11を用いて実施の形態1について説明する。
【0065】
まず、画像の撮影から画像を表示部に表示させるまでの処理の流れについて、図6図10Bを用いて順に説明する。
【0066】
[1−1.画像撮影時の輝度の尺度の考え方]
図6は、画像撮影時の輝度の尺度を示す図である。
【0067】
図6に示すように、カメラで画像を撮影する場合、反射率が18%になるグレーである18%グレーを明るさの基準点として撮影を行う。つまり、18%グレーは、明るさの基準になる基準反射率である。Stop数は、18%グレーにおける輝度を基準点とし、輝度が2倍になる毎に、1ずつ増加するように定義されている。
【0068】
実際にカメラで画像を撮影したときに、カメラのイメージセンサ(例えばCMOS、CCDなど)から得られる輝度は、絞り、シャッタースピード、感度設定などによる露出に応じて変化する。つまり、イメージセンサから得られる輝度は、同じ明るさの被写体を撮影したとしても、露出に応じて異なる値となる。このために、Stop数の値自体は絶対的な値では無く、相対的な値である。つまり、Stop数では、輝度を表すことはできない。
【0069】
例えば、図6の(1)の夜のシーンを撮影するような場合、黒潰れを起こさないようにするためには、シャッタースピードを遅くする、絞りを開ける等により露出を変えることで、暗い部分の階調を残して、明るい部分を捨てるような露出の設定をカメラに対して行う。
【0070】
また、図6の(2)の昼の室内のシーンを撮影するような場合、暗い部分と明るい部分とのバランスが良くなるような露出の設定をカメラに対して行う。また、図6の(3)の昼の屋外のシーンを撮影するような場合、明るい部分の白潰れを防ぐために露出を絞った露出の設定をカメラに対して行う。
【0071】
このようにして得られた相対的な輝度を、絶対的な輝度に変換するためには、18%グレーとの相対関係を計算する必要がある。
【0072】
[1−2.画像撮影時の輝度]
図7は、撮影した画像の輝度の例に示す図である。
【0073】
図7に示すように、撮影した画像(以下、「原画像」という)10のA)は、明るさの基準になる基準反射率である18%グレー(0 Stop)に対応する輝度(以下、「基準輝度」または「18%グレー(Gray)値」という。)を持つ画素を示す。原画像10のB)は、90%の反射率(90%グレー)(2.3 Stops)に対応する輝度を持つ画素を示す。原画像10のC)は、ほぼ黒の2.3%グレー(−3 Stops)に対応する輝度を持つ画素を示す。原画像10のD)は、太陽を撮影することで得られた画素を示し、非常に明るい輝度が得られており、1150%グレー(6 Stops)に対応する輝度を持つ。原画像10のE)は、鏡面反射を起こしている位置を撮影することで得られた画素を示し、290%グレー(4 Stops)に対応する輝度を持つ。
【0074】
[1−3.マスター生成、配信方式、および表示装置の関係]
図8は、SDRに対応したホームエンターテイメント用マスターを制作するフロー、配信媒体および表示装置の関係について説明するための図である。
【0075】
図7で説明したような原画像10は、最大輝度が1300nitの画像である。つまり、原画像10を用いて最大輝度が100nitのSDRに対応したマスター画像(SDR画像)を制作する場合、SDRでは100nit以上の輝度を有する画素を表現することはできないため、原画像10の輝度を変換せずにそのまま用いてSDRに対応したマスター画像を制作することはできない。つまり、原画像10を用いてSDRに対応したマスター画像を制作しようとすれば、原画像10の輝度をSDRに対応したダイナミックレンジの輝度に変換する必要がある。
【0076】
[1−4.原画像からSDR画像へのマスタリング]
次に、原画像10からSDR画像へのSDRグレーディング処理(マスタリング処理)について説明する。
【0077】
まず、カメラで撮った、100nit以上の高輝度成分を持ったコンテンツの映像(画像)をBt709等の放送規格に適応させるために、通常のグレーディング処理で、80nit前後まではそのままリニアに輝度を保持し、それから上の部分は、最高輝度が100nitに収めるように曲げるニーカーブ処理を行う。具体的には、ニーカーブ処理は、一定値以下の輝度をリニアに表示し、一定値以上の輝度を、表示させる表示装置の表示ピーク輝度に合わせて減衰させる処理である。
【0078】
図9Aは、図7で示した原画像をSDR画像にマスタリングした結果の輝度の一例を示す図である。図9Bは、原信号値をSDR信号値に変換する(マスタリングする)ための、原信号値とSDR信号値との関係の一例を示す図である。なお、原信号値は、原画像10の0〜1300nitのダイナミックレンジにおける輝度(「以下、原画像10の輝度」という。)であり、SDR信号値は、SDRの輝度範囲における輝度(以下、「SDRの輝度」という。)である。
【0079】
図9Bに示すように、この例における原画像10からSDR画像11へのマスタリングでは、基準反射率である18%グレー(0 Stop)に対応する画素は、明るさの基準になる基準輝度を持つ画素である。このため、SDR画像へのマスタリングでは、原画像10をSDR画像11に変換した後であっても、原画像10における18%グレーに対応する原画像10の輝度(18nit)を変更せずに、SDRの輝度として決定する。
【0080】
ここで、図9Bに示すように、原画像10からSDR画像11へのマスタリングでは、原画像10の90%グレーに対応する原画像10の輝度(90nit)以下の輝度範囲(0〜90nit)においては、原画像10の輝度を変更せずに、SDRの輝度として決定する。また、図9Bに示すように、原画像10の90%グレーに対応する原画像10の輝度(90nit)より大きい原画像10の輝度範囲(90〜1300〔nit〕)における原画像10の輝度を、90〜100nitの輝度範囲のSDRの輝度に、線形変換により割り付ける。
【0081】
例えば、SDR画像11のB)のような、90%グレー(2.3 Stops)に対応する画素についてのSDR画像11へのマスタリングでは、原画像10をSDR画像11に変換した後であっても、原画像10における90%グレーに対応する原画像10の輝度(90nit)を変更せずに、SDRの輝度として決定する。
【0082】
また、例えば、SDR画像11のC)のような、2.3%グレー(−3 Stops)に対応する画素についてのSDR画像へのマスタリングでは、上記と同様に、原画像10をSDR画像11に変換した後であっても、原画像10における2.3%グレーに対応する原画像10の輝度(2nit)を変更せずに、SDRの輝度として決定する。
【0083】
例えば、SDR画像11のD)のような、1150%グレー(6 Stops)に対応する画素についてのSDR画像へのマスタリングでは、原画像10における1150%グレーに対応する原画像10の輝度(1150nit)をSDRの最大輝度である100 nitに変換する。
【0084】
また、例えば、SDR画像11のE)のような、290%グレー(4 Stops)に対応する画素についてのSDR画像へのマスタリングでは、原画像10における290%グレーに対応する原画像10の輝度を95 nitに変換する。
【0085】
[1−5.原画像からHDR画像への第1のマスタリング]
図10Aは、図7で示した原画像をHDR画像にマスタリングした結果の輝度の一例を示す図である。図10Bは、原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。なお、HDR信号値は、HDRの輝度範囲における輝度(以下、「HDRの輝度」という。)である。なお、この例における原画像10からHDR画像へのマスタリングでは、2000nitまでの輝度をHDRの輝度として割り付けることが許されているため、HDR画像においても原画像10の輝度をそのまま保持できる。
【0086】
例えば、HDR画像12のA)のような、基準反射率である18%グレー(0 Stop)に対応する画素は、明るさの基準になる基準輝度を持つ画素であるため、HDR画像へのマスタリングでは、原画像10をHDR画像12に変換した後であっても、原画像10における18%グレーに対応する原画像10の輝度(18nit)を変更せずに、HDRの輝度として決定する。
【0087】
同様にして、例えば、HDR画像12のB)のような、90%グレー(2.3 Stops)に対応する画素と、HDR画像12のC)のような、2.3%グレー(−3 Stops)に対応する画素と、HDR画像12のD)のような、1150%グレー(6 Stops)に対応する画素と、HDR画像12のE)のような、290%グレー(4 Stops)に対応する画素とのそれぞれについて、HDR画像へのマスタリングでは、当該原画像10の輝度を変更せずに、HDRの輝度として決定する。
【0088】
[1−6.表示方法]
次に、実施の形態1の表示方法について、図11を用いて説明する。
【0089】
図11は、実施の形態1に係る表示方法における輝度変換処理の具体例について説明するための図である。
【0090】
図11に示すように、本実施の形態の表示方法では、デュアルトーンマッピングを行う。デュアルトーンマッピングでは、第1所定輝度(例えば1000nit)以下の輝度を有する画素に対しては、通常のRGB空間で定義されるRGBの各色の値に対してトーンマッピング処理(以下、「RGB空間トーンマッピング」と言う。)を行う。例えば、HDRTVの表示ピーク輝度が500nitの場合、1000nit以下の輝度を有する画素に対してRGB空間トーンマッピングを行うことにより、HDRTVの460nitまでの輝度範囲でHDRコンテンツのHDR映像の1000nit以下の輝度を有する画素を表現する。一方で、第1所定輝度を超える輝度を有する画素に対しては、通常のRGB空間でのトーンマッピング処理ではなく、YUV空間で定義される輝度に対してトーンマッピング処理(以下、「YUV空間トーンマッピング」と言う。)を行う。なお、YUV空間トーンマッピングでは、画素を構成する輝度に対する処理の他に、当該画素を構成する色差に対しても処理を行う。
【0091】
要するに、本実施の形態1に係る表示方法では、HDR映像の映像データを取得し、取得した映像データに含まれる映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行う。そして、複数の画素のそれぞれについて、第1判定の結果、当該画素の輝度が第1所定輝度を超える場合と、当該画素の輝度が第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行う。その後、デュアルトーンマッピングの結果を用いて、HDR映像を表示装置に表示する。
【0092】
また、デュアルトーンマッピングでは、複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超える場合、YUV空間トーンマッピングを行い、当該画素の輝度が第1所定輝度以下の場合、RGB空間トーンマッピングを行う。
【0093】
[1−7.効果等]
本実施の形態の表示方法によれば、HDRコンテンツのHDR映像に含まれる複数の画素に対して、当該画素が有する輝度が第1所定輝度を超えているか否かに応じて、2つのトーンマッピング処理のいずれかを選択的に行うことで、輝度の変換処理の前後で各画素の色が変化することを抑制することができる。つまり、第1所定輝度としての1000nit以下の輝度範囲での映像の再現性を維持しながら、1000nitを超える輝度範囲の、sparkle部分(雷、花火、電球、炎、爆発、太陽、水の反射等の小領域の映像)の輝度差と色成分の保持とを実現することができる。
【0094】
また、本実施の形態の表示方法によれば、HDRコンテンツのHDR映像に含まれる複数の画素に対して、当該画素が有する輝度が第1所定輝度を超えている場合には、YUV空間トーンマッピングを行うため、輝度の変換処理の前後で各画素の色が変化することを効果的に抑制することができる。また、HDRコンテンツのHDR映像に含まれる複数の画素に対して、当該画素が有する輝度が第1所定輝度を超えている場合には、RGB空間トーンマッピングを行うため、輝度の変換処理の前後で各画素の色の再現性を極力維持することができる。
【0095】
(実施の形態2)
次に、実施の形態2の表示方法について、図12図26を用いて説明する。
【0096】
まず、グレーディングの方式について説明する。
【0097】
[2−1.グレーディングの方式]
図12は、グレーディングの方式について説明した表である。
【0098】
HDRコンテンツのグレーディング方法は、図12に示すように大きく3つの方式がある。具体的には、DolbyVision方式、SDRと同様な方式(以下、「従来方式」と言う。)、およびACES(Academy Color Encoding System)方式がある。
【0099】
以下、3つの方式について順に説明する。
【0100】
DlobyVision方式では、マスターモニター(図12では「マスモニ」と表記)の表示能力に合わせて、絶対輝度基準でグレーディングが行われており、グレーディングにより得られた映像信号の輝度をPQカーブ(PQ空間)を用いて量子化することによりHDRのマスター映像を生成している。DlobyVision方式では、マスターモニターとして表示ピーク輝度(最高輝度)が非常に高い、例えば4000nitの高輝度マスターモニター(例えばPulsar)を用いてマスター映像を生成している。
【0101】
また、DlobyVision方式では、生成したマスター映像を用いて、SDR映像のSDR信号とHDRを再現するための補助信号とに分離することで、SDR映像を生成している。これにより、DlobyVision方式では、HDRとSDRとの互換性を実現している。このように、DlobyVision方式では、HDRとSDRとの互換を取るために、約80nit以下の輝度範囲(帯域)は、HDRとSDRとで共通とし、18%グレー(Middle Gray)の値(ポイント)も共通としている。つまり、HDRとSDRとでは、約80nitを超える輝度範囲(高輝度部分)のみが異なる輝度となる。また、DlobyVision方式で生成されたHDR映像のピーク輝度(最高輝度)は、高輝度マスターモニターの最高輝度まで表現できるため、2000〜4000nitと非常に高い輝度となる。
【0102】
従来方式では、DlobyVision方式と同様のグレーディングの方針であり、絶対輝度基準である。しかし、従来方式では、マスターモニターとして、表示ピーク輝度が1000nit相当の標準マスターモニター(例えば、SONYのX300、ハイエンド民生TVなど)を用いてマスター映像を生成している。
【0103】
また、従来方式では、HDRとSDRとの互換性はない。つまり、SDRは、HDRとは別にグレーディングすることで生成している。このように従来方式でグレーディングされたHDR映像は、DV方式同様な特性を有する。また、当該HDR映像は、標準マスターモニターの最高輝度に依存するため、800〜1000nit程度となる。
【0104】
ACES方式では、相対輝度基準でグレーディングが行われている。つまり、マスターモニターの表示能力とは独立にグレーディングを行い、グレーディングにより得られた映像信号の輝度を浮動小数点(相対輝度)で量子化することによりHDRのマスター映像を生成している。ACES方式では、マスターモニターとして上述した標準マスターモニターが使用される。
【0105】
また、ACES方式では、ACESで相対輝度管理しているため、生成したHDRのマスター映像からHDR映像またはSDR映像を生成する際に、HDRのマスター映像の輝度の相対関係を維持しながら輝度を変換する。これにより、ピーク輝度が100nitのSDR映像やピーク輝度が例えば1000nitのHDR映像を容易に生成することができる。このように、ACES方式では、相対輝度管理された輝度情報からHDR映像のピーク輝度に合わせて自動変換するため、SDR映像とHDR映像とではピーク輝度が異なるだけで互いの輝度の相対関係は維持されている。HDR映像は、18%グレー(Middle Gray)の値がSDR映像よりも大きい場合がある。ACES方式で生成されたHDR映像は、標準マスターモニターの最高輝度に依存するため、800〜1000nit程度となる。
【0106】
以上のように、3つの方式のそれぞれでグレーディングされることにより得られたHDR映像の特性は異なる。このためHDRTVで、これらの3つの方式のうちのいずれか1つのグレーディング方式を前提に、表示処理(トーンマッピング処理等)を行うと、CI(Creator’s Intent)とは異なるHDR映像がHDRTVに表示されるおそれがある。
【0107】
次に、グレーディングを行う場合の従来のマスタリングの構成について説明する。
【0108】
[2−2.従来方式のマスタリングの構成]
図13は、標準マスターモニターを使って従来方式でHDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。
【0109】
グレーディングでは、グレーディング前の原画像10のような素材データをHDRに対応した標準マスターモニターを使って画像を確認しながら、HDRのマスター映像を制作する。このHDRのマスター映像は、標準マスターモニターの表示ピーク輝度(例えば1000nit)の制約を受けるため、当該表示ピーク輝度の1000nit以上の輝度成分を含んだHDRのマスター映像を作ることは難しい。
【0110】
このHDRのマスター映像を各配信媒体(Blu−ray(登録商標)、放送、OTTなど)で共通して利用して、各TVメーカがTVの能力に応じた画質調整を行うことで、標準マスターモニターの見え方に合わせたHDR表現を各TVで再現することができる。
【0111】
[2−3.原画像からHDR画像への従来方式でのマスタリング]
図14Aは、図7で示した原画像をHDR画像に従来方式でマスタリングした結果の輝度の一例を示す図である。図14Bは、原信号値をHDR信号値に変換する(従来方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。
【0112】
なお、この例における原画像10からHDR画像13へのマスタリングでは、使用する標準マスターモニターの表示ピーク輝度が1000nitに制限されているため、900%程度以上の値はそのまま保持できない。よって、SDR映像にマスタリングする場合と同様に、ピーク輝度を1000nitまで抑えるためにニーカーブ処理を導入している。
【0113】
図14Bに示すように、この例における原画像10からHDR画像13へのマスタリングでは、基準反射率である18%グレー(0 Stop)に対応する画素は、明るさの基準になる基準輝度を持つ画素である。このため、HDR画像へのマスタリングでは、原画像10をHDR画像13に変換した後であっても、原画像10における18%グレーに対応する原画像10の輝度(18nit)を変更せずに、HDRの輝度として決定する。
【0114】
ここで、図14Bに示すように、原画像10からHDR画像13へのマスタリングでは、原画像10の900%グレーに対応する原画像10の輝度(900nit)以下の輝度範囲(0〜900nit)においては、原画像10の輝度を変更せずに、HDRの輝度として決定する。また、図14Bに示すように、原画像10の900%グレーに対応する原画像10の輝度(900nit)より大きい原画像10の輝度範囲(900〜10000nit)における原画像10の輝度を、900〜1000nitの輝度範囲のHDRの輝度に、線形変換により割り付ける。
【0115】
例えば、HDR画像13のA)のような、18%グレー(0 Stops)に対応する画素についてのHDR画像13へのマスタリングでは、原画像10をHDR画像13に変換した後であっても、原画像10における18%グレーに対応する原画像10の輝度(18nit)を変更せずに、HDRの輝度として決定する。
【0116】
例えば、HDR画像13のB)のような、90%グレー(2.3 Stops)に対応する画素についてのHDR画像13へのマスタリングでは、原画像10をHDR画像13に変換した後であっても、原画像10における90%グレーに対応する原画像10の輝度(90nit)を変更せずに、HDRの輝度として決定する。
【0117】
また、例えば、HDR画像13のC)のような、2.3%グレー(−3 Stops)に対応する画素についてのHDR画像13へのマスタリングでは、原画像10をHDR画像13に変換した後であっても、原画像10における2.3%グレーに対応する原画像10の輝度(2nit)を変更せずに、HDRの輝度として決定する。
【0118】
例えば、HDR画像13のD)のような、1150%グレー(6 Stops)に対応する画素についてのHDR画像13へのマスタリングでは、原画像10における1150%グレーに対応する原画像10の輝度(1150nit)をニーカーブ処理により、例えば930nitに変換する。
【0119】
また、例えば、HDR画像13のE)のような、290%グレー(4 Stops)に対応する画素についてのHDR画像へのマスタリングでは、原画像10をHDR画像13に変換した後であっても、原画像10における290%グレーに対応する原画像10の輝度(290nit)を変更せずに、HDRの輝度として決定する。
【0120】
図15は、従来方式でHDRグレーディングすることにより得られたSDR画像の例を示す図である。
【0121】
図16に、従来方式でHDRグレーディングすることにより得られたHDR画像の例を示す図である。
【0122】
図15および図16に示すように、SDR画像およびHDR画像を比較することで、波頭、空等の輝度の高い部分はHDRグレーディングで変化するが、90nit程度以下のSDRの部分は輝度が変わっていないことがわかる。
【0123】
[2−4.ACES方式のマスタリングの構成]
図17は、標準マスターモニターを使ってACES方式でACES/HDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。
【0124】
グレーディングでは、グレーディング前の原画像10のような素材データをHDRに対応した標準マスターモニターを使って画像を確認しながら、ACES/HDRのマスター映像を制作する。このACES/HDRのマスター映像は、標準マスターモニターの表示ピーク輝度(例えば、1000nit)の制約を受けているが、この場合では絶対輝度基準を使わないで浮動小数点(相対輝度表現)を使ってACES/HDRのマスター映像を制作する。このためACES/HDRのマスター映像は、1000nitの制約を受けない。
【0125】
このACES/HDRのマスター映像をACESのHDRコンバーターを通して変換することで、HDRマスタ−映像の最高輝度に合わせたHDRマスター映像を制作できる。この際、マスターモニターの表示ピーク輝度が1000nitであっても、ピーク輝度が1300nitや800nitのマスター映像を制作できる。このHDRのマスター映像を各配信媒体(Blu−ray(登録商標)、放送、OTT)で共通して利用して、各TVメーカが各TVの能力に応じた画質調整を行うことで、当該HDRのマスター映像の見え方に合わせたHDR表現を各TVで再現することができる(詳細は、http://www.oscars.org/science−technology/sci−tech−projects/acesを参照)。
【0126】
[2−5.原画像からHDR画像へのACES方式でのマスタリング]
図18Aは、図7で示した原画像をHDR画像にACES方式でマスタリングした結果の輝度の一例を示す図である。図18Bは、原信号値をHDR信号値に変換する(ACES方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。
【0127】
ACESを使った場合でも、図14Aおよび図14Bのように、使用するマスターモニターの表示ピーク輝度に合わせてグレーディングを行うことも可能である。この場合は、図14Aおよび図14Bと同じ結果になる。ACSEの場合は、輝度帯域(輝度範囲)が広がったことを有効使用して、暗部(低輝度範囲)により情報を持たせために、18%グレー値を18nitではなく、例えば2倍の36nitにして変換することもできる。
【0128】
図18Aは、図7で示した原画像10の18%グレー値を、通常の2倍の36nitに指定してHDR画像にマスタリングした結果の一例である。
【0129】
なお、この例における原画像10からHDR画像14へのマスタリングでは、18%グレー値を18nitから36nitに変更するため、低輝度範囲のリニア部分の傾きを2倍に変化させる。また、ピーク輝度を1000nitに制限するために、ニーカーブ処理を導入している。
【0130】
例えば、HDR画像14のA)のような、18%グレー(0 Stop)に対応する画素についてのHDR画像14へのマスタリングでは、18nitから36nitに変更する。
【0131】
また、例えば、HDR画像14のB)のような、90%グレー(2.3 Stops)、HDR画像14のC)のような2.3%グレー(−3 Stops)、HDR画像14のE)のような290%グレー(4 Stops)のそれぞれに対応する画素についてのHDR画像14へのマスタリングでは、低輝度範囲のリニア部分の傾きが2倍に変わったので、それぞれ2倍された値となる。
【0132】
また、例えば、HDR画像の14のD)のような、1150%グレー(6 Stops)に対応する画素についてのHDR画像14へのマスタリングでは、原画像10における1150%グレーに対応する原画像10の輝度(1150nit)をニーカーブ処理により、例えば950nitに変換する。
【0133】
図19は、ACES方式でACES/HDRグレーディングすることにより得られたACES/HDRのマスター映像から、自動生成したSDR画像の例を示す図である。
【0134】
図20は、ACES方式でACES/HDRグレーディングすることにより得られたACES/HDRのマスター映像から、自動生成したHDR画像の例を示す図である。
【0135】
図19および図20に示すように、SDR画像およびHDR画像を比較することで、太陽、水の反射、暗い森との相対関係をSDR/HDR間で維持しながら、HDR画像が生成されていることがわかる。このため、ACES方式でグレーディングすることにより得られたHDR画像およびSDR画像では、従来方式のHDR画像およびSDR画像のように暗い部分の輝度が同じになっていない。
【0136】
[2−6.DolbyVision方式のマスタリングの構成]
図21は、高輝度マスターモニターを使ってDolbyVision方式でHDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。DolbyVision方式の場合は、劇場と民生とのそれぞれでHDRのDolbyVision専用のマスターモニターがあり、これらのマスターモニターに合わせてグレーディング処理を行う。SDRは、DolbyVision方式で生成された高輝度マスター映像から自動生成される。
【0137】
グレーディングでは、グレーディング前の原画像10のような素材データをHDRに対応した高輝度マスターモニターを使って画像を確認しながら、高輝度マスター映像を制作する。この高輝度マスター映像は、高輝度マスターモニターの表示ピーク輝度が、例えば、4000nitと高輝度であるため、通常は輝度変換処理を行わなくてもグレーディングが行える。また、高輝度マスターモニターでグレーディングされることにより得られた高輝度マスター映像は、高輝度マスターモニターの4000nitまで表示能力を活かし、全体的には沈め気味で、稲妻、ネオンサイン、花火、火等の映像の輝度を非常に高くし、明暗が強調されたHDR効果を実現している。
【0138】
この高輝度マスター映像をDolbyVision機器用の専用配布フォーマットにすることも、DolbyVision非対応機器向けに、標準HDRフォーマットで各配信媒体(Blu−ray(登録商標)、放送、OTT)で共通して利用することもできる。つまり、HDRマスターは、DolbyVisionメタデータとDolbyVision用SDRマスタとを含むことになる(詳細は、http://www.dolby.com/us/en/technologies/dolby−vision.htmlおよびhttp://www.dolby.com/us/en/technologies/dolby−vision−color−grading.pdfを参照)。
【0139】
[2−7.原画像からHDR画像へのDolbyVision方式でのマスタリング]
図22Aは、図7で示した原画像をHDR画像にDolbyVision方式でマスタリングした結果の輝度の一例を示す図である。図22Bは、原信号値をHDR信号値に変換する(DolbyVision方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。
【0140】
この例では、PQカーブを使った場合、マスタリング後も値は10,000nitまで許されており、DolbyVision方式の高輝度マスターモニターの表示ピーク輝度が4000nitまであるため、通常はニーカーブの導入は不要である。具体的には、80〜90nit以下の低輝度範囲では、HDR映像とSDR映像とは全く同じである。また、4000nitを超える輝度のみ、ピーク輝度を4000nitに制限するために、SDRと同様のニーカーブ処理を導入している。
【0141】
例えば、HDR画像15のA)のような、18%グレー(0 Stop)に対応する画素についてのHDR画像15へのマスタリングでは、原画像10をHDR画像15に変換した後であっても、原画像10における18%グレーに対応する原画像10の輝度(18nit)を変更せずに、HDRの輝度として決定する。
【0142】
また、例えば、HDR画像15のB)のような、90%グレー(2.3 Stops)、HDR画像15のC)のような2.3%グレー(−3 Stops)、HDR画像15のE)のような290%グレー(4 Stops)のそれぞれに対応する画素についてのHDR画像15へのマスタリングでは、変換せずに、それぞれ、90nit、2nitおよび290nitをHDRの輝度として決定する。
【0143】
また、例えば、HDR画像15のD)のような、1150%グレー(6 Stops)に対応する画素についてのHDR画像15へのマスタリングでは、原画像10における1150%グレーに対応する原画像10の輝度(1150nit)をニーカーブ処理により、例えば1050nitに変換する。
【0144】
図23は、DolbyVision方式でHDRグレーディングすることにより得られた高輝度マスター映像から、自動生成したSDR画像と同等の効果を有すると思われるデジタルシネマ評価用コンテンツ”Stem”の例を示す図である。
【0145】
図24は、DolbyVision方式でHDRグレーディングすることにより得られた高輝度マスター映像と同等の傾向を有すると思われるのデジタルシネマ評価用コンテンツ”Stem”の例を示す図である。
【0146】
図23および図24に示すように、HDR画像は、SDR画像と比べて電球、ろうそく等の輝度の高い部分は非常に高い値を持つが、90nit程度以下の部分は輝度が変わっていないことがわかる。
【0147】
[2−8.第2の課題]
図25は、グレーディングの3つの方式の課題について説明した表である。
【0148】
図12に示したように、3つの方式でグレーディングされることにより得られたHDRコンテンツの特性はそれぞれ異なる。このため民生HDRTVで表示処理(トーンマッピング処理等)を行う上でのHDRTVの課題は、図25に示すように異なる。言い換えると、絶対輝度管理による映像であるか、相対輝度管理による映像であるかでHDRTVの課題は大きく異なり、それぞれの映像に適した表示処理を行う必要がある。しかしながら、HDRTVでは、絶対輝度管理による映像であるか、相対輝度管理による映像であるかを判定して、絶対輝度管理と相対輝度管理とで表示処理を異ならせることは考慮されていなかった。
【0149】
なお、絶対輝度管理による映像であるか、相対輝度管理による映像であるかを判定するためには、グレーディングの3つの方式を識別する必要がある。しかし、DolbyVision方式ではない方式のHDRTVの場合、送られてくるHDR信号が、DolbyVisionか、従来方式か、ACES方式かのどの方式でグレーディングされたか判定する手段がない。このため、HDRTVでは、3つのグレーディング方式の違いを無視して、HDR信号のHDR映像を表示していた。
【0150】
そこで、HDRコンテンツを再生する前に、HDRTVがHDRコンテンツがグレーディングされた方式が3方式のうちのどの方式であるかを知ることができれば、当該方式に適したトーンマッピング処理等の表示処理を行うことができる。しかしながら、実際には、HDRTVは、HDRコンテンツの再生開始時点では、当該HDRコンテンツにはどの方式でグレーディングされたかを直接的に示す情報が含まれていないため、グレーディングの方式を特定することは難しい。
【0151】
図26は、HDR対応したUltra HD Blu−ray(登録商標)機器をHDR対応のHDMI(登録商標)2.0a経由でHDRTVに繋いだ場合の例を示す図である。
【0152】
このようにUltra HD Blu−ray(登録商標)機器とHDRTVとをHDMI(登録商標)2.0a経由で接続した場合、HDR映像を再生する際に、Ultra HD Blu−ray(登録商標)機器から送信するHDR映像に関する静的メタデータ(ST2086+α)を、HDMI(登録商標)のInfoFrameとして送ることができる。したがって、HDRTVは、最低限のHDRコンテンツに関する静的メタデータの情報を得ることができる。
【0153】
ただし、HDRTVにとっては、静的メタデータ(ST2086等)のみでは、再生するHDRコンテンツがどのようなマスターモニターを用いてグレーディングされたかの最低情報と、HDRコンテンツの最低限の統計情報が得られるだけである。したがって、静的メタデータを用いて、グレーディングの3つの方式のどの方式によってグレーディングされたHDRコンテンツであるかを判定することは難しい。
【0154】
特に、従来方式またはACES方式でグレーディングされたHDRコンテンツの場合は、どちらかに最適な再生制御方式を間違って選んでHDR再生制御処理を行っても、通常は、大きな破綻が無く再生が可能になる。これに対して、従来方式またはACES方式と、DolbyVision方式とではグレーディング方法、グレーディングされたコンテンツの特性が大きく異なるため、方式の選択をあやまると、HDR再生画質に破たんが生じる恐れがある。このため、DolbyVisionでグレーディングしたHDRコンテンツであるかどうかの判定は重要である。
【0155】
[2−9.表示方法]
次に、実施の形態2の表示方法について説明する。
【0156】
本実施の形態の表示方法では、映像データに含まれる静的メタデータから得られる情報を有効に使うことにより、DolbyVision方式でグレーディングされたか否かを判定することで、より適切な表示制御を実現させる。
【0157】
DolbyVision方式では、上述したように特殊な高輝度マスターモニター(Pulsar)を用いてグレーディングを行うことを利用し、静的メタデータに含まれるST2086の情報を使って推定する。
【0158】
ST2086の情報には、グレーディングに用いられたマスターモニターの特性が含まれる。このため、ST2086の情報を利用すれば、DolbyVision方式のグレーディングで用いられる特殊な高輝度マスターモニターを利用して生成されたHDRコンテンツであるか否かを推測できる。
【0159】
つまり、本実施の形態の表示方法では、取得した映像データに含まれる静的メタデータに基づいて、映像データに含まれる映像の輝度が絶対輝度管理されているか相対輝度管理されているかを判定する第2判定を行う。そして、第2判定の結果、映像データに含まれる映像の輝度が絶対輝度管理されている場合、実施の形態1で説明したデュアルトーンマッピングを行う。一方で、第2判定の結果、映像データに含まれる映像の輝度が相対輝度管理されている場合、映像データに含まれる映像を構成する複数の画素のそれぞれについて、当該画素のRGB空間で定義されるRGBの各色の値を縮小するRGB空間トーンマッピングを行う。
【0160】
また、第2判定では、ST2086の情報に含まれる、映像データが生成される基になったマスター映像を生成したときに使用していたマスターモニターの特性が、絶対輝度管理されている映像を生成するときに使用する所定のマスターモニターの特性に近いか否かを判定する。そして、マスターモニターの特性が所定のマスターモニター(高輝度マスターモニター)の特性に近いと判定した場合に映像データの映像の輝度が絶対輝度管理されていると判定し、マスターモニターの特性が所定のマスターモニター(高輝度マスターモニター)の特性に近くないと判定した場合に映像データの映像の輝度が相対輝度管理されていると判定する。
【0161】
なお、第2判定は、具体的には、下記のアルゴリズムを使って行われる。
【0162】
例えば、ST2086の情報に含まれるmax_display_mastering_luminanceが4000nit付近であるか否かを判定し、max_display_mastering_luminanceが4000nit付近であると判定すれば、DolbyVision方式で用いられる高輝度マスターモニターにより生成されたHDRコンテンツであると推定する。つまり、第2判定では、マスターモニターの特性としてのマスターモニターの表示ピーク輝度を示す表示ピーク輝度情報(max_display_mastering_luminance)に基づいて、表示ピーク輝度が4000nit近傍の値であるか否かを判定することでマスターモニターの特性が所定のマスターモニター(高輝度マスターモニター)の特性に近いか否かを判定する。そして、第2判定では、表示ピーク輝度が4000nit近傍の値である場合に映像データに含まれる映像の輝度が絶対輝度管理されていると判定し、表示ピーク輝度が4000nit近傍の値でない場合に映像データに含まれる映像の輝度が相対輝度管理されていると判定する。
【0163】
また、例えば、ST2086の情報に含まれるdisplay_primariesが高輝度マスターモニター(Pulsar)の特性値に近いか否かを判定し、display_primariesが高輝度マスターモニター(Pulsar)の特性値付近であると判定すれば、、DolbyVision方式で用いられる高輝度マスターモニターにより生成されたHDRコンテンツであると推定してもよい。つまり、第2判定では、マスターモニターの特性としてのマスターモニターの表示原色を示す表示原色情報(display_primaries)に基づいて、表示原色が所定のマスターモニター(高輝度マスターモニター)の表示原色近傍の値であるか否かを判定することでマスターモニターの特性が所定のマスターモニター(高輝度マスターモニター)の特性に近いか否かを判定する。そして、第2判定では、表示原色が所定のマスターモニター(高輝度マスターモニター)の表示原色近傍の値である場合に映像データに含まれる映像の輝度が絶対輝度管理されていると判定し、表示原色が所定のマスターモニターの表示原色近傍の値でない場合に映像データに含まれる前像の輝度が相対輝度管理されていると判定する。
【0164】
また、例えば、ST2086の情報に含まれるwhite_pointが高輝度マスターモニター(Pulsar)の特性値に近いか否かを判定し、white_pointが高輝度マスターモニター(Pulsar)の特性値付近であると判定すれば、、DolbyVision方式で用いられる高輝度マスターモニターにより生成されたHDRコンテンツであると推定してもよい。つまり、第2判定では、マスターモニターの特性としてのマスターモニターのホワイトポイントを示すホワイトポイント情報(white_point)に基づいて、ホワイトポイントが所定のマスターモニター(高輝度マスターモニター)のホワイトポイント近傍の値であるか否かを判定することでマスターモニターの特性が所定のマスターモニター(高輝度マスターモニター)の特性に近いか否かを判定する。そして、第2判定では、ホワイトポイントが所定のマスターモニター(高輝度マスターモニター)のホワイトポイント近傍の値である場合に映像データに含まれる映像の輝度が絶対輝度管理されていると判定し、ホワイトポイントが所定のマスターモニターのホワイトポイント近傍の値でない場合に映像データに含まれる映像の輝度が相対輝度管理されていると判定する。
【0165】
また、例えば、上記のdisplay_primariesおよびwhite_pointが、高輝度マスターモニターの特性値は異なり、かつ、標準マスターモニター(例えば、SONYのX300など)の特性値に近いか否かを判定し、標準マスターモニターの特性値に近い場合に、DolbyVision方式ではない方式でグレーディングされたHDRコンテンツであると判定してもよい。HDR対応のマスターモニターは、民生TVとことなり、種類が非常に少ないため、HDR対応のマスターモニターの管理テーブルを保持し、適宜インターネット経由等で更新することが可能である。このようにHDR対応のマスターモニターの管理テーブルを保持しておくことで、グレーディングに用いられたマスターモニターを適切に推定することが可能になり、DolbyVision方式でグレーディングが行われたか否かの判定をより効果的にできる。
【0166】
また、第2判定は、ST2086の情報を用いることに加えて、Blu−ray(登録商標) Disc Association、HDMI(登録商標) Forum、UHD Allianceで定義している静的メタデータのMaxCLL(The Maximum Content Light Level)およびMaxFALL(The Maximum Frame−Average Light Level)を用いて行ってもよい。
【0167】
なお、MaxCLLは、HDRコンテンツの映像のHDRピーク輝度を示すピーク輝度情報である。MaxCLLは、HDRコンテンツのみの静的メタデータである。
【0168】
また、MaxFALLは、HDRコンテンツのHDR映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報である。MaxFALLは、HDRコンテンツのみの静的メタデータであり、HDRコンテンツのためのUltra HD Blu−ray(登録商標)のフォーマットでは、400nitを超えないことオーサリングガイドラインが作成されている。
【0169】
具体的には、MaxCLLを用いることで次のように第2判定を行ってもよい。
【0170】
例えば、MaxCLLの値が2000nit以上か否かを判定し、2000nit以上である場合に非常に高輝度の画素成分を含むため、DolbyVision方式でグレーディングされた(絶対輝度管理された)HDR映像であるとと推定してもよい。なお、判定の基準となる2000nitは一例であり、3000nitでもよい。
【0171】
つまり、第2判定では、ピーク輝度情報により示されるピーク輝度が第2所定輝度(例えば、2000nit、3000nitなど)を超えるか否かを判定する。そして、第2判定では、ピーク輝度が第2所定輝度を超える場合に映像データに含まれる映像の輝度が絶対輝度管理されていると判定し、ピーク輝度が第2所定輝度以下の場合に映像データに含まれる映像の輝度が相対輝度管理されていると判定する。
【0172】
また、例えば、MaxCLLの値が1500nit以上か否かを判定し、1500nit以上である場合に高輝度の画素成分を含むため、DolbyVision方式でグレーディングされた(絶対輝度管理された)HDR映像である可能性が高いと推定してもよい。なお、判定の基準となる1500nitは一例であり、1200nitでもよい。
【0173】
また、例えば、MaxCLLの値が1500nit以下か否かを判定し、1500nit以下である場合に高輝度の画素成分を含まないため、DolbyVision方式でグレーディングされたHDR映像ではなく相対輝度管理されたHDR映像である可能性高いと推定してもよい。なお、判定の基準となる1500nitは一例であり、1750nitでもよい。
【0174】
また、例えば、MaxCLLの値が800nit以下か否かを判定し、800nit以下である場合にDolbyVision方式でグレーディングされた(絶対輝度管理された)HDR映像ではなく相対輝度管理されたHDR映像であると推定してもよい。なお、判定の基準となる800nitは一例であり、750nitでも1000nitでもよい。
【0175】
また、MaxFALLの値について基準値を設けることによりMaxCLLと同様に判定してもよい。つまり、第2判定では、最大フレーム平均輝度情報により示される最大フレーム平均輝度が第3所定輝度を超えるか否かを判定する。そして、第2判定では、最大フレーム平均輝度が第3所定輝度を超える場合に映像データに含まれる映像の輝度が絶対輝度管理されていると判定し、最大フレーム平均輝度が第3所定輝度以下の場合に映像データに含まれる映像の輝度が相対輝度管理されていると判定する。
【0176】
このように、ST2086の情報を用いることに加えて、MaxCLLまたはMaxFALLを用いて第2判定を行うことにより、より効果的に、DolbyVision方式でグレーディングされたか否かを判定でき、絶対輝度管理されたHDR映像であるか否かを判定できる。このため、HDR映像に対してより適切な表示処理を適用することができる。
【0177】
[2−10.効果等]
本実施の形態に係る表示方法によれば、DolbyVision方式でグレーディングされたHDRコンテンツのHDR映像を識別でき、かつ、識別結果に応じて実施の形態1で説明したデュアルトーンマッピングおよびRGB空間トーンマッピングのいずれかのトーンマッピング処理を適切に選択して行うことができる。このため、HDR映像が絶対輝度管理された映像であるか、相対輝度管理された映像であるかに関わらず、適切な処理を行うことができるため、適切な映像を表示させることができる。
【0178】
(他の実施の形態)
また、上記で説明した表示方法を行う表示装置として実現してもよい。
【0179】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の表示方法などを実現するソフトウェアは、次のようなプログラムである。
【0180】
すなわち、このプログラムは、コンピュータに、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示装置に表示する表示方法であって、前記映像データを取得し、取得した前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行い、前記複数の画素のそれぞれについて、前記第1判定の結果、当該画素の輝度が前記第1所定輝度を超える場合と、当該画素の輝度が前記第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行い、前記デュアルトーンマッピングの結果を用いて、前記映像を前記表示装置に表示する表示方法を実行させる。
【0181】
以上、本発明の一つまたは複数の態様に係る表示方法および表示装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【0182】
本開示は、HDRに対応した映像データの映像を表示ピーク輝度に合わせた輝度変換を容易に行うことができ、かつ、変換前後での色の変化を抑制できる表示方法、表示装置などとして有用である。
図1
図3
図6
図9B
図10B
図12
図14B
図18B
図22B
図25
図26
図2
図4
図5
図7
図8
図9A
図10A
図11
図13
図14A
図15
図16
図17
図18A
図19
図20
図21
図22A
図23
図24