特開2016-213809(P2016-213809A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-213809(P2016-213809A)
(43)【公開日】2016年12月15日
(54)【発明の名称】表示方法および表示装置
(51)【国際特許分類】
   H04N 5/66 20060101AFI20161118BHJP
   G09G 5/00 20060101ALI20161118BHJP
   G09G 5/10 20060101ALI20161118BHJP
   H04N 9/69 20060101ALI20161118BHJP
   H04N 5/70 20060101ALI20161118BHJP
【FI】
   H04N5/66 A
   G09G5/00 550H
   G09G5/10 B
   H04N9/69
   H04N5/70 B
   H04N5/66 102Z
【審査請求】未請求
【請求項の数】11
【出願形態】OL
【全頁数】27
(21)【出願番号】特願2015-248025(P2015-248025)
(22)【出願日】2015年12月18日
(31)【優先権主張番号】62/160,016
(32)【優先日】2015年5月12日
(33)【優先権主張国】US
(71)【出願人】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Panasonic Intellectual Property Corporation of America
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】小塚 雅之
(72)【発明者】
【氏名】東田 隆司
(72)【発明者】
【氏名】森 美裕
(72)【発明者】
【氏名】平川 晴康
(72)【発明者】
【氏名】遠間 正真
【テーマコード(参考)】
5C058
5C066
5C182
【Fターム(参考)】
5C058AA06
5C058AA12
5C058BA05
5C058BA07
5C058BA08
5C058BA13
5C058BA29
5C058BA35
5C058BB13
5C058BB14
5C066AA03
5C066CA06
5C066CA07
5C066CA17
5C066CA21
5C066EA07
5C066EC05
5C066GA01
5C066KA12
5C182AA03
5C182AC03
5C182BA25
5C182BA45
5C182BC41
5C182CA02
5C182CA12
5C182CA13
5C182DA53
(57)【要約】
【課題】更なる改善を実現することができる表示方法および表示装置を提供する。
【解決手段】HDR(High Dynamic Range)に対応する第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示装置100に表示する表示方法であって、表示方法では、映像データを取得し、第1EOTFの一部分であって、取得した映像データに含まれるピーク輝度情報により示されるピーク輝度を最大輝度とする輝度範囲の部分である第2EOTFに対して、第2EOTFの輝度の相対関係を維持したまま、第2EOTFの最大輝度を表示装置の表示可能輝度に合わせて第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、映像の輝度を変換する第1変換を行い、第1変換の結果を用いて、映像を表示装置100に表示する。
【選択図】図12
【特許請求の範囲】
【請求項1】
HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示装置に表示する表示方法であって、
前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、
前記表示方法では、
前記映像データを取得し、
前記第1EOTFの一部分であって、取得した前記映像データに含まれる前記ピーク輝度情報により示される前記ピーク輝度を最大輝度とする輝度範囲の部分である第2EOTFに対して、前記第2EOTFの輝度の相対関係を維持したまま、前記第2EOTFの最大輝度を前記表示装置の表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度を変換する第1変換を行い、
前記第1変換の結果を用いて、前記映像を前記表示装置に表示する
表示方法。
【請求項2】
前記第3EOTFは、前記表示可能輝度を前記ピーク輝度で除することで得られた値を、前記第2EOTFにおける輝度を表す変数に乗ずることにより、前記第2EOTFの輝度の相対関係を維持したまま前記第2EOTFの最大輝度を前記表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小されたEOTFである
請求項1に記載の表示方法。
【請求項3】
さらに、
前記ピーク輝度情報が示す前記ピーク輝度が、前記表示装置が予め記憶している所定輝度を超えるか否かの第1判定を行い、
前記第1判定の結果、前記ピーク輝度が前記所定輝度を超えている場合、
(i)前記映像の輝度のうち、前記第2EOTFの前記所定輝度から前記ピーク輝度までの輝度範囲における輝度を、前記表示装置が予め記憶している第4EOTFのコード値の範囲を規定したフルレンジよりも狭いナローレンジの上限値に対応する第1輝度から前記フルレンジの上限値に対応する第2輝度までの輝度範囲における輝度に変換する第3変換と、(ii)前記第2EOTFの一部分であって、前記所定輝度を最大輝度とする輝度範囲の部分である第5EOTFに対して、前記第5EOTFの輝度の相対関係を維持したまま、前記第5EOTFの最大輝度を前記第1輝度に合わせて前記第5EOTFの輝度のダイナミックレンジを縮小した第6EOTFに変換し、前記映像の輝度のうち、前記第5EOTFのダイナミックレンジの輝度を、対応する前記第6EOTFのダイナミックレンジの輝度に変換する第4変換と、を含む第2変換を行い、
前記第2変換の結果を用いて、前記映像を前記表示装置に表示する
請求項1または2に記載の表示方法。
【請求項4】
前記第3変換では、前記映像の輝度のうち、前記第2EOTFの前記所定輝度から前記ピーク輝度までの輝度範囲における輝度を、前記第1輝度および前記ナローレンジの上限値の組と、前記第2輝度と前記フルレンジの上限値の組との間でリニアな関係を満たすように変換する
請求項3に記載の表示方法。
【請求項5】
前記第1判定の結果、前記ピーク輝度が前記所定輝度以下の場合、前記ピーク輝度を前記表示可能輝度としての前記第1輝度に合わせて前記第2EOTFの輝度のダイナミックレンジを縮小する変換を前記第1変換として行う
請求項3または4に記載の表示方法。
【請求項6】
前記フルレンジは、コード値が0から1023までの整数値の範囲であり、
前記ナローレンジは、コード値が64から940までの整数値の範囲である
請求項3から5のいずれか1項に記載の表示方法。
【請求項7】
前記映像データは、さらに、前記映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報を含み、
前記最大フレーム平均輝度情報が示す前記最大フレーム平均輝度が前記ピーク輝度の1/2以下であるか否かを判定する第2判定を行い、
前記第2判定の結果、前記最大フレーム平均輝度が前記ピーク輝度の1/2以下である場合、前記所定輝度として前記最大フレーム平均輝度の2倍の値を用いて前記第2変換を行う
請求項3から6のいずれか1項に記載の表示方法。
【請求項8】
前記映像データは、さらに、前記映像を構成する複数の区間映像のそれぞれについて、当該区間映像のピーク輝度である区間ピーク輝度を示す区間ピーク輝度情報を含み、
前記表示方法では、さらに、
取得した前記映像データに含まれる前記ピーク輝度情報および前記区間ピーク輝度情報を用いて、前記複数の区間映像のうち連続する2つの前記区間映像間の輝度変化が急激であるか否かを判定する第3判定を行い、
前記第3判定の結果、前記輝度変化が急激である場合、前記輝度変化が所定の範囲内に収まるように前記2つの区間映像のうちの少なくとも一方の輝度のダイナミックレンジを変換し、
前記第3判定の結果、前記輝度変化が急激でない場合、前記2つの区間映像のそれぞれについて、当該区間映像に対応する前記区間ピーク輝度情報が示す前記区間ピーク輝度を最大輝度とするダイナミックレンジにおけるEOTFを前記第2EOTFとした前記第1変換を行う
請求項1から7のいずれか1項に記載の表示方法。
【請求項9】
さらに、
前記表示装置が設置されている空間における環境光を取得し、
取得した前記環境光が明るいか否かを判定する第4判定を行い、
前記第4判定の結果、前記環境光が明るい場合、前記表示可能輝度としての前記表示装置の表示ピーク輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された前記第3EOTFとしての第7EOTFを用いた変換を前記第1変換として行い、
前記第4判定の結果、前記環境光が暗い場合、前記表示可能輝度としての前記表示ピーク輝度から所定の割合だけ下げた輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮された前記第3EOTFとしての第8EOTFを用いた変換を前記第1変換として行う
請求項1から8のいずれか1項に記載の表示方法。
【請求項10】
前記表示可能輝度は、前記表示装置の表示ピーク輝度である
請求項1または2に記載の表示方法。
【請求項11】
HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示する表示装置であって、
前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、
前記表示装置は、
前記映像データを取得し、前記第1EOTFの一部分であって、取得した前記映像データに含まれる前記ピーク輝度情報により示される前記ピーク輝度を最大輝度とする輝度範囲における第2EOTFに対して、前記第2EOTFの輝度の相対関係を維持したまま、前記第2EOTFの最大輝度を前記表示装置の表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度を変換する第1変換を行う変換部と、
前記変換部における前記第1変換の結果を用いて、前記映像を表示する表示部と、を備える
表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示方法および表示装置に関する。
【背景技術】
【0002】
従来、表示可能な輝度レベルを改善するための画像信号処理装置が開示されている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−167418号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献では、更なる改善が必要とされていた。
【課題を解決するための手段】
【0005】
本発明の一態様に係る表示方法は、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示装置に表示する表示方法であって、前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、前記表示方法では、前記映像データを取得し、前記第1EOTFの一部分であって、取得した前記映像データに含まれる前記ピーク輝度情報により示される前記ピーク輝度を最大輝度とする輝度範囲の部分である第2EOTFに対して、前記第2EOTFの輝度の相対関係を維持したまま、前記第2EOTFの最大輝度を前記表示装置の表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度を変換する第1変換を行い、前記第1変換の結果を用いて、前記映像を前記表示装置に表示する。
【0006】
なお、これらの全般包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0007】
上記態様によれば、更なる改善を実現することができる。
【図面の簡単な説明】
【0008】
図1】映像技術の進化について説明するための図である。
図2】SDR信号とHDR信号との違いを説明するための図である。
図3】コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度を復元するプロセスの説明図である。
図4】SDR信号をSDRTVで表示させる場合の表示処理の一例を説明するための図である。
図5】HDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。
図6】画像撮影時の輝度の尺度を示す図である。
図7】撮影した画像の輝度の例に示す図である。
図8】SDRに対応したホームエンターテイメント用マスターを制作するフロー、配信媒体および表示装置の関係について説明するための図である。
図9A図7で示した原画像をSDR画像にマスタリングした結果の輝度の一例を示す図である。
図9B】原信号値をSDR信号値に変換する(マスタリングする)ための、原信号値とSDR信号値との関係の一例を示す図である。
図10A図7で示した原画像をHDR画像にマスタリングした結果の輝度の一例を示す図である。
図10B】原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。
図11A図10Aのマスタリングにより得られたHDR画像を取得して、第2最大輝度が500nitの表示機器用に輝度変換した結果の一例である。
図11B】HDR信号値をTV信号値に輝度変換するための、HDR信号値とTV信号値との関係の一例を示す図である。
図12】実施の形態1に係る表示装置の機能ブロックを示す図である。
図13】表示装置の変換部における変換処理(第1変換)の具体例について説明するための図である。
図14】変換部における変換処理の他の具体例について説明するための図である。
図15】視聴環境に明るさに応じてSDR信号をSDRTVで表示させる場合の表示処理の一例を説明するための図である。
図16】実施の形態2に係る表示装置の機能ブロックを示す図である。
【発明を実施するための形態】
【0009】
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した、画像信号処理装置に関し、以下の問題が生じることを見出した。
【0010】
特許文献1に開示されている画像信号処理装置では、被写体を構成する画素から算出されたリニアRGB値に基づいて画素毎にリニア輝度を算出し、リニアRGB値およびリニア輝度に基づいて画素毎の補正リニア輝度および当該画素を含む複数の画素を合成した合成画素の補正リニアRGB値を算出し、補正リニア輝度および補正リニアRGB値をそれぞれガンマ補正して表示用輝度および表示用RGB値を算出する。このように、画像信号処理装置では、補正リニアRGB値に基づいてリニア輝度を補正することにより、表示可能な階調数の増加を図っている。
【0011】
ところで、近年、映像技術の進化に伴い、従来の映像の輝度が定義されているダイナミックレンジよりも広いダイナミックレンジであるHDR(High Dynamic Range)で輝度を定義した映像であるHDR映像をTVなどの表示装置に表示させる技術が知られている。ここで、映像技術の変遷について、図1を用いて説明する。
【0012】
図1は、映像技術の進化について説明するための図である。
【0013】
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition(SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
【0014】
近年、更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096x1920画素の、所謂4K映像の導入が開始された。
【0015】
4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
【0016】
ダイナミックレンジ拡張については、デジタルカメラやCMOS(Complementary metal−oxide−semiconductor)イメージセンサの性能向上により、露出を示すStop数が14Stops以上の広いダイナミックレンジの画像の撮影が可能になっている。このため、暗部階調を維持しつつ、100%反射光以上に明るい光(鏡面反射光などの明るい光)を撮影することが可能になっている。このカメラまたはイメージセンサの性能向上を表現力の向上に活かすために、より高輝度な信号も伝送可能にする信号規格として、HDRが注目されている。
【0017】
これまでのTV信号は、SDR(Standard Dynamic Range)と呼ばれ、ピーク輝度(最大輝度)が100nitであったのに対して、HDR(特に、SMPTEで標準化されたEOTFであるST 2084(PQカーブ)で符号化するHDR)の場合は、10000nit以上までピーク輝度を表現することができるようになった。
【0018】
HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu−ray(登録商標) Disc等)、インターネット配信などで使われることが想定されている。
【0019】
次に、SDRおよびHDRについて、図2を用いて説明する。
【0020】
図2は、SDR信号とHDR信号との違いを説明するための図である。なお、SDR信号とは、SDRに対応したSDR映像を示す映像信号であり、HDR信号とは、HDRに対応したHDR映像を示す映像信号である。
【0021】
ダイナミックレンジ(14Stop等)の広いデジタルカメラで撮ることにより得られた原信号には、0〜10000nitの広い範囲の輝度情報が含まれている。
【0022】
SDR信号は、bt709等の放送規格を満たす映像であり、原信号から、ピーク輝度が100nitであるSDR映像になるように色補正(グレーディング)処理を行うことで得られた映像信号である。つまり、SDR信号は、映像の輝度が0〜100nitの輝度のダイナミックレンジで定義された映像信号である。
【0023】
一方で、HDR信号は、SDR信号のようなピーク輝度を100nitとする制約を取り払い、ST2084(以下、「PQカーブ」と言う。)の制約に合わせるように輝度のダイナミックレンジの最大輝度を10000nitまでのHDR映像になるように色補正(グレーディング)処理を行うことで得られた映像信号である。つまり、HDR信号は、映像の輝度が0〜10000nitの輝度のダイナミックレンジで定義された映像信号である。なお、HDR信号の輝度のダイナミックレンジの最大輝度は、10000nitに限らずに、例えば、800〜4000nitであってもよい。
【0024】
このように、HDRの輝度のダイナミックレンジは、SDRの輝度のダイナミックレンジよりもピーク輝度が大きいダイナミックレンジである。なお、HDRの輝度のダイナミックレンジの最小輝度は、SDRの輝度のダイナミックレンジの最小輝度と同じであり、0nitである。
【0025】
図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度を復元するプロセスの説明図である。
【0026】
本例における映像信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRの逆EOTFにより量子化され、当該画像の輝度に対応するコード値が決定する。このコード値に基づいて画像符号化などが行われ、ビデオのストリームが生成される。再生時には、ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することによりリニアな信号に変換され、画素毎の輝度が復元される。以下、HDRの逆EOTFを用いた量子化を「逆HDRのEOTF変換」という。HDRのEOTFを用いた逆量子化を「HDRのEOTF変換」という。同様に、SDRの逆EOTFを用いた量子化を「逆SDRのEOTF変換」という。SDRのEOTFを用いた逆量子化を「SDRのEOTF変換」という。
【0027】
上述したようなHDR信号をHDR対応の表示装置(例えば、HDRTV)で表示させる表示制御を行う場合、HDR信号のピーク輝度よりもHDRTVの表示可能なピーク輝度(以下、「表示ピーク輝度」と言う)が小さいことが多い。このため、HDR信号のピーク輝度をHDRTVの表示ピーク輝度に合わせるために、HDR信号の輝度のダイナミックレンジをHDRTVが対応している輝度のダイナミックレンジに縮小する必要がある。
【0028】
しかしながら、特許文献1に開示されている画像信号処理装置などの輝度の補正(変換)においては、映像の輝度が定義されているHDRの輝度のダイナミックレンジよりも狭い輝度のダイナミックレンジに輝度を補正(変換)するときの輝度の変換方法については考慮されていなかった。
【0029】
このため、次のような課題があった。
【0030】
SDRのEOTF(ガンマカーブ:相対輝度基準)とHDRのEOTF(ST2084:PQカーブ:絶対輝度基準)との違いにより、HDRTVでHDR信号を表示する場合は、SDR対応の表示装置(例えば、SDRTV)でSDR信号を表示する場合と異なり、下記の課題があった。
【0031】
人間の眼は、映像の輝度を、絶対輝度を認識するのではなく、相対輝度を認識している。SDR映像は、原信号の輝度がSDRのEOTF(ガンマカーブ)で量子化されることにより、ピーク輝度が100nitのSDR映像にグレーディングされた、相対輝度基準の映像である。
【0032】
図4は、SDR信号をSDRTVで表示させる場合の表示処理の一例を説明するための図である。図4の(a)は、SDRコンテンツの映像の輝度が定義されているSDRのEOTFを示す図である。図4の(b)は、SDRTVの表示ピーク輝度に合わせて変換されたSDRのEOTFを示す図である。
【0033】
図4に示すように、SDRTVの表示ピーク輝度が100nitとは異なる場合(この例では、100nitよりも大きい250nit)、そのSDRTVの輝度の表示性能に応じて、コントラストの相対関係を維持した形で、調整され、表示される。具体的には、SDRのEOTFの輝度を示す変数に対して、SDRTVの表示ピーク輝度に合わせて2.5を乗ずることで、コントラストの相対関係を維持した形でSDRのEOTFを調整し、SDRTVの輝度の表示性能に合わせたEOTFを生成し、当該EOTFを用いてSDR映像をSDRTVに表示させている。これにより、SDRTVの輝度の表示性能がSDRコンテンツの輝度のダイナミックレンジと異なっていても、コンテンツ制作者の意図に近い形での表示を実現している。
【0034】
このように、SDR信号で示されるSDR映像をSDRTVで表示する場合、SDRTVは、SDR信号で示されるSDR映像を相対輝度基準で表示している。これに対して、HDR信号で示されるHDR映像をHDRTVで表示する場合、PQカーブが人間の視覚特性(人間が認識可能な全ての輝度範囲)を考慮して考案されたことを理由に、HDRTVに、HDR映像をPQカーブの絶対輝度基準で忠実に表示させることが求められている。
【0035】
Blu−ray(登録商標) Disc Association、UHD Alliance等のデジタルAV技術の国際標準化団体は、HDRに対応したコンテンツを、当面10000nitよりも小さい所定輝度(例えば1000nit)を上限としてグレーディング(これ以上の輝度も存在することを許す)することを求めている。
【0036】
図5は、HDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。図5の(a)は、HDRコンテンツの映像の輝度が定義されているHDRのEOTFを示す図である。図5の(b)は、HDRTVの表示ピーク輝度に合わせてHDRコンテンツの輝度を変換するためのトーンマッピング処理(輝度変換処理)を示す図である。
【0037】
図5に示すように、表示ピーク輝度が所定輝度未満(例えば500nit)のHDRTVに、所定輝度をピーク輝度とするダイナミックレンジで定義されたHDR映像を表示させる場合、当該HDR映像のHDR信号に対して所定のトーンマッピング処理を行うことで、HDRTVにHDR映像のピーク輝度である所定輝度を表現させることが求められている。つまり、HDR映像のピーク輝度がHDRTVで表現できるように、所定輝度をHDRTVの表示ピーク輝度に合わせるトーンマッピング処理を行うことが求められている。
【0038】
この場合、輝度成分のみであれば、図5の(b)に示すように、入力輝度と出力輝度との関係を示したニーカーブを用いたニーカーブ処理を含むトーンマッピング処理を行えば映像の輝度をHDRTVの表示ピーク輝度に合わせて変換することができる。しかし、映像信号のRGBの各色に対して独立に、同等のニーカーブ処理を適用した場合、色が変化するおそれがあった。
【0039】
所定のトーンマッピング処理では、色が変化しないように、RGBの各色に対して独立に同等の処理を行う必要がある。このとき、所定のトーンマッピング処理の対象となる1画素の色が、ニーカーブさせるポイントにまたがって配置されるRGBの各色の輝度で構成されている場合、所定のトーンマッピング処理後のRGBのバランスが崩れ、トーンマッピング処理前後で色が変化してしまう。つまり、RGBの第1の色(例えばR)ではニーカーブされない輝度範囲の輝度であり、RGBの第1の色とは異なる第2の色(例えばB)ではニーカーブされている輝度範囲の輝度である場合、ニーカーブされていない輝度範囲内にある輝度では輝度が変化せず、ニーカーブされている輝度範囲内にある輝度では輝度が小さく変化する。このため、所定のトーンマッピング処理の前後でRGBの輝度の相対関係が崩れ、色が変化してしまう。また、RGBの各色がニーカーブされている輝度範囲内の輝度であったとしても、ニーカーブされている輝度範囲では、輝度の大きさに応じて輝度が縮小される変化率が異なるため、RGBの輝度の相対関係が崩れてしまう。したがって、所定のトーンマッピング処理の前後での色の変化を低減するために、3次元色変換処理等の複雑な処理が必要とされていた。
【0040】
特に、非常にコントラストが高いOLEDの場合は、絶対輝度基準のHDR信号に対してニーカーブでの処理を行うと、色の再現性が高いOLEDであっても、色が変化してしまうため、十分にOLEDの表示性能を引き出せないという課題があった。
【0041】
以上の検討を踏まえ、本発明者は、上記課題を解決するために、下記の改善策を検討した。
【0042】
本発明の一態様に係る表示方法は、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示装置に表示する表示方法であって、前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、前記表示方法では、前記映像データを取得し、前記第1EOTFの一部分であって、取得した前記映像データに含まれる前記ピーク輝度情報により示される前記ピーク輝度を最大輝度とする輝度範囲の部分である第2EOTFに対して、前記第2EOTFの輝度の相対関係を維持したまま、前記第2EOTFの最大輝度を前記表示装置の表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度を変換する第1変換を行い、前記第1変換の結果を用いて、前記映像を前記表示装置に表示する。
【0043】
これによれば、ニーカーブ処理のような輝度変換処理を行うことなく、HDRに対応した映像の輝度のダイナミックレンジを、表示装置の表示可能輝度に合わせて変換することができる。このため、映像データの映像を表示装置の輝度に合わせた輝度変換を容易に行うことができ、かつ、変換前後での色の変化を抑制できる。
【0044】
また、前記第3EOTFは、前記表示可能輝度を前記ピーク輝度で除することで得られた値を、前記第2EOTFにおける輝度を表す変数に乗ずることにより、前記第2EOTFの輝度の相対関係を維持したまま前記第2EOTFの最大輝度を前記表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小されたEOTFであってもよい。
【0045】
このため、映像データの映像を表示装置の輝度に合わせた輝度変換を容易に行うことができ、かつ、変換前後での色の変化を抑制できる。
【0046】
また、さらに、前記ピーク輝度情報が示す前記ピーク輝度が、前記表示装置が予め記憶している所定輝度を超えるか否かの第1判定を行い、前記第1判定の結果、前記ピーク輝度が前記所定輝度を超えている場合、(i)前記映像の輝度のうち、前記第2EOTFの前記所定輝度から前記ピーク輝度までの輝度範囲における輝度を、前記表示装置が予め記憶している第4EOTFのコード値の範囲を規定したフルレンジよりも狭いナローレンジの上限値に対応する第1輝度から前記フルレンジの上限値に対応する第2輝度までの輝度範囲における輝度に変換する第3変換と、(ii)前記第2EOTFの一部分であって、前記所定輝度を最大輝度とする輝度範囲の部分である第5EOTFに対して、前記第5EOTFの輝度の相対関係を維持したまま、前記第5EOTFの最大輝度を前記第1輝度に合わせて前記第5EOTFの輝度のダイナミックレンジを縮小した第6EOTFに変換し、前記映像の輝度のうち、前記第5EOTFのダイナミックレンジの輝度を、対応する前記第6EOTFのダイナミックレンジの輝度に変換する第4変換と、を含む第2変換を行い、前記第2変換の結果を用いて、前記映像を前記表示装置に表示してもよい。
【0047】
これによれば、第1判定の結果、ピーク輝度が所定輝度を超えている場合に、第1変換ではなく第2変換を行っている。このように、ピーク輝度が所定輝度を超える場合には、輝度の相対関係を維持したままでの輝度の変換処理(第1変換)を行わないため、輝度の変換処理の前後において輝度の相対関係は維持されていても、低輝度範囲においては暗くなりすぎることにより見栄えが大きく異なってしまうことを抑制できる。
【0048】
また、前記第3変換では、前記映像の輝度のうち、前記第2EOTFの前記所定輝度から前記ピーク輝度までの輝度範囲における輝度を、前記第1輝度および前記ナローレンジの上限値の組と、前記第2輝度と前記フルレンジの上限値の組との間でリニアな関係を満たすように変換してもよい。
【0049】
また、前記第1判定の結果、前記ピーク輝度が前記所定輝度以下の場合、前記ピーク輝度を前記表示可能輝度としての前記第1輝度に合わせて前記第2EOTFの輝度のダイナミックレンジを縮小する変換を前記第1変換として行ってもよい。
【0050】
これによれば、第1判定の結果、ピーク輝度が所定値以下の場合に、第2変換ではなく第1変換を行っているため、変換処理の前後で見栄えが大きく異なってしまう可能性が少ない場合には、より容易な変換処理を行うことができる。このため、処理負荷を低減させることができる。
【0051】
また、前記フルレンジは、コード値が0から1023までの整数値の範囲であり、前記ナローレンジは、コード値が64から940までの整数値の範囲であってもよい。
【0052】
また、前記映像データは、さらに、前記映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報を含み、前記最大フレーム平均輝度情報が示す前記最大フレーム平均輝度が前記ピーク輝度の1/2以下であるか否かを判定する第2判定を行い、前記第2判定の結果、前記最大フレーム平均輝度が前記ピーク輝度の1/2以下である場合、前記所定輝度として前記最大フレーム平均輝度の2倍の値を用いて前記第2変換を行ってもよい。
【0053】
このように、第2判定を行うことにより、映像データの映像において、ピーク輝度やピーク輝度に近い輝度を有する画素が含まれる割合が多いか少ないかを判定でき、少ないと判定した場合に、最大フレーム平均輝度の2倍の値を用いて第2変換を行うため、より中間調、暗部の階調性を維持するように映像の輝度を変換して表示できる。このため、映像の輝度のうち、映像に含まれている輝度の割合が大きい輝度範囲の階調性が損なわれることを極力低減できる。
【0054】
また、前記映像データは、さらに、前記映像を構成する複数の区間映像のそれぞれについて、当該区間映像のピーク輝度である区間ピーク輝度を示す区間ピーク輝度情報を含み、前記表示方法では、さらに、取得した前記映像データに含まれる前記ピーク輝度情報および前記区間ピーク輝度情報を用いて、前記複数の区間映像のうち連続する2つの前記区間映像間の輝度変化が急激であるか否かを判定する第3判定を行い、前記第3判定の結果、前記輝度変化が急激である場合、前記輝度変化が所定の範囲内に収まるように前記2つの区間映像のうちの少なくとも一方の輝度のダイナミックレンジを変換し、前記第3判定の結果、前記輝度変化が急激でない場合、前記2つの区間映像のそれぞれについて、当該区間映像に対応する前記区間ピーク輝度情報が示す前記区間ピーク輝度を最大輝度とするダイナミックレンジにおけるEOTFを前記第2EOTFとした前記第1変換を行ってもよい。
【0055】
このように、連続する区間映像間において急激な輝度変化が発生しているかに応じて処理を切替えるため、映像が急に暗くなったり明るくなったりすることを抑えることができ、映像全体の統一感を損なうことを抑制できる。
【0056】
また、さらに、前記表示装置が設置されている空間における環境光を取得し、取得した前記環境光が明るいか否かを判定する第4判定を行い、前記第4判定の結果、前記環境光が明るい場合、前記表示可能輝度としての前記表示装置の表示ピーク輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された前記第3EOTFとしての第7EOTFを用いた変換を前記第1変換として行い、前記第4判定の結果、前記環境光が暗い場合、前記表示可能輝度としての前記表示ピーク輝度から所定の割合だけ下げた輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮された前記第3EOTFとしての第8EOTFを用いた変換を前記第1変換として行ってもよい。
【0057】
これにより、絶対輝度で表示させることが前提の映像を表示装置に表示させる場合であっても、視聴環境の明るさに応じた表示を容易に実現できる。
【0058】
また、前記表示可能輝度は、前記表示装置の表示ピーク輝度であってもよい。
【0059】
このため、表示装置の表示ピーク輝度に合わせて、映像の輝度を変換して表示できる。
【0060】
なお、これらの全般包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【0061】
以下、添付の図面を参照して、本発明の一態様に係る表示方法および表示装置について、具体的に説明する。
【0062】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0063】
本開示は、SMPTE(Society of Motion Picture & Television Engineers) ST2084規格のEOTF(以下、「PQカーブ」という。)で符号化されたダイナミックレンジが高い高輝度信号であるHDR(High Dynamic Range)信号を、HDR信号が対応している輝度のダイナミックレンジにおけるピーク輝度(最大輝度または最高輝度)とは異なる輝度のダイナミックレンジの表示能力を有する表示装置(例えば、TV、プロジェクタ、タブレット、スマートホン等)で表示させることを実現するための、HDR信号形式とそのHDR信号の表示方法および表示装置に関する。
【0064】
(実施の形態1)
以下、図6図14を用いて実施の形態1について説明する。
【0065】
まず、画像の撮影から画像を表示部に表示させるまでの処理の流れについて、図6図11Bを用いて順に説明する。
【0066】
[1−1.画像撮影時の輝度の尺度の考え方]
図6は、画像撮影時の輝度の尺度を示す図である。
【0067】
図6に示すように、カメラで画像を撮影する場合、反射率が18%になるグレーである18%グレーを明るさの基準点として撮影を行う。つまり、18%グレーは、明るさの基準になる基準反射率である。Stop数は、18%グレーにおける輝度を基準点とし、輝度が2倍になる毎に、1ずつ増加するように定義されている。
【0068】
実際にカメラで画像を撮影したときに、カメラのイメージセンサ(例えばCMOS、CCDなど)から得られる輝度は、絞り、シャッタースピード、感度設定などによる露出に応じて変化する。つまり、イメージセンサから得られる輝度は、同じ明るさの被写体を撮影したとしても、露出に応じて異なる値となる。このために、Stop数の値自体は絶対的な値では無く、相対的な値である。つまり、Stop数では、輝度を表すことはできない。
【0069】
例えば、図6の(1)の夜のシーンを撮影するような場合、黒潰れを起こさないようにするためには、シャッタースピードを遅くする、絞りを開ける等により露出を変えることで、暗い部分の階調を残して、明るい部分を捨てるような露出の設定をカメラに対して行う。
【0070】
また、図6の(2)の昼の室内のシーンを撮影するような場合、暗い部分と明るい部分とのバランスが良くなるような露出の設定をカメラに対して行う。また、図6の(3)の昼の屋外のシーンを撮影するような場合、明るい部分の白潰れを防ぐために露出を絞った露出の設定をカメラに対して行う。
【0071】
このようにして得られた相対的な輝度を、絶対的な輝度に変換するためには、18%グレーとの相対関係を計算する必要がある。
【0072】
[1−2.画像撮影時の輝度]
図7は、撮影した画像の輝度の例に示す図である。
【0073】
図7に示すように、撮影した画像(以下、「原画像」という)10のA)は、明るさの基準になる基準反射率である18%グレー(0 Stop)に対応する輝度(以下、「基準輝度」または「18%グレー(Gray)値」という。)を持つ画素を示す。原画像10のB)は、90%の反射率(90%グレー)(2.3 Stops)に対応する輝度を持つ画素を示す。原画像10のC)は、ほぼ黒の2.3%グレー(−3 Stops)に対応する輝度を持つ画素を示す。原画像10のD)は、太陽を撮影することで得られた画素を示し、非常に明るい輝度が得られており、1150%グレー(6 Stops)に対応する輝度を持つ。原画像10のE)は、鏡面反射を起こしている位置を撮影することで得られた画素を示し、290%グレー(4 Stops)に対応する輝度を持つ。
【0074】
[1−3.マスター生成、配信方式、および表示装置の関係]
図8は、SDRに対応したホームエンターテイメント用マスターを制作するフロー、配信媒体および表示装置の関係について説明するための図である。
【0075】
図7で説明したような原画像10は、最大輝度が1300nitの画像である。つまり、原画像10を用いて最大輝度が100nitのSDRに対応したマスター画像(SDR画像)を制作する場合、SDRでは100nit以上の輝度を有する画素を表現することはできないため、原画像の輝度を変換せずにそのまま用いてSDRに対応したマスター画像を制作することはできない。つまり、原画像10を用いてSDRに対応したマスター画像を制作しようとすれば、原画像の輝度をSDRに対応したダイナミックレンジの輝度に変換する必要がある。
【0076】
[1−4.原画像からSDR画像へのマスタリング]
次に、原画像10からSDR画像へのSDRグレーディング処理(マスタリング処理)について説明する。
【0077】
まず、カメラで撮った、100nit以上の高輝度成分を持ったコンテンツの映像(画像)をBt709等の放送規格に適応させるために、通常のグレーディング処理で、80nit前後まではそのままリニアに輝度を保持し、それから上の部分は、最高輝度が100nitに収めるように曲げるニーカーブ処理を行う。具体的には、ニーカーブ処理は、一定値以下の輝度をリニアに表示し、一定値以上の輝度を、表示させる表示装置の表示ピーク輝度に合わせて減衰させる処理である。
【0078】
図9Aは、図7で示した原画像をSDR画像にマスタリングした結果の輝度の一例を示す図である。図9Bは、原信号値をSDR信号値に変換する(マスタリングする)ための、原信号値とSDR信号値との関係の一例を示す図である。なお、原信号値は、原画像10の0〜1300nitのダイナミックレンジにおける輝度(「以下、原画像の輝度」という。)であり、SDR信号値は、SDRの輝度範囲における輝度(以下、「SDRの輝度」という。)である。
【0079】
図9Bに示すように、この例における原画像10からSDR画像11へのマスタリングでは、基準反射率である18%グレー(0 Stop)に対応する画素は、明るさの基準になる基準輝度を持つ画素である。このため、SDR画像へのマスタリングでは、原画像10をSDR画像11に変換した後であっても、原画像10における18%グレーに対応する原画像の輝度(18nit)を変更せずに、SDRの輝度として決定する。
【0080】
ここで、図9Bに示すように、原画像10からSDR画像11へのマスタリングでは、原画像10の90%グレーに対応する原画像の輝度(90nit)以下の輝度範囲(0〜90nit)においては、原画像の輝度を変更せずに、SDRの輝度として決定する。また、図9Bに示すように、原画像10の90%グレーに対応する原画像の輝度(90nit)より大きい原画像10の輝度範囲(90〜1300〔nit〕)における原画像の輝度を、90〜100nitの輝度範囲のSDRの輝度に、線形変換により割り付ける。
【0081】
例えば、SDR画像11のB)のような、90%グレー(2.3 Stops)に対応する画素についてのSDR画像11へのマスタリングでは、原画像10をSDR画像11に変換した後であっても、原画像10における90%グレーに対応する原画像の輝度(90nit)を変更せずに、SDRの輝度として決定する。
【0082】
また、例えば、SDR画像11のC)のような、2.3%グレー(−3 Stops)に対応する画素についてのSDR画像へのマスタリングでは、上記と同様に、原画像10をSDR画像11に変換した後であっても、原画像10における2.3%グレーに対応する原画像の輝度(2nit)を変更せずに、SDRの輝度として決定する。
【0083】
例えば、SDR画像11のD)のような、1150%グレー(6 Stops)に対応する画素についてのSDR画像へのマスタリングでは、原画像10における1150%グレーに対応する原画像の輝度(1150nit)をSDRの最大輝度である100 nitに変換する。
【0084】
また、例えば、SDR画像11のE)のような、290%グレー(4 Stops)に対応する画素についてのSDR画像へのマスタリングでは、原画像10における290%グレーに対応する原画像の輝度を95 nitに変換する。
【0085】
[1−5.原画像からHDR画像への第1のマスタリング]
図10Aは、図7で示した原画像をHDR画像にマスタリングした結果の輝度の一例を示す図である。図10Bは、原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。なお、HDR信号値は、HDRの輝度範囲における輝度(以下、「HDRの輝度」という。)である。なお、この例における原画像からHDR画像へのマスタリングでは、2000nitまでの輝度をHDRの輝度として割り付けることが許されているため、HDR画像においても原画像の輝度をそのまま保持できる。
【0086】
例えば、HDR画像12のA)のような、基準反射率である18%グレー(0 Stop)に対応する画素は、明るさの基準になる基準輝度を持つ画素であるため、HDR画像へのマスタリングでは、原画像10をHDR画像12に変換した後であっても、原画像10における18%グレーに対応する原画像の輝度(18nit)を変更せずに、HDRの輝度として決定する。
【0087】
同様にして、例えば、HDR画像12のB)のような、90%グレー(2.3 Stops)に対応する画素と、HDR画像12のC)のような、2.3%グレー(−3 Stops)に対応する画素と、HDR画像12のD)のような、1150%グレー(6 Stops)に対応する画素と、HDR画像12のE)のような、290%グレー(4 Stops)に対応する画素とのそれぞれについて、HDR画像へのマスタリングでは、当該原画像の輝度を変更せずに、HDRの輝度として決定する。
【0088】
[1−6.輝度変換の具体例]
図11Aは、図10Aのマスタリングにより得られたHDR画像を取得して、第2最大輝度が500nitの表示機器用に輝度変換した結果の一例である。図11Bは、HDR信号値をTV信号値に輝度変換するための、HDR信号値とTV信号値との関係の一例を示す図である。
【0089】
この例では、HDRTVが表示可能な第2最大輝度が500nitに制限されている。このため、HDR信号が示すHDRの輝度をディスプレイの輝度範囲におけるディスプレイ輝度に変換する必要がある。
【0090】
HDR信号を取得し、取得したHDR信号から、明るさの基準になる18%グレー(0 Stop)に対応する輝度(基準輝度)を取り出す。そして、HDR画像13の輝度を示すHDR信号は、基準輝度として36nitを保持しており、基準輝度を製作者が意図的に変えたことが解る。このため、90%グレーに対応する輝度(180nit)以下の、当該HDR信号が示す輝度に対しては、当該HDR信号が示す輝度そのままの値を保持し、90%グレーに対応する輝度(180nit)を超える、当該HDR信号が示す輝度に対しては、当該HDR信号が示す第1最大輝度(HPL:1300nit)が、HDRTVが表示可能な第2最大輝度(DPL:500nit)になるように線形変換を行う。
【0091】
つまり、この例の場合の輝度変換(S304)では、基準輝度が第1基準値(18nit)とは異なる第3基準値(36nit)である場合、36nitより大きい第4基準値(90nit)以下の輝度を示すHDR信号について、HDR信号が示すHDRの輝度をディスプレイ輝度として決定する。また、輝度変換(S304)では、90nitを超える輝度を示すHDR信号について、90nitからHDRTVにおいて表示可能な第2最大輝度(DPL)までのHDRの輝度に対して、第1最大輝度(HPL)を第2最大輝度(DPL)に対応させた線形変換を行うことにより、HDRの輝度をディスプレイ輝度に変換する。
【0092】
このように輝度変換を行うことにより、HDR画像13の18%グレーに対応する画素A)、HDR画像13の90%グレーに対応する画素B)、および、HDR画像13の2.3%グレーに対応する画素C)については、そのままHDR画像13の輝度を変更せずにディスプレイ輝度として決定する。そして、HDR画像13の1150%グレーに対応する画素D)については、上記線形変換を行うことにより得られた446nitをディスプレイ輝度として決定し、HDR画像13の290%グレーに対応する画素E)については、上記線形変換を行うことにより得られた313nitをディスプレイ輝度として決定する。
【0093】
[1−7.表示装置および表示方法]
次に、実施の形態1の表示方法を行う表示装置について、図12および図13を用いて説明する。
【0094】
図12は、実施の形態1に係る表示装置の機能ブロックを示す図である。図13は、表示装置の変換部における変換処理(第1変換)の具体例について説明するための図である。
【0095】
図12に示すように、表示装置100は、変換部101と、表示部102とを備える。表示装置100は、HDR映像を表示可能なHDR表示装置であり、例えば、HDRTV、HDR対応のディスプレイなどである。
【0096】
変換部101は、HDR信号および静的メタデータ(タイトル毎のピーク輝度情報(The Maximum Content Light Level (MaxCLL))を含む映像データを取得する。変換部101は、取得した静的メタデータに応じてHDR効果を制御し、PQカーブから表示部102が対応している輝度範囲のガンマカーブに変換する処理を行う。変換部101は、具体的には、図13に示すように、MaxCLLの値(例えば800nit)を、HDRTVの表示ピーク輝度(例えば、750nit)に合わせるように、0〜800nitの輝度範囲のPQカーブ(第2EOTF)の輝度の相対関係を変えずに、PQカーブの一部からHDRTVの表示ピーク輝度に合わせたガンマカーブ(第3EOTF)に変換する。変換部101は、例えば、プロセッサ、プログラムを記憶しているメモリなどにより実現される。
【0097】
言い換えると、変換部101は、第1EOTFとしてのPQカーブの一部分である第2EOTFに対して、第2EOTFの輝度の相対関係を維持したまま、第2EOTFの最大輝度を表示装置100の表示部102の表示可能輝度(例えば、表示ピーク輝度)に合わせて第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度を変換する第1変換を行う。なお、この場合の表示部102の表示可能輝度は、具体的には、表示部102の表示ピーク輝度である。このように、変換部101は、輝度がPQカーブにより定義されたHDRコンテンツの映像データをHDRTVに表示する際に、複雑な回路が必要なニーカーブを使ったトーンマッピング処理を行わないため、映像の各画素の色を変換部101における第1変換の前後で変化させることを抑制できる。
【0098】
ここで、第1EOTFは、HDRの輝度およびコード値の対応関係を示す。第2EOTFは、第1EOTFのうちの、0nitを最小輝度とし、かつ、取得した映像データに含まれるピーク輝度情報により示されるピーク輝度を最大輝度とする輝度範囲で切り取られたEOTFである。
【0099】
なお、第3EOTFは、例えば、表示可能輝度をピーク輝度情報により示されるピーク輝度で除することで得られた値を、PQカーブの一部である第2EOTFにおける輝度を表す変数に乗ずることにより、第2EOTFの輝度の相対関係を維持したまま第2EOTFの最大輝度を表示可能輝度に合わせて第2EOTFの輝度のダイナミックレンジが縮小されたEOTFである。つまり、第2EOTFの輝度の相対関係とは、第2EOTFで対応づけられている複数の輝度およびコード値の組について、互いに異なる複数のコード値に対応づけられた複数の輝度間の比率である。よって、第2EOTFの輝度の相対関係を維持したまま変換するとは、第2EOTF上の第1変換前輝度と、第1変換前輝度とは異なる第2EOTF上の第2変換前輝度とがある場合であって、第1変換前輝度の変換後を第1変換後輝度とし、第2変換前輝度の変換後を第2変換後輝度とした場合、第1変換前輝度および第2変換前輝度の第1比率と、第1変換後輝度および第2変換後輝度の第2比率とが略等しくなるように(変換後の第1比率と第2比率との間の誤差が所定の閾値以内となるように)変換することである。
【0100】
表示部102は、変換部101における第1変換の結果を用いて映像を表示する。表示部102は、例えば、LCDパネル、バックライト、LCDパネルの駆動回路、バックライトの制御回路などにより実現される。
【0101】
なお、第3EOTFは、第1変換が行われることで、PQカーブの一部である第2EOTFの輝度の相対関係を維持したまま生成される。このため、表示部102は、コンテンツ制作時のコントラストの関係を維持して入力された映像データの映像を表示することができる。なお、このとき表示部102は、各画素の絶対輝度は維持せずに、コンテンツ制作時の絶対輝度とは異なる輝度であって、各画素間のコントラスト比を維持した映像を表示する。
【0102】
次に、表示装置100の変換部101の変換処理の他の具体例について説明する。図14は、変換部における変換処理の他の具体例について説明するための図である。
【0103】
図14に示すように、HDRコンテンツの映像データのMaxCLLが所定輝度(例えば1000nit)を超える場合、MaxCLLまで相対関係を維持したまま輝度を変換すれば、映像の全体の輝度に対する縮小率が小さくなるため、変換前における低輝度範囲の輝度(例えば100nit以下の輝度)が変換後においては非常に小さくなる。このため、MaxCLLの値が所定輝度を超える場合であっても一様に輝度の相対関係を維持したまま輝度の変換処理を行えば、変換処理の前後において輝度の相対関係は維持されていても、低輝度範囲においては暗くなりすぎることにより見栄えが大きく異なってしまう可能性がある。このため、映像の輝度のうち、所定輝度以下の輝度範囲におけるは相対関係を維持する第1変換を行い、所定輝度以上の領域は、Sperkle領域として、SDRのSuper Whiteと同じ処理としての第2変換を行う。
【0104】
具体的には、変換部101は、映像データのMaxCLLが1000nitを超える場合は、当該MaxCLLを、フルレンジ(後述参照)の上限のコード値(CV)である1023に設定し、映像の輝度のうち、1000nitからMaxCLLまでの輝度範囲の輝度をリニアに表現する第3変換と、1000nitに対応する値をナローレンジ(後述参照)の上限のコード値(CV)である940にし、映像の輝度のうち、0nitから1000nitまでの輝度範囲の輝度を、図13を用いて説明した第1変換と同様に、輝度の相対関係を維持した上で輝度のダイナミックレンジを縮小する第4変換とを行い、第3変換および第4変換を含む第2変換の結果を用いて映像を表示する。一方で、変換部101は、映像データのMaxCLLが1000nit以下の場合は、当該MaxCLLを、ナローレンジの上限のコード値(CV)である940に設定する第1変換を行う。
【0105】
要するに、変換部101は、ピーク輝度情報が示すピーク輝度が、表示装置100が予め記憶している所定輝度(例えば、1000nit)を超えるか否かの第1判定を行い、第1判定の結果に応じて、第1変換および第2変換の1つを選択的に行う。具体的には、第1判定の結果、ピーク輝度が所定輝度を超えている場合、第1変換とは異なる第2変換を行う。第2変換は、所定輝度からピーク輝度までの輝度範囲における輝度を変換する第3変換と、0nitから所定輝度までの輝度範囲における輝度を変換する第4変換とを含む変換である。
【0106】
第3変換では、第2EOTFの所定輝度からピーク輝度情報が示すピーク輝度までの輝度範囲における映像の輝度を、コード値のナローレンジの上限値である940に対応する第1輝度からコード値のフルレンジの上限値である1023に対応する第2輝度までの輝度範囲における輝度に変換する。また、第3変換では、映像の輝度のうち、第2EOTFの所定輝度からピーク輝度までの輝度範囲における輝度を、第1輝度およびナローレンジの上限値の組と、第2輝度とフルレンジの上限値の組との間でリニアな関係を満たすように変換する。
【0107】
ここでフルレンジとは、表示装置100が予め記憶している第4EOTFのコード値が規定された範囲であり、当該コード値が10bitで規定されている場合には、例えば、0から1023までの整数値の範囲である。つまり、フルレンジは、輝度のコード値をビット長で表現できる整数値のうち、最小値から最大値までが使用された範囲である。また、ナローレンジとは、フルレンジよりも狭い範囲であり、当該コード値が10bitで規定されている場合には、例えば、64から940までの整数値の範囲である。つまり、ナローレンジは、輝度のコード値をビット長で表現できる整数値のうち、フルレンジよりも狭い範囲の整数値が使用された範囲である。
【0108】
第4変換では、第2EOTFの一部分であって、所定輝度を最大輝度とする輝度範囲の部分である第5EOTFに対して、第5EOTFの輝度の相対関係を維持したまま、第5EOTFの最大輝度を第1輝度に合わせて第5EOTFの輝度のダイナミックレンジを縮小した第6EOTFに変換し、映像の第5EOTFのダイナミックレンジの輝度を、対応する第6EOTFのダイナミックレンジの輝度に変換する。
【0109】
一方で、変換部101は、第1判定の結果、ピーク輝度が所定輝度以下の場合、ピーク輝度を、表示可能輝度としての第1輝度に合わせて第2EOTFの輝度のダイナミックレンジを縮小する変換を第1変換として行う。
【0110】
この場合、表示部102は、第1変換の結果または第2変換の結果を用いて、映像を表示する。
【0111】
[1−8.効果等]
本実施の形態に係る表示方法によれば、ニーカーブ処理のような輝度変換処理を行うことなく、HDRに対応した映像の輝度のダイナミックレンジを、表示装置の表示ピーク輝度に合わせて変換することができる。このため、HDRに対応した映像データの映像を表示ピーク輝度に合わせた輝度変換を容易に行うことができ、かつ、変換前後での色の変化を抑制できる。
【0112】
また、本実施の形態に係る表示方法によれば、第1判定の結果、ピーク輝度が所定輝度を超えている場合に、第1変換ではなく第2変換を行っている。このように、ピーク輝度が所定輝度を超える場合には、輝度の相対関係を維持したままでの輝度の変換処理(第1変換)を行わないため、輝度の変換処理の前後において輝度の相対関係は維持されていても、低輝度範囲においては暗くなりすぎることにより見栄えが大きく異なってしまうことを抑制できる。
【0113】
また、本実施の形態に係る表示方法によれば、第1判定の結果、ピーク輝度が所定値以下の場合に、第2変換ではなく第1変換を行っているため、変換処理の前後で見栄えが大きく異なってしまう可能性が少ない場合には、より容易な変換処理を行うことができる。このため、処理負荷を低減させることができる。
【0114】
[1−9.変形例1]
上記実施の形態では、第1判定の判定基準となる所定輝度として例えば1000nitを採用したが、以下の値を採用してもよい。
【0115】
例えば、映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報(MaxFALL:The Maximum Frame−Average Light Level)の値に応じて所定輝度を決定してもよい。なお、最大フレーム平均輝度情報は、映像データに含まれる静的メタデータに含まれる情報である。
【0116】
具体的な処理としては、変換部101は、最大フレーム平均輝度情報が示す最大フレーム平均輝度がピーク輝度の1/2以下であるか否かを判定する第2判定を行う。そして、変換部101は、第2判定の結果、最大フレーム平均輝度がピーク輝度の1/2以下である場合、所定輝度として最大フレーム平均輝度の2倍の値を用いて第2変換を行う。
【0117】
このように、第2判定を行うことにより、映像データの映像において、ピーク輝度やピーク輝度に近い輝度を有する画素が含まれる割合が多いか少ないかを判定でき、少ないと判定した場合に、最大フレーム平均輝度の2倍の値を用いて第2変換を行うため、より中間調、暗部の階調性を維持するように映像の輝度を変換して表示できる。このため、映像の輝度のうち、映像に含まれている輝度の割合が大きい輝度範囲の階調性が損なわれることを極力低減できる。
【0118】
[1−10.変形例2]
上記実施の形態では、変換部101は、静的メタデータに含まれるピーク輝度情報を用いて、コンテンツごとに第1変換または第2変換を行うとしたが、これに限らない。例えば、コンテンツに動的メタデータが含まれる場合には、当該コンテンツの映像データの映像を構成する複数の区間映像(カット、一連のシーケンス)のそれぞれについて、当該区間映像に対応する動的メタデータを静的メタデータであるMaxCLLの代わりに用いて、第1変換または第2変換を行ってもよい。なお、動的メタデータは、複数の区間映像のそれぞれについて、当該区間映像のピーク輝度(区間ピーク輝度)を示す区間ピーク輝度情報(The Maximum Sequence Light Level:MaxSLL)である。これにより、より効率的にHDRTVのピーク輝度を使ってHDRコンテンツを表示することができる。
【0119】
なお、各区間映像に対応する区間ピーク輝度がHDRTVの表示ピーク輝度よりも低い場合は、相対関係を維持して明るい方向に伸長する変換処理を行わずに、当該区間映像の輝度をそのまま表示してもよい。
【0120】
また、各区間映像に対応する区間ピーク輝度がピーク輝度に比べ大幅に低い場合(例1/2以下)や連続する区間映像の区間ピーク輝度が互いに大幅に異なる場合(50%以上の差)は、そのまま、上記処理を行うと、低輝度範囲(暗部)が急に明るくなり映像全体の統一感が取れなくなる恐れがある。このため、そのまま区間ピーク輝度を用いるのではなく、区間ピーク輝度(MaxSLL)に対して、例えば、(MaxCLL+MaxSLL)/2、(MaxSLL(x)+MaxSLL(X+1))/2などの補正を行った上で、補正後の数値を用いて上記処理を行うことで、急激な輝度変化を抑えてもよい。
【0121】
つまり、変換部101は、取得した映像データに含まれるピーク輝度情報および区間ピーク輝度情報を用いて、複数の区間映像のうち連続する2つの区間映像間の輝度変化が急激であるか否かを判定する第3判定を行う。そして、変換部101は、第3判定の結果、輝度変化が急激である場合、輝度変化が所定の範囲内に収まるように2つの区間映像のうちの少なくとも一方の輝度のダイナミックレンジを変換する。また、変換部101は、第3判定の結果、輝度変化が急激でない場合、2つの区間映像のそれぞれについて、当該区間映像に対応する区間ピーク輝度情報が示す区間ピーク輝度を最大輝度とするダイナミックレンジにおけるEOTFを第2EOTFとした第1変換を行う。このように、連続する区間映像間において急激な輝度変化が発生しているかに応じて処理を切替えるため、映像が急に暗くなったり明るくなったりすることを抑えることができ、映像全体の統一感を損なうことを抑制できる。
【0122】
(実施の形態2)
次に、図15および図16を用いて実施の形態2について説明する。
【0123】
[2−1.第2の課題]
HDRコンテンツにおける映像の輝度のダイナミックレンジを縮小して、HDRTVに表示させる表示方法には、SDRコンテンツにおける映像の輝度のダイナミックレンジを変更してSDRTVに表示させる場合とは異なり、次のような課題もある。
【0124】
図15は、視聴環境に明るさに応じてSDR信号をSDRTVで表示させる場合の表示処理の一例を説明するための図である。
【0125】
図4において説明したように、SDRTVでは、SDRコンテンツのSDR信号を、SDRのEOTF(ガンマカーブ)を用いて、逆量子化することにより、絶対輝度ではなく相対輝度(コントラスト比)を維持して表示させている。ところで、図15に示すように、SDRTVに調光素子を設け、調光素子により取得された視聴環境の明るさに応じて、表示部のバックライトの発光強度を動的に変えることにより、SDRTVの視聴環境の明るさに応じて、SDRコンテンツの暗部と明部とのコントラスト比を保って表示する方法がある。
【0126】
図15の例では、図15の(a)に示すSDRのEOTFに対応したSDRコンテンツを、SDRTVに表示させる場合に、視聴環境が暗室であるか明るい室であるかに応じて表示制御を変更している。SDRTVは、表示ピーク輝度がSDRのEOTF(ガンマカーブ)の輝度のダイナミックレンジのピーク輝度である100nitを超える輝度(例えば250nit)を表示する能力を有する。このようなSDRTVにおいて、視聴環境が暗室であると判定されれば、図15の(b)の(b−1)に示すように、表示させるピーク輝度を100nitに抑えて表示する。一方で、視聴環境が明るい室であると判定されれば、図15の(b)の(b−2)に示すように表示させるピーク輝度を最大の250nitに引き延ばして表示する。このように、SDRTVでは、SDRコンテンツのSDR信号の映像の輝度が相対輝度によって管理されているため、相対輝度を維持したままSDRTVに表示させる映像のピーク輝度を視聴環境の明るさに応じて変更することが容易にできる。
【0127】
SDR信号の映像の輝度の相対関係を維持したまま表示させるSDRTVだけでなく、撮影した映像の絶対輝度がPQカーブで量子化されることにより得られたHDR信号の映像を表示させるHDRTVに対しても、絶対輝度で表示するのではなく、視聴環境の明るさ(暗室、暗い部屋、やや明るい部屋等)に応じて映像の輝度のダイナミックレンジを変更させる表示制御を行うことが求められている。つまり、HDRTVに対しても、SDRTVと同様に、視聴環境の明るさが変わっても、適切なコントラスト比を維持して表示させる表示制御を行うことにより、できるだけ同じようなHDR効果を視聴者に提供することが求められている。
【0128】
しかしながら、HDRコンテンツのHDR映像は、絶対輝度で表示させることが前提でコンテンツ制作者に作成されているため、映像の輝度に相対輝度を維持したまま、映像の輝度を変換する変換方法をHDR信号の映像にそのまま適用しても、適切な輝度の映像を表示部に表示させることが難しい。
【0129】
また、HDRコンテンツのHDR映像の場合は、ピーク輝度が800〜4000nit程度まであることが多いため、通常のHDRTVのピーク輝度を超えてしまう。このため、視聴環境が暗い場合であっても、HDR映像のピーク輝度を表示するために、バックライトの発光強度を最大にする必要があり、バックライトの制御のみでは、視聴環境に応じた対応が困難である。
【0130】
さらに、HDRのEOTF(PQカーブ)の輝度のダイナミックレンジは、0〜10,000nitであり、SDRのEOTF(ガンマカーブ)の輝度のダイナミックレンジは、0〜100nitであるため、HDRのEOTFの方がSDRのEOTFに比べ輝度のダイナミックレンジが100倍大きい。また、コンテンツ自体も、SDR映像の場合は、0〜100nitをフルに使って表示装置に表示できるが、HDR映像の場合は、0〜10,000nitの輝度のダイナミックレンジを使って表示装置に表示することはまれで、ピーク輝度が800〜4000nit程度の映像を表示装置に表示する可能性が高い。つまり、SDR映像をSDRTVに表示させる場合のように、単純に、HDR映像をHDRのEOTFの輝度のダイナミックレンジのピーク輝度をHDRTVの表示ピーク輝度に合わせるようなバックライト制御のみでは対応できない。
【0131】
[2−2.表示装置および表示方法]
次に、実施の形態2の表示方法を行う表示装置について図16を用いて説明する。
【0132】
図16は、実施の形態2に係る表示装置の機能ブロックを示す図である。
【0133】
図16に示すように、表示装置100aは、変換部101aと、表示部102と、視聴環境光入力部103とを備える。なお、表示部102は、実施の形態1の表示装置100の表示部102と同様の構成であるため、詳細な説明を省略する。
【0134】
視聴環境光入力部103は、表示装置100aが設置されている空間の環境光の強度(つまり、視聴環境の明るさ)を検出し、検出結果を変換部101aに送る。視聴環境光入力部103は、例えば、照度センサなどにより実現される。
【0135】
変換部101aは、視聴環境光入力部103により検出された環境光の強度に応じて、環境光が明るいか否かを判定する第4判定を行う。そして、変換部101aは、第4判定の結果、環境光が明るい場合、第3EOTFとして第7EOTFを用いた変換を第1変換として行う。第7EOTFは、表示装置の表示ピーク輝度を表示可能輝度として、当該表示可能輝度に合わせて第2EOTFの輝度のダイナミックレンジが縮小されたEOTFである。また、変換部101aは、第4判定の結果、環境光が暗い場合、第3EOTFとして第8EOTFを用いた変換を第1変換として行う。第8EOTFは、表示装置の表示ピーク輝度から所定の割合だけ下げた輝度似合わせて第2EOTFの輝度のダイナミックレンジが縮小されたEOTFである。
【0136】
具体的には、検出した環境光の強度が所定の閾値以下であり、視聴環境が暗いと判定した場合は、表示部102のバックライトの発光強度を最大とせずにバックライトの最大の発光強度から例えば20%下げた発光強度とする。また、検出した環境光の強度が所定の閾値を超えており、視聴環境が明るいと判定した場合、バックライトの発光強度を最大とする。なお、視聴環境が暗いと判定した場合には、表示ピーク輝度から20%下げた輝度に合わせて第1変換を行い、視聴環境が明るいと判定した場合には、表示ピーク輝度似合わせて第1変換を行う。
【0137】
これにより、絶対輝度で表示させることが前提のHDR映像をHDRTVに表示させる場合であっても、視聴環境の明るさに応じた表示を容易に実現できる。
【0138】
(他の実施の形態)
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の表示方法などを実現するソフトウェアは、次のようなプログラムである。
【0139】
すなわち、このプログラムは、コンピュータに、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro−Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示装置に表示する表示方法であって、前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、前記表示方法では、前記映像データを取得し、前記第1EOTFの一部分であって、取得した前記映像データに含まれる前記ピーク輝度情報により示される前記ピーク輝度を最大輝度とする輝度範囲の部分である第2EOTFに対して、前記第2EOTFの輝度の相対関係を維持したまま、前記第2EOTFの最大輝度を前記表示装置の表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度変換する第1変換を行い、前記第1変換の結果を用いて、前記映像を前記表示装置に表示する表示方法を実行させる。
【0140】
以上、本発明の一つまたは複数の態様に係る表示方法および表示装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【0141】
本開示は、HDRに対応した映像データの映像を表示ピーク輝度に合わせた輝度変換を容易に行うことができ、かつ、変換前後での色の変化を抑制できる表示方法、表示装置などとして有用である。
【符号の説明】
【0142】
100、100a 表示装置
101、101a 変換部
102 表示部
103 視聴環境光入力部
図1
図3
図4
図5
図6
図8
図9B
図10B
図11B
図12
図13
図14
図15
図16
図2
図7
図9A
図10A
図11A