特許 7363772 情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-10

(45)【発行日】2023-10-18

(54)【発明の名称】情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   H04N 21/436 20110101AFI20231011BHJP

   H04N 21/435 20110101ALI20231011BHJP

【ＦＩ】

H04N21/436

H04N21/435

【請求項の数】 17

(21)【出願番号】P 2020516226

(86)(22)【出願日】2019-04-12

(86)【国際出願番号】 JP2019015902

(87)【国際公開番号】W WO2019208256

(87)【国際公開日】2019-10-31

【審査請求日】2022-02-18

(31)【優先権主張番号】P 2018087390

(32)【優先日】2018-04-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】内村 幸一

(72)【発明者】

【氏名】高橋 邦明

【審査官】醍醐 一貴

(56)【参考文献】

【文献】国際公開第２０１５／１７４１０８（ＷＯ，Ａ１）

【文献】特開２０１７－１６３５３６（ＪＰ，Ａ）

【文献】特開２０１７－１６９０７５（ＪＰ，Ａ）

【文献】ATSC Candidate Standard: A/341 Amendment - 2094-40，Doc. S34-301r2, [online]，2018年02月20日，https://www.atsc.org/wp-content/uploads/2018/02/S34-301r2-A341-Amendment-2094-40-1.pdf，[retrieved on 2019.05.21], Retrieved from the Internet: <URL: https://www.atsc.org/wp-content/upload

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表し、最大輝度までの範囲で輝度を圧縮することに用いられる第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表し、最低輝度までの範囲で輝度を伸張することに用いられる第２のアンカーポイントの情報を含む、それぞれのピクチャのメタデータを生成するメタデータ生成部と、
前記メタデータを含むソフトウェアを生成するソフトウェア生成部と
を備える情報処理装置。

【請求項2】

前記メタデータ生成部は、前記第１のknee pointと前記第２のknee pointをそれぞれ表す２つのpoint情報を記述した前記メタデータを生成する
請求項１に記載の情報処理装置。

【請求項3】

前記メタデータ生成部は、前記第１のアンカーポイントの情報としてのBezier curve anchorsと、前記第２のアンカーポイントの情報としてのBezier curve anchorsとをそれぞれ記述した前記メタデータを生成する
請求項１または２に記載の情報処理装置。

【請求項4】

前記メタデータ生成部は、前記第１のアンカーポイントと前記第２のアンカーポイントとを表す１つのBezier curve anchorsを記述した前記メタデータを生成する
請求項１または２に記載の情報処理装置。

【請求項5】

前記第１のknee pointと前記第２のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、前記Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
請求項１に記載の情報処理装置。

【請求項6】

情報処理装置が、
第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表し、最大輝度までの範囲で輝度を圧縮することに用いられる第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表し、最低輝度までの範囲で輝度を伸張することに用いられる第２のアンカーポイントの情報を含む、それぞれのピクチャのメタデータを生成し、
前記メタデータを含むソフトウェアを生成する
情報処理方法。

【請求項7】

コンピュータに、
第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表し、最大輝度までの範囲で輝度を圧縮することに用いられる第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表し、最低輝度までの範囲で輝度を伸張することに用いられる第２のアンカーポイントの情報を含む、それぞれのピクチャのメタデータを生成し、
前記メタデータを含むソフトウェアを生成する
処理を実行させるためのプログラム。

【請求項8】

情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第２のアンカーポイントの情報を含むメタデータとを受信する通信部と、
前記第１のknee pointが示す輝度より高い輝度を前記第１のアンカーポイントの情報に基づいて圧縮し、前記第２のknee pointが示す輝度より低い輝度を前記第２のアンカーポイントの情報に基づいて伸張して、前記ピクチャの輝度を調整する信号処理部と
を備える画像処理装置。

【請求項9】

前記第１のknee pointと前記第２のknee pointは、前記メタデータに記述された２つのpoint情報によりそれぞれ表される
請求項８に記載の画像処理装置。

【請求項10】

前記メタデータには、前記第１のアンカーポイントの情報としてのBezier curve anchorsと、前記第２のアンカーポイントの情報としてのBezier curve anchorsとがそれぞれ記述される
請求項８または９に記載の画像処理装置。

【請求項11】

前記メタデータには、前記第１のアンカーポイントと前記第２のアンカーポイントとを表す１つのBezier curve anchorsが記述される
請求項８または９に記載の画像処理装置。

【請求項12】

前記第１のknee pointと前記第２のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
請求項８に記載の画像処理装置。

【請求項13】

画像処理装置が、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第２のアンカーポイントの情報を含むメタデータとを受信し、
前記第１のknee pointが示す輝度より高い輝度を前記第１のアンカーポイントの情報に基づいて圧縮し、前記第２のknee pointが示す輝度より低い輝度を前記第２のアンカーポイントの情報に基づいて伸張して、前記ピクチャの輝度を調整する
画像処理方法。

【請求項14】

コンピュータに、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第２のアンカーポイントの情報を含むメタデータとを受信し、
前記第１のknee pointが示す輝度より高い輝度を前記第１のアンカーポイントの情報に基づいて圧縮し、前記第２のknee pointが示す輝度より低い輝度を前記第２のアンカーポイントの情報に基づいて伸張して、前記ピクチャの輝度を調整する
処理を実行させるためのプログラム。

【請求項15】

表示装置において輝度調整が行われるそれぞれのピクチャに対して、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表し、最大輝度までの範囲で輝度を圧縮することに用いられる第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表し、最低輝度までの範囲で輝度を伸張することに用いられる第２のアンカーポイントの情報を含むメタデータを付加し、前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する出力制御部を備える
情報処理装置。

【請求項16】

情報処理装置が、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表し、最大輝度までの範囲で輝度を圧縮することに用いられる第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表し、最低輝度までの範囲で輝度を伸張することに用いられる第２のアンカーポイントの情報を含むメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
情報処理方法。

【請求項17】

コンピュータに、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表し、最大輝度までの範囲で輝度を圧縮することに用いられる第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表し、最低輝度までの範囲で輝度を伸張することに用いられる第２のアンカーポイントの情報を含むメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関し、特に、高輝度側と低輝度側の輝度調整を適切に行わせることができるようにした情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

近年、ダイナミックレンジを拡張したHDR(High Dynamic Range)ビデオを用いたゲームのタイトルが増えてきている。SDR(Standard Dynamic Range)ビデオの最高輝度が100nit（100cd/m²）であるのに対し、HDRビデオの最高輝度は、それを超える例えば10000nitである。

【0003】

ユーザは、HDRビデオの表示に対応したTVをゲーム機に繋げることにより、輝度のダイナミックレンジの広い映像を用いたゲームを楽しむことができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７-１６９０７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

HDRビデオの表示に対応したTVであってもディスプレイの性能が異なる場合には、ゲーム機に繋いだTV毎に映像の見栄えが異なるものとなる。

【0006】

本技術はこのような状況に鑑みてなされたものであり、高輝度側と低輝度側の輝度調整を適切に行わせることができるようにするものである。

【課題を解決するための手段】

【0007】

本技術の第１の側面の情報処理装置は、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表し、最大輝度までの範囲で輝度を圧縮することに用いられる第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表し、最低輝度までの範囲で輝度を伸張することに用いられる第２のアンカーポイントの情報を含む、それぞれのピクチャのメタデータを生成するメタデータ生成部と、前記メタデータを含むソフトウェアを生成するソフトウェア生成部とを備える。

【0008】

本技術の第２の側面の画像処理装置は、情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第２のアンカーポイントの情報を含む、輝度の特徴を表すメタデータとを受信する通信部と、前記第１のknee pointが示す輝度より高い輝度を前記第１のアンカーポイントの情報に基づいて圧縮し、前記第２のknee pointが示す輝度より低い輝度を前記第２のアンカーポイントの情報に基づいて伸張して、前記ピクチャの輝度を調整する信号処理部とを備える。

【0009】

本技術の第３の側面の情報処理装置は、表示装置において輝度調整が行われるそれぞれのピクチャに対して、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表し、最大輝度までの範囲で輝度を圧縮することに用いられる第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表し、最低輝度までの範囲で輝度を伸張することに用いられる第２のアンカーポイントの情報を含むメタデータを付加し、前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する出力制御部を備える。

【0010】

本技術の第１の側面においては、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表し、最大輝度までの範囲で輝度を圧縮することに用いられる第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表し、最低輝度までの範囲で輝度を伸張することに用いられる第２のアンカーポイントの情報を含む、それぞれのピクチャのメタデータが生成され、前記メタデータを含むソフトウェアが生成される。

【0011】

本技術の第２の側面においては、情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第２のアンカーポイントの情報を含むメタデータとが受信される。前記第１のknee pointが示す輝度より高い輝度を前記第１のアンカーポイントの情報に基づいて圧縮し、前記第２のknee pointが示す輝度より低い輝度を前記第２のアンカーポイントの情報に基づいて伸張して、前記ピクチャの輝度が調整される。

【0012】

本技術の第３の側面においては、表示装置において輝度調整が行われるそれぞれのピクチャに対して、第１のknee pointを表す情報、前記第１のknee pointより低輝度側の第２のknee pointを表す情報、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表し、最大輝度までの範囲で輝度を圧縮することに用いられる第１のアンカーポイントの情報、および、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表し、最低輝度までの範囲で輝度を伸張することに用いられる第２のアンカーポイントの情報を含むメタデータが付加され、前記メタデータを付加したそれぞれの前記ピクチャが前記表示装置に出力される。

【発明の効果】

【0013】

本技術によれば、高輝度側と低輝度側の輝度調整を適切に行わせることができる。

【0014】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0015】

【図1】本技術の一実施形態に係る情報処理システムの構成例を示す図である。

【図2】輝度調整の例を示す図である。

【図3】輝度調整に用いられるトーンカーブの例を示す図である。

【図4】Dynamic metadataの伝送例を示す図である。

【図5】Dynamic metadataのシンタクスを示す図である。

【図6】ゲーム用メタデータにより表されるknee pointの例を示す図である。

【図7】shoulder pointとtoe pointを示す図である。

【図8】ゲーム用メタデータのシンタクスの第１の例を示す図である。

【図9】ゲーム用メタデータのシンタクスの第２の例を示す図である。

【図10】ゲーム用メタデータのシンタクスの第３の例を示す図である。

【図11】ゲーム用メタデータのシンタクスの第４－１の例を示す図である。

【図12】Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。

【図13】toe pointの求め方の例を示す図である。

【図14】ゲーム用メタデータのシンタクスの第４－２の例を示す図である。

【図15】Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。

【図16】Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。

【図17】ゲーム用メタデータのシンタクスの第５の例を示す図である。

【図18】ゲーム用メタデータのシンタクスの第６の例を示す図である。

【図19】ゲーム機の構成例を示すブロック図である。

【図20】コントローラの機能構成例を示すブロック図である。

【図21】TVの構成例を示すブロック図である。

【図22】ゲーム機の処理について説明するフローチャートである。

【図23】TVの処理について説明するフローチャートである。

【図24】コンピュータの構成例を示すブロック図である。

【発明を実施するための形態】

【0016】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．HDRビデオの輝度調整
２．ゲーム用メタデータの記述例１
３．ゲーム用メタデータの記述例２
４．ゲーム用メタデータの記述例３
５．ゲーム用メタデータの記述例４
６．ゲーム用メタデータの記述例５
７．ゲーム用メタデータの記述例６
８．各装置の構成と動作
９．ゲームソフトウェアの生成側について
１０．その他の例

【0017】

＜＜HDRビデオの輝度調整＞＞
＜情報処理システムの構成＞
図１は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。

【0018】

図１の情報処理システムは、ゲーム機１とTV（テレビジョン受像機）２がHDMI（登録商標）(High-Definition Multimedia Interface) 2.0a，HDMI 2.1などの所定の規格のケーブルで接続されることによって構成される。ゲーム機１とTV２が無線のインタフェースを介して接続されるようにしてもよい。

【0019】

ゲーム機１は、光ディスク１１に記録されたゲームソフトウェアや、所定のサーバからインターネット１２を介して提供されたゲームソフトウェアを実行する情報処理装置である。ゲーム機１が実行するゲームソフトウェアは、HDRビデオを用いたゲームのプログラムである。

【0020】

ゲーム機１は、ゲームソフトウェアを実行することによって得られたHDRビデオのデータをTV２に出力し、ゲームの映像を表示させる。ゲーム機１が出力するデータには、HDRビデオのデータの他に、オーディオデータも含まれる。

【0021】

TV２は、放送波やネットワークを伝送路として伝送されてきた番組を受信して表示する機能の他に、外部から入力されたビデオを表示する機能を有する画像処理装置である。

【0022】

TV２が有するディスプレイは、輝度が100nitを超えるHDRビデオの表示に対応したディスプレイである。図１の例においては、TV２が有するディスプレイの最高輝度は500nitとされている。TV２は、ゲーム機１から伝送されてきたHDRビデオの各ピクチャを受信し、ゲームの映像を表示させる。

【0023】

＜輝度調整について＞
ここで、HDRビデオの一般的な輝度調整について説明する。

【0024】

上述したように、HDRビデオの表示に対応したTVに同じHDRビデオを入力した場合でも、ディスプレイの性能が異なるときには、映像の見栄えが異なるものとなる。

【0025】

この原因のひとつには、図２に示すようにゲーム機側とTV側の両方において輝度調整が行われるということがある。輝度調整（トーンマップ）には輝度の圧縮と伸張が含まれる。例えば、ゲーム機とTVは輝度の入出力特性を表すトーンカーブの情報を有している。輝度調整は、そのようなトーンカーブを用いて行われる。

【0026】

図３は、HDRビデオの輝度調整に用いられるトーンカーブの例を示す図である。

【0027】

図３の横軸は入力信号の輝度を表し、縦軸は出力（表示）の輝度を表す。このような輝度の入出力特性を表すトーンカーブを用いた輝度調整が行われ、HDRビデオの輝度が、ディスプレイの最高輝度である500nitの範囲に収まるように圧縮される。

【0028】

なお、図３において矢印の先に示す、明暗の表現がリニアではなくなるポイント（入力輝度と出力輝度がリニアではなくなるポイント）が、knee pointと呼ばれる。knee pointより高い輝度の入力信号は、その輝度より低い輝度で出力されることになる。

【0029】

図２に示すように、ゲーム機からTVに対して輝度調整後の各ピクチャのデータが出力された場合、輝度調整が既に行われていることがTV側では分からないことから、TV側においても、輝度調整が再度行われる。この場合、ゲーム機が意図した輝度調整が、TV側での輝度調整によって上書きされてしまう。

【0030】

このような輝度調整の上書きを防ぐために、ゲーム機側ではHDRビデオの輝度調整を行わずに、TVにおいて行われる輝度調整を、ゲーム機がコントロールする方法が考えられる。

【0031】

また、TVにおいて行われる輝度調整をゲーム機がコントロールするための手段として、輝度の特徴を表す情報を、メタデータとして各ピクチャに付加して伝送する手段が考えられる。例えば、SMPTE2094-40では、HDRビデオのメタデータとして、ピクチャ（フレーム）単位の輝度の特徴を表す情報を含むDynamic metadataが規定されている。

【0032】

ゲームの映像を構成するHDRビデオにもDynamic metadataを採用するとなると、HDRビデオの出力時、図４に示すように、ゲーム機からTVには、各ピクチャのデータとともにDynamic metadataが伝送される。TVにおいては、HDRビデオの輝度調整がゲーム機から伝送されてきたDynamic metadataに基づいて行われる。

【0033】

＜Dynamic metadata＞
図５は、SMPTE2094-40で規定されるDynamic metadataのシンタクスを示す図である。なお、図５に示す各フィールドの意味は、CTA861-Gにおいて定義される。

【0034】

図５の１行目に示すように、Dynamic metadataには、ピクチャに設定されたWindowの情報が記述される。Windowは、ピクチャ内に設定された矩形領域である。１ピクチャ内に最大３つのWindowを設定することが可能とされる。

【0035】

２～１４行目に示す各パラメータが、ピクチャに設定されたWindow毎に記述される。

【0036】

２行目のWindow size，Window locationは、それぞれWindowのサイズと位置を示す。

【0037】

３行目のInternal Eclipse size，Internal Eclipse locationは、それぞれ、Window内に設定された２つの楕円のうちの内側の楕円のサイズと位置を示す。Window内に楕円を設定し、楕円内の輝度を指定することができるようになされている。

【0038】

４行目のExternal Eclipse size，External Eclipse locationは、それぞれ、Window内に設定された２つの楕円のうちの外側の楕円のサイズと位置を示す。

【0039】

５行目のRotation angleは、Window内に設定された２つの楕円の傾きを示す。

【0040】

６行目のOverlap process optionは、Windowが重なった場合の画素の処理方法を示す。

【0041】

７行目のmaxsclは、Windowの中の最も明るいピクセルのRGB値を示す。

【0042】

８行目のaverage max rgbは、Windowの中の各ピクセルのR，G，Bの中の最も大きい値の平均を示す。

【0043】

９行目のDistribution max rgb percentagesは、Windowの中の明るい輝度のランキングをパーセンテージにより示す。最大１５個のDistribution max rgb percentagesの値を記述することが可能とされる。

【0044】

１０行目のDistribution max rgb percentilesは、Windowの中の明るい輝度のランキングを順位（パーセンタイル）により示す。最大１５個のDistribution max rgb percentilesの値を記述することが可能とされる。

【0045】

１１行目のFraction bright pixelsは、シーン内の最大の輝度値が出画される程度を示す。

【0046】

１２行目のKnee pointは、上述したknee pointの輝度値を示す。

【0047】

１３行目のBezier curve anchorsは、knee pointを超える明るさの、トーンカーブ上のサンプル（アンカーポイント）の座標ｘ,ｙを示す。最大１５個のアンカーポイントをBezier curve anchorsにより指定することが可能とされている。

【0048】

１４行目のColor saturation weightは、想定するディスプレイ（Target display）において輝度圧縮を行った際に変化したRGB値の補正に用いる値を示す。

【0049】

１６行目のTarget System display max luminanceは、想定するディスプレイの輝度を示す。Target System display max luminanceにより、こういうディスプレイで表示されることを想定してコンテンツを作ったということが指定される。

【0050】

１７行目のLocal display luminanceは、ディスプレイを縦横2×2から25×25までのエリアに分割した場合の、それぞれのエリアの最大の輝度値を示す。

【0051】

１８行目のLocal mastering display luminanceは、mastering displayを縦横2×2から25×25までのエリアに分割した場合の、それぞれのエリアの最大の輝度値を示す。

【0052】

Windowの数が１である場合、１～１５行目のパラメータによってピクチャの属性が示される。また、１６行目と１７行目のパラメータによって、想定するディスプレイの属性が示され、１８行目のパラメータによって、ゲームの映像の作成に用いられたディスプレイの属性が示される。

【0053】

このように、SMPTE2094-40で規定されるDynamic metadataによれば、１つのknee pointの情報しか、記述することができない。

【0054】

すなわち、このようなDynamic metadataを用いてTV側での輝度調整をコントロールするとした場合、例えば高輝度側のknee pointしか、ゲーム機は指定することができず、低輝度側のknee pointを指定することができない。高輝度側のknee pointを指定するとした場合、ゲーム機は、入力信号の輝度をその輝度のまま表現したいという、高輝度側の輝度については指定することができるが、低輝度側の輝度については指定することができない。

【0055】

TVが有しているトーンカーブによっては、低輝度側が圧縮されすぎてしまい、特に暗闇のシーンの映像を表現しきれなくなる。

【0056】

＜ゲーム用メタデータについて＞
図１の情報処理システムにおいては、ゲーム機１側ではHDRビデオの輝度調整が行われず、TV２において行われる輝度調整を、ゲーム機１がコントロールすることができるようになされている。

【0057】

TV２において行われる輝度調整のコントロールは、Dynamic metadataと同様の記述を含むメタデータであるゲーム用メタデータを用いて行われる。ゲーム用メタデータは、ゲームの映像を構成するHDRビデオの各ピクチャにゲーム機１において付加され、TV２に対して伝送される。

【0058】

図６は、ゲーム用メタデータにより表されるknee pointの例を示す図である。

【0059】

ゲーム機１が出力するゲーム用メタデータには、点Ｐ１として示す高輝度側のknee pointを表す情報と、点Ｐ２として示す低輝度側のknee pointを表す情報とが含まれる。太線で示す点Ｐ２－Ｐ１の区間が、入力信号の輝度がその輝度のまま表示される区間（リニアの区間）となる。

【0060】

点Ｐ１より高輝度の入力信号は、点Ｐ１より右側のトーンカーブに従って、点Ｐ１１で示す最大輝度までの範囲で、輝度を圧縮して表示される。一方、点Ｐ２より低輝度の入力信号は、点Ｐ２より左側のトーンカーブに従って、点Ｐ１２で示す最低輝度までの範囲で、輝度を伸張して表示される。

【0061】

以下、適宜、図７に示すように、点Ｐ１に対応する高輝度側のknee pointをshoulder pointといい、点Ｐ２に対応する低輝度側のknee pointをtoe pointという。

【0062】

また、ゲーム用メタデータ中の記述については、Knee pointといったように大文字のアルファベットを含む形で表し、トーンカーブ上の点については、knee pointといったように小文字のアルファベットを含む形で表す。例えばShoulder pointはゲーム用メタデータ中の記述を表し、shoulder pointはトーンカーブ上の点を表す。

【0063】

shoulder pointとtoe pointを指定することにより、ゲーム機１は、ゲームの映像を構成するHDRビデオの輝度調整をTV２に適切に行わせることが可能となる。

【0064】

＜＜ゲーム用メタデータの記述例１＞＞
図８は、ゲーム用メタデータのシンタクスの第１の例を示す図である。

【0065】

図８に示すゲーム用メタデータの記述のうち、図５を参照して説明した記述と重複する記述については、適宜、説明を省略する。図９以降についても同様である。

【0066】

図８の例においては、Knee pointに代えて、Shoulder pointとToe pointが記述されている点で、図５の記述と異なる。

【0067】

１２行目のShoulder pointは、矢印＃１で示すように、高輝度側のknee pointであるshoulder pointを表す。

【0068】

１３行目のToe pointは、矢印＃２で示すように、低輝度側のknee pointであるtoe pointを表す。

【0069】

すなわち、図８の記述は、新規のフィールドを新たに定義したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。

【0070】

ゲーム機１は、ゲームソフトウェアを実行することによって図８の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。

【0071】

これにより、ゲーム機１は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。TV２においては、ゲーム用メタデータに基づいて輝度調整が行われ、shoulder pointとtoe pointの間の輝度の入力信号が、その輝度のまま出力されることになる。

【0072】

なお、１４行目のBezier curve anchorsは、例えば、shoulder pointより高輝度側のアンカーポイントを示す。toe pointより低輝度側のアンカーポイントがBezier curve anchorsにより示されるようにしてもよい。

【0073】

＜＜ゲーム用メタデータの記述例２＞＞
図９は、ゲーム用メタデータのシンタクスの第２の例を示す図である。

【0074】

図９の例においては、Knee pointに代えて、Shoulder pointとToe pointが記述されている点で、図５の記述と異なる。また、Bezier curve anchorsが２つ記述されている点で、図５の記述と異なる。

【0075】

１２行目のShoulder pointは、矢印＃１１で示すように、高輝度側のknee pointであるshoulder pointを表す。

【0076】

１３行目のToe pointは、矢印＃１２で示すように、低輝度側のknee pointであるtoe pointを表す。

【0077】

１４行目のBezier curve anchorsは、矢印＃１３で示すように、shoulder pointより高輝度側のアンカーポイントの座標ｘ,ｙを示す。１４行目のBezier curve anchorsにより、shoulder pointより高輝度側のアンカーポイントが最大１５個指定される。

【0078】

１５行目のBezier curve anchorsは、矢印＃１４で示すように、toe pointより低輝度側のアンカーポイントの座標ｘ,ｙを示す。１５行目のBezier curve anchorsにより、toe pointより低輝度側のアンカーポイントが最大１５個指定される。

【0079】

図９の記述も、新規のフィールドを新たに定義したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。

【0080】

ゲーム機１は、ゲームソフトウェアを実行することによって図９の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。

【0081】

これにより、ゲーム機１は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。また、ゲーム機１は、shoulder pointより高輝度側の入出力特性とtoe pointより低輝度側の入出力特性を指定することが可能となる。

【0082】

＜＜ゲーム用メタデータの記述例３＞＞
図１０は、ゲーム用メタデータのシンタクスの第３の例を示す図である。

【0083】

図１０の例においては、Knee pointに代えて、Shoulder pointとToe pointが記述されている点で、図５の記述と異なる。また、Bezier curve anchorsの意味が、図５のBezier curve anchorsの意味と異なる。

【0084】

１２行目のShoulder pointは、矢印＃２１で示すように、高輝度側のknee pointであるshoulder pointを表す。

【0085】

１３行目のToe pointは、矢印＃２２で示すように、低輝度側のknee pointであるtoe pointを表す。

【0086】

１４行目のBezier curve anchorsは、例えば１５個のアンカーポイントを指定する。

【0087】

Bezier curve anchorsが示す１５個のアンカーポイントのうちの例えば前半の８個のアンカーポイントは、矢印＃２３で示すように、shoulder pointより高輝度側のアンカーポイントの座標ｘ,ｙを示す。また、１５個のアンカーポイントのうちの後半の７個のアンカーポイントは、矢印＃２４で示すように、toe pointより低輝度側のアンカーポイントの座標ｘ,ｙを示す。

【0088】

このように、例えば、高輝度側のアンカーポイントの方に、低輝度側のアンカーポイントより多くのBezier curve anchorsの情報が割り当てられる。

【0089】

高輝度側のアンカーポイントと低輝度側のアンカーポイントに割り当てるBezier curve anchorsの情報の割合は任意に変更可能である。例えば、低輝度側のアンカーポイントの方に、高輝度側のアンカーポイントより多くのBezier curve anchorsの情報が割り当てられるようにしてもよい。

【0090】

また、Bezier curve anchorsにより、１５未満の所定の数のアンカーポイントが指定されるようにしてもよい。

【0091】

図１０の記述も、新規のフィールドを新たに定義したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。

【0092】

ゲーム機１は、ゲームソフトウェアを実行することによって図１０の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。

【0093】

これにより、ゲーム機１は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。また、ゲーム機１は、shoulder pointより高輝度側の入出力特性とtoe pointより低輝度側の入出力特性を指定することが可能となる。

【0094】

＜＜ゲーム用メタデータの記述例４＞＞
図１１に示すシンタクスと、後述する図１４に示すシンタクスは、新規のフィールドを含まずに、既存の記述を用いて、shoulder pointとtoe pointなどを表すシンタクスである。図１１と図１４の記述は、Dynamic metadataの既存の記述をそのままゲーム用メタデータとして用いた場合の記述となる。

【0095】

＜記述例４－１＞
図１１は、ゲーム用メタデータのシンタクスの第４－１の例を示す図である。

【0096】

１２行目のKnee pointは、矢印＃３１で示すように、高輝度側のknee pointであるshoulder pointを表す。

【0097】

低輝度側のknee pointであるtoe pointは、矢印＃３２に示すように、９行目のDistribution max rgb percentagesと１０行目のDistribution max rgb percentilesとを用いて表される。

【0098】

図１２は、Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。

【0099】

図１２に示す表において、左端列は変数ｉを表す。変数ｉは０から１４までの整数をとる。変数ｉの数だけ、Distribution max rgb percentagesとDistribution max rgb percentilesの値が設定される。中央列はDistribution max rgb percentagesを表し、左端列はDistribution max rgb percentilesを表す。

【0100】

図１２の例においては、変数ｉ=０～９に対応するDistribution max rgb percentagesとDistribution max rgb percentilesが示されている。

【0101】

Distribution max rgb percentagesの値ｘ[i]は、Windowの数が１であるとすると、ピクチャを構成する全ピクセルを輝度の小さい順に並べ、輝度の小さい方から数えたときのピクセルの割合を表す。例えば変数ｉ＝７においてDistribution max rgb percentagesの値が90であることは、輝度の小さい方から90％の範囲に含まれるピクセルを表す。

【0102】

また、Distribution max rgb percentilesの値ｙ[i]は、Windowの数が１であるとすると、Distribution max rgb percentagesにより表される範囲内における最大の輝度のピクセルの、その輝度を正規化して表す。例えば変数ｉ＝７においてDistribution max rgb percentilesの値が801であることは、輝度の小さい方から90％の範囲に含まれるピクセルのうちの、最大輝度をとるピクチャの輝度が80.1nitであることを表す。

【0103】

図１２において斜線を付して示すように、例えば変数ｉ＝３に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、toe pointが表される。図１２の例においては、変数ｉ＝３に対応するDistribution max rgb percentagesの値は25（25％）である。また、変数ｉ＝３に対応するDistribution max rgb percentilesの値は2（0.2nit）である。

【0104】

図１３は、toe pointの求め方の例を示す図である。

【0105】

図１３の横軸は入力信号の輝度を表す。ｘの値が1.0であることは、PQ(Perceptual Quantization)の最大輝度値である10000nitを表す。

【0106】

また、図１３の縦軸はディスプレイ上の表示輝度を表す。ｙの値が1.0であることは、ディスプレイの最大輝度である例えば400nitを表す。ディスプレイの最大輝度は、ゲーム用メタデータのTarget System display max luminanceにより表される。

【0107】

上述したように、toe pointは、ある輝度の入力信号がその輝度で表示されるリニアの範囲の境界点である。変数ｉ＝３に対応するDistribution max rgb percentilesの値が0.2であるから、入力信号の輝度と表示輝度がいずれも0.2であることを示す点Ｐ３１のｘ座標とｙ座標は、下式（１）により表される。

【数1】

【0108】

CTA861-Gによると、Knee pointは12bitの情報である。点Ｐ３１のｘ座標とｙ座標の値は、下式（２）、式（３）に表されるように1/4095の倍数で、最も近い値に変換される。

【数2】

【数3】

【0109】

式（３）により求められるtoe pointのｘ座標の値である0.0819は0に丸められ、ｙ座標の値である2.0475は2に丸められる。これにより、toe pointのｘ座標、ｙ座標は下式（４）により表される。

【数4】

【0110】

このように、図１１の例においては、予め設定された所定の変数ｉに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、toe pointを指定する情報として用いられる。

【0111】

toe pointを指定することに用いられるDistribution max rgb percentagesとDistribution max rgb percentilesの変数ｉの値は任意である。変数ｉ＝３以外の、例えば変数ｉ＝４に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いてtoe pointが指定されるようにすることが可能である。

【0112】

toe pointがKnee pointにより指定され、shoulder pointが、Distribution max rgb percentagesとDistribution max rgb percentilesとを用いて指定されるようにしてもよい。

【0113】

ゲーム機１は、ゲームソフトウェアを実行することによって図１１の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。

【0114】

TV２においては、ゲーム用メタデータの解析が行われ、Knee pointの記述に基づいてshoulder pointが特定されるとともに、Distribution max rgb percentagesとDistribution max rgb percentilesの記述に基づいてtoe pointが特定される。

【0115】

また、TV２においては、特定されたshoulder pointとtoe pointを用いて輝度調整が行われる。上述した例の場合、輝度の小さい方から数えたときに25％以上の範囲のピクセル（shoulder pointにより表される輝度以下のピクセル）については、入力信号の輝度をその輝度のまま出力するようにして輝度調整が行われることになる。

【0116】

このように、ゲーム機１は、既存の記述を用いて、shoulder pointとtoe pointをそれぞれ指定することが可能となる。

【0117】

＜記述例４－２＞
図１４は、ゲーム用メタデータのシンタクスの第４－２の例を示す図である。

【0118】

図１４の例においては、矢印＃４１，＃４２で示すように、shoulder pointとtoe pointの両方が、Distribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される。

【0119】

図１５は、Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。

【0120】

図１５に示すように、例えば変数ｉ＝３に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、toe pointが表される。図１５の例においては、変数ｉ＝３に対応するDistribution max rgb percentagesの値は25（25％）である。また、変数ｉ＝３に対応するDistribution max rgb percentilesの値は2（0.2nit）である。

【0121】

また、例えば変数ｉ＝７に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、shoulder pointが表される。図１５の例においては、変数ｉ＝７に対応するDistribution max rgb percentagesの値は90（90％）である。また、変数ｉ＝７に対応するDistribution max rgb percentilesの値は801（80.1nit）である。

【0122】

図１５において斜線を付して示す範囲が、入力信号の輝度をその輝度のまま出力するようにして輝度調整が行われる範囲となる。

【0123】

このように、図１５の例においては、予め設定された所定の変数ｉに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、toe pointを指定する情報として用いられる。また、予め設定された他の変数ｉに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、shoulder pointを指定する情報として用いられる。

【0124】

shoulder pointとtoe pointを表すことに用いられるDistribution max rgb percentagesとDistribution max rgb percentilesに対応する変数ｉの値は任意である。

【0125】

ゲーム機１は、ゲームソフトウェアを実行することによって図１４の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。

【0126】

TV２においては、ゲーム用メタデータの解析が行われ、Distribution max rgb percentagesとDistribution max rgb percentilesの記述に基づいてshoulder pointとtoe pointが特定される。

【0127】

また、TV２においては、特定されたshoulder pointとtoe pointを用いて輝度調整が行われる。上述した例の場合、輝度の小さい方から数えたときに25％以上、90％以下の範囲のピクセルについては、入力信号の輝度をその輝度のまま出力するようにして輝度調整が行われることになる。

【0128】

このように、ゲーム機１は、既存の記述を用いて、shoulder pointとtoe pointをそれぞれ指定することが可能となる。

【0129】

＜記述例４－３＞
図１６は、Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。

【0130】

図１６の例においては、入力信号の輝度をその輝度のまま出力する輝度の範囲を示すDistribution max rgb percentagesとDistribution max rgb percentilesだけが、ゲーム用メタデータに記述される。

【0131】

図１６の例においては、変数ｉ=０～３に対応するDistribution max rgb percentagesとDistribution max rgb percentilesの値が示されている。

【0132】

図１６に示すように、変数ｉ＝０に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、toe pointが指定される。図１６の例においては、変数ｉ＝０に対応するDistribution max rgb percentagesの値は25である。また、変数ｉ＝０に対応するDistribution max rgb percentilesの値は2である。

【0133】

また、変数ｉ＝３に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、shoulder pointが表される。図１６の例においては、変数ｉ＝３に対応するDistribution max rgb percentagesの値は90である。また、変数ｉ＝３に対応するDistribution max rgb percentilesの値は801である。

【0134】

このように、図１６の例においては、最も小さい変数ｉに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、toe pointを指定する情報として用いられる。また、最も大きい変数ｉに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、shoulder pointを指定する情報として用いられる。

【0135】

＜＜ゲーム用メタデータの記述例５＞＞
図１７は、ゲーム用メタデータのシンタクスの第５の例を示す図である。

【0136】

図１７の例においては、Bezier curve anchorsが２つ記述されている点で、図５の記述と異なる。

【0137】

１２行目のKnee pointは、矢印＃５１で示すように、高輝度側のknee pointであるshoulder pointを表す。

【0138】

低輝度側のknee pointであるtoe pointは、矢印＃５２で示すように、９行目のDistribution max rgb percentagesと１０行目のDistribution max rgb percentilesとを用いて表される。Distribution max rgb percentagesとDistribution max rgb percentilesを用いたtoe pointの表し方は、図１２、図１５、図１６を参照して説明した表し方と同じである。

【0139】

１３行目のBezier curve anchorsは、矢印＃５３で示すように、shoulder pointより高輝度側のアンカーポイントの座標ｘ,ｙを示す。

【0140】

１４行目のBezier curve anchorsは、矢印＃５４で示すように、toe pointより低輝度側のアンカーポイントの座標ｘ,ｙを示す。

【0141】

すなわち、図１７の記述は、既存の記述を用いてshoulder pointとtoe pointを表すとともに、Bezier curve anchorsを追加したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。

【0142】

図１７の例においても、toe pointがKnee pointにより表され、shoulder pointがDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表されるようにしてもよい。

【0143】

＜＜ゲーム用メタデータの記述例６＞＞
図１８は、ゲーム用メタデータのシンタクスの第６の例を示す図である。

【0144】

図１８の記述は、Bezier curve anchorsの意味が異なる点を除いて、図５の記述と同じである。図１８に示すBezier curve anchorsは、図１０を参照して説明したように、shoulder pointより高輝度側のアンカーポイントを示すとともに、toe pointより低輝度側のアンカーポイントを示す。

【0145】

１２行目のKnee pointは、矢印＃６１で示すように、高輝度側のknee pointであるshoulder pointを表す。

【0146】

低輝度側のknee pointであるtoe pointは、矢印＃６２で示すように、９行目のDistribution max rgb percentagesと１０行目のDistribution max rgb percentilesとを用いて表される。

【0147】

１３行目のBezier curve anchorsが示す１５個のアンカーポイントのうちの例えば前半の８個のアンカーポイントは、矢印＃６３で示すように、shoulder pointより高輝度側のアンカーポイントの座標ｘ,ｙを示す。また、１５個のアンカーポイントのうちの後半の７個のアンカーポイントは、矢印＃６４で示すように、toe pointより低輝度側のアンカーポイントの座標ｘ,ｙを示す。

【0148】

このように、上述した記述例を適宜組み合わせることが可能である。

【0149】

以上のような各種の記述を含むゲーム用メタデータを用いることにより、ゲーム機１は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。

【0150】

TV２は、HDRビデオのピクチャの輝度調整を、ゲーム機１により指定された方法、すなわち、ゲームソフトウェアの制作者により指定された方法に従って、適切な形で行うことができる。

【0151】

＜＜各装置の構成と動作＞＞
＜ゲーム機の構成＞
図１９は、ゲーム機１の構成例を示すブロック図である。

【0152】

ゲーム機１は、コントローラ５１、ディスクドライブ５２、メモリ５３、ローカルストレージ５４、通信部５５、復号処理部５６、操作入力部５７、および外部出力部５８から構成される。

【0153】

コントローラ５１は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。コントローラ５１は、所定のプログラムを実行し、ゲーム機１の全体の動作を制御する。

【0154】

ディスクドライブ５２は、光ディスク１１に記録されているデータを読み出し、コントローラ５１、メモリ５３、または復号処理部５６に出力する。例えば、ディスクドライブ５２は、光ディスク１１から読み出したゲームソフトウェアをコントローラ５１に出力し、AVストリームを復号処理部５６に出力する。

【0155】

メモリ５３は、コントローラ５１が実行するプログラムなどの、コントローラ５１が各種の処理を実行する上で必要なデータを記憶する。

【0156】

ローカルストレージ５４は、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記録媒体により構成される。ローカルストレージ５４には、サーバからダウンロードされたゲームソフトウェアなどが記録される。

【0157】

通信部５５は、無線LAN、有線LANなどのインタフェースである。例えば、通信部５５は、インターネットなどのネットワークを介してサーバと通信を行い、サーバからダウンロードしたデータをローカルストレージ５４に供給する。

【0158】

復号処理部５６は、ディスクドライブ５２から供給されたAVストリームに多重化されているビデオストリームを復号し、復号して得られたビデオのデータを外部出力部５８に出力する。ゲームの映像を構成するHDRビデオが、ビデオストリームを復号することにより生成されるようにしてもよい。また、復号処理部５６は、AVストリームに多重化されているオーディオストリームを復号し、復号して得られたオーディオデータを外部出力部５８に出力する。

【0159】

操作入力部５７は、リモートコントローラから無線通信によって送信される信号を受信する受信部により構成される。操作入力部５７はユーザの操作を検出し、検出した操作の内容を表す信号をコントローラ５１に供給する。

【0160】

外部出力部５８は、HDMIなどの外部出力のインタフェースである。外部出力部５８は、HDMIケーブルを介してTV２と通信を行い、コントローラ５１から供給されたHDRビデオのデータ、または、復号処理部５６から供給されたHDRビデオのデータをTV２に出力する。

【0161】

図２０は、コントローラ５１の機能構成例を示すブロック図である。

【0162】

コントローラ５１においては、ゲームソフトウェア実行部７１と出力制御部７２が実現される。図２０に示す機能部のうちの少なくとも一部は、コントローラ５１のCPUにより所定のプログラムが実行されることによって実現される。

【0163】

ゲームソフトウェア実行部７１は、光ディスク１１から読み出されたゲームソフトウェアやローカルストレージ５４に記録されているゲームソフトウェアを実行する。

【0164】

ゲームソフトウェア実行部７１は、ゲームソフトウェアを実行することによって、ゲームの映像を構成するHDRビデオの各ピクチャと、ゲーム用メタデータを生成する。ゲームソフトウェア実行部７１は、生成したHDRビデオの各ピクチャとゲーム用メタデータを出力制御部７２に出力する。

【0165】

出力制御部７２は、外部出力部５８を制御することによって、ゲームソフトウェア実行部７１により生成されたHDRビデオの出力を制御する。例えば、出力制御部７２は、ゲームの映像を構成するHDRビデオの各ピクチャにゲーム用メタデータを付加し、ゲーム用メタデータを付加した各ピクチャを外部出力部５８から出力させる。

【0166】

＜TVの構成＞
図２１は、TV２の構成例を示すブロック図である。

【0167】

TV２は、コントローラ１０１、外部入力部１０２、信号処理部１０３、ディスプレイ１０４、放送受信部１０５、復号処理部１０６、および通信部１０７から構成される。

【0168】

コントローラ１０１は、CPU、ROM、RAMなどにより構成される。コントローラ１０１は、所定のプログラムを実行し、TV２の全体の動作を制御する。

【0169】

コントローラ１０１においては、所定のプログラムが実行されることにより、メタデータ解析部１０１Ａが実現される。

【0170】

メタデータ解析部１０１Ａは、ゲーム機１から伝送されたゲーム用メタデータを解析し、shoulder pointとtoe pointを特定する。また、メタデータ解析部１０１Ａは、ゲーム用メタデータを解析し、shoulder pointより高輝度側のアンカーポイントとtoe pointより低輝度側のアンカーポイントの特定することなども行う。

【0171】

メタデータ解析部１０１Ａは、ゲーム用メタデータの解析結果を表す情報を信号処理部１０３に出力する。信号処理部１０３による輝度調整が、メタデータ解析部１０１Ａによるゲーム用メタデータの解析結果に基づいて行われる。

【0172】

外部入力部１０２は、HDMIなどの外部入力のインタフェースである。外部入力部１０２は、HDMIケーブルを介してゲーム機１と通信を行い、ゲーム機１から伝送されてきたHDRビデオの各ピクチャのデータを受信して信号処理部１０３に出力する。また、外部入力部１０２は、HDRビデオの各ピクチャに付加して伝送されてきたゲーム用メタデータを受信し、コントローラ１０１に出力する。

【0173】

信号処理部１０３は、外部入力部１０２から供給されたHDRビデオの処理を行い、ゲームの映像をディスプレイ１０４に表示させる。信号処理部１０３は、コントローラ１０１による制御に従ってHDRビデオの輝度調整を行う。

【0174】

信号処理部１０３は、復号処理部１０６から供給されたデータに基づいて、番組の映像をディスプレイ１０４に表示させる処理なども行う。

【0175】

ディスプレイ１０４は、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどの表示デバイスである。ディスプレイ１０４は、信号処理部１０３から供給されたビデオ信号に基づいて、ゲームの映像や番組の映像を表示する。

【0176】

放送受信部１０５は、アンテナから供給された信号から所定のチャンネルの放送信号を抽出し、復号処理部１０６に出力する。放送受信部１０５による放送信号の抽出は、コントローラ１０１による制御に従って行われる。

【0177】

復号処理部１０６は、放送受信部１０５から供給された放送信号に対して復号等の処理を施し、番組のビデオデータを信号処理部１０３に出力する。

【0178】

通信部１０７は、無線LAN、有線LANなどのインタフェースである。通信部１０７は、インターネットを介してサーバと通信を行う。

【0179】

＜ゲーム機の動作＞
ここで、図２２のフローチャートを参照して、ゲーム機１の処理について説明する。

【0180】

ステップＳ１において、コントローラ５１のゲームソフトウェア実行部７１は、ゲームソフトウェアを実行し、ゲームの映像を構成するHDRビデオの各ピクチャとゲーム用メタデータを生成する。ゲームソフトウェアを実行することにより、図８等を参照して説明したような各種のゲーム用メタデータが生成される。

【0181】

ステップＳ２において、出力制御部７２は、ゲームの映像を構成するHDRビデオの各ピクチャに、ゲームソフトウェア実行部７１により生成されたゲーム用メタデータを付加し、ゲーム用メタデータを付加した各ピクチャを外部出力部５８から出力させる。

【0182】

以上の処理が、ユーザがゲームを行っている間、繰り返し行われる。

【0183】

＜TVの動作＞
次に、図２３のフローチャートを参照して、TV２の処理について説明する。

【0184】

ステップＳ２１において、TV２の外部入力部１０２は、ゲーム機１から伝送されたHDRビデオの各ピクチャのデータと、それに付加して伝送されてきたゲーム用メタデータを受信する。

【0185】

ステップＳ２２において、コントローラ１０１のメタデータ解析部１０１Ａは、ゲーム機１から伝送されてきたゲーム用メタデータを解析し、shoulder pointとtoe pointを特定する。

【0186】

例えば図８の記述を含むゲーム用メタデータが伝送されてきた場合、メタデータ解析部１０１Ａは、Shoulder pointの記述に基づいてshoulder pointを特定し、Toe pointの記述に基づいてtoe pointを特定する。ゲーム用メタデータの解析結果を表す情報はメタデータ解析部１０１Ａから信号処理部１０３に供給される。

【0187】

ステップＳ２３において、信号処理部１０３は、ゲーム用メタデータの解析結果に基づいてHDRビデオの輝度調整を行う。例えば、toe pointからshoulder pointまでの輝度については、その輝度のまま出力されるようにHDRビデオの輝度調整が行われる。

【0188】

ステップＳ２４において、信号処理部１０３は、輝度調整を行ったHDRビデオをディスプレイ１０４に表示させる。ゲームの映像を構成するHDRビデオの表示は、ゲームソフトウェアがゲーム機１において実行されている間、続けられる。

【0189】

以上の処理により、ゲーム機１は、TV２による輝度調整を、ゲームソフトウェアの制作者により指定された方法に従って適切な形で行わせることが可能となる。

【0190】

＜＜ゲームソフトウェアの生成側について＞＞
図２４は、以上のようなゲームソフトウェアの生成に用いられるコンピュータの構成例を示すブロック図である。

【0191】

CPU２０１、ROM２０２、RAM２０３は、バス２０４により相互に接続されている。CPU２０１においては、所定のプログラムが実行されることにより、メタデータ生成部２０１Ａとゲームソフトウェア生成部２０１Ｂが実現される。

【0192】

メタデータ生成部２０１Ａは、図８等を参照して説明したゲーム用メタデータを例えば制作者による操作に従って生成する。

【0193】

ゲームソフトウェア生成部２０１Ｂは、ゲーム機１が実行するゲームソフトウェアを生成する。ゲームソフトウェア生成部２０１Ｂが生成するゲームソフトウェアには、ゲームを進行させるゲームプログラム、ゲームプログラムが利用するゲームデータ、ゲームの映像と音声の生成に用いられる情報が含まれる。ゲームの映像の生成に用いられる情報には、メタデータ生成部２０１Ａにより生成されたゲーム用メタデータも含まれる。

【0194】

バス２０４には、さらに、入出力インタフェース２０５が接続される。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続される。ドライブ２１０にはリムーバブルメディア２１１が装着される。

【0195】

入力部２０６は、キーボード、マウスなどにより構成され、ゲームソフトウェアの制作者により操作される。

【0196】

出力部２０７は、ディスプレイ、スピーカなどにより構成される。出力部２０７を構成するディスプレイは、例えばmastering displayとして用いられる。

【0197】

記憶部２０８は、ハードディスクや不揮発性のメモリなどより構成される。ゲームソフトウェア生成部２０１Ｂにより生成されたゲームソフトウェアなどの各種のデータが記憶部２０８に記憶される。

【0198】

通信部２０９は、ネットワークインタフェースなどより構成される。

【0199】

ドライブ２１０は、光ディスク、半導体メモリなどよりなるリムーバブルメディア２１１に記録されているデータの読み出しと、リムーバブルメディア２１１に対するデータの書き込みを制御する。

【0200】

このような構成を有するコンピュータにおいては、CPU２０１が、例えば記憶部２０８に記憶されているプログラムをRAM２０３にロードして実行することにより、ゲームソフトウェアの生成処理などの各種の処理が行われる。

【0201】

このように、図２４のコンピュータは、ゲームソフトウェアを生成する情報処理装置として機能する。

【0202】

＜＜その他の例＞＞
図８等を参照して説明した記述を含むメタデータがゲームの映像用のメタデータであるものとしたが、映画、静止画などの各種のビデオデータの輝度調整に用いられるようにしてもよい。

【0203】

ゲーム機１から伝送されてきたHDRビデオの輝度を調整する場合について説明したが、インターネット１２を介してサーバから送信されてきたゲームソフトウェアがTV２において実行されるようにしてもよい。ゲームソフトウェアが実行されることによって生成されたHDRビデオは、TV２においてゲーム用メタデータに基づいて輝度調整が行われ、表示される。

【0204】

図２４の例においては、ゲームソフトウェアを生成するコンピュータにおいてメタデータ生成部２０１Ａが実現されるものとしたが、ゲームソフトウェアを生成する機能を有していないコンピュータにおいてメタデータ生成部２０１Ａが実現されるようにしてもよい。

【0205】

例えば、ゲームソフトウェア、映画などのコンテンツを配信するサーバを構成するコンピュータにおいて、上述したような各種の記述を含むメタデータを生成するメタデータ生成部２０１Ａが実現されるようにすることが可能である。サーバのメタデータ生成部２０１Ａは、配信するコンテンツ用のメタデータを生成し、生成したメタデータをコンテンツとともに配信することになる。

【0206】

これにより、サーバは、インターネット１２を介して配信するコンテンツの高輝度側および低輝度側の輝度調整を、配信先となる機器に適切に行わせることができる。

【0207】

・プログラムの例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。

【0208】

インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図２４に示されるリムーバブルメディア２１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

【0209】

コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0210】

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0211】

本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0212】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0213】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0214】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0215】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0216】

・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。

【0217】

（１）
第１のknee pointを表す情報と前記第１のknee pointより低輝度側の第２のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成するメタデータ生成部と、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成するソフトウェア生成部と
を備える情報処理装置。
（２）
前記メタデータ生成部は、前記第１のknee pointと前記第２のknee pointをそれぞれ表す２つのpoint情報を記述した前記メタデータを生成する
前記（１）に記載の情報処理装置。
（３）
前記メタデータ生成部は、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第１のアンカーポイントの情報と、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第２のアンカーポイントの情報とをさらに含む前記メタデータを生成する
前記（１）または（２）に記載の情報処理装置。
（４）
前記メタデータ生成部は、前記第１のアンカーポイントの情報としてのBezier curve anchorsと、前記第２のアンカーポイントの情報としてのBezier curve anchorsとをそれぞれ記述した前記メタデータを生成する
前記（３）に記載の情報処理装置。
（５）
前記メタデータ生成部は、前記第１のアンカーポイントと前記第２のアンカーポイントとを表す１つのBezier curve anchorsを記述した前記メタデータを生成する
前記（３）に記載の情報処理装置。
（６）
前記第１のknee pointと前記第２のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、前記Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
情報処理装置が、
第１のknee pointを表す情報と前記第１のknee pointより低輝度側の第２のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
情報処理方法。
（８）
コンピュータに、
第１のknee pointを表す情報と前記第１のknee pointより低輝度側の第２のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
処理を実行させるためのプログラム。
（９）
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第１のknee pointを表す情報と前記第１のknee pointより低輝度側の第２のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信する通信部と、
前記メタデータに基づいて前記ピクチャの輝度を調整する信号処理部と
を備える画像処理装置。
（１０）
前記第１のknee pointと前記第２のknee pointは、前記メタデータに記述された２つのpoint情報によりそれぞれ表される
前記（９）に記載の画像処理装置。
（１１）
前記メタデータには、前記第１のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第１のアンカーポイントの情報と、前記第２のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第２のアンカーポイントの情報とがさらに含まれる
前記（９）または（１０）に記載の画像処理装置。
（１２）
前記メタデータには、前記第１のアンカーポイントの情報としてのBezier curve anchorsと、前記第２のアンカーポイントの情報としてのBezier curve anchorsとがそれぞれ記述される
前記（１１）に記載の画像処理装置。
（１３）
前記メタデータには、前記第１のアンカーポイントと前記第２のアンカーポイントとを表す１つのBezier curve anchorsが記述される
前記（１１）に記載の画像処理装置。
（１４）
前記第１のknee pointと前記第２のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
前記（９）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
画像処理装置が、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第１のknee pointを表す情報と前記第１のknee pointより低輝度側の第２のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
前記メタデータに基づいて前記ピクチャの輝度を調整する
画像処理方法。
（１６）
コンピュータに、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第１のknee pointを表す情報と前記第１のknee pointより低輝度側の第２のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
前記メタデータに基づいて前記ピクチャの輝度を調整する
処理を実行させるためのプログラム。
（１７）
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第１のknee pointを表す情報と前記第１のknee pointより低輝度側の第２のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する出力制御部を備える
情報処理装置。
（１８）
情報処理装置が、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第１のknee pointを表す情報と前記第１のknee pointより低輝度側の第２のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
情報処理方法。
（１９）
コンピュータに、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第１のknee pointを表す情報と前記第１のknee pointより低輝度側の第２のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
処理を実行させるためのプログラム。

【符号の説明】

【0218】

１ ゲーム機， ２ TV， ５１ コントローラ， ５２ ディスクドライブ， ５３ メモリ， ５４ ローカルストレージ， ５５ 通信部， ５６ 復号処理部， ５７ 操作入力部， ５８ 外部出力部， ７１ ゲームソフトウェア実行部， ７２ 出力制御部， １０１Ａ メタデータ解析部， ２０１Ａ メタデータ生成部， ２０１Ｂ ゲームソフトウェア生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】