特許 7340659 復号された画像データから画像データを再構成する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-30

(45)【発行日】2023-09-07

(54)【発明の名称】復号された画像データから画像データを再構成する方法および装置

(51)【国際特許分類】

   H04N 19/89 20140101AFI20230831BHJP

   H04N 19/46 20140101ALI20230831BHJP

【ＦＩ】

H04N19/89

H04N19/46

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2022093177

(22)【出願日】2022-06-08

(62)【分割の表示】P 2017239281の分割

【原出願日】2017-12-14

(65)【公開番号】P2022130436

(43)【公開日】2022-09-06

【審査請求日】2022-07-04

(31)【優先権主張番号】17305212.7

(32)【優先日】2017-02-24

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】17158481.6

(32)【優先日】2017-02-28

(33)【優先権主張国・地域又は機関】EP

【新規性喪失の例外の表示】特許法第３０条第２項適用 ＥＴＳＩ ＴＳ １０３ ４３３－１ Ｖ１．２．１技術仕様書 コンシューマ電子機器における使用のための高性能単層高ダイナミック・レンジ（ＨＤＲ）システム；パート１：標準ダイナミック・レンジ（ＳＤＲ）互換ＨＤＲシステム（ＳＬ－ＨＤＲ１）、付属文書Ｆ

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】アンドリボン，ピエール

(72)【発明者】

【氏名】トウージ，デイビツド

(72)【発明者】

【氏名】カラメリ，ニコラス

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２００６－２７９３８８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１１７５５１（ＵＳ，Ａ１）

【文献】国際公開第２０１７／１１４０１６（ＷＯ，Ａ１）

【文献】Pankaj Topiwala, Wei Dai, and Madhu Krishnan，AHG14: Tone Mapping Information and Related SEIs for HDR Coding，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JCTVC-Y0042r4，25th Meeting: Chengdu, CN，2016年11月，pp.1-10

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

原画像を表す画像データの再構成を作成する方法であって、
復号された画像データおよびパラメータを取得することであって、前記パラメータは、前記原画像を表す前記画像データから処理されていることと、
前記復号された画像データの表現にグラフィックがオーバーレイされるという決定に応じて、
どのように前記パラメータが処理されているかを示す情報データに従って復元モードを選択することと、
前記選択された復元モードを適用することによって、前記パラメータを復元することと、
前記復号された画像データおよび前記復元されたパラメータに基づいて画像データを再構成するためのデータをディスプレイ装置に提供することと、を含み、
前記復号された画像データおよび前記再構成された画像データは、異なるダイナミック・レンジを有する、前記方法。

【請求項2】

前記情報データがビットストリームにおけるシンタックス要素によって明示的に信号伝達される、請求項１に記載の方法。

【請求項3】

前記情報データが黙示的に信号伝達される、請求項１に記載の方法。

【請求項4】

前記情報データは、前記パラメータを処理するために前記原画像に適用される前記処理を識別する、請求項１に記載の方法。

【請求項5】

前記復元モードを選択することは、前記原画像の少なくとも１つの特性、または、前記原画像をグレーディングするために使用されるマスタリング・ディスプレイの少なくとも１つの特性、または、前記再構成された画像データの少なくとも１つの特性、または、対象のディスプレイの少なくとも１つの特性に基づいて復元モードを選択することを含む、請求項１に記載の方法。

【請求項6】

原画像を表す画像データの再構成を作成する装置であって、前記装置は、少なくとも１つのプロセッサと、命令を記憶した少なくとも１つのメモリと、を含み、前記命令は、前記少なくとも１つのプロセッサによって実行されると、
復号された画像データおよびパラメータを取得することであって、前記パラメータは、前記原画像を表す前記画像データから処理されていることと、
前記復号された画像データの表現にグラフィックがオーバーレイされるという決定に応じて、
どのように前記パラメータが処理されているかを示す情報データに従って復元モードを選択することと、
前記選択された復元モードを適用することによって、前記パラメータを復元することと、
前記復号された画像データおよび前記復元されたパラメータに基づいて画像データを再構成するためのデータをディスプレイ装置に提供することと、を前記装置に行わせるように動作し、
前記復号された画像データおよび前記再構成された画像データは、異なるダイナミック・レンジを有する、前記装置。

【請求項7】

前記情報データがビットストリームにおけるシンタックス要素によって明示的に信号伝達される、請求項６に記載の装置。

【請求項8】

前記情報データが黙示的に信号伝達される、請求項６に記載の装置。

【請求項9】

前記情報データは、前記パラメータを処理するために前記原画像に適用される前記処理を識別する、請求項６に記載の装置。

【請求項10】

前記復元モードを選択することは、前記原画像の少なくとも１つの特性、または、前記原画像をグレーディングするために使用されるマスタリング・ディスプレイの少なくとも１つの特性、または、前記再構成された画像データの少なくとも１つの特性、または、対象のディスプレイの少なくとも１つの特性に基づいて復元モードを選択することを含む、請求項６に記載の装置。

【請求項11】

原画像を表す画像データの再構成を作成する非一時的コンピュータ読み取り可能記憶媒体であって、前記非一時的コンピュータ読み取り可能記憶媒体は、命令を記憶しており、前記命令は、プロセッサによって実行されると、
復号された画像データおよびパラメータを取得することであって、前記パラメータは、前記原画像を表す前記画像データから処理されていることと、
前記復号された画像データの表現にグラフィックがオーバーレイされるという決定に応じて、
どのように前記パラメータが処理されているかを示す情報データに従って復元モードを選択することと、
前記選択された復元モードを適用することによって、前記パラメータを復元することと、
前記復号された画像データおよび前記復元されたパラメータに基づいて画像データを再構成するためのデータをディスプレイ装置に提供することと、を前記プロセッサに行わせ、
前記復号された画像データおよび前記再構成された画像データは、異なるダイナミック・レンジを有する、前記非一時的コンピュータ読み取り可能記憶媒体。

【請求項12】

前記情報データがビットストリームにおけるシンタックス要素によって明示的に信号伝達される、請求項１１に記載の非一時的コンピュータ読み取り可能記憶媒体。

【請求項13】

前記情報データが黙示的に信号伝達される、請求項１１に記載の非一時的コンピュータ読み取り可能記憶媒体。

【請求項14】

前記情報データは、前記パラメータを処理するために前記原画像に適用される前記処理を識別する、請求項１１に記載の非一時的コンピュータ読み取り可能記憶媒体。

【請求項15】

前記復元モードを選択することは、前記原画像の少なくとも１つの特性、または、前記原画像をグレーディングするために使用されるマスタリング・ディスプレイの少なくとも１つの特性、または、前記再構成された画像データの少なくとも１つの特性、または、対象のディスプレイの少なくとも１つの特性に基づいて復元モードを選択することを含む、請求項１１に記載の非一時的コンピュータ読み取り可能記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願の原理は、一般的には、復号された画像／映像（ビデオ）データからの画像／映像データの再構成に関する。具体的には、限定するものではないが、本願の原理の技術分野は、別の画像から画像を再構成するためのパラメータを復元することに関する。

【背景技術】

【0002】

この項は、読者に対し、様々な技術的な態様を紹介することを意図している。これらの技術的な態様は、以下に説明する、さらに／または、以下の請求項に記載する本願の原理の様々な態様に関連するであろう。この説明が本願の原理の様々な態様をより良好に理解しやすくするための背景情報を読者に対して提供するのに役立つと確信する。したがって、それぞれの記載は、この点に鑑みて読まれるべきものであり、先行技術を自認するものではないことを理解すべきである。

【0003】

以下において、画像データは、画像（または映像）の画素値に関連する全ての情報、且つ、例えば、画像（または映像）を視覚化および／または復号するためにディスプレイおよび／または他の装置によって使用される可能性のある全ての情報を特定する特定の画像／映像フォーマットにおけるサンプル（画素値）の１つまたは幾つかのアレイを指す。画像は、通常は、画像の輝度（またはルマ）を表す第１のサンプルのアレイの形状である、第１の成分と、通常は、画像の色（またはクロマ）を表すサンプルの他のアレイの形態である、第２および第３の成分と、を含む。または、同じように、同一の情報を従来の三色のＲＧＢ表現などで、色サンプルのアレイの組で表すこともできる。

【0004】

画素値は、Ｃ個の値のベクトルによって表され、ここでＣは、成分の数である。ベクトルの各値は、画素値の最大ダイナミック範囲を規定するビットの数で表される。

【0005】

標準ダイナミック・レンジの画像（ＳＤＲ画像）は、輝度値が限定された数（通常は、８）のビットで表される画像である。この限定された表現は、特に、暗輝度範囲および明輝度範囲における、小さな信号の変化を正確にレンダリングできるようにするものではない。ハイダイナミックレンジの画像（ＨＤＲ画像）においては、レンジ（範囲）全体にわたって高い信号精度を維持するために、信号表現が拡張される。ＨＤＲ画像において、画素値は、通常、浮動小数点フォーマット（各成分に対し、少なくとも１０ビット、すなわち、単精度浮動小数点（ｆｌｏａｔ）または半精度浮動小数点（ｈａｌｆ－ｆｌｏａｔ））で表される輝度レベルを表す値である。最も人気があるフォーマットは、ｏｐｅｎＥＸＲ半精度浮動小数点フォーマット（ＲＧＢ成分毎に１６ビット、すなわち、画素毎に４８ビット）であるか、または、通常は、少なくとも１６ビットの、“ｌｏｎｇ”型表現の整数値である。

【0006】

高効率映像符号化（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格の到来（ＩＴＵのＩＴＵ－Ｔ Ｈ．２６５電気通信標準化部門（１０／２０１４）、シリーズＨ：オーディオビジュアルおよびマルチメディア・システムズ、オーディオビジュアル・サービスのインフラストラクチャ－動画の符号化、高効率映像符号化、勧告ＩＴＵ－Ｔ Ｈ．２６５）は、Ｕｌｔｒａ ＨＤブロードキャスト・サービスなど、強化された視聴体験を用いた新たな映像サービスの展開を可能としている。現在展開されている標準ダイナミック・レンジと比較して、Ｕｌｔｒａ ＨＤは、空間解像度の増大とともに、Ｕｌｔｒａ ＨＤは、広色域（ＷＣＧ）およびハイダイナミックレンジ（ＨＤＲ）を向上させることができる。ＨＤＲ／ＷＣＧ映像の表現および符号化に様々な解決法が提案されている（ＳＭＰＴＥ ２０１４、「マスタリング・参照ディスプレイのハイダイナミックレンジ電光伝達関数（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｅｌｅｃｔｒｏ－Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ ｏｆ Ｍａｓｔｅｒｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｐｌａｙｓ）」または、ＳＭＰＴＥ ＳＴ ２０８４、 ２０１４、またはＤｉａｚ，Ｒ．，Ｂｌｉｎｓｔｅｉｎ，Ｓ．およびＱｕ，Ｓ．「ハイダイナミックレンジ映像パイプラインを用いたＨＥＶＣ映像圧縮の統合（Ｉｎｔｅｇｒａｔｉｎｇ ＨＥＶＣ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ａ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｖｉｄｅｏ Ｐｉｐｅｌｉｎｅ）」、ＳＭＰＴＥ動画像ジャーナル、１２５巻、１号、２０１６年２月、第１４～２１頁）。

【0007】

復号装置およびレンダリング装置とのＳＤＲ後方互換性は、ブロードキャスティング・システムやマルチキャスティング・システムなど、ビデオ配信システムによっては、重要な機能となる。

【0008】

単一レイヤの符号化／復号処理に基づく解決法は、後方互換性、例えば、ＳＤＲ互換性を有することができ、旧来の配信ネットワークおよび既存のサービスを利用することができる。

【0009】

このような単一レイヤに基づく配信の解決法は、ＨＤＲに対応したコンシューマ電子（ＣＥ）装置上での高品質のＨＤＲレンダリングを可能とする一方で、ＳＤＲに対応したＣＥ装置上での高品質のＳＤＲレンダリングを提供する。

【0010】

このような単一レイヤに基づく配信の解決法は、符号化された信号、例えば、ＳＤＲ信号および（ビデオ・フレームまたはシーン毎に数バイトの）関連するメタデータを生成する。メタデータは、復号された信号、例えば、ＳＤＲ信号から別の信号、例えば、ＨＤＲ信号を再構成するために使用することができる。

【0011】

信号の再構成に使用することができるメタデータが記憶されたパラメータ値は、スタティックである場合もあるし、ダイナミックである場合もある。スタティックなメタデータとは、ビデオ（画像の組）および／またはプログラムに対して変化のないメタデータを意味する。

【0012】

スタティックなメタデータは、ビデオ・コンテンツ（シーン、動画、クリップ・・・）全体に対して有効であり、画像コンテンツに依存しないことがある。スタティックなメタデータは、例えば、画像フォーマットまたは色空間、色域を定義することがある。例えば、ＳＭＰＴＥ ＳＴ ２０８６：２０１４、「高輝度および広色域画像をサポートするマスタリング・ディスプレイ色ボリューム・メタデータ（Ｍａｓｔｅｒｉｎｇ Ｄｉｓｐｌａｙ Ｃｏｌｏｒ Ｖｏｌｕｍｅ Ｍｅｔａｄａｔａ Ｓｕｐｐｏｒｔｉｎｇ Ｈｉｇｈ Ｌｕｍｉｎａｎｃｅ ａｎｄ Ｗｉｄｅ Ｃｏｌｏｒ Ｇａｍｕｔ Ｉｍａｇｅｓ）」は、制作環境において使用されるこの種のスタティックなメタデータである。マスタリング・ディスプレイ色ボリューム（ＭＤＣＶ：Ｍａｓｔｅｒｉｎｇ Ｄｉｓｐｌａｙ Ｃｏｌｏｕｒ Ｖｏｌｕｍｅ）補助拡張情報（ＳＥＩ）メッセージは、Ｈ．２６４／ＡＶＣ（「ジェネリック・オーディオビジュアル・サービスのための先進ビデオ符号化（Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ）」、シリーズＨ：オーディオビジュアルおよびマルチメディア・システムズ、勧告ＩＴＵ－Ｔ Ｈ．２６４、ＩＴＵ電気通信標準化部門、２０１２年１月）およびＨＥＶＣビデオコーデックの双方のために、ＳＴ２０８６で配信されるものである。

【0013】

ダイナミック・メタデータは、コンテンツ依存である。すなわち、メタデータは、例えば、画像毎に、または、各画像のグループ毎に変化することがある。例えば、ＳＭＰＴＥ ＳＴ ２０９４：２０１６規格のファミリー「色ボリューム変換のためのダイナミック・メタデータ（Ｄｙｎａｍｉｃ Ｍｅｔａｄａｔａ ｆｏｒ Ｃｏｌｏｒ Ｖｏｌｕｍｅ Ｔｒａｎｓｆｏｒｍ）」は、制作環境で使用されるダイナミック・メタデータである。カラー・リマッピング情報（ＣＲＩ：Ｃｏｌｏｕｒ Ｒｅｍａｐｐｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ）ＳＥＩメッセージのおかげで、ＳＭＰＴＥ ＳＴ ２０９４－３０は、ＨＥＶＣ符号化ビデオ・ストリームと一緒に配信することができる。

【0014】

他の単一レイヤに基づく配信の解決法は、ディスプレイ適応化ダイナミック・メタデータが旧来のビデオ信号と一緒に配信される配信ネットワーク上に存在する。これらの単一レイヤに基づく解決法は、ＨＤＲ１０ビット画像データ（例えば、信号がＩＴＵ－Ｒ ＢＴ．２１００－０で特定されるＨＬＧ１０またはＰＱ１０信号として表される画像データ「勧告ＩＴＵ－Ｒ ＢＴ．２１００－０、制作および国際番組交換に使用するためのハイダイナミック・レンジ・テレビジョンのための画像パラメータ値（Ｉｍａｇｅ ｐａｒａｍｅｔｅｒ ｖａｌｕｅｓ ｆｏｒ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｔｅｌｅｖｉｓｉｏｎ ｆｏｒ ｕｓｅ ｉｎ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｒｏｇｒａｍ ｅｘｃｈａｎｇｅ）」）および入力信号からの関連するメタデータ（通常は、１２または１６ビット）を作成することができ、例えば、ＨＥＶＣメイン１０プロフィール符号化スキームを使用してこのＨＤＲ１０ビット画像を符号化し、復号されたビデオ信号および上記関連するメタデータからビデオ信号を再構成する。再構成された信号のダイナミック・レンジは、対象のディスプレイの特徴に依存することがある、関連するメタデータに従って適応化される。

【0015】

実際の現実世界の制作および配信設備におけるダイナミック・メタデータ送信は、スプライシング、オーバーレイ・レイヤ挿入、プロフェッショナル装置プルーニング・ビットストリーム、アフィリエートによるストリーム処理、そして、ポストプロダクション／プロフェッショナル・プラントにわたったメタデータの搬送のための標準規格が現在存在しないことにより、保証が困難であり、損失や破損の懸念がある。

【0016】

単一レイヤに基づく配信の解決法は、異なる束のダイナミック・メタデータが存在すること無しには機能しないが、ビデオ信号の再構成の成功を保証するためには、これらのダイナミック・メタデータの幾らかが重要となる

【0017】

ダイナミック・メタデータがグラフィックスまたはオーバーレイが付与されている画像と一致していない場合には、同様の問題も発生する。これは、例えば、グラフィックス（オーバーレイ、ＯＳＤ、・・・）が配信チェインの外側の画像に挿入される（付与される）場合に発生する。その理由は、この画像に対して算出されたメタデータも、グラフィックスが画像に対して挿入される（付与される）と適用されるためである。その理由は、この画像に対して算出されたメタデータも、グラフィックスが画像に対して挿入される（付与される）と適用されるため、そしてメタデータは、グラフィックスまたはオーバーレイが付与されている画像と一致していないとみなされる。その理由は、メタデータは、グラフィックスまたはオーバーレイを含むこの画像の部分に適応されていないことがあるためである。

【0018】

このような問題は、復号された画像が長期にわたって表示された際に、または不適切なメタデータ（例えば、暗所のコンテンツ用に生成されたメタデータによって処理された高輝度のＯＳＤ）を用いて処理されたグラフィックスまたはオーバーレイを含む画像の部分における所望しない効果（飽和、クリッピング・・・）によってグラフィックスの決まった場所に画像のちらつきが発生するという特徴を有することがある。

【発明の概要】

【0019】

以下において、本願の原理の幾らかの態様についての基本的な理解が得られるように、本願の原理を簡略化した概要を提供する。本概要は、本願の原理を網羅するような概要ではない。本願の原理のキー要素、または重要な要素を特定するようには意図されていない。以下の要約は、単に、以下に提供するより詳細な説明の前置きとして、本願の原理の幾つかの態様を簡略化して示しているものにすぎない。

【0020】

復号された画像データおよびビットストリームから取得されたパラメータから原画像データ（original image data）を表す画像データを再構成する（reconstructing）方法または方法を用いて従来技術の欠点のうちの少なくとも１つを克服する本願の原理について述べる。上記パラメータは、上記原画像データから処理されている。この方法は、
上記パラメータが失われている（lost）、破損している（corrupted）、または、グラフィックスまたはオーバーレイが付与されている復号された画像データと一致して（aligned）いないかどうかをチェックするステップと、
上記パラメータのうちの少なくとも１つが失われている、破損している、または、グラフィックスまたはオーバーレイが付与されている復号された画像データと一致していない場合に、
どのように上記パラメータが処理されているかを示す情報データに従って復元モード（recovery mode）を選択するステップと、
上記少なくとも１つの失われている、破損している、または、一致していないパラメータを、選択した復元モード、画像データの上記再構成を適用し、さらに、上記復元されたパラメータを考慮することによって復元するステップと、を含む。

【0021】

一実施形態によれば、情報データがビットストリームにおけるシンタックス要素によって明示的に信号伝達される。

【0022】

一実施形態によれば、情報データ（ＩＤ）が黙示的に信号伝達される。

【0023】

一実施形態によれば、情報データは、パラメータを処理するために原画像データに適用される処理の内容を識別する。

【0024】

一実施形態によれば、パラメータは、このパラメータがビットストリームから取得されない場合に失われているとみなされる。

【0025】

一実施形態によれば、
パラメータは、
上記パラメータの値が値範囲から外れている、
上記パラメータが他のパラメータ値に従ったコヒーレント値を有していない、
の条件のうちの少なくとも１つを満たしている場合に破損しているとみなされる。

【0026】

一実施形態によれば、
復元モードはパラメータのうちの幾つかのみが失われていない、破損していない、または、グラフィックスまたはオーバーレイが付与された復号された画像データと一致していないとしても、復元されたパラメータによってパラメータの全てを置き換えるものである。

【0027】

一実施形態によれば、
復元モードは、各失われている、破損している、または、一致していないパラメータを復元されたパラメータによって置き換えるものである。

【0028】

一実施形態によれば、復元モードは、各失われている、破損している、または、一致していないパラメータを既に記憶された所定のパラメータ値の組のうちの値によって置き換えるものである。

【0029】

一実施形態によれば、復元モードは、原画像データの少なくとも１つの特性、または、原画像または再構成されるべき画像データをグレーディングするために使用されるマスタリング・ディスプレイの特性、または、再構成された画像データの少なくとも１つの特性、または、対象のディスプレイの少なくとも１つの特性に従って選択される。

【0030】

これらの別の態様によれば、本願の原理は、上述した方法を実行する手段を含む装置およびこのプログラムがコンピュータ上で実行されたときに上記方法のステップを実行するプログラム・コード命令を記憶した非一時的プロセッサ読み取り可能媒体にも関する。

【0031】

図面において、本願の原理の例が示されている。

【図面の簡単な説明】

【0032】

【図1】本願の原理の例に従った、復号された画像から原画像Ｉ１を表す画像Ｉ３を再構成する方法のステップを示す図である。

【図2】本願の原理の例に従った、コンテンツ制作およびＨＤＲおよびＳＤＲに対応したＣＥディスプレイに対する配信をサポートするエンドトゥエンド・ワークフローを示す図である。

【図3】本願の原理の例に従った、図２のエンドトゥエンド・ワークフローの変形例を示す図である。

【図4】本願の別の実施形態に従った、図２のエンドトゥエンド・ワークフローの変形例を示す図である。

【図5a】知覚変換関数を例示する図である。

【図5b】マッピングのために使用される区分的な曲線を示す図である。

【図5c】信号を線形光領域に戻す変換に使用される曲線の例を示す図である。

【図6】本願の原理の例に従った、復号された画像データおよびビットストリームから取得されたパラメータから画像を再構成する方法の使用の別の例を示す図である。

【図7】本願の原理の例に従った装置のアーキテクチャの例を示す図である。

【発明を実施するための最良の形態】

【0033】

同様の要素または同一の要素は、同一の参照符号を用いて示されている。

【0034】

以下、本願の原理の例が示された添付図面を参照して、本願の原理をより完全に説明する。しかしながら、本願の原理は、多くの代替的な形態において実施することができ、本願の明細書において示された例に限定するように解釈されるべきではない。したがって、本願の原理は、様々な改変例や代替的な形態で実施することができる。本願の原理の特定の実施形態を図面において例示し、本明細書中で詳細に説明する。しかしながら、本願の原理を開示する特定の形態に限定することは意図されておらず、むしろ、開示内容には、請求の範囲によって規定された本願の原理の精神および範囲の中で、全ての改変例、均等物、変形例が包含されることが理解できよう。

【0035】

本明細書中で使用されている用語は、特定の実施形態を説明することを目的としており、本開示内容を限定するようには意図されていない。本明細書において、文脈上、他の明示的な記載がなければ、単数として記載されている表現「或る」、「一つ」、「この（その）」は、複数の表現を含むようにも意図されている。さらに、用語「からなる」、「含む」、および／または、「備える」が本明細書中で使用されている場合、これは、記載されている特徴事項、整数値、ステップ、処理、要素、および／またはコンポーネント（構成部品、成分）が存在することを示しているが、１つ以上の他の特徴事項、整数値、ステップ、処理、要素、コンポーネント（構成部品、成分）、および／またはそのグループが存在すること、または、追加されることを排除するものではないことが理解できよう。さらに、要素が他の要素に「応答する」、または、「接続されている」と記載されている場合、他の要素に直接的に応答する、または、接続されることもあれば、介在する要素が存在することもある。これに対し、要素が他の要素に「直接応答する」、または、「直接接続されている」と記載されている場合、介在する要素は存在しない。本明細書において使用されている用語「および／または」は、１つ以上の関連して列挙された項目の任意の全ての組み合わせを含み、「／」と省略されることがある。

【0036】

本明細書中において、様々な要素について記載するために、第１、第２などの用語が使用されているが、これらの要素は、これらの用語によって限定されるべきものではないことが理解できよう。これらの用語は、或る用語と別の用語とを区別する目的のみで使用されている。例えば、本願の原理の教示内容を逸脱することなく、第１の要素を第２の要素と定義してもよいし、同様に、第２の要素を第１の要素として定義してもよい。

【0037】

図面の中には、通信の主方向を示す通信経路上に矢印を含むものがあるが、通信は、描かれている矢印とは逆の方向に行なわれる場合があることが理解できよう。

【0038】

実施形態の中には、ブロック図および動作フローチャートに関して説明されているものがあり、各ブロックは、特定の論理的な機能を実施するための、回路要素、モジュール、または、１つ以上の実行可能な命令を含むコードの部分を表す。なお、他の実施態様では、ブロック内で示される機能は、示しているものとは異なる順番となることもある。例えば、２つのブロックが連続して示されている場合であっても、関連する機能によっては、実際には、ブロックが、実質的に並列して実行されることがあり、または、ブロックが、逆の順番で実行されることがある。

【0039】

本明細書において、「一実施形態」または「実施形態」と言及されている場合、これは、実施形態との関連で説明されている特定の特徴事項、構造、または特性が本願の原理の少なくとも１つの実施態様に含まれる場合があることを意味する。明細書中の様々な箇所に存在する「一実施形態において」または「実施形態に従って（実施形態によれば）」という表現は、必ずしも、全てが同一の実施形態について言及するものではなく、別個の実施形態または代替的な実施形態が相互に他の実施形態に対して排他的となるものではない。

【0040】

請求の範囲に存在する参照符号は、例示的な目的のみのものであり、請求の範囲に対して限定的な影響を及ぼすものではない。

【0041】

明示的に記載していないが、本実施形態および変形例を、任意に組み合わせて、または部分的に組み合わせて使用することができる。

【0042】

以下において、大文字の記号、例えば、（Ｃ１、Ｃ２、Ｃ３）は、第１の画像の成分を示し、小文字の記号、例えば、（ｃ１、ｃ２、ｃ３）は、輝度のダイナミック・レンジが第１の画像の輝度のダイナミック・レンジよりも小さな別の画像の成分を示す。

【0043】

画像の輝度のダイナミック・レンジは、この画像の輝度の最小値に対する最大値の比率である。通常、ＳＤＲ画像の輝度のダイナミック・レンジは、５００（０．２ｃｄ／ｍ^２に対する１００ｃｄ／ｍ^２）であり、ＨＤＲ画像の輝度のダイナミック・レンジは、１００００（０．１ｃｄ／ｍ^２に対する１０００ｃｄ／ｍ^２）である。

【0044】

以下において、プライム記号は、これらのプライム記号が大文字の記号およびプライム記号であるとき、例えば、

【数1】

は、第１の画像のガンマ圧縮された成分を指し、これらのプライム記号が小文字の記号であるとき、例えば、（ｙ’，ｕ’，ｖ’）は、第２の画像のガンマ圧縮された成分を指す。

【0045】

本願の原理は、画像の符号化／復号／再構成について説明されるが、以下に説明するように、画像のシーケンスにおける各画像が順次符号化／復号／再構成されるため、画像（映像（ビデオ））のシーケンスの符号化／復号／再構成に拡張される。

【0046】

図１は、本願の原理の例に従って、復号された画像
（外１）

から原画像Ｉ_１を現す画像Ｉ_３を再構成する方法のステップを示す図である。

【0047】

ステップ１０において、パラメータＳＰの組が画像Ｉ_３を再構成するために取得される。これらのパラメータは、ビットストリームＢから取得されるパラメータＰ、または少なくとも１つのパラメータＰが失われている、破損している、または、グラフィックスまたはオーバーレイが付与された復号された画像
（外２）

と一致していない場合に復元されたパラメータＰ_ｒである。

【0048】

ステップ１１において、モジュールＭ１は、復号された画像
（外３）

を取得し、ステップ１２において、モジュールＭ２は、パラメータＳＰの組を使用して復号された画像
（外４）

から画像Ｉ３を再構成する。

【0049】

復号された画像データ
（外５）

は、ビットストリーム（信号）Ｂまたは他の任意のビットストリームから取得され、場合によっては、このビットストリームは、ローカル・メモリまたは他の任意の記憶媒体に記憶することができる。

【0050】

（ステップ１０）のサブステップ１０１において、モジュールＭ３は、画像Ｉ３を再構成するために必要なパラメータＰを取得する。

【0051】

（ステップ１０）のサブステップ１０２において、モジュールＭ４は、パラメータＰのうちの少なくとも１つが失われている、破損している、または、グラフィックスまたはオーバーレイが付与されている復号された画像
（外６）

と一致していないかどうかをチェックする。

【0052】

パラメータＰの中に
失われている、破損している、または、グラフィックスまたはオーバーレイが付与されている復号された画像
（外７）

と一致していないものが存在しない場合には、パラメータＳＰの組は、パラメータＰのみを含む。

【0053】

パラメータＰのうちの少なくとも１つが失われている、破損している、または、グラフィックスまたはオーバーレイが付与されている復号された画像
（外８）

と一致していない場合には、（ステップ１０）のサブステップ１０３において、モジュールＭ５は、どのように上記パラメータが処理されているかを示す情報データＩＤを取得し、（ステップ１０）のサブステップ１０４において、モジュールＭ６は、上記情報データＩＤに従って、復元モジュールＲＭ_ｉを選択し、（ステップ１０）のサブステップ１０５において、モジュールＭ７は、選択された復元モジュールＲＭ_ｉを適用することによって、上記少なくとも１つの失われている、破損している、または一致していないパラメータを復元する。少なくとも１つの復元されたパラメータＰｒは、パラメータＳＰの組に追加される。

【0054】

ステップ１２において、そして、上記少なくとも１つの復元されたパラメータＰｒを考慮して、画像Ｉ_３が再構成される。

【0055】

この方法は、複数の単一レイヤに基づく配信の解決法がパラメータの共通の組を搬送するシンタックス要素の同一の組を共有する場合に、さらに、この単一レイヤに基づく配信の解決法が、失われている、破損している、または一致していないパラメータを復元するために、様々な復元モード（処理）を必要とする場合に、単一レイヤに基づく配信の解決法のためのパラメータを取得できるようにすることによって、上記単一レイヤに基づく配信の解決法に対して画像Ｉ_３の再構成の成功を保証するという利点がある。

【0056】

この方法は、さらに、ＣＥ装置、通常は、セットトップ・ボックスまたはプレイヤが復号された画像
（外９）

の上にグラフィックスを挿入する場合に、この方法は、一致していないパラメータを復号された画像Ｉ_２にグラフィックス（またはオーバーレイ）を加えたものに適応したパラメータで置き換えるための特定の復元モードを選択し、グラフィックスまたはオーバーレイが付与された上記復号された画像
（外１０）

から上記復元されたパラメータを使用することによって画像Ｉ_３を再構成するため、これにより、何らかのちらつきのアーティファクトや所望しない効果によって再構成された画像の品質に影響が与えられることを回避するという利点がある。

【0057】

図１を参照して説明した方法は、画像が復号された画像から再構成されなければならない場合に、様々なアプリケーションで使用することができる。

【0058】

図２は、本願の原理の例に従った、コンテンツ制作および、ＨＤＲおよびＳＤＲに対応したＣＥディスプレイに対する配信をサポートするエンドトゥエンド・ワークフローを示している。

【0059】

このワークフローは、関連するメタデータを用いた単一レイヤに基づく配信に関わり、図１に例示された本願の原理の例に従って、復号された画像データ
（外１１）

および取得されたパラメータＳＰの組から原画像データＩ_１を表す画像Ｉ_３を再構成する方法を使用した例を示している。

【0060】

基本的には、この単一レイヤに基づく配信の解決法は、前処理部分と後処理部分とを含む。

【0061】

前処理部分では、前処理段階２０は、原画像Ｉ_１を出力画像Ｉ_１２およびパラメータＳＰの組に分解し、スイッチング段階２４は、原画像Ｉ１または出力画像Ｉ_１２がビットストリームＢに符号化されているかどうかを判定する（ステップ２３）。

【0062】

ステップ２３において、画像Ｉ_２を、従来のビデオコーデックを用いて符号化することができ、ビットストリームＢは、特定のチャンネル上で伝送される、または、ビットストリームＢ内に埋め込まれる関連するメタデータ（パラメータＳＰのセット）を伴って、既存の従来の配信ネットワークにわたって搬送される。

【0063】

変形例においては、付随するメタデータを伴ったビットストリームＢは、例えば、ブルーレイ・ディスク、または、セットトップ・ボックスのメモリまたはレジスタなどの記憶媒体に記憶される。

【0064】

変形例においては、付随する関連するメタデータは、別の特定のチャンネルによって搬送される、または、別個の記憶媒体に記憶される。

【0065】

好ましくは、ビデオは、Ｈ．２６５／ＨＥＶＣコーデック（ＩＴＵのＩＴＵ－Ｔ Ｈ．２６５電気通信標準化部門（１０／２０１４）、シリーズＨ：オーディオビジュアルおよびマルチメディア・システムズ、オーディオビジュアル・サービスのインフラストラクチャ－動画の符号化、高効率映像符号化、勧告ＩＴＵ－Ｔ Ｈ．２６５）または、Ｈ．２６４／ＡＶＣ（「ジェネリック・オーディオビジュアル・サービスのための先進ビデオ符号化（Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ）」、シリーズＨ：オーディオビジュアルおよびマルチメディア・システムズ、勧告ＩＴＵ－Ｔ Ｈ．２６４、ＩＴＵ電気通信標準化部門、２０１２年１月）を用いて符号化される。

【0066】

情報データＩＤにより、原画像Ｉ_１（場合によっては、成分（Ｃ１，Ｕ’，Ｖ’）、または、Ｙ’ＣｂＣｒ ４：２：０ ＰＱ１０、または、ＨＬＧ１０ビデオ信号によって表される）がステップ２３において符号化されていることが判定されると、この原画像Ｉ１を、ＨＥＶＣメイン１０プロファイルで符号化することができる。

【0067】

情報データＩＤにより、出力画像Ｉ_１２がステップ２３で符号化されていることが判定されると、出力画像Ｉ_１２（Ｙ’ＣｂＣｒ ４：２：０ ガンマ伝達特性（標準ダイナミック・レンジ）信号として表すことができる）を、Ｍａｉｎ １０ またはＭａｉｎプロファイルを含む、任意のＨＥＶＣプロファイルで符号化することができる。

【0068】

情報データＩＤを、関連するメタデータとして伝送することができる（ステップ２３）。後処理の部分では、ビットストリームＢから復号された画像
（外１２）

が取得され（ステップ１１）、パラメータＳＰの組は、図１に説明されているように取得される（ステップ１０）。そして、前処理段階１０とは機能的に逆である、後処理段階２０は、復号された画像
（外１３）

およびパラメータＳＰの組から画像Ｉ_３を再構成する。

【0069】

この単一レイヤに基づく配信の解決法には、場合によっては、フォーマット適応化ステップ２１、２２、２５、２６（オプション）を含めることができる。

【0070】

例えば、ステップ２１（オプション）において、原画像Ｉ_１のフォーマットは、前処理段階２０の入力の特定のフォーマット（Ｃ１，Ｕ’，Ｖ’）に適応されることができ、ステップ２２（オプション）において、出力画像Ｉ_１２のフォーマット（ｃ，ｕ’，ｖ’）もまた、符号化の前に特定の出力フォーマットに適応化させることができる。ステップ２５において、復号された画像
（外１４）

のフォーマットを後処理段階１２の入力の特定のフォーマットに適応化させることができ、ステップ２６において、画像Ｉ_３を、対象の装置（例えば、セットトップ・ボックス、コネクテッドＴＶ、ＨＤＲ／ＳＤＲ対応ＣＥ装置、ブルーレイ・ディスク・プレイヤ）の少なくとも１つの特性に適応化させることができ、且つ／または、復号された画像
（外１５）

および画像Ｉ_３または原画像Ｉ_１が異なる色空間および／または色域で表される場合に、逆色域マッピングを使用することができる。

【0071】

このフォーマット適応化ステップ（２１、２２、２５、２６）には、色空間変換および／または色域マッピングを含めることができる。通常のフォーマット適応化処理は、ＲＧＢからＹＵＶまたはＹＵＶからＲＧＢの変換、ＢＴ．７０９からＢＴ．２０２０、またはＢＴ．２０２０からＢＴ．７０９、彩度成分のダウンサンプリングまたはアップサンプリングのなどに使用することができる。なお、公知のＹＵＶ色空間は、従来技術における公知のＹＣｂＣｒも指す。勧告ＥＴＳＩの附属書Ｅ 勧告ＥＴＳＩ ＴＳ １０３ ４３３ Ｖ１．１．１、リリース２０１６－８は、フォーマット適応化処理および逆色域マッピング（附属書Ｄ）を提供する。

【0072】

上記入力フォーマット適応化ステップ２１には、さらに、原画像Ｉ_１に伝達関数を適用することによって、例えば、１０ビットなどの特定のビット深度に対してオリジナルの画像Ｉ_１のビット深度を適応化させることを含めることができる。例えば、ＰＱまたはＨＬＧ伝達関数を使用することができる（勧告ＩＴＵ－Ｒ ＢＴ．２１００－０）。

【0073】

より詳細には、前処理段階２０は、ステップ２００～２０２を含む。

【0074】

ステップ２００において、出力画像Ｉ_１２の第１の成分ｃ１は、原画像Ｉ_１の第１の成分Ｃ１をマッピングすることによって取得される。

【数2】

ここで、ＴＭは、マッピング関数である。マッピング関数ＴＭは、原画像Ｉ_１の輝度のダイナミック・レンジを減少または増加させることができ、その逆の処理は、画像の輝度のダイナミック・レンジを増加または減少させることになるであろう。

【0075】

ステップ２０１において、出力画像Ｉ_１２の第２および第３の成分ｕ’、ｖ’が、第１の成分ｃ_１に従って、原画像Ｉ_１の第２および第３の成分Ｕ’、Ｖ’を補正することによって導出される。

【0076】

彩度成分の補正は、マッピングのパラメータのチューニングによる制御の下で管理することができる。よって色飽和度（彩度）および色相は、制御されている。

【0077】

ステップ２０１に実施形態に従って、第２および第３の成分Ｕ’およびＶ’は、
第１の成分ｃ_１に依存した値を有するスケーリング関数
（外１６）

によって除算される。

【0078】

数学的に述べると、第２および第３の成分ｕ’、ｖ’は、

【数3】

によって与えられる。

【0079】

場合によっては、ステップ２０２において、第１の成分ｃ１は、以下のように、知覚された飽和度をさらに制御するように調節することができる。

【数4】

ここで、ａおよびｂは、パラメータＳＰの組の２つのパラメータである。

【0080】

このステップ２０２は、出力画像Ｉ_１２の輝度を制御できるようして、出力画像Ｉ_１２の色と原画像Ｉ_１の色との間で知覚される色の一致を保証する。

【0081】

パラメータＳＰの組は、マッピング関数ＴＭまたはその逆関数ＩＴＭ、スケーリング関数
（外１７）

に関連するパラメータを含むことができる。これらのパラメータは、ダイナミック・メタデータに関連しており、ビットストリームにおいて、例えば、ビットストリームＢにおいて搬送される。パラメータａおよびｂもまた、ビットストリームにおいて搬送することができる。

【0082】

より詳細には、後処理部分で、ステップ１０において、パラメータＳＰの組が図１に説明したように取得される。

【0083】

ステップ１０の実施形態に従って、パラメータＳＰの組が、特定のチャンネルまたは、ビットストリームＢを含む、ビットストリームから取得されたスタティック／ダイナミック・メタデータによって搬送され、場合によっては、記憶媒体に記憶される。

【0084】

ステップ１１において、モジュールＭ１は、ビットストリームＢを復号することによって復号された画像
（外１８）

を取得し、復号された画像
（外１９）

は、そして、ＳＤＲまたはＨＤＲ対応ＣＥディスプレイのために利用可能となる。

【0085】

より詳細には、後処理段階１２は、ステップ１２０～１２２を含む。

【0086】

オプションのステップ１２０において、復号された画像
（外２０）

の第１の成分ｃ_１が以下のように調節される。

【数5】

ここで、ａおよびｂは、パラメータＳＰの組のうちの２つのパラメータである。

【0087】

ステップ１２１において、画像Ｉ_３の第１の成分Ｃ１は、第１の成分ｃ_１を逆マッピングすることによって取得される。

【数6】

【0088】

ステップ１２２において、画像Ｉ_３の第２および第３の成分Ｕ’、Ｖ’が成分ｃ_１に従って復号された画像
（外２１）

の第２および第３の成分ｕ’、ｖ’を逆補正することによって導出される。

【0089】

一実施形態に従えば、第２および第３の成分ｕ’およびｖ’は、第１の成分ｃ_１に依存する値を有するスケーリング関数
（外２２）

によって乗算される。

【0090】

数学的に述べると、２つの第１および第２の成分Ｕ’、Ｖ’は、以下によって与えられる。

【数7】

【0091】

図３に例示されているように、図２の方法の第１の実施形態に従って、前処理部分で、原画像Ｉ_１の第１の成分Ｃ１は、以下によって、原画像Ｉ_１のＲＧＢ成分から取得された線形光輝度成分Ｌであり、

【数8】

第２および第３の成分Ｕ’、Ｖ’は、（ＢＴ．７０９ ＯＥＴＦに近い）平方根を使用した擬似ガンマ化を原画像Ｉ_１のＲＧＢ成分に適用することによって導出される。

【数9】

【0092】

ステップ２００において、出力画像Ｉ１２の第１の成分ｙ１が上記線光成分Ｌをマッピングすることによって取得される。
ｙ_１＝ＴＭ（Ｌ）

【0093】

ステップ２０１において、出力画像Ｉ_１２の第２および第３の成分ｕ’、ｖ’が、第１の成分ｙ_１に従って、第１および第２の成分Ｕ’、Ｖ’を補正することによって導出される。

【0094】

後処理部分で、ステップ１２１において、画像Ｉ_３の線光輝度成分Ｌが第１の成分ｃ_１を逆マッピングすることによって取得される。

【数10】

【0095】

ステップ１２２において、画像Ｉ_３の第２および第３の成分Ｕ’、Ｖ’が第１の成分ｙ_１に従って出力画像Ｉ_１２の第２および第３の成分を逆補正することによって導出される。

【0096】

ステップ１２２の一実施形態に従って、第２および第３の成分ｕ’およびｖ’は、第１の成分ｙ_１に値が依存するスケーリング関数
（外２３）

によって乗算される。

【0097】

数学的に述べると、２つの第１および第２の成分Ｕ’、Ｖ’は、

【数11】

によって与えられる。

【0098】

図４に例示されているような、図２の方法の第２の実施形態に従って、前処理部で、原画像Ｉ_１の第１の成分Ｃ１は、

【数12】

によって、原画像Ｉ１のガンマ圧縮されたＲＧＢから取得された成分Ｙ’であり、第２および第３の成分Ｕ’、Ｖ’は、原画像Ｉ_１のＲＧＢ成分に対してガンマ処理を適用したものである。

【数13】

ここでγは、好ましくは、２．４である、ガンマ係数とすることができる。

【0099】

なお、非線形信号である、成分Ｙ’は、線光輝度成分Ｌとは異なる。

【0100】

ステップ２００において、出力画像Ｉ１２の第１の成分ｙ’１は、上記成分Ｙ’をマッピングすることによって取得される。

【数14】

【0101】

ステップ１２１において、再構成された成分
（外２４）

が第１の成分ｙ’１を逆マッピングすることによって取得される。

【数15】

ここで、ＩＴＭは、マッピング関数ＴＭの逆関数である。

【0102】

再構成された成分
（外２５）

は、よって、成分Ｙ’の値のダイナミック・レンジに属する。

【0103】

ステップ２０１において、出力画像Ｉ_１２の第２および第３の成分ｕ’、ｖ’が第１の成分ｙ’_１および再構成された成分
（外２６）

に従って、第１および第２の成分Ｕ’、Ｖ’を補正することによって導出される。

【0104】

このステップ２０１により、出力画像Ｉ_１２の色を制御し、原画像Ｉ_１の色との一致を保証できるようになる。

【0105】

彩度成分の補正は、マッピングのパラメータのチューニングによる制御の下で管理することができる。よって、色の飽和度（彩度）および色相は、制御されている。このような制御は、通常、非パラメトリック知覚伝達関数が使用される場合には可能ではない。

【0106】

ステップ２０１の実施形態に従って、第２および第３の成分Ｕ’が、成分ｙ’_１に対する再構成された成分
（外２７）

の比に値が依存するスケーリング関数
（外２８）

によって除算される。

【数16】

ここで、Ωは、原画像Ｉ_１の原色に依存する定数値である（例えば、ＢＴ．２０２０では、１．３となる）。

【0107】

後処理部分では、ステップ１２１において、画像Ｉ_３の成分
（外２９）

が第１の成分ｙ’_１を逆マッピングすることによって取得される。

【数17】

【0108】

ステップ１２２において、画像Ｉ_３の第２および第３の成分Ｕ’、Ｖ’が第１の成分
ｙ’_１および成分
（外３０）

に従って、復号された画像
（外３１）

の第２および第３の成分ｕ’、ｖ’を逆補正することによって導出される。

【0109】

ステップ１２２の実施形態に従って、第２および第３の成分ｕ’およびｖ’がスケーリング関数
（外３２）

によって乗算される。

【0110】

数学的に述べると、２つの第１および第２の成分Ｕ’、Ｖ’は、

【数18】

によって与えられる。

【0111】

マッピング関数ＴＭは、知覚伝達関数に基づいており、その目的は、原画像Ｉ_１の成分を出力画像Ｉ_１２の成分に変換することにより、輝度の値のダイナミック・レンジを減少（または増加）させることにある。よって、出力画像Ｉ_１２の成分の値は、原画像Ｉ_１の成分の値よりもより低い（またはより高い）ダイナミック・レンジを有する。

【0112】

この知覚伝達関数は、限られた組の制御パラメータを使用する。

【0113】

図５ａは、知覚伝達関数を例示している。この知覚伝達関数は、輝度成分のマッピングに使用することができるが、輝度成分のマッピングには、同様の知覚伝達関数を使用することができる。

【0114】

マッピングは、（図５ａにおいて５０００ｃｄ／ｍ^２である）マスタリング・ディスプレイ・ピーク輝度パラメータによって制御される。ブラック・レベルおよびホワイト・レベルをより良好に制御するために、コンテンツ依存したブラック・レベルとホワイト・レベルとの間の信号ストレッチングが適用される。そして、変換された信号は、図５ｂに例示されているような、３つの部分から構成される区分的な曲線を使用してマッピングされる。下側および上側の部分は、線形であり、険しさがｓｈａｄｏｗＧａｉｎパラメータおよびｈｉｇｈｌｉｇｈｔＧａｉｎパラメータの各々を用いて求められる。中間の部分は、２つの線形部分の間のスムーズなブリッジを提供する放物線である。クロスオーバの幅は、ｍｉｄＴｏｎｅＷｉｄｔｈＡｄｊＦａｃｔｏｒパラメータによって求められる。

【0115】

マッピングを制御するパラメータの全ては、例えば、ＳＭＰＴＥ ＳＴ ２０９４－２０メタデータを搬送するＪＣＴＶＣ－Ｗ０１３３によって定義されるＳＥＩメッセージを使用して搬送することができる。

【0116】

図５ｃは、対象の従来のディスプレイ最大輝度、例えば、１００ｃｄ／ｍ^２に基づいて、どのように知覚的に最適化されたビデオ信号が再び線光領域に変換されるかを示す、知覚伝達関数ＴＭ（図５ａ）の逆関数の例を示している。

【0117】

ステップ１０（図１）において、パラメータＳＰの組が復号された画像
（外３３）

から画像Ｉ_３を再構成するために取得される。

【0118】

これらのパラメータは、ビットストリーム、例えば、ビットストリームＢから取得されるメタデータから取得することができる。

【0119】

勧告ＥＴＳＩ ＴＳ １０３ ４３３ Ｖ１．１．１第６節、２０１６－０８は、上記メタデータのシンタックスの例を提供している。

【0120】

勧告ＥＴＳＩ ＴＳ １０３ ４３３ ｖ１．１．１のシンタックスは、ＨＤＲビデオからＳＤＲビデオを再構成するために記述されているが、このシンタックスは、任意の復号された画像
（外３４）

から任意の画像Ｉ_３を再構成することに拡張することができる。

【0121】

後処理（ステップ１２）は、ダイナミック・メタデータから導出される逆マッピング関数ＩＴＭおよびスケーリング関数
（外３５）

の処理を行う。これは、これらの関数が第１の成分ｃ_１に依存するためである。

【0122】

勧告ＥＴＳＩ ＴＳ １０３ ４３３ Ｖ１．１．１によれば、上記ダイナミック・メタデータは、いわゆるパラメータ・ベースのモードまたはテーブル・ベースのモードに従って搬送することができる。

【0123】

パラメータ・ベースのモードは、配信ワークフローにとって有益であり、その主な目的は、ダイナミック・メタデータを搬送するために、極めて低い追加的なペイロードまたは帯域幅の使用で、直接的なＳＤＲ後方互換性サービスを提供することにある。テーブル・ベースのモードは、ローエンド端末を備えたワークフローにとって、または、ＨＤＲストリームおよびＳＤＲストリームの双方を適切に表現するために高レベルの適応化が必要である場合に有益である。

【0124】

パラメータ・ベースのモードの場合には、搬送されるべきダイナミック・メタデータは、逆関数ＩＴＭを表す輝度マッピング・パラメータ、すなわち、
ｔｍＩｎｐｕｔＳｉｇｎａｌＢｌａｃｋＬｅｖｅｌＯｆｆｓｅｔ、
ｔｍＩｎｐｕｔＳｉｇｎａｌＷｈｉｔｅＬｅｖｅｌＯｆｆｓｅｔ、
ｓｈａｄｏｗＧａｉｎ、
ｈｉｇｈｌｉｇｈｔＧａｉｎ、
ｍｉｄＴｏｎｅＷｉｄｔｈＡｄｊＦａｃｔｏｒ、
ｔｍＯｕｔｐｕｔＦｉｎｅＴｕｎｉｎｇ ｐａｒａｍｅｔｅｒｓ、
である。

【0125】

さらに搬送されるべき他のダイナミック・メタデータは、関数
（外３６）

を定義するために使用される色補正パラメータ（（ｓａｔｕｒａｔｉｏｎＧａｉｎＮｕｍＶａｌ、ｓａｔｕｒａｔｉｏｎＧａｉｎＸ（ｉ）およびｓａｔｕｒａｔｉｏｎＧａｉｎＹ（ｉ））である（ＥＴＳＩ勧告ＥＴＳＩ ＴＳ １０３ ４３３ Ｖ１．１．１節６．３．５および６．３．６）。

【0126】

なお、パラメータａおよびｂは各々、上述したｓａｔｕｒａｔｉｏｎＧａｉｎ関数パラメータにおいて搬送される／隠されている。

【0127】

これらのダイナミック・メタデータをＳＭＰＴＥ ＳＴ ２０９４－２０仕様（勧告ＥＴＳＩ ＴＳ １０３ ４３３ Ｖ１．１．１ 附属書Ａ．３）にシンタックスが基づくＨＥＶＣ色ボリューム再構成情報（ＣＶＲＩ）ユーザ・データ登録ＳＥＩメッセージを使用して伝送することができる。

【0128】

通常のダイナミック・メタデータ・ペイロードは、シーン毎に約２５バイトである。

【0129】

ステップ１０１において、マッピング・パラメータおよび色補正パラメータを取得するめにＣＶＲＩ ＳＥＩメッセージがパージングされる。

【0130】

ステップ１２において、取得されたマッピング・パラメータから逆マッピング関数ＩＴＭ（いわゆるＩｕｔＭａｐＹ）が再構成される（導出される）（さらなる詳細については、勧告ＥＴＳＩ ＴＳ１０３ ４３３Ｖ１．１．１ 節７．２．３．１を参照）。

【0131】

ステップ１２において、スケーリング関数
（外３７）

（ＩｕｔＣＣ）もまた、取得された色補正パラメータから再構成される（導出される）（さらなる詳細については、勧告ＥＴＳＩ ＴＳ１０３ ４３３Ｖ１．１．１ 節７．２．３．２を参照）。

【0132】

テーブル・ベースのモードにおいては、搬送されるべきダイナミック・データは、逆マッピング関数ＩＴＭを表す区分的な線形曲線のピボット・ポイントである。例えば、ダイナミック・メタデータは、ピボット・ポイントの数を示すｌｕｍｉｎａｎｃｅＭａｐｐｉｎｇＮｕｍＶａｌ、ピボット・ポイントのｘ値を示すＬｕｍｉｎａｎｃｅＭａｐｐｉｎｇＸ、ピボット・ポイントのｙ値を示すＬｕｍｉｎａｎｃｅＭａｐｐｉｎｇＹである（さらなる詳細については、勧告ＥＴＳＩ ＴＳ１０３ ４３３Ｖ１．１．１ 節６．２．７および節６．３．７を参照）。

【0133】

さらに、他の搬送するべきダイナミック・メタデータを、スケーリング関数
（外３８）

を表す区分的な線形曲線のピボット・ポイントとすることができる。例えば、ダイナミック・メタデータは、ピボット・ポイントの数を示すｃｏｌｏｒＣｏｒｒｅｃｔｉｏＮｕｍＶａｌ、ピボット・ポイントのｘ値を示すｃｏｌｏｒＣｏｒｒｅｃｔｉｏｎＸ、ピボット・ポイントのｙ値を示すｃｏｌｏｒＣｏｒｒｅｃｔｉｏｎＹである（さらなる詳細については、勧告ＥＴＳＩ ＴＳ１０３ ４３３Ｖ１．１．１ 節６．２．８および節６．３．８を参照）。

【0134】

これらのダイナミック・メタデータを、ＳＭＰＴＥ ＳＴ ２０９４－３０仕様（勧告ＥＴＳＩ ＴＳ １０３ ４３３ Ｖ１．１．１ 附属書Ａ．４）にシンタックスが基づくＨＥＶＣ色リマッピング情報（ＣＲＩ）ＳＥＩメッセージを使用して伝送することができる。

【0135】

通常のペイロードは、シーン毎に約１６０バイトである。

【0136】

ステップ１０２において、（２０１６年１２月に公開されたＨＥＶＣ／Ｈ．２６５バージョンにおいて規定されている）ＣＲＩ（カラー・リマッピング情報）ＳＥＩメッセージのパージングにより、逆マッピング関数ＩＴＭを表す区分的な線形曲線のピボット・ポイント、スケーリング関数
（外３９）

を表す区分的な線形曲線のピボット・ポイントおよび彩度から輝度への入射パラメータａおよびｂが取得される。

【0137】

ステップ１２において、逆マッピング関数ＩＴＭが、この逆マッピング関数ＩＴＭを表す区分的な線形曲線に関するピボット・ポイントのものより導出される（さらなる詳細については、勧告ＥＴＳＩ ＴＳ１０３ ４３３Ｖ１．１．１ 節７．２．３．３を参照）。

【0138】

ステップ１２において、スケーリング関数
（外４０）

もまた、このスケーリング関数
（外４１）

を表す区分的な線形曲線に関するピボット・ポイントのものより導出される（さらなる詳細については、勧告ＥＴＳＩ ＴＳ１０３ ４３３Ｖ１．１．１ 節７．２．３．４を参照）。

【0139】

なお、後処理段階によって使用されるスタティック・メタデータもまた、ＳＥＩメッセージによって搬送することができる。例えば、パラメータ・ベースのモードまたはテーブル・ベースのモードのいずれかの選択を、勧告ＥＴＳＩ １０３ ４３３ Ｖ１．１．１（節Ａ．２．２）によって定義されているような情報（ＴＳＩ）ユーザ・データ登録ＳＥＩメッセージ（ｐａｙｌｏａｄＭｏｄｅ）によって搬送することができる。例えば、原色または最大のディスプレイ・マスタリング表示輝度がＡＶＣ、ＨＥＶＣによって定義されているようなマスタリング・ディスプレイ色ボリューム（ＭＤＣＶ）メッセージによって搬送される。

【0140】

ステップ１０３の実施形態に従って、ビットストリームにおいて、情報データＩＤがビットストリームにおいてシンタックス要素によって明示的に信号伝達され、よって、ビットストリームをパージングすることによって取得される。

【0141】

例えば、上記シンタックス要素は、ＳＥＩメッセージの部分である。

【0142】

一実施形態によれば、上記情報データＩＤは、パラメータＳＰの組を処理するために原画像Ｉ_１に何の処理が適用されるかを識別する。

【0143】

この実施形態によれば、そして、情報データＩＤを使用して、パラメータをどのように使用するかを導き、画像Ｉ_３を再構成することができる（ステップ１２）。

【0144】

例えば、情報データＩＤが１であれば、この情報データＩＤは、原ＨＤＲ画像Ｉ_１に対して前処理段階（ステップ２０）を適用することによってパラメータＳＰが取得されており、復号された画像
（外４２）

がＳＤＲ画像であることを示す。

【0145】

情報データＩＤが２であれば、この情報データＩＤは、ＨＤＲ１０ビット画像（ステップ２０の入力）に対して前処理段階（ステップ２０）を適用することによってパラメータが取得されており、復号された画像
（外４３）

がＨＤＲ１０画像であり、マッピング関数ＴＭがＰＱ伝達関数であることを示す。

【0146】

情報データＩＤが３であれば、この情報データＩＤは、ＨＤＲ１０ビット画像（ステップ２０の入力）に対して前処理段階（ステップ２０）を適用することによってパラメータが取得されており、復号された画像
（外４４）

がＨＬＧ１０画像であり、マッピング関数ＴＭが原画像Ｉ_１に対するＨＬＧ伝達関数であることを示す。

【0147】

ステップ１０３の実施形態によれば、情報データＩＤが黙示的に信号伝達される。

【0148】

例えば、ＨＥＶＣ（附属書Ｅ）またはＡＶＣ（附属書Ｅ）のＶＵＩに存在するシンタックス要素伝達特性は、通常、使用されるべき伝達関数（マッピング関数ＴＭ）を識別する。相異なる単一レイヤの配信の解決法は、異なる伝達関数（ＰＱ、ＨＬＧ、・・・）を使用するため、シンタックス要素伝達特性を使用して使用するべき復元モードを黙示的に識別することができる。

【0149】

情報データＩＤは、より上位のトランスポートまたはシステム・レイヤにおいて定義されたサービスによって黙示的に信号伝達することもできる。

【0150】

別の例に従えば、画像Ｉ_３のピーク輝度値および色空間は、ビットストリームによって搬送されるＭＤＣＶ ＳＥＩメッセージをパージングすることによって取得することができ、情報データＩＤは、ピーク輝度値および色空間（原色）の特定の組み合わせから導くことができる。

【0151】

ステップ１０２の実施形態に従えば、パラメータＰがビットストリームに存在しない（ビットストリームから取得されない）場合には、このパラメータＰは、失われているとみなされる。

【0152】

例えば、パラメータＰが上述したようなＣＶＲＩまたはＣＲＩ ＳＥＩメッセージのようなＳＥＩメッセージによって搬送される場合、ＳＥＩメッセージがビットストリーム内で送信されない、または、ＳＥＩメッセージのパージングが失敗した場合には、パラメータＰは、失われている（または存在しない）とみなされる。

【0153】

ステップ１０３の実施形態に従って、以下の条件のうちの少なくとも１つが満たされた場合に、パラメータが破損しているとみなされる。
・パラメータの値が所定の値の範囲から外れている（例えば、適合範囲が０～６である場合、ｓａｔｕｒａｔｉｏｎ＿ｇａｉｎ＿ｎｕｍ＿ｖａｌは、１０である）
・上記パラメータが他のパラメータ値に従ったコヒーレント値を有していない（例えば、ｓａｔｕｒａｔｉｏｎ＿ｇａｉｎ＿ｙ［ｉ］は、外れ値、すなわち、他のｓａｔｕｒａｔｉｏｎ＿ｇａｉｎ＿ｙ［ｉ］の値から遠く離れた値を含む。通常ｓａｔｕｒａｔｉｏｎ＿ｇａｉｎ［０］からｓａｔｕｒａｔｉｏｎ＿ｇａｉｎ［４］までは、０～１６の範囲にある値であり、ｓａｔｕｒａｔｉｏｎ＿ｇａｉｎ［１］＝２５５である。）

【0154】

本方法の実施形態に従って、復元モジュールＲＭ_ｉは、パラメータのうちの幾つかのみが破損していない、失われていない、または、グラフィックスまたはオーバーレイが付与されている復号された画像と一致していないとしても、復元されたパラメータＰ_ｒによって全てのパラメータＰを置き換える。

【0155】

本方法の実施形態に従って、別の復元モードＲＭ_ｉは、失わている、破損している、または、一致していない各パラメータＰを復元したパラメータＰ_ｒによって置き換える。

【0156】

本方法の実施形態に従って、復元モードＲＭ_ｉは、既に記憶された所定のパラメータ値の組のうちの値によって、失われている、破損している、または、一致していないパラメータＰを置き換えるものである。

【0157】

例えば、所定のパラメータ値の組には、ＣＲＩおよび／またはＣＶＲＩ ＳＥＩメッセージによって搬送される少なくとも１つのメタデータに対する所定の値を集めることができる。

【0158】

所定のパラメータ値の特定の組を、例えば、情報ＩＤによって識別される各単一レイヤに基づくの配信の解決法に対して決定することができる。

【0159】

表１は、３つの異なる単一レイヤに基づく配信の解決法に対する所定の値の特定の組の、非限定的な例を示している。

【表1】

【0160】

表１によれば、所定の値の３つの異なる組が、情報データＩＤに従って定義されている。これらの所定の値の組は、後処理段階によって使用される幾らかのパラメータに対して定義された復元された値である。他のパラメータは、様々な単一レイヤの解決法に対して共通の固定値に設定されている。

【0161】

ステップ１０４の実施形態に従って、復元モジュールＲＭ_ｉが原画像（画像Ｉ_１）の少なくとも１つの特性、通常は、原コンテンツのピーク輝度、または、入力画像データまたは再構成するべき画像データをグレーディングするために使用されるマスタリング・ディスプレイのピーク輝度、または、別のビデオの少なくとも１つの特性、通常は、再構成された画像Ｉ_３または対象のディスプレイのピーク輝度に従って選択される。

【0162】

一実施形態に従えば、復元モードＲＭ_ｉは、原ビデオ（Ｉ_１）の特性、または入力画像データまたは再構成するべき画像データをグレーディングするために使用されるマスタリング・ディスプレイの特性（例えば、ＳＴ２０８６で定義されているような特性）が存在しているかどうかをチェックし、上記特性から少なくとも１つの復元されたパラメータを算出するものである。入力ビデオの上記特性が存在せずに、マスタリング・デバイスの特性が存在しない場合には、再構成された画像Ｉ_３または対象のディスプレイの特性が存在するかどうかをチェックし（例えば、ＣＴＡ－８６１．３で定義されているようなピーク輝度）、そして、上記特性から少なくとも１つの復元されたパラメータを算出する。再構成された画像Ｉ_３の上記特性が存在せず、対象のディスプレイの上記特性が存在しない場合には、少なくとも１つの復元されたパラメータは、（例えば、１０００ｃｄ／ｍ^２など、ビデオ標準化委員会または産業フォーラムによって定められた）固定値である。

【0163】

限定を意図しない例に従って、表２は、入力／出力コンテンツおよびマスタリング／対象のディスプレイについての利用可能な情報の存在に依存する後処理段階によって使用される幾らかのパラメータに対する復元値の例を提供する。

【表2】

【0164】

パラメータｍａｔｒｉｘ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｖａｌｕｅ［ｉ］が存在する場合には、このパラメータを、ＭＤＣＶ ＳＥＩ／ＳＴ２０８６メッセージをパージングすることによって取得される入力／出力ビデオ色空間、ＢＴ．７０９またはＢＴ．２０２０（入力または出力ビデオの特性）に従って設定することができる。復元モードは、上記色空間に依存する。

【0165】

ｓｈａｄｏｗ＿ｇａｉｎ＿ｃｏｎｔｒｏｌが存在する場合には、このパラメータを、ＭＤＣＶ ＳＥＩ／ＳＴ ２０８６メッセージをパージングすることによって取得される値に従って算出することができる。

【0166】

例えば、マスタリング・ディスプレイのピーク輝度を表す情報は、上記ＭＤＣＶ ＳＥＩ／ＳＴ ２０８６メッセージから取得され、パラメータｓｈａｄｏｗ＿ｇａｉｎ＿ｃｏｎｔｒｏｌは、（復元モード１）によって算出される。
ｓｈａｄｏｗ＿ｇａｉｎ＿ｃｏｎｔｒｏｌ ＝Ｃｌｉｐ）（０； ２５５； Ｆｌｏｏｒ（ｒｓ（ｈｄｒＤｉｓｐｌａｙＭａｘＬｕｍｉｎａｎｃｅ） ｘ １２７，５ ＋０，５）
ここで、

【数19】

である。

【0167】

サービス・レベル情報で、または特定のワークフローに対し、ｈｄｒＤｉｓｐｌａｙＭａｘＬｕｍｉｎａｎｃｅの値が知られている可能性が高い。この値は、この特性を利用可能な場合に、対象の（出力再生する）ディスプレイのピーク輝度に設定することができる。そうでない場合（復元モード２）には、任意なデフォルト値、通常は、１０００ｃｄ／ｍ^２が設定される。デフォルト値は、現行の大抵のＨＤＲ市場において、現在見かけることのある参照最大ディプレイ・マスタリング輝度に対応する。

【0168】

図６は、本願の原理の例に従った、復号された画像データ
（外４５）

およびビットストリームＢから取得されたパラメータＳＰの組から画像Ｉ_３を再構成する方法を使用した別の例を示している。

【0169】

この例は、少なくとも部分的には、オーバーレイ挿入およびミキシングを行うメカニズム（例えば、セットトップ・ボックスまたはＵｌｔｒａ Ｈｄブルーレイ・プレイヤ）を実施し、復号された画像
（外４６）

にオーバーレイが追加されなければならない旨のイベントを決定モジュールに信号伝達／送信する（通常は、ｏｖｅｒｌａｙ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを１に設定する）任意の（中間）装置で実施されるように意図されている。

【0170】

オーバーレイ（グラフィックス）が復号された画像に付与される必要がない場合には、図１に記載されているように、パラメータＳＰの組が取得され（ステップ１０）、復号された画像
（外４７）

が取得され（ステップ１１）、画像Ｉ_３が再構成される（ステップ１２）。

【0171】

オーバーレイが復号された画像
（外４８）

に付与されるべき場合には、復号された画像
（外４９）

が取得され（ステップ１１）、ステップ６０において、合成画像Ｉ’_２が復号された画像
（外５０）

にグラフィックス（オーバーレイ）を付与することによって取得される。

【0172】

そして、情報データＩＤが取得され（ステップ１０３）、復元モジュールが選択され（ステップ１０４）、選択された復元モードＲＭｉが適用されて（ステップ１０５）復元されたパラメータＰ_ｒが取得される。

【0173】

そして、画像Ｉ_３は、復元されたパラメータＰ_ｒおよび復号された画像
（外５１）

から再構成される

【0174】

一実施形態に従って、様々な態様（明るい、位、ロゴ有り・・・）の大量の画像のトレーニングを行うことによってパラメータＰｒが取得される。

【0175】

場合によっては（図６に示されていないが）、ステップ１２は、ＴＶセットなどの遠隔装置において実施することができる。その場合、復号された画像
（外５２）

にパラメータＰを加えたもの、または、合成画像Ｉ’_２にパラメータＰ_ｒを加えたものが上記ＴＶセットに送信される。

【0176】

図１～図６において、モジュールは、機能ユニットであり、区別可能な物理的ユニットに関連している場合もあるし、物理的ユニットに関連していない場合もある。例えば、これらのモジュールまたはこれらモジュールの中には、ユニークな成分または回路を集合させたものもあれば、ソフトウェアの機能に寄与するものもある。これとは逆に、モジュールの中には、物理的に別体で構成されるものが存在することもある。本願の原理に準拠した装置は、純粋なハードウェア、例えば、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、超大規模集積回路（ＶＬＳＩ：Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）のような専用のハードウェアを使用して実施してもよいし、装置に埋め込まれた幾つかの集積された電子部品によって実施してもよいし、ハードウェアおよびソフトウェアのコンポーネントを組み合わせることによって実施してもよい。

【0177】

図７は、図１～図６との関連で説明された方法を実施するように構成された装置７０の例示的なアーキテクチャを表している。

【0178】

装置７０は、データおよびアドレス・バス７１によって互いにリンクされた要素として、
例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）である、プロセッサ７２（またはＣＰＵ）と、
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７３と、
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７４と、
アプリケーションに対してデータを送受信するためのＩ／Ｏインタフェース７５と、
バッテリ７６と、を含む。

【0179】

一例によれば、バッテリ７６は、装置の外部に存在する。上述したメモリの各々において、明細書中で「レジスタ」という用語が使用されている場合には、これは、小さな容量の領域（幾らかのビット）に対応することもあれば、非常に大きな容量の領域（例えば、プログラム全体または大容量の受信または復号されたデータ）に対応することもある。ＲＯＭ７３は、少なくともプログラムおよびパラメータを含む。ＲＯＭ７３は、本願の原理に従った技術を実行するためのアルゴリズムおよび命令を記憶することができる。電源が投入されると、ＣＰＵ７２は、ＲＡＭ内のプログラムをアップロードし、対応する命令を実行する。

【0180】

ＲＡＭ７４は、レジスタ内のＣＰＵ７２によって実行され、装置７０の電源が投入された後にアップロードされたプログラム、レジスタ内の入力データ、レジスタ内の本方法の様々な状態での中間データ、さらに、レジスタ内の本方法の実行のために使用される様々な変数を含む。

【0181】

本明細書中に記載されている実施態様は、例えば、方法またはプロセス、装置、ソフトウェア・プログラム、データストリーム、または信号の形態で実施することができる。実施態様が単一の形態の文脈でのみ説明されている場合であっても（例えば、１つの方法または１つの装置としてのみ説明されている場合であっても）、説明した特徴事項を他の形態（例えば、プログラム）で実施することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施することができる。本方法は、例えば、装置で実施することができる。装置は、例えば、プロセッサであり、プロセッサは、一般的には、例えば、コンピュータ、マイクロプロセッサ、集積回路、または、プログラマブル・ロジック・デバイスを含む、処理装置を指す。プロセッサは、さらに、例えば、コンピュータ、携帯電話、ポータブル／パーソナル・ディジタル・アシスタント（「ＰＤＡ」）、および、エンド・ユーザ間の情報の通信を容易にする他の装置などの、通信装置を含む。

【0182】

一例によれば、入力ビデオまたは入力ビデオの原画像が送信元から取得される。例えば、送信元は、
ローカル・メモリ（７３または７４）、例えば、ビデオ・メモリまたはＲＡＭ（またはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュ・メモリ、ＲＯＭ（またはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスクと、
ストレージ・インタフェース（７５）、例えば、大容量記憶装置、ＲＡＭ、フラッシュ・メモリ、ＲＯＭ、光学ディスクまたは磁気サポートとのインタフェースと、
通信インタフェース（７５）、例えば、有線インタフェース（例えば、バス・インタフェース、広域ネットワーク・インタフェース、ローカルエリア・ネットワーク・インタフェース）または無線インタフェース（ＩＥＥＥ８０２．１１インタフェースまたはＢｌｕｒｔｏｏｔｈ（商標）インタフェース）などと、
ピクチャ取り込み回路（例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのセンサ）と、
を含む要素を組み合わせたものである。

【0183】

例によれば、メタデータを搬送するビットストリームは、送信先に送信される。例として、これらのビットストリームのうちの１つ、または両方は、ローカル・またはリモート・メモリ、例えば、ビデオ・メモリ（７４）またはＲＡＭ（７４）、ハードディスク（７３）に記憶される。変形例においては、ビットストリームのうちの少なくとも１つは、ストレージ・インタフェース（７５）、例えば、大容量記憶装置、フラッシュ・メモリ、ＲＯＭ、光学ディスクまたは磁気サポートとのインタフェースに送信され、且つ／または、通信インタフェース（７５）、例えば、ポイントトゥポイント・リンク、通信バス、ポイントトゥマルチポイント・リンク、またはブロードキャスト・ネットワークとのインタフェースを介して送信される。

【0184】

別の例によれば、メタデータを搬送するビットストリームが送信元から取得される。例示的には、ビットストリームは、ローカル・メモリ、例えば、ビデオ・メモリ（７４）、ＲＡＭ（７４）、ＲＯＭ（７３）、フラッシュ・メモリ（７３）、またはハードディスク（７３）から読み出される。変形例においては、ビットストリームは、ストレージ・インタフェース（７５）、例えば、大容量ストレージ、ＲＡＭ、ＲＯＭ、フラッシュ・メモリ、光学ディスクまたは磁気サポートとのインタフェースから受信され、且つ／または、通信インタフェース（７５）、例えば、ポイントトゥポイント・リンク、バス、ポイントトゥマルチポイント・リンク、またはブロードキャスト・ネットワークとのインタフェースから受信される。

【0185】

例によれば、装置７０は、上述した方法を実施するように構成され、
モバイル・デバイスと、
通信デバイスと、
ゲーム・デバイスと、
タブレット（またはタブレット・コンピュータ）と、
ラップトップと、
静止画像カメラと、
ビデオ・カメラと、
符号化チップ／復号チップと、
ＴＶセットと、
セットトップ・ボックスと、
ディスプレイと、
静止画像サーバと、
ビデオ・サーバ（例えば、ブロードキャスト・サーバ、ビデオオンデマンド・サーバ、または、ウェブサーバ）と、
を含む要素を組み合わせたものである。

【0186】

本明細書中で記載された様々な処理の実施態様は、様々な異なる機器やアプリケーションで実施することができる。このような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサ、符号化器に入力を提供するプリプロセッサ、ビデオ符号化器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップ・ボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、ＰＤＡ、さらに、画像またはビデオを処理する他の任意の装置、または他の通信装置を含む。機器は、携帯機器でもよく、移動車両に据え付けられるものでさえよいことは明らかであろう。

【0187】

さらに、方法は、プロセッサによって実行される命令によって実施されていてもよく、このような命令（および／または実施態様によって生成されるデータ）は、コンピュータ読み取り可能記憶媒体に記憶することができる。コンピュータ読み取り可能記憶媒体は、１つ以上のコンピュータ読み取り可能媒体上で実施され、コンピュータによって実行可能な、コンピュータ読み取り可能プログラム・コードが実装されたコンピュータ読み取り可能プログラム・プロダクトの形態をとることができる。本明細書中で使用されるコンピュータ読み取り可能記憶媒体は、情報を記憶する固有の機能とともに、記憶した情報を取得する固有の機能を与えられた非一時的記憶媒体であると考えられる。コンピュータ読み取り可能記憶媒体は、例えば、限定するものではないが、電子的、磁気的、光学的、電磁的、赤外線、または、半導体システム、装置、デバイスとすることができ、上記に挙げたものを任意に適宜組み合わせることができる。本願の原理を適用可能なコンピュータ読み取り可能記憶媒体のより具体的な例を以下に提供するが、列挙されている例は、例示的なものに過ぎず、網羅的なものではないことが、当業者であれば容易に理解できるであろう。ポータブル・コンピュータ・ディスク、ハードディスク、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、ポータブル・コンパクト・ディスク、読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または、上記に挙げたものを任意に適宜組み合わせたもの。

【0188】

命令は、プロセッサ読み取り可能媒体上に現実的に実装されるアプリケーション・プログラムの形態をとることができる。

【0189】

例えば、命令は、ハードウェア、ファームウェア、ソフトウェア、またはこれらを組み合わせたものとすることができる。命令は、例えば、オペレーティング・システム、別個のアプリケーション、またはこの２つを組み合わせたものに存在させることができる。よって、プロセッサは、例えば、処理を実行するように構成された装置と、処理を実行する命令を有する（記憶装置などの）プロセッサ読み取り可能媒体を含む装置の両方として特徴付けられる。さらに、プロセッサ読み取り可能媒体は、命令に追加して、または、命令の代わりに、実施態様により生成されるデータ値を記憶することができる。

【0190】

実施態様により、例えば、記憶、送信可能な情報を搬送するようにフォーマットされた様々な信号を生成できることは当業者によって自明であろう。情報は、例えば、方法を実行する命令、または、上記の実施態様のうちの１つによって生成されたデータを含む。例えば、信号は、データとして、本願の原理の記載した例のシンタックスの読み書きのためのルールを保持するように、または、本願の原理の記載した例によって記述された実際のシンタックス値をデータとして保持するようにフォーマットすることができる。このような信号は、例えば、（例えば、スペクトルの無線周波数部分を使用した）電磁波として、または、ベースバンド信号としてフォーマットすることができる。フォーマット化には、例えば、データストリームを符号化することおよび符号化されたデータストリームを用いてキャリアを変調することを含めることができる。信号が搬送する情報は、例えば、アナログ情報またはディジタル情報である。信号は、公知である様々な有線リンクまたは無線リンクを介して送信することができる。信号は、プロセッサ読み取り可能媒体に記憶することができる。

【0191】

幾つかの実施態様について説明を行った。しかしながら、様々な改変を施すことができることが理解できよう。例えば、複数の異なる実施態様を組み合わせたり、補ったり、変更したり、除去したりすることで他の実施態様を生み出すことができる。さらに、当業者であれば、開示した内容を他の構造や処理で置き換えることができ、結果として得られる実施態様が、少なくとも実質的に同一の方法で、少なくとも実質的に同一の機能を実行し、少なくとも開示した実施態様と実質的に同一の効果を生み出すことが理解できよう。したがって、本出願によってこれらの実施態様およびその他の実施態様が企図される。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図5c】

【図6】

【図7】