(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-27
(45)【発行日】2024-04-04
(54)【発明の名称】高ダイナミックレンジ(HDR)ビデオ処理方法、符号化装置、復号装置
(51)【国際特許分類】
G06T 5/92 20240101AFI20240328BHJP
G06T 9/00 20060101ALI20240328BHJP
H04N 5/202 20230101ALI20240328BHJP
【FI】
G06T5/92
G06T9/00
H04N5/202
(21)【出願番号】P 2022567468
(86)(22)【出願日】2021-03-26
(86)【国際出願番号】 CN2021083333
(87)【国際公開番号】W WO2021223540
(87)【国際公開日】2021-11-11
【審査請求日】2022-12-01
(31)【優先権主張番号】202010390234.7
(32)【優先日】2020-05-08
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】HUAWEI TECHNOLOGIES CO.,LTD.
【住所又は居所原語表記】Huawei Administration Building, Bantian, Longgang District, Shenzhen, Guangdong 518129, P.R. China
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チェン,フゥ
(72)【発明者】
【氏名】アルシナ,エレナ アレクサンドロヴナ
(72)【発明者】
【氏名】シュイ,ウエイウエイ
(72)【発明者】
【氏名】ユィ,チュアンホ
(72)【発明者】
【氏名】ワン,イチョアン
【審査官】渡部 幸和
(56)【参考文献】
【文献】国際公開第2020/061172(WO,A1)
【文献】国際公開第2008/004439(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 5/00
G06T 9/00
H04N 5/00
(57)【特許請求の範囲】
【請求項1】
高ダイナミックレンジ(HDR)ビデオ処理方法であって、前記方法は、符号化装置に適用され、
動的メタデータ生成アルゴリズムに従って、N番目のHDRビデオフレームの動的メタデータを取得するステップであって、Nは0より大きい、ステップと、
前記N番目のHDRビデオフレームの前記動的メタデータに基づいて、前記N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するステップと、
前記曲線パラメータに基づいてtone-mapping曲線を生成するステップと、
品質評価アルゴリズムに従い、前記tone-mapping曲線により引き起こされる歪みD’を決定するステップと、
D’とD
Tを比較して、前記N番目のHDRビデオフレームで使用されるモードを決定するステップであって、前記モードは自動モード又はディレクタモードであり、D
Tは閾値である、ステップと、
前記N番目のHDRビデオフレームで使用される決定されたモードに基づいて、前記N番目のHDRビデオフレームのメタデータを決定するステップと、
を含む方法。
【請求項2】
D’とD
Tを比較して、前記N番目のHDRビデオフレームで使用されるモードを決定するステップは、
D’がD
Tより大きい場合に、前記N番目のHDRビデオフレームが前記ディレクタモードを使用すると決定するステップであって、D
Tは前記ディレクタモードにおける前記N番目のHDRビデオフレームの歪みである、ステップ、又は、
D’がD
T以下の場合に、前記N番目のHDRビデオフレームが前記自動モードを使用すると決定するステップ、
を含む、請求項1に記載の方法。
【請求項3】
前記方法は、
Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記tone-mapping曲線パラメータ、及びD’に基づいて、前記N番目のHDRビデオフレームの前記tone-mapping曲線パラメータのオフセットdeltaC[N]を取得するステップであって、Mは0より大きい、ステップ、
を更に含む請求項2に記載の方法。
【請求項4】
前記方法は、
deltaC[N]に従って調整済みtone-mapping曲線を生成するステップと、
前記品質評価アルゴリズムに従って、前記調整済みtone-mapping曲線によって引き起こされる歪みD
Tを決定するステップと、
を更に含む請求項3に記載の方法。
【請求項5】
前記N番目のHDRビデオフレームのメタデータを決定することは、
前記N番目のHDRビデオフレームによって使用されるモード、前記動的メタデータ生成アルゴリズム、及び前記tone-mapping曲線パラメータの前記オフセットdeltaC[N]に基づいて、前記N番目のHDRビデオフレームの前記メタデータを生成することを含む、請求項3又は4に記載の方法。
【請求項6】
前記方法は、以下の事前設定された構成パラメータ:
1000nit、500nit及び標準ダイナミックレンジ(SDR)
のいずれか1つ以上に適用される、請求項1~5のいずれか一項に記載の方法。
【請求項7】
前記トーンマッピング(tone-mapping)曲線は、式(1):
【数42】
により示され、曲線パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、曲線パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である、請求項1~6のいずれか一項に記載の方法。
【請求項8】
前記N番目のHDRビデオフレームによって使用される決定されたモードに基づき、前記N番目のHDRビデオフレームのメタデータを決定することは、
前記N番目のHDRビデオフレームによって使用されるモードが前記自動モードである場合、前記N番目のHDRビデオフレームの前記メタデータは、前記N番目のHDRビデオフレームの前記動的メタデータを含むか、又は、
前記N番目のHDRビデオフレームで使用されるモードが前記ディレクタモードの場合、前記N番目のHDRビデオフレームの前記メタデータは、前記N番目のHDRビデオフレームの動的メタデータとP[N]を含み、P[N]は、前記N番目のHDRビデオフレームで使用されるモードが前記ディレクタモードの場合に使用される曲線パラメータPである、
請求項
7に記載の方法。
【請求項9】
前記N番目のHDRビデオフレームの前記メタデータはフラグビットを含み、前記フラグビットは前記N番目のHDRビデオフレームによって使用されるモードが前記ディレクタモードであることを示すか、又は前記フラグビットが前記N番目のHDRビデオフレームによって使用されるモードが前記自動モードであることを示す、請求項1~
8のいずれか一項に記載の方法。
【請求項10】
高ダイナミックレンジ(HDR)ビデオ処理方法であって、前記方法は、符号化装置に適用され、
動的メタデータ生成アルゴリズムに従って、N番目のHDRビデオフレームの動的メタデータを取得するステップと、
前記N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するステップと、
前記曲線パラメータに基づいて、tone-mapping曲線を生成するステップと、
品質評価アルゴリズムに従って、前記tone-mapping曲線によって引き起こされる歪みD’を決定するステップと、
Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記tone-mapping曲線パラメータ、及びD’に基づいて、前記N番目のHDRビデオフレームのtone-mapping曲線パラメータのオフセットdeltaC[N]を取得するステップであって、Nは0より大きい、ステップと、
前記動的メタデータ生成アルゴリズムと前記N番目のHDRビデオフレームの前記曲線パラメータのオフセットdeltaC[N]に従って、ディレクタモードで前記N番目のHDRビデオフレームのメタデータを生成するステップと、
を含む方法。
【請求項11】
前記方法は、
前記N番目のHDRビデオフレームの前記曲線パラメータの前記オフセットdeltaC[N]に従って、調整済みtone-mapping曲線を生成するステップと、
品質評価アルゴリズムに従って、前記調整済みtone-mapping曲線によって引き起こされる歪みD
Tを決定するステップであって、D
Tは、前記ディレクタモードにおける(N+j)番目のフレームのオフセットdeltaC[N+j]を予測するために使用され、jは1以上M以下である、ステップと、
を更に含む請求項
10に記載の方法。
【請求項12】
前記方法は、以下の事前設定された構成パラメータ:
1000nit、500nit及び標準ダイナミックレンジ(SDR)
のいずれか1つ以上に適用される、請求項
10又は11に記載の方法。
【請求項13】
前記トーンマッピング(tone-mapping)曲線は、式(3):
【数44】
により示され、パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である、請求項
10~12のいずれか一項に記載の方法。
【請求項14】
高ダイナミックレンジ(HDR)ビデオ処理方法であって、前記方法は、復号装置に適用され、
N番目のHDRビデオフレーム及び前記N番目のHDRビデオフレームの動的メタデータを取得するステップと、
前記N番目のHDRビデオフレームの前記動的メタデータに基づいて、前記N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するステップと、
前記曲線パラメータに基づき、tone-mapping曲線を生成するステップと、
品質評価アルゴリズムに従い、前記tone-mapping曲線により引き起こされる歪みD’を決定するステップと、
D’とD
Tを比較して、自動モードを使用するかどうかを決定するステップであって、D
Tは閾値である、ステップと、
を含む方法。
【請求項15】
前記方法は、
D’がD
Tより大きいとき、Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記tone-mapping曲線パラメータ、及びD’に基づいて、前記N番目のHDRビデオフレームの前記tone-mapping曲線パラメータのオフセットdeltaC[N]を取得するステップであって、Nは0より大きい、ステップ、
を更に含む請求項
14に記載の方法。
【請求項16】
前記方法は、
deltaC[N]に従って調整済みtone-mapping曲線を生成するステップと、
前記品質評価アルゴリズムに従って、前記調整済みtone-mapping曲線によって引き起こされる歪みD
Tを決定するステップと、
を更に含む請求項
15に記載の方法。
【請求項17】
前記方法は、以下の事前設定された構成パラメータ:
1000nit、500nit及び標準ダイナミックレンジ(SDR)
のいずれか1つ以上に適用される、請求項
14~16のいずれか一項に記載の方法。
【請求項18】
前記トーンマッピング(tone-mapping)曲線は、式(5):
【数46】
により示され、パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である、請求項
14~17のいずれか一項に記載の方法。
【請求項19】
符号化装置であって、
取得ユニットであって、前記取得ユニットは、動的メタデータ生成アルゴリズムに従って、N番目のHDRビデオフレームの動的メタデータを取得するよう構成され、Nは0より大きい、取得ユニットと、
処理ユニットであって、前記処理ユニットは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて、前記N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するよう構成される処理ユニットと、
を含み、
前記処理ユニットは、前記曲線パラメータに基づいてtone-mapping曲線を生成するよう更に構成され、
前記処理ユニットは、品質評価アルゴリズムに従い、前記tone-mapping曲線により引き起こされる歪みD’を決定するよう更に構成され、
前記処理ユニットは、D’とD
Tを比較して、前記N番目のHDRビデオフレームで使用されるモードを決定するよう更に構成され、前記モードは自動モード又はディレクタモードであり、D
Tは閾値であり、
前記処理ユニットは、前記N番目のHDRビデオフレームで使用される決定されたモードに基づいて、前記N番目のHDRビデオフレームのメタデータを決定するよう更に構成される、符号化装置。
【請求項20】
前記処理ユニットは、具体的に、
D’がD
Tより大きい場合に、前記N番目のHDRビデオフレームが前記ディレクタモードを使用すると決定し、D
Tは前記ディレクタモードにおける前記N番目のHDRビデオフレームの歪みである、又は、
D’がD
T以下の場合に、前記N番目のHDRビデオフレームが前記自動モードを使用すると決定する、
よう構成される、請求項
19に記載の符号化装置。
【請求項21】
前記処理ユニットは、
Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記tone-mapping曲線パラメータ、及びD’に基づいて、前記N番目のHDRビデオフレームの前記tone-mapping曲線パラメータのオフセットdeltaC[N]を取得するよう更に構成され、Mは0より大きい、請求項
20に記載の符号化装置。
【請求項22】
前記処理ユニットは、具体的に、
前記N番目のHDRビデオフレームによって使用されるモード、前記動的メタデータ生成アルゴリズム、及び前記tone-mapping曲線パラメータの前記オフセットdeltaC[N]に基づいて、前記N番目のHDRビデオフレームの前記メタデータを生成するよう構成される、請求項
21に記載の符号化装置。
【請求項23】
前記トーンマッピング(tone-mapping)曲線は、式(7):
【数48】
により示され、曲線パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、曲線パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である、請求項
19~22のいずれか一項に記載の符号化装置。
【請求項24】
符号化装置であって、
取得ユニットであって、前記取得ユニットは、動的メタデータ生成アルゴリズムに従って、N番目のHDRビデオフレームの動的メタデータを取得するよう構成される、取得ユニットと、
処理ユニットであって、前記処理ユニットは、前記N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するよう構成される、処理ユニットと、
を含み、
前記処理ユニットは、前記曲線パラメータに基づいて、tone-mapping曲線を生成するよう更に構成され、
前記処理ユニットは、品質評価アルゴリズムに従って、前記tone-mapping曲線によって引き起こされる歪みD’を決定するよう更に構成され、
前記処理ユニットは、Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記tone-mapping曲線パラメータ、及びD’に基づいて、前記N番目のHDRビデオフレームの曲線パラメータのオフセットdeltaC[N]を取得するよう更に構成され、Mは0より大きく、
前記処理ユニットは、前記動的メタデータ生成アルゴリズムと前記N番目のHDRビデオフレームの前記曲線パラメータのオフセットdeltaC[N]に従って、ディレクタモードで前記N番目のHDRビデオフレームのメタデータを生成するよう更に構成される、
符号化装置。
【請求項25】
前記処理ユニットは、
前記N番目のHDRビデオフレームの前記曲線パラメータの前記オフセットdeltaC[N]に従って、調整済みtone-mapping曲線を生成し、
品質評価アルゴリズムに従って、前記調整済みtone-mapping曲線によって引き起こされる歪みD
Tを決定し、D
Tは、前記ディレクタモードにおける(N+j)番目のフレームのオフセットdeltaC[N+j]を予測するために使用され、jは1以上M以下である、
よう更に構成される、請求項
24に記載の符号化装置。
【請求項26】
前記符号化装置は、以下の事前設定された構成パラメータ:
1000nit、500nit及び標準ダイナミックレンジ(SDR)
のいずれか1つ以上に適用される、請求項
24又は25に記載の符号化装置。
【請求項27】
前記トーンマッピング(tone-mapping)曲線は、式(9):
【数50】
により示され、曲線パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、曲線パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である、請求項
24~26のいずれか一項に記載の符号化装置。
【請求項28】
復号装置であって、
取得ユニットであって、前記取得ユニットは、N番目のHDRビデオフレーム及び前記N番目のHDRビデオフレームの動的メタデータを取得するよう構成される、取得ユニットと、
処理ユニットであって、前記処理ユニットは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて、前記N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するよう構成される処理ユニットと、
を含み、
前記処理ユニットは、前記曲線パラメータに基づいてtone-mapping曲線を生成するよう更に構成され、
前記処理ユニットは、品質評価アルゴリズムに従い、前記tone-mapping曲線により引き起こされる歪みD’を決定するよう更に構成され、
前記処理ユニットは、D’とD
Tを比較して、自動モードを使用するかどうかを決定するよう更に構成され、D
Tは閾値である、復号装置。
【請求項29】
前記処理ユニットは、具体的に、
D’がD
Tより大きいとき、Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記tone-mapping曲線パラメータ、及びD’に基づいて、前記N番目のHDRビデオフレームの前記tone-mapping曲線パラメータのオフセットdeltaC[N]を取得するよう構成され、
Mは0より大きい、請求項
28に記載の復号装置。
【請求項30】
前記復号装置は、以下の事前設定された構成パラメータ:
1000nit、500nit及び標準ダイナミックレンジ(SDR)
のいずれか1つ以上に適用される、請求項
28又は29のいずれか一項に記載の復号装置。
【請求項31】
前記トーンマッピング(tone-mapping)曲線は、式(11):
【数52】
により示され、パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である、請求項
28~30のいずれか一項に記載の復号装置。
【請求項32】
端末装置であって、プロセッサを含み、
前記プロセッサは、メモリに結合され、前記メモリは、コンピュータプログラムを格納するよう構成され、
前記プロセッサは、前記メモリに格納された前記コンピュータプログラムを実行して、前記
端末装置が請求項1~
9のいずれか一項に記載の方法、請求項
10~13のいずれか一項に記載の方法、又は請求項
14~18のいずれか一項に記載の方法、を実行可能にされる、端末装置。
【請求項33】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体はコンピュータプログラムを格納し、前記コンピュータプログラムがプロセッサで実行されると、請求項1~
9のいずれか一項に記載の方法、請求項
10~13のいずれか一項に記載の方法、又は請求項
14~18のいずれか一項に記載の方法が実施される、コンピュータ可読記憶媒体。
【請求項34】
チップであって、プロセッサとインタフェースとを含み、前記プロセッサは、命令を読み出して、請求項1~
9のいずれか一項に記載の方法、請求項
10~13のいずれか一項に記載の方法、又は請求項
14~18のいずれか一項に記載の方法を実行するよう構成される、チップ。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願]
本願は、参照により全体がここに組み込まれる、中国特許出願番号202010390234.7号、中国国家知識産権局に2020年5月8日に出願、名称「HIGH DYNAMIC RANGE HDR VIDEO PROCESSING METHOD, ENCODING DEVICE, AND DECODING DEVICE」の優先権を主張する。
【0002】
[技術分野]
本願は、画像処理技術の分野に関し、より具体的には、高ダイナミックレンジ(HDR)ビデオ処理方法、符号化装置、復号装置に関する。
【背景技術】
【0003】
ダイナミックレンジマッピング方法は、主にフロントエンド高ダイナミックレンジ(High Dynamic Range, HDR)信号とバックエンドHDRディスプレイ装置との間の適応に適用され、通常、高輝度から低輝度へのトーンマッピング(tone-mapping)処理と低輝度から高輝度へのtone-mapping処理を含む。エンコーダ側でHDRビデオを符号化する前に、まず前処理を行う必要がある。HDRビデオで使用されるモードは前処理で使用され、モードは、一般的に自動モード又はディレクタモードを含む。自動モードのアルゴリズムは、膨大なテストデータに基づいて得られる経験式であり、実際にはほとんどのシーンをカバーすることができる。ただし、シーンによっては自動モードで計算した曲線が良い効果を達成できない場合がある。ディレクタモードとは、ディレクタカラーリストが手動でパラメータを調整及び決定するか、又は自動モードのパラメータを補正し、曲線パラメータをさらに最適化して、ディレクタモードを得ることを意味する。通常、補正後のディレクタモードでは良好な効果が得られる。そのため、HDR映像で使用されるモードをどのように選択するかが解決されるべき緊急の課題となっている。
【発明の概要】
【0004】
本願は、高ダイナミックレンジ(HDR)映像処理方法、符号化装置、復号装置を提供する。方法では、HDRビデオにより使用されるモードは、品質評価アルゴリズムに従い、エンコーダ側で決定されてよい。
【0005】
第1態様によれば、高ダイナミックレンジ(HDR)ビデオ処理方法が提供される。前記方法は、符号化装置に適用され、
動的メタデータ生成アルゴリズムに従って、N番目のHDRビデオフレームの動的メタデータを取得するステップであって、Nは0より大きい、ステップと、
前記N番目のHDRビデオフレームの前記動的メタデータに基づいて、前記N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するステップと、
前記曲線パラメータに基づいてtone-mapping曲線を生成するステップと、
品質評価アルゴリズムに従い、前記tone-mapping曲線により引き起こされる歪みD’を決定するステップと、
D’とDTを比較して、前記N番目のHDRビデオフレームで使用されるモードを決定するステップであって、前記モードは自動モード又はディレクタモードであり、DTは閾値である、ステップと、
前記N番目のHDRビデオフレームで使用される決定されたモードに基づいて、前記N番目のHDRビデオフレームのメタデータを決定するステップと、
を含む。
【0006】
N番目のHDRビデオフレームで使用されるモードが自動モードかディレクタモードかは、DTと、品質評価アルゴリズムに従って決定された、tone-mapping曲線によって発生する歪みD’とを比較することによって決定されるため、tone-mapping曲線によって発生する歪みに基づいてHDRビデオで使用されるモードを決定できる。これにより、より良いtone-mapping効果が得られる。
【0007】
第1態様を参照して、第1態様の幾つかの実装では、D’とDTを比較して、前記N番目のHDRビデオフレームで使用されるモードを決定するステップは、
D’がDTより大きい場合に、前記N番目のHDRビデオフレームが前記ディレクタモードを使用すると決定するステップであって、DTは前記ディレクタモードにおける前記N番目のHDRビデオフレームの歪みである、ステップ、又は、
D’がDT以下の場合に、前記N番目のHDRビデオフレームが前記自動モードを使用すると決定するステップ、
を含む。
【0008】
第1態様を参照して、第1態様の幾つかの実装では、前記方法は、
Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記tone-mapping曲線パラメータ、及びD’に基づいて、前記N番目のHDRビデオフレームの前記tone-mapping曲線パラメータのオフセットdeltaC[N]を取得するステップであって、Mは0より大きい、ステップ、
を更に含む。
【0009】
第1態様を参照して、第1態様の幾つかの実装では、deltaC[N]に基づいて調整済みtone-mapping曲線が生成され、前記調整済みtone-mapping曲線により発生する歪みDTは、前記品質評価アルゴリズムに従って決定される。
【0010】
第1態様を参照して、第1態様の幾つかの実装では、前記N番目のHDRビデオフレームのメタデータを決定することは、
前記N番目のHDRビデオフレームによって使用されるモード、前記動的メタデータ生成アルゴリズム、及び前記tone-mapping曲線パラメータの前記オフセットdeltaC[N]に基づいて、前記N番目のHDRビデオフレームの前記メタデータを生成することを含む。
【0011】
第1態様を参照して、第1態様の幾つかの実装では、前記方法は、以下の事前設定された構成パラメータ:
1000nit、500nit及び標準ダイナミックレンジ(SDR)
のいずれか1つ以上に適用される。
【0012】
第1態様を参照して、第1態様の幾つかの実装では、前記トーンマッピング(tone-mapping)曲線は、式(1):
【数1】
により示される、
【0013】
曲線パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、曲線パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である。
【0014】
第1態様を参照して、第1態様の幾つかの実装では、前記方法は、
前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定するステップであって、Kは0以上の正の整数である、ステップと、
前記曲線パラメータpの前記複数のオフセットに基づき、前記曲線パラメータpの前記複数のオフセットの各々に対応する曲線パラメータp”及びa”を決定するステップと、
前記複数のオフセットの各々に対応する前記パラメータp”とa”に基づいて、複数の調整済みtone-mapping曲線を生成するステップと、
前記品質評価アルゴリズムに従って、前記複数の調整済みtone-mapping曲線の各々によって引き起こされる歪みD”を決定するステップと、
前記複数のD”から、第1条件を満たすいずれかのD”を選択するステップであって、前記いずれかのD”に対応するtone-mapping曲線パラメータp”及びa”は、曲線パラメータの調整目標p’及びa’として選択され、DTは選択されたD”である、ステップと、
を更に含む。
【0015】
第1態様を参照して、第1態様の幾つかの実装では、前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定するステップは、
Kが1の場合、決定されたオフセットは、前記曲線パラメータpの前記予測オフセットに前記基本ステップサイズを加えたものであり、前記曲線パラメータpの前記予測オフセットから前記基本ステップサイズを引いたものであることを含む。
【0016】
第1態様を参照して、第1態様の幾つかの実装では、前記第1条件は、2つの歪みD”値の間のより小さな歪みD”に対応するtone-mapping曲線パラメータを選択することである。
【0017】
第1態様を参照して、第1態様の幾つかの実装では、前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定するステップは、
前記基本delta±M×基本ステップサイズ(stepsize)に基づいて、前記複数のオフセットを決定するステップであって、MはK以下の各々の正の整数である、ステップを含む。
【0018】
第1態様を参照して、第1態様の幾つかの実装では、前記第1条件は、前記複数のD”から最小のD”を選択すること、又は前記複数のD”から第1閾値未満のD”を選択することである。
【0019】
第1態様を参照して、第1態様の幾つかの実装では、前記方法は、
式(2):
【数2】
に従い、前記曲線パラメータpの前記予測オフセットを決定するステップを更に含む。
【0020】
deltaC[N-k]は、前記品質評価アルゴリズムに従い計算された(N-k)番目のフレームによって使用されるオフセットを表し、D[N-k]は(N-k)番目のフレームの歪みを表し、Mはウィンドウ長である。
【0021】
第1態様を参照して、第1態様の幾つかの実装では、前記N番目のHDRビデオフレームによって使用される決定されたモードに基づき、前記N番目のHDRビデオフレームのメタデータを決定することは、
前記N番目のHDRビデオフレームによって使用されるモードが前記自動モードである場合、前記N番目のHDRビデオフレームの前記メタデータは、前記N番目のHDRビデオフレームの前記動的メタデータを含むか、又は、
前記N番目のHDRビデオフレームで使用されるモードが前記ディレクタモードの場合、前記N番目のHDRビデオフレームの前記メタデータは、前記N番目のHDRビデオフレームの動的メタデータとP[N]を含み、P[N]は、前記N番目のHDRビデオフレームで使用されるモードが前記ディレクタモードの場合に使用される曲線パラメータPである。
【0022】
第1態様を参照して、第1態様の幾つかの実装では、前記N番目のHDRビデオフレームの前記メタデータはフラグビットを含み、前記フラグビットは前記N番目のHDRビデオフレームによって使用されるモードが前記ディレクタモードであることを示すか、又は前記フラグビットが前記N番目のHDRビデオフレームによって使用されるモードが前記自動モードであることを示す。
【0023】
第2態様によれば、高ダイナミックレンジ(HDR)ビデオ処理方法が提供される。前記方法は、復号装置に適用され、
復号によってN番目のHDRビデオフレームと前記N番目のHDRビデオフレームのメタデータを取得するステップと、
前記メタデータのフラグビットに従って、前記N番目のHDRビデオフレームで使用されるモードを決定するステップと、
を含む。
【0024】
第2態様を参照して、第2態様の幾つかの実装では、前記フラグビットが、前記N番目のHDRビデオフレームによって使用されるモードが自動モードであることを示す場合、前記方法は、
前記N番目のHDRビデオフレームの前記メタデータに基づいて、前記自動モードにおけるトーンマッピング(tone-mapping)曲線パラメータを計算するステップと、
前記トーンマッピング(tone-mapping)曲線パラメータに基づいて、前記自動モードでtone-mapping曲線を生成するステップと、
前記自動モードの前記tone-mapping曲線及び前記N番目のHDRビデオフレームに基づいて前記N番目のHDRビデオフレームを表示するステップと、
を更に含む。
【0025】
第2態様を参照して、第2態様の幾つかの実装では、前記フラグビットが、前記N番目のHDRビデオフレームによって使用されるモードがディレクタモードであることを示す場合、前記方法は、
前記動的メタデータから、前記ディレクタモードにおけるトーンマッピング(tone-mapping)曲線パラメータを抽出するステップと、
前記曲線パラメータに基づいて、前記ディレクタモードでtone-mapping曲線を生成するステップと、
前記ディレクタモードの前記tone-mapping曲線及び前記N番目のHDRビデオフレームに基づいて前記N番目のHDRビデオフレームを表示するステップと、
を更に含む。
【0026】
第3態様によれば、高ダイナミックレンジ(HDR)ビデオ処理方法が提供される。前記方法は、符号化装置に適用され、
動的メタデータ生成アルゴリズムに従って、N番目のHDRビデオフレームの動的メタデータを取得するステップと、
前記N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するステップと、
前記曲線パラメータに基づいて、tone-mapping曲線を生成するステップと、
品質評価アルゴリズムに従って、前記tone-mapping曲線によって引き起こされる歪みD’を決定するステップと、
Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記tone-mapping曲線パラメータ、及びD’に基づいて、前記N番目のHDRビデオフレームの曲線パラメータのオフセットdeltaC[N]を取得するステップであって、Nは0より大きく、Mは0より大きい、ステップと、
前記N番目のHDRビデオフレームの前記曲線パラメータのオフセットdeltaC[N]に従い、調整済みtone-mapping曲線を生成するステップと、
前記動的メタデータ生成アルゴリズムと前記N番目のHDRビデオフレームの前記曲線パラメータのオフセットdeltaC[N]に従って、ディレクタモードで前記N番目のHDRビデオフレームのメタデータを生成するステップと、
を含む。
【0027】
第3態様を参照して、第3態様の幾つかの実装では、前記方法は、
前記N番目のHDRビデオフレームの前記曲線パラメータの前記オフセットdeltaC[N]に従って、調整済みtone-mapping曲線を生成するステップと、
品質評価アルゴリズムに従って、前記調整済みtone-mapping曲線によって引き起こされる歪みDTを決定するステップであって、DTは、前記ディレクタモードにおける(N+j)番目のフレームのオフセットdeltaC[N+j]を予測するために使用され、jは1以上M以下である、ステップと、
を更に含む。
【0028】
第3態様を参照して、第3態様の幾つかの実装では、前記方法は、以下の事前設定された構成パラメータ:
1000nit、500nit及び標準ダイナミックレンジ(SDR)
のいずれか1つ以上に適用される。
【0029】
第3態様を参照して、第3態様の幾つかの実装では、前記トーンマッピング(tone-mapping)曲線は、式(3):
【数3】
により示される。
【0030】
曲線パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である。
【0031】
第3態様を参照して、第3態様の幾つかの実装では、deltaC[N]はdeltap[N]であり、前記方法は、
前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定するステップであって、Kは0以上の正の整数である、ステップと、
前記曲線パラメータpの前記複数のオフセットに基づき、前記曲線パラメータpの前記複数のオフセットの各々に対応する曲線パラメータp”及びa”を決定するステップと、
前記複数のオフセットの各々に対応する前記パラメータp”とa”に基づいて、複数の調整済みtone-mapping曲線を生成するステップと、
前記品質評価アルゴリズムに従って、前記複数の調整済みtone-mapping曲線の各々によって引き起こされる歪みD”を決定するステップと、
前記複数のD”から、第1条件を満たすいずれかのD”を選択するステップであって、前記いずれかのD”に対応するtone-mapping曲線パラメータp”及びa”は、曲線パラメータの調整目標p’及びa’として選択され、DTは選択されたD”である、ステップと、
を更に含む。
【0032】
第3態様を参照して、第3態様の幾つかの実装では、前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定するステップは、
Kが1の場合、決定されたオフセットは、前記曲線パラメータpの前記予測オフセットに前記基本ステップサイズを加えたものであり、前記曲線パラメータpの前記予測オフセットから前記基本ステップサイズを引いたものであることを含む。
【0033】
第3態様を参照して、第3態様の幾つかの実装では、前記第1条件は、2つの歪みD”値の間のより小さな歪みD”に対応するtone-mapping曲線パラメータを選択することである。
【0034】
第3態様を参照して、第3態様の幾つかの実装では、前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定するステップは、
前記基本delta±M×基本ステップサイズ(stepsize)に基づいて、前記複数のオフセットを決定するステップであって、MはK以下の各々の正の整数である、ステップを含む。
【0035】
第3態様を参照して、第3態様の幾つかの実装では、前記第1条件は、前記複数のD”から最小のD”を選択すること、又は前記複数のD”から第1閾値未満のD”を選択することである。
【0036】
第3態様を参照して、第3態様の幾つかの実装では、前記方法は、
式(4):
【数4】
に従い、前記曲線パラメータpの前記予測オフセットを決定するステップを更に含む。
【0037】
deltaC[N-k]は、前記品質評価アルゴリズムに従い計算された(N-k)番目のフレームによって使用されるオフセットを表し、D[N-k]は(N-k)番目のフレームの歪みを表し、Mはウィンドウ長である。
【0038】
第3態様を参照して、第3態様の幾つかの実装では、前記N番目のHDRビデオフレームによって使用されるディレクタモードに基づき、前記N番目のHDRビデオフレームのメタデータを決定することは、
前記N番目のHDRビデオフレームによって使用されるモードが前記ディレクタモードである場合、前記N番目のHDRビデオフレームの前記メタデータは、前記N番目のHDRビデオフレームの前記動的メタデータ及びP[N]を含み、P[N]は、前記N番目のHDRビデオフレームで使用されるモードが前記ディレクタモードの場合に使用される曲線パラメータPである。
【0039】
第3態様を参照して、第3態様の幾つかの実装では、前記動的メタデータはフラグビットを含み、前記フラグビットは、前記N番目のHDRビデオフレームによって使用されるモードが前記ディレクタモードであることを示す。
【0040】
第4態様によれば、高ダイナミックレンジ(HDR)ビデオ処理方法が提供される。前記方法は、復号装置に適用され、
N番目のHDRビデオフレーム及び前記N番目のHDRビデオフレームの動的メタデータを取得するステップと、
前記N番目のHDRビデオフレームの前記動的メタデータに基づいて、前記N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するステップと、
前記曲線パラメータに基づき、tone-mapping曲線を生成するステップと、
品質評価アルゴリズムに従い、前記tone-mapping曲線により引き起こされる歪みD’を決定するステップと、
D’とDTを比較して、自動モードを使用するかどうかを決定するステップであって、DTは閾値である、ステップと、
を含む。
【0041】
第4態様を参照して、第4態様の幾つかの実装では、
D’がDTより大きいとき、Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記tone-mapping曲線パラメータ、及びDとD’に基づいて、前記N番目のHDRビデオフレームの前記tone-mapping曲線パラメータのオフセットdeltaC[N]が取得され、Nは0より大きい。
【0042】
第4態様を参照して、第4態様の幾つかの実装では、前記方法は、
deltaC[N]に従って調整済みtone-mapping曲線を生成するステップと、
前記品質評価アルゴリズムに従って、前記調整済みtone-mapping曲線によって引き起こされる歪みDTを決定するステップと、
を更に含む。
【0043】
第4態様を参照して、第4態様の幾つかの実装では、前記動的メタデータ生成アルゴリズム及び前記N番目のHDRビデオフレームの前記曲線パラメータの前記オフセットdeltaC[N]は、前記N番目のHDRビデオフレームのメタデータを生成するために使用される。
【0044】
第4態様を参照して、第4態様の幾つかの実装では、前記方法は、以下の事前設定された構成パラメータ:
1000nit、500nit及び標準ダイナミックレンジ(SDR)
のいずれか1つ以上に適用される。
【0045】
第4態様を参照して、第4態様の幾つかの実装では、前記トーンマッピング(tone-mapping)曲線は、式(3):
【数5】
により示される。
【0046】
曲線パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である。
【0047】
第4態様を参照して、第4態様の幾つかの実装では、deltaC[N]はdeltap[N]であり、前記方法は、
前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定するステップであって、Kは0以上の正の整数である、ステップと、
前記曲線パラメータpの前記複数のオフセットに基づき、前記曲線パラメータpの前記複数のオフセットの各々に対応する曲線パラメータp”及びa”を決定するステップと、
前記複数のオフセットの各々に対応する前記パラメータp”とa”に基づいて、複数の調整済みtone-mapping曲線を生成するステップと、
前記品質評価アルゴリズムに従って、前記複数の調整済みtone-mapping曲線の各々によって引き起こされる歪みD”を決定するステップと、
前記複数のD”から、第1条件を満たすいずれかのD”を選択するステップであって、前記いずれかのD”に対応するtone-mapping曲線パラメータp”及びa”は、曲線パラメータの調整目標p’及びa’として選択され、DTは選択されたD”である、ステップと、
を更に含む。
【0048】
第4態様を参照して、第4態様の幾つかの実装では、前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定するステップは、
Kが1の場合、決定されたオフセットは、前記曲線パラメータpの前記予測オフセットに前記基本ステップサイズを加えたものであり、前記曲線パラメータpの前記予測オフセットから前記基本ステップサイズを引いたものであることを含む。
【0049】
第4態様を参照して、第4態様の幾つかの実装では、前記第1条件は、2つの歪みD”値の間のより小さな歪みD”に対応するtone-mapping曲線パラメータを選択することである。
【0050】
第4態様を参照して、第4態様の幾つかの実装では、前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定するステップは、
前記基本delta±M×基本ステップサイズ(stepsize)に基づいて、前記複数のオフセットを決定するステップであって、MはK以下の各々の正の整数である、ステップを含む。
【0051】
第4態様を参照して、第4態様の幾つかの実装では、前記第1条件は、前記複数のD”から最小のD”を選択すること、又は前記複数のD”から第1閾値未満のD”を選択することである。
【0052】
第4態様を参照して、第4態様の幾つかの実装では、前記方法は、
式(6):
【数6】
に従い、前記曲線パラメータpの前記予測オフセットを決定するステップを更に含む。
【0053】
deltaC[N-k]は、前記品質評価アルゴリズムに従い計算された(N-k)番目のフレームによって使用されるオフセットを表し、D[N-k]は(N-k)番目のフレームの歪みを表し、Mはウィンドウ長である。
【0054】
第5態様によると、符号化装置であって、
動的メタデータ生成アルゴリズムに従って、N番目のHDRビデオフレームの動的メタデータを取得するよう構成される取得ユニットと、
処理ユニットであって、前記処理ユニットは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて、前記N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するよう構成される処理ユニットと、
を含み、
前記処理ユニットは、前記曲線パラメータに基づいてtone-mapping曲線を生成するよう更に構成され、
前記処理ユニットは、品質評価アルゴリズムに従い、前記tone-mapping曲線により引き起こされる歪みD’を決定するよう更に構成され、
前記処理ユニットは、D’とDTを比較して、前記N番目のHDRビデオフレームで使用されるモードを決定するよう構成され、前記モードは自動モード又はディレクタモードであり、DTは閾値であり、
前記処理ユニットは、前記N番目のHDRビデオフレームで使用される決定されたモードに基づいて、前記N番目のHDRビデオフレームのメタデータを決定するよう更に構成される、符号化装置が提供される。
【0055】
第5態様を参照して、第5態様の幾つかの実装では、前記処理ユニットは、具体的に、
D’がDTより大きい場合に、前記N番目のHDRビデオフレームが前記ディレクタモードを使用すると決定し、DTは前記ディレクタモードにおける前記N番目のHDRビデオフレームの歪みである、又は、
D’がDT以下の場合に、前記N番目のHDRビデオフレームが前記自動モードを使用すると決定、
よう構成される。
【0056】
第5態様を参照して、第5態様の幾つかの実装では、前記処理ユニットは、
Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記曲線パラメータ、及びD’に基づいて、前記N番目のHDRビデオフレームの前記tone-mapping曲線パラメータのオフセットdeltaC[N]を取得するよう更に構成され、Mは0より大きい。
【0057】
第5態様を参照して、第5態様の幾つかの実装では、前記処理ユニットは、
deltaC[N]に従って調整済みtone-mapping曲線を生成し、
前記品質評価アルゴリズムに従って、前記調整済みtone-mapping曲線によって引き起こされる歪みDTを決定する、よう更に構成される。
【0058】
第5態様を参照して、第5態様の幾つかの実装では、前記処理ユニットは、具体的に、
前記N番目のHDRビデオフレームによって使用されるモード、前記動的メタデータ生成アルゴリズム、及び前記tone-mapping曲線パラメータの前記オフセットdeltaC[N]に基づいて、前記N番目のHDRビデオフレームの前記メタデータを生成するよう構成される。
【0059】
第5態様を参照して、第5態様の幾つかの実装では、前記符号化装置は、以下の事前設定された構成パラメータ:
1000nit、500nit及び標準ダイナミックレンジ(SDR)
のいずれか1つ以上に適用される。
【0060】
第5態様を参照して、第5態様の幾つかの実装では、前記トーンマッピング(tone-mapping)曲線は、式(7):
【数7】
により示される。
【0061】
曲線パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である。
【0062】
第5態様を参照して、第5態様の幾つかの実装では、前記処理ユニットは、
前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定し、Kは0以上の正の整数であり、
前記曲線パラメータpの前記複数のオフセットに基づき、前記曲線パラメータpの前記複数のオフセットの各々に対応する曲線パラメータp”及びa”を決定し、
前記複数のオフセットの各々に対応する前記パラメータp”とa”に基づいて、複数の調整済みtone-mapping曲線を生成し、
前記品質評価アルゴリズムに従って、前記複数の調整済みtone-mapping曲線の各々によって引き起こされる歪みD”を決定し、
前記複数のD”から、第1条件を満たすいずれかのD”を選択し、前記いずれかのD”に対応するtone-mapping曲線パラメータp”及びa”は、曲線パラメータの調整目標p’及びa’として選択され、DTは選択されたD”である、
よう更に構成される。
【0063】
第5態様を参照して、第5態様の幾つかの実装では、前記処理ユニットは、具体的に、
Kが1の場合、決定されたオフセットが、前記曲線パラメータpの前記予測オフセットに前記基本ステップサイズを加えたものであり、前記曲線パラメータpの前記予測オフセットから前記基本ステップサイズを引いたものであるよう構成される。
【0064】
第5態様を参照して、第5態様の幾つかの実装では、前記第1条件は、2つの歪みD”値の間のより小さな歪みD”に対応するtone-mapping曲線パラメータを選択することである。
【0065】
第5態様を参照して、第5態様の幾つかの実装では、前記処理ユニットは、具体的に、
基本delta±M×基本ステップサイズ(stepsize)に基づいて前記複数のオフセットを決定するよう構成され、MはK以下の各々の正の整数である。
【0066】
第5態様を参照して、第5態様の幾つかの実装では、前記第1条件は、前記複数のD”から最小のD”を選択すること、又は前記複数のD”から第1閾値未満のD”を選択することである。
【0067】
第5態様を参照して、第5態様の幾つかの実装では、前記処理ユニットは、
式(8):
【数8】
に従い、前記曲線パラメータpの前記予測オフセットを決定するよう更に構成される。
【0068】
deltaC[N-k]は、前記品質評価アルゴリズムに従い計算された(N-k)番目のフレームによって使用されるオフセットを表し、D[N-k]は(N-k)番目のフレームの歪みを表し、Mはウィンドウ長である。
【0069】
第5態様を参照して、第5態様の幾つかの実装では、前記処理ユニットは、具体的に、
前記N番目のHDRビデオフレームによって使用されるモードが前記自動モードである場合、前記N番目のHDRビデオフレームの前記メタデータは、前記N番目のHDRビデオフレームの前記動的メタデータを含むか、又は、
前記N番目のHDRビデオフレームで使用されるモードが前記ディレクタモードの場合、前記N番目のHDRビデオフレームの前記メタデータは、前記N番目のHDRビデオフレームの動的メタデータとP[N]を含み、P[N]は、前記N番目のHDRビデオフレームで使用されるモードが前記ディレクタモードの場合に使用される曲線パラメータPである。
【0070】
第5態様を参照して、第5態様の幾つかの実装では、前記メタデータはフラグビットを含み、前記フラグビットは前記N番目のHDRビデオフレームによって使用されるモードが前記ディレクタモードであることを示すか、又は前記フラグビットが前記N番目のHDRビデオフレームによって使用されるモードが前記自動モードであることを示す。
【0071】
第6態様によると、復号装置であって、
取得ユニットであって、前記取得ユニットは、復号によってN番目のHDRビデオフレームと前記N番目のHDRビデオフレームのメタデータを取得するように構成される、取得ユニットと、
処理ユニットであって、前記処理ユニットは、前記メタデータのフラグビットに従って、前記N番目のHDRビデオフレームで使用されるモードを決定するよう構成される、処理ユニットと、
を含む復号装置が提供される。
【0072】
第6態様を参照して、第6態様の幾つかの実装では、前記フラグビットが、前記N番目のHDRビデオフレームによって使用されるモードが自動モードであることを示す場合、前記処理ユニットは、
前記N番目のHDRビデオフレームの前記メタデータに基づいて、前記自動モードにおけるトーンマッピング(tone-mapping)曲線パラメータを計算し、
前記トーンマッピング(tone-mapping)曲線パラメータに基づいて、前記自動モードでtone-mapping曲線を生成し、
前記自動モードの前記tone-mapping曲線及び前記N番目のHDRビデオフレームに基づいて前記N番目のHDRビデオフレームを表示する、
よう更に構成される。
【0073】
第6態様を参照して、第6態様の幾つかの実装では、前記フラグビットが、前記N番目のHDRビデオフレームによって使用されるモードがディレクタモードであることを示す場合、前記処理ユニットは、
前記動的メタデータから、前記ディレクタモードにおけるトーンマッピング(tone-mapping)曲線パラメータを抽出し、
前記曲線パラメータに基づいて、前記ディレクタモードでtone-mapping曲線を生成し、
前記ディレクタモードの前記tone-mapping曲線及び前記N番目のHDRビデオフレームに基づいて前記N番目のHDRビデオフレームを表示する、
よう更に構成される。
【0074】
第7態様によると、符号化装置であって、
取得ユニットであって、前記取得ユニットは、動的メタデータ生成アルゴリズムに従って、N番目のHDRビデオフレームの動的メタデータを取得する、取得ユニットと、
処理ユニットであって、前記処理ユニットは、前記HDRビデオのトーンマッピング(tone-mapping)曲線パラメータを計算するよう構成される、処理ユニットと、
を含み、
前記処理ユニットは、前記曲線パラメータに基づいて、tone-mapping曲線を生成するよう更に構成され、
前記処理ユニットは、品質評価アルゴリズムに従って、前記tone-mapping曲線によって引き起こされる歪みD’を決定するよう更に構成され、
前記処理ユニットは、Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記tone-mapping曲線パラメータ、及びD’に基づいて、前記N番目のHDRビデオフレームのtone-mapping曲線パラメータのオフセットdeltaC[N]を取得するよう更に構成され、Mは0より大きく、
前記処理ユニットは、前記動的メタデータ生成アルゴリズムと前記N番目のHDRビデオフレームの前記曲線パラメータのオフセットdeltaC[N]に従って、ディレクタモードで前記N番目のHDRビデオフレームのメタデータを生成するよう更に構成される、
符号化装置が提供される。
【0075】
第7態様を参照して、第7態様の幾つかの実装では、前記処理ユニットは、
前記N番目のHDRビデオフレームの前記曲線パラメータの前記オフセットdeltaC[N]に従って、調整済みtone-mapping曲線を生成し、
品質評価アルゴリズムに従って、前記調整済みtone-mapping曲線によって引き起こされる歪みDTを決定し、DTは、前記ディレクタモードにおける(N+j)番目のフレームのオフセットdeltaC[N+j]を予測するために使用され、jは1以上M以下である、
よう更に構成される。
【0076】
第7態様を参照して、第7態様の幾つかの実装では、前記符号化装置は、以下の事前設定された構成パラメータ:
1000nit、500nit及び標準ダイナミックレンジ(SDR)
のいずれか1つ以上に適用される。
【0077】
第7態様を参照して、第7態様の幾つかの実装では、前記トーンマッピング(tone-mapping)曲線は、式(9):
【数9】
により示される。
【0078】
曲線パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、曲線パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である。
【0079】
第7態様を参照して、第7態様の幾つかの実装では、前記処理ユニットは、
前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定し、Kは0以上の正の整数であり、
前記曲線パラメータpの前記複数のオフセットに基づき、前記曲線パラメータpの前記複数のオフセットの各々に対応する曲線パラメータp”及びa”を決定し、
前記複数のオフセットの各々に対応する前記パラメータp”とa”に基づいて、複数の調整済みtone-mapping曲線を生成し、
前記品質評価アルゴリズムに従って、前記複数の調整済みtone-mapping曲線の各々によって引き起こされる歪みD”を決定し、
前記複数のD”から、第1条件を満たすいずれかのD”を選択し、前記いずれかのD”に対応するtone-mapping曲線パラメータp”及びa”は、曲線パラメータの調整目標p’及びa’として選択され、DTは選択されたD”である、
よう更に構成される。
【0080】
第7態様を参照して、第7態様の幾つかの実装では、前記処理ユニットは、具体的に、
Kが1の場合、決定されたオフセットが、前記曲線パラメータpの前記予測オフセットに前記基本ステップサイズを加えたものであり、前記曲線パラメータpの前記予測オフセットから前記基本ステップサイズを引いたものであるよう構成される。
【0081】
第7態様を参照して、第7態様の幾つかの実装では、前記第1条件は、2つの歪みD”値の間のより小さな歪みD”に対応するtone-mapping曲線パラメータを選択することである。
【0082】
第7態様を参照して、第7態様の幾つかの実装では、前記処理ユニットは、具体的に、
基本delta±M×基本ステップサイズ(stepsize)に基づいて前記複数のオフセットを決定するよう構成され、MはK以下の各々の正の整数である。
【0083】
第7態様を参照して、第7態様の幾つかの実装では、前記第1条件は、前記複数のD”から最小のD”を選択すること、又は前記複数のD”から第1閾値未満のD”を選択することである。
【0084】
第7態様を参照して、第7態様の幾つかの実装では、前記処理ユニットは、
式(10):
【数10】
に従い、前記曲線パラメータpの前記予測オフセットを決定するよう更に構成される。
【0085】
deltaC[N-k]は、前記品質評価アルゴリズムに従い計算された(N-k)番目のフレームによって使用されるオフセットを表し、D[N-k]は(N-k)番目のフレームの歪みを表し、Mはウィンドウ長である。
【0086】
第7態様を参照して、第7態様の幾つかの実装では、前記処理ユニットは、具体的に、
前記N番目のHDRビデオフレームによって使用されるモードが前記ディレクタモードである場合、前記N番目のHDRビデオフレームの前記メタデータは、前記N番目のHDRビデオフレームの前記動的メタデータ及びP[N]を含み、P[N]は、前記N番目のHDRビデオフレームで使用されるモードが前記ディレクタモードの場合に使用される曲線パラメータPである、
よう構成される。
【0087】
第7態様を参照して、第7態様の幾つかの実装では、前記動的メタデータはフラグビットを含み、前記フラグビットは、前記N番目のHDRビデオフレームによって使用されるモードが前記ディレクタモードであることを示す。
【0088】
第8態様によると、復号装置であって、
N番目のHDRビデオフレーム及び前記N番目のHDRビデオフレームの動的メタデータを取得するよう構成される取得ユニットと、
処理ユニットであって、前記処理ユニットは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて、前記N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するよう構成される処理ユニットと、
を含み、
前記処理ユニットは、前記曲線パラメータに基づいてtone-mapping曲線を生成するよう更に構成され、
前記処理ユニットは、品質評価アルゴリズムに従い、前記tone-mapping曲線により引き起こされる歪みD’を決定するよう更に構成され、
前記処理ユニットは、D’とDTを比較して、自動モードを使用するかどうかを決定するよう更に構成され、DTは閾値である、復号装置が提供される。
【0089】
第8態様を参照して、第8態様の幾つかの実装では、前記処理ユニットは、具体的に、
D’がDTより大きいとき、Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、前記曲線パラメータ、及びDとD’に基づいて、前記N番目のHDRビデオフレームの前記tone-mapping曲線パラメータのオフセットdeltaC[N]を取得するよう構成され、Mは0より大きい。
【0090】
第8態様を参照して、第8態様の幾つかの実装では、前記処理ユニットは、
deltaC[N]に従って調整済みtone-mapping曲線を生成し、
前記品質評価アルゴリズムに従って、前記調整済みtone-mapping曲線によって引き起こされる歪みDTを決定する、よう更に構成される。
【0091】
第8態様を参照して、第8態様の幾つかの実装では、前記復号装置は、以下の事前設定された構成パラメータ:
1000nit、500nit及び標準ダイナミックレンジ(SDR)
のいずれか1つ以上に適用される。
【0092】
第8態様を参照して、第8態様の幾つかの実装では、前記トーンマッピング(tone-mapping)曲線は、式(11):
【数11】
により示される。
【0093】
曲線パラメータa及びpは、前記N番目のHDRビデオフレームの前記動的メタデータに基づいて決定され、パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L’は出力輝度である。
【0094】
第8態様を参照して、第8態様の幾つかの実装では、前記処理ユニットは、
前記曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、前記調整済み曲線パラメータpの複数のオフセットを決定し、Kは0以上の正の整数であり、
前記曲線パラメータpの前記複数のオフセットに基づき、前記曲線パラメータpの前記複数のオフセットの各々に対応する曲線パラメータp”及びa”を決定し、
前記複数のオフセットの各々に対応する前記パラメータp”とa”に基づいて、複数の調整済みtone-mapping曲線を生成し、
前記品質評価アルゴリズムに従って、前記複数の調整済みtone-mapping曲線の各々によって引き起こされる歪みD”を決定し、
前記複数のD”から、第1条件を満たすいずれかのD”を選択し、前記いずれかのD”に対応するtone-mapping曲線パラメータp”及びa”は、曲線パラメータの調整目標p’及びa’として選択され、DTは選択されたD”である、
よう更に構成される。
【0095】
第8態様を参照して、第8態様の幾つかの実装では、前記処理ユニットは、具体的に、
Kが1の場合、決定されたオフセットが、前記曲線パラメータpの前記予測オフセットに前記基本ステップサイズを加えたものであり、前記曲線パラメータpの前記予測オフセットから前記基本ステップサイズを引いたものであるよう構成される。
【0096】
第8態様を参照して、第8態様の幾つかの実装では、前記第1条件は、2つの歪みD”値の間のより小さな歪みD”に対応するtone-mapping曲線パラメータを選択することである。
【0097】
第8態様を参照して、第8態様の幾つかの実装では、前記処理ユニットは、具体的に、
基本delta±M×基本ステップサイズ(stepsize)に基づいて前記複数のオフセットを決定するよう構成され、MはK以下の各々の正の整数である。
【0098】
第8態様を参照して、第8態様の幾つかの実装では、前記第1条件は、前記複数のD”から最小のD”を選択すること、又は前記複数のD”から第1閾値未満のD”を選択することである。
【0099】
第8態様を参照して、第8態様の幾つかの実装では、前記処理ユニットは、
式(12):
【数12】
に従い、前記曲線パラメータpの前記予測オフセットを決定するよう更に構成される。
【0100】
deltaC[N-k]は、前記品質評価アルゴリズムに従い計算された(N-k)番目のフレームによって使用されるオフセットを表し、D[N-k]は(N-k)番目のフレームの歪みを表し、Mはウィンドウ長である。
【0101】
第9態様によると符号化装置が提供される。前記符号化装置は、少なくとも1つのプロセッサと、メモリと、を含む。前記少なくとも1つのプロセッサは、第1態様又は第1態様の可能な実装のうちのいずれか1つにおける方法を実行するよう構成されるか、又は第3態様又は第3態様の可能な実装のうちのいずれか1つにおける方法を実行するよう構成される。
【0102】
第11態様によれば、ネットワーク装置が提供される。復号装置は、少なくとも1つプロセッサ及びインタフェース回路を含む。前記少なくとも1つのプロセッサは、第2態様又は第2態様の可能な実装のうちのいずれか1つにおける方法を実行するよう構成され、又は第4態様又は第4態様の可能な実装のうちのいずれか1つにおける方法を実行するよう構成される。
【0103】
第12態様によると、コンピュータプログラムプロダクトが提供される。前記コンピュータプログラムプロダクトは、コンピュータプログラムを含む。前記コンピュータプログラムがプロセッサにより実行されると、前記コンピュータプログラムは、第1態様又は第1態様の可能な実装のいずれか1つの方法、第2態様又は第2態様の可能な実装のいずれか1つの方法、第3態様又は第3態様の可能な実装のいずれか1つの方法、又は第4態様又は第4態様の可能な実装のいずれか1つの方法を実行するために使用される。
【0104】
第13態様によると、コンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体はコンピュータプログラムを格納する。前記コンピュータプログラムが実行されると、前記コンピュータプログラムは、第1態様又は第1態様の可能な実装のいずれか1つの方法、第2態様又は第2態様の可能な実装のいずれか1つの方法、第3態様又は第3態様の可能な実装のいずれか1つの方法、又は第4態様又は第4態様の可能な実装のいずれか1つの方法を実行するために使用される。
【0105】
第14の態様によると、チップが提供される。前記チップは、プロセッサであって、メモリからコンピュータプログラムを呼び出し、前記コンピュータプログラムを実行して、前記チップが設置されている通信装置が、第1態様又は第1態様の可能な実装のいずれか1つの方法、第2態様又は第2態様の可能な実装のいずれか1つの方法、第3態様又は第3態様の可能な実装のいずれか1つの方法、又は第4態様又は第4態様の可能な実装のいずれか1つの方法を実行可能にするよう構成される。
【0106】
任意で、チップは、メモリを更に含んでよい。前記メモリは、命令を格納し、前記プロセッサは該メモリに格納された命令又は他の命令を実行するよう構成される。
【図面の簡単な説明】
【0107】
【
図1】本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法が適用されるシステムの概略図である。
【0108】
【0109】
【0110】
【0111】
【0112】
【
図6】本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法の概略フローチャートである。
【0113】
【
図7】本願による高ダイナミックレンジ(HDR)ビデオ処理方法が適用されるシステムの概略ブロック図である。
【0114】
【
図8】本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法のためのシステムの概略図である。
【0115】
【
図9】本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法の概略フローチャートである。
【0116】
【
図10】本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法600の概略フローチャートである。
【0117】
【
図11】本願による高ダイナミックレンジ(HDR)ビデオ処理方法が適用されるシステムの概略ブロック図である。
【0118】
【
図12】本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法の概略フローチャートである。
【0119】
【
図13】本願による高ダイナミックレンジ(HDR)ビデオ処理方法が適用されるシステムの概略ブロック図である。
【0120】
【
図14】本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法の概略フローチャートである。
【0121】
【
図15】本願の一実施形態による機器の概略ブロック図である。
【0122】
【
図16】本願による端末装置の構造を示す概略図である。
【発明を実施するための形態】
【0123】
以下は、添付の図面を参照して、本願の技術的ソリューションを説明する。
【0124】
図1は、本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法が適用されるシステム100の概略図である。
図1に示すように、HDRエンドツーエンド処理システムは、一般に、4つの部分:HDR前処理モジュール110、HDRビデオ符号化モジュール120、HDRビデオ復号モジュール130、HDR動的トーンマッピングモジュール140を含む。HDR前処理モジュール110とHDRビデオ符号化モジュール120はエンコーダ側であり、HDRビデオ復号モジュール130とHDR動的tone-mappingモジュール140はデコーダ側である。
【0125】
HDRビデオはHDR前処理モジュール110に入力される。HDRビデオは、キャプチャされたビデオである場合もあれば、カラーリスト又は装置によってアルゴリズムに従って処理されたHDRビデオである場合もある。HDRビデオのピクセル値に対して光電変換が実行されている。例えば、HDRビデオのピクセル値はPQドメインの値である。
【0126】
HDR前処理モジュール110は静的メタデータと動的メタデータの抽出を担当する。HDRビデオがディレクタモードを使用する場合、HDR前処理モジュール110はディレクタモードのtone-mappingの曲線パラメータを計算し、ディレクタモードのtone-mappingの曲線パラメータをメタデータに書き込む。
【0127】
HDRビデオ符号化モジュール120は、HDRビデオとメタデータを符号化し、メタデータはビットストリームのユーザ定義部分に埋め込まれる。HDRビデオ符号化モジュール120は、例えば、高効率ビデオコーディング(High Efficiency Video Coding, HEVC)又は第2世代デジタルオーディオ及びビデオコーディング規格(Audio Video Coding Standard 2, AVS2)のいずれかの規格に準拠したエンコーダを使用してよい。HDRビデオ符号化モジュールが符号化を完了した後、エンコーダ側はビットストリームをデコーダ側に送信してよい。
【0128】
デコーダ側のHDRビデオ復号モジュール130は、ビットストリームのフォーマットに対応した規格に従ってビットストリームを復号し、復号されたHDRビデオとHDRメタデータを出力する。
【0129】
HDR動的tone-mappingモジュール140は、復号されたHDRビデオ、メタデータ、ディスプレイ装置のピーク輝度に基づいて、tone-mapping曲線を計算し、トーンマッピングを行い、最終的にビデオをディスプレイに出力する。HDRビデオがディレクタモードを使用する場合、HDR動的tone-mappingモジュールは計算せずにメタデータ内の曲線パラメータを直接使用する。
【0130】
HDRビデオがHDR前処理モジュール110に入力される前に、HDRビデオの画素値に対して光電変換を行う必要がある。ディスプレイ装置の最大輝度情報は現実世界の輝度情報に届かず、画像はディスプレイ装置上で見える。そのため、光電変換関数が必要となる。光電変換をよりよく理解するためには、ダイナミックレンジ(Dynamic Range)の概念を導入する必要がある。
【0131】
ダイナミックレンジ(Dynamic Range)は、多くの分野で変数の最大値と最小値の比を示す。デジタル画像の場合、ダイナミックレンジとは、画像を表示できる範囲における最大グレースケール値と最小グレースケール値の比である。自然のダイナミックレンジは非常に大きい。星空の下の夜景の輝度は約0.001cd/m
2である。太陽の輝度は最大1000000000cd/m
2である。したがって、ダイナミックレンジは1000000000/0.001=10
13の桁に達する。しかし、自然界で、太陽の輝度と星の輝度が同時に得られることはない。現実世界の自然のシーンの場合、ダイナミックレンジは10
-3から10
6である。現在、ほとんどのカラーデジタル画像では、R、G、Bチャネルは各々1バイト、つまり8ビットを使用して格納されている。つまり、各チャネルの表現範囲は0~255グレースケールである。ここで、0~255は、画像のダイナミックレンジである。現実世界における同じシーンのダイナミックレンジは、10
-3~10
6の範囲であり、高ダイナミックレンジ(high dynamic range, HDR)と呼ばれる。相対的に、一般的な画像のダイナミックレンジは標準ダイナミックレンジ(standard dynamic range, LDR)である。デジタルカメラの画像処理は、実際には、現実世界の高ダイナミックレンジから写真の標準ダイナミックレンジへのマッピングである。現実世界の高ダイナミックレンジから写真の標準ダイナミックレンジへのマッピングは通常、非線形プロセスである。
図2に示すように、
図2は現実世界の高ダイナミックレンジからディスプレイ装置の標準ダイナミックレンジへの動的マッピングの概略図である。
図2では、現実世界のダイナミックレンジは約80から2000であり、ディスプレイ装置にマッピングされるダイナミックレンジは約1から200である。
【0132】
標準ダイナミックレンジ画像は、高ダイナミックレンジ画像に対応する。従来から使用されているjpegなどの形式の8ビット画像は、標準ダイナミックレンジ画像と見なすことができる。HDR画像を撮影できるカメラが登場する以前は、従来のカメラは、露出値を制御することで、特定の範囲内の撮影した光情報しか記録できなかった。ディスプレイ装置の最大輝度情報は現実世界の輝度情報に届かず、画像はディスプレイ装置上で見える。そのため、光電変換関数が必要となる。初期のディスプレイ装置は陰極線管(Cathode Ray Tube, CRT)ディスプレイであり、光電変換関数はガンマ関数である。ITU-R勧告BT.1886規格は、式(1)に示すように、ガンマ関数に基づいて光電変換関数を定義している。
【数13】
【0133】
量子化及び変換の後の8ビット画像は従来のSDR画像である。SDR画像及び変換関数は、従来のディスプレイ装置(輝度が約100cd/m2)で良好に動作する。
【0134】
しかし、ディスプレイ装置のアップグレードに伴い、ディスプレイ装置の輝度範囲は増加し続けている。既存の民生用HDRディスプレイの輝度情報は600cd/m2であり、ハイエンドHDRディスプレイの輝度情報は2000cd/m2に達し、SDRディスプレイ装置の輝度情報をはるかに超える。ITU-R勧告BT.1886規格の光電変換関数は、HDRディスプレイ装置の表示性能をうまく表現できない。そのため、ディスプレイ装置のアップグレードに対応するためには、光電変換関数の向上が必要となる。現在、3つの一般的な光電変換関数:知覚量子化器(perception quantizer, PQ)、ハイブリッドログガンマ(Hybrid Log-Gamma, HLG)、シーン輝度忠実度(Scene Luminance Fidelity, SLF)がある。以下は、3つの曲線を説明する。
【0135】
ここで、PQ光電変換関数は従来の「ガンマ」変換関数とは異なる。知覚量子化変換関数は、人間の目の輝度知覚モデルに基づいて提案された。PQ光電変換関数は、画像ピクセルの線形信号値からPQ領域の非線形信号値への変換関係を表す。PQ光電変換関数の画像については、
図3を参照する。
図3は、PQ光電変換関数の画像を示す。PQ光電変換関数は、式(2)で表すことができる:
【数14】
【0136】
式(2)のパラメータは、式(3)に従って計算することができる:
【数15】
【0137】
Lは線形信号値を表し、値は[0,1]に正規化される。
【0138】
L'は非線形信号値を表し、値の範囲は[0,1]である。
【0139】
【0140】
【0141】
【0142】
【0143】
【0144】
HLG光電変換関数は従来のガンマ曲線を改良することによって得られる。
図4は、HLG光電変換関数の図である。HLG光電変換関数では、下半分の領域で従来のガンマ曲線を使用し、上半分の領域では対数曲線が補われている。HLG光電変換関数は、画像ピクセルの線形信号値とHLGドメイン内の非線形信号値との間の変換関係を示し、HLG光電変換関数は式(4)で表すことができる:
【数21】
【0145】
Lは線形信号値を表し、値の範囲は[0,12]である。
【0146】
L'は非線形信号値を表し、値の範囲は[0,1]である。
【0147】
a=0.17883277であり、これはHLG光電変換係数である。
【0148】
b=0.28466892であり、これはHLG光電変換係数である。
【0149】
c=0.55991073であり、これはHLG光電変換係数である。
【0150】
SLF光電変換関数は、人間の目の光学的特性を満たすときに、HDRシーンにおける輝度分布に基づいて得られる最適曲線である。
図5を参照する。
図5は、SLF光電変換関数の図である。SLF光電変換曲線は、画像ピクセルの線形信号値とSLFドメインの非線形信号値との間の変換関係を表す。画像ピクセルの線形信号値とSLFドメインの非線形信号値との間の変換関係を式(5)に示す:
【数22】
【0151】
式(5)のパラメータは、式(6)に従って計算することができる:
【数23】
【0152】
Lは線形信号値を表し、値は[0,1]に正規化される。
【0153】
L'は非線形信号値を表し、値の範囲は[0,1]である。
【0154】
p=2.3であり、これはSLF光電変換係数である。
【0155】
m=0.14であり、これはSLF光電変換係数である。
【0156】
a=1.12762であり、これはSLF光電変換係数である。
【0157】
b=-0.12762であり、これはSLF光電変換係数である。
【0158】
HDR前処理モジュール110は静的メタデータと動的メタデータの抽出を担当し、主にダイナミックレンジマッピングによってフロントエンドHDR信号とバックエンドHDR端末ディスプレイ装置に適応する。例えば、フロントエンドは4000ニト(nit、光の強さの単位)の光信号を収集するが、バックエンドのHDR端末ディスプレイ装置(TV又はiPad)のHDR表示能力は500nitしかない。したがって、4000nitの信号を500nitの装置にマッピングする方法は、高から低光強度へのtone-mapping処理である。別の例として、フロントエンドは100nitのSDR信号を収集し、ディスプレイエンドは2000nitのテレビ信号を表示できる。100nitの信号を2000nitの装置で良好に表示することは、低から高への別のtone-mapping処理である。
【0159】
ダイナミックレンジマッピングは静的マッピングと動的マッピングに分類できる。静的マッピング方法は、同じビデオコンテンツ又は同じハードディスクコンテンツに基づく単一データの全体的なtone-mapping処理を表す。つまり、処理曲線は同じである。この方法の利点は、伝達される情報が少なく、処理手順が簡単であることである。この方法の欠点は、各シーンでtone-mappingのために同じ曲線を使用することである。そのため、シーンによっては情報が失われることがある。例えば、明るい領域の保護に焦点を当てた曲線の場合、一部の極端に暗いシーンでは一部の詳細が失われたり見えなくなったりすることがある。これはユーザ経験に影響する。動的マッピング方法では、特定の領域、シーンごと、又はフレームごとの内容に基づいて動的調整が行われる。この方法の利点は、特定のエリア、各シーン、又は各フレームに基づいて異なる曲線処理が実行されてよいことである。各フレーム又は各シーンが関連するシーン情報を伝達する必要があり、伝達される情報の量が多いという欠点がある。
【0160】
前処理では、HDRビデオにより使用されるモードが使用される。例えば、HDRビデオで使用されるモードは自動モードであり、又はHDRビデオで使用されるモードはディレクタモードである。自動モードのアルゴリズムは、膨大なテストデータに基づいて得られる経験式であり、実際にはほとんどのシーンをカバーすることができる。ただし、シーンによっては自動モードで計算した曲線が良い効果を達成できない場合がある。ディレクタモードとは、ディレクタカラーリストが手動でパラメータを調整及び決定するか、又は自動モードのパラメータを補正し、曲線パラメータをさらに最適化して、ディレクタモードを得ることを意味する。通常、補正を伴うディレクタモードでは良好な効果が得られる。
【0161】
これに鑑み、本願は高ダイナミックレンジ(HDR)ビデオ処理方法を提案する。本方法によれば、HDRビデオが使用するモードを決定することができ、より良いtone-mapping効果を実現することができる。
【0162】
本願で提供される高ダイナミックレンジ(HDR)ビデオ処理方法について、
図6を参照して以下に詳細に説明する。
図6は、本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法200の概略フローチャートである。方法200は、
図1に示すシナリオに適用されてよく、又は勿論、ビデオ処理を行う必要がある別のシナリオに適用されてもよい。これは、本願の本実施形態において限定されない。
【0163】
理解されるべきことに、本願の本実施形態では、方法は、方法が符号化装置により実行される例を用いて説明される。例により、限定ではなく、方法は、代替として、符号化装置内で使用されるチップ、チップシステム、プロセッサ等により実行されてよい。
【0164】
図6に示すように、
図6に示す方法200は、S210~S260を含んでよい。以下は、
図6を参照して、方法200のステップを詳細に説明する。
【0165】
S210:符号化装置は、N番目のHDRビデオフレームの動的メタデータを動的メタデータ生成アルゴリズムに従って取得する。ここで、Nは0より大きい。HDRビデオのN番目のフレームは、略してN番目のHDRビデオフレームと呼ばれる。
【0166】
S220:符号化装置は、N番目のHDRビデオフレームの動的メタデータに基づいて、N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算する。
【0167】
S230:符号化装置は、曲線パラメータに基づいてtone-mapping曲線を生成する。
【0168】
S240:符号化装置は、品質評価アルゴリズムに従い、tone-mapping曲線による歪みD’を決定する。
【0169】
S250:符号化装置はD’とDTを比較して、N番目のHDRビデオフレームで使用されるモードを決定する。ここで、モードは自動モード又はディレクタモードであり、DTは閾値である。
【0170】
S260:符号化装置は、N番目のHDRビデオフレームが使用する決定されたモードに基づいて、N番目のHDRビデオフレームのメタデータを決定する。
【0171】
方法200では、N番目のHDRビデオフレームで使用されるモードが自動モードかディレクタモードかは、DTと、品質評価アルゴリズムに従って決定された、tone-mapping曲線によって発生する歪みD’とを比較することによって決定されるため、tone-mapping曲線によって発生する歪みに基づいてHDRビデオで使用されるモードを決定できる。これにより、より良いtone-mapping効果が得られる。
【0172】
ステップS210で、動的メタデータ生成アルゴリズムに従って、N番目のHDRビデオフレームの動的メタデータを取得する。動的メタデータとは、一般に基本動的メタデータを表し、基本動的メタデータは、一般的に、現在フレーム又は現在シーンのすべてのピクセルのうちのmaxrgb値の最小値(minimum_maxrgb_pq)、現在フレーム又は現在シナリオのすべてのピクセルのうちのmaxrgb値の平均値(average_maxrgb_pq)、すべてのピクセルのmaxrgb値の90%分位に相当する値から10%分位に相当する値を引くことにより得られる値(variance_maxrgb_pq)、及び現在フレーム又は現在シーンのすべてのピクセルのうちのmaxrgb値の最大値(maximum_maxrgb_pq)を含む。maxrgb値は、ピクセルのR、G、及びB成分の最大値である。ここでの値は、PQドメイン内、つまり0から1の間の値を表すことに留意する。
【0173】
ステップS220で、N番目のHDRビデオフレームの動的メタデータに基づいて、N番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータが計算される。
【0174】
トーンマッピング(tone-mapping)曲線パラメータは、例えばドルビーが提案したシグモイドに基づく曲線、及びサムスンが提案したベッセル曲線など、複数の種類の曲線パラメータであってよい。ドルビー及びサムスンにより提案された曲線ソリューションは、すべてプライベートなソリューションであり、具体的な実装には承認を得る必要がある。
【0175】
トーンマッピング(tone-mapping)曲線パラメータは、SLF曲線に基づく動的tone-mapping曲線であってもよく、SLF曲線に基づく動的tone-mapping曲線の形式は、式(7)で示される。
【数24】
【0176】
値の範囲は0.0から1.0であり、bの値は0.0から1.0に及び、pとmの値は0.1から60に及ぶ。L'は出力輝度を表し、例えば0.0から1.0の範囲の有理数であってもよい。Lは入力輝度を表し、例えば0.0から1.0の範囲の有理数であってもよい。曲線形式は、より多様な形式を提供するのに十分な柔軟性がない。具体的には、曲線はC、逆S、逆Cの形状のみであり、正のS形状は提供できない。画像が高コントラストのシーンにある場合は、正のS字カーブが必要である。
【0177】
トーンマッピング(tone-mapping)曲線パラメータは、式(8)に示すtone-mapping曲線形式でもよい。(8)式に示すように:
【数25】
【0178】
aの値は0.0から1.0に及び、bの値は0.0から1.0に及び、pとmの値は0.1から60に及ぶ。L'は出力輝度を表し、例えば0.0から1.0の範囲の有理数であってもよい。Lは入力輝度を表し、例えば0.0から1.0の範囲の有理数であってもよい。
【0179】
a、b、p、n、mの特定の値は、動的キー情報、例えば特定の領域、各フレーム、又は各シーンの動的メタデータに基づいて決定される。aは主にシーン内の最大輝度値、シーン内の撮影装置の最大パラメータ、又はディスプレイ装置の最大表示能力に関係する。bはシーン内の最小値とディスプレイ装置の最小表示能力に関係する。P、n、mはシーンの全体的なスタイルに関連している。
【0180】
【0181】
通常、mは2.4に固定され、nは1に固定され、bはディスプレイの最小輝度で固定されている。パラメータaとpのみを計算する必要がある。pは輝度と曲線の高さを調整するために使用される。pの値が大きいほど、曲線が高いことを示す。パラメータaは曲線の最大値を制限するために使用される。値がディスプレイ装置の最大値を超えることはできない。ディスプレイ装置の最大値は一定である。したがって、パラメータpが決まれば、pに基づいてパラメータaを計算することができる。
【0182】
ステップS230において、符号化装置は自動モードのtone-mapping曲線パラメータに基づいて自動モードのtone-mapping曲線を生成する。
【0183】
ステップS240で、符号化装置は、品質評価アルゴリズムに従い、自動モードのtone-mapping曲線により生じる歪みD’を決定する。品質評価アルゴリズムは、品質評価モデルとも呼ばれてよい。現在、最も最先端のHDR画質評価モデルは、[1]と[2]である([1]は、HDR-VDP-2.2:高ダイナミックレンジ及び標準画像の客観的品質予測のための較正方法(HDR-VDP-2.2: A Calibrated Method for Objective Quality Prediction of High Dynamic Range and Standard Images, ,Manish Narwaria, Rafal K. Mantiuk, Mattheiu Perreira Da Silva and Patrick Le Callet. In: Journal of Electronic Imaging, 24(1), 2015)であり、[2]は、ダイナミックレンジに依存しない画質評価(Dynamic Range Independent Image Quality Assessment, Tunc O. Aydin, Rafal Mantiuk, Karol Myszkowski, Hans-Peter Seidel. In: ACM Transactions on Graphics (Proc. of SIGGRAPH'08), 27(3), article no. 69, 2008)である。)HVSと、異なる輝度及び空間周波数に対するHVSの感度とに基づいて、tone-mapping前後の2つの画像の各ピクセル位置における局所コントラストの知覚エラーを計算する。確率が0の場合は人間の目では差を認識できず、tone-mapping後の画質が良好であることを示す。確率が1の場合は人間の目で差を認識でき、tone-mapping後の画質が粗悪であることを示す。すべてのピクセルで輝度と空間周波数が異なり、tone-mappingの結果も異なるため、各ピクセルは知覚エラーに対応する。最後に、すべてのピクセルの知覚エラーを重ね合わせて、画像全体の平均知覚エラーQを得る。
【0184】
品質評価モデルの入力はtone-mapping前の元の画像であり、出力はtone-mapping後の結果として生じた画像である。どちらも線形フィールドの値であり、nitの単位である。モデルの出力Qは品質損失を表し、0から1の間の値に正規化できる。出力値が大きいほど粗悪な画質を示す。0は各ピクセルに損失がなく、画質が最も高いことを示す。1は各ピクセルが明らかな知覚エラーを有し、画質が最も悪いことを示す。
【0185】
ステップS250で、符号化装置はD’とDTを比較して、N番目のHDRビデオフレームで使用されるモードを決定する。ここで、モードは自動モード又はディレクタモードであり、DTは閾値である。
【0186】
本願をより明確に理解するために、以下は、自動モードとディレクタモードについて説明する。
【0187】
自動モードは、非ディレクタモードであり、例えば、非手動介入モード又は非手動干渉モードである。自動モードは、手動介入を伴わないtone-mappingモードとも呼ばれてよい。自動モードの曲線パラメータは、基本動的メタデータに基づいて計算される。色関連の動的メタデータは自動モードで利用できるが、必須ではない。
【0188】
一般的な意味でのディレクタモードは、ディレクタカラーリストが手動で調整を行い、パラメータを決定することを意味する。これは、本願のディレクタモードの唯一のケースである。本願のディレクタモードは、アルゴリズムを使用して曲線パラメータを計算することを更に含む。アルゴリズムを使用して曲線パラメータを計算することは、パラメータ調整のためにディレクタとカラーリストを置き換えることと同じである。そのため、広義のディレクタモードでもある。依然として、ディレクタモードの基本動的メタデータを送信する必要がある。曲線のパラメータは、カラーリストが手動で調整することも、コンピュータアルゴリズムを使用して計算することもできる。基本曲線のパラメータに加えて、TH1、TH2、TH3、TH_strengthなどの3次スプラインのパラメータも手動で調整するか、アルゴリズムを使用して計算する必要がある。これらのパラメータも動的メタデータに埋め込まれ、復号装置に送信される。復号装置は、これらのパラメータを直接使用して、表示能力に基づいてtone-mapping曲線を生成する。適切な調整を行うこともできる。同様に、色関連の動的メタデータが利用可能であるが、必須ではない。
【0189】
したがって、自動モードとディレクタモードの本質的な違いは、次の通りである。自動モードでは、基本動的メタデータのみが送信され、デコーダ側が曲線パラメータを単独で計算して曲線を生成する必要がある。ディレクタモードでは、曲線パラメータはプロダクション側又はエンコーダ側で事前に計算され、動的メタデータの一部としてデコーダ側に送信される。デコーダ側は、これらのパラメータを直接使用して曲線を生成できる。
【0190】
DTは、ディレクタモードにおけるN番目のHDRビデオフレームの歪みであり、D’とDTを比較して、N番目のHDRビデオフレームで使用されるモードを決定するステップは、
D’がDTより大きい場合に、N番目のHDRビデオフレームがディレクタモードを使用すると決定するステップ、又は、
D’がDT以下の場合に、N番目のHDRビデオフレームが自動モードを使用すると決定するステップ、を含む。
【0191】
ステップS260で、符号化装置は、N番目のHDRビデオフレームが使用する決定されたモードに基づいて、N番目のHDRビデオフレームのメタデータを決定する。
【0192】
メタデータはフラグビットを含み、フラグビットはN番目のHDRビデオフレームによって使用されるモードがディレクタモードであることを示すか、又はフラグビットがN番目のHDRビデオフレームによって使用されるモードが自動モードであることを示す。例えば、自動モードではビットストリームフラグビットtone_mapping_mode=0であり、ディレクタモードではビットストリームフラグビットtone_mapping_mode=1である。
【0193】
方法は、Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、tone-mapping曲線パラメータ、及びD’に基づいて、N番目のHDRビデオフレームのtone-mapping曲線パラメータのオフセットdeltaC[N]を取得するステップであって、Nは0より大きい、ステップ、を更に含む。ステップS260は、具体的に、N番目のHDRビデオフレームによって使用されるモード、動的メタデータ生成アルゴリズム、及びtone-mapping曲線パラメータのオフセットdeltaC[N]に基づいて、N番目のHDRビデオフレームのメタデータを生成するステップであってよい。
【0194】
方法は、
deltaC[N]に従って調整済みtone-mapping曲線を生成するステップと、
品質評価アルゴリズムに従って、調整済みtone-mapping曲線によって引き起こされる歪みDTを決定するステップと、を更に含んでよい。
【0195】
方法は、以下の事前設定された構成パラメータ:1000nit、500nit及び標準ダイナミックレンジ(SDR)、のいずれか1つ以上に適用されてよい。
【0196】
事前設定された構成パラメータは単に例として使用され、本願の制限にはならないことを理解しておく必要がある。例えば、事前設定された構成パラメータは、代替として、900nit、400nitなどでもよい。
【0197】
本願をより明確な理解のために、以下は、前述の式(8)に示すトーンマッピング(tone-mapping)曲線の形式を参考に、本願での方法を詳細に説明する。
【0198】
図7は、本願に従い高ダイナミックレンジ(HDR)ビデオ処理方法が適用されるシステムの概略ブロック図である。
図7に示すように、この方法は、エンコーダ側310とデコーダ側320を含むシステムに適用することができる。
【0199】
エンコーダ側310は、次の4つのステップを実行できる。S311:エンコーダ側310は、動的メタデータ抽出アルゴリズムに従って、HDRソースビデオの基本動的メタデータを抽出する。S312:エンコーダ側310は、基本動的メタデータに従って自動モードで曲線パラメータを計算する。S313:エンコーダ側310は、時間ドメインフィルタリングに従って曲線パラメータのオフセットを予測し、品質評価アルゴリズムに従って曲線パラメータを補正する。S314:エンコーダ側310は、補正済み曲線パラメータのtone-mapping曲線歪み、及び自動モードにおける曲線パラメータのtone-mapping曲線歪みに基づいて、自動モードとディレクタモードの間を切り換える。
【0200】
エンコーダ側が送信するビットストリームを取得すると、デコーダ側320は、ビットストリーム内のメタデータの中のフラグビットに従って、ビットストリーム内のHDRビデオで使用されるモードを決定する必要がある。デコーダ側320は、HDRビデオで使用される異なるモードに応じて、2つの分岐ステップを実行することができる。
【0201】
HDRビデオがビットストリームで自動モードを使用する場合は、以下のステップが実行されてよい。
【0202】
S321:デコーダ側320は、動的メタデータ抽出アルゴリズムに従って、HDRソースビデオの基本動的メタデータを抽出する。S322:デコーダ側320は、基本動的メタデータに基づき、曲線パラメータを計算する。
【0203】
S323:デコーダ側320は、基本動的メタデータの曲線パラメータに基づき曲線を生成する。
【0204】
HDRビデオがビットストリームでディレクタモードを使用する場合は、以下のステップが実行されてよい。
【0205】
S324:デコーダ側320は、メタデータから曲線パラメータを抽出する。
【0206】
S325:デコーダ側320は、抽出された曲線パラメータに従って曲線を生成する。
【0207】
曲線パラメータを生成した後、デコーダ側320は、復号されたHDRビデオに基づいてディスプレイ適応を行い、HDRビデオを表示する。
【0208】
以下は、前述の式(8)に示すトーンマッピング(tone-mapping)曲線の形式を参考に、本願での方法を詳細に説明する。
図8は、本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法の概略フローチャートである。方法400は、
図1又は
図7に示すシナリオに適用されてよく、又は勿論、ビデオ処理を行う必要がある別のシナリオに適用されてもよい。これは、本願の本実施形態において限定されない。
【0209】
理解されるべきことに、本願の本実施形態では、方法は、方法が符号化装置により実行される例を用いて説明される。例により、限定ではなく、方法は、代替として、符号化装置内で使用されるチップ、チップシステム、プロセッサ等により実行されてよい。
【0210】
図8に示すように、
図8に示す方法400は、S401~S415を含んでよい。以下は、
図8を参照して、方法400のステップを詳細に説明する。
【0211】
S401:符号化装置は、動的メタデータ抽出アルゴリズムに従って、N番目HDRビデオフレームの基本動的メタデータを抽出する。
【0212】
S402:符号化装置は、基本動的メタデータに基づいて、自動モードでN番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータp'及びa’を計算する。
【0213】
以下は、基本動的メタデータに基づいて計算される、自動モードにおけるN番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータp'及びa’を生成する方法を具体的に説明する。
【0214】
まず、処理対象フレーム、つまりN番目のフレームの最大輝度補正値max_lumを更新する処理について説明する。
【0215】
(1)最大ディスプレイ輝度値max_display_mastering_luminanceをPQドメインに変換して、参照ディスプレイ装置のディスプレイ輝度範囲MaxRefDisplayを取得する。
【0216】
(2)式(9)に従ってメタデータの中のmaximum_maxrgb、average_maxrgb、variance_maxrgbを代入して、処理対象フレームの最大輝度参照値MAX1を計算する:
【数27】
【0217】
AとBは重み係数である。Aはaverage_maxrgbの関数であり、A=(1-B)×(1-F(average_maxrgb/maximum_maxrgb))である。F(x)は定数関数である。AとBはデフォルトで1/3である。
【0218】
(3)式(10)に従って最終的な最大輝度補正値を決定する:
【数28】
【0219】
次に、自動モードにおけるトーンマッピング(tone-mapping)曲線パラメータp'とa’について説明する。
【0220】
(1)mとnを各々事前設定された値2.4と1に設定する。上記のパラメータが事前設定された後、曲線は以下のように変化する:
【数29】
【0221】
(2)bをMinDisplayに設定する。
【0222】
(3)メタデータのaverage_maxrgb(avgL)に式(11)を代入してpを計算する:
【数30】
【0223】
式中、
【数31】
、PvalueH0、PvalueL0、TPH0、及びTPL0は、事前設定された値であり、デフォルトで3.5、4.0、0.6、及び0.3である。g0()は、y=xNであり、yはデフォルトでxに等しい。
【0224】
(4)式(12)に従って最大輝度補正値max_lumによりp'を更新する:
【数32】
【0225】
PdeltaH1、PdeltaL1、TPH1、及びTPL1は、事前設定された値であり、デフォルトで0.6、0.0、0.9、及び0.75である。g1()は、y=xNであり、yはデフォルトでxに等しい。
【0226】
(5)式(13)に示すように、p、m、n、b、K1、K2、K3に従ってH(L)を得る:
【数33】
【0227】
したがって、パラメータa’は式(14)に従って決定される:
【数34】
【0228】
MaxSourceは処理対象フレームの最大輝度補正値max_lum(PQドメイン)に等しく、MinSourceは処理対象フレームの最小輝度min_lum(PQドメイン)に等しい。
【0229】
S403:符号化装置は、自動モードの曲線パラメータp'とa’に基づいて自動モードのtone-mapping曲線を生成する。
【0230】
S404:符号化装置は、品質評価アルゴリズムに従い、自動モードのtone-mapping曲線により生じる歪みD’を決定する。
【0231】
このステップでは、符号化装置は、自動モードの曲線パラメータp'とa’に基づいて、自動モードのtone-mapping曲線を生成して、トーンマッピングを行い、トーンマッピング前後の2つの画像を品質評価モデルに入力して主観的歪みD’を算出する。
【0232】
S405:符号化装置は、時間ドメインフィルタリング方法を用いて、自動モードにおけるパラメータp'に対する最適曲線パラメータのオフセットdeltaを予測する。自動モードにおけるパラメータp'に対する最適曲線パラメータのオフセットは、次の式(15)に従って予測することができる:
【数35】
【0233】
deltaC[N-k]は(N-k)番目のフレームで使用されるオフセットを表し、D[N-k]は(N-k)番目のフレームの主観的歪みを表し、品質モデルを使用して計算され、k=1,2,...,Mである。Mはバッファ内のキュー長である。Mの値が大きいほど、使用される履歴データが多く、フィルタリング結果が滑らかであることを示す。Mの値が小さいほど、使用された履歴データが現在フレームに近く、変更傾向をよりよく反映できることを示す。極端な場合、M=1は固定である。これは、前のフレームを使用して現在フレームを予測することに相当し、ここでdelta=deltaC[N-1]である。Mの推奨最大値は4~8の範囲である。
【0234】
通常、予測オフセットdeltaと最適オフセット値の間には偏差がある。そのため、予測オフセットdeltaを補正して、補正値を最適値に近づける必要がある。deltaに基づいて、各々、ステップを増加させ、ステップを減少させて、2つのdelta補正値を計算し、より低い歪みのために、2つの補正値を比較する。ステップS406及びステップS407を参照する。
【0235】
S406:符号化装置は、曲線パラメータp'の予測オフセットを補正し、ここで、補正済み曲線パラメータp'のオフセットは、曲線パラメータpの予測オフセットから基本ステップサイズ(stepsize)を引いたもの、すなわち、deltaC1=delta-stepsizeであり、推奨ステップサイズはパラメータp'に対して0.1であり、
自動モードの曲線パラメータp'と補正済み曲線パラメータp'のオフセットに基づいて、調整済み曲線パラメータp1を決定し、ここで、p1=p+deltaC1、つまり、a1はp1に従って計算され、パラメータp1とa1に従って調整済みtone-mapping曲線を生成し、品質評価アルゴリズムに従って、複数の調整済みtone-mapping曲線のうち、各tone-mapping曲線に起因する歪みD1を決定する。
【0236】
S407:符号化装置は、曲線パラメータp'の予測オフセットを補正し、ここで、補正済み曲線パラメータp'のオフセットは、曲線パラメータp'の予測オフセットに基本ステップサイズ(stepsize)を加えたもの、すなわち、deltaC2=delta+stepsizeであり、
自動モードの曲線パラメータp'と補正済み曲線パラメータp'のオフセットに基づいて、調整済み曲線パラメータp2を決定し、つまり、a2をp2に従って計算し、パラメータp2とa2に従って調整済みtone-mapping曲線を生成し、品質評価アルゴリズムに従って、複数の調整済みtone-mapping曲線のうち、各tone-mapping曲線に起因する歪みD2を決定する。
【0237】
本願の実施形態では、補正値をテストするたびに品質評価モデルを1回計算する必要があり、品質評価モデルの計算量が多いため、補正値を2回しか計算しない。したがって、本願の実施形態では、補正値を2回計算することが制限される。このように、フレームごとに最適値を得ることは保証できない。ただし、予測値を基に(ステップ毎に)最適値に近い値が得られるため、時間の経過とともに予測値は徐々に最適値に近い値に収束していく。
【0238】
S408:符号化装置はD1とD2を比較する。
【0239】
S409:D1がD2以下の場合、補正曲線パラメータp'のオフセットはdeltaC1であり、補正曲線パラメータの歪みDT=D1、パラメータセットP={p1、a1}である。
【0240】
S410:D1がD2より大きい場合、補正曲線パラメータpのオフセットはdeltaC2であり、補正曲線パラメータの歪みDT=D2、パラメータセットP={p2、a2}である。
【0241】
deltaCに対応する予測及び補正された曲線パラメータは、ほとんどの場合自動モードのものよりも優れているが、必ずしもすべての場合ではない。そのため、比較する必要がある。自動モードの方が優れている場合、N番目のフレームは自動モードを使用する。予測され補正された値が優れている場合、現在フレームはディレクタモードを使用する。
【0242】
S411:自動モードのtone-mapping曲線により生じる歪みD’と、補正済み曲線パラメータの歪みDTを比較する。
【0243】
S412:N番目のフレームの曲線パラメータP[N]=P、歪みD[N]=DT、オフセットdeltaC[N]=deltaCで、D’がDTより大きい場合、N番目のHDRビデオフレームがディレクタモードを使用することを決定する。
【0244】
S413:パラメータセットP[N]をディレクタモードでメタデータに入れる。
【0245】
S414:N番目のフレームの曲線パラメータP[N]=P'、歪みD[N]=D’、及びオフセットdeltaC[N]=0で、D’がDT以下の場合、N番目のHDRビデオフレームが自動モードを使用することを決定する。P[N]は動的メタデータに入れる必要がなく、自動モードでデコーダ側に送信される。送信する必要があるのは基本動的メタデータだけである。デコーダ側では、標準的なアルゴリズムに基づいてP[N]の値を計算できる。
【0246】
S415:次のフレーム又は次の複数のフレームf(N+j)のパラメータオフセットを予測するために、バッファキューにdeltaC[N]及びD[N]を追加する。ここで、jは1以上M以下である。ここで、キューとは、上記の時間ドメインフィルタリングに使用されるキューを表すことに留意する。キューには先入れ先出しルールが使用される。キューがいっぱいの場合は、そのたびにキューの先頭が削除され、新しいデータがキューの末尾に追加される。
【0247】
エンコーダ側はビットストリームをデコーダ側に送信する。送信は、記憶媒体に保存することとして理解することもできる。例えば、エンコーダ側はビットストリームを光ディスクに書き込み、デコーダ側は光ディスクのビットストリームを読み取る。
【0248】
本願の実施例では、自動モードに基づき、品質評価モデルを標準として使用して曲線パラメータを最適化することで、より良いtone-mapping効果を得ることができる。本願の実施形態では、品質評価モデルは、自動モードで1回及び補正処理で2回の、フレームごとに3回計算される。計算量は制御可能である。自動モードとディレクタモードの切り換えにより、より良い曲線パラメータが使用されることを保証する。
【0249】
以下は、前述の式(8)に示すトーンマッピング(tone-mapping)曲線の形式を参考に、本願での方法を詳細に説明する。
図9は、本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法500の概略フローチャートである。方法500は、
図1又は
図7に示すシナリオに適用されてよく、又は勿論、ビデオ処理を行う必要がある別のシナリオに適用されてもよい。これは、本願の本実施形態において限定されない。
【0250】
理解されるべきことに、本願の本実施形態では、方法は、方法が符号化装置により実行される例を用いて説明される。例により、限定ではなく、方法は、代替として、符号化装置内で使用されるチップ、チップシステム、プロセッサ等により実行されてよい。
【0251】
図9に示すように、
図9に示す方法500は、S501~S511を含んでよい。以下は、
図9を参照して、方法500のステップを詳細に説明する。
【0252】
S501:符号化装置は、動的メタデータ抽出アルゴリズムに従って、N番目HDRビデオフレームの基本動的メタデータを抽出する。
【0253】
S502:符号化装置は、基本動的メタデータに基づいて、自動モードでN番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータp'及びa’を計算する。
【0254】
S503:符号化装置は、自動モードの曲線パラメータp'とa’に基づいて自動モードのtone-mapping曲線を生成する。
【0255】
S504:符号化装置は、品質評価アルゴリズムに従い、自動モードのtone-mapping曲線により生じる主観的歪みD’を決定する。
【0256】
S505:符号化装置は、時間ドメインフィルタリング方法を用いて、自動モードにおけるパラメータpに対する最適曲線パラメータのオフセットdeltaを予測する。
【0257】
S506:曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、調整済み曲線パラメータpの複数のオフセットを決定し、Kは0以上の正の整数であり、
曲線パラメータpの複数のオフセットに基づき、曲線パラメータpの複数のオフセットの各々に対応する曲線パラメータp”及びa”を決定し、
複数のオフセットの各々に対応するパラメータp”とa”に基づいて、複数の調整済みtone-mapping曲線を生成し、
品質評価アルゴリズムに従って、複数の調整済みtone-mapping曲線の各々によって引き起こされる歪みD”を決定し、
複数のD”から、第1条件を満たすいずれかのD”を選択し、いずれかのD”に対応するtone-mapping曲線パラメータp”及びa”は、曲線パラメータの調整目標p'、a’として選択され、DTは選択されたD”である。
【0258】
実装では、曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、調整済み曲線パラメータpの複数のオフセットを決定するステップは、基本delta±M×基本ステップサイズ(stepsize)に基づいて、複数のオフセットを決定するステップであって、MはK以下の各々の正の整数である、ステップを含む。
【0259】
実装では、第1条件は、複数のD”から第1閾値未満のD”を選択することであり、例えば、第1閾値は0.3である。代替として、第1条件は、複数のD”から最小のD”を選択することでもよい。
【0260】
具体的には、予測オフセットdeltaが得られた後、より良いオフセットを探すために総当たり方法を使用することができる。総当たり探索では、Kは整数である。例えばKが3の場合、7つの異なる値delta-3×stepsize、delta-2×stepsize、delta-stepsize、delta、delta+stepsize、delta+2×stepsize、delta+3×stepsizeを検索し、主観的歪みが最小のものを選択する。オフセットはdeltaCとして記録され、パラメータp=P'+deltaCであり、aはpを用いて計算され、パラメータセットP={p,a}であり、対応する主観的歪みはDTとして記録される。
【0261】
deltaCに対応する予測及び補正された曲線パラメータは、ほとんどの場合自動モードのものよりも優れているが、必ずしもすべての場合ではない。そのため、比較する必要がある。自動モードの方が優れている場合、N番目のフレームは自動モードを使用する。予測され補正された値が優れている場合、現在フレームはディレクタモードを使用する。
【0262】
S507:D’とDTを比較する。
【0263】
S508:N番目のフレームの曲線パラメータP[N]=P、歪みD[N]=DT、オフセットdeltaC[N]=deltaCで、D’がDTより大きい場合、N番目のHDRビデオフレームがディレクタモードを使用することを決定する。
【0264】
S509:パラメータセットP[N]をディレクタモードでメタデータに入れる。
【0265】
S510:N番目のフレームの曲線パラメータP[N]=P'、歪みD[N]=D’、及びオフセットdeltaC[N]=0で、D’がDT以下の場合、N番目のHDRビデオフレームが自動モードを使用することを決定する。P[N]は動的メタデータに入れる必要がなく、自動モードでデコーダ側に送信される。送信する必要があるのは基本動的メタデータだけである。デコーダ側では、標準的なアルゴリズムに基づいてP[N]の値を計算できる。
【0266】
S511:次のフレームf(N+1)のパラメータオフセットを予測するために、バッファキューにdeltaC[N]とD[N]を追加する。ここで、キューとは、第3ステップで時間ドメインフィルタリングに使用されるキューを表すことに留意する。キューには先入れ先出しルールが使用される。キューがいっぱいの場合は、そのたびにキューの先頭が削除され、新しいデータがキューの末尾に追加される。
【0267】
なお、方法501~505は方法401~405に対応し、方法507~511は方法411~415に対応する。したがって、方法501~505及び方法507~511の関連する説明については、方法401~405及び方法411~415を参照のこと。繰り返しを避けるため、詳細はここで再び記載されない。
【0268】
本願の実施例では、自動モードに基づき、品質評価モデルを標準として使用して曲線パラメータを最適化することで、より良いtone-mapping効果を得ることができる。計算リソースが十分な場合には、総当たり方法を用いて最適パラメータを探索する。これにより、効果が最大限に向上する。自動モードとディレクタモードの切り換えにより、より良い曲線パラメータが使用されることを保証する。
【0269】
図10は、本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法600の概略フローチャートである。方法600は、
図1又は
図7に示すシナリオに適用されてよく、又は勿論、ビデオ処理を行う必要がある別のシナリオに適用されてもよい。これは、本願の本実施形態において限定されない。
【0270】
理解されるべきことに、本願の本実施形態では、方法は、方法が復号装置により実行される例を用いて説明される。例により、限定ではなく、方法は、代替として、復号装置内で使用されるチップ、チップシステム、プロセッサ等により実行されてよい。
【0271】
図10に示すように、
図10に示す方法600は、S610~S620を含んでよい。以下は、
図10を参照して、方法600のステップを詳細に説明する。
【0272】
S610:復号装置は、N番目のHDRビデオフレームとN番目のHDRビデオフレームのメタデータを取得する。
【0273】
S620:復号装置は、メタデータのフラグビットに従って、N番目のHDRビデオフレームで使用されるモードを決定する。
【0274】
実装では、フラグビットが、N番目のHDRビデオフレームによって使用されるモードが自動モードであることを示す場合、方法は、
N番目のHDRビデオフレームの前記メタデータに基づいて、自動モードにおけるトーンマッピング(tone-mapping)曲線パラメータを計算するステップと、
トーンマッピング(tone-mapping)曲線パラメータに基づいて、自動モードでtone-mapping曲線を生成するステップと、
自動モードのtone-mapping曲線及びN番目のHDRビデオフレームに基づいてN番目のHDRビデオフレームを表示するステップと、
を更に含む。
【0275】
実装では、フラグビットが、N番目のHDRビデオフレームによって使用されるモードがディレクタモードであることを示す場合、方法は、
動的メタデータから、ディレクタモードにおけるトーンマッピング(tone-mapping)曲線パラメータを抽出するステップと、
曲線パラメータに基づいて、ディレクタモードでtone-mapping曲線を生成するステップと、
ディレクタモードのtone-mapping曲線及びN番目のHDRビデオフレームに基づいてN番目のHDRビデオフレームを表示するステップと、
を更に含む。
【0276】
本願の前述の実施形態では、符号化装置が自動モードとディレクタモードを切り換える必要があることが説明されている。しかし、予測された補正されたパラメータ曲線は自動モードよりも良好である確率が高い。そのため、システムの複雑さを軽減するために自動モードを省略することがある。また、自動モードを省略した場合、自動モードでの主観的歪みの計算も省略されることがある。したがって、本願は、符号化装置が自動モードとディレクタモードとを切り換えず、常にディレクタモードを使用する実施形態をさらに提供する。
【0277】
図11は、本願に従い高ダイナミックレンジ(HDR)ビデオ処理方法が適用されるシステムの概略ブロック図である。
図11に示すように、この方法は、エンコーダ側710とデコーダ側720を含むシステムに適用することができる。
【0278】
エンコーダ側710は、次の4つのステップを実行できる。S711:エンコーダ側710は、動的メタデータ抽出アルゴリズムに従って、HDRソースビデオの基本動的メタデータを抽出する。S712:エンコーダ側710は、基本動的メタデータに基づき自動モードで曲線パラメータを計算する。S713:エンコーダ側710は、時間ドメインフィルタリングに従って曲線パラメータのオフセットを予測し、品質評価に従って曲線パラメータを補正する。S714:エンコーダ側710はディレクタモードでメタデータを生成する。
【0279】
S721:デコーダ側720は、メタデータから曲線パラメータを抽出する。
【0280】
S722:デコーダ側720は、抽出された曲線パラメータに従って曲線を生成する。
【0281】
曲線パラメータを生成した後、デコーダ側720は、復号されたHDRビデオに基づいてディスプレイ適応を行い、HDRビデオを表示する。
【0282】
以下は、前述の式(7)に示すトーンマッピング(tone-mapping)曲線の形式を参考に、本願での方法を詳細に説明する。
図12は、本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法800の概略フローチャートである。方法800は、
図1又は
図11に示すシナリオに適用されてよく、又は勿論、ビデオ処理を行う必要がある別のシナリオに適用されてもよい。これは、本願の本実施形態において限定されない。
【0283】
理解されるべきことに、本願の本実施形態では、方法は、方法が符号化装置により実行される例を用いて説明される。例により、限定ではなく、方法は、代替として、符号化装置内で使用されるチップ、チップシステム、プロセッサ等により実行されてよい。
【0284】
図12に示すように、
図12に示す方法800は、S801~S807を含んでよい。以下は、
図12を参照して、方法800のステップを詳細に説明する。
【0285】
S801:符号化装置は、動的メタデータ抽出アルゴリズムに従って、N番目HDRビデオフレームの基本動的メタデータを抽出する。
【0286】
S802:符号化装置は、基本動的メタデータに基づいて、自動モードでN番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータ、例えば曲線パラメータp及びaを計算する。
【0287】
S803:符号化装置は、自動モードの曲線パラメータpとaに基づいて自動モードのtone-mapping曲線を生成する。
【0288】
S804:符号化装置は、品質評価アルゴリズムに従い、tone-mapping曲線による歪みD’を決定する。
【0289】
S805:符号化装置は、Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、tone-mapping曲線パラメータ、及びD’に基づいて、N番目のHDRビデオフレームのtone-mapping曲線パラメータのオフセットdeltaC[N]を取得し、Nは0より大きい。
【0290】
S806:符号化装置は、動的メタデータ生成アルゴリズムと、N番目のHDRビデオフレームの曲線パラメータのオフセットdeltaC[N]に従って、ディレクタモードでN番目のHDRビデオフレームの動的メタデータとP[N]を生成する。ここで、P[N]は、N番目のHDRビデオフレームで使用されるモードがディレクタモードの場合に使用される曲線パラメータPである。
【0291】
方法は、
N番目のHDRビデオフレームの曲線パラメータのオフセットdeltaC[N]に従って、調整済みtone-mapping曲線を生成するステップと、
品質評価アルゴリズムに従って、調整済みtone-mapping曲線によって引き起こされる歪みDTを決定するステップであって、DTは、ディレクタモードにおける(N+j)番目のフレームのオフセットdeltaC[N+j]を予測するために使用され、jは1以上M以下である、ステップと、
を更に含む。
【0292】
実装では、曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、調整済み曲線パラメータpの複数のオフセットを決定するステップは、基本delta±M×基本ステップサイズ(stepsize)に基づいて、複数のオフセットを決定するステップであって、MはK以下の各々の正の整数である、ステップを含む。
【0293】
実装では、第1条件は、複数のD”から第1閾値未満のD”を選択することであり、例えば、第1閾値は0.3である。代替として、第1条件は、複数のD”から最小のD”を選択することでもよい。
【0294】
具体的には、予測オフセットdeltaが得られた後、より良いオフセットを探すために総当たり方法を使用することができる。総当たり探索では、Kは整数である。例えばKが3の場合、7つの異なる値delta-3×stepsize、delta-2×stepsize、delta-stepsize、delta,delta+stepsize、delta+2×stepsize、delta+3×stepsizeを検索し、主観的歪みが最小のものを選択する。オフセットはdeltaCとして記録され、パラメータp=P'+deltaCであり、aはpを用いて計算され、パラメータセットP={p,a}であり、対応する主観的歪みはDTとして記録される。
【0295】
S807:次のフレームf(N+1)のパラメータオフセットを予測するために、バッファキューにdeltaC[N]とD[N]を追加する。ここで、D[N]=DT、及びオフセットdeltaC[N]=deltaCである。ここで、キューとは、上記の時間ドメインフィルタリングに使用されるキューを表すことに留意する。キューには先入れ先出しルールが使用される。キューがいっぱいの場合は、そのたびにキューの先頭が削除され、新しいデータがキューの末尾に追加される。
【0296】
方法801~804は方法501~504に対応することを理解すべきである。したがって、方法801~804の関連説明については、方法501~504を参照のこと。繰り返しを避けるため、詳細はここで再び記載されない。
【0297】
本願の実施例では、自動モードに基づき、品質評価モデルを標準として使用して曲線パラメータを最適化することで、より良いtone-mapping効果を得ることができる。計算リソースが十分な場合には、総当たり方法を用いて最適パラメータを探索する。これにより、効果が最大限に向上する。自動モードとディレクタモードの切り換えが省略され、システムの複雑さが軽減される。
【0298】
なお、方法800では、符号化装置はdeltaを基準としてオフセット補正を2回行い、1ステップを追加し及び1ステップを減算することにより、各々deltaの2つの補正値を計算し、より小さい歪みのために2つの補正値を比較することもできる。詳細については、ステップS406及びステップS407を参照する。
【0299】
本願の前述の実施形態では、符号化装置は、N番目のHDRビデオフレームについて自動モードとディレクタモードを切り換えるか、又はN番目のHDRビデオフレームについてディレクタモードを使用する必要があると説明されている。自動モードとディレクタモードの切り換えは、符号化中にN番目のHDRビデオフレームに対して行う必要があるか、又はN番目のHDRビデオフレームに対してディレクタモードを使用するアクションが復号装置によって実行されてもよい。本願は、高ダイナミックレンジ(HDR)ビデオ処理方法を更に提供し、方法は復号装置により実行される。
【0300】
図13は、本願に従い高ダイナミックレンジ(HDR)ビデオ処理方法が適用されるシステムの概略ブロック図である。
図13に示すように、この方法は、エンコーダ側910とデコーダ側920を含むシステムに適用することができる。
【0301】
[00297]
エンコーダ側910は、ステップS911を実行してよい。エンコーダ側910は、動的メタデータ抽出アルゴリズムに従って、HDRソースビデオの基本動的メタデータを抽出する。S912:エンコーダ側910は、抽出された基本動的メタデータと圧縮されたビデオを一緒にデコーダ側に送信する。S921:デコーダ側920は、自動モードで曲線パラメータを計算する。S922:デコーダ側920は、曲線パラメータのオフセットを予測して補正し、曲線パラメータを更新し、最終的に曲線を生成する。S923:デコーダ側920は、更新された曲線パラメータに従って曲線を生成する。曲線パラメータを生成した後、デコーダ側920は、復号されたHDRビデオに基づいてディスプレイ適応を行い、HDRビデオを表示する。
【0302】
図14は、本願の実施形態による高ダイナミックレンジ(HDR)ビデオ処理方法1000の概略フローチャートである。方法1000は、
図1又は
図13に示すシナリオに適用されてよく、又は勿論、ビデオ処理を行う必要がある別のシナリオに適用されてもよい。これは、本願の本実施形態において限定されない。
【0303】
理解されるべきことに、本願の本実施形態では、方法は、方法が復号装置により実行される例を用いて説明される。例により、限定ではなく、方法は、代替として、復号装置内で使用されるチップ、チップシステム、プロセッサ等により実行されてよい。
【0304】
図14に示すように、
図14に示す方法1000は、S1001~S1013を含んでよい。以下は、
図14を参照して、方法1000のステップを詳細に説明する。
【0305】
S1001:復号装置は、動的メタデータ抽出アルゴリズムに従って、N番目HDRビデオフレームの基本動的メタデータを抽出する。
【0306】
S1002:復号装置は、基本動的メタデータに基づいて、自動モードでN番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータp及びaを計算する。
【0307】
S1003:復号装置は、自動モードの曲線パラメータpとaに基づいて自動モードのtone-mapping曲線を生成する。
【0308】
S1004:復号装置は、品質評価アルゴリズムに従い、自動モードのtone-mapping曲線により生じる主観的歪みD’を決定する。
【0309】
このステップでは、復号装置は、自動モードの曲線パラメータpとaに基づいて、自動モードのtone-mapping曲線を生成して、トーンマッピングを行い、トーンマッピング前後の2つの画像を品質評価モデルに入力して主観的歪みD’を算出する。
【0310】
S1005:復号装置はD’とDTを比較し、自動モードを使用するかどうかを決定する。ここで、DTは閾値である。
【0311】
S1006:D’がDT以下の場合、復号装置は、自動モードでN番目のHDRビデオフレームを適応させる。
【0312】
S1007:D’がD’より大きい場合、DTは事前設定された値であり、復号装置は、自動モードのパラメータpに対する最適曲線パラメータのオフセットdeltaを、時間ドメインフィルタリング方法を用いて予測する。
【0313】
S1008:復号装置は、曲線パラメータpの予測オフセットを補正し、ここで、補正済み曲線パラメータpのオフセットは、曲線パラメータpの予測オフセットから基本ステップサイズ(stepsize)を引いたもの、すなわち、deltaC1=delta-stepsizeであり、推奨ステップサイズはパラメータpに対して0.1であり、
自動モードの曲線パラメータpと補正済み曲線パラメータpのオフセットに基づいて、調整済み曲線パラメータp1を決定し、ここで、p1=p+deltaC1、つまり、a1はp1に従って計算され、パラメータp1とa1に従って調整済みtone-mapping曲線を生成し、品質評価アルゴリズムに従って、複数の調整済みtone-mapping曲線のうち、各tone-mapping曲線に起因する歪みD1を決定する。
【0314】
S1009:復号装置は、曲線パラメータpの予測オフセットを補正し、ここで、補正済み曲線パラメータpのオフセットは、曲線パラメータp'の予測オフセットに基本ステップサイズ(stepsize)を加えたもの、すなわち、deltaC2=delta-stepsizeであり、
自動モードの曲線パラメータpと補正済み曲線パラメータpのオフセットに基づいて、調整済み曲線パラメータp2を決定し、つまり、a2をp2に従って計算し、パラメータp2とa2に従って調整済みtone-mapping曲線を生成し、品質評価アルゴリズムに従って、複数の調整済みtone-mapping曲線のうち、各tone-mapping曲線に起因する歪みD2を決定する。
【0315】
本願の実施形態では、補正値をテストするたびに品質評価モデルを1回計算する必要があり、品質評価モデルの計算量が多いため、補正値を2回しか計算しない。したがって、本願の実施形態では、補正値を2回計算することが制限される。このように、フレームごとに最適値を得ることは保証できない。ただし、予測値を基に(ステップ毎に)最適値に近い値が得られるため、時間の経過とともに予測値は徐々に最適値に近い値に収束していく。
【0316】
S1010:復号装置はD1とD2を比較する。
【0317】
S1011:D1がD2以下の場合、補正済み曲線パラメータpのオフセットがdeltaC1であり、補正済み曲線パラメータの歪みDT=D1であり、パラメータセットP1={p1、a1}であり、N番目のHDRビデオフレームの曲線パラメータP[N]=P1であり、歪みD[N]=DT=D1であり、オフセットdeltaC[N]=deltaC1であり、復号装置はN番目のHDRビデオフレームの曲線パラメータP1に基づいてtone-mapping曲線を生成する。
【0318】
S1012:D1がD2より大きい場合、補正済み曲線パラメータpのオフセットがdeltaC2であり、補正済み曲線パラメータの歪みDT=D2であり、パラメータセットP2={p2、a2}であり、N番目のHDRビデオフレームの曲線パラメータP[N]=P2であり、歪みD[N]=DT=D2であり、オフセットdeltaC[N]=deltaC2であり、復号装置はN番目のHDRビデオフレームの曲線パラメータP2に基づいてtone-mapping曲線を生成する。
【0319】
S1013:次のフレームf(N+1)のパラメータオフセットを予測するために、バッファキューにdeltaC[N]とD[N]を追加する。ここで、キューとは、上記の時間ドメインフィルタリングに使用されるキューを表すことに留意する。キューには先入れ先出しルールが使用される。キューがいっぱいの場合は、そのたびにキューの先頭が削除され、新しいデータがキューの末尾に追加される。
【0320】
本願の実施形態では、自動モードに基づき、デコーダ側は、品質評価モデルを標準として使用して曲線パラメータを最適化することで、より良いtone-mapping効果を得ることができる。本願の実施形態では、品質評価モデルは、自動モードで1回及び補正処理で2回の、フレームごとに3回計算される。計算量は制御可能である。曲線計算及び動的トーンマッピングの最適化のためには、ターゲットディスプレイの輝度の最小値と最大値を知る必要がある。そのため、実施形態のエンコーダ側での曲線計算及び最適化と比較して、ターゲットディスプレイの輝度情報はより正確であり、デコーダ側での曲線計算及び最適化についてより良好な効果がある。
【0321】
復号装置は、曲線パラメータpの予測オフセットdeltaとK×基本ステップサイズに基づいて、調整済み曲線パラメータpの複数のオフセットを決定することを理解すべきである。詳細については、方法506を参照する。
【0322】
上記の実施形態では、復号装置は自動モードを決定する必要がある。しかし、予測された補正されたパラメータ曲線は自動モードよりも良好である確率が高い。そのため、システムの複雑さを軽減するために自動モードを省略することがある。また、自動モードを省略した場合、自動モードでの主観的歪みの計算も省略されることがある。そのため、復号装置は、自動モード決定を行わずに自動モードで直接補正を行い、N番目のHDRビデオフレームの曲線パラメータのオフセットdeltaC[N]を取得してよい。復号装置は、自動モードで直接補正を行い、N番目のHDRビデオフレームの曲線パラメータのオフセットdeltaC[N]を取得する。特定の処理については、符号化装置が方法800でディレクタモードでHDRビデオを送信する処理を参照する。
【0323】
さらに、復号装置の実行処理については、対応する符号化装置を参照してもよいことが理解されるべきである。違いは、第1に、復号装置による最適化の後に得られるパラメータP[N]が、動的メタデータに書き込まれる必要がないことである。第2に、復号装置は最適化された曲線パラメータP[N]を使用して曲線を生成することである。
【0324】
以下は、
図15~
図16を参照して、本願の実施形態における通信機器を詳細に説明する。
【0325】
図15は、本願の一実施形態による機器1100の概略ブロック図である。
【0326】
幾つかの実施形態では、機器1100は端末装置であってもよく、チップ又は回路であってもよく、例えば、端末装置に配置され得るチップ又は回路であってもよい。
【0327】
可能な方法で、機器1100は処理ユニット1110(つまりプロセッサの一例)とトランシーバユニット1130を含んでよい。幾つかの可能な実装では、処理ユニット1110は決定ユニットと呼ばれることもある。幾つかの可能な実装では、トランシーバユニット1130は、受信ユニット及び送信ユニットを含んでよい。
【0328】
実装では、トランシーバユニット1130は、トランシーバ、トランシーバ関連回路、又はインタフェース回路を使用して実装することができる。
【0329】
実装では、機器は、記憶ユニット1120を更に含んでよい。可能な方法では、記憶ユニット1120は、命令を格納するよう構成される。実装では、記憶ユニットは、代替として、記憶データ又は情報を格納するよう構成されてよい。記憶ユニット1120は、メモリを使用して実装されてよい。
【0330】
幾つかの可能な設計では、処理ユニット1110は、記憶ユニット1120に格納された命令を実行するように構成され、機器1100が前述の方法で端末装置によって実行されるステップを実装できるようにする。代替として、処理ユニット1110は、記憶ユニット1120内のデータを呼び出し、機器1100が前述の方法で端末装置によって実行されるステップを実施できるようにするよう構成される。
【0331】
幾つかの可能な設計では、処理ユニット1110は、記憶ユニット1120に格納された命令を実行し、機器1100が前述の方法でアクセスネットワーク装置によって実行されるステップを実装できるようにするよう構成される。代替として、処理ユニット1110は、記憶ユニット1120に格納されたデータを呼び出し、機器1100が前述の方法でアクセスネットワーク装置によって実行されるステップを実装できるようにするよう構成されてよい。
【0332】
例えば、処理ユニット1110、記憶ユニット1120、及びトランシーバユニット1130は内部結合経路を通じて互いに通信してよく、制御信号及び/又はデータ信号を転送する。例えば、記憶ユニット1120は、コンピュータプログラムを格納するよう構成される。処理ユニット1110は、記憶ユニット1120からコンピュータプログラムを呼び出してコンピュータプログラムを実行し、信号を受信し及び/又は信号を送信するようにトランシーバユニット1130を制御し、前述の方法で端末装置又はアクセスネットワーク装置のステップを完了するように構成されてよい。記憶装置1120は、処理ユニット1110に組み込まれてよく、又は処理ユニット1110とは別に配置されてもよい。
【0333】
任意で、機器1100が通信装置(例えば、端末装置)である場合、トランシーバユニット1130は受信機と送信機を含む。受信機と送信機は、同じ物理的実体であっても、異なる物理的実体であってもよい。受信機と送信機が同じ物理的実体である場合、受信機と送信機をまとめてトランシーバと呼ぶことがある。
【0334】
機器1100が端末装置の場合、トランシーバユニット1130は情報を送信する場合は送信ユニット又は送信機であってよく、トランシーバユニット1130は情報を受信する場合は受信ユニット又は受信機であってよい。トランシーバユニットは、トランシーバであってよい。トランシーバ、送信機、又は受信機は、無線周波数回路であってよい。機器が記憶ユニットを含むとき、記憶ユニットは、コンピュータ命令を格納するよう構成される。プロセッサは、メモリに通信可能に結合される。プロセッサは、メモリに格納されたコンピュータ命令を実行し、機器が方法200、方法1100、又は方法600を実行できるようにする。プロセッサ1101は、汎用中央処理ユニット( CPU)、マイクロプロセッサ、又は特定用途向け集積回路(Application Specific Integrated Circuit, ASIC)であってよい。
【0335】
任意で、機器1100がチップ又は回路である場合、トランシーバユニット1130は入力インタフェースと出力インタフェースを含む。
【0336】
機器1100がチップである場合、トランシーバユニット1130は、入出力インタフェース、ピン、回路などであってもよい。処理ユニット1110は、記憶ユニットに格納されているコンピュータ実行可能命令を実行して、機器が方法200、方法1100、又は方法600を実行できるようにすることができる。任意的に、記憶ユニットは、チップ内の記憶ユニット、例えばレジスタ又はバッファである。或いは、記憶ユニットは、端末内にあるがチップの外部にある記憶ユニット、例えば読み出し専用メモリ(Read Only Memory, ROM)、静的情報及び命令を格納する能力のある別の種類の静的記憶装置、又はランダムアクセスメモリ(Random Access Memory, RAM)であってよい。
【0337】
実装では、トランシーバユニット1130の機能はトランシーバ回路又は専用トランシーバチップにより実施されると考えられてよい。処理ユニット1110は、専用処理チップ、処理回路、処理ユニット、又は汎用チップを使用して実装されていると考えてよい。
【0338】
別の実装では、本願の実施形態で提供される通信装置(例えば、端末装置又はアクセスネットワーク装置)が汎用コンピュータを使用して実装されると考えてもよい。つまり、処理ユニット1110とトランシーバユニット1130の機能を実装するプログラムコードは記憶ユニット1120に格納され、汎用処理ユニットは記憶装置1120内のコードを実行することで処理ユニット1110とトランシーバユニット1130の機能を実装する。
【0339】
幾つかの実施形態では、機器1100は符号化装置、或いは符号化装置内に配置されるチップ又は回路であってもよい。機器1100が符号化装置、或いは符号化装置に配置されたチップ又は回路である場合、機器は、
取得ユニット1140であって、取得ユニット1140は動的メタデータ生成アルゴリズムに従ってN番目のHDRビデオフレームの動的メタデータを取得するように構成され、Nが0より大きい、取得ユニット1140と、
N番目のHDRビデオフレームの動的メタデータに基づいてN番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するよう構成される処理ユニット1110と、を含む。処理ユニット1110はさらに、曲線パラメータに基づいてtone-mapping曲線を生成するように構成されている。処理ユニット1110はさらに、品質評価アルゴリズムに従って、tone-mapping曲線によって引き起こされる歪みD’を決定するように構成される。処理ユニット1110はさらに、D’とDTを比較して、N番目のHDRビデオフレームで使用されるモードを決定するように構成されており、モードは自動モード又はディレクタモードであり、DTは閾値である。処理ユニット1110はさらに、N番目のHDRビデオフレームで使用される決定されたモードに基づいてN番目のHDRビデオフレームのメタデータを決定するように構成されている。
【0340】
実装では、処理ユニット1110は、具体的に、
D’がDTより大きい場合に、N番目のHDRビデオフレームがディレクタモードを使用すると決定し、DTはディレクタモードにおけるN番目のHDRビデオフレームの歪みである、又は、
D’がDT以下の場合に、N番目のHDRビデオフレームが自動モードを使用すると決定する、
よう構成される。
【0341】
実装では、処理ユニット1110は、さらに、Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、tone-mapping曲線パラメータ、及びD’に基づいて、N番目のHDRビデオフレームの曲線パラメータのオフセットdeltaC[N]を取得するよう構成され、Nは0より大きい。
【0342】
実装では、処理ユニット1110は、
deltaC[N]に従って調整済みtone-mapping曲線を生成し、
品質評価アルゴリズムに従って、調整済みtone-mapping曲線によって引き起こされる歪みDTを決定する、
よう更に構成される。
【0343】
実装では、処理ユニット1110は、具体的に、
N番目のHDRビデオフレームによって使用されるモード、動的メタデータ生成アルゴリズム、及びtone-mapping曲線パラメータのオフセットdeltaC[N]に基づいて、N番目のHDRビデオフレームのメタデータを生成するよう構成される。
【0344】
実装では、符号化装置は、以下の事前設定された構成パラメータ:1000nit、500nit及び標準ダイナミックレンジ(SDR)、のいずれか1つ以上に適用されてよい。
【0345】
実装では、トーンマッピング(tone-mapping)曲線は、式(16):
【数36】
により示される。
【0346】
曲線パラメータa及びpは、N番目のHDRビデオフレームの動的メタデータに基づいて決定され、曲線パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度であ
【0347】
実装では、処理ユニット1110は、
曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、調整済み曲線パラメータpの複数のオフセットを決定し、Kは0以上の正の整数であり、
曲線パラメータpの複数のオフセットに基づき、曲線パラメータpの複数のオフセットの各々に対応する曲線パラメータp”及びa”を決定し、
複数のオフセットの各々に対応するパラメータp”とa”に基づいて、複数の調整済みtone-mapping曲線を生成し、
品質評価アルゴリズムに従って、複数の調整済みtone-mapping曲線の各々によって引き起こされる歪みD”を決定し、
複数のD”から、第1条件を満たすいずれかのD”を選択し、いずれかのD”に対応するtone-mapping曲線パラメータp”及びa”は、曲線パラメータの調整目標p’及びa’として選択され、DTは選択されたD”である、
よう更に構成される。
【0348】
実装では、処理ユニット1110は、具体的に、
Kが1の場合、決定されたオフセットが、曲線パラメータpの予測オフセットに基本ステップサイズを加えたものであり、曲線パラメータpの予測オフセットから基本ステップサイズを引いたものであるよう構成される。
【0349】
実装では、第1条件は、2つの歪みD”値の間のより小さな歪みD”に対応するtone-mapping曲線パラメータを選択することである。
【0350】
実装では、処理ユニット1110は、具体的に、
基本delta±M×基本ステップサイズ(stepsize)に基づいて複数のオフセットを決定するよう構成され、MはK以下の各々の正の整数である。
【0351】
実装では、第1条件は、複数のD”から最小のD”を選択すること、又は複数のD”から第1閾値未満のD”を選択することである。
【0352】
実装では、処理ユニット1110は、
式(17):
【数37】
に従い、曲線パラメータpの予測オフセットを決定するよう更に構成される。
【0353】
deltaC[N-k]は、品質評価アルゴリズムに従い計算された(N-k)番目のフレームによって使用されるオフセットを表し、D[N-k]は(N-k)番目のフレームの歪みを表し、Mはウィンドウ長である。
【0354】
実装では、処理ユニット1110は、具体的に、
N番目のHDRビデオフレームによって使用されるモードが自動モードである場合、N番目のHDRビデオフレームのメタデータは、N番目のHDRビデオフレームの動的メタデータを含むか、又は、
N番目のHDRビデオフレームで使用されるモードがディレクタモードの場合、N番目のHDRビデオフレームのメタデータは、N番目のHDRビデオフレームの動的メタデータとP[N]を含み、P[N]は、N番目のHDRビデオフレームで使用されるモードがディレクタモードの場合に使用される曲線パラメータPである。
【0355】
実装では、N番目のHDRビデオフレームのメタデータはフラグビットを含み、フラグビットはN番目のHDRビデオフレームによって使用されるモードがディレクタモードであることを示すか、又はフラグビットがN番目のHDRビデオフレームによって使用されるモードが自動モードであることを示す。
【0356】
機器1100が符号化装置内に構成されている場合、又は符号化装置である場合、機器1100内のモジュール又はユニットは、前述の方法で符号化装置が実行するアクション又は処理プロセスを実行するように構成することができる。繰り返しを避けるため、詳細な説明はここでは省略される。
【0357】
幾つかの実施形態では、機器1100は復号装置、或いは復号装置内に配置されるチップ又は回路であってもよい。機器1100が復号装置又は復号装置内に配置されるチップ若しくは回路である場合、機器は、
取得ユニット1140であって、取得ユニット1140は、N番目のHDRビデオフレームとN番目のHDRビデオフレームのメタデータを取得するように構成される、取得ユニットと、
処理ユニット1110であって、メタデータのフラグビットに従って、N番目のHDRビデオフレームで使用されるモードを決定するよう構成される、処理ユニットと、
を含む。
【0358】
実装では、フラグビットが、N番目のHDRビデオフレームによって使用されるモードが自動モードであることを示す場合、処理ユニット1100は、
N番目のHDRビデオフレームのメタデータに基づいて、自動モードにおけるトーンマッピング(tone-mapping)曲線パラメータを計算し、
トーンマッピング(tone-mapping)曲線パラメータに基づいて、自動モードでtone-mapping曲線を生成し、
自動モードのtone-mapping曲線及びN番目のHDRビデオフレームに基づいてN番目のHDRビデオフレームを表示する、
よう更に構成される。
【0359】
実装では、フラグビットが、N番目のHDRビデオフレームによって使用されるモードがディレクタモードであることを示す場合、処理ユニット1110は、
動的メタデータから、ディレクタモードにおけるトーンマッピング(tone-mapping)曲線パラメータを抽出し、
曲線パラメータに基づいて、ディレクタモードでtone-mapping曲線を生成し、
ディレクタモードのtone-mapping曲線及びN番目のHDRビデオフレームに基づいてN番目のHDRビデオフレームを表示する、
よう更に構成される。
【0360】
機器1100が復号装置内に構成されている場合、又は復号装置である場合、機器1100内のモジュール又はユニットは、前述の方法で復号装置が実行するアクション又は処理プロセスを実行するように構成することができる。繰り返しを避けるため、詳細な説明はここでは省略される。
【0361】
幾つかの実施形態では、機器1100は復号装置、或いは復号装置内に配置されるチップ又は回路であってもよい。機器1100が復号装置、或いは符号化装置に配置されたチップ又は回路である場合、機器は、
取得ユニット1140であって、取得ユニット1140は動的メタデータ生成アルゴリズムに従ってN番目のHDRビデオフレームの動的メタデータを取得するように構成される、取得ユニット1140と、
HDRビデオのトーンマッピング(tone-mapping)曲線パラメータを計算するよう構成される処理ユニット1110と、を含む。処理ユニット1110は、曲線パラメータに基づいて、tone-mapping曲線を生成するよう更に構成され、
処理ユニット1110は、品質評価アルゴリズムに従って、tone-mapping曲線によって引き起こされる歪みD’を決定するよう更に構成され、
処理ユニット1110は、Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、tone-mapping曲線パラメータ、及びD’に基づいて、N番目のHDRビデオフレームの曲線パラメータのオフセットdeltaC[N]を取得するよう更に構成され、Nは0より大きく、
処理ユニット1110は、動的メタデータ生成アルゴリズムとN番目のHDRビデオフレームの曲線パラメータのオフセットdeltaC[N]に従って、ディレクタモードでN番目のHDRビデオフレームのメタデータを生成するよう更に構成される。
【0362】
実装では、処理ユニット1110は、
N番目のHDRビデオフレームの曲線パラメータのオフセットdeltaC[N]に従って、調整済みtone-mapping曲線を生成し、
品質評価アルゴリズムに従って、調整済みtone-mapping曲線によって引き起こされる歪みDTを決定し、DTは、ディレクタモードにおける(N+j)番目のフレームのオフセットdeltaC[N+j]を予測するために使用され、jは1以上M以下である、よう更に構成される。
【0363】
実装では、符号化装置は、以下の事前設定された構成パラメータ:1000nit、500nit及び標準ダイナミックレンジ(SDR)、のいずれか1つ以上に適用されてよい。
【0364】
実装では、トーンマッピング(tone-mapping)曲線は、式(18):
【数38】
により示される。
【0365】
曲線パラメータa及びpは、N番目のHDRビデオフレームの動的メタデータに基づいて決定され、曲線パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である。
【0366】
実装では、処理ユニット1110は、
曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、調整済み曲線パラメータpの複数のオフセットを決定し、Kは0以上の正の整数であり、
曲線パラメータpの複数のオフセットに基づき、曲線パラメータpの複数のオフセットの各々に対応する曲線パラメータp”及びa”を決定し、
複数のオフセットの各々に対応するパラメータp”とa”に基づいて、複数の調整済みtone-mapping曲線を生成し、
品質評価アルゴリズムに従って、複数の調整済みtone-mapping曲線の各々によって引き起こされる歪みD”を決定し、
複数のD”から、第1条件を満たすいずれかのD”を選択し、いずれかのD”に対応するtone-mapping曲線パラメータp”及びa”は、曲線パラメータの調整目標p’及びa’として選択され、DTは選択されたD”である、
よう更に構成される。
【0367】
実装では、処理ユニット1110は、具体的に、
Kが1の場合、決定されたオフセットが、曲線パラメータpの予測オフセットに基本ステップサイズを加えたものであり、曲線パラメータpの予測オフセットから基本ステップサイズを引いたものであるよう構成される。
【0368】
実装では、第1条件は、2つの歪みD”値の間のより小さな歪みD”に対応するtone-mapping曲線パラメータを選択することである。
【0369】
実装では、処理ユニット1110は、具体的に、
基本delta±M×基本ステップサイズ(stepsize)に基づいて複数のオフセットを決定するよう構成され、MはK以下の各々の正の整数である。
【0370】
実装では、第1条件は、複数のD”から最小のD”を選択すること、又は複数のD”から第1閾値未満のD”を選択することである。
【0371】
実装では、処理ユニット1110は、
式(19):
【数39】
に従い、曲線パラメータpの予測オフセットを決定するよう更に構成される。
【0372】
deltaC[N-k]は、品質評価アルゴリズムに従い計算された(N-k)番目のフレームによって使用されるオフセットを表し、D[N-k]は(N-k)番目のフレームの歪みを表し、Mはウィンドウ長である。
【0373】
実装では、処理ユニット1110は、具体的に、
N番目のHDRビデオフレームによって使用されるモードがディレクタモードである場合、N番目のHDRビデオフレームのメタデータは、N番目のHDRビデオフレームの基本動的メタデータを含み、P[N]は、N番目のHDRビデオフレームで使用されるモードがディレクタモードの場合に使用される曲線パラメータPである、よう構成される。
【0374】
実装では、メタデータはフラグビットを含み、フラグビットは、N番目のHDRビデオフレームによって使用されるモードがディレクタモードであることを示す。
【0375】
機器1100が符号化装置内に構成されている場合、又は符号化装置である場合、機器1100内のモジュール又はユニットは、前述の方法で符号化装置が実行するアクション又は処理プロセスを実行するように構成することができる。繰り返しを避けるため、詳細な説明はここでは省略される。
【0376】
幾つかの実施形態では、機器1100は復号装置、或いは復号装置内に配置されるチップ又は回路であってもよい。機器1100が復号装置、或いは復号装置に配置されたチップ又は回路である場合、機器は、
取得ユニット1140であって、取得ユニット1140は、N番目のHDRビデオフレーム及びN番目のHDRビデオフレームの動的メタデータを取得するように構成される、取得ユニット1140と、
N番目のHDRビデオフレームの動的メタデータに基づいてN番目のHDRビデオフレームのトーンマッピング(tone-mapping)曲線パラメータを計算するよう構成される処理ユニット1110と、を含む。処理ユニット1110はさらに、曲線パラメータに基づきtone-mapping曲線を生成するよう構成される。処理ユニット1110はさらに、品質評価アルゴリズムに従って、tone-mapping曲線によって引き起こされる歪みD’を決定するように構成される。処理ユニット1110はさらに、D’とDTを比較して、自動モードを使用するかどうかを決定するように構成され、DTは閾値である。
【0377】
実装では、処理ユニット1110は、具体的に、Mフレームウィンドウ内の(N-M、N)フレームのメタデータ、tone-mapping曲線パラメータ、及びD’に基づいて、N番目のHDRビデオフレームの曲線パラメータのオフセットdeltaC[N]を取得するよう構成され、D’はDTより大きく、Nは0より大きい。
【0378】
実装では、処理ユニット1110は、
deltaC[N]に従って調整済みtone-mapping曲線を生成し、
品質評価アルゴリズムに従って、調整済みtone-mapping曲線によって引き起こされる歪みDTを決定する、
よう更に構成される。
【0379】
実装では、復号装置は、以下の事前設定された構成パラメータ:1000nit、500nit及び標準ダイナミックレンジ(SDR)、のいずれか1つ以上に適用されてよい。
【0380】
実装では、トーンマッピング(tone-mapping)曲線は、式(20):
【数40】
により示される。
【0381】
曲線パラメータa及びpは、N番目のHDRビデオフレームの動的メタデータに基づいて決定され、曲線パラメータb、n及びmは事前設定された値であり、Lは入力輝度であり、L'は出力輝度である。
【0382】
実装では、処理ユニット1110は、
曲線パラメータpの予測オフセットとK×基本ステップサイズに基づいて、調整済み曲線パラメータpの複数のオフセットを決定し、Kは0以上の正の整数であり、
曲線パラメータpの複数のオフセットに基づき、曲線パラメータpの複数のオフセットの各々に対応する曲線パラメータp”及びa”を決定し、
複数のオフセットの各々に対応するパラメータp”とa”に基づいて、複数の調整済みtone-mapping曲線を生成し、
品質評価アルゴリズムに従って、複数の調整済みtone-mapping曲線の各々によって引き起こされる歪みD”を決定し、
複数のD”から、第1条件を満たすいずれかのD”を選択し、いずれかのD”に対応するtone-mapping曲線パラメータp”及びa”は、曲線パラメータの調整目標p’及びa’として選択され、DTは選択されたD”である、
よう更に構成される。
【0383】
実装では、処理ユニット1110は、具体的に、
Kが1の場合、決定されたオフセットが、曲線パラメータpの予測オフセットに基本ステップサイズを加えたものであり、曲線パラメータpの予測オフセットから基本ステップサイズを引いたものであるよう構成される。
【0384】
実装では、第1条件は、2つの歪みD”値の間のより小さな歪みD”に対応するtone-mapping曲線パラメータを選択することである。
【0385】
実装では、処理ユニット1110は、具体的に、
基本delta±M×基本ステップサイズ(stepsize)に基づいて複数のオフセットを決定するよう構成され、MはK以下の各々の正の整数である。
【0386】
実装では、第1条件は、複数のD”から最小のD”を選択すること、又は複数のD”から第1閾値未満のD”を選択することである。
【0387】
実装では、処理ユニット1110は、
式(21):
【数41】
に従い、曲線パラメータpの予測オフセットを決定するよう更に構成される。
【0388】
deltaC[N-k]は、品質評価アルゴリズムに従い計算された(N-k)番目のフレームによって使用されるオフセットを表し、D[N-k]は(N-k)番目のフレームの歪みを表し、Mはウィンドウ長である。
【0389】
機器1100が復号装置内に構成されている場合、又は復号装置である場合、機器1100内のモジュール又はユニットは、前述の方法で復号装置が実行するアクション又は処理プロセスを実行するように構成することができる。繰り返しを避けるため、詳細な説明はここでは省略される。
【0390】
図16は、本願による端末装置1200の構造の概略図を示す。端末装置1200は、前述の方法の実施形態において、端末装置によって実行されるアクションを実行してよい。
【0391】
説明を容易にするために、
図16は、端末装置の主要なコンポーネントのみを示す。
図16に示すように、端末装置1200は、プロセッサと、メモリと、制御回路と、アンテナと、入力/出力機器と、を含む。
【0392】
プロセッサは、主に、通信プロトコル及び通信データを処理し、端末装置全体を制御し、ソフトウェアプログラムを実行し、及びソフトウェアプログラムのデータを処理するよう構成される。例えば、プロセッサは、送信プリコーディングマトリクス指示方法の実施形態で説明したアクションを実行する際に端末装置をサポートするよう構成される。プロセッサは、処理ユニットと取得ユニットの機能を実装することができる。メモリは、主に、ソフトウェアプログラム及びデータを格納するように構成され、例えば、前述の実施形態で説明したコードブックを格納する。制御回路は、主に、ベースバンド信号と無線周波数信号との間の変換を実行し、無線周波数信号を処理するよう構成される。制御回路とアンテナは、まとめてトランシーバとも呼ばれ、主に電磁波形式の無線周波数信号を送信及び受信するように構成されている。タッチスクリーン、ディスプレイ、又はキーボードのような入出力機器は、主に、ユーザにより入力されたデータを受信し、ユーザにデータを出力するよう構成される。
【0393】
端末装置が電源オンになった後、プロセッサは、記憶ユニット内のソフトウェアプログラムを読み出し、ソフトウェアプログラムの命令を解釈して実行し、ソフトウェアプログラムのデータを処理してよい。データが無線で送信される必要があるとき、プロセッサは、被送信データにベースバンド処理を実行し、次に、ベースバンド信号を無線周波数回路へと出力する。無線周波数回路は、ベースバンド信号に対して無線周波処理を行った後、アンテナを介して電磁波形式の無線周波数信号を送信する。データが端末装置に送信されると、無線周波数回路は、アンテナを介して無線周波数信号を受信し、無線周波数信号をベースバンド信号に変換し、ベースバンド信号をプロセッサに出力する。プロセッサは、ベースバンド信号をデータに変換し、データを処理する。
【0394】
当業者は、説明を容易にするために、
図16が1個のみのメモリと1個のみのプロセッサとを示すことを理解し得る。実際の端末装置は、複数のプロセッサ及びメモリを含んでよい。メモリは、記憶媒体、記憶装置などとも呼ばれてよい。これは、本願の実施形態において的に限定されない。
【0395】
例えば、プロセッサは、ベースバンドプロセッサ及び中央処理ユニットを含んでよい。ベースバンドプロセッサは、主に、通信プロトコル及び通信データを処理するよう構成される。中央処理ユニットは、主に、端末装置全体を制御し、ソフトウェアプログラムを実行し、及びソフトウェアプログラムのデータを処理するよう構成される。ベースバンドプロセッサ及び中央処理ユニットの機能は、
図16のプロセッサに統合される。当業者は、ベースバンドプロセッサ及び中央処理ユニットが各々、独立したプロセッサであってよく、バスのような技術を用いて相互接続されることを理解し得る。当業者であれば、端末装置は、異なるネットワーク標準に適合するように複数のベースバンドプロセッサを備えることができ、端末装置は、端末装置の処理能力を高めるために複数の中央処理ユニットを備えることができ、端末装置のコンポーネントは、様々なバスを用いて接続することができることを理解することができる。ベースバンドプロセッサは、代替として、ベースバンド処理回路又はベースバンド処理チップとして表現されてよい。中央処理ユニットは、代替として、中央処理回路又は中央処理チップとして表されてよい。通信プロトコル及び通信データを処理する機能は、プロセッサ内に構築されてよく、又はソフトウェアプログラムの形式で記憶ユニットに格納されてよい。プロセッサは、ベースバンド処理機能を実現するためにソフトウェアプログラムを実行する。
【0396】
例えば、本願の本実施形態では、トランシーバ機能を有するアンテナ及び制御回路は、端末装置1200のトランシーバユニット1210と考えられてよく、処理機能を有するプロセッサは、端末装置1200の処理ユニット1220と考えられてよい。
図16に示されるように、端末装置1200はトランシーバユニット1210と処理ユニット1220とを含む。トランシーバユニットは、トランシーバ、トランシーバ機械、トランシーバ機器、等とも呼ばれてよい。任意的に、トランシーバユニット1210内にあり受信機能を実装するよう構成されるコンポーネントは、受信ユニットと考えられてよく、トランシーバユニット1210内にあり送信機能を実装するよう構成されるコンポーネントは送信ユニットと考えられてよい。つまり、トランシーバユニットは、受信ユニットと送信ユニットとを含む。例えば、受信ユニットは、受信機、受信機械、又は受信回路と呼ばれてもよく、送信ユニットは、送信機、送信機械、又は送信回路と呼ばれてもよい。
【0397】
理解されるべきことに、本願の実施形態におけるプロセッサは、中央処理ユニット(Central Processing Unit, CPU)、別の汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor, DSP)、特定用途向け集積回路(Application-Specific Integrated Circuit, ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array, FPGA)、又は別のプログラマブル論理素子、個別ゲート若しくはトランジスタ論理素子、個別ハードウェアコンポーネント、等であってよい。汎用プロセッサは、マイクロプロセッサ、任意の従来のプロセッサ、等であってよい。
【0398】
本願の実施形態におけるメモリは、揮発性メモリ又は不揮発性メモリであってよく、又は揮発性メモリ及び不揮発性メモリを含んでよいことを理解されたい。不揮発性メモリは、読み出し専用メモリ(Read-Only Memory, ROM)、プログラマブル読み出し専用メモリ(Programmable ROM, PROM)、消去可能プログラマブル読み出し専用メモリ(Erasable PROM, EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(Electrically EPROM, EEPROM)、又はフラッシュメモリであってよい。揮発性メモリは、ランダムアクセスメモリ(Random Access Memory, RAM)であってよく、外部キャッシュとして使用される。限定ではなく例として、ランダムアクセスメモリ(random access memory, RAM)、例えば、静的ランダムアクセスメモリ(Static RAM, SRAM)、動的ランダムアクセスメモリ(Dynamic RAM, DRAM)、同期動的ランダムアクセスメモリ(Synchronous DRAM, SDRAM)、ダブルデータレート同期動的ランダムアクセスメモリ(Double Data Rate SDRAM, DDR SDRAM)、拡張同期動的ランダムアクセスメモリ(Enhanced SDRAM, ESDRAM)、シンクリンク動的ランダムアクセスメモリ(Synchlink DRAM, SLDRAM)、及び直接ランバスランダムアクセスメモリ(Direct Rambus RAM, DR RAM)が使用されてよい。
【0399】
前述の実施形態の全て又は一部は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせを使用して実施することができる。実施形態を実装するためにソフトウェアが使用されるとき、前述の実施形態は、コンピュータプログラムプロダクトの形式で完了に又は部分的に実装されてよい。コンピュータプログラムプロダクトは、1つ以上のコンピュータ命令又はコンピュータプログラムを含む。プログラム命令又はコンピュータプログラムは、コンピュータ上にロードされ実行されると、本願の実施形態による手順又は機能が全部又は部分的に生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は別のプログラマブル機器であってよい。コンピュータ命令は、コンピュータ可読記憶媒体に格納されてよく、又はコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体へ送信されてよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、又はデータセンタから、別のウェブサイト、コンピュータ、サーバ、又はデータセンタへ、無線(例えば、赤外線、無線、及びマイクロ波、等)方式で送信されてよい。コンピュータ可読記憶媒体は、コンピュータによりアクセス可能な任意の使用可能媒体、又は1つ以上の使用可能媒体を統合するサーバ若しくはデータセンタのようなデータ記憶装置であってよい。使用可能媒体は、磁気媒体(例えば、フロッピーディスク、ハードディスク、又は磁気テープ)、光媒体(例えば、DVD)、又は半導体媒体であってよい。半導体媒体は固体ドライブであってよい。
【0400】
本願の実施形態は、コンピュータプログラムを格納するコンピュータ可読媒体をさらに提供する。コンピュータプログラムはコンピュータにより実行されると、上記の実施形態のいずれか1つで符号化装置又は復号装置により実行されたステップが実施される。
【0401】
本願の一実施形態は、コンピュータプログラムプロダクトを更に提供する。コンピュータプログラムプロダクトがコンピュータにより実行されると、前述の実施形態のうちのいずれか1つで符号化装置又は復号装置により実行されたステップが実施される。
【0402】
本願の実施形態は、システムチップを更に提供する。システムチップは、処理ユニット及び通信ユニットを含む。処理ユニットは、例えばプロセッサであってよい。処理ユニットは、例えば、通信インタフェース、入出力インタフェース、ピン、回路等であってよい。処理ユニットはコンピュータ命令を実行してよく、その結果、通信機器内のチップは、本願の前述の実施形態で符号化装置又は復号装置により実行されたステップを実行する。
【0403】
任意に、コンピュータ命令は記憶ユニットに格納される。
【0404】
本願の実施形態は、単独で使用することも、共同で使用することもできる。これは、ここでは限定されない。
【0405】
さらに、本願の態様又は特徴は、標準的なプログラミング及び/又はエンジニアリング技術を使用する方法、機器、又は製品として実施することができる。本願において使用される用語「プロダクト」は、任意のコンピュータ可読コンポーネント、キャリア、又は媒体からアクセス可能なコンピュータプログラムを包含する。例えば、コンピュータ可読媒体は、限定ではないが、磁気記憶コンポーネント(例えば、ハードディスク、フロッピーディスク又は磁気テープ)、光ディスク(例えば、コンパクトディスク(compact disc, CD)、又はデジタルバーサタイルディスク(digital versatile disc, DVD))、スマートカード、及びフラッシュメモリコンポーネント(例えば、消去可能プログラマブル読み出し専用メモリ(Erasable Programmable Read-Only Memory, EPROM)、カード、スティック、又はキードライブ)を含んでよい。さらに、本明細書に記載される種々の記憶媒体は、情報を格納するように構成される1つ以上の装置及び/又は他の機械可読媒体を表してよい。用語「機械可読媒体」は、限定ではないが、無線チャネル、命令及び/又はデータを格納し、含み、及び/又は運ぶことのできる種々の他の媒体を含んでよい。
【0406】
用語「及び/又は」は、関連付けられたオブジェクトを説明する関連付け関係を記述し、3つの関係が存在し得ることを表すことが理解されるべきである。例えば、A及び/又はBは、以下の3つの場合を表してよい。Aのみが存在する、A及びBの両方が存在する、並びに、Bのみが存在する。文字「/」は、通常、関連付けられたオブジェクトの間の「又は」の関係を示す。用語「少なくとも1つの」は、1つ以上を意味する。用語「A及びBのうちの少なくとも1つ」は、用語「A及び/又はB」と同様に、関連付けられたオブジェクト間の関連付け関係を説明し、3つの関係が存在し得ることを表す。例えば、A及びBのうちの少なくとも1つは、以下の3つの場合を表してよい。Aのみが存在する、A及びBの両方が存在する、並びに、Bのみが存在する。
【0407】
当業者は、本明細書に開示された実施形態で記載された例におけるユニット及びアルゴリズムのステップと組み合わせて、本願が電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせにより実装できることを認識し得る。機能がハードウェア又はソフトウェアにより実行されるかは、技術的ソリューションの特定の適用及び設計制約条件に依存する。当業者は、特定の適用毎に、記載の機能を実施するために異なる方法を使用してよいが、実装が本願の範囲を超えると考えられるべきではない。
【0408】
便宜上及び簡潔な説明を目的として、前述のシステム、機器、及びユニットの詳細な作動プロセスについては、前述の方法の実施形態における対応する処理を参照することを、当業者は明確に理解し得る。詳細はここで再び記載されない。
【0409】
本願において提供された幾つかの実施形態では、理解されるべきことに、開示のシステム、機器、及び方法は他の方法で実装されてよい。例えば、記載の機器の実施形態は単なる例である。例えば、ユニットへの分割は、単なる論理的機能分割であり、実際の実装では他の分割であってよい。例えば、複数のユニット又はコンポーネントは、結合され又は別のシステムに統合されてよく、或いは、幾つかの機能は、無視され又は実行されなくてよい。更に、示された又は議論された相互結合又は直接結合又は通信接続は、幾つかのインタフェースを通じて実装されてよい。機器又はユニット間の間接結合又は通信接続は、電子的、機械的、又は他の形式で実装されてよい。
【0410】
別個の部分として記載されたユニットは、物理的に分離していてよく又はそうでなくてよい。ユニットとして示された部分は、物理的ユニットであってよく又はそうでなくてよく、1つの場所に置かれてよく、又は複数のネットワークユニットに分配されてよい。ユニットのうちの一部又は全部は、実施形態のソリューションの目的を達成するために、実際の必要に基づき選択されてよい。
【0411】
さらに、本願の実施形態における機能ユニットは、1つの処理ユニットへと統合されてよく、又は、ユニットの各々は物理的に単独で存在してよく、又は、2つ以上のユニットが1つのユニットへと統合されてよい。
【0412】
機能がソフトウェア機能ユニットの形式で実装され、独立したプロダクトとして販売され又は使用されるとき、機能は、コンピュータ可読記憶媒体に格納されてよい。このような理解に基づき、基本的に本願の技術的ソリューションは、又は従来の技術に貢献する部分は、又は技術的ソリューションのうちの全部又は一部は、ソフトウェアプロダクトの形式で実装されてよい。コンピュータソフトウェアプロダクトは、記憶媒体に格納され、本願の実施形態で記載された方法のステップのうちの全部又は一部を実行するようコンピュータ装置(これは、パーソナルコンピュータ、サーバ、ネットワーク装置、等であってよい)に指示するための幾つかの命令を含む。前述の記憶媒体は、プログラムコードを格納できる、USBフラッシュドライブ、取り外し可能ハードディスク、読み出し専用メモリ(Read-Only Memory, ROM)、ランダムアクセスメモリ(Random Access Memory, RAM)、磁気ディスク、又は光ディスクのような、任意の媒体を含む。
【0413】
前述の説明は、単に本願の特定の実装であり、本願の保護範囲を限定することを意図しない。本願で開示された技術的範囲の範囲内にある、当業者により直ちに考案される任意の変形又は置換は、本願の保護範囲の中に包含されるべきである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うべきである。