IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧

特表2024-531676ビデオエンコーディング方法、ビデオデコーディング方法、ビデオエンコーディング装置、ビデオデコーディング装置、及びコンピュータプログラム
<>
  • 特表-ビデオエンコーディング方法、ビデオデコーディング方法、ビデオエンコーディング装置、ビデオデコーディング装置、及びコンピュータプログラム 図1
  • 特表-ビデオエンコーディング方法、ビデオデコーディング方法、ビデオエンコーディング装置、ビデオデコーディング装置、及びコンピュータプログラム 図2
  • 特表-ビデオエンコーディング方法、ビデオデコーディング方法、ビデオエンコーディング装置、ビデオデコーディング装置、及びコンピュータプログラム 図3
  • 特表-ビデオエンコーディング方法、ビデオデコーディング方法、ビデオエンコーディング装置、ビデオデコーディング装置、及びコンピュータプログラム 図4
  • 特表-ビデオエンコーディング方法、ビデオデコーディング方法、ビデオエンコーディング装置、ビデオデコーディング装置、及びコンピュータプログラム 図5
  • 特表-ビデオエンコーディング方法、ビデオデコーディング方法、ビデオエンコーディング装置、ビデオデコーディング装置、及びコンピュータプログラム 図6
  • 特表-ビデオエンコーディング方法、ビデオデコーディング方法、ビデオエンコーディング装置、ビデオデコーディング装置、及びコンピュータプログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-29
(54)【発明の名称】ビデオエンコーディング方法、ビデオデコーディング方法、ビデオエンコーディング装置、ビデオデコーディング装置、及びコンピュータプログラム
(51)【国際特許分類】
   H04N 19/30 20140101AFI20240822BHJP
   H04N 19/85 20140101ALI20240822BHJP
【FI】
H04N19/30
H04N19/85
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024515704
(86)(22)【出願日】2022-09-08
(85)【翻訳文提出日】2024-04-26
(86)【国際出願番号】 CN2022117938
(87)【国際公開番号】W WO2023040753
(87)【国際公開日】2023-03-23
(31)【優先権主張番号】202111082879.5
(32)【優先日】2021-09-15
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】シュ、ウェイウェイ
(72)【発明者】
【氏名】ジョウ、ジアントン
(72)【発明者】
【氏名】ユ、クアンヒ
(72)【発明者】
【氏名】ウェン、ジンソン
(72)【発明者】
【氏名】フ、ユトン
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LA02
5C159MA17
5C159MA34
5C159PP04
5C159TA01
5C159TB10
5C159TC02
5C159TD03
5C159UA02
5C159UA05
(57)【要約】
本願の実施形態は、ビデオエンコーディング方法、ビデオデコーディング方法及び装置を提供し、画像処理技術の分野に関する。ビデオエンコーディング装置は:ソースデータを取得すること、ここで、ソースデータは、同じビデオデータのための第1ハイダイナミックレンジHDRデータ及び第1スタンダードダイナミックレンジSDRビットストリームを備える;第1SDRビットストリームの再構築データ及び第1HDRデータの間の対応関係に基づいて、第1SDRビットストリームの再構築データを第2HDRデータにマッピングすること;第2HDRデータ及び第1HDRデータの間のターゲット残差値を決定すること、ここで、ターゲット残差値のビット幅は第1ビット幅より小さい又はそれに等しく、第1ビット幅は、第1SDRビデオを第1SDRビットストリームにエンコードするためのデータビット幅である;予め設定されたデータを決定するべく対応関係及びターゲット残差値をエンコードすること;予め設定されたデータが追加された第1SDRビットストリームを伝送すること、を行い得る。本願において、SDRビデオデコーディングデバイス及びHDRビデオデコーディングデバイス上の良好な処理は、予め設定されたデータ及びSDRビットストリームに基づいて保証され得る。
【特許請求の範囲】
【請求項1】
ソースデータを取得する段階、ここで、前記ソースデータは、同じビデオデータのための第1ハイダイナミックレンジHDRデータ及び第1スタンダードダイナミックレンジSDRビットストリームを備える;
前記第1SDRビットストリームの再構築データ及び前記第1HDRデータの間の対応関係に基づいて、前記第1SDRビットストリームの前記再構築データを第2HDRデータにマッピングする段階;
前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定する段階、ここで、前記ターゲット残差値のビット幅は第1ビット幅より小さい又はそれに等しく、前記第1ビット幅は、第1SDRビデオを前記第1SDRビットストリームにエンコードするためのデータビット幅である;
予め設定されたデータを決定するべく前記対応関係及び前記ターゲット残差値をエンコードする段階;及び
前記予め設定されたデータが追加された前記第1SDRビットストリームを伝送する段階
を備える、ビデオエンコーディング方法。
【請求項2】
前記対応関係は、
前記再構築データ及び前記第1HDRデータから第1平均値を決定すること、ここで、前記第1平均値は、前記第1HDRデータ及び前記再構築データの第1位置におけるピクセルの予め設定されたパラメータに基づいて決定される;
前記再構築データを複数の画像ブロックに、前記第1HDRデータを複数の画像ブロックに分割すること、ここで、前記再構築データの前記複数の画像ブロックの数及び位置はそれぞれ、前記第1HDRデータのそれらと同じである;
前記再構築データの各画像ブロック及び前記第1HDRデータの各画像ブロックに対応する第2平均値を決定すること;及び
前記第1平均値又は前記第2平均値に基づいて前記対応関係を決定すること
といった方式で決定される、請求項1に記載の方法。
【請求項3】
前記予め設定されたパラメータは、グレースケール値、RGB値又はYUV値である、請求項2に記載の方法。
【請求項4】
前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定する前記段階は、
初期残差値を決定するべく、前記第2HDRデータ及び前記第1HDRデータに対して減算を実行する段階;
前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定する段階;及び
前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングする段階
を有する、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定する前記段階は、
前記初期残差値に基づいてヒストグラムを決定する段階;
前記ヒストグラムの中心位置に対応する残差値を決定する段階;
前記ヒストグラムの前記中心位置に対応する前記第1ビット幅及び前記残差値に基づいて第1値範囲を決定する段階;
前記初期残差値の前記値範囲の前記分布に基づいて、前記第1値範囲に含まれる初期残差のターゲット比例値を決定する段階;及び
前記第1値範囲に含まれる前記初期残差に対して残差マッピングを実行して、前記第1値範囲に含まれていない初期残差をクランプする段階
を有する、請求項4に記載の方法。
【請求項6】
前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングする前記段階は、
前記ヒストグラムの前記中心位置に対応する前記ターゲット比例値及び前記残差値に基づいて第1残差値及び第2残差値を決定する段階、ここで、前記第1残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より少なく、前記第2残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より大きく、少なくとも1つの第1残差値が存在し、少なくとも1つの第2残差値が存在し、前記第1残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第1比例値に対応しており、前記第2残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第2比例値に対応しており、前記第1比例値及び前記第2比例値の合計は、前記ターゲット比例値である;及び
前記第1残差値及び前記第2残差値の間に含まれる初期残差値を前記ターゲット残差値にマッピングし、前記第1残差値及び前記第2残差値の間に含まれない初期残差値をクランプすることで予め設定された値を取得する段階
を有する、請求項5に記載の方法。
【請求項7】
第1SDRビットストリームを受信する段階、ここで、前記第1SDRビットストリームは予め設定されたデータを備え、前記予め設定されたデータは対応関係及びターゲット残差値をエンコードすることにより取得される;
前記対応関係に基づいて前記第1SDRビットストリームの再構築データを第2HDRデータにマッピングする段階;及び
前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定する段階
を備える、ビデオデコーディング方法。
【請求項8】
前記予め設定されたデータはさらに、残差マッピング方式及びクランプ方式を備える、請求項7に記載の方法。
【請求項9】
前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定する前記段階は、
前記残差マッピング方式、前記クランプ方式、前記ターゲット残差値及び第1ビット幅に基づいて第1残差値及び第2残差値を決定する段階;
前記第1残差値、前記第2残差値、及び前記クランプ方式に基づいて初期残差値を決定する段階、ここで、前記初期残差値のビット幅は前記第1ビット幅より大きい又はそれに等しい;及び
前記初期残差値及び前記第2HDRデータに基づいて前記第1HDRデータを決定する段階
を有する、請求項8に記載の方法。
【請求項10】
ソースデータを取得すること、ここで、前記ソースデータは、同じビデオデータのための第1ハイダイナミックレンジHDRデータ及び第1スタンダードダイナミックレンジSDRビットストリームを備える;前記第1SDRビットストリームの再構築データ及び前記第1HDRデータの間の対応関係に基づいて、前記第1SDRビットストリームの前記再構築データを第2HDRデータにマッピングすること;前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定すること、ここで、前記ターゲット残差値のビット幅は第1ビット幅より小さい又はそれに等しく、前記第1ビット幅は、第1SDRビデオを前記第1SDRビットストリームにエンコードするためのデータビット幅である;及び、予め設定されたデータを決定するべく前記対応関係及び前記ターゲット残差値をエンコードすることを行うように構成された処理ユニット;及び
前記予め設定されたデータが追加された前記第1SDRビットストリームを伝送することを行うように構成された入力/出力ユニット
を備える、ビデオエンコーディング装置。
【請求項11】
前記対応関係は、
前記再構築データ及び前記第1HDRデータから第1平均値を決定すること、ここで、前記第1平均値は、前記第1HDRデータ及び前記再構築データの第1位置におけるピクセルの予め設定されたパラメータに基づいて決定される;
前記再構築データを複数の画像ブロックに、前記第1HDRデータを複数の画像ブロックに分割すること、ここで、前記再構築データの前記複数の画像ブロックの数及び位置はそれぞれ、前記第1HDRデータのそれらと同じである;
前記再構築データの各画像ブロック及び前記第1HDRデータの各画像ブロックに対応する第2平均値を決定すること;及び
前記第1平均値又は前記第2平均値に基づいて前記対応関係を決定すること
といった方式で決定される、請求項10に記載の装置。
【請求項12】
前記予め設定されたパラメータは、グレースケール値、RGB値又はYUV値である、請求項11に記載の装置。
【請求項13】
前記処理ユニットは、
初期残差値を決定するべく、前記第2HDRデータ及び前記第1HDRデータに対して減算を実行すること;
前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定すること;及び
前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングすること
を行うように具体的に構成されている、請求項10から12のいずれか一項に記載の装置。
【請求項14】
前記処理ユニットは、
前記初期残差値に基づいてヒストグラムを決定すること;
前記ヒストグラムの中心位置に対応する残差値を決定すること;
前記ヒストグラムの前記中心位置に対応する前記第1ビット幅及び前記残差値に基づいて第1値範囲を決定すること;
前記初期残差値の前記値範囲の前記分布に基づいて、前記第1値範囲に含まれる初期残差のターゲット比例値を決定すること;及び
前記第1値範囲に含まれる前記初期残差に対して残差マッピングを実行して、前記第1値範囲に含まれていない初期残差をクランプすること
を行うように具体的に構成されている、請求項13に記載の装置。
【請求項15】
前記処理ユニットは、
前記ヒストグラムの前記中心位置に対応する前記ターゲット比例値及び前記残差値に基づいて第1残差値及び第2残差値を決定すること、ここで、前記第1残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より少なく、前記第2残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より大きく、少なくとも1つの第1残差値が存在し、少なくとも1つの第2残差値が存在し、前記第1残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第1比例値に対応しており、前記第2残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第2比例値に対応しており、前記第1比例値及び前記第2比例値の合計は、前記ターゲット比例値である;及び、前記第1残差値及び前記第2残差値の間に含まれる初期残差値を前記ターゲット残差値にマッピングし、前記第1残差値及び前記第2残差値の間に含まれない初期残差値をクランプすることで予め設定された値を取得すること
を行うように具体的に構成されている、請求項14に記載の装置。
【請求項16】
第1SDRビットストリームを受信すること、ここで、前記第1SDRビットストリームは予め設定されたデータを備え、前記予め設定されたデータは対応関係及びターゲット残差値をエンコードすることにより取得される、を行うように構成された入力/出力ユニット;及び
前記対応関係に基づいて前記第1SDRビットストリームの再構築データを第2HDRデータにマッピングすること、及び前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定することを行うように構成された処理ユニット
を備える、ビデオデコーディング装置。
【請求項17】
前記予め設定されたデータはさらに、残差マッピング方式及びクランプ方式を備える、請求項16に記載の装置。
【請求項18】
前記処理ユニットは、
前記残差マッピング方式、前記クランプ方式、前記ターゲット残差値及び第1ビット幅に基づいて第1残差値及び第2残差値を決定すること;
前記第1残差値、前記第2残差値及び前記クランプ方式に基づいて初期残差値を決定すること、ここで、前記初期残差値のビット幅は前記第1ビット幅より大きい又はそれに等しい;及び
前記初期残差値及び前記第2HDRデータに基づいて前記第1HDRデータを決定すること
を行うように具体的に構成されている、請求項16に記載の装置。
【請求項19】
互いに連結された不揮発性メモリ及びプロセッサを備えるビデオエンコーディング装置であって、前記プロセッサは、前記メモリに記憶されたプログラムコードを呼び出すことで、請求項1から6のいずれか一項に記載の方法を実行する、ビデオエンコーディング装置。
【請求項20】
互いに連結された不揮発性メモリ及びプロセッサを備えるビデオデコーディング装置であって、前記プロセッサは、前記メモリに記憶されたプログラムコードを呼び出すことで、請求項7から9のいずれか一項に記載の方法を実行する、ビデオデコーディング装置。
【請求項21】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体はプログラムコードを記憶し、前記プログラムコードは、請求項1から9のいずれか一項に記載の方法を実行するためにプロセッサによって使用される命令を備える、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本願は、2021年9月15日に中国国家知識産権局に出願された「ビデオエンコーディング方法、ビデオデコーディング方法及び装置」と題する中国特許出願第202111082879.5に対する優先権を主張しており、当該出願はその全体が参照により本明細書に組み込まれる。
【0002】
本願の実施形態は、画像処理技術の分野、とりわけ、ビデオエンコーディング方法、ビデオデコーディング方法及び装置に関する。
【背景技術】
【0003】
デジタル画像において、ダイナミックレンジ(dynamic range)は、画像の表示可能範囲における最大グレースケール値の最小グレースケール値に対する比を指示する。10-3から10のダイナミックレンジは、ハイダイナミックレンジ(high dynamic range、HDR)である。一般的な画像のダイナミックレンジは、スタンダードダイナミックレンジ(standard dynamic range、SDR)である。デジタルカメラのイメージングプロセスは、実際に、写真のハイダイナミックレンジからスタンダードダイナミックレンジへのマッピングである。
【0004】
ダイナミックレンジマッピングは主に、フロントエンドHDR信号及びバックエンドHDR端末表示デバイスに適用される。例えば、フロントエンドによって捕捉された照明信号は4000nit(ニット)であり、バックエンドHDR端末表示デバイス(テレビ)のHDR表示能力は、500nitに過ぎない。したがって、4000nitの信号を500nitのデバイスにマッピングすることは、高から低へのダイナミックレンジマッピングである。別の例の場合、フロントエンドは100nitのSDR信号を捕捉し、表示端は2000nitのテレビ信号を表示する。したがって、100nitの信号を2000nitのデバイス上に表示させることは、低から高へのダイナミックレンジマッピングである。
【0005】
現在、多数のデバイスはHDRをサポートしておらず、それらのデバイスに対するHDR信号の表示効果は低い。したがって、従来技術では、ビデオ処理のためにスケーラブルエンコーディングが使用されており、具体的には、別々のエンコーディングのために、同じビデオが異なる解像度を有する複数のビデオに分割される。しかしながら、複数のハードウェアデバイスはスケーラブルエンコーディングをサポートしておらず、スケーラブルエンコーディングは大量のデータ計算量を必要とする。結果として、多数のプロセッサリソースが無駄になる。
【発明の概要】
【0006】
本願は、HDR表示効果を保証しながらビデオエンコーディングの効率を向上するべく、ビデオエンコーディング方法、ビデオデコーディング方法及び装置を提供する。
【0007】
第1態様によると、本願は、ビデオエンコーディング方法を提供する。本方法は、ビデオエンコーディング装置によって実行され得る。概して、ビデオエンコーディング装置は、ビデオカメラ、携帯電話、タブレットコンピュータ、ノートブックコンピュータ又はテレビなどの、カメラレンズ又はプロセッサを保持するデバイスであり得る。これは、本願においてここに具体的に限定されない。
【0008】
ビデオエンコーディング装置は:ソースデータを取得すること、ここで、前記ソースデータは、同じビデオデータのための第1ハイダイナミックレンジHDRデータ及び第1スタンダードダイナミックレンジSDRビットストリームを備える;前記第1SDRビットストリームの再構築データ及び前記第1HDRデータの間の対応関係に基づいて、前記第1SDRビットストリームの前記再構築データを第2HDRデータにマッピングすること;前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定すること、ここで、前記ターゲット残差値のビット幅は第1ビット幅より小さい又はそれに等しく、前記第1ビット幅は、第1SDRビデオを前記第1SDRビットストリームにエンコードするためのデータビット幅である;予め設定されたデータを決定するべく前記対応関係及び前記ターゲット残差値をエンコードすること;及び、前記予め設定されたデータが追加された前記第1SDRビットストリームを伝送すること、を行い得る。
【0009】
ソースデータ内の第1HDRデータは、ビデオエンコーディング装置に通信可能に接続されたデバイスからビデオエンコーディング装置によって受信されてもよく、又は、同じビデオデータのためのビデオエンコーディング装置のデータ処理を介して取得されてもよいことに留意されたい。これは、本願においてここに具体的に限定されない。概して、ビデオデータは大きく、大量の帯域幅リソースを占有する。ビデオデータは、ビデオビットストリームを取得するためにエンコードされる。伝送中に、ビデオビットストリームは大量の帯域幅リソースを占有せず、データの伝送効率を保証し得る。したがって、ビデオエンコーディング装置はビデオデータを直接伝送せず、伝送のためのビデオビットストリームを取得するためにビデオデータをエンコードする必要がある。加えて、ビデオエンコーディング装置は通常、HDRデータ及びSDRデータを取得し、SDRビットストリーム(すなわち、第1SDRビットストリーム)を取得するためにSDRデータをエンコードする。ビデオエンコーディング中に、ビデオデータは通常、ビデオビットストリームに変換される。これは、デバイス又はビデオデータのデータビット幅要件を満たす必要がある。より大きいデータビット幅は、ビデオビットストリームにより示されるより高いビデオデータDR及びより高い画像ピクセルを指示する。より小さいデータビット幅は、ビデオビットストリームにより示されるより低いビデオデータDR及びより低い画像ピクセルを指示する。概して、SDRビットストリームを取得するためにSDRデータをエンコードするためのデータビット幅は8bitであり、HDRビットストリームを取得するためにHDRデータをエンコードするためのデータビット幅は10bit又は12bitである。加えて、SDRデータのためのコーディングアルゴリズムは本願において限定されるものではなく、MPEG-1、MPEG-2、MPEG-4、H.263、H.264、H.265又はJPEGなどの任意のエンコーディング/デコーディングアルゴリズムであり得る。
【0010】
前述の再構築データは、第1SDRビットストリームをデコードすることにより取得されたSDRデータである。再構築データ及び第1HDRデータの間の対応関係を決定するべく、再構築データは第1HDRデータと比較される。実際の適用において、上記対応関係は、ビデオ画像のグレースケール値、RGB値又はYUV値を比較することにより決定され得る。これは、本願においてここに具体的に限定されない。
【0011】
HDRデータに対応するデータビット幅及びSDRデータに対応するデータビット幅は通常、サイズが異なるということに留意されたい。例えば、HDRデータに対応するデータビット幅は10bitであり、SDRデータに対応するデータビット幅は8bitである。ビデオエンコーディング装置は、減算演算又は正規化演算等によって、第1HDRデータ及び第2HDRデータの間のターゲット残差値を、第1SDRビットストリームの伝送要件を満たすデータビット幅に変換し得る。SDRデータに対応するデータビット幅は8bitであるので、ターゲット残差値のデータビット幅も8bitであるか、又は、8bitより少ない。
【0012】
本願において、SDRビデオデコーディングデバイス及びHDRビデオデコーディングデバイスは、予め設定されたデータ及びSDRビットストリームに基づいて良好にサポートされている。ビットストリームがSDRビットストリームであるとき、ビットストリームは、SDRビデオデコーディングデバイスによりSDRビットストリームとして明示的に識別され、SDR効果を保証する。予め設定されたデータ及びSDRビットストリームの両方はHDRデバイスにより正しく識別及びデコードされ、HDR効果を保証する。現在、大きいビット幅のコーディングは、全てのエンコーディング/デコーディング規格によりサポートされていないことに留意されたい。例えば、JPEGは8bitのみをサポートしており、ターゲット残差及びSDRの両方が8bitである。これは、ビデオエンコーディング装置及びビデオデコーディング装置が同じレベルのコーデックを使用し得ることを保証し得る。概して、ハードウェアエンコーダ又はハードウェアデコーダのフレームレベル切り替えは高い複雑性を有し、高いデバイス処理能力を必要とする。ターゲット残差値は、SDRビットストリームのエンコード中のビット幅より小さい又はそれに等しく調整される。これは、エンコーダ側及びデコーダ側におけるハードウェアエンコーダ又はハードウェアデコーダのフレームレベル切り替えを防止し得る。
【0013】
任意選択的な実装において、前記対応関係は、前記再構築データ及び前記第1HDRデータから第1平均値を決定すること、ここで、前記第1平均値は、前記第1HDRデータ及び前記再構築データの第1位置におけるピクセルの予め設定されたパラメータに基づいて決定される;前記再構築データを複数の画像ブロックに、前記第1HDRデータを複数の画像ブロックに分割すること、ここで、前記再構築データの前記複数の画像ブロックの数及び位置はそれぞれ、前記第1HDRデータのそれらと同じである;前記再構築データの各画像ブロック及び前記第1HDRデータの各画像ブロックに対応する第2平均値を決定すること;及び、前記第1平均値又は前記第2平均値に基づいて前記対応関係を決定することといった方式で決定され得る。このように決定された対応関係はより正確であり、決定された第2HDRデータはより信頼できる。
【0014】
任意選択的な実装において、前記予め設定されたパラメータは、グレースケール値、RGB値又はYUV値である。予め設定されたパラメータは、代替的に、YUVにおけるY又はラボにおけるLであり得る。これは、本願において具体的に限定されるものではない。
【0015】
任意選択的な実装において、ビデオエンコーディング装置は、初期残差値を決定するべく、前記第2HDRデータ及び前記第1HDRデータに対して減算を実行すること;前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定すること;及び、前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングすることを行い得る。
【0016】
上記初期残差値は、第2HDRデータ及び第1HDRデータ内の同じ位置におけるグレースケール値、RGB値又はYUV値の減算を介して取得されることに留意されたい。減算を介して取得された値は、異なり得る。ヒストグラムを取得するために、初期残差値に対して統計分析が実行され得、ヒストグラムは、初期残差値の値範囲の分布を示す。実際の適用において、曲線グラフは、初期残差値を提供することなく点を描くことによって取得され、初期残差値の値範囲の分布を示す。初期残差値の値範囲の分布を表示する方式は、本願においてここに具体的に限定されない。
【0017】
加えて、初期残差値がターゲット残差値に変換された場合、中間計算プロセスにおける大きい誤差を有するいくつかの値は計算結果に影響を与え得、計算中に大きい誤差を有する初期残差値によって生じた影響は、クランプ方式で除去され得る。次いで、ビデオエンコーディング装置は、初期残差値の値範囲の分布に基づいて決定された残差マッピング方式及びクランプ方式におけるターゲット残差値に、初期残差値をマッピングし得る。
【0018】
任意選択的な実装において、ビデオエンコーディング装置は、前記初期残差値に基づいてヒストグラムを決定すること;前記ヒストグラムの中心位置に対応する残差値を決定すること;前記ヒストグラムの前記中心位置に対応する前記第1ビット幅及び前記残差値に基づいて第1値範囲を決定すること;前記初期残差値の前記値範囲の前記分布に基づいて、前記第1値範囲に含まれる初期残差のターゲット比例値を決定すること;及び、前記第1値範囲に含まれる前記初期残差に対して残差マッピングを実行して、前記第1値範囲に含まれていない初期残差をクランプすることを行い得る。
【0019】
初期残差値の値範囲の分布が決定された後、ビデオエンコーディング装置は、第1ビット幅の値に基づいて第1値範囲を決定し得ることに留意されたい。第1値範囲内の初期残差値は、ビット幅が第1ビット幅より小さい又はそれに等しいターゲット残差値にマッピングされ得る。
【0020】
任意選択的な実装において、ビデオエンコーディング装置は、前記ヒストグラムの前記中心位置に対応する前記ターゲット比例値及び前記残差値に基づいて第1残差値及び第2残差値を決定すること、ここで、前記第1残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より少なく、前記第2残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より大きく、少なくとも1つの第1残差値が存在し、少なくとも1つの第2残差値が存在し、前記第1残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第1比例値に対応しており、前記第2残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第2比例値に対応しており、前記第1比例値及び前記第2比例値の合計は、前記ターゲット比例値である;及び、前記第1残差値及び前記第2残差値の間に含まれる初期残差値を前記ターゲット残差値にマッピングし、前記第1残差値及び前記第2残差値の間に含まれない初期残差値をクランプすることで予め設定された値を取得することを行い得る。
【0021】
前記第1残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より少なく、前記第2残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より大きく、少なくとも1つの第1残差値が存在し、少なくとも1つの第2残差値が存在し、前記第1残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第1比例値に対応しており、前記第2残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第2比例値に対応しており、前記第1比例値及び前記第2比例値の合計は、前記ターゲット比例値である。
【0022】
現在、大きいビット幅のコーディングは、全てのエンコーディング/デコーディング規格によりサポートされていないことに留意されたい。例えば、JPEGは8bitのみをサポートしており、ターゲット残差及びSDRの両方が8bitである。これは、ビデオエンコーディング装置及びビデオデコーディング装置が同じレベルのコーデックを使用し得ることを保証し得る。概して、ハードウェアエンコーダ又はハードウェアデコーダのフレームレベル切り替えは高い複雑性を有し、高いデバイス処理能力を必要とする。ターゲット残差値は、SDRビットストリームのエンコード中のビット幅より小さい又はそれに等しく調整される。これは、エンコーダ側及びデコーダ側におけるハードウェアエンコーダ又はハードウェアデコーダのフレームレベル切り替えを防止し得る。
【0023】
第2態様によると、本願は、ビデオデコーディング方法を提供する。本方法は、ビデオデコーディング装置を使用することにより実行され得る。概して、ビデオデコーディング装置は、携帯電話、タブレットコンピュータ、ノートブックコンピュータ又はテレビなどの、ディスプレイ又はプロセッサを保持するデバイスであり得る。これは、本願においてここに具体的に限定されない。
【0024】
前記ビデオデコーディング装置は、前記第1SDRビットストリームを受信すること、ここで、前記第1SDRビットストリームは予め設定されたデータを備え、前記予め設定されたデータは対応関係及びターゲット残差値をエンコードすることにより取得される;前記対応関係に基づいて前記第1SDRビットストリームの再構築データを第2HDRデータにマッピングすること;及び、前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定することを行い得る。
【0025】
任意選択的な実装において、前記予め設定されたデータはさらに、残差マッピング方式及びクランプ方式を備える。
【0026】
任意選択的な実装において、前記ビデオデコーディング装置は、前記残差マッピング方式、前記クランプ方式、前記ターゲット残差値及び第1ビット幅に基づいて第1残差値及び第2残差値を決定すること;前記第1残差値、前記第2残差値及び前記クランプ方式に基づいて初期残差値を決定すること、ここで、前記初期残差値のビット幅は前記第1ビット幅より大きい又はそれに等しい;及び前記初期残差値及び前記第2HDRデータに基づいて前記第1HDRデータを決定することを行い得る。
【0027】
第3態様によると、本願は、
ソースデータを取得すること、ここで、前記ソースデータは、同じビデオデータのための第1ハイダイナミックレンジHDRデータ及び第1スタンダードダイナミックレンジSDRビットストリームを備える;前記第1SDRビットストリームの再構築データ及び前記第1HDRデータの間の対応関係に基づいて、前記第1SDRビットストリームの前記再構築データを第2HDRデータにマッピングすること;前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定すること、ここで、前記ターゲット残差値のビット幅は第1ビット幅より小さい又はそれに等しく、前記第1ビット幅は、第1SDRビデオを前記第1SDRビットストリームにエンコードするためのデータビット幅である;及び、予め設定されたデータを決定するべく前記対応関係及び前記ターゲット残差値をエンコードすることを行うように構成された処理ユニット;及び、前記予め設定されたデータが追加された前記第1SDRビットストリームを伝送することを行うように構成された入力/出力ユニット
を備える、ビデオエンコーディング装置を提供する。
【0028】
第4態様によると、本願は、第1SDRビットストリームを受信すること、ここで、前記第1SDRビットストリームは予め設定されたデータを備え、前記予め設定されたデータは対応関係及びターゲット残差値をエンコードすることにより取得される、を行うように構成された入力/出力ユニット;及び、前記対応関係に基づいて前記第1SDRビットストリームの再構築データを第2HDRデータにマッピングすること、及び前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定することを行うように構成された処理ユニット
を備える、ビデオデコーディング装置を提供する。
【0029】
第5態様によると、本願の実施形態は、互いに連結されている不揮発性メモリ及びプロセッサをを含み、ここで、プロセッサは、メモリに記憶されたプログラムコードを呼び出すことで、第1態様又は第1態様の設計のうち任意の1つにおける方法を実行する、ビデオエンコーディング装置を提供する。
【0030】
第6態様によると、本願の実施形態は、互いに連結されている不揮発性メモリ及びプロセッサをを含み、ここで、プロセッサは、メモリに記憶されたプログラムコードを呼び出すことで、第2態様又は第2態様の設計のうち任意の1つにおける方法を実行する、ビデオデコーディング装置を提供する。プロセッサは、エンコード動作を実行しないことに留意されたい。
【0031】
第7態様によると、本願の実施形態は、第5態様におけるビデオエンコーディング装置及び第6態様におけるビデオデコーディング装置を含む画像処理システムを提供する。
【0032】
第8態様によると、本願の実施形態は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体はプログラムコードを記憶し、ここで、プログラムコードは、第1態様又は第2態様における方法のいずれかにおけるステップの一部又は全部を実行するための命令を含む。
【0033】
第9態様によると、本願の実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で動作する場合、コンピュータは、第1態様又は第2態様における方法のいずれかにおけるステップの一部又は全部を実行することが可能となる。
【0034】
本願の第2態様から第9態様の有益な効果については、第1態様の関連説明を参照されたいことを理解されたい。詳細は再び説明されない。
【図面の簡単な説明】
【0035】
図1】本願の実施形態に係る画像処理システムの概略図である。
【0036】
図2】本願の実施形態に係るビデオエンコーディング方法及びビデオデコーディング方法の概略フローチャートである。
【0037】
図3】本願の実施形態に係る再構築データ及び第1HDRデータの概略図である。
【0038】
図4】本願の実施形態に係る再構築データ及び第1HDRデータの別の概略図である。
【0039】
図5】本願の実施形態に係る画像処理装置の構造の概略図である。
【0040】
図6】本願の実施形態に係る画像処理装置の構造の概略図である。
【0041】
図7】本願の実施形態に係る画像処理装置の構造の概略図である。
【発明を実施するための形態】
【0042】
本願の目的、技術的解決手段及び利点をより明確にするために、以下では、添付図面を参照して、本願をさらに詳細に説明する。方法の実施形態における具体的な動作方法が、装置の実施形態又はシステムの実施形態にも適用されてよい。本願の説明では、別段の定めがない限り、「複数の」は、2つ又は2つより多くの、を意味する。したがって、装置及び方法の実装については、相互参照されたい。繰り返しの説明は提供されない。
【0043】
本願において、「及び/又は」という用語は、関連付けられたオブジェクト間の対応関係を説明し、3つの関係が存在し得ることを指示し得る。例えば、A及び/又はBは、以下に挙げるケース:Aのみが存在する、A及びBの両方が存在する、及びBのみが存在するケースを示してよく、ここで、A及びBは、単数又は複数であってよい。加えて、別様に述べられない限り、本願の実施形態における「第1」及び「第2」などの序数は、複数のオブジェクトを区別するために使用されているが、複数のオブジェクトの順序、時系列、優先度又は重要度を限定することを意図するものではない。
【0044】
本願の明細書において説明された「1つの実施形態」、「いくつかの実施形態」等への参照は、本願の1又は複数の実施形態が、実施形態を参照して説明された具体的な特徴、構造又は特徴を含むことを意味する。したがって、本明細書の様々な箇所に現れる「1つの実施形態において」、「いくつかの実施形態において」、「いくつかの他の実施形態において」及び「他の実施形態において」などの記述は、必ずしも同じ実施形態を参照することを意味するものではない。その代わりに、そのような記述は、別の方式で別様に特に強調されない限り、「実施形態の1又は複数であって、その全てではない」ことを意味している。「含む」、「包含する」、「有する」という用語及びそれらの変形例は全て、別の方式で別様に具体的に強調されない限り、「含むが、それに限定されるものではない」を意味する。
【0045】
図1は、本願の実施形態が適用され得る画像処理システムを示す。システムは、ビデオエンコーディング装置、HDRビデオデコーディング装置及びSDRビデオデコーディング装置を含む。複数のビデオエンコーディング装置及び複数のビデオデコーディング装置が存在し得る。これは、本願においてここに具体的に限定されない。ビデオエンコーディング装置は:ビデオデータを捕捉すること、及び、HDRビデオビットストリーム及びSDRビデオビットストリームを取得するためにビデオデータをエンコードすることを行うように構成され得る。HDRビデオデコーディング装置は、HDRビデオビットストリーム及び/又はSDRビデオビットストリームを受信し、HDRビデオビットストリーム及び/又はSDRビデオビットストリームをビデオデータにデコードし得る。SDRビデオデコーディング装置は、SDRビデオビットストリームを受信し、SDRビデオビットストリームをビデオデータにデコードし得る。ビデオエンコーディング装置は、ビデオカメラ、携帯電話、タブレットコンピュータ、ノートブックコンピュータ又はテレビなどの、カメラレンズ又はプロセッサを保持するデバイスであり得る。ビデオデコーディング装置は、携帯電話、タブレットコンピュータ、ノートブックコンピュータ又はテレビなどの、ディスプレイ又はプロセッサを保持するデバイスであり得る。同じ画像の場合、ビデオエンコーディング装置は、画像捕捉方式を調整することにより、異なるDRの画像を取得し得る。例えば、SDR画像1(SDR画像のDRは概して、1nit及び100nitの間である)は、撮影パラメータ1(4露光値(exposure value、EV)から12EV)に基づいて決定され、SDR画像2は、撮影パラメータ2(8EVから16EV)に基づいて決定され、HDR画像(HDR画像のDRは、概して、0.001nit及び10000nitの間である)は、画像1及び画像2に基づいて決定され得る。HDR画像に対応する撮影パラメータは、4EVから16EVであり得る。同様に、ビデオは連続した画像の複数のフレームを含むので、ビデオ捕捉装置は、同じビデオに対するHDRビデオ及びSDRビデオを決定し得る。加えて、ビデオエンコーディング装置は、例えば人工知能ベースの方法のような別の方式で、HDRビデオ及びSDRビデオをさらに決定し得る。これは、本願においてここに具体的に限定されない。図1において、ビデオエンコーディング装置がSDRデータ(ビデオ又は画像)及びHDRデータを取得し得る例が、説明のために使用される。
【0046】
EVは、露光を指示するユニットである。光線過敏症が100である場合、F値はF1であり、露光時間は1秒であり、露光量は0と定義される。露光量に基づいて、露光は1レベル減少し(露光時間が半分に減少する又は開口部が1レベル小さくなる)、EV値が1増加する。
【0047】
露光式1は、以下の通りである。
【数1】
【0048】
AはレンズのF値を指示し、Tはシャッター時間(秒)を指示し、Bはシーン輝度を指示し、Sはフィルムの光線過敏症を指示する。写真撮影において、EVは、AV+TVの合計又はBV+SVの合計を指示する。EV値、すなわち、「露光値」は、抽象概念であり、開口部及びシャッターの組み合わせを示す。開口部及びシャッター速度は自由に選択され得る。開口部が大きいとき、シャッター時間はより短くなる必要がある;開口部が小さいとき、シャッター時間はより長くなる必要がある。しかしながら、開口部及びシャッターの組み合わせが、EV値が一定になることを保証する具体的な条件を満たす限り、最終的な露光量は同じである。EV値が1.0増加する度に、入射光の量は2倍になる。
【0049】
H.265規格において、ビデオエンコーディングは、ビット幅が10bit(ビット)であるHDRデータのエンコーディング及び表示をサポートすることに留意されたい。しかしながら、多数のデバイスはHDRをサポートしていない。ソフトウェアアプリケーションはHDRデータを識別できず、ソフトウェアアプリケーションクライアントはHDRデータの良好な効果を示すことができない。加えて、規格MPEG-2、MPEG-4、H.264及びH.265においては、スケーラブルエンコーディングに関する解決手段が存在し、具体的には、同じビデオが、別々のエンコーディングのための異なる解像度を有する複数のビデオに分割される。しかしながら、複数のハードウェアデバイスはスケーラブルエンコーディングをサポートしておらず、スケーラブルエンコーディングは大量のデータ計算量を必要とする。結果として、多数のプロセッサリソースが無駄になる。
【0050】
前述のケースを考慮すると、本願は、ビデオコーディング効率を向上させるとともにユーザ経験を向上させるべく、ビデオエンコーディング方法及びビデオデコーディング方法を提供する。図2を参照されたい。本方法は、ビデオエンコーディング装置及びビデオデコーディング装置を使用することにより実行される。ビデオエンコーディング装置は、ビデオエンコーディング方法を実行し得、ビデオデコーディング装置は、ビデオデコーディング方法を実行し得る。以下のステップが具体的に実行される。
【0051】
ステップ201:ビデオエンコーディング装置はソースデータを取得し、ここで、ソースデータは、同じビデオデータのための第1HDRデータ及び第1SDRビットストリームを含む。
【0052】
ソースデータ内の第1HDRデータは、ビデオエンコーディング装置に通信可能に接続されたデバイスからビデオエンコーディング装置によって受信されてもよく、又は、同じビデオデータのためのビデオエンコーディング装置のデータ処理を介して取得されてもよいことに留意されたい。これは、本願においてここに具体的に限定されない。概して、ビデオデータは大きく、大量の帯域幅リソースを占有する。ビデオデータは、ビデオビットストリームを取得するためにエンコードされる。伝送中に、ビデオビットストリームは大量の帯域幅リソースを占有せず、データの伝送効率を保証し得る。したがって、ビデオエンコーディング装置はビデオデータを直接伝送せず、伝送のためのビデオビットストリームを取得するためにビデオデータをエンコードする必要がある。加えて、ビデオエンコーディング装置は通常、HDRデータ及びSDRデータを取得し、SDRビットストリーム(すなわち、第1SDRビットストリーム)を取得するためにSDRデータをエンコードする。ビデオエンコーディング中に、ビデオデータは通常、ビデオビットストリームに変換される。これは、デバイス又はビデオデータのデータビット幅要件を満たす必要がある。より大きいデータビット幅は、ビデオビットストリームにより示されるより高いビデオデータDR及びより高い画像ピクセルを指示する。より小さいデータビット幅は、ビデオビットストリームにより示されるより低いビデオデータDR及びより低い画像ピクセルを指示する。概して、SDRビットストリームを取得するためにSDRデータをエンコードするためのデータビット幅は8bitであり、HDRビットストリームを取得するためにHDRデータをエンコードするためのデータビット幅は10bit又は12bitである。加えて、SDRデータのためのコーディングアルゴリズムは本願において限定されるものではなく、MPEG-1、MPEG-2、MPEG-4、H.263、H.264、H.265又はJPEGなどの任意のエンコーディング/デコーディングアルゴリズムであり得る。
【0053】
ステップ202:ビデオエンコーディング装置は、第1SDRビットストリームの再構築データ及び第1HDRデータの間の対応関係に基づいて、第1SDRビットストリームの再構築データを第2HDRデータにマッピングする。
【0054】
前述の再構築データは、第1SDRビットストリームをデコードすることにより取得されたSDRデータである。再構築データ及び第1HDRデータの間の対応関係を決定するべく、再構築データは第1HDRデータと比較される。実際の適用において、上記対応関係は、ビデオ画像のグレースケール値、RGB値又はYUV値を比較することにより決定され得る。これは、本願においてここに具体的に限定されない。
【0055】
任意選択的な実施形態において、対応関係は、以下の方法で決定され得る。
【0056】
ビデオエンコーディング装置は、再構築データ及び第1HDRデータから第1平均値を決定し得、ここで、第1平均値は、第1HDRデータ及び再構築データの第1位置におけるピクセルの予め設定されたパラメータに基づいて決定される。ビデオエンコーディング装置は、再構築データを複数の画像ブロックに、第1HDRデータを複数の画像ブロックに分割すること、ここで、再構築データの画像ブロックの数及び位置はそれぞれ、第1HDRデータのそれらと同じである;再構築データの各画像ブロック及び第1HDRデータの各画像ブロックに対応する第2平均値を決定すること;及び、第1平均値又は第2平均値に基づいて対応関係を決定することを行い得る。このように決定された対応関係はより正確であり、決定された第2HDRデータはより信頼できる。
【0057】
予め設定されたパラメータは、グレースケール値、RGB値、YUVにおけるY、又はラボにおけるLであり得る。これは、本願において具体的に限定されるものではない。グレースケール値は、図示のために本明細書において一例として使用される。実際の実行中に、ビデオエンコーディング装置は、再構築データ内の位置におけるグレースケール値に対応するピクセルのグレースケール値の、第1HDRデータ内の対応する位置における統計的ヒストグラムHis[i]、及び、グレースケール値の平均値avg[i]及び分散var[i]に対する統計を収集し得る。実際の適用において、再構築データ及び第1HDRデータ内の対応する位置における画像要素は同じであり、ピクセル又はDRのみが異なる。図3に示すように、再構築データ及び第1HDRデータ内の位置Aに対応する画像要素の両方は、数1を含む。計算中に、位置Aに対応するグレースケール値の平均値、すなわち、第1平均値が決定され得る。例えば、グレースケール値Iが、再構築データ内の位置1、2、3、4、5、6及び7などの7つの位置に現れたとき、第1HDRデータ(又は第1HDRデータの画像ブロック)内の位置1、2、3、4、5、6及び7において、グレースケール値1、グレースケール値2、…グレースケール値7が検索される。この場合、第1HDRデータ(又は第1HDRデータの画像ブロック)内の、グレースケール値Iに対応するグレースケール値の平均値は、(グレースケール値1+グレースケール値2+…+グレースケール値7)/7である。図3において、第1HDRデータは影部分によって指示されており、SDRデータは影が無い部分によって指示されている。
【0058】
加えて、全ての位置について計算された分散が総分散(すなわち、画像のフレーム全体の分散)より少なく、全ての位置について計算された分散が第1の予め設定された値より大きいとき、ビデオエンコーディング装置は、再構築データの対応する画像を複数の画像ブロックに、第1HDRデータの対応する画像を複数の画像ブロックに分割し、画像ブロックの統計的ヒストグラムsubHis[i]、及びグレースケール値の平均値subAvg[i]及び分散subVar[i]を計算し得る。第1の予め設定された値は、実際の適用要件に基づいて設定され得る。これは、本願においてここに具体的に限定されない。例えば、SDRデータのビット幅は8bitであるので、ターゲット残差は8bitに限定されるべきであり、第1の予め設定された値は128である。
【0059】
例えば、再構築データが4×4の画像ブロックに分割されたとき、第1HDRデータも、4×4の画像ブロックに分割される必要があり、上記2つのデータの対応する画像ブロックのサイズは同じである。図4に示すように、再構築データに対応する画像は4つの画像ブロックに分割され、第1HDRデータに対応する画像も4つの画像ブロックに分割され、再構築データの画像ブロック1及び第1HDRデータの画像ブロック1における画像要素は同じである。実際の適用において、画像ブロックは代替的に、不均等に割り当てられ得、具体的には、再構築データの画像ブロック1及び第1HDRデータの画像ブロック1が同じサイズを有し且つ画像要素が同じであることが保証されている限り、再構築データの画像ブロック1は他の再構築データの画像ブロック1とは異なるサイズを有し得る。
【0060】
実際の適用において、ローカルグレースケール/トーンマッピング関係は、avg[i]又はsubAvg[i]に基づいて取得され、次いで、ローカルグレースケール/トーンマッピング関係は、予め設定された規則に従って処理されることで、ほぼグローバルなグレースケール/トーンマッピング関係、すなわち、対応関係を取得し得る。予め設定された規則は、ローカルマッピング関係に対して加重計算を実行することで対応関係を決定することであってもよく、又は、別の方法であってもよい。これは、本願においてここに具体的に限定されない。例えば、予め設定された規則は、ローカルグレースケール/トーンマッピング値が、グローバルグレースケール/トーンマッピング値を取得するべく、ローカルヒストグラム及びグローバルヒストグラムの間の差分値を重みとして使用することにより重み付けされていることである。加えて、グレースケール/トーンマッピング関係は、任意の曲線又は行列パラメータによって指示され得る。これは、本願においてここに具体的に限定されない。
【0061】
ステップ203:ビデオエンコーディング装置は、第2HDRデータ及び第1HDRデータの間のターゲット残差値を決定し、ここで、ターゲット残差値のビット幅は第1ビット幅より小さい又はそれに等しく、第1ビット幅は、第1SDRビデオを第1SDRビットストリームにエンコードするためのデータビット幅である。
【0062】
HDRデータに対応するデータビット幅及びSDRデータに対応するデータビット幅は通常、サイズが異なるということに留意されたい。例えば、HDRデータに対応するデータビット幅は10bitであり、SDRデータに対応するデータビット幅は8bitである。ビデオエンコーディング装置は、減算演算又は正規化演算等を使用することによって、第1HDRデータ及び第2HDRデータの間のターゲット残差値を、第1SDRビットストリームの伝送要件を満たすデータビット幅に変換し得る。SDRデータに対応するデータビット幅は8bitであるので、ターゲット残差値のデータビット幅も8bitであるか、又は、8bitより少ない。
【0063】
任意選択的な実施形態において、ビデオエンコーディング装置は、初期残差値を決定するべく、前記第2HDRデータ及び前記第1HDRデータに対して減算を実行すること;前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定すること;及び、前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングすることを行い得る。
【0064】
上記初期残差値は、第2HDRデータ及び第1HDRデータ内の同じ位置におけるグレースケール値、RGB値又はYUV値の減算を介して取得されることに留意されたい。減算を介して取得された値は、異なり得る。ヒストグラムを取得するために、初期残差値に対して統計分析が実行され得、ヒストグラムは、初期残差値の値範囲の分布を示す。実際の適用において、曲線グラフは、初期残差値を提供することなく点を描くことによって取得され、初期残差値の値範囲の分布を示す。初期残差値の値範囲の分布を表示する方式は、本願においてここに具体的に限定されない。
【0065】
加えて、初期残差値がターゲット残差値に変換している間、中間計算プロセスにおける大きい誤差を有するいくつかの値は計算結果に影響を与え得、計算中に大きい誤差を有する初期残差値によって生じた影響は、クランプ方式で除去され得る。次いで、ビデオエンコーディング装置は、初期残差値の値範囲の分布に基づいて決定された残差マッピング方式及びクランプ方式におけるターゲット残差値に、初期残差値をマッピングし得る。
【0066】
任意選択的な実施形態において、ビデオエンコーディング装置は、前記初期残差値に基づいてヒストグラムを決定すること;前記ヒストグラムの中心位置に対応する残差値を決定すること;前記ヒストグラムの前記中心位置に対応する前記第1ビット幅及び前記残差値に基づいて第1値範囲を決定すること;前記初期残差値の前記値範囲の前記分布に基づいて、前記第1値範囲に含まれる初期残差のターゲット比例値を決定すること;及び、前記第1値範囲に含まれる前記初期残差に対して残差マッピングを実行して、前記第1値範囲に含まれていない初期残差をクランプすることを行い得る。
【0067】
初期残差値の値範囲の分布が決定された後、ビデオエンコーディング装置は、第1ビット幅の値に基づいて第1値範囲を決定し得ることに留意されたい。第1値範囲内の初期残差値は、ビット幅が第1ビット幅より小さい又はそれに等しいターゲット残差値にマッピングされ得る。実際の実行中には、以下の手順を参照されたい。
【0068】
A.初期残差値のヒストグラムに対する統計を収集する。
【0069】
B.ヒストグラムの中心位置に対応する残差値Yを決定する。
【0070】
C.第1値範囲を決定する。臨界値Ylowは、残差値がYより低い方向において中心位置の残差値Yに基づいて確認され、別の臨界値Yhighは、残差値がYより高い方向において確認される。2つの臨界値間の初期残差値はターゲット残差値にマッピングされ得、2つの臨界値は第1値範囲として定義され得る。第1値範囲は、値Yに対して第1ビット幅のシフト値を減算すること又は第1ビット幅のシフト値を加算することによって決定され得る。例えば、第1ビット幅が8bitであり且つ2(0から255)に対応するとき、1は8bitによって左方にシフトされ、次いで、1bitを減算することで128を取得し、すなわち、第1値範囲の臨界値はY-128であり、これに応じて、別の臨界値はY+128-1である。
【0071】
D.第1値範囲に含まれる初期残差の比例値を決定する。例えば、第1値範囲に含まれる初期残差値の割合が99%であると決定されたとき、ヒストグラムの1%に対応する初期残差値が第1値範囲に含まれるかどうかが決定され得る。yesのとき、ヒストグラムの100%に対応する初期残差は第1値範囲に含まれるかどうかが決定され、1%から100%に対応する初期残差はターゲット残差値にマッピングされ得る。代替的に、A%に対応する初期残差値は、比例値が99%であると決定された場合に残差値Yより前に選択され得、B%に対応する初期残差値は、残差値Aの後に選択され得、A%からB%は99%に等しい。例えば、A%は0%でB%は99%であり、A%は0.5%でBは99.5%であり、以下同様である。A%に対応する初期残差値及びB%に対応する初期残差値の両方は、第1値範囲に含まれる。これは、本願においてここに具体的に限定されない。
【0072】
E.第1値範囲に含まれる初期残差値をターゲット残差値にマッピングする。
【0073】
任意選択的な実施形態において、ビデオエンコーディング装置は、第1残差値及び第2残差値(前述の2つの臨界値として理解され得る)を、ヒストグラムの中心位置に対応するターゲット比例値及び残差値に基づいて決定し、第1残差値及び第2残差値の間の初期残差値をターゲット残差値にマッピングし、第1残差値及び第2残差値の間に含まれていない初期残差値を予め設定された値にクランプし得る。
【0074】
前記第1残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より少なく、前記第2残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より大きく、少なくとも1つの第1残差値が存在し、少なくとも1つの第2残差値が存在し、前記第1残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第1比例値に対応しており、前記第2残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第2比例値に対応しており、前記第1比例値及び前記第2比例値の合計は、前記ターゲット比例値である。以下では、説明のために、具体的な例が使用される。2つの第1残差値が存在するとき、2つの第2残差値も存在し、第1残差値はYlow及びYlow1であり、第2残差値はYhigh及びYhigh1である。ターゲット比例値は98%であると想定され、ヒストグラム分布のK%(例えば、1%)の位置は、Ylow1のために選択され得、ヒストグラム分布のN%(例えば、99%)の位置は、Yhigh1のために選択され得る。ターゲット比例値が90%より大きいとき、ヒストグラム分布のL%(例えば、5%)の位置は、Ylowのために選択され得、ヒストグラム分布のM%(例えば、95%)の位置は、Yhighのために選択され得る。
【0075】
残差マッピングについては、以下の方法を参照されたい。
【0076】
[方法1]
【0077】
(Ylow,Yhigh)内の初期残差値は、元の値+(1<<(Bitdepth-1))-Yに等しい。(Ylow1,Ylow)内の残差は、(0,Ylow+(1<<(Bitdepth-1))-Y)にマッピングされる。(Yhigh,Yhigh1)内の残差は、(Yhigh+(1<<(Bitdepth-1))-Y)、(1<<Bitdepth)-1)にマッピングされる。Ylow1より低い残差値は0にクランプされ、Yhigh1より高い残差値は(1<<Bitdepth)-1にクランプされる。
【0078】
[方法2]
【0079】
(Y-(1<<(Bitdepth-1))、Y+(1<<(Bitdepth-1))-1)内の残差は、元の値+(1<<(Bitdepth-1))-Yに等しい。Y-(1<<(Bitdepth-1))より少ない残差は、0にクランプされる。Y+(1<<(Bitdepth-1))-1より大きい残差は、(1<<Bitdepth)-1にクランプされる。
【0080】
Bitdepthは、第1ビット幅の値を指示する。例えば、第1ビット幅は8bitであり、対応するBitdepthは8であり、Yの値は0である、Ylowは-100であり、Yhighは90である。方法1が使用される場合、(Ylow,Yhigh)内の初期残差値は、例えば90であり得、マッピング中には、90+(1<<(Bitdepth-1))-0が実行され得、218(90+128-0)を90がマッピングされたターゲット残差値として決定する;(Ylow,Yhigh)内の初期残差値は、例えば-100であり得、マッピング中には、-100+(1<<(Bitdepth-1))-0が実行され得、28(-100+128-0)を-100がマッピングされたターゲット残差値として決定する。例えば、Ylow1が-300であるとき、(Ylow,Ylow1)、例えば(-300,-100)内の初期残差値は、(0,28)にマッピングされ、(Yhigh,Yhigh1)、例えば(90,400)内の初期残差値は、(218,255)にマッピングされ得る。Ylow1より低い残差値は0にクランプされ、Yhigh1より高い残差値は255にクランプされる。
【0081】
方法2が使用される場合、(Y-128,Y+127)内の初期残差値に128-Yが直接加算されることでターゲット残差値を取得し得、Y-128より低い初期残差値は0に直接クランプされ得、Y+127より高い初期残差値は255に直接クランプされ得る。
【0082】
現在、大きいビット幅のコーディングは、全てのエンコーディング/デコーディング規格によりサポートされていないことに留意されたい。例えば、JPEGは8bitのみをサポートしており、ターゲット残差及びSDRの両方が8bitである。これは、ビデオエンコーディング装置及びビデオデコーディング装置が同じレベルのコーデックを使用し得ることを保証し得る。概して、ハードウェアエンコーダ又はハードウェアデコーダのフレームレベル切り替えは高い複雑性を有し、高いデバイス処理能力を必要とする。ターゲット残差値は、SDRビットストリームのエンコード中のビット幅より小さい又はそれに等しく調整される。これは、エンコーダ側及びデコーダ側におけるハードウェアエンコーダ又はハードウェアデコーダのフレームレベル切り替えを防止し得る。
【0083】
ステップ204:ビデオエンコーディング装置は、対応関係及びターゲット残差値をエンコードすることで、予め設定されたデータを決定する。
【0084】
予め設定されたデータは、ユーザ定義データとして理解され得ることに留意されたい。予め設定されたデータを取得した後、ビデオデコーディング装置は、ビットストリームのデコード中にSDRデータをHDRデータに変換し得る。
【0085】
ステップ205:ビデオエンコーディング装置は、予め設定されたデータが追加された第1SDRビットストリームを伝送する。これに応じて、ビデオデコーディング装置は、第1SDRビットストリームを受信する。
【0086】
ステップ206:ビデオデコーディング装置は、第1SDRビットストリームの再構築データを、対応関係に基づいて第2HDRデータにマッピングする。
【0087】
ステップ207:ビデオデコーディング装置は、ターゲット残差値及び第2HDRデータに基づいて、第1HDRデータを決定する。
【0088】
任意選択的な実施形態において、前記予め設定されたデータはさらに、残差マッピング方式及びクランプ方式を含む。前記ビデオデコーディング装置は、前記残差マッピング方式、前記クランプ方式、前記ターゲット残差値及び前記第1ビット幅に基づいて前記第1残差値及び前記第2残差値を決定すること;前記第1残差値、前記第2残差値及び前記クランプ方式に基づいて前記初期残差値を決定すること、ここで、前記初期残差値のビット幅は前記第1ビット幅より大きい又はそれに等しい;及び前記初期残差値及び前記第2HDRデータに基づいて前記第1HDRデータを決定することを行い得る。
【0089】
具体的な実行中に、ターゲット残差値は、以下の方法、すなわち、前述のビデオエンコーディング装置の残差マッピングの逆演算に従って、初期残差値に復元され得る。
【0090】
[方法1]
【0091】
(0,Ylow+(1<<(Bitdepth-1))-Y)内の残差値はYlow1,Ylow)にマッピングされ、(Yhigh+(1<<(Bitdepth-1))-Y),(1<<Bitdepth)-1)内の残差値は(Yhigh,Yhigh1)にマッピングされ;Y-(1<<(Bitdepth-1))は、(Ylow+(1<<(Bitdepth-1))-Y,Yhigh+(1<<(Bitdepth-1))-Y))内の残差値に加算される。
【0092】
[方法2]
【0093】
Y-(1<<(Bitdepth-1))が、全てのターゲット残差値の各々に加算される。
【0094】
Bitdepthは、第1ビット幅の値を指示する。例えば、第1ビット幅は8bitであり、対応するBitdepthは8であり、Yの値は0である、Ylowは-100であり、Yhighは90である。方法1が使用される場合、(0、28)内のターゲット残差値は(-300,-100)にマッピングされ得、(90+128,255)内のターゲット残差値は(90,400)にマッピングされ得、初期残差値は、(-100+128,90+128)内のターゲット残差値から128を減算することによって決定される。
【0095】
方法2が使用される場合、初期残差値、すなわち、10bitの初期ビット幅は、ターゲット残差値にY-128を加算することによって取得され得る。
【0096】
本願において、SDRビデオデコーディングデバイス及びHDRビデオデコーディングデバイスは、予め設定されたデータ及びSDRビットストリームに基づいて良好にサポートされている。ビットストリームがSDRビットストリームであるとき、ビットストリームは、SDRビデオデコーディングデバイスによりSDRビットストリームとして明示的に識別され、SDR効果を保証する。予め設定されたデータ及びSDRビットストリームの両方はHDRデバイスにより正しく識別及びデコードされ、HDR効果を保証する。
【0097】
加えて、図5は、本願においてさらに提供された画像処理装置を示す。当該装置は、ビデオエンコーディング装置又はビデオデコーディング装置であり得る。これは、本願においてここに具体的に限定されない。画像処理装置は、入力/出力ユニット501及び処理ユニット502を含み得る。
【0098】
画像処理装置がビデオエンコーディング装置である場合、前記処理ユニット502は:ソースデータを取得すること、ここで、前記ソースデータは、同じビデオデータのための第1ハイダイナミックレンジHDRデータ及び第1スタンダードダイナミックレンジSDRビットストリームを備える;前記第1SDRビットストリームの再構築データ及び前記第1HDRデータの間の対応関係に基づいて、前記第1SDRビットストリームの前記再構築データを第2HDRデータにマッピングすること;前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定すること、ここで、前記ターゲット残差値のビット幅は第1ビット幅より小さい又はそれに等しく、前記第1ビット幅は、第1SDRビデオを前記第1SDRビットストリームにエンコードするためのデータビット幅である;及び、予め設定されたデータを決定するべく前記対応関係及び前記ターゲット残差値をエンコードすること、を行うように構成されており;前記入力/出力ユニット501は、前記予め設定されたデータが追加された前記第1SDRビットストリームを伝送すること、を行うように構成されている。
【0099】
ソースデータ内の第1HDRデータは、ビデオエンコーディング装置に通信可能に接続されたデバイスからビデオエンコーディング装置によって受信されてもよく、又は、同じビデオデータのためのビデオエンコーディング装置のデータ処理を介して取得されてもよいことに留意されたい。これは、本願においてここに具体的に限定されない。概して、ビデオデータは大きく、大量の帯域幅リソースを占有する。ビデオデータは、ビデオビットストリームを取得するためにエンコードされる。伝送中に、ビデオビットストリームは大量の帯域幅リソースを占有せず、データの伝送効率を保証し得る。したがって、ビデオエンコーディング装置はビデオデータを直接伝送せず、伝送のためのビデオビットストリームを取得するためにビデオデータをエンコードする必要がある。加えて、ビデオエンコーディング装置は通常、HDRデータ及びSDRデータを取得し、SDRビットストリーム(すなわち、第1SDRビットストリーム)を取得するためにSDRデータをエンコードする。ビデオエンコーディング中に、ビデオデータは通常、ビデオビットストリームに変換される。これは、デバイス又はビデオデータのデータビット幅要件を満たす必要がある。より大きいデータビット幅は、ビデオビットストリームにより示されるより高いビデオデータDR及びより高い画像ピクセルを指示する。より小さいデータビット幅は、ビデオビットストリームにより示されるより低いビデオデータDR及びより低い画像ピクセルを指示する。概して、SDRビットストリームを取得するためにSDRデータをエンコードするためのデータビット幅は8bitであり、HDRビットストリームを取得するためにHDRデータをエンコードするためのデータビット幅は10bit又は12bitである。加えて、SDRデータのためのコーディングアルゴリズムは本願において限定されるものではなく、MPEG-1、MPEG-2、MPEG-4、H.263、H.264、H.265又はJPEGなどの任意のエンコーディング/デコーディングアルゴリズムであり得る。
【0100】
前述の再構築データは、第1SDRビットストリームをデコードすることにより取得されたSDRデータである。再構築データ及び第1HDRデータの間の対応関係を決定するべく、再構築データは第1HDRデータと比較される。実際の適用において、上記対応関係は、ビデオ画像のグレースケール値、RGB値又はYUV値を比較することにより決定され得る。これは、本願においてここに具体的に限定されない。
【0101】
HDRデータに対応するデータビット幅及びSDRデータに対応するデータビット幅は通常、サイズが異なるということに留意されたい。例えば、HDRデータに対応するデータビット幅は10bitであり、SDRデータに対応するデータビット幅は8bitである。ビデオエンコーディング装置は、減算演算又は正規化演算等を使用することによって、第1HDRデータ及び第2HDRデータの間のターゲット残差値を、第1SDRビットストリームの伝送要件を満たすデータビット幅に変換し得る。SDRデータに対応するデータビット幅は8bitであるので、ターゲット残差値のデータビット幅も8bitであるか、又は、8bitより少ない。
【0102】
本願において、SDRビデオデコーディングデバイス及びHDRビデオデコーディングデバイスは、予め設定されたデータ及びSDRビットストリームに基づいて良好にサポートされている。ビットストリームがSDRビットストリームであるとき、ビットストリームは、SDRビデオデコーディングデバイスによりSDRビットストリームとして明示的に識別され、SDR効果を保証する。予め設定されたデータ及びSDRビットストリームの両方はHDRデバイスにより正しく識別及びデコードされ、HDR効果を保証する。現在、大きいビット幅のコーディングは、全てのエンコーディング/デコーディング規格によりサポートされていないことに留意されたい。例えば、JPEGは8bitのみをサポートしており、ターゲット残差及びSDRの両方が8bitである。これは、ビデオエンコーディング装置及びビデオデコーディング装置が同じレベルのコーデックを使用し得ることを保証し得る。概して、ハードウェアエンコーダ又はハードウェアデコーダのフレームレベル切り替えは高い複雑性を有し、高いデバイス処理能力を必要とする。ターゲット残差値は、SDRビットストリームのエンコード中のビット幅より小さい又はそれに等しく調整される。これは、エンコーダ側及びデコーダ側におけるハードウェアエンコーダ又はハードウェアデコーダのフレームレベル切り替えを防止し得る。
【0103】
任意選択的な実装において、前記対応関係は、
前記再構築データ及び前記第1HDRデータから第1平均値を決定すること、ここで、前記第1平均値は、前記第1HDRデータ及び前記再構築データの第1位置におけるピクセルの予め設定されたパラメータに基づいて決定される;前記再構築データを複数の画像ブロックに、前記第1HDRデータを複数の画像ブロックに分割すること、ここで、前記再構築データの前記複数の画像ブロックの数及び位置はそれぞれ、前記第1HDRデータのそれらと同じである;前記再構築データの各画像ブロック及び前記第1HDRデータの各画像ブロックに対応する第2平均値を決定すること;及び、前記第1平均値又は前記第2平均値に基づいて前記対応関係を決定することといった方式で決定され得る。このように決定された対応関係はより正確であり、決定された第2HDRデータはより信頼できる。
【0104】
任意選択的な実装において、前記予め設定されたパラメータは、グレースケール値、RGB値又はYUV値である。
【0105】
任意選択的な実装において、前記処理ユニット502は、
初期残差値を決定するべく、前記第2HDRデータ及び前記第1HDRデータに対して減算を実行すること;前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定すること;及び、前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングすることを行うように具体的に構成されている。
【0106】
上記初期残差値は、第2HDRデータ及び第1HDRデータ内の同じ位置におけるグレースケール値、RGB値又はYUV値の減算を介して取得されることに留意されたい。減算を介して取得された値は、異なり得る。ヒストグラムを取得するために、初期残差値に対して統計分析が実行され得、ヒストグラムは、初期残差値の値範囲の分布を示す。実際の適用において、曲線グラフは、初期残差値を提供することなく点を描くことによって取得され、初期残差値の値範囲の分布を示す。初期残差値の値範囲の分布を表示する方式は、本願においてここに具体的に限定されない。
【0107】
加えて、初期残差値がターゲット残差値に変換された場合、中間計算プロセスにおける大きい誤差を有するいくつかの値は計算結果に影響を与え得、計算中に大きい誤差を有する初期残差値によって生じた影響は、クランプ方式で除去され得る。次いで、ビデオエンコーディング装置は、初期残差値の値範囲の分布に基づいて決定された残差マッピング方式及びクランプ方式におけるターゲット残差値に、初期残差値をマッピングし得る。
【0108】
任意選択的な実装において、前記処理ユニット502は、
前記初期残差値に基づいてヒストグラムを決定すること;前記ヒストグラムの中心位置に対応する残差値を決定すること;前記ヒストグラムの前記中心位置に対応する前記第1ビット幅及び前記残差値に基づいて第1値範囲を決定すること;前記初期残差値の前記値範囲の前記分布に基づいて、前記第1値範囲に含まれる初期残差のターゲット比例値を決定すること;及び、前記第1値範囲に含まれる前記初期残差に対して残差マッピングを実行して、前記第1値範囲に含まれていない初期残差をクランプすることを行うように具体的に構成されている。
【0109】
初期残差値の値範囲の分布が決定された後、ビデオエンコーディング装置は、第1ビット幅の値に基づいて第1値範囲を決定し得ることに留意されたい。第1値範囲内の初期残差値は、ビット幅が第1ビット幅より小さい又はそれに等しいターゲット残差値にマッピングされ得る。
【0110】
任意選択的な実装において、前記処理ユニット502は、
前記ヒストグラムの前記中心位置に対応する前記ターゲット比例値及び前記残差値に基づいて第1残差値及び第2残差値を決定すること、ここで、前記第1残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より少なく、前記第2残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より大きく、少なくとも1つの第1残差値が存在し、少なくとも1つの第2残差値が存在し、前記第1残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第1比例値に対応しており、前記第2残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第2比例値に対応しており、前記第1比例値及び前記第2比例値の合計は、前記ターゲット比例値である;及び、前記第1残差値及び前記第2残差値の間に含まれる初期残差値を前記ターゲット残差値にマッピングし、前記第1残差値及び前記第2残差値の間に含まれない初期残差値をクランプすることで予め設定された値を取得することを行うように具体的に構成されている。
【0111】
前記第1残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より少なく、前記第2残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より大きく、少なくとも1つの第1残差値が存在し、少なくとも1つの第2残差値が存在し、前記第1残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第1比例値に対応しており、前記第2残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第2比例値に対応しており、前記第1比例値及び前記第2比例値の合計は、前記ターゲット比例値である。
【0112】
現在、大きいビット幅のコーディングは、全てのエンコーディング/デコーディング規格によりサポートされていないことに留意されたい。例えば、JPEGは8bitのみをサポートしており、ターゲット残差及びSDRの両方が8bitである。これは、ビデオエンコーディング装置及びビデオデコーディング装置が同じレベルのコーデックを使用し得ることを保証し得る。概して、ハードウェアエンコーダ又はハードウェアデコーダのフレームレベル切り替えは高い複雑性を有し、高いデバイス処理能力を必要とする。ターゲット残差値は、SDRビットストリームのエンコード中のビット幅より小さい又はそれに等しく調整される。これは、エンコーダ側及びデコーダ側におけるハードウェアエンコーダ又はハードウェアデコーダのフレームレベル切り替えを防止し得る。
【0113】
画像処理装置がビデオデコーディング装置である場合、入力/出力ユニット501は、第1SDRビットストリームを受信すること、ここで、前記第1SDRビットストリームは予め設定されたデータを備え、前記予め設定されたデータは対応関係及びターゲット残差値をエンコードすることにより取得される、を行うように構成され得;処理ユニット502は、前記対応関係に基づいて前記第1SDRビットストリームの再構築データを第2HDRデータにマッピングすること、及び前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定することを行うように構成され得る。
【0114】
任意選択的な実装において、前記予め設定されたデータはさらに、残差マッピング方式及びクランプ方式を備える。
【0115】
任意選択的な実装において、前記処理ユニット502は、前記残差マッピング方式、前記クランプ方式、前記ターゲット残差値及び第1ビット幅に基づいて第1残差値及び第2残差値を決定すること;前記第1残差値、前記第2残差値及び前記クランプ方式に基づいて初期残差値を決定すること、ここで、前記初期残差値のビット幅は前記第1ビット幅より大きい又はそれに等しい;及び前記初期残差値及び前記第2HDRデータに基づいて前記第1HDRデータを決定することを行うように具体的に構成されている。
【0116】
加えて、本願はさらに、図6に示すような画像処理装置600を提供する。例えば、画像処理装置600は、チップ又はチップシステムであり得る。任意選択的に、本願のこの実施形態において、チップシステムは、チップを含んでもよく、又は、チップ及び別のディスクリートデバイスを含んでもよい。
【0117】
画像処理装置600は、少なくとも1つのプロセッサ610を含み得る。画像処理装置600はさらに、コンピュータプログラム、プログラム命令及び/又はデータを記憶するように構成された少なくとも1つのメモリ620を含み得る。メモリ620は、プロセッサ610に連結されている。本願のこの実施形態における連結は、装置、ユニット又はモジュール間の間接連結又は通信接続であり得、電気的形態、機械的形態又は別の形態であり得、装置、ユニット又はモジュール間の情報の交換に使用される。プロセッサ610は、メモリ620と協働して動作を実行し得る。プロセッサ610は、メモリ620に記憶されているコンピュータプログラムを実行し得る。任意選択的に、少なくとも1つのメモリ620は代替的に、プロセッサ610に統合され得る。
【0118】
任意選択的に、実際の適用において、画像処理装置600は、送受信機630を含んでもよく、又は、含まなくてもよい。破線ボックスは、図面において一例として使用される。画像処理装置600は、送受信機630を使用することにより別のデバイスと情報を交換し得る。送受信機630は、回路、バス、送受信機、又は、情報を交換するように構成され得る任意の他の装置であり得る。
【0119】
可能な実装において、画像処理装置600は、前述のビデオエンコーディング装置又は前述のビデオデコーディング装置において使用され得る。メモリ620は、前述の実施形態のうち任意の1つにおけるビデオエンコーディング装置又はビデオデコーディング装置の機能を実装するために必要であるコンピュータプログラム、プログラム命令及び/又はデータを記憶する。プロセッサ610は、メモリ620に記憶されたコンピュータプログラムを実行して、前述の実施形態のうち任意の1つにおける方法を完成し得る。
【0120】
送受信機630、プロセッサ610及びメモリ620の間における具体的な接続媒体は、本願の実施形態において限定されるものではない。本願のこの実施形態において、図6では、メモリ620、プロセッサ610及び送受信機630は、バスを介して互いに接続されている。バスは図6において太線で示される。他のコンポーネント間の接続方式は、これに限定されるものではないが、単に一例として説明されている。バスは、アドレスバス、データバス、又は制御バス等に分類され得る。指示を容易にするために、バスは、図6において1つの太線のみによって指示されている。しかしながら、それは、1つのバスのみ又は一種のバスのみが存在することを示すわけではない。本願の実施形態において、プロセッサは、汎用プロセッサ、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ又は別のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、又はディスクリートハードウェアコンポーネントであり得、本願の実施形態に開示された方法、ステップ及び論理ブロック図を実装又は実行し得る。汎用プロセッサは、マイクロプロセッサ、又は任意の従来のプロセッサ等であり得る。本願の実施形態を参照して開示された方法のステップは、ハードウェアプロセッサによって実行及び完成され得、又は、プロセッサ内のハードウェア及びソフトウェアモジュールの組み合わせによって直接実行及び完成され得る。
【0121】
本願の実施形態において、メモリは、不揮発性メモリ、例えば、ハードディスクドライブ(hard disk drive,HDD)又はソリッドステートドライブ(solid-state drive,SSD)であってもよく、又は、例えばランダムアクセスメモリ(random access memory,RAM)のような揮発性メモリ(volatile memory)であってもよい。代替的に、メモリは、期待されるプログラムコードを命令又はデータ構造の形態で保持又は記憶するように構成され得且つコンピュータによってアクセスされ得る任意の他の媒体であり得るが、これに限定されるものではない。代替的に、本願の実施形態におけるメモリは、記憶機能を実装し得る回路又は任意の他の装置であり得、コンピュータプログラム、プログラム命令及び/又はデータを記憶するように構成されている。
【0122】
前述の実施形態に基づいて、図7に示すように、本願の実施形態はさらに、インタフェース回路710及び論理回路720を含む別の画像処理装置700を提供する。インタフェース回路710は、入力/出力インタフェースとして理解され得、図5に示された入力/出力ユニット又は図6に示された送受信機のそれらと同じ動作ステップを実行するように構成され得る。詳細は、本願においてここでは再び説明されない。論理回路720は、前述の実施形態のうち任意の1つにおける方法を実行するべくコード命令を動作するように構成され得、図5における処理ユニット又は図6におけるプロセッサとして理解され得、処理ユニット又はプロセッサとして同じ機能を実装し得る。詳細は、本願においてここでは再び説明されない。
【0123】
前述の実施形態に基づいて、本願の実施形態は、可読記憶媒体をさらに提供する。可読記憶媒体は、命令を記憶する。命令が実行された場合、前述の実施形態のうち任意の1つにおいてビデオエンコーディング方法又はビデオデコーディング方法によって実行される方法が実装される。可読記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスクドライブ、リードオンリメモリ、ランダムアクセスメモリ、磁気ディスク又は光ディスクなどの、プログラムコードを記憶し得る任意の媒体を含み得る。
【0124】
当業者であれば、本願の実施形態が、方法、システム、又はコンピュータプログラム製品として提供され得ることを理解するはずである。したがって、本願は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、又はソフトウェア及びハードウェアの組み合わせによる実施形態の形態で使用し得る。加えて、本願は、コンピュータ使用可能プログラムコードを含む1又は複数のコンピュータ使用可能記憶媒体(ディスクメモリ、コンパクト光ディスクリードオンリメモリ(compact optical disc read-only memory,CD-ROM)、及び光メモリ等を含むが、それらに限定されるものではない)に対して実装されるコンピュータプログラム製品の形態で使用され得る。
【0125】
本願は、本願に係る方法、装置(システム)及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して説明されている。コンピュータプログラム命令は、フローチャート及び/又はブロック図の各手順及び/又は各ブロック、並びにフローチャート及び/又はブロック図の手順及び/又はブロックの組み合わせを実装するのに用いられてよいことを理解されたい。それらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、又は、別のプログラマブルデータ処理装置のプロセッサのために提供されることでマシンを生成し、その結果、コンピュータ又は別のプログラマブルデータ処理装置のプロセッサによって実行された命令は、フローチャート内の1又は複数の手順及び/又はブロック図内の1又は複数のブロックにおける特定の機能を実装するための装置を生成し得る。
【0126】
それらのコンピュータプログラム命令は代替的に、コンピュータ又は別のプログラマブルデータ処理装置に、具体的な方式で作動するように指示し得るコンピュータ可読メモリに記憶され、その結果、コンピュータ可読メモリに記憶された命令は、命令装置を含むアーチファクトを生成し得る。命令装置は、フローチャート及び/又はブロック図内の1又は複数のブロックにおける1又は複数の手順における特定の機能を実装する。
【0127】
それらのコンピュータプログラム命令は代替的に、コンピュータ又は別のプログラマブルデータ処理装置にロードされ、その結果、一連の動作ステップが、コンピュータ又は別のプログラマブル装置に対して実行されて、コンピュータ実装処理を生成し得る。したがって、コンピュータ又は別のプログラマブル装置に対して実行された命令は、フローチャート内の1又は複数の手順及び/又はブロック図内の1又は複数のブロックにおける特定の機能を実装するためのステップを提供する。
図1
図2
図3
図4
図5
図6
図7
【手続補正書】
【提出日】2024-04-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ソースデータを取得する段階、ここで、前記ソースデータは、同じビデオデータのための第1ハイダイナミックレンジ(HR)データ及び第1スタンダードダイナミックレンジ(SR)ビットストリームを備える;
前記第1SDRビットストリームの再構築データ及び前記第1HDRデータの間の対応関係に基づいて、前記第1SDRビットストリームの前記再構築データを第2HDRデータにマッピングする段階;
前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定する段階、ここで、前記ターゲット残差値のビット幅は第1ビット幅より小さい又はそれに等しく、前記第1ビット幅は、第1SDRビデオを前記第1SDRビットストリームにエンコードするためのデータビット幅である;
予め設定されたデータを決定するべく前記対応関係及び前記ターゲット残差値をエンコードする段階;及び
前記予め設定されたデータが追加された前記第1SDRビットストリームを伝送する段階
を備える、ビデオエンコーディング方法。
【請求項2】
前記対応関係は、
前記再構築データ及び前記第1HDRデータから第1平均値を決定すること、ここで、前記第1平均値は、前記第1HDRデータ及び前記再構築データの第1位置におけるピクセルの予め設定されたパラメータに基づいて決定される;
前記再構築データを複数の画像ブロックに、前記第1HDRデータを複数の画像ブロックに分割すること、ここで、前記再構築データの前記複数の画像ブロックの数及び位置はそれぞれ、前記第1HDRデータのそれらと同じである;
前記再構築データの各画像ブロック及び前記第1HDRデータの各画像ブロックに対応する第2平均値を決定すること;及び
前記第1平均値又は前記第2平均値に基づいて前記対応関係を決定すること
といった方式で決定される、請求項1に記載のビデオエンコーディング方法。
【請求項3】
前記予め設定されたパラメータは、グレースケール値、RGB値又はYUV値である、請求項2に記載のビデオエンコーディング方法。
【請求項4】
前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定する前記段階は、
初期残差値を決定するべく、前記第2HDRデータ及び前記第1HDRデータに対して減算を実行する段階;
前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定する段階;及び
前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングする段階
を有する、請求項1から3のいずれか一項に記載のビデオエンコーディング方法。
【請求項5】
前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定する前記段階は、
前記初期残差値に基づいてヒストグラムを決定する段階;
前記ヒストグラムの中心位置に対応する残差値を決定する段階;
前記ヒストグラムの前記中心位置に対応する前記第1ビット幅及び前記残差値に基づいて第1値範囲を決定する段階;
前記初期残差値の前記値範囲の前記分布に基づいて、前記第1値範囲に含まれる初期残差のターゲット比例値を決定する段階;及び
前記第1値範囲に含まれる前記初期残差に対して残差マッピングを実行して、前記第1値範囲に含まれていない初期残差をクランプする段階
を有する、請求項4に記載のビデオエンコーディング方法。
【請求項6】
前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングする前記段階は、
前記ヒストグラムの前記中心位置に対応する前記ターゲット比例値及び前記残差値に基づいて第1残差値及び第2残差値を決定する段階、ここで、前記第1残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より少なく、前記第2残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より大きく、少なくとも1つの第1残差値が存在し、少なくとも1つの第2残差値が存在し、前記第1残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第1比例値に対応しており、前記第2残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第2比例値に対応しており、前記第1比例値及び前記第2比例値の合計は、前記ターゲット比例値である;及び
前記第1残差値及び前記第2残差値の間に含まれる初期残差値を前記ターゲット残差値にマッピングし、前記第1残差値及び前記第2残差値の間に含まれない初期残差値をクランプすることで予め設定された値を取得する段階
を有する、請求項5に記載のビデオエンコーディング方法。
【請求項7】
1スタンダードダイナミックレンジ(SR)ビットストリームを受信する段階、ここで、前記第1SDRビットストリームは予め設定されたデータを備え、前記予め設定されたデータは対応関係及びターゲット残差値をエンコードすることにより取得される;
前記対応関係に基づいて前記第1SDRビットストリームの再構築データを第2ハイダイナミックレンジ(HR)データにマッピングする段階;及び
前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定する段階
を備える、ビデオデコーディング方法。
【請求項8】
前記予め設定されたデータはさらに、残差マッピング方式及びクランプ方式を備える、請求項7に記載のビデオデコーディング方法。
【請求項9】
前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定する前記段階は、
前記残差マッピング方式、前記クランプ方式、前記ターゲット残差値及び第1ビット幅に基づいて第1残差値及び第2残差値を決定する段階;
前記第1残差値、前記第2残差値、及び前記クランプ方式に基づいて初期残差値を決定する段階、ここで、前記初期残差値のビット幅は前記第1ビット幅より大きい又はそれに等しい;及び
前記初期残差値及び前記第2HDRデータに基づいて前記第1HDRデータを決定する段階
を有する、請求項8に記載のビデオデコーディング方法。
【請求項10】
ソースデータを取得すること、ここで、前記ソースデータは、同じビデオデータのための第1ハイダイナミックレンジ(HR)データ及び第1スタンダードダイナミックレンジ(SR)ビットストリームを備える;前記第1SDRビットストリームの再構築データ及び前記第1HDRデータの間の対応関係に基づいて、前記第1SDRビットストリームの前記再構築データを第2HDRデータにマッピングすること;前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定すること、ここで、前記ターゲット残差値のビット幅は第1ビット幅より小さい又はそれに等しく、前記第1ビット幅は、第1SDRビデオを前記第1SDRビットストリームにエンコードするためのデータビット幅である;及び、予め設定されたデータを決定するべく前記対応関係及び前記ターゲット残差値をエンコードすることを行うように構成された処理ユニット;及び
前記予め設定されたデータが追加された前記第1SDRビットストリームを伝送することを行うように構成された入力/出力ユニット
を備える、ビデオエンコーディング装置。
【請求項11】
前記対応関係は、
前記再構築データ及び前記第1HDRデータから第1平均値を決定すること、ここで、前記第1平均値は、前記第1HDRデータ及び前記再構築データの第1位置におけるピクセルの予め設定されたパラメータに基づいて決定される;
前記再構築データを複数の画像ブロックに、前記第1HDRデータを複数の画像ブロックに分割すること、ここで、前記再構築データの前記複数の画像ブロックの数及び位置はそれぞれ、前記第1HDRデータのそれらと同じである;
前記再構築データの各画像ブロック及び前記第1HDRデータの各画像ブロックに対応する第2平均値を決定すること;及び
前記第1平均値又は前記第2平均値に基づいて前記対応関係を決定すること
といった方式で決定される、請求項10に記載のビデオエンコーディング装置。
【請求項12】
前記予め設定されたパラメータは、グレースケール値、RGB値又はYUV値である、請求項11に記載のビデオエンコーディング装置。
【請求項13】
前記処理ユニットは、
初期残差値を決定するべく、前記第2HDRデータ及び前記第1HDRデータに対して減算を実行すること;
前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定すること;及び
前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングすること
を行うように具体的に構成されている、請求項10から12のいずれか一項に記載のビデオエンコーディング装置。
【請求項14】
前記処理ユニットは、
前記初期残差値に基づいてヒストグラムを決定すること;
前記ヒストグラムの中心位置に対応する残差値を決定すること;
前記ヒストグラムの前記中心位置に対応する前記第1ビット幅及び前記残差値に基づいて第1値範囲を決定すること;
前記初期残差値の前記値範囲の前記分布に基づいて、前記第1値範囲に含まれる初期残差のターゲット比例値を決定すること;及び
前記第1値範囲に含まれる前記初期残差に対して残差マッピングを実行して、前記第1値範囲に含まれていない初期残差をクランプすること
を行うように具体的に構成されている、請求項13に記載のビデオエンコーディング装置。
【請求項15】
前記処理ユニットは、
前記ヒストグラムの前記中心位置に対応する前記ターゲット比例値及び前記残差値に基づいて第1残差値及び第2残差値を決定すること、ここで、前記第1残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より少なく、前記第2残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より大きく、少なくとも1つの第1残差値が存在し、少なくとも1つの第2残差値が存在し、前記第1残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第1比例値に対応しており、前記第2残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第2比例値に対応しており、前記第1比例値及び前記第2比例値の合計は、前記ターゲット比例値である;及び、前記第1残差値及び前記第2残差値の間に含まれる初期残差値を前記ターゲット残差値にマッピングし、前記第1残差値及び前記第2残差値の間に含まれない初期残差値をクランプすることで予め設定された値を取得すること
を行うように具体的に構成されている、請求項14に記載のビデオエンコーディング装置。
【請求項16】
1スタンダードダイナミックレンジ(SR)ビットストリームを受信すること、ここで、前記第1SDRビットストリームは予め設定されたデータを備え、前記予め設定されたデータは対応関係及びターゲット残差値をエンコードすることにより取得される、を行うように構成された入力/出力ユニット;及び
前記対応関係に基づいて前記第1SDRビットストリームの再構築データを第2ハイダイナミックレンジ(HR)データにマッピングすること、及び前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定することを行うように構成された処理ユニット
を備える、ビデオデコーディング装置。
【請求項17】
前記予め設定されたデータはさらに、残差マッピング方式及びクランプ方式を備える、請求項16に記載のビデオデコーディング装置。
【請求項18】
前記処理ユニットは、
前記残差マッピング方式、前記クランプ方式、前記ターゲット残差値及び第1ビット幅に基づいて第1残差値及び第2残差値を決定すること;
前記第1残差値、前記第2残差値及び前記クランプ方式に基づいて初期残差値を決定すること、ここで、前記初期残差値のビット幅は前記第1ビット幅より大きい又はそれに等しい;及び
前記初期残差値及び前記第2HDRデータに基づいて前記第1HDRデータを決定すること
を行うように具体的に構成されている、請求項17に記載のビデオデコーディング装置。
【請求項19】
互いに連結された不揮発性メモリ及びプロセッサを備えるビデオエンコーディング装置であって、前記プロセッサは、前記不揮発性メモリに記憶されたプログラムコードを呼び出すことで、請求項1から3のいずれか一項に記載のビデオエンコーディング方法を実行する、ビデオエンコーディング装置。
【請求項20】
互いに連結された不揮発性メモリ及びプロセッサを備えるビデオデコーディング装置であって、前記プロセッサは、前記不揮発性メモリに記憶されたプログラムコードを呼び出すことで、請求項7から9のいずれか一項に記載のビデオデコーディング方法を実行する、ビデオデコーディング装置。
【請求項21】
プロセッサに、請求項1から3のいずれか一項に記載のビデオエンコーディング方を実行させるためのコンピュータプログラム。
【請求項22】
プロセッサに、請求項7から9のいずれか一項に記載のビデオデコーディング方法を実行させるためのコンピュータプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0077
【補正方法】変更
【補正の内容】
【0077】
(Ylow,Yhigh)内の初期残差値は、元の値+(1<<(Bitdepth-1))-Yに等しい。(Ylow1,Ylow)内の残差は、(0,Ylow+(1<<(Bitdepth-1))-Y)にマッピングされる。(Yhigh,Yhigh1)内の残差は、(Yhigh+(1<<(Bitdepth-1))-Y、(1<<Bitdepth)-1)にマッピングされる。Ylow1より低い残差値は0にクランプされ、Yhigh1より高い残差値は(1<<Bitdepth)-1にクランプされる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0091
【補正方法】変更
【補正の内容】
【0091】
(0,Ylow+(1<<(Bitdepth-1))-Y)内の残差値はYlow1,Ylow)にマッピングされ、(Yhigh+(1<<(Bitdepth-1))-Y),(1<<Bitdepth)-1)内の残差値は(Yhigh,Yhigh1)にマッピングされ;Y-(1<<(Bitdepth-1))は、(Ylow+(1<<(Bitdepth-1))-Y,Yhigh+(1<<(Bitdepth-1))-Y)内の残差値に加算される。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0127
【補正方法】変更
【補正の内容】
【0127】
それらのコンピュータプログラム命令は代替的に、コンピュータ又は別のプログラマブルデータ処理装置にロードされ、その結果、一連の動作ステップが、コンピュータ又は別のプログラマブル装置に対して実行されて、コンピュータ実装処理を生成し得る。したがって、コンピュータ又は別のプログラマブル装置に対して実行された命令は、フローチャート内の1又は複数の手順及び/又はブロック図内の1又は複数のブロックにおける特定の機能を実装するためのステップを提供する
[項目1]
ソースデータを取得する段階、ここで、前記ソースデータは、同じビデオデータのための第1ハイダイナミックレンジHDRデータ及び第1スタンダードダイナミックレンジSDRビットストリームを備える;
前記第1SDRビットストリームの再構築データ及び前記第1HDRデータの間の対応関係に基づいて、前記第1SDRビットストリームの前記再構築データを第2HDRデータにマッピングする段階;
前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定する段階、ここで、前記ターゲット残差値のビット幅は第1ビット幅より小さい又はそれに等しく、前記第1ビット幅は、第1SDRビデオを前記第1SDRビットストリームにエンコードするためのデータビット幅である;
予め設定されたデータを決定するべく前記対応関係及び前記ターゲット残差値をエンコードする段階;及び
前記予め設定されたデータが追加された前記第1SDRビットストリームを伝送する段階
を備える、ビデオエンコーディング方法。
[項目2]
前記対応関係は、
前記再構築データ及び前記第1HDRデータから第1平均値を決定すること、ここで、前記第1平均値は、前記第1HDRデータ及び前記再構築データの第1位置におけるピクセルの予め設定されたパラメータに基づいて決定される;
前記再構築データを複数の画像ブロックに、前記第1HDRデータを複数の画像ブロックに分割すること、ここで、前記再構築データの前記複数の画像ブロックの数及び位置はそれぞれ、前記第1HDRデータのそれらと同じである;
前記再構築データの各画像ブロック及び前記第1HDRデータの各画像ブロックに対応する第2平均値を決定すること;及び
前記第1平均値又は前記第2平均値に基づいて前記対応関係を決定すること
といった方式で決定される、項目1に記載の方法。
[項目3]
前記予め設定されたパラメータは、グレースケール値、RGB値又はYUV値である、項目2に記載の方法。
[項目4]
前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定する前記段階は、
初期残差値を決定するべく、前記第2HDRデータ及び前記第1HDRデータに対して減算を実行する段階;
前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定する段階;及び
前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングする段階
を有する、項目1から3のいずれか一項に記載の方法。
[項目5]
前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定する前記段階は、
前記初期残差値に基づいてヒストグラムを決定する段階;
前記ヒストグラムの中心位置に対応する残差値を決定する段階;
前記ヒストグラムの前記中心位置に対応する前記第1ビット幅及び前記残差値に基づいて第1値範囲を決定する段階;
前記初期残差値の前記値範囲の前記分布に基づいて、前記第1値範囲に含まれる初期残差のターゲット比例値を決定する段階;及び
前記第1値範囲に含まれる前記初期残差に対して残差マッピングを実行して、前記第1値範囲に含まれていない初期残差をクランプする段階
を有する、項目4に記載の方法。
[項目6]
前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングする前記段階は、
前記ヒストグラムの前記中心位置に対応する前記ターゲット比例値及び前記残差値に基づいて第1残差値及び第2残差値を決定する段階、ここで、前記第1残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より少なく、前記第2残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より大きく、少なくとも1つの第1残差値が存在し、少なくとも1つの第2残差値が存在し、前記第1残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第1比例値に対応しており、前記第2残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第2比例値に対応しており、前記第1比例値及び前記第2比例値の合計は、前記ターゲット比例値である;及び
前記第1残差値及び前記第2残差値の間に含まれる初期残差値を前記ターゲット残差値にマッピングし、前記第1残差値及び前記第2残差値の間に含まれない初期残差値をクランプすることで予め設定された値を取得する段階
を有する、項目5に記載の方法。
[項目7]
第1SDRビットストリームを受信する段階、ここで、前記第1SDRビットストリームは予め設定されたデータを備え、前記予め設定されたデータは対応関係及びターゲット残差値をエンコードすることにより取得される;
前記対応関係に基づいて前記第1SDRビットストリームの再構築データを第2HDRデータにマッピングする段階;及び
前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定する段階
を備える、ビデオデコーディング方法。
[項目8]
前記予め設定されたデータはさらに、残差マッピング方式及びクランプ方式を備える、項目7に記載の方法。
[項目9]
前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定する前記段階は、
前記残差マッピング方式、前記クランプ方式、前記ターゲット残差値及び第1ビット幅に基づいて第1残差値及び第2残差値を決定する段階;
前記第1残差値、前記第2残差値、及び前記クランプ方式に基づいて初期残差値を決定する段階、ここで、前記初期残差値のビット幅は前記第1ビット幅より大きい又はそれに等しい;及び
前記初期残差値及び前記第2HDRデータに基づいて前記第1HDRデータを決定する段階
を有する、項目8に記載の方法。
[項目10]
ソースデータを取得すること、ここで、前記ソースデータは、同じビデオデータのための第1ハイダイナミックレンジHDRデータ及び第1スタンダードダイナミックレンジSDRビットストリームを備える;前記第1SDRビットストリームの再構築データ及び前記第1HDRデータの間の対応関係に基づいて、前記第1SDRビットストリームの前記再構築データを第2HDRデータにマッピングすること;前記第2HDRデータ及び前記第1HDRデータの間のターゲット残差値を決定すること、ここで、前記ターゲット残差値のビット幅は第1ビット幅より小さい又はそれに等しく、前記第1ビット幅は、第1SDRビデオを前記第1SDRビットストリームにエンコードするためのデータビット幅である;及び、予め設定されたデータを決定するべく前記対応関係及び前記ターゲット残差値をエンコードすることを行うように構成された処理ユニット;及び
前記予め設定されたデータが追加された前記第1SDRビットストリームを伝送することを行うように構成された入力/出力ユニット
を備える、ビデオエンコーディング装置。
[項目11]
前記対応関係は、
前記再構築データ及び前記第1HDRデータから第1平均値を決定すること、ここで、前記第1平均値は、前記第1HDRデータ及び前記再構築データの第1位置におけるピクセルの予め設定されたパラメータに基づいて決定される;
前記再構築データを複数の画像ブロックに、前記第1HDRデータを複数の画像ブロックに分割すること、ここで、前記再構築データの前記複数の画像ブロックの数及び位置はそれぞれ、前記第1HDRデータのそれらと同じである;
前記再構築データの各画像ブロック及び前記第1HDRデータの各画像ブロックに対応する第2平均値を決定すること;及び
前記第1平均値又は前記第2平均値に基づいて前記対応関係を決定すること
といった方式で決定される、項目10に記載の装置。
[項目12]
前記予め設定されたパラメータは、グレースケール値、RGB値又はYUV値である、項目11に記載の装置。
[項目13]
前記処理ユニットは、
初期残差値を決定するべく、前記第2HDRデータ及び前記第1HDRデータに対して減算を実行すること;
前記初期残差値の値範囲の分布に基づいて残差マッピング方式及びクランプ方式を決定すること;及び
前記残差マッピング方式及び前記クランプ方式で、前記初期残差値を、ビット幅が前記第1ビット幅より小さい又はそれに等しい前記ターゲット残差値にマッピングすること
を行うように具体的に構成されている、項目10から12のいずれか一項に記載の装置。
[項目14]
前記処理ユニットは、
前記初期残差値に基づいてヒストグラムを決定すること;
前記ヒストグラムの中心位置に対応する残差値を決定すること;
前記ヒストグラムの前記中心位置に対応する前記第1ビット幅及び前記残差値に基づいて第1値範囲を決定すること;
前記初期残差値の前記値範囲の前記分布に基づいて、前記第1値範囲に含まれる初期残差のターゲット比例値を決定すること;及び
前記第1値範囲に含まれる前記初期残差に対して残差マッピングを実行して、前記第1値範囲に含まれていない初期残差をクランプすること
を行うように具体的に構成されている、項目13に記載の装置。
[項目15]
前記処理ユニットは、
前記ヒストグラムの前記中心位置に対応する前記ターゲット比例値及び前記残差値に基づいて第1残差値及び第2残差値を決定すること、ここで、前記第1残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より少なく、前記第2残差値は、前記ヒストグラムの前記中心位置に対応する前記残差値より大きく、少なくとも1つの第1残差値が存在し、少なくとも1つの第2残差値が存在し、前記第1残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第1比例値に対応しており、前記第2残差値及び前記ヒストグラムの前記中心位置に対応する前記残差値は第2比例値に対応しており、前記第1比例値及び前記第2比例値の合計は、前記ターゲット比例値である;及び、前記第1残差値及び前記第2残差値の間に含まれる初期残差値を前記ターゲット残差値にマッピングし、前記第1残差値及び前記第2残差値の間に含まれない初期残差値をクランプすることで予め設定された値を取得すること
を行うように具体的に構成されている、項目14に記載の装置。
[項目16]
第1SDRビットストリームを受信すること、ここで、前記第1SDRビットストリームは予め設定されたデータを備え、前記予め設定されたデータは対応関係及びターゲット残差値をエンコードすることにより取得される、を行うように構成された入力/出力ユニット;及び
前記対応関係に基づいて前記第1SDRビットストリームの再構築データを第2HDRデータにマッピングすること、及び前記ターゲット残差値及び前記第2HDRデータに基づいて第1HDRデータを決定することを行うように構成された処理ユニット
を備える、ビデオデコーディング装置。
[項目17]
前記予め設定されたデータはさらに、残差マッピング方式及びクランプ方式を備える、項目16に記載の装置。
[項目18]
前記処理ユニットは、
前記残差マッピング方式、前記クランプ方式、前記ターゲット残差値及び第1ビット幅に基づいて第1残差値及び第2残差値を決定すること;
前記第1残差値、前記第2残差値及び前記クランプ方式に基づいて初期残差値を決定すること、ここで、前記初期残差値のビット幅は前記第1ビット幅より大きい又はそれに等しい;及び
前記初期残差値及び前記第2HDRデータに基づいて前記第1HDRデータを決定すること
を行うように具体的に構成されている、項目16に記載の装置。
[項目19]
互いに連結された不揮発性メモリ及びプロセッサを備えるビデオエンコーディング装置であって、前記プロセッサは、前記メモリに記憶されたプログラムコードを呼び出すことで、項目1から6のいずれか一項に記載の方法を実行する、ビデオエンコーディング装置。
[項目20]
互いに連結された不揮発性メモリ及びプロセッサを備えるビデオデコーディング装置であって、前記プロセッサは、前記メモリに記憶されたプログラムコードを呼び出すことで、項目7から9のいずれか一項に記載の方法を実行する、ビデオデコーディング装置。
[項目21]
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体はプログラムコードを記憶し、前記プログラムコードは、項目1から9のいずれか一項に記載の方法を実行するためにプロセッサによって使用される命令を備える、コンピュータ可読記憶媒体。
【国際調査報告】