特表 2024-545517 パノラマビデオのためのダイナミックレンジマッピング方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-09

(54)【発明の名称】パノラマビデオのためのダイナミックレンジマッピング方法および装置

(51)【国際特許分類】

   H04N 19/85 20140101AFI20241202BHJP

   H04N 19/46 20140101ALI20241202BHJP

【ＦＩ】

H04N19/85

H04N19/46

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024536014

(86)(22)【出願日】2022-11-22

(85)【翻訳文提出日】2024-07-25

(86)【国際出願番号】 CN2022133506

(87)【国際公開番号】W WO2023109442

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】202111555880.5

(32)【優先日】2021-12-17

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133569

【弁理士】

【氏名又は名称】野村 進

(72)【発明者】

【氏名】徐 巍▲ウェイ▼

(72)【発明者】

【氏名】▲楊▼ ▲海▼涛

(72)【発明者】

【氏名】余 全合

(72)【発明者】

【氏名】▲陳▼ ▲虎▼

(72)【発明者】

【氏名】王 弋川

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LA02

5C159LC01

5C159PP03

5C159PP13

5C159RC11

5C159TA01

5C159TB06

(57)【要約】

ビデオ画像処理の分野に関連するパノラマビデオのためのダイナミックレンジマッピング方法および装置が提供される。本方法は、2次元パノラマ投影画像の複数の領域を取得するために、パノラマビデオ内の3次元パノラマ画像の任意のフレームに対応する2次元パノラマ投影画像を分割するステップと、2次元パノラマ投影画像のメタデータを取得するステップであって、メタデータは複数の領域に別々に対応するメタデータ情報要素を含み、1つの領域に対応するメタデータ情報要素が、領域の動的マッピング情報を含む、ステップと、複数の領域のそれぞれの動的マッピング情報に基づいて現在の画角範囲内の各画素の動的マッピング情報を決定するステップと、現在の画角範囲内の2次元パノラマ投影画像を取得するために、現在の画角範囲内の各画素の動的マッピング情報に基づいて各画素に対してダイナミックレンジマッピングを実行するステップであって、2次元パノラマ投影画像は表示または後続の処理に使用される、ステップと、を含む。本方法によれば、パノラマビデオの表示効果を改善するために、パノラマビデオのダイナミックレンジマッピングが効果的に実施されることができる。

【特許請求の範囲】

【請求項1】

電子デバイスに適用される、パノラマビデオのためのダイナミックレンジマッピング方法であって、前記方法は、
2次元パノラマ投影画像の複数の領域を取得するために、前記2次元パノラマ投影画像を分割するステップであって、前記2次元パノラマ投影画像が、パノラマビデオ内の3次元パノラマ画像の任意のフレームに対応する2次元パノラマ投影画像であり、前記複数の領域の各々が、プリセット条件を満たし、前記プリセット条件が、以下の条件、すなわち、前記2次元パノラマ投影画像内で隣接し、かつ前記3次元パノラマ画像内で隣接しない画素が同じ領域内に位置せず、前記3次元パノラマ画像内で隣接しない画素が同じ領域内に位置しないこと、前記2次元パノラマ投影画像内で隣接する前記画素点が、前記3次元パノラマ画像の少なくとも2つの隣接している投影面上の画素を含むこと、および前記3次元パノラマ画像内で隣接しない前記画素が、前記3次元パノラマ画像内にあり、かつ少なくとも2つの隣接していない投影面に対応する画素を含むこと、のうちの少なくとも1つを含む、ステップと、
前記2次元パノラマ投影画像のメタデータを取得するステップであって、前記メタデータが、前記2次元パノラマ投影画像の前記複数の領域に別々に対応するメタデータ情報要素を含み、1つの領域に対応するメタデータ情報要素が、前記領域の動的マッピング情報を含む、ステップと、
前記複数の領域のそれぞれの動的マッピング情報に基づいて現在の画角範囲内の各画素の動的マッピング情報を決定するステップと、
前記現在の画角範囲内の2次元パノラマ投影画像を取得するために、前記現在の画角範囲内の各画素の前記動的マッピング情報に基づいて前記現在の画角範囲内の各画素に対してダイナミックレンジマッピングを実行するステップであって、前記現在の画角範囲内の前記2次元パノラマ投影画像が、表示または後続の処理に使用される、ステップと
を含む、方法。

【請求項2】

前記方法が、
前記2次元パノラマ投影画像を取得するために、前記3次元パノラマ画像を多面体の表面に投影して、前記多面体を2次元平面に拡張するステップであって、前記多面体が、以下、すなわち正四面体、正六面体、正八面体、正十二面体、または正二十面体のうちの少なくとも1つを含む、ステップ
をさらに含む、請求項1に記載の方法。

【請求項3】

2次元パノラマ投影画像の複数の領域を取得するために、前記2次元パノラマ投影画像を分割する前記ステップが、
前記2次元パノラマ投影画像の前記複数の領域を取得するために、前記2次元パノラマ投影画像を第1の分割方式で分割するステップであって、前記第1の分割方式が、前記2次元パノラマ投影画像内の、前記多面体の同じ表面に属する画素を領域に分割する方式である、ステップ
を含む、請求項1または2に記載の方法。

【請求項4】

2次元パノラマ投影画像の複数の領域を取得するために、前記2次元パノラマ投影画像を分割する前記ステップが、
前記2次元パノラマ投影画像の前記複数の領域を取得するために、前記2次元パノラマ投影画像を第2の分割方式で分割するステップであって、前記第2の分割方式が、複数の中間領域を取得するために、前記2次元パノラマ投影画像内の、前記多面体の同じ表面に属する画素を領域に分割し、前記複数の中間領域のうちの少なくとも1つをさらに分割する方式である、ステップ
を含む、請求項1または2に記載の方法。

【請求項5】

2次元パノラマ投影画像の複数の領域を取得するために、前記2次元パノラマ投影画像を分割する前記ステップが、
前記2次元パノラマ投影画像の複数の中間領域を取得するために、前記2次元パノラマ投影画像を第3の分割方式で分割するステップであって、前記第3の分割方式が、前記2次元パノラマ投影画像内のすべての画素をクラスタリングし、同じカテゴリに属する画素を同じ中間領域に分割する方式である、ステップと、
前記複数の領域を取得するために、前記複数の中間領域のうちの前記プリセット条件を満たさない中間領域を第4の分割方式で分割するステップであって、前記プリセット条件を満たさない任意の中間領域について、前記第4の分割方式が、前記多面体の、前記中間領域に含まれる少なくとも2つの表面の境界線に沿って前記中間領域を分割する方式である、ステップと
を含む、請求項1または2に記載の方法。

【請求項6】

前記第1の分割方式、前記第2の分割方式、または前記第3の分割方式が、前記電子デバイスに予め設定されている、
請求項3から5のいずれか一項に記載の方法。

【請求項7】

前記2次元パノラマ投影画像の前記メタデータが分割方式指示情報をさらに含み、前記分割方式指示情報は、前記2次元パノラマ投影画像の分割方式が前記第1の分割方式、前記第2の分割方式、または前記第3の分割方式であることを示す、
請求項3から5のいずれか一項に記載の方法。

【請求項8】

前記複数の領域のそれぞれの動的マッピング情報に基づいて現在の領域内の各画素の動的マッピング情報を決定する前記ステップの前に、前記方法が、
領域とメタデータ情報要素との間の対応関係を取得するステップと、
領域とメタデータ情報要素との間の前記対応関係に従って前記メタデータから、前記複数の領域の前記それぞれの動的マッピング情報を決定するために、前記複数の領域に別々に対応する前記メタデータ情報要素を決定するステップと
をさらに含む、請求項1から7のいずれか一項に記載の方法。

【請求項9】

領域とメタデータ情報要素との間の前記対応関係が、前記メタデータ情報要素のインデックスと前記領域のインデックスとの間の対応関係である、または、
領域とメタデータ情報要素との間の前記対応関係が、前記メタデータ要素のインデックスと前記領域内の1つまたは複数の画素の座標との間の対応関係である、
請求項8に記載の方法。

【請求項10】

前記現在の画角範囲内の処理対象画素の動的マッピング情報が、第1のプリセット範囲内の複数の領域の動的マッピング情報であり、前記第1のプリセット範囲が、前記処理対象画素を中心とする範囲である、
前記現在の画角範囲内の処理対象画素の動的マッピング情報が、前記現在の画角範囲の視点中心に対応する、前記2次元パノラマ投影画像内の画素が属する領域の動的マッピング情報である、
前記現在の画角範囲内の処理対象画素の動的マッピング情報が、第2のプリセット範囲内の複数の領域の動的マッピング情報であり、前記第2のプリセット範囲が、前記現在の画角範囲の視点中心に対応する、前記2次元パノラマ投影画像内の画素を中心とする範囲である、または、
前記現在の領域内の1つの画素の動的マッピング情報が、前記現在の領域の動的マッピング情報である、
請求項1から9のいずれか一項に記載の方法。

【請求項11】

前記動的マッピング情報が、前記2次元パノラマ投影画像の前記画素のダイナミックレンジを第1のダイナミックレンジから第2のダイナミックレンジにマッピングするために使用されるか、または、
前記動的マッピング情報が、前記2次元パノラマ投影画像の前記画素のダイナミックレンジを第2のダイナミックレンジから第1のダイナミックレンジにマッピングするために使用され、前記第1のダイナミックレンジが前記第2のダイナミックレンジよりも大きい、
請求項1から10のいずれか一項に記載の方法。

【請求項12】

前記2次元パノラマ投影画像のメタデータを取得する前記ステップが、
別の電子デバイスから前記2次元パノラマ投影画像の前記メタデータを受信するステップ
を含む、請求項1から11のいずれか一項に記載の方法。

【請求項13】

前記方法が、
前記現在の画角範囲内の前記2次元パノラマ投影画像に対して後続の処理を実行するステップであって、前記後続の処理が、前記現在の画角範囲内の3次元パノラマ画像を取得するために、前記現在の画角範囲内の前記2次元パノラマ投影画像に対して3次元変換を実行することであって、前記3次元パノラマ画像が表示に使用される、実行することを含む、ステップ
をさらに含む、請求項1から12のいずれか一項に記載の方法。

【請求項14】

分割モジュールと、取得モジュールと、決定モジュールと、処理モジュールとを備える、パノラマビデオのためのダイナミックレンジマッピング装置であって、
前記分割モジュールが、2次元パノラマ投影画像の複数の領域を取得するために、前記2次元パノラマ投影画像を分割するように構成され、前記2次元パノラマ投影画像が、パノラマビデオ内の3次元パノラマ画像の任意のフレームに対応する2次元パノラマ投影画像であり、前記複数の領域の各々が、プリセット条件を満たし、前記プリセット条件が、以下の条件、すなわち、前記2次元パノラマ投影画像内で隣接し、かつ前記3次元パノラマ画像内で隣接しない画素が同じ領域内に位置せず、前記3次元パノラマ画像内で隣接しない画素が同じ領域内に位置しないこと、前記2次元パノラマ投影画像内で隣接する前記画素点が、前記3次元パノラマ画像の少なくとも2つの隣接している投影面上の画素を含むこと、および前記3次元パノラマ画像内で隣接しない前記画素が、前記3次元パノラマ画像内にあり、かつ少なくとも2つの隣接していない投影面に対応する画素を含むこと、のうちの少なくとも1つを含み、
前記取得モジュールが、前記2次元パノラマ投影画像のメタデータを取得するように構成され、前記メタデータが、前記2次元パノラマ投影画像の前記複数の領域に別々に対応するメタデータ情報要素を含み、1つの領域に対応するメタデータ情報要素が、前記領域の動的マッピング情報を含み、
前記決定モジュールが、前記複数の領域のそれぞれの動的マッピング情報に基づいて現在の画角範囲内の各画素の動的マッピング情報を決定するように構成され、
前記処理モジュールが、前記現在の画角範囲内の2次元パノラマ投影画像を取得するために、前記現在の画角範囲内の各画素の前記動的マッピング情報に基づいて前記現在の画角範囲内の各画素に対してダイナミックレンジマッピングを実行するように構成され、前記現在の画角範囲内の前記2次元パノラマ投影画像が、表示または後続の処理に使用される、
ダイナミックレンジマッピング装置。

【請求項15】

前記電子デバイスが変換モジュールをさらに備え、
前記変換モジュールが、前記2次元パノラマ投影画像を取得するために、前記3次元パノラマ画像を多面体の表面に投影して、前記多面体を2次元平面に拡張するように構成され、前記多面体が、以下、すなわち正四面体、正六面体、正八面体、正十二面体、または正二十面体のうちの少なくとも1つを含む、
請求項14に記載の装置。

【請求項16】

前記分割モジュールが、前記2次元パノラマ投影画像の前記複数の領域を取得するために、前記2次元パノラマ投影画像を第1の分割方式で分割し、前記第1の分割方式が、前記2次元パノラマ投影画像内の、前記多面体の同じ表面に属する画素を領域に分割する方式である、ように特に構成される、
請求項14または15に記載の装置。

【請求項17】

前記分割モジュールが、前記2次元パノラマ投影画像の前記複数の領域を取得するために、前記2次元パノラマ投影画像を第2の分割方式で分割し、前記第2の分割方式が、複数の中間領域を取得するために、前記2次元パノラマ投影画像内の、前記多面体の同じ表面に属する画素を領域に分割し、前記複数の中間領域のうちの少なくとも1つをさらに分割する方式である、ように特に構成される、
請求項14または15に記載の装置。

【請求項18】

前記分割モジュールが、前記2次元パノラマ投影画像の複数の中間領域を取得するために、前記2次元パノラマ投影画像を第3の分割方式で分割し、前記第3の分割方式が、前記2次元パノラマ投影画像内のすべての画素をクラスタリングし、同じカテゴリに属する画素を同じ中間領域に分割する方式であり、前記複数の領域を取得するために、前記複数の中間領域のうちの前記プリセット条件を満たさない中間領域を第4の分割方式で分割し、前記プリセット条件を満たさない任意の中間領域について、前記第4の分割方式が、前記多面体の、前記中間領域に含まれる少なくとも2つの表面の境界線に沿って前記中間領域を分割する方式である、ように特に構成される、
請求項14または15に記載の装置。

【請求項19】

前記第1の分割方式、前記第2の分割方式、または前記第3の分割方式が、前記電子デバイスに予め設定されている、
請求項16から18のいずれか一項に記載の装置。

【請求項20】

前記2次元パノラマ投影画像の前記メタデータが分割方式指示情報をさらに含み、前記分割方式指示情報は、前記2次元パノラマ投影画像の分割方式が前記第1の分割方式、前記第2の分割方式、または前記第3の分割方式であることを示す、
請求項16から18のいずれか一項に記載の装置。

【請求項21】

前記取得モジュールが、領域とメタデータ情報要素との間の対応関係を取得するようにさらに構成され、
前記決定モジュールが、領域とメタデータ情報要素との間の前記対応関係に従って前記メタデータから、前記複数の領域の前記それぞれの動的マッピング情報を決定するために、前記複数の領域に別々に対応する前記メタデータ情報要素を決定するようにさらに構成される、
請求項14から20のいずれか一項に記載の装置。

【請求項22】

領域とメタデータ情報要素との間の前記対応関係が、前記メタデータ情報要素のインデックスと前記領域のインデックスとの間の対応関係である、または、
領域とメタデータ情報要素との間の前記対応関係が、前記メタデータ要素のインデックスと前記領域内の1つまたは複数の画素の座標との間の対応関係である、
請求項21に記載の装置。

【請求項23】

前記現在の画角範囲内の処理対象画素の動的マッピング情報が、第1のプリセット範囲内の複数の領域の動的マッピング情報であり、前記第1のプリセット範囲が、前記処理対象画素を中心とする範囲である、
前記現在の画角範囲内の処理対象画素の動的マッピング情報が、前記現在の画角範囲の視点中心に対応する、前記2次元パノラマ投影画像内の画素が属する領域の動的マッピング情報である、
前記現在の画角範囲内の処理対象画素の動的マッピング情報が、第2のプリセット範囲内の複数の領域の動的マッピング情報であり、前記第2のプリセット範囲が、前記現在の画角範囲の視点中心に対応する、前記2次元パノラマ投影画像内の画素を中心とする範囲である、または、
前記現在の領域内の1つの画素の動的マッピング情報が、前記現在の領域の動的マッピング情報である、
請求項14から22のいずれか一項に記載の装置。

【請求項24】

前記動的マッピング情報が、前記2次元パノラマ投影画像の前記画素のダイナミックレンジを第1のダイナミックレンジから第2のダイナミックレンジにマッピングするために使用されるか、または、
前記動的マッピング情報が、前記2次元パノラマ投影画像の前記画素のダイナミックレンジを第2のダイナミックレンジから第1のダイナミックレンジにマッピングするために使用され、前記第1のダイナミックレンジが前記第2のダイナミックレンジよりも大きい、
請求項14から23のいずれか一項に記載の装置。

【請求項25】

前記取得モジュールが、別の電子デバイスから前記2次元パノラマ投影画像の前記メタデータを受信するように特に構成される、
請求項14から24のいずれか一項に記載の装置。

【請求項26】

前記変換モジュールが、前記現在の画角範囲内の前記2次元パノラマ投影画像に対して後続の処理を実行するようにさらに構成され、前記後続の処理が、前記現在の画角範囲内の3次元パノラマ画像を取得するために、前記現在の画角範囲内の前記2次元パノラマ投影画像に対して3次元変換を実行することを含み、前記3次元パノラマ画像が表示に使用される、
請求項14から25のいずれか一項に記載の装置。

【請求項27】

メモリと、前記メモリに接続された少なくとも1つのプロセッサとを備える電子デバイスであって、前記メモリが命令を記憶するように構成され、請求項1から13のいずれか一項に記載の方法が、前記命令が前記少なくとも1つのプロセッサによって読み取られた後に実行される、電子デバイス。

【請求項28】

コンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項1から13のいずれか一項に記載の方法が実施される、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、参照によりその全体が本明細書に組み入れられる、2021年12月17日付で中国国家知識産権局に出願された、「DYNAMIC RANGE MAPPING METHOD AND APPARATUS FOR PANORAMIC VIDEO」という名称の中国特許出願第202111555880．5号の優先権を主張するものである。

【0002】

本出願の実施形態は、ビデオ画像処理の分野に関し、特に、パノラマビデオのためのダイナミックレンジマッピング方法および装置に関する。

【背景技術】

【0003】

ビデオ／画像処理の分野では、ダイナミックレンジは、画像の画素の最小階調値に対する画像の画素の最大階調値（輝度値とも呼ばれる）の比である。

【0004】

ビデオ／画像をキャプチャした後、電子デバイスは、ビデオ／画像を表示するか、または表示のためにビデオ／画像を別の表示デバイスに伝送し得る。通常、異なる表示デバイスによって表示されることができる画素のダイナミックレンジは異なる。表示デバイスがビデオ／画像を表示するとき、キャプチャされたビデオ／画像のダイナミックレンジは、表示デバイスによってサポートされているダイナミックレンジとは異なる場合がある。したがって、キャプチャされたビデオ／画像のダイナミックレンジは、表示デバイスによってサポートされるダイナミックレンジに調整されて、ビデオ／画像を表示デバイスに滑らかに表示する必要がある。ビデオ／画像のダイナミックレンジを調整する上記のプロセスは、ダイナミックレンジマッピングである。

【0005】

現在、2次元ビデオ／画像（すなわち、キャプチャされたビデオ／画像）の場合、複数の成熟したダイナミックレンジマッピング方法がある。しかしながら、技術の発展に伴い、3次元ビデオ／画像（例えば、パノラマビデオ）はますます普及しており、3次元ビデオ／画像に対して有効なダイナミックレンジマッピング技術は存在しない。

【発明の概要】

【0006】

本出願の実施形態は、パノラマビデオ上でダイナミックレンジマッピングを効果的に実施し、それによってパノラマビデオの表示効果を改善するために、パノラマビデオのためのダイナミックレンジマッピング方法および装置を提供する。

【課題を解決するための手段】

【0007】

前述の目的を達成するために、本出願の実施形態では以下の技術的解決策が使用される。

【0008】

第1の態様によれば、本出願の一実施形態は、パノラマビデオのためのダイナミックレンジマッピング方法を提供し、方法は電子デバイスに適用される。方法は、電子デバイスが、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を分割するステップを含む。2次元パノラマ投影画像は、パノラマビデオ内の3次元パノラマ画像の任意のフレームに対応する2次元パノラマ投影画像であり、複数の領域の各々は、プリセット条件を満たし、プリセット条件は、2次元パノラマ投影画像内で隣接し、かつ3次元パノラマ画像内で隣接しない画素が同じ領域内に位置していない、および3次元パノラマ画像内で隣接しない画素が同じ領域内に位置していない、という条件のうちの少なくとも1つを含む。2次元パノラマ投影画像内で隣接する画素点は、3次元パノラマ画像の少なくとも2つの隣接する投影面上の画素を含み、3次元パノラマ画像内で隣接しない画素は、3次元パノラマ画像内にあり、少なくとも2つの隣接していない投影面に対応する画素を含む。次いで、電子デバイスは、2次元パノラマ投影画像のメタデータを取得する。メタデータは、2次元パノラマ投影画像の複数の領域にそれぞれ対応するメタデータ情報要素を含み、1つの領域に対応するメタデータ情報要素は、その領域の動的マッピング情報を含む。電子デバイスは、複数の領域のそれぞれの動的マッピング情報に基づいて現在の画角範囲内の各画素の動的マッピング情報を決定し、現在の画角範囲内の各画素の動的マッピング情報に基づいて現在の画角範囲内の各画素に対してダイナミックレンジマッピングを実行して、現在の画角範囲内の2次元パノラマ投影画像を取得する。現在の画角範囲内の2次元パノラマ投影画像は、表示または後続の処理に使用される。

【0009】

本出願のこの実施形態では、2次元パノラマ投影画像を分割するプロセスにおいて、分割によって得られた各領域がプリセット条件を満たすとき、輝度が類似する（輝度が類似するとは、ダイナミックレンジが類似することを示す）画素が同じ領域に分割され、輝度が大きく異なる（輝度差が大きいとは、ダイナミックレンジ差が大きいことを示す）画素が同じ領域に分割されないことを保証することができる。3次元パノラマ投影画像において、画素1は空の画素であってもよく、画素2は地面の画素であってもよい。空の画素の輝度は地面の画素の輝度と大きく異なるため、2次元パノラマ投影画像を分割するプロセスにおいて、画素1と画素2は同じ領域に位置しない。同じ領域内の画素のダイナミックレンジは類似しているため、同じダイナミックレンジマッピング情報に基づいて同じ領域内の画素に対してダイナミックレンジマッピングが実行され得る。異なる領域内の画素のダイナミックレンジは大きく異なる可能性があるため、異なるダイナミックレンジマッピング情報に基づいて異なる領域内の画素に対してダイナミックレンジマッピングが実行され得る。したがって、この分割方式で2次元パノラマ投影画像が複数の領域に分割された後、各領域に対して後続の処理（すなわち、ダイナミックレンジマッピング）が実行される。各領域内の画素の特徴は、処理効果を改善するために、プロセスに適応的に適合され得る。

【0010】

本出願のこの実施形態では、パノラマビデオのダイナミックレンジが大きいという特徴に関連して、電子デバイスは、3次元パノラマ画像に対応する2次元パノラマ投影画像を分割して領域を取得し、異なる領域に対してダイナミックレンジマッピングを実行する。これにより、パノラマビデオ上でダイナミックレンジマッピングを効果的に実施することができ、それによってパノラマビデオの表示効果を改善することができる。

【0011】

可能な一実施態様では、本出願のこの実施形態で提供されるパノラマビデオのためのダイナミックレンジマッピング方法は、2次元パノラマ投影画像を取得するために、3次元パノラマ画像を多面体の表面に投影して、多面体を2次元平面に拡張するステップであって、多面体は、正四面体、正六面体、正八面体、正十二面体、または正二十面体のうちの少なくとも1つを含む、ステップをさらに含む。

【0012】

本出願のこの実施形態では、多面体を使用して3次元パノラマ画像を2次元パノラマ投影画像に投影するプロセスは、球が多面体の内接球になるように（多面体の中心が球の球中心と一致することを理解されたい）、3次元パノラマ画像を表現することができる球（3次元パノラマ画像は3次元球によって表現される）を多面体に配置するステップと、球面上の任意の点（画素点）に球中心を接続し、多面体の表面と交差するように接続線を延長するステップであって、球面上の点を多面体の表面上に投影することによって得られる点は、球面上の点に球中心を接続する接続線の延長線と、多面体の表面との交点である、ステップ、または、多面体の表面上の点を球中心に接続するステップであって、接続線は点で球面と交差し、球面上の交点と多面体上の点とが相互投影関係にある、ステップと、を含む。球面上の点の画素値は、多面体の表面上の交点の画素値であることを理解されたい。このように、前述の投影プロセスでは、多面体の各表面上の投影画素を取得するために、3次元球面上のすべての画素が投影される（異なる場合に基づいて2次元平面上の投影画素に対して補間が実行される）。最後に、多面体は、2次元パノラマ投影画像を取得するために、特定の規則に従って2次元平面に拡張される。

【0013】

多面体を2次元平面に拡張することによって得られた2次元パノラマ投影画像は、不規則な投影画像であってもよい。後続の処理プロセスでは、任意選択で、不規則な投影画像は直接処理されてもよく、または不規則な画像は処理のために規則的な画像に変換されてもよい。一実施態様では、不規則な画像を囲み、最小面積を有する矩形領域が処理されてもよく、矩形領域内の投影領域以外の別の領域が、例えば、プリセット画素値で充填されてもよい。別の実施態様では、不規則な投影画像内の表面画像は、規則的な形状（例えば、矩形）の投影画像につなぎ合わされてもよい。このように、画素充填が実行される必要がない。

【0014】

本出願のこの実施形態では、多面体は正多面体に限定されない。言い換えれば、3次元パノラマ画像の2次元パノラマ投影図は、異なるサイズのいくつかのポリゴンを含み得る。

【0015】

可能な一実施態様では、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を分割するステップは、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を第1の分割方式で分割するステップであって、第1の分割方式は、2次元パノラマ投影画像内の、多面体の同じ表面に属する画素を領域に分割する方式である、ステップを特に含む。

【0016】

例えば、投影に使用される多面体は、正六面体である。正六面体を使用して3次元パノラマ投影画像が投影された後、得られた2次元パノラマ投影画像は6つの投影面を含む。第1の分割方式は、2次元パノラマ投影画像において、多面体の同じ表面に属する画素を領域に分割する方式であり、すなわち、2次元パノラマ投影画像の各投影面が領域として使用される。例えば、2次元パノラマ投影画像は、第1の分割方式で図8の領域A、領域B、領域C、領域D、領域E、および領域Fの6つの領域に分割されてもよい。2次元パノラマ投影画像を第1の分割方式で分割することによって得られた複数の領域の各々は、プリセット条件（条件1または条件2を含む）を満たす、すなわち、2次元パノラマ投影画像内で隣接し、かつ3次元パノラマ画像内で隣接しない画素は、同じ領域に位置しない。

【0017】

可能な一実施態様では、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を分割するステップは、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を第2の分割方式で分割するステップであって、第2の分割方式は、複数の中間領域を取得するために、2次元パノラマ投影画像内の、多面体の同じ表面に属する画素を領域に分割し、複数の中間領域のうちの少なくとも1つをさらに分割する方式である、ステップを特に含む。

【0018】

例えば、投影に使用される多面体は、依然として正六面体である。正六面体を使用して3次元パノラマ投影画像が投影された後、得られた2次元パノラマ投影画像は6つの投影面を含む。第2の分割方式は、複数の中間領域を取得するために、多面体の同じ表面に属する2次元パノラマ投影画像内の画素を領域に分割し、複数の中間領域のうちの少なくとも1つをさらに分割する方式である。言い換えれば、2次元パノラマ投影画像は、複数の中間領域として複数の領域を取得するために、第1の分割方式で最初に分割され、次いで、最終的な分割結果として複数の領域を取得するために、複数の中間領域のうちの1つまたは複数が分割される。2次元パノラマ投影画像を第2の分割方式で分割することによって得られた複数の領域の各々は、プリセット条件（条件1または条件2を含む）を満たす、すなわち、2次元パノラマ投影画像内で隣接し、かつ3次元パノラマ画像内で隣接しない画素は、同じ領域に位置しない。

【0019】

可能な一実施態様では、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を分割するステップは、2次元パノラマ投影画像の複数の中間領域を取得するために、2次元パノラマ投影画像を第3の分割方式で分割するステップであって、第3の分割方式は、2次元パノラマ投影画像内のすべての画素をクラスタリングし、同じカテゴリに属する画素を同じ中間領域に分割する方式である、ステップと、複数の領域を取得するために、複数の中間領域のうちのプリセット条件を満たさない中間領域を第4の分割方式で分割するステップであって、プリセット条件を満たさない任意の中間領域について、第4の分割方式は、多面体の、中間領域に含まれる少なくとも2つの表面の境界線に沿って中間領域を分割する方式である、ステップと、を含む。

【0020】

本出願のこの実施形態では、第3の分割方式で2次元パノラマ投影画像内のすべての画素をクラスタリングするプロセスは、以下を含む。

【0021】

クラスタリング中心が最初に決定され、クラスタリング中心は1画素である。任意選択で、2次元パノラマ投影画像は、プリセット分割方式で複数の領域に最初に分割されてもよく、各領域の中心位置の画素値が決定され、各領域の中心位置の画素値はクラスタリング中心として使用される。例えば、2次元パノラマ投影画像が正六面体を使用して投影によって得られた画像であると仮定する。2次元パノラマ投影画像が6つの領域に分割される場合、2次元パノラマ投影画像は第1の分割方式で6つの領域に分割され得、各領域の中心位置の画素値が決定されて、6つのクラスタリング中心を取得する。2次元パノラマ投影画像が12個の領域に分割される場合、2次元パノラマ投影画像は第2の分割方式で12個の領域に分割され得、各領域の中心位置の画素値が決定されて、12個のクラスタリング中心を取得する。

【0022】

次いで、プリセットクラスタリングアルゴリズムおよび決定されたクラスタリング中心に従って、すべての画素点と各クラスタリング中心との間の距離に対して計算が実行され（距離は、画素の座標およびクラスタリング中心に対応する画素の座標に基づいて計算される）、距離はDiと表記され得る。次いで、すべての画素点の輝度値と、クラスタリング中心に対応する画素点の輝度値との差分に対して計算が実行され（すべての画素点の輝度値と、各クラスタリング中心に対応するカテゴリ（すなわち、プリセット分割方式で分割することによって得られたカテゴリ）の画素点の平均輝度値との差分に対して計算が実行され、すべての画素点の色値とクラスタリング中心に対応する画素点の色値との差分に対して計算が実行され、または、すべての画素点の色値と各クラスタリング中心に対応するカテゴリ（すなわち、プリセット分割方式で分割することによって得られたカテゴリ）の画素点の平均色値との差分に対して計算が実行される）、その差分はEiと表記される。各画素は、距離DiおよびEiの加重値に基づいて、対応するクラスタリング中心に対応するカテゴリに分割され、クラスタリング結果を取得する。加重値が最小のカテゴリは、その画素に対応するカテゴリであり、クラスタリング結果における各カテゴリの画素点が領域を形成する。

【0023】

任意選択で、前述のクラスタリング方法に従って2次元パノラマ投影画像を分割することは、得られた複数の中間領域がプリセット条件（条件1または条件2を含む）を満たすかどうかを保証することができない。したがって、複数の中間領域がプリセット条件を満たすかどうかを決定するために、クラスタリングによって得られた複数の中間領域が決定される必要がある。複数の中間領域のすべてがプリセット条件を満たす場合、複数の中間領域は最終的な分割結果として使用され、すなわち、複数の中間領域は、2次元パノラマ投影画像を分割することによって得られた複数の領域として使用される。複数の中間領域の中にプリセット条件を満たさない中間領域がある場合、電子デバイスは、複数の中間領域の中でプリセット条件を満たさない中間領域を第4の分割方式で分割し続けて、複数の領域を取得する。

【0024】

可能な一実施態様では、第1の分割方式、第2の分割方式、または第3の分割方式は、電子デバイスに予め設定される（例えば、プロトコルに従って予め設定される）。

【0025】

可能な一実施態様では、2次元パノラマ投影画像のメタデータは、分割方式指示情報をさらに含む。分割方式指示情報は、2次元パノラマ投影画像の分割方式が第1の分割方式、第2の分割方式、または第3の分割方式であること、すなわち、分割方式指示情報がビットストリームで伝送され得ることを示す。2次元パノラマ投影画像の分割方式を決定した後、生成端は、分割方式を示す指示情報（すなわち、分割方式指示情報）をビットストリームに追加する。したがって、ビットストリームを受信した後、表示端は、ビットストリーム内の分割方式指示情報に基づいて2次元パノラマ投影画像の分割方式を知ることができる。

【0026】

第1の分割方式は第2の分割方式に関連し、第2の分割方式の分割結果は第1の分割方式に基づく再分割結果であることが理解されよう。

【0027】

一実施態様では、2次元パノラマ投影画像の候補分割方式が第1の分割方式および第2の分割方式を含む場合、第1の分割方式で分割した後にさらなる分割が実行される必要があるかどうかは、2次元パノラマ投影画像のコンテンツに基づいて決定され得る、すなわち、第1の分割方式または第2の分割方式を使用すると決定する。

【0028】

具体的には、第1の分割方式の分割結果がさらに分割される必要があるかどうかは、以下のプロセス、すなわち、複数の中間領域を取得するために、第1の分割方式で2次元パノラマ投影画像を最初に分割するプロセスと、複数の中間領域のそれぞれについて、中間領域のヒストグラムを計算し、中間領域を複数の領域に分割し、各領域のヒストグラムを計算し、中間領域のヒストグラムと、中間領域を分割することによって得られた領域のヒストグラムとの差分値の合計を計算するプロセスと、差分値の合計がプリセット閾値よりも大きいかどうかを決定するプロセスと、差分値の合計がプリセット閾値よりも大きい場合には、中間領域をさらに分割するプロセス、すなわち、2次元パノラマ投影画像を分割するために第2の分割方式を使用するプロセスと、に基づいて決定され得る。差分値の合計がプリセット閾値以下である場合、中間領域はさらに分割される必要はなく、すなわち、2次元パノラマ投影画像は第1の分割方式で分割される。差分値の合計がプリセット閾値よりも大きいとき、それは中間領域内の部分間の輝度差が大きく、さらなる分割が実行される必要があることを示すことを理解されたい。

【0029】

任意選択で、場合によっては、デフォルトの分割方式が第1の分割方式である場合、さらなる分割が実行されるかどうかを示すために関連する識別子がビットストリームで使用されてもよい。識別子がさらなる分割が実行されないことを示すとき、第1の分割方式で得られた分割結果は最終結果である。識別子がさらなる分割が実行される必要があることを示すとき、第1の分割方式の分割結果はさらに分割される。

【0030】

別の実施態様では、2次元パノラマ投影画像の候補分割方式が第1の分割方式、第2の分割方式、および第3の分割方式を含む場合、どの分割方式が使用されるかは、以下のプロセス、すなわち、第1の分割方式、第2の分割方式、および第3の分割方式で2次元パノラマ投影画像を最初に分割するプロセスと、第1分割方式、第2分割方式、および第3分割方式で得られた領域のヒストグラムと、2次元パノラマ投影画像のヒストグラムとを別々に計算するプロセスと、分割方式で得られた複数の領域のヒストグラムと、2次元パノラマ投影画像のヒストグラムとの差分値の合計を計算するプロセスと、ヒストグラム間の差分値の合計が最大となる分割方式を最終的な分割方式として決定するプロセスと、を実行することによって決定され得る。ヒストグラム間の差分値の合計が大きいほど、分割によって得られた領域間の輝度差が大きいことを示し、分割が適切であることを示すことを理解されたい。

【0031】

任意選択で、3つの分割方式におけるメタデータのサイズがさらに計算されてもよく、メタデータは、2次元パノラマ投影画像の各領域に対応する動的マッピング情報を含む。次いで、分割方式に対応するヒストグラムの差分値の合計と、分割方式に対応するメタデータのサイズとの加重値に基づいて、どの分割方式が使用されるかが決定される。

【0032】

可能な一実施態様では、複数の領域のそれぞれの動的マッピング情報に基づいて現在の領域内の各画素の動的マッピング情報を決定するステップの前に、本出願のこの実施形態で提供されるパノラマビデオのためのダイナミックレンジマッピング方法は、領域とメタデータ情報要素との間の対応関係を取得するステップと、複数の領域のそれぞれの動的マッピング情報を決定するために、領域とメタデータ情報要素との間の対応関係に従ってメタデータから、複数の領域に別々に対応するメタデータ情報要素を決定するステップと、をさらに含む。

【0033】

本出願のこの実施形態では、パノラマビデオにダイナミックレンジマッピングを実行することの概念は、パノラマビデオに含まれるすべての3次元パノラマ画像を2次元平面に投影し、得られた2次元パノラマ投影画像にダイナミックレンジマッピングを実行し、ダイナミックレンジマッピングによって得られた2次元パノラマ投影画像を3次元パノラマ画像に変換して、ダイナミックレンジマッピングによって得られたパノラマビデオを取得することであることが理解されよう。言い換えれば、得られた2次元パノラマ投影画像のメタデータは、3次元パノラマ画像のダイナミックレンジマッピングを実行するために使用され（すなわち、パノラマビデオに対してダイナミックレンジマッピングを実行するために使用され）、2次元パノラマ投影画像のメタデータは、3次元パノラマ画像のメタデータ（またはパノラマビデオのメタデータ）と考えられてもよい。

【0034】

任意選択で、領域とメタデータ情報要素との間の対応関係は、1対1の関係であってもよく、多対1の関係であってもよい。言い換えれば、2次元パノラマ投影画像の1つの領域が1つのメタデータ情報要素に対応し、あるいは、2次元パノラマ投影画像の複数の領域が1つのメタデータ情報要素に対応する。2次元パノラマ投影画像の複数の領域間の輝度差が大きく、各領域に対して1種類の動的マッピング情報が使用されるとき、領域とメタデータ情報要素との対応関係は1対1の関係である。複数の領域内のいくつかの領域の輝度が類似しているとき、いくつかの領域は同じタイプの動的マッピング情報を使用してもよく、領域とメタデータ情報要素との間の対応関係は多対1の関係である。

【0035】

本出願のこの実施形態では、2次元パノラマ画像内の複数の領域とメタデータ情報要素との間の対応関係が1対1の関係または多対1の関係であるかどうかを決定するために、プリセットアルゴリズムが使用されてもよい。例えば、1対1または多対1の対応関係を使用するかどうかは、以下の方法、すなわち、複数の領域がクラスタリングされ、クラスタリングされたカテゴリの数は要件に基づいて設定され得る方法、を使用することによって決定され得る。例えば、カテゴリの数は、領域の数の半分または領域の数の4分の1に設定される。例えば、領域の総数が8であるとき、8つの領域が2つのカテゴリに分割され得、または8つの領域が4つのカテゴリに分割され得、これは4つの大きな領域を取得することに相当する。次いで、クラスタリング結果におけるカテゴリに対応する領域のヒストグラムと2次元パノラマ投影画像のヒストグラムとの差分の合計が計算され、複数の元領域のヒストグラムと2次元パノラマ画像のヒストグラムとの差分の合計が計算される。最後に、ヒストグラム間の差分の2つの合計に基づいて、複数の領域とメタデータ情報要素との対応関係が1対1の関係であるか多対1の関係であるかが決定される。例えば、8つの領域をクラスタリングして2つのカテゴリの領域が得られたとき、クラスタリング結果の各カテゴリに対応する領域のヒストグラムと2次元パノラマ投影画像のヒストグラムとの差分の合計はDiffHIS＿X2であり、複数の元領域のヒストグラムと2次元パノラマ画像のヒストグラムとの差分の合計はDiffHIS＿orgと表記される。決定方法は以下の通りである：DiffHIS＿org×（1－T2）＞DiffHIS＿X2の場合、領域とメタデータ情報要素との間の対応関係は多対1の関係である、または、DiffHIS＿org×（1－T2）≦DiffHIS＿X2の場合、領域とメタデータ情報要素との間の対応関係は、1対1の関係であり、T2は、プリセット閾値である。

【0036】

可能な一実施態様では、領域とメタデータ情報要素との間の対応関係は、メタデータ情報要素のインデックスと領域のインデックスとの間の対応関係である、または、領域とメタデータ情報要素との間の対応関係は、メタデータ要素のインデックスと領域内の1つまたは複数の画素の座標との間の対応関係である。

【0037】

本出願のこの実施形態では、メタデータ情報要素のインデックスと領域のインデックスとの間の対応関係は、本質的にトラバーサル順序関係である。例えば、6つの領域を含む2次元パノラマ投影画像の場合、6つの領域は、2×3（すなわち、2行であり、各行は3つの領域を含む）の矩形を形成し、左から右および上から下に、順に、領域4、領域0、領域5、領域3、領域1、および領域2である。したがって、領域とメタデータ情報要素との対応関係のテーブルでは、2次元パノラマ投影画像内の6つの領域が左から右および上から下に順次トラバースされ、6つの領域に別々に対応するメタデータ情報要素はメタデータ内で順次決定され得る。一実施態様では、複数の領域のトラバーサル順序はビットストリームで示され得る。例えば、トラバーサル順序を示す指示情報がメタデータで搬送されてもよい。トラバーサル順序は、左から右および上から下への上記の順序に限定されず、トラバーサル順序は、具体的には、2次元パノラマ投影画像内の各領域の位置に関連する。

【0038】

任意選択で、複数の領域のトラバーサル順序は、プリセット順序であってもよい。あるいは、生成端は、関連するアルゴリズムに従って候補トラバーサル順序からトラバーサル順序を決定し、ビットストリームのメタデータに識別子を追加し、トラバーサル順序を示すためにビットストリームを生成端に転送する。

【0039】

本出願のこの実施形態では、どのトラバーサル順序が使用されるかは、以下の方法、すなわち、複数の領域の各々のヒストグラムを計算するステップと、各候補トラバーサル順序について、隣接する領域のヒストグラム間の差分の合計を計算するステップと、候補トラバーサル順序におけるヒストグラム間の差分の合計が最小となるトラバース方法を最終的なトラバーサル方式として決定するステップと、を使用して決定され得る。

【0040】

本出願のこの実施形態では、領域の画素の座標もメタデータで搬送され得る。具体的には、各領域の画素の座標は、各領域に対応するメタデータ情報要素で搬送される。2次元パノラマ投影画像を分割して複数の領域を取得した後、領域の1つについて、表示端は、対応関係に従って、座標が領域に属する画素を決定し、座標に対応するメタデータ情報要素を領域のメタデータ情報要素として使用する。

【0041】

可能な一実施態様では、現在の画角範囲内の処理対象画素の動的マッピング情報は、第1のプリセット範囲内の複数の領域の動的マッピング情報であり、第1のプリセット範囲は、処理対象画素を中心とする範囲であり（方式1）、現在の画角範囲内の処理対象画素の動的マッピング情報は、現在の画角範囲の視点中心に対応する、2次元パノラマ投影画像内の画素が属する領域の動的マッピング情報であり（方式2）、現在の画角範囲内の処理対象画素の動的マッピング情報は、第2のプリセット範囲内の複数の領域の動的マッピング情報であり、第2のプリセット範囲は、現在の画角範囲の視点中心に対応する、2次元パノラマ投影画像内の画素を中心とする範囲であり（方式3）、または、現在の領域内の1つの画素の動的マッピング情報は、現在の領域の動的マッピング情報である（方式4）。

【0042】

ユーザがパノラマビデオを見るとき、ユーザ（頭部）は、現在の姿勢のパノラマビデオのすべてのコンテンツを見ることはできないが、特定の範囲のビデオのコンテンツのみを見ることができることを理解されたい。範囲は、ユーザの画角範囲として理解され得る。ユーザの画角範囲は、ユーザの現在の視野姿勢に関連していることが分かる。本出願のこの実施形態では、パノラマビデオに対してダイナミックレンジマッピングを実行することは、パノラマビデオを現在見ているユーザの画角範囲内のコンテンツに対してダイナミックレンジマッピングを実行することである。複数の領域の動的マッピング情報を取得した後、電子デバイスは、複数の領域の動的マッピング情報に基づいて、4つの方式のいずれかで現在の画角範囲内の各画素の動的マッピング情報を決定し得る。

【0043】

任意選択で、実際の適用中に、生成端は、処理対象画素の動的マッピング情報を決定するための実際の要件に基づいて4つの方式から適切な方式を選択し、ビットストリーム（のメタデータ）で搬送された選択された方式を表示端に転送してもよい。あるいは、生成端および表示端は、使用される方式を予め決定してもよい。これは、本出願のこの実施形態では限定されない。

【0044】

可能な一実施態様では、本出願のこの実施形態における動的マッピング情報は、2次元パノラマ投影画像の画素のダイナミックレンジを第1のダイナミックレンジから第2のダイナミックレンジにマッピングするために使用されるか、または、動的マッピング情報は、2次元パノラマ投影画像の画素のダイナミックレンジを第2のダイナミックレンジから第1のダイナミックレンジにマッピングするために使用される。第1のダイナミックレンジは第2のダイナミックレンジよりも大きい、すなわち、画素に対して実行されるダイナミックレンジマッピングは、高ダイナミックレンジから低ダイナミックレンジへのマッピングであってもよいし、低ダイナミックレンジから高ダイナミックレンジへのマッピングであってもよい。

【0045】

これに対応して、本方法を使用して現在の画角範囲内の各画素の動的マッピング情報が決定された後、画素は複数の動的マッピング情報に対応し得る（例えば、複数の動的マッピング曲線に対応する）。画素に対してダイナミックレンジマッピングが実行された後、1つの動的マッピング情報ごとに1つの動的マッピング結果が得られてもよい。この場合、複数の動的マッピング結果が処理されて、最終的な動的マッピング結果を取得し得る。処理方式は、最終的な動的マッピング結果を取得するために、複数の動的マッピング結果の中央値を最終的な動的マッピング結果として使用すること、または複数の動的マッピング結果に対して加重平均を実行することのいずれか1つを含み得る。

【0046】

可能な一実施態様では、2次元パノラマ投影画像のメタデータを取得するステップは、具体的には、別の電子デバイスから2次元パノラマ投影画像のメタデータを受信するステップを含む。具体的には、メタデータを生成した後、生成端はメタデータをビットストリームに符号化し、ビットストリームを表示端に送信し、その結果、表示端はビットストリームを受信し、ビットストリームを解析してメタデータを取得する。

【0047】

可能な一実施態様では、本出願のこの実施形態におけるパノラマビデオのダイナミックレンジマッピング方法は、現在の画角範囲内の2次元パノラマ投影画像に対して後続の処理を実行するステップをさらに含み、後続の処理は、現在の画角範囲内の3次元パノラマ画像を取得するために、現在の画角範囲内の2次元パノラマ投影画像に対して3次元変換を実行するステップを含む。3次元パノラマ画像は、表示に使用される。

【0048】

得られた2次元パノラマ投影画像は、表示に使用されてもよい。さらに、2次元パノラマ投影画像は後続の処理にさらに使用され、例えば、2次元パノラマ投影画像は表示用の3次元パノラマ画像に変換される。さらに、パノラマビデオのすべての3次元パノラマ画像が得られた後、パノラマビデオが再生され得る。

【0049】

第2の態様によれば、本出願の一実施形態は、分割モジュールと、取得モジュールと、決定モジュールと、処理モジュールとを含む、パノラマビデオのためのダイナミックレンジマッピング装置を提供する。分割モジュールは、2次元パノラマ投影画像を分割して、2次元パノラマ投影画像の複数の領域を取得するように構成される。2次元パノラマ投影画像は、パノラマビデオ内の3次元パノラマ画像の任意のフレームに対応する2次元パノラマ投影画像であり、複数の領域の各々は、プリセット条件を満たし、プリセット条件は、2次元パノラマ投影画像内で隣接し、かつ3次元パノラマ画像内で隣接しない画素が同じ領域内に位置していない、および3次元パノラマ画像内で隣接しない画素が同じ領域内に位置していない、という条件のうちの少なくとも1つを含む。2次元パノラマ投影画像内で隣接する画素点は、3次元パノラマ画像の少なくとも2つの隣接する投影面上の画素を含み、3次元パノラマ画像内で隣接しない画素は、3次元パノラマ画像内にあり、少なくとも2つの隣接していない投影面に対応する画素を含む。取得モジュールは、2次元パノラマ投影画像のメタデータを取得するように構成され、メタデータは、2次元パノラマ投影画像の複数の領域にそれぞれ対応するメタデータ情報要素を含み、1つの領域に対応するメタデータ情報要素は、その領域の動的マッピング情報を含む。決定モジュールは、複数の領域のそれぞれの動的マッピング情報に基づいて、現在の画角範囲内の各画素の動的マッピング情報を決定するように構成される。処理モジュールは、現在の画角範囲内の各画素の動的マッピング情報に基づいて現在の画角範囲内の各画素に対してダイナミックレンジマッピングを実行して、現在の画角範囲内の2次元パノラマ投影画像を取得するように構成され、現在の画角範囲内の2次元パノラマ投影画像は、表示または後続の処理に使用される。

【0050】

可能な一実施態様では、本出願のこの実施形態で提供されるパノラマビデオのためのダイナミックレンジマッピング装置は、変換モジュールをさらに含む。変換モジュールは、3次元パノラマ画像を多面体の表面に投影し、多面体を2次元平面に拡張して、2次元パノラマ投影画像を取得するように構成される。多面体は、正四面体、正六面体、正八面体、正十二面体、または正二十面体のうちの少なくとも1つを含む。

【0051】

可能な一実施態様では、分割モジュールは、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を第1の分割方式で分割し、第1の分割方式は、2次元パノラマ投影画像内の、多面体の同じ表面に属する画素を領域に分割する方式である、ように特に構成される。

【0052】

可能な一実施態様では、分割モジュールは、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を第2の分割方式で分割し、第2の分割方式は、複数の中間領域を取得するために、2次元パノラマ投影画像内の、多面体の同じ表面に属する画素を領域に分割し、複数の中間領域のうちの少なくとも1つをさらに分割する方式である、ように特に構成される。

【0053】

可能な一実施態様では、分割モジュールは、2次元パノラマ投影画像の複数の中間領域を取得するために、2次元パノラマ投影画像を第3の分割方式で分割し、第3の分割方式は、2次元パノラマ投影画像内のすべての画素をクラスタリングし、同じカテゴリに属する画素を同じ中間領域に分割する方式であり、複数の領域を取得するために、複数の中間領域のうちのプリセット条件を満たさない中間領域を第4の分割方式で分割し、プリセット条件を満たさない任意の中間領域について、第4の分割方式は、多面体の、中間領域に含まれる少なくとも2つの表面の境界線に沿って中間領域を分割する方式である、ように特に構成される。

【0054】

可能な一実施態様では、第1の分割方式、第2の分割方式、または第3の分割方式は、電子デバイスに予め設定される。

【0055】

可能な一実施態様では、2次元パノラマ投影画像のメタデータは分割方式指示情報をさらに含み、分割方式指示情報は、2次元パノラマ投影画像の分割方式が第1の分割方式、第2の分割方式、または第3の分割方式であることを示す。

【0056】

可能な一実施態様では、取得モジュールは、領域とメタデータ情報要素との間の対応関係を取得するようにさらに構成される。決定モジュールは、複数の領域のそれぞれの動的マッピング情報を決定するために、領域とメタデータ情報要素との間の対応関係に従ってメタデータから、複数の領域に別々に対応するメタデータ情報要素を決定するようにさらに構成される。

【0057】

可能な一実施態様では、領域とメタデータ情報要素との間の対応関係は、メタデータ情報要素のインデックスと領域のインデックスとの間の対応関係である、または、領域とメタデータ情報要素との間の対応関係は、メタデータ要素のインデックスと領域内の1つまたは複数の画素の座標との間の対応関係である。

【0058】

可能な一実施態様では、現在の画角範囲内の処理対象画素の動的マッピング情報は、第1のプリセット範囲内の複数の領域の動的マッピング情報であり、第1のプリセット範囲は、処理対象画素を中心とする範囲である、現在の画角範囲内の処理対象画素の動的マッピング情報は、現在の画角範囲の視点中心に対応する、2次元パノラマ投影画像内の画素が属する領域の動的マッピング情報である、現在の画角範囲内の処理対象画素の動的マッピング情報は、第2のプリセット範囲内の複数の領域の動的マッピング情報であり、第2のプリセット範囲は、現在の画角範囲の視点中心に対応する、2次元パノラマ投影画像内の画素を中心とする範囲である、または、現在の領域内の1つの画素の動的マッピング情報は、現在の領域の動的マッピング情報である。

【0059】

可能な一実施態様では、本出願のこの実施形態における動的マッピング情報は、2次元パノラマ投影画像の画素のダイナミックレンジを第1のダイナミックレンジから第2のダイナミックレンジにマッピングするために使用されるか、または、動的マッピング情報は、2次元パノラマ投影画像の画素のダイナミックレンジを第2のダイナミックレンジから第1のダイナミックレンジにマッピングするために使用される。第1のダイナミックレンジは第2のダイナミックレンジより大きい。

【0060】

可能な一実施態様では、取得モジュールは、別の電子デバイスから2次元パノラマ投影画像のメタデータを受信するように特に構成される。

【0061】

可能な一実施態様では、変換モジュールは、現在の画角範囲内の2次元パノラマ投影画像に対して後続の処理を実行し、後続の処理は、現在の画角範囲内の3次元パノラマ画像を取得するために、現在の画角範囲内の2次元パノラマ投影画像に対して3次元変換を実行するステップを含む、ようにさらに構成される。3次元パノラマ画像は、表示に使用される。

【0062】

第3の態様によれば、本出願の一実施形態は、メモリと、メモリに接続された少なくとも1つのプロセッサとを含む電子デバイスを提供する。メモリは、命令を記憶するように構成され、命令が少なくとも1つのプロセッサによって読み出された後、第1の態様および第1の態様の可能な実施態様のいずれか1つにおける方法が実行される。

【0063】

第4の態様によれば、本出願の一実施形態は、コンピュータプログラムを記憶するコンピュータ可読記憶媒体を提供する。コンピュータプログラムがプロセッサによって実行されると、第1の態様および第1の態様の可能な実施態様のいずれか1つにおける方法が実施される。

【0064】

第5の態様によれば、本出願の一実施形態はコンピュータプログラム製品を提供する。コンピュータプログラム製品は、命令を含み、コンピュータプログラム製品がコンピュータ上で実行されると、第1の態様または第1の態様の可能な実施態様のいずれか1つにおける方法が実行される。

【0065】

第6の態様によれば、本出願の一実施形態はメモリとプロセッサとを含むチップを提供する。メモリは、コンピュータ命令を記憶するように構成される。プロセッサは、第1の態様または第1の態様の可能な実施態様のいずれか1つによる方法を実行するために、メモリからコンピュータ命令を呼び出してコンピュータ命令を実行するように構成される。

【0066】

第2の態様から第6の態様における技術的解決策および本出願の実施形態における対応する可能な実施態様によって達成される有益な効果については、第1の態様および対応する可能な実施態様における前述の技術的効果を参照されたい。ここでは詳細を繰り返さない。

【図面の簡単な説明】

【0067】

【図1】本出願の一実施形態によるビデオ処理プロセスのフレームワークの略図である。

【図2】本出願の一実施形態による携帯電話のハードウェアの略図である。

【図3】本出願の一実施形態によるパノラマビデオのためのダイナミックレンジマッピング方法の略図1である。

【図4】本出願の一実施形態による3次元パノラマ画像投影プロセスの略図1である。

【図5】本出願の一実施形態による3次元パノラマ画像投影プロセスの略図2である。

【図6】本出願の一実施形態による3次元パノラマ画像投影プロセスの略図3である。

【図7】本出願の一実施形態によるパノラマビデオのためのダイナミックレンジマッピング方法の略図2である。

【図8】本出願の一実施形態による2次元パノラマ投影画像の分割結果の略図1である。

【図9】本出願の一実施形態によるパノラマビデオのためのダイナミックレンジマッピング方法の略図3である。

【図10】本出願の一実施形態による2次元パノラマ投影画像の分割結果の略図2である。

【図11】本出願の一実施形態によるパノラマビデオのためのダイナミックレンジマッピング方法の略図4である。

【図12】本出願の一実施形態による2次元パノラマ投影画像の分割結果の略図3である。

【図13】本出願の一実施形態によるパノラマビデオのためのダイナミックレンジマッピング方法の略図5である。

【図14】本出願の一実施形態によるパノラマビデオのためのダイナミックレンジマッピング方法の略図6である。

【図15】本出願の一実施形態によるパノラマビデオのためのダイナミックレンジマッピング装置の構造の略図1である。

【図16】本出願の一実施形態によるパノラマビデオのためのダイナミックレンジマッピング装置の構造の略図2である。

【発明を実施するための形態】

【0068】

本明細書における「および／または」という用語は、関連オブジェクトを記述するための関連関係のみを記述し、3つの関係が存在し得ることを表す。例えば、Aおよび／またはBは、Aのみが存在する場合、AとBの両方が存在する場合、Bのみが存在する場合、の3つの場合を表すことができる。

【0069】

本出願の実施形態における明細書および特許請求の範囲では、「第1の」、「第2の」などの用語は、異なるオブジェクトを区別することを意図しているが、オブジェクトの特定の順序を示すものではない。例えば、第1の分割方式、第2の分割方式などは、異なる分割方式を区別するために使用されるが、分割方式の特定の順序を説明するために使用されない。

【0070】

本出願の実施形態では、「例」または「例えば」という語は、例、例示、または説明を与えるために使用される。本出願の実施形態では、「例」または「例えば」として説明される任意の実施形態または設計スキームは、別の実施形態または設計スキームよりも好ましいまたはより多くの利点を有するものとして説明されるべきではない。正確には、「例」や「例えば」などの単語は、関連する概念を特定の方式で提示することが意図されている。

【0071】

本出願の実施形態の説明においては、特に断りのない限り、「複数の」とは、2つまたは3つ以上を意味する。例えば、複数の領域とは、2以上の領域を意味する。

【0072】

以下では、まず、本出願の実施形態で提供されるパノラマビデオのためのダイナミックレンジマッピング方法および装置に関するいくつかの概念を説明する。

【0073】

ダイナミックレンジ（dynamic range）：ほとんどのフィールドにおいて、ダイナミックレンジは、変数の最大値と最小値との比を示す。デジタル画像フィールドにおいて、ダイナミックレンジは、画像の画素の最大階調値と最小階調値との比を示す。階調値はまた、1nit＝1cd／m²である、ニト（nit）またはカンデラ／平方メートル（cd／m²）の単位の輝度値として理解されてもよい。

【0074】

通常、自然界のダイナミックレンジは大きく、星の下の夜景の輝度は約0．001cd／m²であり、太陽の輝度は10⁹cd／m²に達することがある。このように、自然界のダイナミックレンジは、10⁹／0．001＝10¹²である。実際の自然環境のシーンでは、太陽の輝度および星の輝度が同時に得られることができないため、実際の自然環境のシーンのダイナミックレンジが10¹²に達しない場合がある。実際の自然環境のシーンでは、ダイナミックレンジは通常10^－3から10⁶である。

【0075】

ダイナミックレンジマッピング：実際の自然環境でビデオ／画像がキャプチャされた後、キャプチャされたビデオ／画像を表示デバイス（例えば、テレビやiPad（登録商標））に表示するプロセスでは、表示されたビデオ／画像の、表示デバイスによってサポートされるダイナミックレンジは、実際の自然環境からキャプチャされたビデオ／画像の元のダイナミックレンジとは異なる可能性があるため、ビデオ／画像の元のダイナミックレンジに基づいてビデオ／画像が直接表示される場合、表示デバイスはビデオ／画像を表示することができない。したがって、キャプチャされたビデオ／画像のダイナミックレンジは、表示デバイスに適合される必要があり、すなわち、キャプチャされたビデオ／画像のダイナミックレンジは、表示デバイスによってサポートされるダイナミックレンジに調整されて、キャプチャされたビデオ／画像を表示デバイスに表示する。ビデオ／画像のダイナミックレンジを調整する上記のプロセスは、ダイナミックレンジマッピング（トーンマッピング、すなわちtone－mappingと呼ばれることもある）である。

【0076】

ダイナミックレンジは、高ダイナミックレンジ（high dynamic range、HDR）または低ダイナミックレンジに分類され、低ダイナミックレンジは、標準ダイナミックレンジ（standard dynamic range、SDR）と呼ばれることもあることが理解されよう。通常、輝度範囲が10^－3から10⁶の画像が高ダイナミックレンジ画像と呼ばれ、輝度範囲が0から255の画像が低ダイナミックレンジ画像と呼ばれる。現在、ほとんどのカラーデジタル画像では、1バイト（すなわち、8ビット）はR、G、およびBチャネルのそれぞれの画素を示し、すなわち、各チャネルの画素の輝度範囲は0から255であり、0から255は画像の標準ダイナミックレンジである。

【0077】

本出願の実施形態では、ダイナミックレンジマッピングは、高ダイナミックレンジから低ダイナミックレンジへのマッピングおよび低ダイナミックレンジから高ダイナミックレンジへのマッピングを含む。ここでの「高」および「低」は相対的な概念であり、高ダイナミックレンジおよび低ダイナミックレンジの前述の概念とは異なることに留意されたい。例えば、ダイナミックレンジは、ダイナミックレンジ1からダイナミックレンジ2にマッピングされる。ダイナミックレンジ1とダイナミックレンジ2との関係は、ダイナミックレンジ1がダイナミックレンジ2より大きくてもよいし、ダイナミックレンジ1がダイナミックレンジ2より小さくてもよい。しかしながら、ダイナミックレンジ1およびダイナミックレンジ2は、いずれも高ダイナミックレンジであってもよいし、低ダイナミックレンジであってもよい。

【0078】

例えば、キャプチャされたビデオ／画像の元のダイナミックレンジは1000のHDRであり、表示デバイスによってサポートされるダイナミックレンジは100のSDRである。この場合、ダイナミックレンジマッピングは、高ダイナミックレンジから低ダイナミックレンジへのマッピングであり、マッピング前のダイナミックレンジはHDRであり、マッピング後のダイナミックレンジはSDRである。別の例では、キャプチャされたビデオ／画像の元のダイナミックレンジは4000のHDRであり、表示デバイスによってサポートされるダイナミックレンジは500のHDRである。この場合、ダイナミックレンジマッピングも、高ダイナミックレンジから低ダイナミックレンジへのマッピングであるが、マッピング前のダイナミックレンジとマッピング後のダイナミックレンジはいずれもHDRである。

【0079】

例えば、キャプチャされたビデオ／画像の元のダイナミックレンジは100のSDRであり、表示デバイスによってサポートされるダイナミックレンジは2000のHDRである。この場合、ダイナミックレンジマッピングは、低ダイナミックレンジから高ダイナミックレンジへのマッピングであり、マッピング前のダイナミックレンジはSDRであり、マッピング後のダイナミックレンジはHDRである。別の例では、キャプチャされたビデオ／画像の元のダイナミックレンジは100のSDRであり、表示デバイスによってサポートされるダイナミックレンジは200のSDRである。この場合、ダイナミックレンジマッピングは、低ダイナミックレンジから高ダイナミックレンジへのマッピングであるが、マッピング前のダイナミックレンジとマッピング後のダイナミックレンジはいずれもSDRである。

【0080】

前述の例を参照して、表1は、ダイナミックレンジマッピングのいくつかの事例を示す。

【0081】

【表1】

【0082】

ビデオ／画像に対してダイナミックレンジマッピングが実行されるとき、キャプチャされたビデオ／画像の画素に対してダイナミックレンジマッピングを実行するために、いくつかのダイナミックレンジマッピングモデルが使用されてもよい。ダイナミックレンジマッピングモデルは、sigmoidal曲線、ベッセル曲線などを含むが、これらに限定されない。ダイナミックレンジマッピングモデルは、2次元ビデオ／画像に対してダイナミックレンジマッピングを実行するためのモデルであることを理解されたい。

【0083】

任意選択で、ビデオ／画像上でダイナミックレンジマッピングを実行するための方法は、静的ダイナミックレンジマッピングおよび動的ダイナミックレンジマッピングを含む。静的ダイナミックレンジマッピングは、同じビデオ／画像コンテンツ（複数のシーンのビデオ／画像コンテンツに関連し得る）または同じハードディスク内のビデオ／画像コンテンツに対して同じダイナミックレンジマッピング曲線を使用することによってビデオ／画像に対してダイナミックレンジマッピングを実行するものである。動的ダイナミックレンジマッピングは、異なるシーンまたは異なるフレームのビデオ／画像コンテンツに基づく異なるダイナミックレンジマッピング曲線を使用してビデオ／画像に対してダイナミックレンジマッピングを実行するものである。

【0084】

静的ダイナミックレンジマッピングの利点は、単純なダイナミックレンジマッピングプロセスであり、動的マッピング情報（例えば、ダイナミックレンジマッピング曲線を含む情報）を伝送するために搬送される情報はほとんどない。静的ダイナミックレンジマッピングの欠点は、単一のダイナミックレンジマッピング曲線を使用してビデオ／画像にダイナミックレンジマッピングを実行することによって得られたマッピング結果が不良であり、その結果、ダイナミックレンジマッピングによって得られたビデオ／画像の表示効果が不十分になる可能性があることである。例えば、ダイナミックレンジマッピング曲線が高輝度用のダイナミックレンジマッピングを実行するために主に使用される場合、ダイナミックレンジマッピング曲線を使用して画像の明るい領域に対してダイナミックレンジマッピングを実行する効果が良好である。しかしながら、画像の暗い領域では、ダイナミックレンジマッピング曲線がダイナミックレンジマッピングを実行するために使用されると、暗い領域の画素値が小さくなりすぎて、ダイナミックレンジマッピングにより得られる画像において、一部の情報（例えば、詳細情報）が失われてしまう。

【0085】

動的ダイナミックレンジマッピングの利点は、異なるシーンまたは異なるフレームに対して、異なるシーンまたは異なるフレームに適した異なるダイナミックレンジマッピング曲線がダイナミックレンジマッピングを実行するために使用されることであり、マッピング結果が良好である、すなわち、ダイナミックレンジマッピングによって得られたビデオ／画像の表示効果が良好である。動的ダイナミックレンジマッピングの欠点は、複雑なダイナミックレンジマッピングプロセス、および動的マッピング情報を伝送するために搬送される多くの情報である。

【0086】

パノラマビデオ：パノラマビデオは、水平360度および垂直180度の範囲の球面シーンのコンテンツを含むビデオである。パノラマビデオは、複数のフレームの3次元（3D）パノラマ画像を含み、3次元パノラマ画像は、3次元球面を使用して表現され得る。したがって、パノラマビデオの3次元パノラマ画像は、パノラマビデオの3次元球面表現パノラマと呼ばれることもある。

【0087】

一般的な2次元ビデオ（水平33度および垂直18度の範囲をカバーする）と比較して、パノラマビデオはより広い範囲をカバーし、ユーザに没入型視覚体験を提供する。ユーザは、ウェアラブル補助デバイス（例えば、VR眼鏡）を使用してパノラマビデオを視聴する。具体的には、ユーザの頭部を中心点とし、頭部を水平方向に360度、垂直方向に180度回転させてもよい。ユーザは、視野の水平角および垂直角を調整することによって、ウィンドウを見るために指定された方向に自由に選択し、ウィンドウはユーザの画角範囲である。パノラマビデオが球の球面としてシミュレートされ、ユーザの頭部が球の球中心に位置する場合、ウィンドウは、完全なパノラマビデオを見るために、頭部を回転させ、および／または見上げる／見下ろすことによって連続的に調整され得ることが理解されよう。

【0088】

本出願の実施形態では、パノラマビデオの輝度カバレッジ範囲が大きいため、一般的な2次元ビデオと比較して、パノラマビデオはより大きなダイナミックレンジを有する。具体的には、2次元ビデオは狭い範囲で得られ、狭い範囲の光条件は同様であり、すなわち光の変化範囲が小さく、ダイナミックレンジも小さい。パノラマビデオは広い範囲で得られ、光の変化範囲は通常広い範囲で大きい。例えば、昼間に得られたパノラマビデオは、空の太陽の領域を含んでもよく、その領域は明るく（すなわち、輝度値が高い）、また、建物の内部領域または影領域も含んでもよく、領域は暗い（すなわち、輝度値が低い）。したがって、パノラマビデオのダイナミックレンジが大きく、パノラマビデオの記述や表示に大きな課題がある。

【0089】

現在、2次元ビデオ／画像にダイナミックレンジマッピングを実行するための技術は成熟している。しかしながら、パノラマビデオの出現により、パノラマビデオ上にダイナミックレンジマッピングを実施するために関連技術が緊急に必要とされている。これを考慮して、本出願の実施形態は、パノラマビデオのためのダイナミックレンジマッピング方法および装置を提供する。パノラマビデオ内の3次元パノラマ画像の任意のフレームについて、電子デバイスは、3次元パノラマ画像に対応する2次元パノラマ投影画像上でダイナミックレンジマッピングを実行し、ダイナミックレンジマッピングを介して取得された2次元パノラマ投影画像を3次元パノラマ画像に変換して、パノラマビデオ上でダイナミックレンジマッピングを実施する。

【0090】

本出願の実施形態の具体的な解決策は以下の通りである。電子デバイスは、3次元パノラマ画像に対応する2次元パノラマ投影画像を分割して、2次元パノラマ投影画像の複数の領域を取得し、複数の領域の各々は、プリセット条件を満たす（プリセット条件は、以下の実施形態で詳細に説明される）。電子デバイスは、2次元パノラマ投影画像のメタデータを取得し、メタデータは、2次元パノラマ投影画像の複数の領域にそれぞれ対応するメタデータ情報要素を含み、1つの領域に対応するメタデータ情報要素は、その領域の動的マッピング情報を含む。次いで、電子デバイスは、複数の領域のそれぞれの動的マッピング情報に基づいて現在の画角範囲内の各画素の動的マッピング情報を決定し、現在の画角範囲（パノラマビデオを現在見ているユーザの画角範囲）内の各画素の動的マッピング情報に基づいて現在の画角範囲内の各画素に対してダイナミックレンジマッピングを実行して、現在の画角範囲内の2次元パノラマ投影画像を取得し、現在の画角範囲内の2次元パノラマ投影画像は、表示または後続の処理に使用される。本出願の実施形態で提供されるパノラマビデオのためのダイナミックレンジマッピング方法では、パノラマビデオのダイナミックレンジが大きいという特徴に関連して、電子デバイスは、3次元パノラマ画像に対応する2次元パノラマ投影画像を分割して領域を取得し、異なる領域に対してダイナミックレンジマッピングを実行する。これにより、パノラマビデオ上でダイナミックレンジマッピングを効果的に実施することができ、それによってパノラマビデオの表示効果を改善することができる。

【0091】

本出願の実施形態では、パノラマビデオに含まれる画像（ソースデータと呼ばれる場合がある）のフォーマットは限定されず、画像はYUVフォーマットであってもよいし、RGBフォーマットであってもよいことに留意されたい。加えて、本出願の実施形態ではソースデータのビット幅が制限され、ソースデータのビット幅は8ビット（bit）、10bit、または12bitであってもよい。

【0092】

パノラマビデオの場合、通常、パノラマビデオの処理プロセスは、パノラマビデオの生成、符号化、復号、および表示を主に含むことが理解されよう。パノラマビデオの生成および符号化プロセスは、フロントエンド（生成端と呼ばれることもある）で完了されてもよく、パノラマビデオの復号および表示プロセスは、バックエンド（表示端と呼ばれることもある）で完了されてもよい。図1を参照されたい。生成端では、パノラマビデオの生成は、パノラマビデオの3次元パノラマ画像の各フレームに対してシミュレートされたダイナミックレンジマッピングを実行することと、動的マッピング情報を決定すること（例えば、動的マッピング情報は、ダイナミックレンジマッピングに使用される曲線の情報を含む）と、動的マッピング情報を含むメタデータを生成することと、を含む。パノラマビデオの符号化は、パノラマビデオにおける3次元パノラマ画像の各フレームの符号化（例えば、予測、変換、量子化、およびエントロピー符号化を含む）を含む。画像符号化プロセスについては、従来技術を参照されたい。パノラマビデオ符号化方法は、本出願では限定されない。生成端は、さらに、動的マッピング情報を含む生成されたメタデータをビットストリームに書き込み、ビットストリームを表示端に伝送する。表示端では、ビットストリームは、メタデータおよび画像復号データ（画像復号に使用されるシンタックス要素および画像データを含む）を取得するために構文解析され、画像データは、3次元パノラマ画像を取得するために、画像復号に使用されるシンタックス要素に基づいて復号される（例えば、予測、逆量子化、および逆変換を含む）。画像復号プロセスについては、従来技術を参照されたい（復号方法は符号化方法に対応する）。パノラマビデオ復号方法は、本出願では限定されない。次いで、3次元パノラマ画像は2次元パノラマ投影画像に変換され、2次元パノラマ投影画像に対して、ビットストリームをパースして得られたメタデータに基づいてダイナミックレンジマッピングが実行され、ダイナミックレンジマッピングにより得られたパノラマビデオを表示する。

【0093】

本出願の実施形態では、パノラマビデオのダイナミックレンジマッピングプロセスは、表示端の視点から説明される。例えば、表示端として使用される電子デバイスの製品形態は、仮想現実（virtual reality、VR）デバイス（例えば、VR眼鏡）、表示デバイス（例えば、携帯電話）、ビデオアプリケーション変換デバイス（例えば、トランスコーダ）、およびライブストリーミングデバイスを含むが、これらに限定されない。VR眼鏡および表示デバイスでは、ダイナミックレンジマッピングはハードウェアチップに基づいて実施され、ライブストリーミングデバイスおよびビデオ変換デバイスでは、ダイナミックレンジマッピングはソフトウェアプログラムコードに基づいて実施されることを理解されたい。

【0094】

例えば、本出願の実施形態では、表示端は携帯電話である。図2は、本出願の一実施形態による携帯電話200のハードウェア構造の図である。携帯電話200は、プロセッサ210、外部メモリインターフェース220、内部メモリ221、ユニバーサルシリアルバス（universal serial bus、USB）インターフェース230、充電管理モジュール240、電力管理モジュール241、バッテリ242、アンテナ1、アンテナ2、移動通信モジュール250、無線通信モジュール260、オーディオモジュール270、スピーカ270A、レシーバ270B、マイクロフォン270C、ヘッドセットジャック270D、センサモジュール280、ボタン290、モータ291、インジケータ292、カメラ293、ディスプレイ294、加入者識別モジュール（subscriber identification module、SIM）カードインターフェース295などを含む。

【0095】

本出願の実施形態における例示的な構造は、携帯電話200に対する特定の制限を構成しないことが理解されよう。本出願のいくつかの他の実施形態において、携帯電話200は図に示されているものより多いまたは少ない構成要素を含み得、またはいくつかの構成要素は組み合わされてよく、またはいくつかの構成要素は分割されてもよく、または構成要素が異なる方式で配置されてもよい。図に示される構成要素は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの組合せによって実施されてもよい。

【0096】

プロセッサ210は、1つまたは複数の処理ユニットを含み得る。例えば、プロセッサ210は、アプリケーションプロセッサ（application processor、AP）、モデムプロセッサ、グラフィックス処理装置（graphics processing unit、GPU）、画像信号プロセッサ（image signal processor、ISP）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor、DSP）、ベースバンドプロセッサ、および／またはニューラルネットワーク処理装置（Neural－network Processing Unit、NPU）を含み得る。様々な処理ユニットは独立した構成要素であってよく、または1つもしくは複数のプロセッサに統合されてもよい。コントローラは、携帯電話200のナーブセンターおよびコマンドセンターであってよい。コントローラは、命令動作コードおよび時系列信号に基づいて動作制御信号を生成して、命令の読み取りおよび命令の実行の制御を完了し得る。

【0097】

メモリがプロセッサ210にさらに配置されてもよく、命令およびデータを記憶するように構成される。いくつかの実施形態では、プロセッサ210内のメモリはキャッシュである。メモリは、プロセッサ210によって使用されたばかりか、または周期的に使用される命令またはデータを記憶してもよい。プロセッサ210が命令またはデータを再び使用する必要がある場合、プロセッサ210は、メモリから命令またはデータを直接呼び出してもよい。これにより、度重なるアクセスが回避され、プロセッサ210の待ち時間が低減され、それによってシステム効率が改善される。

【0098】

充電管理モジュール240は、充電器から充電入力を受信するように構成される。バッテリ242を充電している間、充電管理モジュール240は、電力管理モジュール241を使用して電子デバイスにさらに給電してもよい。

【0099】

電力管理モジュール241は、バッテリ242、充電管理モジュール240、およびプロセッサ210を接続するように構成される。電力管理モジュール241は、バッテリ242からの入力および／または充電管理モジュール240からの入力を受け取り、プロセッサ210、内部メモリ221、外部メモリ、ディスプレイ294、カメラ293、無線通信モジュール260などに給電する。電力管理モジュール241は、バッテリ容量、バッテリサイクル数、およびバッテリの健康状態（漏電およびインピーダンス）などのパラメータを監視するようにさらに構成されてもよい。いくつかの他の実施形態では、電力管理モジュール241は、プロセッサ210に代替として配置されてもよい。いくつかの他の実施形態では、電力管理モジュール241および充電管理モジュール240は、同一構成要素に代替として配置されてもよい。

【0100】

携帯電話200の無線通信機能は、アンテナ1、アンテナ2、移動通信モジュール250、無線通信モジュール260、モデムプロセッサ、ベースバンドプロセッサなどを使用して実施されてもよい。アンテナ1およびアンテナ2は、電磁波信号を伝送および受信するように構成される。

【0101】

移動通信モジュール250は、2G／3G／4G／5Gなどを含む、携帯電話200に適用される無線通信解決策を提供し得る。移動通信モジュール250は、アンテナ1を介して電磁波を受信し、受信された電磁波に対してフィルタリングまたは増幅などの処理を実行し、処理された電磁波を復調のためにモデムプロセッサに伝送し得る。移動通信モジュール250は、モデムプロセッサによって変調された信号をさらに増幅し、アンテナ1を介して放射するために増幅された信号を電磁波に変換し得る。いくつかの実施形態では、移動通信モジュール250内の少なくともいくつかの機能モジュールは、プロセッサ210内に配置されてもよい。いくつかの実施形態では、移動通信モジュール250内の少なくともいくつかの機能モジュールは、プロセッサ210内の少なくともいくつかのモジュールと同じ構成要素内に配置されてもよい。

【0102】

無線通信モジュール260は、ワイヤレスローカルエリアネットワーク（wireless local area networks、WLAN）（例えば、ワイヤレスフィデリティ（wireless fidelity、Wi－Fi）ネットワーク）、ブルートゥース（bluetooth、BT）（登録商標）、全地球航法衛星システム（global navigation satellite system、GNSS）、周波数変調（frequency modulation、FM）、近距離無線通信（near field communication、NFC）技術、または赤外線（infrared、IR）技術などを含む、携帯電話200に適用される無線通信解決策を提供し得る。無線通信モジュール260は、少なくとも1つの通信処理モジュールを統合する1つまたは複数の構成要素であってもよい。無線通信モジュール260は、アンテナ2を介して電磁波を受信し、電磁波信号に対して周波数変調およびフィルタリング処理を実行し、処理された信号をプロセッサ210に送信する。無線通信モジュール260は、プロセッサ210から送信対象信号をさらに受信し、信号に対して周波数変調および増幅を実行し、アンテナ2を介した放射のために信号を電磁波に変換し得る。

【0103】

いくつかの実施形態では、携帯電話200において、アンテナ1と移動通信モジュール250とが結合され、アンテナ2と無線通信モジュール260とが結合され、その結果、携帯電話200は、無線通信技術を使用してネットワークおよび別のデバイスと通信することができる。

【0104】

携帯電話400は、GPU、ディスプレイ294、アプリケーションプロセッサなどを使用することによって表示機能を実現する。GPUは、画像処理用のマイクロプロセッサであり、ディスプレイ294およびアプリケーションプロセッサに接続される。GPUは、数学的および幾何学的計算を実施し、画像をレンダリングするように構成される。プロセッサ210は、表示情報を生成するまたは変化させるためにプログラム命令を実行する1つまたは複数のGPUを含み得る。

【0105】

ディスプレイ294は、画像、ビデオなどを表示するように構成される。ディスプレイ294は、表示パネルを含む。表示パネルは、液晶ディスプレイ（liquid crystal display、LCD）、有機発光ダイオード（organic light－emitting diode、OLED）、アクティブマトリックス有機発光ダイオード（active－matrix organic light emitting diode、AMOLED）、フレキシブル発光ダイオード（flex light－emitting diode、FLED）、Miniled、MicroLed、Micro－oLed、量子ドット発光ダイオード（quantum dot light emitting diode、QLED）などであってもよい。いくつかの実施形態では、携帯電話200は、1つまたはN個のディスプレイ294を含んでもよく、Nは1よりも大きい正の整数である。

【0106】

携帯電話200は、ISP、カメラ293、ビデオコーデック、GPU、ディスプレイ294、アプリケーションプロセッサなどを使用して写真撮影機能を実施し得る。ISPは、カメラ293によってフィードバックされたデータを処理するように構成される。例えば、撮影中に、シャッタが押され、光がレンズを介してカメラの感光素子に伝達され、光信号が電気信号に変換され、カメラの感光素子が電気信号を処理のためにISPに伝送し、電気信号を可視画像に変換する。ISPは、画像のノイズ、輝度、および肌色に対してアルゴリズムの最適化をさらに実行し得る。ISPは、撮影シーンの露出や色温度などのパラメータをさらに最適化し得る。いくつかの実施形態では、ISPは、カメラ293に配置され得る。

【0107】

カメラ293は、静止画像またはビデオをキャプチャするように構成される。対象の光学像が、レンズを介して生成され、受光素子に投影される。受光素子は、電荷結合素子（charge coupled device、CCD）または相補型金属酸化膜半導体（complementary metal－oxide－semiconductor、CMOS）フォトトランジスタであり得る。感光素子は、光信号を電気信号に変換し、次いで、電気信号をデジタル画像信号に変換するために、電気信号をISPに伝送する。ISPは、処理のためにデジタル画像信号をDSPに出力する。DSPは、デジタル画像信号を、RGBまたはYUVなどの標準フォーマットの画像信号に変換する。いくつかの実施形態では、携帯電話200は、1つまたはN個のカメラ293を含んでもよく、Nは1よりも大きい正の整数である。

【0108】

デジタル信号プロセッサは、デジタル信号を処理するように構成され、デジタル画像信号に加えて別のデジタル信号（例えば、オーディオ信号）を処理してもよい。

【0109】

ビデオコーデックは、デジタルビデオを圧縮または解凍するように構成される。携帯電話200は、1つまたは複数のビデオコーデックをサポートし得る。このように、携帯電話200は、複数の符号化フォーマット、例えば、ムービング・ピクチャ・エキスパート・グループ（moving picture experts group、MPEG）－1、MPEG－2、MPEG－3、およびMPEG－4でビデオを再生または記録することができる。

【0110】

外部メモリインターフェース220は、携帯電話200の記憶能力を拡張するために、外部メモリカード、例えばMicro SDカードに接続するように構成されてもよい。外部メモリカードは、データ記憶機能を実施するために、外部メモリインターフェース220を介してプロセッサ210と通信する。例えば、音楽およびビデオなどのファイルは、外部記憶カードに記憶される。

【0111】

内部メモリ221は、コンピュータ実行可能プログラムコードを記憶するように構成されてもよく、実行可能プログラムコードは命令を含む。プロセッサ210は、携帯電話200の様々な機能アプリケーションおよびデータ処理を実施するために、内部メモリ221に記憶された命令を実行する。内部メモリ221は、プログラム記憶領域とデータ記憶領域とを含み得る。プログラム記憶領域は、オペレーティングシステム、少なくとも1つの機能（例えば音声再生機能や画像再生機能）によって必要とされるアプリケーションなどを記憶し得る。データ記憶領域は、携帯電話200の使用中に作成されたデータ（例えば、オーディオデータやアドレス帳）などを記憶し得る。加えて、内部メモリ221は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶デバイス、フラッシュメモリ、またはユニバーサルフラッシュストレージ（universal flash storage、UFS）を含んでもよい。

【0112】

携帯電話200は、オーディオモジュール270、スピーカ270A、レシーバ270B、マイクロフォン270C、ヘッドセットインターフェース270D、アプリケーションプロセッサなどを使用して、音楽の再生または録音などのオーディオ機能を実施し得る。

【0113】

オーディオモジュール270は、出力のためにデジタルオーディオ情報をアナログオーディオ信号に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成される。オーディオモジュール270は、オーディオ信号を符号化および復号するようにさらに構成されてもよい。いくつかの実施形態では、オーディオモジュール270はプロセッサ210に配置されてもよいし、オーディオモジュール270のいくつかの機能モジュールがプロセッサ210に配置されてもよい。

【0114】

「ホーン」とも呼ばれるスピーカ270Aは、オーディオ電気信号を音響信号に変換するように構成される。携帯電話200は、スピーカ270Aを使用して音楽を聴いたり、ハンズフリー通話に応答したりしてもよい。

【0115】

「イヤピース」とも呼ばれるレシーバ270Bは、オーディオ電気信号を音響信号に変換するように構成される。携帯電話200を使用することによって電話が応答され、または音声情報が受信されると、レシーバ270Bは、音声を聴くために人の耳に近づけられてもよい。

【0116】

マイクロフォン270Cは、「マイク（mike）」または「マイク（mic）」とも呼ばれ、音響信号を電気信号に変換するように構成される。ユーザは、電話をかけたり音声情報を送信したりする際に、マイクロフォン270Cに人の口を近づけて音声を発し、マイクロフォン270Cに音響信号を入力してもよい。少なくとも1つのマイクロフォン270Cが、携帯電話200に配置されてもよい。いくつかの他の実施形態では、2つのマイクロフォン270Cが携帯電話200に配置され、音響信号をキャプチャし、雑音低減機能をさらに実施してもよい。いくつかの他の実施形態では、3つ、4つ、またはそれを上回るマイクロフォン270Cが、音響信号をキャプチャし、雑音を低減し、音源をさらに識別し、指向性記録機能を実施するなどのために携帯電話200に代替として配置されてもよい。

【0117】

ヘッドセットジャック270Dは、有線ヘッドセットに接続するように構成される。

【0118】

ボタン290は、電源ボタン、音量ボタンなどを含む。携帯電話200は、ボタン入力を受け取り、携帯電話200のユーザ設定および機能制御に関連したボタン信号入力を生成し得る。

【0119】

モータ291は、振動プロンプトを生成してもよい。モータ291は、着信振動プロンプトおよびタッチ振動フィードバックを提供するように構成されてもよい。

【0120】

インジケータ292は、インジケータライトであってもよく、充電状態および電源変更を示すように構成されてもよく、またはメッセージ、不在着信、通知などを示すように構成されてもよい。

【0121】

SIMカードインターフェース295は、SIMカードに接続するように構成される。SIMカードは、SIMカードインターフェース295に挿入され、またはSIMカードインターフェース295から取り外され、携帯電話200との接触または分離を実施し得る。

【0122】

本出願の実施形態では、携帯電話200は、本出願の実施形態のステップの一部またはすべてを実行し得ることが理解されよう。これらのステップまたは動作は単なる例である。携帯電話200は、他の動作または様々な動作の変形をさらに実行してもよい。加えて、ステップは、本出願の実施形態で提示された順序とは異なる順序で実行されてもよく、本出願の実施形態におけるすべての動作が実行される必要はない。本出願の実施形態は、別々に実施されてもよく、または任意の組み合わせで実施されてもよい。これは、本出願で限定されない。

【0123】

前述の内容を参照して、本出願の実施形態は、パノラマビデオのためのダイナミックレンジマッピング方法を提供する。図3に示されるように、本方法は、ステップ301からステップ305を含む。

【0124】

ステップ301：電子デバイス（すなわち、表示端）が、2次元パノラマ投影画像を取得するために、パノラマビデオ内の3次元パノラマ画像の任意のフレームを多面体の表面上に投影し、多面体を2次元平面内に拡張する。

【0125】

パノラマビデオのビットストリームを取得した後（例えば、生成端からパノラマビデオのビットストリームを受信した後）、表示端は、パノラマビデオを取得するためにビデオ復号を実行することを理解されたい。パノラマビデオの3次元パノラマ画像の各フレームは、パノラマビデオの3次元球面表現パノラマと呼ばれることもある。

【0126】

任意選択で、2次元パノラマ投影画像として3次元パノラマ画像が投影される多面体は、正四面体、正六面体、正八面体、正十二面体、または正二十面体のうちの少なくとも1つを含む。

【0127】

本出願の実施形態では、多面体を使用して3次元パノラマ画像を2次元パノラマ投影画像に投影するプロセスは、球が多面体の内接球になるように（多面体の中心が球の球中心と一致することを理解されたい）、3次元パノラマ画像を表現することができる球（3次元パノラマ画像は3次元球によって表現される）を多面体に配置するステップと、球面上の任意の点（画素点）に球中心を接続し、多面体の表面と交差するように接続線を延長するステップであって、球面上の点を多面体の表面上に投影することによって得られる点は、球面上の点に球中心を接続する接続線の延長線と、多面体の表面との交点である、ステップ、または、多面体の表面上の点を球中心に接続するステップであって、接続線は点で球面と交差し、球面上の交点と多面体上の点とが相互投影関係にある、ステップと、を含む。球面上の点の画素値は、多面体の表面上の交点の画素値であることを理解されたい。このように、前述の投影プロセスでは、多面体の各表面上の投影画素を取得するために、3次元球面上のすべての画素が投影される（異なる場合に基づいて2次元平面上の投影画素に対して補間が実行される）。最後に、多面体は、2次元パノラマ投影画像を取得するために、特定の規則に従って2次元平面に拡張される。

【0128】

図4を参照されたい。多面体が正六面体である例が使用され、正六面体はABCDEFGHと表記される。図4の（a）に示されるように、3次元パノラマ画像を表現する球は、正六面体ABCDEFGHに内接する球である。平面A’B’C’D’上の平面ABCD上の点M’について（平面ABCDは正六面体ABCDEFGHの底面であり、平面A’B’C’D’は平面ABCDの投影面である）、点M’は球中心Oに接続され、接続線は点Mで球面と交差する。このように、点M’の画素値は点Mの画素値である。同様に、平面ABCD上のすべての点の画素値が取得され得、平面ABCD上の画素点は平面ABCDの表面画像を形成する。平面ABCDへの投影方法によれば、他の表面画像を取得するために、3次元パノラマ画像の画素点が正六面体の他の面に投影される。図4の（b）に示されるように、3次元パノラマ画像が投影された後、上面EFGHの表面画像、下面ABCDの表面画像、前面HGCDの表面画像、後面EFBAの表面画像、左面EHDAの表面画像、右面GFBCの表面画像が取得され得る。さらに、図4の（c）に示される2次元パノラマ画像を取得するために、図4の（b）は2次元平面に拡張される。2次元パノラマ投影画像は、不規則な形状であることが分かる。多面体の表面の表面画像は、2次元パノラマ投影画像内の領域の画像、または2次元パノラマ投影画像のサブ画像と呼ばれる場合がある。

【0129】

図5は、正四面体、正六面体、正八面体、正十二面体、正十面体を使用した場合の投影効果を示す図である。図5の1行目に示される正多面体を使用して3次元パノラマ画像を投影した後、対応する2次元パノラマ投影画像（図5の2行目に示される投影結果）が得られる。

【0130】

本出願の実施形態では、後続の処理中に、図5の2行目に示される不規則な投影画像が直接処理され得るか、または不規則な画像が処理のために規則的な画像に変換され得る。一実施態様では、不規則な画像を囲み、最小面積を有する矩形領域が処理され得る（図5の3行目が参照され得、破線のボックスに示される長方形は、不規則な画像を囲み、最小面積を有する長方形である）。任意選択で、矩形領域内の投影領域以外の別の領域は、例えば、予め設定された画素値で充填されてもよい。別の実施態様では、不規則な投影画像内の表面画像は、規則的な形状（例えば、矩形）の投影画像につなぎ合わされてもよい。このように、画素充填が実行される必要がない。

【0131】

本出願の実施形態では、多面体は正多面体に限定されないことに留意されたい。言い換えれば、3次元パノラマ画像の2次元パノラマ投影図は、異なるサイズのいくつかのポリゴンを含み得る。

【0132】

任意選択で、本出願の実施形態では、電子デバイスは、別の方法を使用して3次元パノラマ画像を2次元パノラマ投影画像に変換し得る。例えば、3次元パノラマ画像（球面）はそのまま拡張される。地球の3次元パノラマ画像が一例として使用される。地球の3次元パノラマ画像は、2次元パノラマ画像に拡張される。具体的には、2次元パノラマ画像におけるN極およびS極の領域のコンテンツを取得するために、3次元パノラマにおけるN極およびS極に隣接する領域が拡張される。

【0133】

ステップ302：電子デバイスは、パノラマビデオ内の3次元パノラマ画像の任意のフレームに対応する2次元パノラマ投影画像を分割して、2次元パノラマ投影画像の複数の領域を取得する。

【0134】

複数の領域の各々は、プリセット条件を満たし、プリセット条件は、以下の条件1および条件2のうちの少なくとも1つを含む。

【0135】

条件1：2次元パノラマ投影画像内で隣接し、かつ3次元パノラマ画像内で隣接しない画素は、同じ領域に位置しておらず、2次元パノラマ投影画像内で隣接する画素点は、3次元パノラマ画像の少なくとも2つの隣接する投影面上の画素を含み、3次元パノラマ画像内で隣接しない画素は、3次元パノラマ画像内にあり、少なくとも2つの隣接していない投影面に対応する画素を含む。

【0136】

3次元パノラマ画像が投影される多面体が正六面体である例が使用される。図6に示されるように、正六面体の6つの面には、前面、後面、上面、下面、左面、および右面の順番で0、1、2、3、4、5、および6の番号が付けられている。図6の3次元パノラマ画像を投影することによって得られた2次元パノラマ投影画像では、各表面画像（正方形）において、正方形のエッジで示される矢印が、多面体におけるエッジに対応するエッジを示している。図6において、同じ文字が記された矢印に対応するエッジは、多面体内の同じエッジである。表面画像0の文字aが記された矢印に対応するエッジ（投影面0と呼ばれてもよい）と、表面画像3の文字aが記された矢印に対応するエッジとは、正六面体における同一のエッジ、すなわち、表面0と下面3とが交わるエッジである。

【0137】

図6において、3次元パノラマ画像の隣接する2つの投影面、例えば投影面0と投影面1について、2次元パノラマ投影画像では、投影面0が投影面1に隣接し、投影面0の一部の画素が投影面1の一部の画素に隣接している。例えば、投影面0上の文字aが記された矢印に対応するエッジ上の画素は、投影面1上の文字gが記された矢印に対応するエッジ上の画素に隣接している。投影面0に対応する3次元パノラマ画像の画素と、投影面1に対応する3次元パノラマ画像の画素とは、3次元パノラマ画像内で隣接しない画素である。

【0138】

図6で得られた2次元パノラマ投影画像が分割されるとき、2次元パノラマ投影画像内で隣接する画素と、3次元パノラマ画像内で隣接しない画素とが同じ領域に位置しないようにする必要がある。例えば、図6の投影面0上の文字aが記された矢印に対応するエッジ上の画素と、投影面1上の文字gが記された矢印に対応するエッジ上の画素とは、2次元パノラマ投影画像内で隣接する画素である。しかしながら、投影面0上の文字aが記された矢印に対応するエッジ上の画素と、投影面1上の文字gが記された矢印に対応するエッジ上の画素とは、3次元パノラマ画像内で隣接しない画素である。したがって、投影面0上の文字aが記された矢印に対応するエッジ上の画素と、投影面1上の文字gが記された矢印に対応するエッジ上の画素とが同じ領域に分割されないようにする必要がある。言い換えれば、2次元パノラマ投影画像が水平方向に分割されるとき、投影面0と投影面1とが交わる線を跨いで分割が実行されることができず、すなわち、線の両側の画素は1つの領域に分割されることができない。同様に、投影面4と投影面3が交わる線の両側の画素は同じ領域に分割されることはできず、投影面5と投影面2が交わる線の両側の画素は同じ領域に分割されることはできない。

【0139】

条件2：3次元パノラマ画像内で隣接しない画素が同じ領域に位置しておらず、3次元パノラマ画像内で隣接しない画素は、3次元パノラマ画像内で隣接しない少なくとも2つの投影面に対応する画素を含む。

【0140】

条件1の例を参照されたい。図6の投影面0に対応する3次元パノラマ画像の画素と、投影面1に対応する3次元パノラマ画像の画素とは、3次元パノラマ画像内で隣接しない画素である。2次元パノラマ投影画像が分割されるとき、投影面0の画素と投影面1の画素とが同じ領域に分割されないようにする必要がある。例えば、投影面0上の文字aが記された矢印に対応するエッジ上の画素と、投影面1上の文字gが記された矢印に対応するエッジ上の画素とが同じ領域に分割されない。言い換えれば、2次元パノラマ投影画像が水平方向に分割されるとき、投影面0と投影面1とが交わる線を跨いで分割が実行されることができず、すなわち、線の両側の画素は1つの領域に分割されることができない。同様に、投影面4と投影面3が交わる線の両側の画素は同じ領域に分割されることはできず、投影面5と投影面2が交わる線の両側の画素は同じ領域に分割されることはできない。

【0141】

本出願の実施形態では、2次元パノラマ投影画像を分割するプロセスにおいて、分割によって得られた各領域がプリセット条件を満たすとき、輝度が類似する（輝度が類似するとは、ダイナミックレンジが類似することを示す）画素が同じ領域に分割され、輝度が大きく異なる（輝度差が大きいとは、ダイナミックレンジ差が大きいことを示す）画素が同じ領域に分割されないことを保証することができる。例えば、図6の3次元パノラマ投影画像において、投影面2に対応する画素は空の画素であってもよく、投影面3に対応する画素は地面の画素であってもよい。空の画素の輝度は地面の画素の輝度と大きく異なるため、投影面2の画素と投影面5の画素は、2次元パノラマ投影画像を分割するプロセスで同じ領域に位置しない。同じ領域内の画素のダイナミックレンジは類似しているため、同じダイナミックレンジマッピング情報に基づいて同じ領域内の画素に対してダイナミックレンジマッピングが実行され得る。異なる領域内の画素のダイナミックレンジは大きく異なる可能性があるため、異なるダイナミックレンジマッピング情報に基づいて異なる領域内の画素に対してダイナミックレンジマッピングが実行され得る。したがって、この分割方式で2次元パノラマ投影画像が複数の領域に分割された後、各領域に対して後続の処理（すなわち、ダイナミックレンジマッピング）が実行される。各領域内の画素の特徴は、処理効果を改善するために、プロセスに適応的に適合され得る。

【0142】

任意選択で、電子デバイスは、2次元パノラマ投影画像を異なる分割方式で分割してもよい。本出願の実施形態では、電子デバイスは、ステップ3021、ステップ3022、またはステップ3023およびステップ3024のいずれかを使用することによって2次元パノラマ投影画像を分割してもよい。

【0143】

図3を参照すると、図7に示されるように、本出願の実施形態で提供される2次元パノラマ投影画像を分割する方式は、ステップ3021を特に含む（すなわち、ステップ302は、ステップ3021を使用して実施される）。

【0144】

ステップ3021：電子デバイスは、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を第1の分割方式で分割し、第1の分割方式は、2次元パノラマ投影画像内の、多面体の同じ表面に属する画素を領域に分割する方式である。

【0145】

図6に示される正六面体が依然として一例として使用される。図8を参照されたい。正六面体を使用して3次元パノラマ投影画像が投影された後、得られた2次元パノラマ投影画像は6つの投影面を含む。第1の分割方式は、2次元パノラマ投影画像において、多面体の同じ表面に属する画素を領域に分割する方式であり、すなわち、2次元パノラマ投影画像の各投影面が領域として使用される。図8に示されるように、2次元パノラマ投影画像は、第1の分割方式で図8の領域A、領域B、領域C、領域D、領域E、領域Fの6つの領域に分割されてもよい。図8を参照されたい。2次元パノラマ投影画像を第1の分割方式で分割することによって得られた複数の領域の各々は、プリセット条件（条件1または条件2を含む）を満たす、すなわち、2次元パノラマ投影画像内で隣接し、かつ3次元パノラマ画像内で隣接しない画素は、同じ領域に位置しない。

【0146】

図3を参照すると、図9に示されるように、本出願の実施形態で提供される2次元パノラマ投影画像を分割する別の方式は、ステップ3022を特に含む（すなわち、ステップ302は、ステップ3022を使用して実施される）。

【0147】

ステップ3022：電子デバイスは、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を第2の分割方式で分割し、第2の分割方式は、複数の中間領域を取得するために、2次元パノラマ投影画像内の、（投影に使用される）多面体の同じ表面に属する画素を領域に分割し、複数の中間領域のうちの少なくとも1つをさらに分割する方式である。

【0148】

図6に示される正六面体が依然として一例として使用される。図10を参照されたい。正六面体を使用して3次元パノラマ投影画像が投影された後、得られた2次元パノラマ投影画像は6つの投影面を含む。第2の分割方式は、複数の中間領域を取得するために、（投影に使用される）多面体の同じ表面に属する2次元パノラマ投影画像内の画素を領域に分割し、複数の中間領域のうちの少なくとも1つをさらに分割する方式である。言い換えれば、2次元パノラマ投影画像は、複数の中間領域として複数の領域を取得するために、第1の分割方式で最初に分割され、次いで、最終的な分割結果として複数の領域を取得するために、複数の中間領域のうちの1つまたは複数が分割される。図10に示されるように、2次元パノラマ投影画像が第1の分割方式で分割された後、中間領域a、中間領域b、中間領域c、中間領域d、中間領域e、および中間領域fの6つの中間領域が得られる。次いで、6つの中間領域のそれぞれが水平方向に半分に分割され、最終的に12個の領域を取得する。言い換えれば、2次元パノラマ投影画像は、第2の分割方式で、図10の領域A、領域B、領域C、領域D、領域E、領域F、領域G、領域H、領域I、領域J、領域K、および領域Lの12個の領域に分割され得る。図10を参照されたい。2次元パノラマ投影画像を第2の分割方式で分割することによって得られた複数の領域の各々は、プリセット条件（条件1または条件2を含む）を満たす、すなわち、2次元パノラマ投影画像内で隣接し、かつ3次元パノラマ画像内で隣接しない画素は、同じ領域に位置しない。

【0149】

図3を参照すると、図11に示されるように、本出願の実施形態で提供される2次元パノラマ投影画像を分割するさらに別の方式は、ステップ3023およびステップ3024を特に含む（すなわち、ステップ302は、ステップ3023およびステップ3024を使用して実施される）。

【0150】

ステップ3023：電子デバイスは、2次元パノラマ投影画像の複数の中間領域を取得するために、2次元パノラマ投影画像を第3の分割方式で分割し、第3の分割方式は、2次元パノラマ投影画像内のすべての画素をクラスタリングし、同じカテゴリに属する画素を同じ中間領域に分割する方式である。

【0151】

本出願の実施形態では、第3の分割方式で2次元パノラマ投影画像内のすべての画素をクラスタリングするプロセスは、以下を含む。

【0152】

クラスタリング中心が最初に決定され、クラスタリング中心は1画素である。任意選択で、2次元パノラマ投影画像は、プリセット分割方式で複数の領域に最初に分割されてもよく、各領域の中心位置の画素値が決定され、各領域の中心位置の画素値はクラスタリング中心として使用される。例えば、2次元パノラマ投影画像が図6に示される正六面体を使用して投影によって得られた画像であると仮定する。2次元パノラマ投影画像が6つの領域に分割される場合、2次元パノラマ投影画像は第1の分割方式で6つの領域に分割され得、各領域の中心位置の画素値が決定されて、6つのクラスタリング中心を取得する。2次元パノラマ投影画像が12個の領域に分割される場合、2次元パノラマ投影画像は第2の分割方式で12個の領域に分割され得、各領域の中心位置の画素値が決定されて、12個のクラスタリング中心を取得する。

【0153】

次いで、プリセットクラスタリングアルゴリズムおよび決定されたクラスタリング中心に従って、すべての画素点と各クラスタリング中心との間の距離に対して計算が実行され（距離は、画素の座標およびクラスタリング中心に対応する画素の座標に基づいて計算される）、距離はD_iと表記され得る。次いで、すべての画素点の輝度値と、クラスタリング中心に対応する画素点の輝度値との差分に対して計算が実行され（すべての画素点の輝度値と、各クラスタリング中心に対応するカテゴリ（すなわち、プリセット分割方式で分割することによって得られたカテゴリ）の画素点の平均輝度値との差分に対して計算が実行され、すべての画素点の色値とクラスタリング中心に対応する画素点の色値との差分に対して計算が実行され、または、すべての画素点の色値と各クラスタリング中心に対応するカテゴリ（すなわち、プリセット分割方式で分割することによって得られたカテゴリ）の画素点の平均色値との差分に対して計算が実行される）、その差分はE_iと表記される。各画素は、距離D_iおよびE_iの加重値に基づいて、対応するクラスタリング中心に対応するカテゴリに分割され、クラスタリング結果を取得する。加重値が最小のカテゴリは、その画素に対応するカテゴリであり、クラスタリング結果における各カテゴリの画素点が領域を形成する。

【0154】

ステップ3023において前述のクラスタリング方法に従って2次元パノラマ投影画像を分割することは、得られた複数の中間領域がプリセット条件（条件1または条件2を含む）を満たすかどうかを保証することができないことに留意されたい。したがって、複数の中間領域がプリセット条件を満たすかどうかを決定するために、クラスタリングによって得られた複数の中間領域が決定される必要がある。複数の中間領域のすべてがプリセット条件を満たす場合、複数の中間領域は最終的な分割結果として使用され、すなわち、複数の中間領域は、2次元パノラマ投影画像を分割することによって得られた複数の領域として使用される。複数の中間領域の中にプリセット条件を満たさない中間領域がある場合、電子デバイスはステップ3024を実行し続ける。

【0155】

ステップ3024：電子デバイスは、複数の領域を取得するために、複数の中間領域のうちのプリセット条件を満たさない中間領域を第4の分割方式で分割する。プリセット条件を満たさない任意の中間領域について、第4の分割方式は、中間領域に含まれる多面体の少なくとも2つの表面の境界線に沿って中間領域を分割する方式である。

【0156】

2次元パノラマ投影画像が、図6に示される正六面体への投影により得られた画像である例が依然として使用される。図12を参照されたい。クラスタリング中に設定されるカテゴリの数は7であると仮定する。2次元パノラマ投影画像の全画素がクラスタリングされた後、中間領域A、中間領域B、中間領域C、中間領域D、中間領域E、中間領域F、および中間領域Gの7つの中間領域が得られる。中間領域Eはプリセット条件を満たさないため（他の中間領域はプリセット条件を満たす）、中間領域Eはさらに分割される必要がある。図12に示されるように、中間領域Eは、2つの投影面（投影面0と投影面1）の一部の画素を含み、中間領域Eは、中間領域Eにおいて投影面0と投影面1とが交わる線に沿って領域Iと領域Hとに分割されてもよいことが分かる。このように、2次元パノラマ投影画像は、領域A、領域B、領域C、領域I、領域D、領域H、領域F、および領域Gの8つの領域に最終的に分割される。

【0157】

本出願の実施形態では、2次元パノラマ投影画像を分割するための実際の要件に基づいて、前述の3つの分割方式から適切な分割方式が選択され得、または前述の3つの分割方式以外の別の分割方式が2次元パノラマ投影画像を分割するために使用され得、ただし、分割方式は、分割によって得られた各領域がプリセット条件を満たすことを保証することができる。

【0158】

任意選択で、本出願の実施形態では、2次元パノラマ投影画像の分割方式は、例えば、第1の分割方式、第2の分割方式、または第3の分割方式に設定されるなど、電子デバイスにおいて予め設定されてもよい（例えば、プロトコルに従って合意される）。あるいは、2次元パノラマ投影画像の分割方式は、ビットストリーム（具体的にはメタデータ）で転送される。

【0159】

前述の実施形態における2次元パノラマ投影画像の分割方式に関する説明を参照すると、第1の分割方式は第2の分割方式に関連し、第2の分割方式の分割結果は第1の分割方式に基づく再分割結果であることが分かる。

【0160】

一実施態様では、2次元パノラマ投影画像の候補分割方式が第1の分割方式および第2の分割方式を含む場合、第1の分割方式で分割した後にさらなる分割が実行される必要があるかどうかは、2次元パノラマ投影画像のコンテンツに基づいて決定され得る、すなわち、第1の分割方式または第2の分割方式を使用すると決定する。具体的には、以下の処理が実行されて、第1の分割方式の分割結果に対してさらなる分割が実行される必要があるかどうかを決定する。

【0161】

S1：2次元パノラマ投影画像を第1分割方式で分割し、複数の中間領域を取得する。

【0162】

S2からS5は、複数の中間領域のそれぞれに対して実行され、各中間領域がさらに分割される必要があるかどうかを決定する。

【0163】

S2：中間領域のヒストグラムを計算する。

【0164】

例えば、中間領域のヒストグラムはHISAと表記される。本出願の実施形態では、ヒストグラムは、階調ヒストグラムまたはカラーヒストグラムであり得る。これは、本出願の実施形態において限定されない。

【0165】

S3：中間領域を複数の領域に分割し、各領域のヒストグラムを計算する。

【0166】

任意選択で、1つの中間領域は4つの領域に均等に分割されてもよく、各領域は中間領域の面積の4分の1を占める。分割して得られた4つの領域は、それぞれ領域0、領域1、領域2、および領域3と表記され、4つの領域のヒストグラムは、それぞれHISB［0］、HISB［1］、HISB［2］、およびHISB［3］と表記される。

【0167】

S4：中間領域のヒストグラムと、中間領域を分割することによって得られた領域のヒストグラムとの差分値の合計を計算する。

【0168】

中間領域のヒストグラムと分割によって得られた各領域のヒストグラムとの差分値が最初に計算され、差分値は、中間領域のヒストグラムをn倍したヒストグラムと各領域のヒストグラムの対応する要素との差分である。すべての差分が合計され、nは中間領域を分割することによって得られた領域の数である。例えば、中間領域が4つの領域に分割される場合、n＝4である。次いで、差分値が合計される。

【0169】

差分値の合計はDiffABと表記され、
DiffAB＝DiffAB［0］＋DiffAB［1］＋DiffAB［2］＋DiffAB［3］
である。

【0170】

DiffAB［0］は、中間領域のヒストグラムと領域0のヒストグラムとの差分値を示し、DiffAB［1］は、中間領域のヒストグラムと領域1のヒストグラムとの差分値を示し、DiffAB［2］は、中間領域のヒストグラムと領域2のヒストグラムとの差分値を示し、DiffAB［3］は、中間領域のヒストグラムと領域3のヒストグラムとの差分値を示す。

【0171】

S5：DiffAB＞T1であり、T1がプリセット閾値である場合、中間領域はさらに分割される必要があり、すなわち、2次元パノラマ投影画像は第2の分割方式で分割される、または、DiffAB≦T1である場合、中間領域はさらに分割される必要はなく、すなわち、2次元パノラマ投影画像は第1の分割方式で分割される。

【0172】

DiffAB＞Tである場合、中間領域の部分間の輝度差が大きく、さらなる分割が実行される必要があることを示す。

【0173】

第1の分割方式は第2の分割方式に関連しているので、場合によっては、デフォルトの分割方式が第1の分割方式である場合、さらなる分割が実行されるかどうかを示すために関連する識別子がビットストリームで使用されてもよい。識別子がさらなる分割が実行されないことを示すとき、第1の分割方式で得られた分割結果は最終結果である。識別子がさらなる分割が実行される必要があることを示すとき、第1の分割方式の分割結果はさらに分割される。

【0174】

別の実施態様では、2次元パノラマ投影画像の候補分割方式が第1の分割方式、第2の分割方式、および第3の分割方式を含む場合、どの分割方式が使用されるかは、以下のプロセスを実行することによって決定され得る。

【0175】

S11：2次元パノラマ投影画像を第1分割方式、第2分割方式、および第3分割方式で分割する。

【0176】

S12：第1分割方式、第2分割方式、および第3分割方式で得られた各領域のヒストグラムと、2次元パノラマ投影画像のヒストグラムとを別々に計算する。

【0177】

S13：各分割方式で得られた複数の領域のヒストグラムと、2次元パノラマ投影画像のヒストグラムとの差分値の合計を計算する。

【0178】

例えば、2次元パノラマ投影画像がM個の領域を取得するために第1の分割方式で分割され、第1の分割方式で得られた複数の領域のヒストグラムと2次元パノラマ投影画像のヒストグラムとの差分値の合計はDiffHISMと表記される。差分値の合計の計算は、S4のプロセスと同様である。各領域のヒストグラムと2次元パノラマ投影画像のヒストグラムとの差分値が最初に計算され、差分値は、各領域のヒストグラムをM倍したヒストグラムと、2次元パノラマ投影画像のヒストグラムの対応する要素との差分である。すべての差分が合計され、以下のように差分値は合計される。
DiffHISM＝DiffHISM［0］＋DiffHISM［1］＋…＋DiffHISM［M］

【0179】

DiffHISM［0］は、第1の分割方式で得られた領域0のヒストグラムと、2次元パノラマ投影画像のヒストグラムとの差分値を示し、DiffHISM［M］は、第1の分割方式で得られた領域Mのヒストグラムと、2次元パノラマ投影画像のヒストグラムとの差分値を示し、残部は類推により推定され得る。

【0180】

2次元パノラマ投影画像がN個の領域を取得するために第2の分割方式で分割され、第2の分割方式で得られた複数の領域のヒストグラムと2次元パノラマ投影画像のヒストグラムとの差分値の合計はDiffHISNと表記される。差分値の合計の計算は、S4のプロセスと同様である。各領域のヒストグラムと2次元パノラマ投影画像のヒストグラムとの差分値が最初に計算され、差分値は、各領域のヒストグラムをN倍したヒストグラムと、2次元パノラマ投影画像のヒストグラムの対応する要素との差分である。すべての差分が合計され、以下のように差分値は合計される。
DiffHISN＝DiffHISN［0］＋DiffHISN［1］＋…＋DiffHISN［N］

【0181】

DiffHISN［0］は、第2の分割方式で得られた領域0のヒストグラムと、2次元パノラマ投影画像のヒストグラムとの差分値を示し、DiffHISN［N］は、第2の分割方式で得られた領域Nのヒストグラムと、2次元パノラマ投影画像のヒストグラムとの差分値を示し、残部は類推により推定され得る。

【0182】

2次元パノラマ投影画像がP個の領域を取得するために第3の分割方式で分割され、第3の分割方式で得られた複数の領域のヒストグラムと2次元パノラマ投影画像のヒストグラムとの差分値の合計はDiffHISPと表記される。差分値の合計の計算は、S4のプロセスと同様である。各領域のヒストグラムと2次元パノラマ投影画像のヒストグラムとの差分値が最初に計算され、差分値は、各領域のヒストグラムをP倍したヒストグラムと、2次元パノラマ投影画像のヒストグラムの対応する要素との差分である。すべての差分が合計され、以下のように差分値は合計される。
DiffHISP＝DiffHISP［0］＋DiffHISP［1］＋…＋DiffHISP［P］

【0183】

DiffHISN［0］は、第3の分割方式で得られた領域0のヒストグラムと、2次元パノラマ投影画像のヒストグラムとの差分値を示し、DiffHISP［P］は、第3の分割方式で得られた領域Pのヒストグラムと、2次元パノラマ投影画像のヒストグラムとの差分値を示し、残部は類推により推定され得る。

【0184】

S14：ヒストグラム間の差分値の合計が最大となる分割方式を最終的な分割方式として決定する。

【0185】

ヒストグラム間の差分値の合計DiffHISM、DiffHISN、およびDiffHISPが比較され、ヒストグラム間の差分値の合計が大きいほど、分割により得られる領域間の輝度差が大きいことを示し、分割が適切であることを示す。

【0186】

任意選択で、3つの分割方式におけるメタデータのサイズがさらに計算されてもよく、メタデータは、2次元パノラマ投影画像の各領域に対応する動的マッピング情報を含む（詳細はステップ303で説明される）。次いで、S13で説明された分割方式に対応するヒストグラムの差分値の合計と、分割方式に対応するメタデータのサイズとの加重値に基づいて、どの分割方式が使用されるかが決定される。例えば、第1の分割方式に対応するメタデータのサイズがSize1と表記され、第2の分割方式に対応するメタデータのサイズがSize2と表記され、第3の分割方式に対応するメタデータのサイズがSize3と表記され、DiffHISM－Size1（差分はerr1と表記される）、DiffHISN－Size2（差分はerr2と表記される）、DiffHISP ［P］－Size3（差分はerr3と表記される）に対して計算が実行され、err1、err2、およびerr3が比較されて、差分が最大となる分割方式が最終的な分割方式として決定される。

【0187】

ステップ303：電子デバイスは、2次元パノラマ投影画像のメタデータを取得し、メタデータは、2次元パノラマ投影画像の複数の領域にそれぞれ対応するメタデータ情報要素を含み、1つの領域に対応するメタデータ情報要素は、その領域の動的マッピング情報を含む。

【0188】

本出願の実施形態では、パノラマビデオにダイナミックレンジマッピングを実行することの概念は、パノラマビデオに含まれるすべての3次元パノラマ画像を2次元平面に投影し、得られた2次元パノラマ投影画像にダイナミックレンジマッピングを実行し、ダイナミックレンジマッピングによって得られた2次元パノラマ投影画像を3次元パノラマ画像に変換して、ダイナミックレンジマッピングによって得られたパノラマビデオを取得することであることが理解されよう。言い換えれば、得られた2次元パノラマ投影画像のメタデータは、3次元パノラマ画像のダイナミックレンジマッピングを実行するために使用され（すなわち、パノラマビデオに対してダイナミックレンジマッピングを実行するために使用され）、2次元パノラマ投影画像のメタデータは、3次元パノラマ画像のメタデータ（またはパノラマビデオのメタデータ）と考えられてもよい。以下の実施形態で言及されるメタデータは、ダイナミックレンジマッピングに使用されるデータである。

【0189】

任意選択で、電子デバイスが2次元パノラマ投影画像のメタデータを取得する方法は、電子デバイスが別の電子デバイスから2次元パノラマ投影画像のメタデータを受信するステップ（生成終了）であってもよい。メタデータを生成した後、生成端はメタデータをビットストリームに符号化し、ビットストリームを表示端に送信し、その結果、表示端はビットストリームを受信し、ビットストリームを解析してメタデータを取得することが、前述の実施形態に関する説明から分かる。

【0190】

本出願の実施形態では、2次元パノラマ投影画像は複数の領域に分割され、すなわち、2次元パノラマ投影画像は複数の領域を含み、各領域は1つのメタデータ情報要素に対応する。

【0191】

本出願の実施形態では、メタデータ情報要素は動的マッピング情報を含み、動的マッピング情報は動的マッピングパラメータを含み、動的マッピングパラメータに基づいて画素に対してダイナミックレンジマッピングが実行され得る。任意選択で、動的マッピング情報のフォーマットは、ST2094－40規格のヒストグラム情報または動的マッピング曲線情報であってもよく、ST2094－10規格の動的マッピング曲線情報であってもよい。これは、本出願の実施形態において限定されない。

【0192】

前述の実施形態に関する説明から、2次元パノラマ投影画像の分割方式はビットストリームで転送され得ることが分かる。任意選択で、ビットストリームが2次元パノラマ投影画像の分割方式を転送するために使用されるとき、2次元パノラマ投影画像のメタデータは分割方式指示情報をさらに含み、分割方式指示情報は、2次元パノラマ投影画像の分割方式が第1の分割方式、第2の分割方式、または第3の分割方式であることを示す。

【0193】

ステップ304：電子デバイスは、複数の領域のそれぞれの動的マッピング情報に基づいて、現在の画角範囲内の各画素の動的マッピング情報を決定する。

【0194】

ユーザがパノラマビデオを見るとき、ユーザ（頭部）は、現在の姿勢のパノラマビデオのすべてのコンテンツを見ることはできないが、特定の範囲のビデオのコンテンツのみを見ることができることを理解されたい。範囲は、ユーザの画角範囲として理解され得る。ユーザの画角範囲は、ユーザの現在の視野姿勢に関連していることが分かる。本出願の実施形態では、パノラマビデオに対してダイナミックレンジマッピングを実行することは、パノラマビデオを現在見ているユーザの画角範囲内のコンテンツに対してダイナミックレンジマッピングを実行することである。

【0195】

本出願の実施形態では、複数の領域の動的マッピング情報を取得した後、電子デバイスは、複数の領域の動的マッピング情報に基づいて、4つの方式のいずれか1つで現在の画角範囲内の各画素の動的マッピング情報を決定し得る。具体的には、画素のうちの1つについて、画素の動的マッピング情報を決定するいくつかの方式が詳細に説明される。

【0196】

方式1：現在の画角範囲内の処理対象画素の動的マッピング情報は、第1のプリセット範囲内の複数の領域の動的マッピング情報であり、第1のプリセット範囲は、処理対象画素を中心とする範囲である。

【0197】

例えば、第1のプリセット範囲は、処理対象画素を中心とする、3画素×3画素の範囲である。第1のプリセット範囲は3つの領域内の画素をカバーし（すなわち、第1のプリセット範囲内の画素は3つの領域に属する）、3つの領域のすべての動的マッピング情報が処理対象画素の動的マッピング情報として使用されると仮定する。

【0198】

方式2：現在の画角範囲内の処理対象画素の動的マッピング情報は、現在の画角範囲の視点中心に対応する、2次元パノラマ投影画像内の画素が属する領域の動的マッピング情報である。

【0199】

ユーザがパノラマビデオを見るとき、ユーザの現在の画角範囲は視点中心に対応することを理解されたい。視点中心がX、2次元投影画像内の視点中心Xに対応する画素がX’である仮定すると、X’が属する領域の動的マッピング情報が処理対象画素の動的マッピング情報として使用される。

【0200】

方式3：現在の画角範囲内の処理対象画素の動的マッピング情報は、第2のプリセット範囲内の複数の領域の動的マッピング情報であり、第2のプリセット範囲は、現在の画角範囲の視点中心に対応する、2次元パノラマ投影画像内の画素を中心とする範囲である。

【0201】

方式2を参照すると、現在の画角範囲の視点中心がXである例が依然として使用される。2次元投影画像における視点中心Xに対応する画素はX’である。例えば、第2のプリセット範囲は、X’を中心とする3画素×3画素の範囲であってもよい。第2のプリセット範囲は2つの領域内の画素をカバーし（すなわち、第1のプリセット範囲内の画素は2つの領域に属する）、2つの領域のすべての動的マッピング情報が処理対象画素の動的マッピング情報として使用されると仮定する。

【0202】

方法4：現在の領域内の1つの画素の動的マッピング情報は、現在の領域の動的マッピング情報である。

【0203】

言い換えれば、処理対象画素が属する領域の動的マッピング情報が、処理対象画素の動的マッピング情報として使用される。

【0204】

任意選択で、実際の適用中に、生成端は、処理対象画素の動的マッピング情報を決定するための実際の要件に基づいて4つの方式から適切な方式を選択し、ビットストリーム（のメタデータ）で搬送された選択された方式を表示端に転送してもよい。あるいは、生成端および表示端は、使用される方式を予め決定してもよい。これは、本出願の実施形態において限定されない。

【0205】

ステップ305：電子デバイスは、現在の画角範囲内の各画素の動的マッピング情報に基づいて現在の画角範囲内の各画素に対してダイナミックレンジマッピングを実行して、現在の画角範囲内の2次元パノラマ投影画像を取得し、現在の画角範囲内の2次元パノラマ投影画像は、表示または後続の処理に使用される。

【0206】

任意選択で、本出願の実施形態における動的マッピング情報は、2次元パノラマ投影画像の画素のダイナミックレンジを第1のダイナミックレンジから第2のダイナミックレンジにマッピングするために使用されるか、または、動的マッピング情報は、2次元パノラマ投影画像の画素のダイナミックレンジを第2のダイナミックレンジから第1のダイナミックレンジにマッピングするために使用される。第1のダイナミックレンジは第2のダイナミックレンジより大きい。言い換えれば、画素に対して実行されるダイナミックレンジマッピングは、高ダイナミックレンジから低ダイナミックレンジへのマッピングまたは低ダイナミックレンジから高ダイナミックレンジへのマッピングであってもよく、例えば、前述の実施形態の表1に示されるいくつかのケースを含んでもよい。

【0207】

例えば、動的マッピング情報は、動的マッピング曲線である。本出願の実施形態では、動的マッピング曲線は、sigmoidal曲線、三次スプライン曲線、ベジエ曲線などを含み得るが、これらに限定されない。

【0208】

sigmoidal曲線が一例として使用される。曲線は、L’＝F（L）であり、Lは、ダイナミックレンジマッピング前の画素を示し、L’は、ダイナミックレンジマッピング後の画素を示す。

【0209】

F（L）の式は、

【数1】

ここで、
a、b、p、m、nは動的マッピング曲線のパラメータであり、動的マッピング曲線のパラメータはメタデータから得られる。

【0210】

任意選択で、LおよびL’は正規化された値である。正規化は、線形空間の正規化であってもよいし、非線形空間の正規化であってもよい。加えて、正規化の範囲は、本出願の実施形態では限定されない。例えば、正規化の範囲は、0～10000nitであってもよいし、0．001～100000nitであってもよい。

【0211】

任意選択で、現在の画角範囲内の各画素に対してダイナミックレンジマッピングが実行された後、現在の画角範囲内の2次元パノラマ投影画像を取得するために、2次元パノラマ投影画像が表示されてもよい。ある場合には、表示デバイスの表示能力（最大表示値と最小表示値）に基づいて2次元パノラマ投影画像の画素（L’）に対して逆正規化が実行され、表示デバイスの表示能力の範囲に画素を正規化してもよい。

【0212】

本出願の実施形態では、ステップを使用して現在の画角範囲内の各画素の動的マッピング情報が決定された後、画素は複数の動的マッピング情報に対応し得る（例えば、複数の動的マッピング曲線に対応する）。ステップ305で画素に対してダイナミックレンジマッピングが実行された後、1つの動的マッピング情報ごとに1つの動的マッピング結果が得られ得る。この場合、複数の動的マッピング結果が処理されて、最終的な動的マッピング結果を取得し得る。処理方式は、以下のうちのいずれか1つを含み得る。

【0213】

処理方式1：複数の動的マッピング結果の中央値が最終的な動的マッピング結果として使用される。

【0214】

処理方式2：最終的な動的マッピング結果を得るために、複数の動的マッピング結果に対して加重平均が実行される。

【0215】

処理対象画素はn個の動的マッピング情報を含むと仮定する。n個の動的マッピング結果Result＿1、Result＿2、…、およびResult＿nが得られてもよく、n個の動的マッピング結果に対応する重み係数は、W₁、W₂、…、およびW_nであり、最終的なマッピング結果Rは以下の通りである。

【数2】

【0216】

本出願の実施形態では、複数の動的マッピング結果が処理方式2で処理されるとき、各動的マッピング結果に対応する重み係数は、予め設定された重み係数であってもよいし、現在の処理対象画素に基づいて決定された重み係数であってもよい。

【0217】

重み係数が現在の処理対象画素に基づいて決定されることは、具体的には、処理対象画素と各動的マッピング情報に対応する領域の中心位置にある画素との間の距離を計算すること、および各距離に基づいて重み係数を計算することを含む。例えば、現在の処理対象画素はYであり、Yの動的マッピング情報は3つの領域に対応する動的マッピング情報を含み、3つの領域の中心位置の画素はそれぞれY₁’、Y₂’、およびY₃’である。YとY₁’との間の距離D₁、YとY₂’との間の距離D₂、およびYとY₃’との間の距離D₃に対して計算が実行され、D₁、D₂、およびD₃に基づいて重み係数が決定される。任意選択で、本出願の実施形態では、処理対象画素と動的マッピング情報に対応する領域の中心位置にある画素との間の距離が小さいほど、対応する重み係数が大きいことを示す。

【0218】

例えば、D₁、D₂、D₃に基づいて重み係数W₁、W₂、W₂を決定するための方法は以下の通りである。

【数3】

【0219】

任意選択で、図3を参照すると、図13に示されるように、現在の領域内の各画素の動的マッピング情報が複数の領域のそれぞれの動的マッピング情報に基づいて決定される前（すなわち、ステップ304の前）に、本出願の実施形態で提供されるパノラマビデオのためのダイナミックレンジマッピング方法は、ステップ306およびステップ307をさらに含む。

【0220】

ステップ306：電子デバイスは、領域とメタデータ情報要素との間の対応関係を取得する。

【0221】

ステップ307：電子デバイスは、複数の領域のそれぞれの動的マッピング情報を決定するために、領域とメタデータ情報要素との間の対応関係に従ってメタデータから、複数の領域に別々に対応するメタデータ情報要素を決定する。

【0222】

任意選択で、領域とメタデータ情報要素との間の対応関係は、1対1の関係であってもよく、多対1の関係であってもよい。言い換えれば、2次元パノラマ投影画像の1つの領域が1つのメタデータ情報要素に対応し、あるいは、2次元パノラマ投影画像の複数の領域が1つのメタデータ情報要素に対応する。任意選択で、2次元パノラマ投影画像の複数の領域間の輝度差が大きく、各領域に対して1種類の動的マッピング情報が使用されるとき、領域とメタデータ情報要素との対応関係は1対1の関係である。複数の領域内のいくつかの領域の輝度が類似しているとき、いくつかの領域は同じタイプの動的マッピング情報を使用してもよく、領域とメタデータ情報要素との間の対応関係は多対1の関係である。

【0223】

本出願の実施形態では、領域とメタデータ情報要素との間の対応関係は、メタデータ情報要素のインデックスと領域のインデックスとの間の対応関係である、または、領域とメタデータ情報要素との間の対応関係は、メタデータ要素のインデックスと領域内の1つまたは複数の画素の座標との間の対応関係である。

【0224】

例えば、2次元パノラマ投影画像は6つの領域に分割されると仮定する（図6を参照）。表2は、メタデータ情報要素のインデックスと領域のインデックスとの対応関係の一例である。

【0225】

【表2】

【0226】

表2から、メタデータ情報要素のインデックスと領域のインデックスとの間の対応関係は、本質的にトラバーサル順序関係であることが分かる。図6を参照されたい。2次元パノラマ投影画像における6つの領域の並びは、左から右および上から下に、領域4、領域0、領域5、領域3、領域1、および領域2である。したがって、表2に示される領域とメタデータ情報要素との対応関係の表では、2次元パノラマ投影画像内の6つの領域が左から右および上から下に順次トラバースされ、6つの領域に別々に対応するメタデータ情報要素はメタデータ内で順次決定され得る。

【0227】

一実施態様では、複数の領域のトラバーサル順序はビットストリームで示され得る。例えば、トラバーサル順序を示す指示情報がメタデータで搬送されてもよい。トラバーサル順序は、左から右および上から下への上記の順序に限定されず、トラバーサル順序は、具体的には、2次元パノラマ投影画像内の各領域の位置に関連する。

【0228】

別の例では、2次元パノラマ投影画像は6つの領域に分割されると仮定する。表3は、メタデータ情報要素のインデックスと領域内の1つまたは複数の画素の座標との間の対応関係の一例である。

【0229】

【表3】

【0230】

表3を参照すると、一実施態様では、表3の領域の画素の座標もメタデータで搬送され得る。具体的には、各領域の画素の座標は、各領域に対応するメタデータ情報要素で搬送される。2次元パノラマ投影画像を分割して複数の領域を取得した後、領域の1つについて、表示端は、表3に示される対応関係に従って、座標が領域に属する画素を決定し、座標に対応するメタデータ情報要素を領域のメタデータ情報要素として使用する。例えば、6つの領域のうちの領域1について、表3の各座標に対応する画素と領域1との関係が順次決定される。座標（x₄，y₄）に対応する画素が領域1に属すると決定される。したがって、インデックスが4であり、座標（x₄，y₄）に対応するメタデータ情報要素が、領域1のメタデータ情報要素として使用される。

【0231】

任意選択で、本出願の実施形態では、複数の領域のトラバーサル順序は、予め設定された順序であってもよい。あるいは、生成端は、関連するアルゴリズムに従って候補トラバーサル順序からトラバーサル順序を決定し、ビットストリームのメタデータに識別子を追加し、トラバーサル順序を示すためにビットストリームを生成端に転送する。例えば、どのトラバーサル順序が使用されるかは、以下の方法を使用して決定され得る。

【0232】

S111：複数の領域のそれぞれのヒストグラムを計算する。

【0233】

S112：候補トラバーサル順序の各々について、隣接する領域のヒストグラム間の差分値の合計を計算する。

【0234】

4つの候補トラバーサル順序、すなわち、トラバーサル順序Z₁、トラバーサル順序Z₂、トラバーサル順序Z₃、およびトラバーサル順序Z₄があると仮定する。

【0235】

2次元パノラマ投影画像が6つの領域に分割される例が、依然として使用される。左から右へ、および上から下への候補トラバーサル順序（Z₁と表記される）について、6つの領域が順次、領域4、領域0、領域5、領域3、領域1、および領域2であると仮定する。領域4のヒストグラムと領域0のヒストグラムとの差分（DiffHIS＿1と表記される）、領域0のヒストグラムと領域5のヒストグラムとの差分（DiffHIS＿2と表記される）、領域5のヒストグラムと領域3のヒストグラムとの差分（DiffHIS＿3と表記される）、領域3のヒストグラムと領域1のヒストグラムとの差分（DiffHIS＿4と表記される）、領域1のヒストグラムと領域2のヒストグラムとの差分（DiffHIS＿5と表記される）に対して計算が実行される。DiffHIS＿Z₁を取得するために、差分の合計が計算される。同様に、DiffHIS＿Z₂、DiffHIS＿Z₃、およびDiffHIS＿Z₄は、計算によって取得され得る。

【0236】

S113：候補トラバーサル順序において、ヒストグラム間の差分の合計が最小となるトラバーサル方式を最終的なトラバーサル方式として決定する。

【0237】

例えば、DiffHIS＿Z₁、DiffHIS＿Z₂、DiffHIS＿Z₃、およびDiffHIS＿Z₄の値が比較され、ヒストグラム間の差分の合計が最小となるトラバーサル順序が最終的なトラバーサル方式として決定される。

【0238】

任意選択で、本出願の実施形態では、2次元パノラマ画像内の複数の領域とメタデータ情報要素との間の対応関係が1対1の関係または多対1の関係であるかどうかを決定するために、プリセットアルゴリズムが使用されてもよい。例えば、1対1の関係を使用するか多対1の関係を使用するかは、以下の方法を使用して決定され得る。

【0239】

S1111：複数の領域をクラスタリングする。

【0240】

クラスタリングされたカテゴリの数は、要件に基づいて設定されてもよく、例えば、領域の数の半分または領域の数の4分の1に設定されてもよい。例えば、領域の総数が8である場合、8つの領域が2つのカテゴリに分割され得、これは2つの大きな領域を取得することに相当し、または8つの領域が4つのカテゴリに分割され得、これは4つの大きな領域を取得することに相当する。

【0241】

S1112：カテゴリに対応する領域のヒストグラムと2次元パノラマ投影画像のヒストグラムとの差分の合計を計算し、複数の元の領域のヒストグラムと2次元パノラマ画像のヒストグラムとの差分の合計を計算する。

【0242】

例えば、クラスタリング結果において、各カテゴリに対応する領域のヒストグラムと2次元パノラマ投影画像のヒストグラムとの差分の合計はDiffHIS＿Xと表記され、複数の元領域のヒストグラムと2次元パノラマ画像のヒストグラムとの差分の合計はDiffHIS＿orgと表記される。

【0243】

S1113：ヒストグラム間の差分の2つの合計に基づいて、複数の領域とメタデータ情報要素との間の対応関係が1対1の関係であるか多対1の関係であるかを決定する。

【0244】

例えば、8つの領域をクラスタリングして2つのカテゴリの領域が得られたとき、クラスタリング結果の各カテゴリに対応する領域のヒストグラムと2次元パノラマ投影画像のヒストグラムとの差分の合計はDiffHIS＿X2であり、複数の元領域のヒストグラムと2次元パノラマ画像のヒストグラムとの差分の合計はDiffHIS＿orgと表記される。決定方法は以下の通りである：DiffHIS＿org×（1－T2）＞DiffHIS＿X2の場合、領域とメタデータ情報要素との間の対応関係は多対1の関係である、または、DiffHIS＿org×（1－T2）≦DiffHIS＿X2の場合、領域とメタデータ情報要素との間の対応関係は、1対1の関係であり、T2は、プリセット閾値である。

【0245】

任意選択で、図13を参照すると、図14に示されるように、ステップ305の後に、本出願の実施形態で提供されるパノラマビデオのためのダイナミックレンジマッピング方法はステップ308をさらに含む。

【0246】

ステップ308：電子デバイスは、現在の画角範囲内の2次元パノラマ投影画像に対して後続の処理を実行し、後続の処理は、現在の画角範囲内の3次元パノラマ画像を取得するために、現在の画角範囲内の2次元パノラマ投影画像に対して3次元変換を実行するステップを含み、3次元パノラマ画像は表示に使用される。

【0247】

本出願の実施形態では、ステップ305で取得された2次元パノラマ投影画像は表示に使用され得る。さらに、2次元パノラマ投影画像は後続の処理にさらに使用され、例えば、2次元パノラマ投影画像は表示用の3次元パノラマ画像に変換される。さらに、パノラマビデオのすべての3次元パノラマ画像が得られた後、パノラマビデオが再生され得る。

【0248】

結論として、本出願の実施形態は、パノラマビデオのためのダイナミックレンジマッピング方法を提供する。電子デバイスは、3次元パノラマ画像に対応する2次元パノラマ投影画像を分割して、2次元パノラマ投影画像の複数の領域を取得する。複数の領域の各々は、プリセット条件を満たし、プリセット条件は、2次元パノラマ投影画像内で隣接し、かつ3次元パノラマ画像内で隣接しない画素が同じ領域内に位置していない、および3次元パノラマ画像内で隣接しない画素が同じ領域内に位置していない、という条件のうちの少なくとも1つを含む。加えて、電子デバイスは、2次元パノラマ投影画像のメタデータを取得し、メタデータは、2次元パノラマ投影画像の複数の領域にそれぞれ対応するメタデータ情報要素を含み、1つの領域に対応するメタデータ情報要素は、その領域の動的マッピング情報を含む。次いで、電子デバイスは、複数の領域のそれぞれの動的マッピング情報に基づいて現在の画角範囲内の各画素の動的マッピング情報を決定し、現在の画角範囲（パノラマビデオを現在見ているユーザの画角範囲）内の各画素の動的マッピング情報に基づいて現在の画角範囲内の各画素に対してダイナミックレンジマッピングを実行して、現在の画角範囲内の2次元パノラマ投影画像を取得し、現在の画角範囲内の2次元パノラマ投影画像は、表示または後続の処理に使用される。本出願の実施形態で提供されるパノラマビデオのためのダイナミックレンジマッピング方法では、パノラマビデオのダイナミックレンジが大きいという特徴に関連して、電子デバイスは、3次元パノラマ画像に対応する2次元パノラマ投影画像を分割して領域を取得し、異なる領域に対してダイナミックレンジマッピングを実行する。これにより、パノラマビデオ上でダイナミックレンジマッピングを効果的に実施することができ、それによってパノラマビデオの表示効果を改善することができる。

【0249】

これに対応して、本出願の実施形態は、パノラマビデオのためのダイナミックレンジマッピング装置を提供する。装置は、電子デバイスで使用されてもよい。本出願の実施形態では、装置は、前述の方法例に基づいて機能モジュールに分割されてもよい。例えば、分割することによって機能に対応する機能モジュールが得られてもよく、あるいは2つ以上の機能が1つの処理モジュールに統合されてもよい。統合されたモジュールは、ハードウェアの形態で実装されてもよく、またはソフトウェア機能モジュールの形態で実装されてもよい。本発明の実施形態において、モジュールの分割は、例であり、単なる論理機能の分割であることに留意されたい。実際の実施中には、別の分割方式が使用されてもよい。

【0250】

各機能モジュールが各対応する機能に基づく分割によって得られるとき、図15は、前述の実施形態におけるパノラマビデオのためのダイナミックレンジマッピング装置の可能な構造の図である。図15に示されるように、本装置は、分割モジュール1501と、取得モジュール1502と、決定モジュール1503と、処理モジュール1504とを含む。分割モジュール1501は、2次元パノラマ投影画像を分割して2次元パノラマ投影画像の複数の領域を取得するように、例えば、方法実施形態におけるステップ302を実行するように構成される。2次元パノラマ投影画像は、パノラマビデオ内の3次元パノラマ画像の任意のフレームに対応する2次元パノラマ投影画像であり、複数の領域の各々は、プリセット条件を満たし、プリセット条件は、2次元パノラマ投影画像内で隣接し、かつ3次元パノラマ画像内で隣接しない画素が同じ領域内に位置していない、および3次元パノラマ画像内で隣接しない画素が同じ領域内に位置していない、という条件のうちの少なくとも1つを含む。2次元パノラマ投影画像内で隣接する画素点は、3次元パノラマ画像の少なくとも2つの隣接する投影面上の画素を含み、3次元パノラマ画像内で隣接しない画素は、3次元パノラマ画像内にあり、少なくとも2つの隣接していない投影面に対応する画素を含む。取得モジュール1502は、2次元パノラマ投影画像のメタデータを取得するように、例えば、方法実施形態におけるステップ302およびステップ303を実行するように構成される。メタデータは、2次元パノラマ投影画像の複数の領域にそれぞれ対応するメタデータ情報要素を含み、1つの領域に対応するメタデータ情報要素は、その領域の動的マッピング情報を含む。決定モジュール1503は、複数の領域のそれぞれの動的マッピング情報に基づいて、現在の画角範囲内の各画素の動的マッピング情報を決定するように、例えば、方法の実施形態のステップ304を実行するように構成される。処理モジュール1504は、現在の画角範囲内の各画素の動的マッピング情報に基づいて現在の画角範囲内の各画素に対してダイナミックレンジマッピングを実行して、現在の画角範囲内の2次元パノラマ投影画像を取得するように、例えば、方法実施形態におけるステップ305を実行するように構成される。現在の画角範囲内の2次元パノラマ投影画像は、表示または後続の処理に使用される。

【0251】

任意選択で、本出願の実施形態で提供されるパノラマビデオのためのダイナミックレンジマッピング装置は、変換モジュール1505をさらに含む。変換モジュール1505は、3次元パノラマ画像を多面体の表面に投影し、多面体を2次元平面に拡張して2次元パノラマ投影画像を取得するように、例えば、方法実施形態におけるステップ301を実行するように構成される。多面体は、正四面体、正六面体、正八面体、正十二面体、または正二十面体のうちの少なくとも1つを含む。

【0252】

任意選択で、分割モジュール1501は、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を第1の分割方式で分割するように、例えば、方法実施形態におけるステップ3021を実行するように特に構成される。第1の分割方式は、2次元パノラマ投影画像において、多面体の同じ表面に属する画素を領域に分割する方式である。

【0253】

任意選択で、分割モジュール1501は、2次元パノラマ投影画像の複数の領域を取得するために、2次元パノラマ投影画像を第2の分割方式で分割するように、例えば、方法実施形態におけるステップ3022を実行するように特に構成される。第2の分割方式は、複数の中間領域を取得するために、多面体の同じ表面に属する2次元パノラマ投影画像内の画素を領域に分割し、複数の中間領域のうちの少なくとも1つをさらに分割する方式である。

【0254】

任意選択で、分割モジュール1501は、2次元パノラマ投影画像の複数の中間領域を取得するために、2次元パノラマ投影画像を第3の分割方式で分割し、第3の分割方式は、2次元パノラマ投影画像内のすべての画素をクラスタリングし、同じカテゴリに属する画素を同じ中間領域に分割する方式であり、複数の中間領域を取得するために、複数の中間領域においてプリセット条件を満たさない中間領域を第4の分割方式で分割するように、例えば、方法実施形態におけるステップ3023およびステップ3024を実行する、ように特に構成される。プリセット条件を満たさない任意の中間領域について、第4の分割方式は、中間領域に含まれる多面体の少なくとも2つの表面の境界線に沿って中間領域を分割する方式である。

【0255】

任意選択で、取得モジュール1502は、領域とメタデータ情報要素との間の対応関係を取得するように、例えば、方法実施形態におけるステップ306を実行するようにさらに構成される。決定モジュール1503は、複数の領域のそれぞれの動的マッピング情報を決定するために、領域とメタデータ情報要素との間の対応関係に従ってメタデータから、複数の領域に別々に対応するメタデータ情報要素を決定するように、例えば、方法実施形態におけるステップ307を実行するようにさらに構成される。

【0256】

任意選択で、取得モジュール1502は、別の電子デバイスから2次元パノラマ投影画像のメタデータを受信するように特に構成される。

【0257】

任意選択で、変換モジュール1505は、現在の画角範囲内の2次元パノラマ投影画像に対して後続の処理を実行するように、例えば、方法実施形態におけるステップ308を実行するようにさらに構成される。後続の処理は、現在の画角範囲内の3次元パノラマ画像を取得するために、現在の画角範囲内の2次元パノラマ投影画像に対して3次元変換を実行するステップを含む。3次元パノラマ画像は、表示に使用される。

【0258】

パノラマビデオのためのダイナミックレンジマッピング装置のモジュールは、方法実施形態における他の動作を実行するようにさらに構成されてもよい。方法の実施形態におけるステップの関連する内容はいずれも、対応する機能モジュールの機能の説明に引用され得る。ここでは詳細を繰り返さない。

【0259】

統合ユニットが使用されるとき、図16は、前述の実施形態におけるパノラマビデオのためのダイナミックレンジマッピング装置の別の可能な構造の図である。図16に示されるように、本出願の実施形態で提供されるパノラマビデオのためのダイナミックレンジマッピング装置は、処理モジュール1601および通信モジュール1602を含み得る。処理モジュール1601は、装置の動作を制御および管理するように構成され得る。例えば、処理モジュール1601は、方法実施形態におけるステップ301からステップ305、ステップ306、ステップ307、およびステップ308を実行する際、および／または本明細書に記載された技術の別のプロセスを実行する際に装置をサポートするように構成され得る。通信モジュール1602は、装置が別のネットワークエンティティと通信すること、例えば、別の電子デバイス（生成側）と通信することをサポートするように構成される。任意選択で、図16に示されるように、パノラマビデオのためのダイナミックレンジマッピング装置は、装置のプログラムコードおよびデータを記憶する、例えばメタデータを記憶するように構成された記憶モジュール1603をさらに含んでもよい。

【0260】

処理モジュール1601は、プロセッサまたはコントローラであってもよい（例えば、図2に示されるプロセッサ210であってもよい）。プロセッサは、代替として、コンピューティング機能を実施するプロセッサの組み合わせ、例えば、1つまたは複数のマイクロプロセッサの組み合わせや、DSPとマイクロプロセッサとの組み合わせであってもよい。通信モジュール1602は、トランシーバ、トランシーバ回路、通信インターフェースなどであってもよい（例えば、図2に示される移動通信モジュール250または無線通信モジュール260であってもよい）。記憶モジュール1603は、メモリであってもよい（例えば、図2に示される内部メモリ221であってもよい）。

【0261】

処理モジュール1601がプロセッサであり、通信モジュール1602がトランシーバであり、記憶モジュール1603がメモリであるとき、プロセッサ、トランシーバ、およびメモリはバスを介して接続されてもよい。バスは、周辺機器相互接続（peripheral component interconnect、PCI）バス、拡張業界標準アーキテクチャ（extended industry standard architecture、EISA）バスなどであり得る。バスは、アドレスバス、データバス、および制御バスなどに分類され得る。

【0262】

パノラマビデオのためのダイナミックレンジマッピング装置に含まれるモジュールによって前述の機能を実装するさらなる詳細については、方法の実施形態の説明を参照されたい。ここでは詳細を繰り返さない。

【0263】

本明細書の実施形態はすべて、段階的に記載されている。実施形態の同じ部分や類似する部分についてはこれらの実施形態を参照する。それぞれの実施形態は、他の実施形態との相違点に着目している。

【0264】

実施形態の全部または一部は、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせを使用して実施されてもよい。実施形態を実施するためにソフトウェアプログラムが使用されるとき、実施形態は、コンピュータプログラム製品の形態で完全にまたは部分的に実施されてもよい。コンピュータプログラム製品は、1つまたは複数のコンピュータ命令を含む。コンピュータ命令がコンピュータ上でロードされて実行されるとき、本出願の実施形態による手順または機能の全部または一部が生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラマブル装置であってもよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、またはコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に伝送されてもよい。例えば、コンピュータ命令は、あるウェブサイト、コンピュータ、サーバ、またはデータセンタから別のウェブサイト、コンピュータ、サーバ、またはデータセンタに、有線（例えば、同軸ケーブル、光ファイバ、もしくはデジタル加入者回線（digital subscriber line、DSL））またはワイヤレス（例えば、赤外線、電波、もしくはマイクロ波）方式で伝送されてもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体であってもよいし、1つまたは複数の使用可能な媒体を統合したデータ記憶デバイス、例えば、サーバやデータセンタであってもよい。使用可能な媒体は、磁気媒体（例えば、フロッピーディスク、磁気ディスク、または磁気テープ）、光学媒体（例えば、デジタルビデオディスク（digital video disc、DVD））、半導体媒体（例えば、ソリッドステートドライブ（solid state drive、SSD））などであってもよい。

【0265】

実施態様に関する前述の説明は、当業者が、簡便な説明のために前述の機能モジュールへの分割が例示のための例として用いられていることを理解することを可能にする。実際の適用時には、要件に基づいて前述の機能が異なるモジュールに割り振られて実施されることができ、すなわち、上述の機能の全部または一部を実施するために、装置の内部構造が異なる機能モジュールに分割される。前述のシステム、装置、およびユニットの詳細な動作プロセスについては、方法の実施形態における対応するプロセスを参照されたく、本明細書では詳細は再び説明されない。

【0266】

本出願で提供されるいくつかの実施形態において、開示されているシステム、装置、および方法が別の方式で実施され得ることを理解されたい。例えば、説明されている装置の実施形態は単なる例である。例えば、モジュールまたはユニットへの分割は、論理的な機能分割にすぎず、実際の実施に際しては他の分割であってもよい。例えば、複数のユニットまたはアセンブリが、組み合わされるか、または他のシステムに統合されてもよく、あるいは、いくつかの機能が無視されるか行われなくてもよい。加えて、提示されたまたは述べられた相互結合または直接的な結合もしくは通信接続は、いくつかのインターフェースを介して実施されてもよい。装置またはユニット間の間接的な結合または通信接続は、電子的形態、機械的形態、または別の形態で実施されてもよい。

【0267】

別々の部分として記載されたユニットは、物理的に別々であってもなくてもよく、ユニットとして表示された部分は、物理的なユニットであってもなくてもよく、1つの位置に配置されてもよく、または複数のネットワークユニット上に分散されてもよい。ユニットの一部または全部が、実施形態の解決策の目的を達成するために実際の要件に基づいて選択されてもよい。

【0268】

加えて、本出願の実施形態における機能ユニットは、1つの処理ユニットに統合されてもよいし、ユニットの各々は物理的に単独で存在してもよいし、または2つ以上のユニットが1つのユニットに統合される。統合ユニットは、ハードウェアの形態で実装されてもよく、またはソフトウェア機能ユニットの形態で実装されてもよい。

【0269】

統合ユニットが、ソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用されるとき、統合ユニットは、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本出願の技術的解決策は本質的に、または従来技術に寄与する部分は、または技術的解決策の全部もしくは一部は、ソフトウェア製品の形態で実施されてもよい。ソフトウェア製品は、記憶媒体に記憶され、本出願の実施形態で説明された方法のステップの全部または一部を実行するようにコンピュータデバイスまたはプロセッサ（パーソナルコンピュータ、サーバ、またはネットワークデバイスであってもよい）に命令するためのいくつかの命令を含む。前述の記憶媒体は、プログラムコードを記憶することができる任意の媒体、例えば、フラッシュメモリ、リムーバブルハードディスク、リードオンリメモリ、ランダムアクセスメモリ、磁気ディスク、または光ディスクを含む。

【0270】

前述の説明は、本出願の特定の実施態様にすぎず、本出願の保護範囲を制限することを意図されていない。本出願で開示された技術的範囲内の変形または置換は、本出願の保護範囲内に入るものとする。したがって、本出願の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

【符号の説明】

【0271】

0 領域
1 アンテナ、ダイナミックレンジ、処理方式、領域
2 アンテナ、ダイナミックレンジ、処理方式、領域
3 方式、領域
4 方式、領域
5 領域
200 携帯電話
210 プロセッサ
220 外部メモリインターフェース
221 内部メモリ
230 インターフェース
240 充電管理モジュール
241 電力管理モジュール
242 バッテリ
250 移動通信モジュール
260 無線通信モジュール
270 オーディオモジュール
270A スピーカ
270B レシーバ
270C マイクロフォン
270D ヘッドセットジャック、ヘッドセットインターフェース
280 センサモジュール
290 ボタン
291 モータ
292 インジケータ
293 カメラ
294 ディスプレイ
295 SIMカードインターフェース
400 携帯電話
1501 分割モジュール
1502 取得モジュール
1503 決定モジュール
1504 処理モジュール
1505 変換モジュール
1601 処理モジュール
1602 通信モジュール
1603 記憶モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【手続補正書】

【提出日】2024-07-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

電子デバイスに適用される、パノラマビデオのためのダイナミックレンジマッピング方法であって、前記方法は、
2次元パノラマ投影画像の複数の領域を取得するために、前記2次元パノラマ投影画像を分割するステップであって、前記2次元パノラマ投影画像が、パノラマビデオ内の3次元パノラマ画像の任意のフレームに対応する2次元パノラマ投影画像であり、前記複数の領域の各々が、プリセット条件を満たし、前記プリセット条件が、以下の条件、すなわち、前記2次元パノラマ投影画像内で隣接し、かつ前記3次元パノラマ画像内で隣接しない画素が同じ領域内に位置せず、前記3次元パノラマ画像内で隣接しない画素が同じ領域内に位置しないこと、前記2次元パノラマ投影画像内で隣接する前記画素が、前記3次元パノラマ画像の少なくとも2つの隣接している投影面上の画素を含むこと、および前記3次元パノラマ画像内で隣接しない前記画素が、前記3次元パノラマ画像内にあり、かつ少なくとも2つの隣接していない投影面に対応する画素を含むこと、のうちの少なくとも1つを含む、ステップと、
前記2次元パノラマ投影画像のメタデータを取得するステップであって、前記メタデータが、前記2次元パノラマ投影画像の前記複数の領域に別々に対応するメタデータ情報要素を含み、1つの領域に対応するメタデータ情報要素が、前記領域の動的マッピング情報を含む、ステップと、
前記複数の領域のそれぞれの動的マッピング情報に基づいて現在の画角範囲内の各画素の動的マッピング情報を決定するステップと、
前記現在の画角範囲内の2次元パノラマ投影画像を取得するために、前記現在の画角範囲内の各画素の前記動的マッピング情報に基づいて前記現在の画角範囲内の各画素に対してダイナミックレンジマッピングを実行するステップであって、前記現在の画角範囲内の前記2次元パノラマ投影画像が、表示または後続の処理に使用される、ステップと
を含む、方法。

【請求項2】

前記方法が、
前記2次元パノラマ投影画像を取得するために、前記3次元パノラマ画像を多面体の表面に投影して、前記多面体を2次元平面に拡張するステップであって、前記多面体が、以下、すなわち正四面体、正六面体、正八面体、正十二面体、または正二十面体のうちの少なくとも1つを含む、ステップ
をさらに含む、請求項1に記載の方法。

【請求項3】

2次元パノラマ投影画像の複数の領域を取得するために、前記2次元パノラマ投影画像を分割する前記ステップが、
前記2次元パノラマ投影画像の前記複数の領域を取得するために、前記2次元パノラマ投影画像を第1の分割方式で分割するステップであって、前記第1の分割方式が、前記2次元パノラマ投影画像内の、前記多面体の同じ表面に属する画素を領域に分割する方式である、ステップ
を含む、請求項1に記載の方法。

【請求項4】

2次元パノラマ投影画像の複数の領域を取得するために、前記2次元パノラマ投影画像を分割する前記ステップが、
前記2次元パノラマ投影画像の前記複数の領域を取得するために、前記2次元パノラマ投影画像を第2の分割方式で分割するステップであって、前記第2の分割方式が、複数の中間領域を取得するために、前記2次元パノラマ投影画像内の、前記多面体の同じ表面に属する画素を領域に分割し、前記複数の中間領域のうちの少なくとも1つをさらに分割する方式である、ステップ
を含む、請求項1に記載の方法。

【請求項5】

2次元パノラマ投影画像の複数の領域を取得するために、前記2次元パノラマ投影画像を分割する前記ステップが、
前記2次元パノラマ投影画像の複数の中間領域を取得するために、前記2次元パノラマ投影画像を第3の分割方式で分割するステップであって、前記第3の分割方式が、前記2次元パノラマ投影画像内のすべての画素をクラスタリングし、同じカテゴリに属する画素を同じ中間領域に分割する方式である、ステップと、
前記複数の領域を取得するために、前記複数の中間領域のうちの前記プリセット条件を満たさない中間領域を第4の分割方式で分割するステップであって、前記プリセット条件を満たさない任意の中間領域について、前記第4の分割方式が、前記多面体の、前記中間領域に含まれる少なくとも2つの表面の境界線に沿って前記中間領域を分割する方式である、ステップと
を含む、請求項1に記載の方法。

【請求項6】

前記第1の分割方式、前記第2の分割方式、または前記第3の分割方式が、前記電子デバイスに予め設定されている、
請求項3から5のいずれか一項に記載の方法。

【請求項7】

前記2次元パノラマ投影画像の前記メタデータが分割方式指示情報をさらに含み、前記分割方式指示情報は、前記2次元パノラマ投影画像の分割方式を示す、
請求項1に記載の方法。

【請求項8】

前記複数の領域のそれぞれの動的マッピング情報に基づいて現在の画角範囲内の各画素の動的マッピング情報を決定する前記ステップの前に、前記方法が、
領域とメタデータ情報要素との間の対応関係を取得するステップと、
領域とメタデータ情報要素との間の前記対応関係に従って前記メタデータから、前記複数の領域の前記それぞれの動的マッピング情報を決定するために、前記複数の領域に別々に対応する前記メタデータ情報要素を決定するステップと
をさらに含む、請求項1に記載の方法。

【請求項9】

領域とメタデータ情報要素との間の前記対応関係が、前記メタデータ情報要素のインデックスと前記領域のインデックスとの間の対応関係である、または、
領域とメタデータ情報要素との間の前記対応関係が、前記メタデータ情報要素のインデックスと前記領域内の1つまたは複数の画素の座標との間の対応関係である、
請求項8に記載の方法。

【請求項10】

前記現在の画角範囲内の処理対象画素の動的マッピング情報が、第1のプリセット範囲内の複数の領域の動的マッピング情報であり、前記第1のプリセット範囲が、前記処理対象画素を中心とする範囲である、
前記現在の画角範囲内の処理対象画素の動的マッピング情報が、前記現在の画角範囲の視点中心に対応する、前記2次元パノラマ投影画像内の画素が属する領域の動的マッピング情報である、
前記現在の画角範囲内の処理対象画素の動的マッピング情報が、第2のプリセット範囲内の複数の領域の動的マッピング情報であり、前記第2のプリセット範囲が、前記現在の画角範囲の視点中心に対応する、前記2次元パノラマ投影画像内の画素を中心とする範囲である、または、
領域内の1つの画素の動的マッピング情報が、前記領域の動的マッピング情報である、
請求項1に記載の方法。

【請求項11】

前記動的マッピング情報が、前記2次元パノラマ投影画像の前記画素のダイナミックレンジを第1のダイナミックレンジから第2のダイナミックレンジにマッピングするために使用されるか、または、
前記動的マッピング情報が、前記2次元パノラマ投影画像の前記画素のダイナミックレンジを第2のダイナミックレンジから第1のダイナミックレンジにマッピングするために使用され、前記第1のダイナミックレンジが前記第2のダイナミックレンジよりも大きい、
請求項1に記載の方法。

【請求項12】

前記2次元パノラマ投影画像のメタデータを取得する前記ステップが、
別の電子デバイスから前記2次元パノラマ投影画像の前記メタデータを受信するステップ
を含む、請求項1に記載の方法。

【請求項13】

前記方法が、
前記現在の画角範囲内の前記2次元パノラマ投影画像に対して後続の処理を実行するステップであって、前記後続の処理が、前記現在の画角範囲内の3次元パノラマ画像を取得するために、前記現在の画角範囲内の前記2次元パノラマ投影画像に対して3次元変換を実行することであって、前記3次元パノラマ画像が表示に使用される、実行することを含む、ステップ
をさらに含む、請求項1に記載の方法。

【請求項14】

メモリと、前記メモリに接続された少なくとも1つのプロセッサとを備える電子デバイスであって、前記メモリが命令を記憶するように構成され、請求項1から5、7から13のいずれか一項に記載の方法が、前記命令が前記少なくとも1つのプロセッサによって読み取られた後に実行される、電子デバイス。

【請求項15】

請求項1から5、7から13のいずれか一項に記載の方法を電子デバイスに実行させる、コンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００３９

【補正方法】変更

【補正の内容】

【0039】

本出願のこの実施形態では、どのトラバーサル順序が使用されるかは、以下の方法、すなわち、複数の領域の各々のヒストグラムを計算するステップと、各候補トラバーサル順序について、隣接する領域のヒストグラム間の差分の合計を計算するステップと、候補トラバーサル順序におけるヒストグラム間の差分の合計が最小となるトラバース順序を最終的なトラバーサル順序として決定するステップと、を使用して決定され得る。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００９１

【補正方法】変更

【補正の内容】

【0091】

本出願の実施形態では、パノラマビデオに含まれる画像（ソースデータと呼ばれる場合がある）のフォーマットは限定されず、画像はYUVフォーマットであってもよいし、RGBフォーマットであってもよいことに留意されたい。加えて、本出願の実施形態ではソースデータのビット幅が制限されず、ソースデータのビット幅は8ビット（bit）、10bit、または12bitであってもよい。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０１４１

【補正方法】変更

【補正の内容】

【0141】

本出願の実施形態では、2次元パノラマ投影画像を分割するプロセスにおいて、分割によって得られた各領域がプリセット条件を満たすとき、輝度が類似する（輝度が類似するとは、ダイナミックレンジが類似することを示す）画素が同じ領域に分割され、輝度が大きく異なる（輝度差が大きいとは、ダイナミックレンジ差が大きいことを示す）画素が同じ領域に分割されないことを保証することができる。例えば、図6の3次元パノラマ投影画像において、投影面2に対応する画素は空の画素であってもよく、投影面5に対応する画素は地面の画素であってもよい。空の画素の輝度は地面の画素の輝度と大きく異なるため、投影面2の画素と投影面5の画素は、2次元パノラマ投影画像を分割するプロセスで同じ領域に位置しない。同じ領域内の画素のダイナミックレンジは類似しているため、同じダイナミックレンジマッピング情報に基づいて同じ領域内の画素に対してダイナミックレンジマッピングが実行され得る。異なる領域内の画素のダイナミックレンジは大きく異なる可能性があるため、異なるダイナミックレンジマッピング情報に基づいて異なる領域内の画素に対してダイナミックレンジマッピングが実行され得る。したがって、この分割方式で2次元パノラマ投影画像が複数の領域に分割された後、各領域に対して後続の処理（すなわち、ダイナミックレンジマッピング）が実行される。各領域内の画素の特徴は、処理効果を改善するために、プロセスに適応的に適合され得る。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】０１７２

【補正方法】変更

【補正の内容】

【0172】

DiffAB＞T1である場合、中間領域の部分間の輝度差が大きく、さらなる分割が実行される必要があることを示す。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】０１８３

【補正方法】変更

【補正の内容】

【0183】

DiffHISP［0］は、第3の分割方式で得られた領域0のヒストグラムと、2次元パノラマ投影画像のヒストグラムとの差分値を示し、DiffHISP［P］は、第3の分割方式で得られた領域Pのヒストグラムと、2次元パノラマ投影画像のヒストグラムとの差分値を示し、残部は類推により推定され得る。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】０２０１

【補正方法】変更

【補正の内容】

【0201】

方式2を参照すると、現在の画角範囲の視点中心がXである例が依然として使用される。2次元投影画像における視点中心Xに対応する画素はX’である。例えば、第2のプリセット範囲は、X’を中心とする3画素×3画素の範囲であってもよい。第2のプリセット範囲は2つの領域内の画素をカバーし（すなわち、第2のプリセット範囲内の画素は2つの領域に属する）、2つの領域のすべての動的マッピング情報が処理対象画素の動的マッピング情報として使用されると仮定する。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】０２１８

【補正方法】変更

【補正の内容】

【0218】

例えば、D₁、D₂、D₃に基づいて重み係数W₁、W₂、W ₃ を決定するための方法は以下の通りである。

【数3】

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】０２１９

【補正方法】変更

【補正の内容】

【0219】

任意選択で、図3を参照すると、図13に示されるように、現在の画角範囲内の各画素の動的マッピング情報が複数の領域のそれぞれの動的マッピング情報に基づいて決定される前（すなわち、ステップ304の前）に、本出願の実施形態で提供されるパノラマビデオのためのダイナミックレンジマッピング方法は、ステップ306およびステップ307をさらに含む。

【手続補正10】

【補正対象書類名】明細書

【補正対象項目名】０２３６

【補正方法】変更

【補正の内容】

【0236】

S113：候補トラバーサル順序において、ヒストグラム間の差分の合計が最小となるトラバーサル順序を最終的なトラバーサル順序として決定する。

【手続補正11】

【補正対象書類名】明細書

【補正対象項目名】０２３７

【補正方法】変更

【補正の内容】

【0237】

例えば、DiffHIS＿Z₁、DiffHIS＿Z₂、DiffHIS＿Z₃、およびDiffHIS＿Z₄の値が比較され、ヒストグラム間の差分の合計が最小となるトラバーサル順序が最終的なトラバーサル順序として決定される。

【手続補正12】

【補正対象書類名】明細書

【補正対象項目名】０２４９

【補正方法】変更

【補正の内容】

【0249】

これに対応して、本出願の実施形態は、パノラマビデオのためのダイナミックレンジマッピング装置を提供する。装置は、電子デバイスで使用されてもよい。本出願の実施形態では、装置は、前述の方法例に基づいて機能モジュールに分割されてもよい。例えば、分割することによって機能に対応する機能モジュールが得られてもよく、あるいは2つ以上の機能が1つの処理モジュールに統合されてもよい。統合されたモジュールは、ハードウェアの形態で実装されてもよく、またはソフトウェア機能モジュールの形態で実装されてもよい。本出願の実施形態において、モジュールの分割は、例であり、単なる論理機能の分割であることに留意されたい。実際の実施中には、別の分割方式が使用されてもよい。

【手続補正13】

【補正対象書類名】明細書

【補正対象項目名】０２５０

【補正方法】変更

【補正の内容】

【0250】

各機能モジュールが各対応する機能に基づく分割によって得られるとき、図15は、前述の実施形態におけるパノラマビデオのためのダイナミックレンジマッピング装置の可能な構造の図である。図15に示されるように、本装置は、分割モジュール1501と、取得モジュール1502と、決定モジュール1503と、処理モジュール1504とを含む。分割モジュール1501は、2次元パノラマ投影画像を分割して2次元パノラマ投影画像の複数の領域を取得するように、例えば、方法実施形態におけるステップ302を実行するように構成される。2次元パノラマ投影画像は、パノラマビデオ内の3次元パノラマ画像の任意のフレームに対応する2次元パノラマ投影画像であり、複数の領域の各々は、プリセット条件を満たし、プリセット条件は、2次元パノラマ投影画像内で隣接し、かつ3次元パノラマ画像内で隣接しない画素が同じ領域内に位置していない、および3次元パノラマ画像内で隣接しない画素が同じ領域内に位置していない、という条件のうちの少なくとも1つを含む。2次元パノラマ投影画像内で隣接する画素点は、3次元パノラマ画像の少なくとも2つの隣接する投影面上の画素を含み、3次元パノラマ画像内で隣接しない画素は、3次元パノラマ画像内にあり、少なくとも2つの隣接していない投影面に対応する画素を含む。取得モジュール1502は、2次元パノラマ投影画像のメタデータを取得するように、例えば、方法実施形態におけるステップ303を実行するように構成される。メタデータは、2次元パノラマ投影画像の複数の領域にそれぞれ対応するメタデータ情報要素を含み、1つの領域に対応するメタデータ情報要素は、その領域の動的マッピング情報を含む。決定モジュール1503は、複数の領域のそれぞれの動的マッピング情報に基づいて、現在の画角範囲内の各画素の動的マッピング情報を決定するように、例えば、方法の実施形態のステップ304を実行するように構成される。処理モジュール1504は、現在の画角範囲内の各画素の動的マッピング情報に基づいて現在の画角範囲内の各画素に対してダイナミックレンジマッピングを実行して、現在の画角範囲内の2次元パノラマ投影画像を取得するように、例えば、方法実施形態におけるステップ305を実行するように構成される。現在の画角範囲内の2次元パノラマ投影画像は、表示または後続の処理に使用される。

【国際調査報告】