知財求人 - 知財ポータルサイト「IP Force」
特表2024-531746トーンマッピング方法およびシステム、ならびにデバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-29
(54)【発明の名称】トーンマッピング方法およびシステム、ならびにデバイス
(51)【国際特許分類】
H04N 5/202 20230101AFI20240822BHJP
【ＦＩ】
H04N5/202
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024516676
(86)(22)【出願日】2022-07-07
(85)【翻訳文提出日】2024-04-24
(86)【国際出願番号】 CN2022104317
(87)【国際公開番号】W WO2023040431
(87)【国際公開日】2023-03-23
(31)【優先権主張番号】202111080645.7
(32)【優先日】2021-09-15
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133569
【弁理士】
【氏名又は名称】野村 進
(72)【発明者】
【氏名】徐 巍▲ウェイ▼
(72)【発明者】
【氏名】文 ▲錦▼松
(72)【発明者】
【氏名】▲呉▼ 蕾
(72)【発明者】
【氏名】▲馬▼ ▲鐘▼柯
(72)【発明者】
【氏名】▲賈▼ 彦冰
(72)【発明者】
【氏名】余 全合
(72)【発明者】
【氏名】王 梓仲
(72)【発明者】
【氏名】王 弋川
(72)【発明者】
【氏名】▲陳▼ ▲虎▼
(57)【要約】
本出願は、トーンマッピング効果を改善することができる技術的解決策を提供するために、トーンマッピング方法およびシステム、ならびにデバイスを提供する。本方法は、表示されるべき画像フレームおよびメタデータを取得するステップであって、メタデータは少なくとも1つのメタデータ情報ユニットを含む、ステップと、ターゲットセグメント化方法で、表示されるべき画像フレームを複数のセグメント化領域にセグメント化し、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するステップと、i番目の画素に関して、事前設定領域に含まれる複数の画素に対して、複数の画素が属する少なくとも1つの関連するセグメント化領域を決定し、対応関係に基づいて、関連する各セグメント化領域に対応する関連するメタデータ情報ユニットを決定するステップと、関連するメタデータ情報ユニットに基づいて、関連するセグメント化領域に対応するトーンマッピングサブ値を取得し、対応する重み係数を関連するセグメント化領域に割り振るステップと、関連するセグメント化領域に対応するトーンマッピングサブ値および重み係数に基づいてトーンマッピング値を取得するステップと、トーンマッピング値に基づいてトーンマッピングを実行するステップとを含む。
【特許請求の範囲】
【請求項1】
表示エンドデバイスに適用されるトーンマッピング方法であって、前記方法は、表示されるべき画像フレームおよびメタデータを取得するステップであって、前記メタデータは少なくとも1つのメタデータ情報ユニットを含む、ステップと、
ターゲットセグメント化方法で前記表示されるべき画像フレームを複数のセグメント化領域にセグメント化し、前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの対応関係を決定するステップと、
前記表示されるべき画像フレーム内のi番目の画素に関して、以下の動作、すなわち、
前記i番目の画素に対して選択された事前設定領域に含まれる複数の画素に基づいて、前記複数の画素が属する少なくとも1つの関連するセグメント化領域を決定し、前記対応関係に基づいて、前記関連するセグメント化領域の各々に対応する関連するメタデータ情報ユニットを決定する動作と、
前記関連するメタデータ情報ユニットに基づいて、前記関連するセグメント化領域の各々に対応するトーンマッピングサブ値を取得し、対応する重み係数を前記関連するセグメント化領域の各々に割り振る動作と、
前記関連するセグメント化領域の各々に対応する前記トーンマッピングサブ値および前記重み係数に基づいて前記i番目の画素のトーンマッピング値を取得し、前記トーンマッピング値に基づいて前記i番目の画素に対してトーンマッピングを実行する動作と
を実行するステップと
を含み、
iは、1～Nの任意の正の整数であり、Nは、前記表示されるべき画像フレームに含まれる画素の数である、方法。
【請求項2】
対応する重み係数を前記関連するセグメント化領域の各々に割り振る前記動作は、以下の方法、すなわち、前記関連するセグメント化領域の各々内の前記事前設定領域に属する画素の数と前記事前設定領域に対応する画素の総数とを別々に決定し、第1の関連するセグメント化領域に関して、以下の動作、すなわち、前記第1の関連するセグメント化領域内の前記事前設定領域に属する画素の数および前記画素の総数に基づいて、対応する第1の重み係数を前記第1の関連するセグメント化領域に割り振る動作であって、前記第1の関連するセグメント化領域は、前記少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行する方法、ならびに／または
前記関連するセグメント化領域の各々内の前記事前設定領域に対応する事前設定特徴値を別々に決定し、第2の関連するセグメント化領域に関して、以下の動作、すなわち、前記第2の関連するセグメント化領域内の前記事前設定領域に対応する事前設定特徴値と前記i番目の画素の事前設定特徴値との特徴差に基づいて、対応する第2の重み係数を前記第2の関連するセグメント化領域に割り振る動作であって、前記第2の関連するセグメント化領域は、前記少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行する方法
の1つまたは組合せを含む、請求項1に記載の方法。
【請求項3】
前記メタデータは、以下の情報、すなわち、第1の加重強度値または第2の加重強度値の1つまたは組合せをさらに含み、前記第1の加重強度値は、前記表示されるべき画像フレームの画素数分布ステータスに基づいて前記第1の重み係数を調整するために使用され、前記第2の加重強度値は、前記表示されるべき画像フレームの事前設定特徴値変化ステータスに基づいて前記第2の重み係数を調整するために使用される、請求項2に記載の方法。
【請求項4】
前記事前設定特徴値は、以下の特徴値、すなわち輝度特徴値または色特徴値のうちの1つである、請求項2または3に記載の方法。
【請求項5】
少なくとも1つの前記事前設定特徴値がある、請求項4に記載の方法。
【請求項6】
前記関連するメタデータ情報ユニットに基づいて、前記関連するセグメント化領域の各々に対応するトーンマッピングサブ値を取得する前記動作は、トーンマッピング曲線に基づいて、前記関連するセグメント化領域における前記i番目の画素に対応するトーンマッピングサブ値を取得する動作であって、前記関連するメタデータ情報ユニットは、前記トーンマッピング曲線のパラメータを含む、動作
を含む、請求項1に記載の方法。
【請求項7】
前記i番目の画素に対して選択された前記事前設定領域は、前記i番目の画素を中心として使用して選択された、事前設定サイズの事前設定形状の領域、前記i番目の画素を中心として使用して、前記メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定された領域、または前記i番目の画素を中心として使用して、前記メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定された領域である、請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの対応関係を決定する前記ステップは、任意の前記セグメント化領域に関して、前記セグメント化領域から事前設定位置にある画素を選択し、前記事前設定位置にある前記画素の座標情報を取得するステップ、および前記座標情報に基づいて、前記セグメント化領域に対応するメタデータ情報ユニットを決定するステップ、および前記セグメント化領域と前記対応するメタデータ情報ユニットとの対応関係を確立するステップ、または
任意の前記メタデータ情報ユニットに関して、前記メタデータ情報ユニットに含まれる1つ以上の座標情報に基づいて、前記1つ以上の座標情報に対応する少なくとも1つのセグメント化領域を決定するステップ、および前記メタデータ情報ユニットと前記対応する少なくとも1つのセグメント化領域との対応関係を確立するステップ
を含む、請求項1に記載の方法。
【請求項9】
前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの対応関係を決定する前記ステップは、前記セグメント化領域の各々に対応するメタデータ情報ユニットを決定するために、ターゲット走査シーケンスおよびセグメント化領域識別子に基づいて前記複数のセグメント化領域をトラバースするステップであって、前記メタデータ情報ユニットは前記対応するセグメント化領域識別子を含み、前記ターゲット走査シーケンスは、事前設定された走査シーケンスまたは前記メタデータで示される走査シーケンスである、ステップ
を含む、請求項1に記載の方法。
【請求項10】
前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの間に1対1の対応関係または多対1の対応関係がある、請求項1から9のいずれか一項に記載の方法。
【請求項11】
前記ターゲットセグメント化方法は、事前設定されたセグメント化方法または前記メタデータで示されるセグメント化方法である、請求項1から10のいずれか一項に記載の方法。
【請求項12】
キャプチャエンドデバイスに適用されるトーンマッピング方法であって、前記方法は、表示されるべきデータフレームを取得するために画像データをキャプチャするステップと、
ターゲットセグメント化方法で前記表示されるべきデータフレームを複数のセグメント化領域にセグメント化し、前記複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定するステップと、
前記表示されるべきデータフレームおよびメタデータを表示エンドデバイスに送信するステップであって、前記メタデータは前記少なくとも1つのメタデータ情報ユニットを含む、ステップと
を含む、方法。
【請求項13】
前記方法は、前記複数のセグメント化領域にそれぞれ含まれる画素の数に基づいて第1の加重強度値を決定するステップ、および／または
前記複数のセグメント化領域にそれぞれ対応する事前設定特徴値に基づいて第2の加重強度値を決定するステップ、ならびに
前記第1の加重強度値および／または前記第2の加重強度値を前記メタデータに関連付けるステップ
をさらに含む、請求項12に記載の方法。
【請求項14】
前記事前設定特徴値は、以下の特徴値、すなわち輝度特徴値または色特徴値のうちの1つである、請求項13に記載の方法。
【請求項15】
少なくとも1つの前記事前設定特徴値がある、請求項14に記載の方法。
【請求項16】
前記メタデータ情報ユニットは、セグメント化領域に対応するトーンマッピング曲線のパラメータを含む、請求項12に記載の方法。
【請求項17】
前記メタデータは事前設定サイズ情報をさらに含み、前記事前設定サイズ情報は、画素に対して事前設定領域が選択されるときに使用される事前設定形状の事前設定サイズを示し、または前記メタデータは、事前設定形状および事前設定サイズ情報をさらに含む、請求項12から16のいずれか一項に記載の方法。
【請求項18】
前記複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定する前記ステップは、前記セグメント化領域から事前設定位置にある複数の画素を選択し、前記事前設定位置にある前記複数の画素の座標情報を取得するステップと、
前記座標情報を前記メタデータ情報ユニットに関連付けるステップと
を含む、請求項12に記載の方法。
【請求項19】
前記メタデータ情報ユニットは、前記メタデータ情報ユニットに対応するセグメント化領域識別子と走査シーケンスとをさらに含み、前記対応するセグメント化領域識別子および前記走査シーケンスは、前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの対応関係を決定するために前記表示エンドデバイスによって使用される、請求項12に記載の方法。
【請求項20】
前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの間に1対1の対応関係または多対1の対応関係がある、請求項12から19のいずれか一項に記載の方法。
【請求項21】
前記方法は、前記ターゲットセグメント化方法で前記表示されるべきデータフレームをセグメント化するように前記表示エンドデバイスに示すために、前記ターゲットセグメント化方法を前記メタデータに関連付けるステップ
をさらに含む、請求項12に記載の方法。
【請求項22】
互いに結合された不揮発性メモリおよびプロセッサを備える表示エンドデバイスであって、前記プロセッサは、請求項1から11のいずれか一項に記載の方法を実行するために、前記メモリに記憶されたプログラムコードを呼び出す、表示エンドデバイス。
【請求項23】
互いに結合された不揮発性メモリおよびプロセッサを備えるキャプチャエンドデバイスであって、前記プロセッサは、請求項12から21のいずれか一項に記載の方法を実行するために、前記メモリに記憶されたプログラムコードを呼び出す、キャプチャエンドデバイス。
【請求項24】
請求項22に記載の表示エンドデバイスと、請求項23に記載のキャプチャエンドデバイスとを備えるトーンマッピングシステム。
【請求項25】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体はコンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサ上で実行されるとき、請求項1から11または請求項12から21のいずれか一項に記載の方法が実施される、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2021年9月15日に中国国家知識産権局に出願された、「トーンマッピング方法およびシステム、ならびにデバイス」と題された中国特許出願第202111080645．7号の優先権を主張するものであり、その全体は参照によりここに組み込まれる。
本出願は、2021年9月15日に中国国家知識産権局に出願された、「トーンマッピング方法およびシステム、ならびにデバイス」と題された中国特許出願第202111080645．7号の優先権を主張するものであり、その全体は参照によりここに組み込まれる。
【0002】
本出願は、表示技術の分野に関し、特に、トーンマッピング方法およびシステム、ならびにデバイスに関する。
【背景技術】
【0003】
キャプチャエンドデバイスの開発に伴い、現在、高ダイナミックレンジ（high dynamic range、HDR）ビデオ技術に基づくキャプチャによってHDRビデオまたは画像が取得され得る。HDRビデオまたは画像では、表示可能な画像の輝度範囲が拡大されており、これにより、広い輝度範囲の情報が記録されることができ、画像のより明るい詳細およびより暗い詳細が表示されることができる。
【0004】
しかしながら、既存の表示エンドデバイスの表示能力は一般に限定されており、キャプチャエンドデバイスによってキャプチャされたHDRビデオまたは画像に記録された輝度範囲情報は良好に表示されることができない。例えば、キャプチャエンドデバイスは、その最大輝度が10000カンデラ／m2（cd／m2、輝度単位）である画素をキャプチャし得、表示エンドデバイスは、その最大輝度が4000cd／m2である画素のみを表示し得る。この場合、キャプチャエンドデバイスによってキャプチャされたHDRビデオまたは画像においてその輝度が4000cd／m2～10000cd／m2である画素は良好に表示され得ない。従来技術では、表示されるべき画像に対してトーンマッピング（tone mapping、TM）が実行され得る処理方法が提供されており、これにより、高ダイナミックレンジの画像トーンは、低ダイナミックレンジ表示能力を有する表示エンドデバイスにマッピングされることができる。
【0005】
従来のトーンマッピング方法では、トーンマッピング曲線に基づくもしくはブロックに基づく局所的トーンマッピング方法または別の方法が主に使用され得るが、不十分なトーンマッピング効果の問題が存在する。したがって、トーンマッピング効果をどのように改善するかは研究する価値がある。
【発明の概要】
【0006】
本出願は、トーンマッピング効果を改善することができる技術的解決策を提供するために、トーンマッピング方法およびシステム、ならびにデバイスを提供する。
【課題を解決するための手段】
【0007】
第1の態様によれば、本出願の一実施形態は、表示エンドデバイスに適用されるトーンマッピング方法を提供する。本方法は、表示されるべき画像フレームおよびメタデータを取得するステップであって、メタデータは少なくとも1つのメタデータ情報ユニットを含む、ステップと、ターゲットセグメント化方法で、表示されるべき画像フレームを複数のセグメント化領域にセグメント化し、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するステップと、表示されるべき画像フレーム内のi番目の画素に関して、以下の動作、すなわち、
i番目の画素に対して選択された事前設定領域に含まれる複数の画素に基づいて、複数の画素が属する少なくとも1つの関連するセグメント化領域を決定し、対応関係に基づいて、関連する各セグメント化領域に対応する関連するメタデータ情報ユニットを決定する動作と、関連するメタデータ情報ユニットに基づいて、関連する各セグメント化領域に対応するトーンマッピングサブ値を取得し、対応する重み係数を関連する各セグメント化領域に割り振る動作と、関連する各セグメント化領域に対応するトーンマッピングサブ値および重み係数に基づいてi番目の画素のトーンマッピング値を取得し、トーンマッピング値に基づいてi番目の画素に対してトーンマッピングを実行する動作とを実行するステップとを含み、iは、1～Nの任意の正の整数であり、Nは、表示されるべき画像フレームに含まれる画素の数である。
i番目の画素に対して選択された事前設定領域に含まれる複数の画素に基づいて、複数の画素が属する少なくとも1つの関連するセグメント化領域を決定し、対応関係に基づいて、関連する各セグメント化領域に対応する関連するメタデータ情報ユニットを決定する動作と、関連するメタデータ情報ユニットに基づいて、関連する各セグメント化領域に対応するトーンマッピングサブ値を取得し、対応する重み係数を関連する各セグメント化領域に割り振る動作と、関連する各セグメント化領域に対応するトーンマッピングサブ値および重み係数に基づいてi番目の画素のトーンマッピング値を取得し、トーンマッピング値に基づいてi番目の画素に対してトーンマッピングを実行する動作とを実行するステップとを含み、iは、1～Nの任意の正の整数であり、Nは、表示されるべき画像フレームに含まれる画素の数である。
【0008】
本方法では、表示されるべき画像フレームに対して精細な局所的トーンマッピングを実行する技術的解決策が提供される。表示されるべき画像フレームに含まれる画素に関して、事前設定領域に基づいて局所的トーンマッピングが実施され、これにより、トーンマッピングされた表示されるべき画像フレームに対する表示エンドデバイスの表示効果が改善されることができる。
【0009】
可能な設計では、対応する重み係数を関連する各セグメント化領域に割り振る動作は、以下の方法、すなわち、
方法1：関連する各セグメント化領域内の事前設定領域に属する画素の数と事前設定領域に対応する画素の総数とを別々に決定し、第1の関連するセグメント化領域に関して、以下の動作、すなわち、第1の関連するセグメント化領域内の事前設定領域に属する画素の数および画素の総数に基づいて、対応する第1の重み係数を第1の関連するセグメント化領域に割り振る動作であって、第1の関連するセグメント化領域は、少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行すること、ならびに／または
方法2：関連する各セグメント化領域内の事前設定領域に対応する事前設定特徴値を別々に決定し、第2の関連するセグメント化領域に関して、以下の動作、すなわち、第2の関連するセグメント化領域内の事前設定領域に対応する事前設定特徴値とi番目の画素の事前設定特徴値との特徴差に基づいて、対応する第2の重み係数を第2の関連するセグメント化領域に割り振る動作であって、第2の関連するセグメント化領域は、少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行すること
の1つまたは組合せを含む。
方法1：関連する各セグメント化領域内の事前設定領域に属する画素の数と事前設定領域に対応する画素の総数とを別々に決定し、第1の関連するセグメント化領域に関して、以下の動作、すなわち、第1の関連するセグメント化領域内の事前設定領域に属する画素の数および画素の総数に基づいて、対応する第1の重み係数を第1の関連するセグメント化領域に割り振る動作であって、第1の関連するセグメント化領域は、少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行すること、ならびに／または
方法2：関連する各セグメント化領域内の事前設定領域に対応する事前設定特徴値を別々に決定し、第2の関連するセグメント化領域に関して、以下の動作、すなわち、第2の関連するセグメント化領域内の事前設定領域に対応する事前設定特徴値とi番目の画素の事前設定特徴値との特徴差に基づいて、対応する第2の重み係数を第2の関連するセグメント化領域に割り振る動作であって、第2の関連するセグメント化領域は、少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行すること
の1つまたは組合せを含む。
【0010】
この設計では、対応する重み係数は、画素に対応する事前設定領域内の異なる関連するセグメント化領域の局所的特徴、例えば、画素の数または事前設定特徴値に基づいて、異なる関連するセグメント化領域に割り振られ得る。重み係数が割り振られ、これにより、表示されるべき画像フレームに含まれる画素の精細なトーンマッピングが実施されることができ、表示されるべき画像フレームの画像特徴に基づいてトーンマッピングが実施されることができ、トーンマッピングされた表示されるべき画像フレームに対する表示エンドデバイスの表示効果が改善されることができる。
【0011】
可能な設計では、メタデータは、以下の情報、すなわち、第1の加重強度値または第2の加重強度値の1つまたは組合せをさらに含み、第1の加重強度値は、表示されるべき画像フレームの画素数分布ステータスに基づいて第1の重み係数を調整するために使用され、第2の加重強度値は、表示されるべき画像フレームの事前設定特徴値変化ステータスに基づいて第2の重み係数を調整するために使用される。
【0012】
この設計では、表示されるべき画像フレームの全体的特徴に基づいて、異なるセグメント化領域に割り振られる重み係数は、加重強度値を使用してさらに調整され得る。例えば、表示されるべき画像フレームの画像特徴が同様であるとき、大きい重み係数が割り振られ得る。表示されるべき画像フレームの画像特徴が異なるとき、小さい重み係数が割り振られ得る。このようにして、トーンマッピングによって生成され得る境界効果が低減されることができ、トーンマッピングされた表示されるべき画像フレームに対する表示エンドデバイスの表示効果が改善されることができる。
【0013】
可能な設計では、事前設定特徴値は、以下の特徴値、すなわち輝度特徴値または色特徴値のうちの1つである。少なくとも1つの事前設定特徴値がある。この設計では、事前設定特徴値は、輝度特徴値または色特徴値であってもよい。実際の実施時、事前設定特徴値は、表示されるべき画像フレームに基づいて決定されてもよい。例えば、輝度特徴が表示されるべき画像フレームにとって重要である場合、輝度特徴値が選択されてもよい。表示されるべき画像フレームの色特徴が顕著である場合、色特徴値が選択されてもよい。加えて、設計は、事前設定特徴値の数を限定せず、これにより、表示されるべき画像フレームに対するトーンマッピング効果が改善される。
【0014】
可能な設計では、関連するメタデータ情報ユニットに基づいて、関連する各セグメント化領域に対応するトーンマッピングサブ値を取得する動作は、トーンマッピング曲線に基づいて、関連するセグメント化領域におけるi番目の画素に対応するトーンマッピングサブ値を取得する動作であって、関連するメタデータ情報ユニットは、トーンマッピング曲線のパラメータを含む、動作を含む。
【0015】
この設計では、関連する各セグメント化領域はトーンマッピング曲線に対応し得、これにより、複数のトーンマッピングサブ値を取得するために、関連する各セグメント化領域のトーンマッピングが実施されることができ、正確なトーンマッピング効果を実施するために、トーンマッピングサブ値の精度が改善されることができる。
【0016】
可能な設計では、i番目の画素に対して選択された事前設定領域は、i番目の画素を中心として使用して選択された、事前設定サイズの事前設定形状の領域、i番目の画素を中心として使用して、メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定された領域、またはi番目の画素を中心として使用して、メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定された領域である。
【0017】
この設計では、処理されるべき画素（i番目の画素）を中心として使用して事前設定領域が選択され、次に、事前設定領域に含まれる複数の画素に基づいて、処理されるべき画素に対して精細な局所的トーンマッピングが実行され、これにより、トーンマッピングされた表示されるべき画像フレームに対する表示エンドデバイスの表示効果が改善されることができる。
【0018】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するステップは、任意のセグメント化領域に関して、セグメント化領域から事前設定位置にある画素を選択し、事前設定位置にある画素の座標情報を取得するステップ、および座標情報に基づいて、セグメント化領域に対応するメタデータ情報ユニットを決定するステップ、およびセグメント化領域と対応するメタデータ情報ユニットとの対応関係を確立するステップ、または任意のメタデータ情報ユニットに関して、メタデータ情報ユニットに含まれる1つ以上の座標情報に基づいて、1つ以上の座標情報に対応する少なくとも1つのセグメント化領域を決定するステップ、およびメタデータ情報ユニットと対応する少なくとも1つのセグメント化領域との対応関係を確立するステップを含む。
【0019】
この設計では、事前設定位置の座標情報がインデックスとして使用され、これにより、セグメント化領域とメタデータ情報ユニットとの対応関係が正確かつ容易に決定されることができ、関連する各セグメント化領域のトーンマッピングサブ値が、処理されるべき画素の関連するセグメント化領域に対応する関連するメタデータ情報ユニットに基づいて別々に計算されることができる。
【0020】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するステップは、セグメント化領域の各々に対応するメタデータ情報ユニットを決定するために、ターゲット走査シーケンスおよびセグメント化領域識別子に基づいて複数のセグメント化領域をトラバースするステップであって、メタデータ情報ユニットは対応するセグメント化領域識別子を含み、ターゲット走査シーケンスは、事前設定された走査シーケンスまたはメタデータで示される走査シーケンスである、ステップを含む。
【0021】
この設計では、ターゲット走査シーケンスがさらに使用され得、これにより、セグメント化領域とメタデータ情報ユニットとの対応関係が正確かつ容易に決定されることができ、関連する各セグメント化領域のトーンマッピングサブ値が、処理されるべき画素の関連するセグメント化領域に対応する関連するメタデータ情報ユニットに基づいて別々に計算されることができる。
【0022】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの間には1対1の対応関係または多対1の対応関係がある。この設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの間には1対1の対応関係または多対1の対応関係があってもよい。多対1の対応関係によって、キャプチャエンドデバイスと表示エンドデバイスとの間で伝送される必要があるメタデータの情報量が低減されることができ、メタデータ伝送効率が改善されることができる。
【0023】
可能な設計では、ターゲットセグメント化方法は、事前設定されたセグメント化方法またはメタデータで示されるセグメント化方法である。この設計では、ターゲットセグメント化方法は、キャプチャエンドデバイスおよび表示エンドデバイスによって別々に事前記憶されてもよく、または表示エンドデバイスによって使用されるセグメント化方法は、キャプチャエンドデバイスによって示されてもよく、これにより、キャプチャエンドデバイスと表示エンドデバイスとの間のトーンマッピングの精度が保証されることができる。
【0024】
第2の態様によれば、本出願の一実施形態は、キャプチャエンドデバイスに適用されるメタデータ生成方法を提供する。本方法は、表示されるべきデータフレームを取得するために画像データをキャプチャするステップと、ターゲットセグメント化方法で、表示されるべきデータフレームを複数のセグメント化領域にセグメント化し、複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定するステップと、表示されるべきデータフレームおよびメタデータを表示エンドデバイスに送信するステップであって、メタデータは少なくとも1つのメタデータ情報ユニットを含む、ステップとを含む。
【0025】
可能な設計では、本方法は、複数のセグメント化領域にそれぞれ含まれる画素の数に基づいて第1の加重強度値を決定するステップ、および／または複数のセグメント化領域にそれぞれ対応する事前設定特徴値に基づいて第2の加重強度値を決定するステップ、ならびに第1の加重強度値および／または第2の加重強度値をメタデータに関連付けるステップをさらに含む。
【0026】
可能な設計では、事前設定特徴値は、以下の特徴値、すなわち輝度特徴値または色特徴値のうちの1つである。少なくとも1つの事前設定特徴値がある。
【0027】
可能な設計では、メタデータ情報ユニットは、セグメント化領域に対応するトーンマッピング曲線のパラメータを含む。
【0028】
可能な設計では、メタデータは事前設定サイズ情報をさらに含み、事前設定サイズ情報は、画素に対して事前設定領域が選択されるときに使用される事前設定形状の事前設定サイズを示し、またはメタデータは、事前設定形状および事前設定サイズ情報をさらに含む。
【0029】
可能な設計では、複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定するステップは、
セグメント化領域から事前設定位置にある複数の画素を選択し、事前設定位置にある複数の画素の座標情報を取得するステップと、座標情報をメタデータ情報ユニットに関連付けるステップと
を含む。
セグメント化領域から事前設定位置にある複数の画素を選択し、事前設定位置にある複数の画素の座標情報を取得するステップと、座標情報をメタデータ情報ユニットに関連付けるステップと
を含む。
【0030】
可能な設計では、メタデータ情報ユニットは、メタデータ情報ユニットに対応するセグメント化領域識別子および走査シーケンスをさらに含む。対応するセグメント化領域識別子および走査シーケンスは、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するために表示エンドデバイスによって使用される。
【0031】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの間には1対1の対応関係または多対1の対応関係がある。
【0032】
可能な設計では、本方法は、ターゲットセグメント化方法で、表示されるべきデータフレームをセグメント化するように表示エンドデバイスに示すために、ターゲットセグメント化方法をメタデータに関連付けるステップをさらに含む。
【0033】
第3の態様によれば、本出願の一実施形態はトーンマッピング処理装置を提供する。本装置は、第1の態様または第1の態様の可能な実施態様のいずれか1つにおける方法を実行するように構成されたモジュールを含む。
【0034】
例えば、本装置は、取得モジュールと、処理モジュールと、トーンマッピングモジュールとを含み得る。取得モジュールは、表示されるべき画像フレームおよびメタデータを取得し、メタデータは、少なくとも1つのメタデータ情報ユニットを含む、ように構成される。処理モジュールは、ターゲットセグメント化方法で、表示されるべき画像フレームを複数のセグメント化領域にセグメント化し、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するように構成される。トーンマッピングモジュールは、表示されるべき画像フレーム内のi番目の画素に関して、以下の動作、すなわち、i番目の画素に対して選択された事前設定領域に含まれる複数の画素に基づいて、複数の画素が属する少なくとも1つの関連するセグメント化領域を決定し、対応関係に基づいて、関連する各セグメント化領域に対応する関連するメタデータ情報ユニットを決定する動作と、関連するメタデータ情報ユニットに基づいて、関連する各セグメント化領域に対応するトーンマッピングサブ値を取得し、対応する重み係数を関連する各セグメント化領域に割り振る動作と、関連する各セグメント化領域に対応するトーンマッピングサブ値および重み係数に基づいてi番目の画素のトーンマッピング値を取得し、トーンマッピング値に基づいてi番目の画素に対してトーンマッピングを実行する動作とを実行し、iは、1～Nの任意の正の整数であり、Nは、表示されるべき画像フレームに含まれる画素の数である、ように構成される。
【0035】
可能な設計では、対応する重み係数を関連する各セグメント化領域に割り振るように構成されるとき、トーンマッピングモジュールは、具体的には、関連する各セグメント化領域内の事前設定領域に属する画素の数と事前設定領域に対応する画素の総数とを別々に決定し、第1の関連するセグメント化領域に関して、以下の動作、すなわち、第1の関連するセグメント化領域内の事前設定領域に属する画素の数および画素の総数に基づいて、対応する第1の重み係数を第1の関連するセグメント化領域に割り振る動作であって、第1の関連するセグメント化領域は、少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行し、ならびに／または関連する各セグメント化領域内の事前設定領域に対応する事前設定特徴値を別々に決定し、第2の関連するセグメント化領域に関して、以下の動作、すなわち、第2の関連するセグメント化領域内の事前設定領域に対応する事前設定特徴値とi番目の画素の事前設定特徴値との特徴差に基づいて、対応する第2の重み係数を第2の関連するセグメント化領域に割り振る動作であって、第2の関連するセグメント化領域は、少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行するように構成される。
【0036】
可能な設計では、メタデータは、以下の情報、すなわち、第1の加重強度値または第2の加重強度値の1つまたは組合せをさらに含む。第1の加重強度値は、表示されるべき画像フレームの画素数分布ステータスに基づいて第1の重み係数を調整するために使用される。第2の加重強度値は、表示されるべき画像フレームの事前設定特徴値変化ステータスに基づいて第2の重み係数を調整するために使用される。
【0037】
可能な設計では、事前設定特徴値は、以下の特徴値、すなわち輝度特徴値または色特徴値のうちの1つである。少なくとも1つの事前設定特徴値がある。
【0038】
可能な設計では、関連するメタデータ情報ユニットに基づいて、関連する各セグメント化領域に対応するトーンマッピングサブ値を取得するように構成されるとき、トーンマッピングモジュールは、具体的には、トーンマッピング曲線に基づいて、関連するセグメント化領域におけるi番目の画素に対応するトーンマッピングサブ値を取得し、関連するメタデータ情報ユニットは、トーンマッピング曲線のパラメータを含む、ように構成される。
【0039】
可能な設計では、i番目の画素に対して選択された事前設定領域は、i番目の画素を中心として使用して選択された、事前設定サイズの事前設定形状の領域、i番目の画素を中心として使用して、メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定された領域、またはi番目の画素を中心として使用して、メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定された領域である。
【0040】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するように構成されるとき、処理モジュールは、具体的には、任意のセグメント化領域に関して、セグメント化領域から事前設定位置にある画素を選択し、事前設定位置にある画素の座標情報を取得し、座標情報に基づいて、セグメント化領域に対応するメタデータ情報ユニットを決定し、セグメント化領域と対応するメタデータ情報ユニットとの対応関係を確立し、または任意のメタデータ情報ユニットに関して、メタデータ情報ユニットに含まれる1つ以上の座標情報に基づいて、1つ以上の座標情報に対応する少なくとも1つのセグメント化領域を決定し、メタデータ情報ユニットと対応する少なくとも1つのセグメント化領域との対応関係を確立するように構成される。
【0041】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するように構成されるとき、処理モジュールは、具体的には、セグメント化領域の各々に対応するメタデータ情報ユニットを決定するために、ターゲット走査シーケンスおよびセグメント化領域識別子に基づいて複数のセグメント化領域をトラバースし、メタデータ情報ユニットは対応するセグメント化領域識別子を含み、ターゲット走査シーケンスは、事前設定された走査シーケンスまたはメタデータで示される走査シーケンスである、ように構成される。
【0042】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの間には1対1の対応関係または多対1の対応関係がある。
【0043】
可能な設計では、ターゲットセグメント化方法は、事前設定されたセグメント化方法またはメタデータで示されるセグメント化方法である。
【0044】
第4の態様によれば、本出願の一実施形態はトーンマッピング装置を提供する。本装置は、第2の態様または第2の態様の可能な実施態様のいずれか1つによる方法を実行するように構成されたモジュールを含む。
【0045】
例えば、本装置は、キャプチャモジュールと、処理モジュールと、トランシーバモジュールとを含み得る。キャプチャモジュールは、表示されるべきデータフレームを取得するために画像データをキャプチャするように構成される。処理モジュールは、ターゲットセグメント化方法で、表示されるべきデータフレームを複数のセグメント化領域にセグメント化し、複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定するように構成される。トランシーバモジュールは、表示されるべきデータフレームおよびメタデータを表示エンドデバイスに送信し、メタデータは、少なくとも1つのメタデータ情報ユニットを含む、ように構成される。
【0046】
可能な設計では、処理モジュールは、複数のセグメント化領域にそれぞれ含まれる画素の数に基づいて第1の加重強度値を決定し、および／または複数のセグメント化領域にそれぞれ対応する事前設定特徴値に基づいて第2の加重強度値を決定し、ならびに第1の加重強度値および／または第2の加重強度値をメタデータに関連付けるようにさらに構成される。
【0047】
可能な設計では、事前設定特徴値は、以下の特徴値、すなわち輝度特徴値または色特徴値のうちの1つである。少なくとも1つの事前設定特徴値がある。
【0048】
可能な設計では、メタデータ情報ユニットは、セグメント化領域に対応するトーンマッピング曲線のパラメータを含む。
【0049】
可能な設計では、メタデータは事前設定サイズ情報をさらに含み、事前設定サイズ情報は、画素に対して事前設定領域が選択されるときに使用される事前設定形状の事前設定サイズを示し、またはメタデータは、事前設定形状および事前設定サイズ情報をさらに含む。
【0050】
可能な設計では、複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定するように構成されるとき、処理モジュールは、具体的には、セグメント化領域から事前設定位置にある複数の画素を選択し、事前設定位置にある複数の画素の座標情報を取得し、座標情報をメタデータ情報ユニットに関連付けるように構成される。
【0051】
可能な設計では、メタデータ情報ユニットは、メタデータ情報ユニットに対応するセグメント化領域識別子および走査シーケンスをさらに含む。対応するセグメント化領域識別子および走査シーケンスは、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するために表示エンドデバイスによって使用される。
【0052】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの間には1対1の対応関係または多対1の対応関係がある。
【0053】
可能な設計では、処理モジュールは、ターゲットセグメント化方法で、表示されるべきデータフレームをセグメント化するように表示エンドデバイスに示すために、ターゲットセグメント化方法をメタデータに関連付けるようにさらに構成される。
【0054】
第5の態様によれば、本出願の一実施形態は、互いに結合された不揮発性メモリおよびプロセッサを含む表示エンドデバイスを提供する。プロセッサは、第1の態様または第1の態様の可能な実施態様のいずれか1つによる方法を実行するために、メモリに記憶されたプログラムコードを呼び出す。
【0055】
第6の態様によれば、本出願の一実施形態は、互いに結合された不揮発性メモリおよびプロセッサを含むキャプチャエンドデバイスを提供する。プロセッサは、第2の態様または第2の態様の可能な実施態様のいずれか1つによる方法を実行するために、メモリに記憶されたプログラムコードを呼び出す。
【0056】
第7の態様によれば、本出願の一実施形態は、プログラムまたは命令を含むコンピュータ可読記憶媒体を提供する。プログラムまたは命令がコンピュータ上で実行されるとき、第1の態様または第1の態様の可能な実施態様のいずれか1つによる方法が実行されるか、または第2の態様または第2の態様の可能な実施態様のいずれか1つによる方法が実行される。
【0057】
第2の態様から第7の態様で達成されることができる技術的効果の詳細については、第1の態様または第1の態様の可能な実施態様のいずれか1つによってもたらされる技術的効果の説明を参照することを理解されたい。ここでは詳細は再び説明されない。
【図面の簡単な説明】
【0058】
【図1】PQ光電伝達関数の関係の概略図である。
【図2】HLG光電伝達関数の関係の概略図である。
【図3】SLF光電伝達関数の関係の概略図である。
【図4】本出願の一実施形態が適用可能である可能なシステムアーキテクチャの概略図である。
【図5】本出願の一実施形態によるトーンマッピング方法の概略フローチャートである。
【図6】本出願の一実施形態によるセグメント化方法Aにおけるセグメント化の概略図である。
【図7】本出願の一実施形態によるセグメント化方法Bにおけるセグメント化の概略図である。
【図8】本出願の一実施形態によるセグメント化方法Cにおけるセグメント化の概略図である。
【図9】本出願の一実施形態による走査シーケンスの概略図である。
【図10】本出願の一実施形態による関連するセグメント化領域を決定する概略図である。
【図11】本出願の一実施形態による関連するセグメント化領域を決定する別の概略図である。
【図12】本出願の一実施形態による輝度特徴値の概略図である。
【図13】本出願の一実施形態によるトーンマッピング方法の別の概略フローチャートである。
【図14】本出願の一実施形態によるトーンマッピング装置の構造の概略図である。
【図15】本出願の一実施形態によるトーンマッピング装置の構造の別の概略図である。
【図16】本出願の一実施形態による電子デバイスの構造の概略図である。
【発明を実施するための形態】
【0059】
本出願の実施形態では、「少なくとも1つ」という用語は1つ以上を示し、「複数の」は2つ以上を示す。および／または、関連付けられた対象間の関連付け関係を説明し、3つの関係が存在し得ることを表す。例えば、Aおよび／またはBは、以下の場合、すなわち、Aのみが存在する、AとBとの両方が存在する、およびBのみが存在する、を表し得、AおよびBは単数または複数であってもよい。記号「／」は一般に、関連付けられた対象間の「または」関係を示す。以下のもの（要素）のうちの少なくとも1つまたはその同様の表現は、単数のもの（要素）または複数のもの（要素）の任意の組合せを含む、これらのものの任意の組合せを指す。例えば、a、b、またはcのうちの少なくとも1つのもの（要素）は、a、b、c、aおよびb、aおよびc、bおよびc、またはa、b、およびcを示し得る。a、b、c、aおよびb、aおよびc、bおよびc、またはa、b、およびcのいずれの1つも、単数a、単数b、および単数cを含んでもよいし、または複数a、複数b、および複数cを含んでもよい。
【0060】
加えて、別段に記載されない限り、本出願の実施形態における「第1の」および「第2の」などの序数は、複数の対象を区別するためのものであるが、複数の対象の順序、時系列、優先度、または重要度を限定することを意図されていない。例えば、第1の優先基準および第2の優先基準は、異なる基準を区別するために使用されるにすぎず、2つの基準の異なる内容、優先度、または重要度などを示すものではない。
【0061】
加えて、本出願の実施形態、特許請求の範囲、および添付の図面における「含む」および「有する」という用語は排他的ではない。例えば、一連のステップまたはモジュール／ユニットを含むプロセス、方法、システム、製品、またはデバイスは、列挙されたステップまたはモジュールに限定されず、列挙されていないステップまたはモジュール／ユニットをさらに含み得る。
【0062】
デジタル画像表示の分野では、ダイナミックレンジ（dynamic range）は、表示可能な画像範囲内の最小グレースケール値に対する最大グレースケール値の比を表し得る。現在、ほとんどのカラーデジタル画像では、チャネルR、G、およびBの各々は、1バイト、すなわち8ビットを使用して記憶される。具体的には、各チャネルの表現範囲が0～255のグレースケールレベルであるとき、画像のダイナミックレンジは0～255である。しかしながら、現実世界における同じシーンのダイナミックレンジは、一般に10－3～106であり、高ダイナミックレンジ（high dynamic range、HDR）と呼ばれ得る。高ダイナミックレンジと比較して、一般的な画像のダイナミックレンジは、低ダイナミックレンジ（low dynamic range、LDR）と呼ばれ、LDRは、一般に1～100である。したがって、デジタルカメラの撮像プロセスは、実際には現実世界の高ダイナミックレンジから写真の低ダイナミックレンジへのマッピングプロセスであることが理解され得る。
【0063】
画像のより大きいダイナミックレンジは、画像によって示されるより多くのシーンの詳細およびより豊かな輝度レベル、ならびにより鮮明な視覚効果を示す。
【0064】
光学デジタル撮像プロセス（例えば、デジタルカメラの撮像プロセスおよびビデオ再生プロセス）は、画像センサを使用し、デジタル画像の形態で記憶を実行することによって、現実のシーンの光放射を電気信号に変換することである。画像表示は、表示エンドデバイスを使用して、デジタル画像によって記述された現実のシーンを再現することを目的とする。光学デジタル撮像プロセスおよび画像表示の最終目的は、ユーザが現実のシーンを直接観察するときに得られるものと同じ視覚的知覚をユーザが得ることを可能にすることである。現実のシーンの光放射（光信号）によって実際に示されることができる輝度レベルは、ほぼ線形である。したがって、光信号は線形信号とも呼ばれる。しかしながら、光デジタル撮像で光信号を電気信号に変換するプロセスにおいて、すべての光信号が1つの電気信号に対応するわけではない。加えて、変換によって取得される電気信号は、一般に非線形である。したがって、電気信号は非線形信号とも呼ばれる。光信号を電気信号に変換する曲線は、光電伝達関数（optical electro transfer function、OETF）である。本出願の実施形態における光電伝達関数は、知覚量子化器（perceptual quantizer、PQ）光電伝達関数、ハイブリッドログガンマ（hybrid log－gamma、HLG）光電伝達関数、およびシーン輝度忠実度（scene luminance fidelity、SLF）光電伝達関数などを含み得るが、これらに限定されない。
【0065】
PQ光電伝達関数は、人間の目の輝度知覚モデルに基づいて提供される知覚量子化器光電伝達関数である。PQ光電伝達関数は、画像画素の線形信号値からPQドメインの非線形信号値への変換関係を示す。図1は、PQ光電伝達関数の関係の概略図である。PQ光電伝達関数は、式（1－1）のように表現されることができる。
【数1】
【0066】
式（1－1）中のパラメータは、以下の式による計算によって取得される。
【数2】
【0067】
Lは線形信号値を示し、この値は［0，1］に正規化される。
【0068】
L’は非線形信号値を示し、この値の範囲は［0，1］である。
【0069】
【数3】
【0070】
【数4】
【0071】
【数5】
【0072】
【数6】
【0073】
【数7】
【0074】
HLG光電伝達関数は、従来のGamma曲線の改善によって取得される。HLG光電伝達関数に関して、下半分の領域では従来のGamma曲線が使用され、上半分の領域にはlog曲線が追加される。図2は、HLG光電伝達関数の関係の概略図である。HLG光電伝達関数は、画像画素の線形信号値からHLGドメインの非線形信号値への変換関係を示す。HLG光電伝達関数は、式（1－2）のように表現され得る。
【数8】
【0075】
Lは線形信号値を示し、この値の範囲は［0，12］である。L’は非線形信号値を示し、この値の範囲は［0，1］である。a＝0．17883277であり、HLG光電伝達係数を示す。b＝0．28466892であり、HLG光電伝達係数を示す。c＝0．55991073であり、HLG光電伝達係数を示す。
【0076】
SLF光電伝達関数は、人間の目の光学特性が満たされるときのHDRシーンの輝度分布に基づいて取得される最適な曲線である。図3は、SLF光電伝達関数の関係の概略図である。
【0077】
SLF光電伝達曲線は、画像画素の線形信号値からSLFドメインの非線形信号値への変換関係を示す。画像画素の線形信号値からSLFドメインの非線形信号値への変換関係は、式（1－3）のように表現される。
【数9】
【0078】
SLF光電伝達関数は、式（1－4）のように表現されることができる。
【数10】
【0079】
Lは線形信号値を示し、この値は［0，1］に正規化される。L’は非線形信号値を示し、この値の範囲は［0，1］である。p＝2．3であり、SLF光電伝達係数を示す。m＝0．14であり、SLF光電伝達係数を示す。a＝1．12762であり、SLF光電伝達係数を示す。b＝－0．12762であり、SLF光電伝達係数を示す。
【0080】
現在、キャプチャエンドデバイスは、より大きいダイナミックレンジを有するHDRビデオまたは画像をキャプチャすることができる（以下の実施形態では、説明のための例として画像が使用され、ビデオは画像の複数のフレームとして表され得ることが理解され得る）。しかしながら、表示エンドデバイスの表示能力は限定されており、キャプチャエンドデバイスのダイナミックレンジに十分に適合することができない。従来技術では、表示されるべき画像に対してトーンマッピング（tone mapping、TM）が実行され得る処理方法が提供され、これにより、異なるダイナミックレンジの画像のマッチングが実施されることができる。例えば、トーンマッピングは、高ダイナミックレンジから低ダイナミックレンジへ、または低ダイナミックレンジから高ダイナミックレンジへ分類され得る。例えば、キャプチャエンドデバイスによってキャプチャされたHDR画像は、4000ニト（nit、照明信号単位）の照明信号を含み、表示エンドデバイス（例えば、テレビまたは携帯電話）のHDR表示能力はわずか500nitである。この場合、4000nitの信号は、500nitのデバイスにマッピングされる必要がある。すなわち、トーンマッピングプロセスは、高から低へである。別の例では、HDR画像は100nitのSDR信号を含み、ターゲット表示エンドデバイスの表示能力はわずか2000nitである。この場合、100nitの信号は、2000nitのデバイスにマッピングされる必要がある。すなわち、トーンマッピングプロセスは、低から高へである。
【0081】
トーンマッピングは、一般に、キャプチャエンドデバイスによってキャプチャされた高レベルHDR画像と、表示エンドデバイスによって表示される低レベルHDR画像またはSDR画像とのマッチングに適用される。図4は、本出願の一実施形態が適用可能である可能なシステムアーキテクチャの概略図である。本出願のこの実施形態におけるシステムアーキテクチャは、キャプチャエンドデバイス401、表示エンドデバイス402、および伝送リンク403を含み得る。表示エンドデバイス402は、さらに具体的には、HDR表示デバイス402aとSDR表示デバイス402bとに分類され得る。
【0082】
キャプチャエンドデバイス401は、HDRビデオまたは画像をキャプチャまたは作成するように構成される。例えば、キャプチャエンドデバイス401は、ビデオ（もしくは画像）キャプチャデバイスであってもよいし、またはビデオ（もしくは画像）生成デバイスであってもよい。可能な例では、キャプチャエンドデバイス401は、HDRビデオまたは画像に基づいてメタデータ（metadata）をさらに生成し得る。メタデータは、シーンまたはフレームのキャプチャされた画像のキー情報を記録するために使用される。本出願のこの実施形態では、メタデータは、トーンマッピング曲線のパラメータ、動的メタデータ（dynamic metadata）、および静的メタデータ（static metadata）などを含み得る。動的メタデータは、画像の各フレームに関連付けられたデータとして理解され得、データは、異なる画像、例えば、シーン内の画素輝度の平均値、最大値、および最小値とともに変化し得る。静的メタデータは、画像シーケンスに関連付けられたデータとして理解され得、データは画像シーケンス内で変更されないままである。
【0083】
キャプチャエンドデバイス401は、伝送リンク403を介して、HDRビデオまたは画像、すなわちメタデータのデータを表示エンドデバイス402に伝送し得る。具体的には、HDRビデオまたは画像およびメタデータは、1つのデータパケットの形態で伝送されてもよいし、または2つのデータパケットで別々に伝送されてもよい。これは、本出願の実施形態において具体的には限定されない。
【0084】
表示エンドデバイス402は、メタデータおよびHDRビデオまたは画像を受信し、メタデータに含まれるトーンマッピング曲線のパラメータに基づいてトーンマッピング曲線を決定し、トーンマッピング曲線に基づいてHDR画像に対してトーンマッピングを実行して、HDR画像を表示エンドデバイス402に適用可能な表示内容に変換するように構成され得る。表示エンドデバイス402は、HDR表示デバイス402aとSDR表示デバイス402bとに分類され得る。表示エンドデバイス402のHDRは、キャプチャエンドデバイス401のHDRと異なり得ることに留意されたい。一般に、表示エンドデバイス402のHDRは、キャプチャエンドデバイス401のHDRより低い。例えば、キャプチャエンドデバイス401のHDRは10－3～104である（本出願のこの実施形態では「高レベルHDR」とも呼ばれ得る）。表示エンドデバイス402のHDRは10－1～103である（本出願のこの実施形態では「低レベルHDR」とも呼ばれ得る）。異なる実施形態では、表示エンドデバイス402は、キャプチャエンドデバイス401によって生成されたHDRビデオまたは画像より高いダイナミックレンジの表示能力を有する表示エンドデバイスをさらに含んでもよいことをさらに理解されたい。表示エンドデバイスの表示マッチングプロセスは、システムアーキテクチャにも適用され得る。これは本出願では限定されない。
【0085】
背景技術で紹介された内容に基づいて、従来のトーンマッピング方法は、トーンマッピング曲線に基づくまたはブロックに基づく局所的トーンマッピング方法を主に使用し得るが、不十分なトーンマッピング効果の問題が存在する。例えば、トーンマッピング曲線に基づく方法では、トーンマッピングは、一般に、単一の局所的ウィンドウに基づいて実施される。単一の形状を使用して局所的処理が実行されるとき、境界効果が存在し得る。
【0086】
これを考慮して、本出願の一実施形態は、トーンマッピング効果を改善することができる技術的解決策を設計するために、トーンマッピング方法を提供する。以下は、添付の図面を参照して、本出願のこの実施形態で提供される方法について説明する。
【0087】
【0088】
ステップ501：表示エンドデバイス402は、表示されるべき画像フレームおよびメタデータを取得し、メタデータは、少なくとも1つのメタデータ情報ユニットを含む。表示されるべき画像フレームは、画像であってもよいし、またはビデオに含まれる複数の画像フレーム内の任意の画像フレームであってもよいことを理解されたい。加えて、表示されるべき画像フレームは、キャプチャエンドデバイス401によって送信されるデータであってもよいし、または別の画像処理手順、例えば全体的トーンマッピングによって取得されるデータであってもよい。メタデータは、キャプチャされた表示されるべき画像フレームに基づいてキャプチャエンドデバイス401によって生成され得る。メタデータを生成する具体的な実施態様は、キャプチャエンドデバイス401の後続の処理手順で説明される。ここでは詳細は説明されない。
【0089】
ステップ502：表示エンドデバイス402は、ターゲットセグメント化方法で、表示されるべき画像フレームを複数のセグメント化領域にセグメント化し、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定する。
【0090】
ターゲットセグメント化方法は、事前設定されたセグメント化方法であってもよいし、またはメタデータで示されるセグメント化方法であってもよい。任意選択で、事前設定されたセグメント化方法は、表示エンドデバイス402によって事前設定されてもよい。正確なメタデータを取得するために、同じ事前設定されたセグメント化方法が、このシーンにおいてキャプチャエンドデバイス401および表示エンドデバイス402に対して事前設定され得ることを理解されたい。あるいは、任意選択で、キャプチャエンドデバイス401および表示エンドデバイス402に対して同じセグメント化方法を実施するために、表示エンドデバイス402のターゲットセグメント化方法は、キャプチャエンドデバイス401によってメタデータで示されてもよい。
【0091】
例えば、本出願のこの実施形態は、以下のいくつかの可能なセグメント化方法を提供する。以下のセグメント化方法は、実施時に限定されないことを理解されたい。
【0092】
セグメント化方法Aでは、表示エンドデバイス402は、第1の方向および第2の方向にそれぞれ対応する第1のセグメント化パラメータに基づいて、表示されるべき画像フレームを複数の矩形セグメント化領域に均等にセグメント化する。第1の方向は、第2の方向に垂直である。任意選択で、第1のセグメント化パラメータはセグメント化数であってもよい。この場合、セグメント化によって取得される複数のセグメント化領域は、等しいサイズの矩形領域として表される。
【0093】
図6は、本出願の一実施形態によるセグメント化方法Aにおけるセグメント化の概略図である。第1の方向は水平方向であってもよく、第2の方向は垂直方向であってもよい。第1の方向のセグメント化数はM1（M1の値は一般に≦16である）で表され、第2の方向のセグメント化数はM2（M2の値は一般に≦16である）で表されると仮定される。図6において、M1の値が4であり、M2の値も4である例では、表示されるべき画像フレームは、16個のセグメント化領域、すなわち、等しいサイズの16個の矩形領域にセグメント化され得る。M1の値とM2の値とは同じであっても異なってもよいことを理解されたい。例えば、M1の値は6であってもよく、M2の値は4であってもよい。
【0094】
セグメント化方法Bでは、表示エンドデバイス402は、第1の方向および第2の方向にそれぞれ対応する第2のセグメント化パラメータに基づいて、表示されるべき画像フレームを複数の矩形セグメント化領域にセグメント化する。任意選択で、第2のセグメント化パラメータはセグメント化リストであってもよい。この場合、セグメント化によって取得される複数のセグメント化領域は、任意のサイズの矩形領域として表される。
【0095】
図7は、本出願の一実施形態によるセグメント化方法Bにおけるセグメント化の概略図である。第1の方向のセグメント化リストは、w［j1］（j1は1～M1の範囲であってもよく、M1は第1の方向のセグメント化数を示す）と表され、第2の方向のセグメント化リストは、h［j2］（j2は1～M2の範囲であってもよく、M2は第2の方向のセグメント化数を示す）と表されると仮定される。図7において、M1の値は4であり、M2の値も4である。例えば、図7に含まれるw［1］、w［2］、w［3］、およびw［4］の2つごとの値は同じであっても異なってもよい。図7に含まれるh［1］、h［2］、h［3］、およびh［4］の2つごとの値は同じであっても異なってもよい。
【0096】
セグメント化方法Cでは、表示エンドデバイス402は、表示されるべき画像フレームに含まれる画素に対してクラスタリングを実行し、クラスタリング結果に基づいて、表示されるべき画像フレームを複数の不規則なセグメント化領域にセグメント化し、各不規則なセグメント化領域は、少なくとも1つのタイプの画素を含む。
【0097】
図8は、本出願の一実施形態によるセグメント化方法Cにおけるセグメント化の概略図である。本出願の実施時、表示されるべき画像フレームに対してクラスタリング処理を実行するために、複数の任意選択のクラスタリング方法からターゲットクラスタリング方法が選択され得る。具体的なクラスタリング方法は、本出願では限定されない。例えば、クラスタリング処理によって取得された表示されるべき画像フレームは、図8に示されている16個のセグメント化領域にセグメント化され得る。例えば、表示されるべき画像フレームに対してクラスタリングを実行するとき、表示エンドデバイス402は、最初に、上記で説明された第1のセグメント化パラメータまたは第2のセグメント化パラメータに基づいて、表示されるべき画像フレームを複数の矩形領域にセグメント化し、次に、各矩形領域の中心画素の座標情報および特徴情報（特徴情報は、例えば色成分値である）を決定し、表示されるべき画像フレームに含まれる各画素および各中心画素に対してクラスタリング解析を実行して、クラスタリング結果を取得し得る。最後に、クラスタリング結果に基づいて、図8に示されているセグメント化の概略図が得られる。
【0098】
加えて、クラスタリング解析を容易にし、クラスタリング処理の処理量を低減するために、本出願の実施時、表示されるべき画像フレームに対して画像セグメント化が実行されるとき、画像セグメント化処理は、サムネイルの表示されるべき画像フレームを参照してさらに実行されてもよい。例えば、サムネイルの表示されるべき画像フレームに対して、キャプチャされた表示されるべき画像フレームの第1の方向の解像度の1／N1および第2の方向の解像度の1／N2が選択されてもよい。このようにして、サムネイルの表示されるべき画像フレームに基づいてクラスタリング解析が実行され、これにより、クラスタリング処理プロセスにおける画素の数が低減されることができる。
【0099】
本出願の実施時、異なる特徴を有する画像に対して適切なセグメント化方法が選択され得ることに留意されたい。例えば、セグメント化方法Aは、表示されるべき画像フレームが、その局所的特徴が明らかでない画像フレーム、例えば、純色画像フレームまたは通常画像である場合に適用可能であってもよく、または任意の画像フレームに適用可能であってもよい。これは本出願では限定されない。セグメント化方法Cは、特定の局所的特徴などを有する画像フレームに適用可能であってもよい。表示エンドデバイス402および／またはキャプチャエンドデバイス401は、複数のセグメント化方法を事前記憶してもよく、異なる特徴を有する画像フレームに基づいて対応するターゲットセグメント化方法をさらに選択してもよいことが理解され得る。
【0100】
複数のセグメント化領域を取得した後、表示エンドデバイス402は、メタデータに含まれる少なくとも1つのメタデータ情報ユニットに基づいて、各セグメント化領域に対応するメタデータ情報ユニットを決定する。したがって、セグメント化領域に対応するトーンマッピング曲線のパラメータ、動的メタデータ、静的メタデータなどが、メタデータ情報ユニットから取得され得る。任意選択で、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの間に1対1の対応関係があってもよい。すなわち、各セグメント化領域は、1つのメタデータ情報ユニットに対応してもよい。例えば、図8では、16個のセグメント化領域は、16個のメタデータ情報ユニットに対応してもよい。あるいは、任意選択で、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの間に多対1の対応関係があってもよい。すなわち、1つ以上のセグメント化領域が1つのメタデータ情報ユニットに対応してもよい。例えば、図8では、セグメント化領域1およびセグメント化領域2が1つのメタデータ情報ユニットに対応してもよく、セグメント化領域3およびセグメント化領域4が1つのメタデータ情報ユニットに対応してもよい、などである。多対1の対応関係によって、キャプチャエンドデバイス401と表示エンドデバイス402との間で伝送されるメタデータのデータ量が低減されることができ、データ伝送効率が改善されることができることが理解され得る。
【0101】
例えば、本出願のこの実施形態は、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定する以下のいくつかの可能な例を提供する。以下の例は、実施時に限定されないことを理解されたい。
【0102】
例1：キャプチャエンドデバイス401は、メタデータ情報ユニット内の対応するセグメント化領域識別子を示し得る。
【0103】
任意選択で、セグメント化領域識別子は、メタデータ情報ユニットに含まれるセグメント化領域の数であってもよい。実施時、表示エンドデバイス402は、ターゲット走査シーケンスおよびセグメント化領域の数に基づいて、表示されるべき画像フレームに含まれる複数のセグメント化領域をトラバースしてもよい。ターゲット走査シーケンスは、左から右、次に上から下、上から下、次に左から右などを含むが、これらに限定されない。加えて、ターゲット走査シーケンスは、事前設定された走査シーケンスであってもよいし、またはメタデータで示される走査シーケンスであってもよい。表示エンドデバイス402およびキャプチャエンドデバイス401は、同じ事前設定された走査シーケンスを使用することを理解されたい。
【0104】
例えば、図9は、本出願の一実施形態による走査シーケンスの概略図である。図示されている走査シーケンスは、左から右、次に上から下である。図9に対応する16個のセグメント化領域は3つのメタデータ情報ユニットに対応すると仮定される。第1のメタデータ情報ユニットは4つのセグメント化領域に対応し、第2のメタデータ情報ユニットは7つのセグメント化領域に対応し、第3のメタデータ情報ユニットは5つのセグメント化領域に対応する。この場合、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係は、以下の表1－1に記載され得る。
【0105】
【表1】
【0106】
前述の表1－1に記載されている対応関係に基づいて、表示エンドデバイス402は、ターゲット走査シーケンスに基づいて、第1のメタデータ情報ユニットがセグメント化領域1からセグメント化領域4に対応し、第2のメタデータ情報ユニットがセグメント化領域5からセグメント化領域11に対応し、第3のメタデータ情報ユニットがセグメント化領域12からセグメント化領域16に対応すると決定し得る。
【0107】
あるいは、任意選択で、セグメント化領域識別子はセグメント化領域シーケンス番号情報であってもよい。実施時、表示エンドデバイス402は、メタデータ情報ユニットに含まれるセグメント化領域シーケンス番号情報に基づいて、メタデータ情報ユニットに対応するセグメント化領域を決定し得る。
【0108】
例えば、図9に示されている内容が使用される。この例では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係は、以下の表1－2に記載され得る。
【0109】
【表2】
【0110】
前述の表1－2に記載されている対応関係に基づいて、表示エンドデバイス402は、メタデータ情報ユニットに含まれるセグメント化領域シーケンス番号情報に基づいて、対応するセグメント化領域を直接決定し得る。
【0111】
例2：任意のセグメント化領域に関して、表示エンドデバイス402はさらに、セグメント化領域から、事前設定位置にある1つ以上の画素を選択し、事前設定位置にある1つ以上の画素の座標情報を取得し、座標情報に基づいて、セグメント化領域に対応するメタデータ情報ユニットを決定し、したがって、セグメント化領域と対応するメタデータ情報ユニットとの対応関係を確立し得る。事前設定位置は、以下の位置、すなわち、左上隅、中心、右下隅、左上隅、および右下隅などのうちの1つ以上を含み得る。例えば、セグメント化領域1に関して、左上隅、中心隅、および右下隅が、事前設定位置として選択されてもよい。左上隅の座標情報は（x1，y1）であり、中心の座標情報は（x2，y2）であり、右下隅の座標情報は（x3，y3）である。次に、（x1，y1）、（x2，y2）、および（x3，y3）を含むメタデータ情報ユニットが決定され、これにより、セグメント化領域1に対応するメタデータ情報ユニットが取得され得る。
【0112】
任意のメタデータ情報ユニットに関して、表示エンドデバイス402はさらに、メタデータ情報ユニットに含まれる1つ以上の座標情報に基づいて、1つ以上の座標情報に対応する少なくとも1つのセグメント化領域を決定し、メタデータ情報ユニットと、対応する少なくとも1つのセグメント化領域との対応関係を確立し得ることを理解されたい。
【0113】
表示されるべき画像フレーム内のi番目の画素（ここで、iは1～Nの任意の正の整数であり、Nは表示されるべき画像フレームに含まれる画素の数である）に関して、表示エンドデバイス402は、以下のステップ503からステップ505を実行する（以下の実施形態では任意の画素が例として使用され、表示されるべき画像フレームに含まれる他の画素の処理プロセスは同様であり、以下の実施形態では1つずつ説明されないことを理解されたい）。
【0114】
ステップ503：i番目の画素に対して選択された事前設定領域に含まれる複数の画素に基づいて、複数の画素が属する少なくとも1つの関連するセグメント化領域を決定し、対応関係に基づいて、関連する各セグメント化領域に対応する関連するメタデータ情報ユニットを決定する。
【0115】
i番目の画素に対して選択される事前設定領域は、i番目の画素を中心として使用して選択される、事前設定サイズの事前設定形状の領域であって、例えば、事前設定形状は、事前設定された幅および事前設定された長さを有する矩形もしくは別の形状であってもよい、領域、i番目の画素を中心として使用して、メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定される領域であって、事前設定形状が矩形である場合、事前設定サイズ情報は矩形の長さおよび幅情報であってもよく、もしくは事前設定形状が円である場合、事前設定サイズ情報は円の半径もしくは直径情報であってもよい、領域、またはi番目の画素を中心として使用して、メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定される領域である。言い換えれば、i番目の画素に対して事前設定領域を選択するために表示エンドデバイス402によって使用される事前設定形状もしくは事前設定形状の事前設定サイズ情報またはこれらの両方は、ローカルに記憶された情報であってもよいし、またはメタデータで示される情報であってもよい。
【0116】
例えば、図10は、本出願の一実施形態による関連するセグメント化領域を決定する概略図である。表示されるべき画像フレームは、図6に適用されたセグメント化方法で取得される。図10の（a）および（b）に示されている内容を参照すると、画素1が処理されるとき、画素1を中心として有する矩形の事前設定領域は、複数の画素を含む。複数の画素は、セグメント化領域1、セグメント化領域2、セグメント化領域5、およびセグメント化領域6に属する。この場合、画素1には4つの関連するセグメント化領域があると決定され得る。図10の（a）および（c）に示されている内容を参照すると、画素2が処理されるとき、画素2を中心として有する矩形の事前設定領域に含まれる複数の画素は、セグメント化領域6、7、8、10、11、12、14、15、および16に属する。この場合、画素2には9つの関連するセグメント化領域があると決定され得る。画素の関連するセグメント化領域は、画素位置および事前設定領域に基づいて決定され、表示されるべき画像フレームに含まれる異なる画素の関連するセグメント化領域の数は同じまたは異なり得ることを理解されたい。表示されるべき画像フレームに含まれる複数の画素は、通常、同じ事前設定サイズ情報を有する事前設定領域を使用し得ることに留意されたい。しかしながら、これは本出願では限定されず、実施時に、異なる事前設定サイズ情報を有する事前設定領域も使用されてもよい。図10に示されている画素1と画素2とは、異なる事前設定サイズ情報を使用している。
【0117】
別の例では、図11は、本出願の一実施形態による関連するセグメント化領域を決定する別の概略図である。表示されるべき画像フレームは、図8に適用されたセグメント化方法で取得される。画素3が処理されるとき、画素3を中心として有する矩形の事前設定領域に含まれる複数の画素は、セグメント化領域9、10、13、14、および15に属する。この場合、画素3には5つの関連するセグメント化領域があると決定され得る。
【0118】
表示エンドデバイス402がステップ502で複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を取得し得ることに基づいて、画素の関連するセグメント化領域が決定された後、処理されるべき画素のトーンマッピングを実施するために、関連するセグメント化領域に含まれるキー情報、例えば、トーンマッピング曲線のパラメータ、動的メタデータ、静的メタデータ、および他のメタデータ情報が、関連するセグメント化領域に対応するメタデータ情報ユニットからさらに取得され得る。
【0119】
ステップ504：表示エンドデバイス402は、関連するメタデータ情報ユニットに基づいて、関連する各セグメント化領域に対応するトーンマッピングサブ値を取得し、対応する重み係数を関連する各セグメント化領域に割り振る。
【0120】
例えば、表示エンドデバイス402は、トーンマッピング曲線に基づいて、関連するセグメント化領域におけるi番目の画素に対応するトーンマッピングサブ値を取得し得、関連するメタデータ情報ユニットは、トーンマッピング曲線のパラメータを含む。i番目の画素のトーンマッピングサブ値の数は、関連するセグメント化領域の数に依存することが理解され得る。例えば、図10に示されている画素1に関して、画素1の関連するセグメント化領域の数が4である場合、画素1に対応する4つのトーンマッピングサブ値が取得され得る。図10に示されている画素2に関して、画素2の関連するセグメント化領域の数が9である場合、画素2に対応する9つのトーンマッピングサブ値が取得され得る。
【0121】
前述の例で説明された関連するデータ情報ユニットに含まれるトーンマッピング曲線のパラメータは、本出願の実施時には限定されない。例えば、トーンマッピング曲線のパラメータは、選択されたトーンマッピング曲線の形態に基づいて決定されてもよい。トーンマッピング曲線の形態は、S（sigmoidal）関数曲線、三次（または多次）スプライン関数曲線、ベジェ曲線、およびgamma関数曲線などを含むが、これらに限定されない。
【0122】
トーンマッピング曲線のパラメータに基づいてトーンマッピング曲線を取得する実施形態では、トーンマッピング曲線は三次スプライン関数である。本出願の実施時、表示エンドデバイス402が任意の関連するセグメント化領域のトーンマッピング曲線を決定することは、以下のステップを含み得る。
【0123】
A1：関連するセグメント化領域に対応する関連するメタデータ情報ユニットから最大輝度値（maxLum）を取得する。
【0124】
A2：maxLumおよび三次スプライン区間情報（Num3）に基づいて三次スプラインの区間長（Len）を決定する。Lenは、式（2－1）のように表現され得る。
【数11】
【0125】
A3：Lenおよび区間インデックス（index、第1の区間を識別するための）に基づいて、第1の区間の開始位置（TH［index－1］）および終了位置（TH［index］）を取得し、第1の区間は、三次スプラインに含まれる複数の区間のうちの任意の区間である。TH［index］は、式（2－2）のように表現され得る。
TH［index］＝index×Len（2－2）
TH［index］＝index×Len（2－2）
【0126】
A4：三次スプライン区間情報、区間インデックス、および三次スプライン区間値に基づいて、第1の区間の三次スプラインパラメータP0、P1、P2、およびP3を取得する。
【0127】
A4－1：三次スプライン区間値および三次スプライン区間情報に基づいて第1の区間の初期区間勾配を取得する。初期区間勾配は、式（2－3）のように表現され得る。
【数12】
【0128】
gainOrg［index］は、第1の区間の初期区間勾配を示す。THValue［index］は、第1の区間の三次スプライン区間値を示し、THValue［index－1］は、第1の区間の前の区間の三次スプライン区間値を示す。
【0129】
A4－2：初期区間勾配に基づいて第1の区間の区間端点勾配を取得する。区間端点勾配は、以下の式（2－4）のように表現され得る開始区間端点勾配と、以下の式（2－5）のように表現され得る終了区間端点勾配とを含む。
【数13】
【0130】
gainOrg［index－1］は、第1の区間の前の区間の初期区間勾配を示す。gainStart［index］は、開始区間端点勾配を示す。
【数14】
【0131】
gainOrg［index＋1］は、第1の区間の次の区間の初期区間勾配を示す。gainEnd［index］は、終了区間端点勾配を示す。
【0132】
A4－3：第1の区間の三次スプラインパラメータP0、P1、P2、およびP3は、以下の式（2－6）から（2－9）のように表現され得る。
【数15】
【0133】
式（2－8）および式（2－9）におけるValueA、ValueB、およびValueCは中間値であり、以下の方法で計算によって取得され得る。
ValueA＝THValue［index］－gainStart［index］×ValueC－THValue［index－1］
ValueB＝gainEnd［index］－gainStart［index］
ValueC＝TH［index］－TH［index－1］
ValueA＝THValue［index］－gainStart［index］×ValueC－THValue［index－1］
ValueB＝gainEnd［index］－gainStart［index］
ValueC＝TH［index］－TH［index－1］
【0134】
A5：三次スプラインパラメータP0、P1、P2、およびP3に基づいて、関連するセグメント化領域のトーンマッピング曲線に対応する関数の式が取得され得、以下の式（2－10）のように表現され得る。
L’＝H（L）＝P0＋P1×（L－TH［index－1］）＋P2×（L－TH［index－1］）2＋P3×（L－TH［index－1］）2（2－10）
L’＝H（L）＝P0＋P1×（L－TH［index－1］）＋P2×（L－TH［index－1］）2＋P3×（L－TH［index－1］）2（2－10）
【0135】
Lは線形信号値を示し、この値は［0，1］に正規化される。L’は非線形信号値を示し、この値の範囲は［0，1］である。H（L）は、トーンマッピング曲線に対応する関数を示す。
【0136】
トーンマッピング曲線のパラメータに基づいてトーンマッピング曲線を取得する別の実施形態では、トーンマッピング曲線に対応する関数の式は、あるいは、以下の式（2－11）のように表現されてもよい。
【数16】
【0137】
Lは線形信号値を示し、この値は［0，1］に正規化される。L’は非線形信号値を示し、この値の範囲は［0，1］である。F（L）は、トーンマッピング曲線に対応する関数を示す。a、b、p、m、およびnは、トーンマッピング曲線のパラメータを示し、トーンマッピング曲線の形態を調整するために使用される。異なるセグメント化領域は、（2－11）で説明されたトーンマッピング曲線の関数の異なるパラメータに対応し得ることを理解されたい。実施時、各セグメント化領域のトーンマッピング曲線のパラメータは、対応するメタデータ情報ユニットで示され得る。
【0138】
実施時、トーンマッピング曲線の異なる形態に基づいて、トーンマッピング曲線の異なる関数が使用され得ることに留意されたい。選択されるトーンマッピング曲線は、本出願では限定されない。
【0139】
関連するセグメント化領域に対応するトーンマッピング曲線を取得した後、表示エンドデバイス402は、トーンマッピング曲線に基づいてi番目の画素に対してトーンマッピングを実行して、関連するセグメント化領域における画素のトーンマッピングサブ値を取得する。例えば、図11の画素3に関して、セグメント化領域9に対応するトーンマッピングサブ値1、セグメント化領域10に対応するトーンマッピングサブ値2、セグメント化領域13に対応するトーンマッピングサブ値3、セグメント化領域14に対応するトーンマッピングサブ値4、およびセグメント化領域15に対応するトーンマッピングサブ値5を含む合計5つのトーンマッピングサブ値が取得され得る。
【0140】
トーンマッピングの一実施形態では、表示エンドデバイス402は、トーンマッピング曲線に基づいてi番目の画素に対して輝度調整プロセスおよび／または色調整プロセスを実行し得る。任意選択で、i番目の画素に対して実行される色調整は、以下の式（3－1）のように表現され得る。
【数17】
【0141】
Rp、Gp、およびBpは、i番目の画素の3つの色成分を示す。f［id］は、トーンマッピング曲線に対応する関数、例えば、上記で説明されたH（L）およびF（L）を示す。idはセグメント化領域識別子を示す。
【0142】
関連するセグメント化領域におけるi番目の画素のトーンマッピングサブ値は、以下の式（3－2）から（3－4）のように表現され得る。
RpTM［i］＝Rp×gain（3－2）
GpTM［i］＝Gp×gain（3－3）
BpTM［i］＝Bp×gain（3－4）
RpTM［i］＝Rp×gain（3－2）
GpTM［i］＝Gp×gain（3－3）
BpTM［i］＝Bp×gain（3－4）
【0143】
RpTM［i］、GpTM［i］、およびBpTM［i］は、関連するセグメント化領域におけるi番目の画素のトーンマッピングサブ値を示し得る。
【0144】
別の例では、表示エンドデバイス402は、関連する各セグメント化領域に対応するトーンマッピングサブ値を決定し、関連する各セグメント化領域に対応する重み係数をさらに決定し得る。したがって、i番目の画素のトーンマッピング値に対する関連する各セグメント化領域のトーンマッピングサブ値の影響度が、重み係数に基づいて決定される。
【0145】
任意選択で、本出願の実施時、表示エンドデバイス402は、対応する重み係数を関連する各セグメント化領域に割り振り得る。加えて、表示エンドデバイス402は、事前設定された方法で重み係数を決定してもよいし、またはメタデータの指示に従って重み係数を決定してもよい。本出願は、重み係数を決定するための以下の2つの可能な方法を提供する。実施時、以下の方法の1つまたは組合せが使用されてもよく、以下の2つの方法は実際の実施時に限定されない。
【0146】
方法1：関連する各セグメント化領域内の事前設定領域に属する画素の数と事前設定領域に対応する画素の総数とを別々に決定し、第1の関連するセグメント化領域に関して、以下の動作、すなわち、第1の関連するセグメント化領域内の事前設定領域に属する画素の数および画素の総数に基づいて、対応する第1の重み係数を第1の関連するセグメント化領域に割り振る動作であって、第1の関連するセグメント化領域は、少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行する。
【0147】
例えば、図11に示されている画素3を参照すると、関連する各セグメント化領域内の事前設定領域に属する画素の数および事前設定領域に対応する画素の総数は、以下の表2－1に記載され得る。
【0148】
【表3】
【0149】
Num［id］は、事前設定領域に含まれるセグメント化領域の画素の数、例えば、図11の（b）に示されている事前設定領域における画素3の関連する各セグメント化領域に含まれる画素の数を示し、idはセグメント化領域識別子を示す。Weight1［id］は、セグメント化領域idの第1の重み係数を示す。
【0150】
任意選択で、第1の重み係数は、セグメント化領域内の画素の数と正の相関関係、例えば線形関係にあってもよい。言い換えれば、セグメント化領域内の画素のより大きい数は、セグメント化領域に対応するより大きい第1の重み係数を示し、その増加は線形である。
【0151】
あるいは、任意選択で、正の相関関係は指数関係であってもよく、指数関係は、第1の加重強度値に基づいて決定されてもよい。第1の加重強度値は、表示されるべき画像フレームの画素数分布ステータスに基づいて第1の重み係数を調整するために使用される。例えば、第1の加重強度値を使用して第1の重み係数を調整することは、以下の式（4－1）のように表現され得る。
【数18】
【0152】
NumStr［id］は、第1の加重強度値を示し、例えば2または0．5であってもよい。第1の加重強度値は、表示されるべき画像フレーム内の複数のセグメント化された領域の画素類似性に基づいて決定され得る。例えば、複数のセグメント化領域の画素が同様の画素である場合、大きい第1の加重強度値が設定されてもよい。そうでなければ、より小さい第1の加重強度値が設定されてもよい。第1の加重強度値は、事前設定された規則に基づいて表示エンドデバイス402によって決定されてもよいし、またはメタデータでキャプチャエンドデバイス401によって示されてもよいことを理解されたい。これは本出願では限定されない。このようにして、第1の加重強度値が設定され、これにより、表示されるべき画像フレームの局所的特徴が明らかであるとき、セグメント化領域間の境界効果は、より小さい第1の加重強度値、例えば0．5に基づいて低減されることができる。
【0153】
方法2：関連する各セグメント化領域内の事前設定領域に対応する事前設定特徴値とi番目の画素の事前設定特徴値とを別々に決定し、第2の関連するセグメント化領域に関して、以下の動作、すなわち、第2の関連するセグメント化領域内の事前設定領域の部分領域に対応する事前設定特徴値とi番目の画素の事前設定特徴値との特徴差に基づいて、対応する第2の重み係数を第2の関連するセグメント化領域に割り振る動作であって、第2の関連するセグメント化領域は、少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行する。事前設定特徴値は、輝度特徴値（AvgLum［id］）または色特徴値（AvgRGB［id］［3］、［3］は3つの色成分を示す）などである。関連するセグメント化領域内の事前設定領域に対応する事前設定特徴値およびi番目の画素の事前設定特徴値として同じ事前設定特徴値が選択されることを理解されたい。
【0154】
少なくとも1つの事前設定特徴値がある。例えば、1つのセグメント化領域に4つの輝度特徴値（AvgLum［id］（4））があり得、1つのセグメント化領域に4つの色特徴値（AvgRGB［id］（4）［3］）もあり得る。図12は、本出願の一実施形態による輝度特徴値の概略図である。1つの輝度特徴値があるシナリオが図12の（a）に示されており、4つの輝度特徴値があるシナリオが図12の（b）に示されている。輝度特徴値の数は、セグメント化領域内の最大数または平均最大数を有する輝度値に基づいて取得され得る。
【0155】
前述の例では、4つの事前設定特徴値があるとき、本出願の実施時、4つの事前設定特徴値から選択されるターゲット事前設定特徴値が、第2の関連するセグメント化領域内の事前設定領域の部分領域の中心座標（x，y）（またはi番目の画素（現画素）の座標（x，y））と第2の関連するセグメント化領域の中心座標（xR，yR）との対応関係に基づいてさらに決定され得る。例えば、図12の（b）に示されている内容を参照すると、左上の領域は輝度特徴値1であり、右上の領域は輝度特徴値2であり、左下の領域は輝度特徴値3であり、右下の領域は輝度特徴値4である。x≦xRかつy≧yRのとき、輝度特徴値1が使用される。x＞xRかつy≧yRのとき、輝度特徴値2が使用される。x≦xRかつy＜yRのとき、輝度特徴値3が使用される。x＞xRかつy＜yRのとき、輝度特徴値4が使用される。
【0156】
例えば、図11に示されている画素3を参照すると、事前設定領域特徴が輝度特徴値である例において、関連する各セグメント化領域内の事前設定領域に属する輝度特徴値およびi番目の画素の輝度特徴値は、以下の表2－2に記載され得る。
【0157】
【表4】
【0158】
AvgLum［id］は、事前設定領域に含まれるセグメント化領域の輝度特徴値、例えば、図11の（b）に示されている画素3の関連するセグメント化領域内の事前設定領域に属する部分領域の輝度特徴値を示し、idはセグメント化領域識別子を示す。Weight2［id］は、セグメント化領域idの第2の重み係数を示す。
【0159】
任意選択で、第2の重み係数は、セグメント化されたエリアの輝度特徴値とi番目の画素の輝度特徴値との差分値と負の相関関係、例えば線形関係にあってもよい。言い換えれば、セグメント化された領域の輝度特徴値とi番目の画素の輝度特徴値とのより大きい差分値は、セグメント化された領域に対応するより小さい第2の重み係数を示し、その減少は線形である。
【0160】
あるいは、任意選択で、正の相関関係は指数関係であってもよく、指数関係は、第2の加重強度値に基づいて決定されてもよい。第2の加重強度値は、表示されるべき画像フレームの事前設定特徴値変化ステータスに基づいて第2の重み係数を調整するために使用される。例えば、第2の加重強度値を使用して第2の重み係数を調整することは、以下の式（4－2）のように表現され得る。
【数19】
【0161】
g（）は正規化操作を示す。例えば、信号は、信号の最大値によって0～1の範囲に分割される。clip（）はクランプ操作を示す。minは、最小値（例えば、0）である。maxは、最大値（例えば、1）である。clip（）に含まれる第3のオペランドの値であって、maxより大きいまたはminより小さい値は、それぞれmaxおよびminに切り捨てられる。例えば、clip（）に含まれる第3のオペランドの値がminより小さい場合、minが使用される。clip（）に含まれる第3のオペランドがmaxより大きい場合、maxが使用される。Kは、事前設定値であり、0～1023の範囲である。AvgLumStr［id］は、第2の加重強度値を示し、例えば、2または0．5であってもよい。
【0162】
例えば、第2の加重強度値は、表示されるべき画像フレーム内の複数のセグメント化領域の画素輝度変化に基づいて決定されてもよい。例えば、複数のセグメント化領域の画素輝度変化が明らかである場合、大きい第2の加重強度値が設定されてもよい。そうでなければ、より小さい第2の加重強度値が設定されてもよい。第2の加重強度値は、事前設定された規則に基づいて表示エンドデバイス402によって決定されてもよいし、またはメタデータでキャプチャエンドデバイス401によって示されてもよいことを理解されたい。これは本出願では限定されない。このようにして、第2の加重強度値が設定され、これにより、表示されるべき画像フレームの局所的特徴が明らかであるとき、セグメント化領域間の境界効果は、より小さい第2の加重強度値、例えば0．5に基づいて低減されることができる。
【0163】
任意選択で、関連する各セグメント化領域に対応する重み係数は、第1の重み係数であってもよく、式（4－1）による計算、すなわち、Weight［id］＝Weight1［id］によって取得されてもよく、第2の重み係数であってもよく、式（4－2）による計算、すなわち、Weight［id］＝Weight2［id］によって取得されてもよく、または第1の重み係数と第2の重み係数との両方に基づいて決定されてもよく、以下の式（4－3）のように表現されてもよい。
Weight［id］＝W（Weight1［id］，Weight2［id］）（4－3）
Weight［id］＝W（Weight1［id］，Weight2［id］）（4－3）
【0164】
W（）は、第1の重み係数および第2の重み係数に基づいて、関連するセグメント化領域に対応する重み係数を取得するために使用される事前設定された関数を示す。事前設定された関数は、乗算または加算などであってもよく、事前設定されてもよい。
【0165】
ステップ505：表示エンドデバイス402は、関連する各セグメント化領域に対応するトーンマッピングサブ値および重み係数に基づいてi番目の画素のトーンマッピング値を取得し、トーンマッピング値に基づいてi番目の画素に対してトーンマッピングを実行する。
【0166】
例えば、本出願では、i番目の画素のトーンマッピング値は、以下の式（5－1）から（5－5）に従って取得され得る。
【数20】
【0167】
Zは、i番目の画素の関連するセグメント化領域の数を示す。Rtm、Gtm、およびBtmは、トーンマッピング値を示す。spline［id］は、トーンマッピング曲線に対応する関数を示す。idはセグメント化領域識別子を示す。
【0168】
加えて、本出願の実施時、トーンマッピング値は、あるいは、Ytm、Utm、およびVtmを取得するために、Rtm、Gtm、およびBtmから色空間に変換されてもよい。これに対応して、トーンマッピングサブ値は、Yp、Up、およびVpである。
【0169】
さらに、本出願の実施時、i番目の画素のトーンマッピング値を取得した後、表示エンドデバイス402は、表示されるべき画像フレームに対して彩度調整をさらに実行し得る。言い換えれば、表示エンドデバイス402は、i番目の画素の初期画素値およびステップ505で取得されたトーンマッピング値に基づいてi番目の画素に対して彩度調整を実行する。
【0170】
前述の例では、各画素のトーンマッピング値を計算するために必要な情報は、表示エンドデバイス402によって処理されてもよいし、または計算によってキャプチャエンドデバイス401により取得され、メタデータを使用して表示エンドデバイス402に示されてもよいことに留意されたい。言い換えれば、表示エンドデバイス402およびキャプチャエンドデバイス401の各々によって処理される必要がある内容は、計算能力に基づいて割り振られてもよい。これは本出願では限定されない。表示エンドデバイス402は、その後、メタデータで示される情報に基づいて、表示されるべき画像フレームに対してトーンマッピングを実行し得ることが理解され得る。
【0171】
【0172】
ステップ1301：表示されるべきデータフレームを取得するために画像データをキャプチャする。例えば、画像データは、画像キャプチャ装置を使用してキャプチャエンドデバイス401によってキャプチャされてもよいし、または事前設定されたアプリケーションプログラムを使用してキャプチャエンドデバイス402によって作成および生成されてもよい。
【0173】
ステップ1302：ターゲットセグメント化方法で、表示されるべきデータフレームを複数のセグメント化領域にセグメント化し、複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定する。例えば、ターゲットセグメント化方法は、前述の内容で説明された複数のセグメント化方法、例えば、図6に示されているセグメント化方法A、図7に示されているセグメント化方法B、および図8に示されているセグメント化方法Cなどであってもよい。加えて、キャプチャエンドデバイス401および表示エンドデバイス402は、同じセグメント化方法を使用する。加えて、キャプチャエンドデバイス401は、メタデータを使用してターゲットセグメント化方法を表示エンドデバイス402にさらに示し得る。加えて、キャプチャエンドデバイス402は、メタデータを使用して、ターゲットセグメント化方法で使用され得る第1のセグメント化パラメータおよび第2のセグメント化パラメータなどを表示エンドデバイス402にさらに示し得る。
【0174】
例えば、セグメント化方法Aの場合、キャプチャエンドデバイスは、画像データ内の異なる行のヒストグラムに基づいて垂直方向のセグメント化数を決定し、画像データ内の異なる列のヒストグラムに基づいて水平方向のセグメント化数を決定し得る。
【0175】
別の例では、セグメント化方法Bの場合、キャプチャエンドデバイスは、垂直方向のセグメント化リストを決定するために画像データ内の異なる行のヒストグラムに基づいてクラスタリングを実行し、水平方向のセグメント化リストを決定するために画像データ内の異なる列のヒストグラムに基づいてクラスタリングを実行し得る。
【0176】
ステップ1303：表示されるべきデータフレームおよびメタデータを表示エンドデバイス402に送信し、メタデータは少なくとも1つのメタデータ情報ユニットを含む。
【0177】
表示エンドデバイス402の計算量を低減し、キャプチャエンドデバイス401および表示エンドデバイス402によって別々に処理される必要がある内容を均衡させるために、本出願の実施時、キャプチャエンドデバイス401は、計算によってセグメント化領域の第1の加重強度値、第2の加重強度値、および事前設定特徴値などの情報を取得し、メタデータを使用して表示エンドデバイス402に示し得ることを理解されたい。キャプチャエンドデバイス401によって実行される処理の実施プロセスは、表示エンドデバイス402の説明された内容と同様であることに留意されたい。したがって、詳細は再び説明されない。
【0178】
前述の方法と同じ発明概念に従って、本出願の一実施形態はトーンマッピング処理装置1400を提供する。トーンマッピング処理装置1400は、前述の表示エンドデバイス402に適用可能であり得る。図14に示されているように、本装置は、取得モジュール1401と、処理モジュール1402と、トーンマッピングモジュール1403とを含み得る。
【0179】
取得モジュール1401は、表示されるべき画像フレームおよびメタデータを取得し、メタデータは、少なくとも1つのメタデータ情報ユニットを含む、ように構成される。処理モジュール1402は、ターゲットセグメント化方法で、表示されるべき画像フレームを複数のセグメント化領域にセグメント化し、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するように構成される。トーンマッピングモジュール1403は、表示されるべき画像フレーム内のi番目の画素に関して、以下の動作、すなわち、i番目の画素に対して選択された事前設定領域に含まれる複数の画素に基づいて、複数の画素が属する少なくとも1つの関連するセグメント化領域を決定し、対応関係に基づいて、関連する各セグメント化領域に対応する関連するメタデータ情報ユニットを決定する動作と、関連するメタデータ情報ユニットに基づいて、関連する各セグメント化領域に対応するトーンマッピングサブ値を取得し、対応する重み係数を関連する各セグメント化領域に割り振る動作と、関連する各セグメント化領域に対応するトーンマッピングサブ値および重み係数に基づいてi番目の画素のトーンマッピング値を取得し、トーンマッピング値に基づいてi番目の画素に対してトーンマッピングを実行する動作とを実行し、iは、1～Nの任意の正の整数であり、Nは、表示されるべき画像フレームに含まれる画素の数である、ように構成される。
【0180】
可能な設計では、対応する重み係数を関連する各セグメント化領域に割り振るように構成されるとき、トーンマッピングモジュール1403は、具体的には、関連する各セグメント化領域内の事前設定領域に属する画素の数と事前設定領域に対応する画素の総数とを別々に決定し、第1の関連するセグメント化領域に関して、以下の動作、すなわち、第1の関連するセグメント化領域内の事前設定領域に属する画素の数および画素の総数に基づいて、対応する第1の重み係数を第1の関連するセグメント化領域に割り振る動作であって、第1の関連するセグメント化領域は、少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行し、ならびに／または関連する各セグメント化領域内の事前設定領域に対応する事前設定特徴値を別々に決定し、第2の関連するセグメント化領域に関して、以下の動作、すなわち、第2の関連するセグメント化領域内の事前設定領域に対応する事前設定特徴値とi番目の画素の事前設定特徴値との特徴差に基づいて、対応する第2の重み係数を第2の関連するセグメント化領域に割り振る動作であって、第2の関連するセグメント化領域は、少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行するように構成される。
【0181】
可能な設計では、メタデータは、以下の情報、すなわち、第1の加重強度値または第2の加重強度値の1つまたは組合せをさらに含む。第1の加重強度値は、表示されるべき画像フレームの画素数分布ステータスに基づいて第1の重み係数を調整するために使用される。第2の加重強度値は、表示されるべき画像フレームの事前設定特徴値変化ステータスに基づいて第2の重み係数を調整するために使用される。
【0182】
可能な設計では、事前設定特徴値は、以下の特徴値、すなわち輝度特徴値または色特徴値のうちの1つである。少なくとも1つの事前設定特徴値がある。
【0183】
可能な設計では、関連するメタデータ情報ユニットに基づいて、関連する各セグメント化領域に対応するトーンマッピングサブ値を取得するように構成されるとき、トーンマッピングモジュール1403は、具体的には、トーンマッピング曲線に基づいて、関連するセグメント化領域におけるi番目の画素に対応するトーンマッピングサブ値を取得し、関連するメタデータ情報ユニットは、トーンマッピング曲線のパラメータを含む、ように構成される。
【0184】
可能な設計では、i番目の画素に対して選択された事前設定領域は、i番目の画素を中心として使用して選択された、事前設定サイズの事前設定形状の領域、i番目の画素を中心として使用して、メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定された領域、またはi番目の画素を中心として使用して、メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定された領域である。
【0185】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するように構成されるとき、処理モジュール1402は、具体的には、任意のセグメント化領域に関して、セグメント化領域から事前設定位置にある画素を選択し、事前設定位置にある画素の座標情報を取得し、座標情報に基づいて、セグメント化領域に対応するメタデータ情報ユニットを決定し、セグメント化領域と対応するメタデータ情報ユニットとの対応関係を確立し、または任意のメタデータ情報ユニットに関して、メタデータ情報ユニットに含まれる1つ以上の座標情報に基づいて、1つ以上の座標情報に対応する少なくとも1つのセグメント化領域を決定し、メタデータ情報ユニットと対応する少なくとも1つのセグメント化領域との対応関係を確立するように構成される。
【0186】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するように構成されるとき、処理モジュール1402は、具体的には、セグメント化領域の各々に対応するメタデータ情報ユニットを決定するために、ターゲット走査シーケンスおよびセグメント化領域識別子に基づいて複数のセグメント化領域をトラバースし、メタデータ情報ユニットは対応するセグメント化領域識別子を含み、ターゲット走査シーケンスは、事前設定された走査シーケンスまたはメタデータで示される走査シーケンスである、ように構成される。
【0187】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの間には1対1の対応関係または多対1の対応関係がある。
【0188】
可能な設計では、ターゲットセグメント化方法は、事前設定されたセグメント化方法またはメタデータで示されるセグメント化方法である。
【0189】
前述の方法と同じ発明概念に従って、本出願の一実施形態はトーンマッピング処理装置1400を提供する。トーンマッピング処理装置1500は、前述のキャプチャエンドデバイス401に適用可能であり得る。図15に示されているように、装置1500は、キャプチャモジュール1501と、処理モジュール1502と、トランシーバモジュール1503とを含み得る。
【0190】
キャプチャモジュール1501は、表示されるべきデータフレームを取得するために画像データをキャプチャするように構成される。処理モジュール1502は、ターゲットセグメント化方法で、表示されるべきデータフレームを複数のセグメント化領域にセグメント化し、複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定するように構成される。トランシーバモジュール1503は、表示されるべきデータフレームおよびメタデータを表示エンドデバイスに送信し、メタデータは、少なくとも1つのメタデータ情報ユニットを含む、ように構成される。
【0191】
可能な設計では、処理モジュール1502は、複数のセグメント化領域にそれぞれ含まれる画素の数に基づいて第1の加重強度値を決定し、および／または複数のセグメント化領域にそれぞれ対応する事前設定特徴値に基づいて第2の加重強度値を決定し、ならびに第1の加重強度値および／または第2の加重強度値をメタデータに関連付けるようにさらに構成される。
【0192】
可能な設計では、事前設定特徴値は、以下の特徴値、すなわち輝度特徴値または色特徴値のうちの1つである。少なくとも1つの事前設定特徴値がある。
【0193】
可能な設計では、メタデータ情報ユニットは、セグメント化領域に対応するトーンマッピング曲線のパラメータを含む。
【0194】
可能な設計では、メタデータは事前設定サイズ情報をさらに含み、事前設定サイズ情報は、画素に対して事前設定領域が選択されるときに使用される事前設定形状の事前設定サイズを示し、またはメタデータは、事前設定形状および事前設定サイズ情報をさらに含む。
【0195】
可能な設計では、複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定するように構成されるとき、処理モジュール1502は、具体的には、セグメント化領域から事前設定位置にある複数の画素を選択し、事前設定位置にある複数の画素の座標情報を取得し、座標情報をメタデータ情報ユニットに関連付けるように構成される。
【0196】
可能な設計では、メタデータ情報ユニットは、メタデータ情報ユニットに対応するセグメント化領域識別子および走査シーケンスをさらに含む。対応するセグメント化領域識別子および走査シーケンスは、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの対応関係を決定するために表示エンドデバイスによって使用される。
【0197】
可能な設計では、複数のセグメント化領域と少なくとも1つのメタデータ情報ユニットとの間には1対1の対応関係または多対1の対応関係がある。
【0198】
可能な設計では、処理モジュール1502は、ターゲットセグメント化方法で、表示されるべきデータフレームをセグメント化するように表示エンドデバイスに示すために、ターゲットセグメント化方法をメタデータに関連付けるようにさらに構成される。
【0199】
本出願の一実施形態は、電子デバイス1600をさらに提供する。図16に示されているように、電子デバイス1600は、前述の実施態様で説明された表示エンドデバイス402またはキャプチャエンドデバイス401であり得る。電子デバイス1600は、通信インターフェース1610およびプロセッサ1620を含み得る。任意選択で、電子デバイス1600は、メモリ1630をさらに含んでもよい。メモリ1630は、電子デバイスの内部に配置されてもよいし、または電子デバイスの外部に配置されてもよい。図14に示されている取得モジュール1401、処理モジュール1402、およびトーンマッピングモジュール1403はすべて、プロセッサ1620によって実施されてもよい。あるいは、図15に示されているキャプチャモジュール1501、処理モジュール1502、およびトランシーバモジュール1503も、プロセッサ1620によって実施されてもよい。任意選択で、通信インターフェース1610、プロセッサ1620、およびメモリ1630は、通信線1640を介して互いに接続されてもよい。通信線1640は、周辺構成要素相互接続（peripheral component interconnect、略してPCI）バス、または拡張業界標準アーキテクチャ（extended industry standard architecture、略してEISA）バスなどであってもよい。通信線1640は、アドレスバス、データバス、および制御バスなどに分類され得る。表現を容易にするために、図16ではバスを表すために1本の太線のみが使用されているが、これは、1つのバスしかないことまたは1つのタイプのバスしかないことを意味しない。
【0200】
可能な実施態様では、プロセッサ1620は、図13のキャプチャエンドによって実行される任意の方法を実施し、通信インターフェース1610を介して、キャプチャエンドによって符号化されたビットストリーム、例えば、表示されるべき画像フレームおよびメタデータを出力するように構成される。
【0201】
実施時、処理プロセスのステップは、図13のキャプチャエンドによって実行される方法を実行するために、プロセッサ1620内のハードウェアの集積論理回路によって、またはソフトウェアの形態の命令によって実施されてもよい。簡潔にするために、ここでは詳細は再び説明されない。前述の方法を実施するためにプロセッサ1620によって使用されるプログラムコードは、メモリ1630に記憶されてもよい。メモリ1630は、プロセッサ1620に結合される。
【0202】
本出願の実施形態における任意の通信インターフェースは、情報を交換するように構成され得る回路、バス、トランシーバ、または別の装置、例えば、電子デバイス1600内の通信インターフェース1610であってもよい。例えば、別の装置は、電子デバイス1600に接続されたデバイスであってもよい。例えば、電子デバイス1600がキャプチャエンドデバイス401であるとき、別の装置は、表示エンドデバイス402などであってもよい。
【0203】
プロセッサ1620は、メモリ1630と協働し得る。メモリ1630は、不揮発性メモリ、例えばハードディスクドライブ（hard disk drive、HDD）もしくはソリッドステートドライブ（solid－state drive、SSD）であってもよいし、または揮発性メモリ（volatile memory）、例えばランダムアクセスメモリ（random access memory、RAM）であってもよい。メモリ1630は、命令またはデータ構造の形態の所望のプログラムコードを保持または記憶するように構成されることができ、コンピュータによってアクセスされることができる任意の他の媒体であるが、これに限定されない。
【0204】
通信インターフェース1610、プロセッサ1620、およびメモリ1630の間の具体的な接続媒体は、本出願の実施形態では限定されない。本出願のこの実施形態では、メモリ1630、プロセッサ1620、および通信インターフェース1610は、図16のバスを介して互いに接続される。図16では、バスは、太線を使用して表されている。他の構成要素間の接続方法は、説明のための例にすぎず、これに限定されない。バスは、アドレスバス、データバス、および制御バスなどに分類され得る。表現を容易にするために、図16ではバスを表すために1本の太線のみが使用されているが、これは、1つのバスしかないことまたは1つのタイプのバスしかないことを意味しない。
【0205】
本出願の実施形態では、プロセッサは、汎用プロセッサ、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイもしくは別のプログラマブル論理デバイス、ディスクリートゲートもしくはトランジスタ論理デバイス、またはディスクリートハードウェア構成要素であってもよく、本出願の実施形態で開示された方法、ステップ、および論理ブロック図を実施または実行することができる。汎用プロセッサは、マイクロプロセッサであってもよいし、または任意の従来のプロセッサなどであってもよい。本出願の実施形態を参照して開示された方法のステップは、ハードウェアプロセッサによって直接実行されてもよいし、またはプロセッサ内のハードウェアとソフトウェアモジュールとの組合せによって実行されてもよい。
【0206】
本出願の実施形態における結合は、装置またはモジュール間の情報交換のための、装置またはモジュール間の間接結合または通信接続であり、電気的、機械的、または他の形態であってもよい。
【0207】
前述の実施形態に基づいて、本出願の一実施形態は、コンピュータ記憶媒体をさらに提供する。記憶媒体は、ソフトウェアプログラムを記憶する。ソフトウェアプログラムが、1つ以上のプロセッサによって読み出されて実行されるとき、前述の実施形態のうちの任意の1つ以上で提供される方法が実施され得る。コンピュータ記憶媒体は、プログラムコードを記憶することができる任意の媒体、例えば、USBフラッシュドライブ、リムーバブルハードディスク、読出し専用メモリ、ランダムアクセスメモリ、磁気ディスク、または光ディスクを含み得る。
【0208】
前述の実施形態に基づいて、本出願の一実施形態は、チップをさらに提供する。チップは、前述の実施形態のうちの任意の1つ以上における機能を実施するように構成されたプロセッサを含む。任意選択で、チップはメモリをさらに含み、メモリは、プロセッサによって実行される必要なプログラム命令およびデータを記憶するように構成される。チップは、チップを含んでもよいし、またはチップおよび別のディスクリートデバイスを含んでもよい。
【0209】
当業者は、本出願の実施形態が方法、システム、またはコンピュータプログラム製品として提供され得ることを理解するはずである。したがって、本出願は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、またはソフトウェアとハードウェアとの組合せを有する実施形態の形態を使用し得る。加えて、本出願は、コンピュータ使用可能プログラムコードを含む1つ以上のコンピュータ使用可能記憶媒体（ディスクメモリ、CD－ROM、および光メモリなどを含むが、これらに限定されない）上に実施されるコンピュータプログラム製品の形態を使用し得る。
【0210】
本出願は、本出願の実施形態による方法、デバイス（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明されている。コンピュータプログラム命令は、フローチャートおよび／またはブロック図における各プロセスおよび／または各ブロック、ならびにフローチャートおよび／またはブロック図におけるプロセスおよび／またはブロックの組合せを実施するために使用され得ることを理解されたい。コンピュータプログラム命令は、マシンを生成するために、汎用コンピュータ、専用コンピュータ、組込みプロセッサ、または別のプログラマブルデータ処理デバイスのプロセッサに提供され得、これにより、コンピュータまたは別のプログラマブルデータ処理デバイスのプロセッサによって実行される命令は、フローチャートの1つ以上の手順および／またはブロック図の1つ以上のブロックにおける特定の機能を実施するための装置を生成する。
【0211】
コンピュータプログラム命令は、あるいは、特定の方法で動作するようにコンピュータまたは別のプログラマブルデータ処理デバイスに示すことができるコンピュータ可読メモリに記憶されてもよく、これにより、コンピュータ可読メモリに記憶された命令は、命令装置を含む人工物を生成する。命令装置は、フローチャートの1つ以上の手順および／またはブロック図の1つ以上のブロックにおける特定の機能を実施する。
【0212】
コンピュータプログラム命令は、あるいは、コンピュータまたは別のプログラマブルデータ処理デバイスにロードされてもよく、これにより、一連の動作およびステップがコンピュータまたは別のプログラマブルデバイス上で実行され、これにより、コンピュータ実施処理が生成される。したがって、コンピュータまたは別のプログラマブルデバイス上で実行される命令は、フローチャートの1つ以上の手順および／またはブロック図の1つ以上のブロックにおける特定の機能を実施するためのステップを提供する。
【0213】
当業者が、本出願の実施形態の範囲から逸脱することなく、本出願の実施形態に様々な修正および変形を加えることができることは明らかである。本出願は、本出願の実施形態におけるこれらの修正および変形が本出願の特許請求の範囲およびそれらの均等な技術の範囲内にある限り、これらの修正および変形を包含することを意図されている。
【符号の説明】
【0214】
401 キャプチャエンドデバイス
402 表示エンドデバイス
402a HDR表示デバイス
402b SDR表示デバイス
403 伝送リンク
1400 トーンマッピング処理装置
1401 取得モジュール
1402 処理モジュール
1403 トーンマッピングモジュール
1500 トーンマッピング処理装置
1501 キャプチャモジュール
1502 処理モジュール
1503 トランシーバモジュール
1600 電子デバイス
1610 通信インターフェース
1620 プロセッサ
1630 メモリ
1640 通信線
402 表示エンドデバイス
402a HDR表示デバイス
402b SDR表示デバイス
403 伝送リンク
1400 トーンマッピング処理装置
1401 取得モジュール
1402 処理モジュール
1403 トーンマッピングモジュール
1500 トーンマッピング処理装置
1501 キャプチャモジュール
1502 処理モジュール
1503 トランシーバモジュール
1600 電子デバイス
1610 通信インターフェース
1620 プロセッサ
1630 メモリ
1640 通信線
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12(a)】
【図12(b)】
【図13】
【図14】
【図15】
【図16】
【手続補正書】
【提出日】2024-04-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
表示エンドデバイスに適用されるトーンマッピング方法であって、前記方法は、表示されるべき画像フレームおよびメタデータを取得するステップであって、前記メタデータは少なくとも1つのメタデータ情報ユニットを含む、ステップと、
ターゲットセグメント化方法で前記表示されるべき画像フレームを複数のセグメント化領域にセグメント化し、前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの対応関係を決定するステップと、
前記表示されるべき画像フレーム内のi番目の画素に関して、以下の動作、すなわち、
前記i番目の画素に対して選択された事前設定領域に含まれる複数の画素に基づいて、前記複数の画素が属する少なくとも1つの関連するセグメント化領域を決定し、前記対応関係に基づいて、前記関連するセグメント化領域の各々に対応する関連するメタデータ情報ユニットを決定する動作と、
前記関連するメタデータ情報ユニットに基づいて、前記関連するセグメント化領域の各々に対応するトーンマッピングサブ値を取得し、対応する重み係数を前記関連するセグメント化領域の各々に割り振る動作と、
前記関連するセグメント化領域の各々に対応する前記トーンマッピングサブ値および前記重み係数に基づいて前記i番目の画素のトーンマッピング値を取得し、前記トーンマッピング値に基づいて前記i番目の画素に対してトーンマッピングを実行する動作と
を実行するステップと
を含み、
iは、1～Nの任意の正の整数であり、Nは、前記表示されるべき画像フレームに含まれる画素の数である、方法。
【請求項2】
対応する重み係数を前記関連するセグメント化領域の各々に割り振る前記動作は、以下の方法、すなわち、前記関連するセグメント化領域の各々内の前記事前設定領域に属する画素の数と前記事前設定領域に対応する画素の総数とを別々に決定し、第1の関連するセグメント化領域に関して、以下の動作、すなわち、前記第1の関連するセグメント化領域内の前記事前設定領域に属する画素の数および前記画素の総数に基づいて、対応する第1の重み係数を前記第1の関連するセグメント化領域に割り振る動作であって、前記第1の関連するセグメント化領域は、前記少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行する方法、ならびに／または
前記関連するセグメント化領域の各々内の前記事前設定領域に対応する事前設定特徴値を別々に決定し、第2の関連するセグメント化領域に関して、以下の動作、すなわち、前記第2の関連するセグメント化領域内の前記事前設定領域に対応する事前設定特徴値と前記i番目の画素の事前設定特徴値との特徴差に基づいて、対応する第2の重み係数を前記第2の関連するセグメント化領域に割り振る動作であって、前記第2の関連するセグメント化領域は、前記少なくとも1つの関連するセグメント化領域のうちのいずれか1つである、動作を実行する方法
の1つまたは組合せを含む、請求項1に記載の方法。
【請求項3】
前記メタデータは、以下の情報、すなわち、第1の加重強度値または第2の加重強度値の1つまたは組合せをさらに含み、前記第1の加重強度値は、前記表示されるべき画像フレームの画素数分布ステータスに基づいて前記第1の重み係数を調整するために使用され、前記第2の加重強度値は、前記表示されるべき画像フレームの事前設定特徴値変化ステータスに基づいて前記第2の重み係数を調整するために使用される、請求項2に記載の方法。
【請求項4】
前記事前設定特徴値は、以下の特徴値、すなわち輝度特徴値または色特徴値のうちの1つである、請求項2または3に記載の方法。
【請求項5】
少なくとも1つの前記事前設定特徴値がある、請求項4に記載の方法。
【請求項6】
前記関連するメタデータ情報ユニットに基づいて、前記関連するセグメント化領域の各々に対応するトーンマッピングサブ値を取得する前記動作は、トーンマッピング曲線に基づいて、前記関連するセグメント化領域における前記i番目の画素に対応するトーンマッピングサブ値を取得する動作であって、前記関連するメタデータ情報ユニットは、前記トーンマッピング曲線のパラメータを含む、動作
を含む、請求項1に記載の方法。
【請求項7】
前記i番目の画素に対して選択された前記事前設定領域は、前記i番目の画素を中心として使用して選択された、事前設定サイズの事前設定形状の領域、前記i番目の画素を中心として使用して、前記メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定された領域、または前記i番目の画素を中心として使用して、前記メタデータに含まれる事前設定形状および事前設定サイズ情報に基づいて決定された領域である、請求項1から3のいずれか一項に記載の方法。
【請求項8】
前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの対応関係を決定する前記ステップは、任意の前記セグメント化領域に関して、前記セグメント化領域から事前設定位置にある画素を選択し、前記事前設定位置にある前記画素の座標情報を取得するステップ、および前記座標情報に基づいて、前記セグメント化領域に対応するメタデータ情報ユニットを決定するステップ、および前記セグメント化領域と前記対応するメタデータ情報ユニットとの対応関係を確立するステップ、または
任意の前記メタデータ情報ユニットに関して、前記メタデータ情報ユニットに含まれる1つ以上の座標情報に基づいて、前記1つ以上の座標情報に対応する少なくとも1つのセグメント化領域を決定するステップ、および前記メタデータ情報ユニットと前記対応する少なくとも1つのセグメント化領域との対応関係を確立するステップ
を含む、請求項1に記載の方法。
【請求項9】
前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの対応関係を決定する前記ステップは、前記セグメント化領域の各々に対応するメタデータ情報ユニットを決定するために、ターゲット走査シーケンスおよびセグメント化領域識別子に基づいて前記複数のセグメント化領域をトラバースするステップであって、前記メタデータ情報ユニットは前記対応するセグメント化領域識別子を含み、前記ターゲット走査シーケンスは、事前設定された走査シーケンスまたは前記メタデータで示される走査シーケンスである、ステップ
を含む、請求項1に記載の方法。
【請求項10】
前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの間に1対1の対応関係または多対1の対応関係がある、請求項1から3、6、8、または9のいずれか一項に記載の方法。
【請求項11】
前記ターゲットセグメント化方法は、事前設定されたセグメント化方法または前記メタデータで示されるセグメント化方法である、請求項1から3、6、8、または9のいずれか一項に記載の方法。
【請求項12】
キャプチャエンドデバイスに適用されるトーンマッピング方法であって、前記方法は、表示されるべきデータフレームを取得するために画像データをキャプチャするステップと、
ターゲットセグメント化方法で前記表示されるべきデータフレームを複数のセグメント化領域にセグメント化し、前記複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定するステップと、
前記表示されるべきデータフレームおよびメタデータを表示エンドデバイスに送信するステップであって、前記メタデータは前記少なくとも1つのメタデータ情報ユニットを含む、ステップと
を含む、方法。
【請求項13】
前記方法は、前記複数のセグメント化領域にそれぞれ含まれる画素の数に基づいて第1の加重強度値を決定するステップ、および／または
前記複数のセグメント化領域にそれぞれ対応する事前設定特徴値に基づいて第2の加重強度値を決定するステップ、ならびに
前記第1の加重強度値および／または前記第2の加重強度値を前記メタデータに関連付けるステップ
をさらに含む、請求項12に記載の方法。
【請求項14】
前記事前設定特徴値は、以下の特徴値、すなわち輝度特徴値または色特徴値のうちの1つである、請求項13に記載の方法。
【請求項15】
少なくとも1つの前記事前設定特徴値がある、請求項14に記載の方法。
【請求項16】
前記メタデータ情報ユニットは、セグメント化領域に対応するトーンマッピング曲線のパラメータを含む、請求項12に記載の方法。
【請求項17】
前記メタデータは事前設定サイズ情報をさらに含み、前記事前設定サイズ情報は、画素に対して事前設定領域が選択されるときに使用される事前設定形状の事前設定サイズを示し、または前記メタデータは、事前設定形状および事前設定サイズ情報をさらに含む、請求項12から16のいずれか一項に記載の方法。
【請求項18】
前記複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定する前記ステップは、前記セグメント化領域から事前設定位置にある複数の画素を選択し、前記事前設定位置にある前記複数の画素の座標情報を取得するステップと、
前記座標情報を前記メタデータ情報ユニットに関連付けるステップと
を含む、請求項12に記載の方法。
【請求項19】
前記メタデータ情報ユニットは、前記メタデータ情報ユニットに対応するセグメント化領域識別子と走査シーケンスとをさらに含み、前記対応するセグメント化領域識別子および前記走査シーケンスは、前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの対応関係を決定するために前記表示エンドデバイスによって使用される、請求項12に記載の方法。
【請求項20】
前記複数のセグメント化領域と前記少なくとも1つのメタデータ情報ユニットとの間に1対1の対応関係または多対1の対応関係がある、請求項12から16、18、または19のいずれか一項に記載の方法。
【請求項21】
前記方法は、前記ターゲットセグメント化方法で前記表示されるべきデータフレームをセグメント化するように前記表示エンドデバイスに示すために、前記ターゲットセグメント化方法を前記メタデータに関連付けるステップ
をさらに含む、請求項12に記載の方法。
【請求項22】
互いに結合された不揮発性メモリおよびプロセッサを備える表示エンドデバイスであって、前記プロセッサは、請求項1から3、6、8、または9のいずれか一項に記載の方法を実行するために、前記メモリに記憶されたプログラムコードを呼び出す、表示エンドデバイス。
【請求項23】
互いに結合された不揮発性メモリおよびプロセッサを備えるキャプチャエンドデバイスであって、前記プロセッサは、請求項12から16、18、または19のいずれか一項に記載の方法を実行するために、前記メモリに記憶されたプログラムコードを呼び出す、キャプチャエンドデバイス。
【請求項24】
請求項22に記載の表示エンドデバイスと、請求項23に記載のキャプチャエンドデバイスとを備えるトーンマッピングシステム。
【請求項25】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体はコンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサ上で実行されるとき、請求項1から3、6、8、または9のいずれか一項に記載の方法が実施される、コンピュータ可読記憶媒体。
【請求項26】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体はコンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサ上で実行されるとき、請求項12から16、18、または19のいずれか一項に記載の方法が実施される、コンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０１６０
【補正方法】変更
【補正の内容】
【0160】
あるいは、任意選択で、負の相関関係は指数関係であってもよく、指数関係は、第2の加重強度値に基づいて決定されてもよい。第2の加重強度値は、表示されるべき画像フレームの事前設定特徴値変化ステータスに基づいて第2の重み係数を調整するために使用される。例えば、第2の加重強度値を使用して第2の重み係数を調整することは、以下の式（4－2）のように表現され得る。
【数19】
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０１７２
【補正方法】変更
【補正の内容】
【0172】
ステップ1301：表示されるべきデータフレームを取得するために画像データをキャプチャする。例えば、画像データは、画像キャプチャ装置を使用してキャプチャエンドデバイス401によってキャプチャされてもよいし、または事前設定されたアプリケーションプログラムを使用してキャプチャエンドデバイス401によって作成および生成されてもよい。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０１７３
【補正方法】変更
【補正の内容】
【0173】
ステップ1302：ターゲットセグメント化方法で、表示されるべきデータフレームを複数のセグメント化領域にセグメント化し、複数のセグメント化領域に対して、対応する少なくとも1つのメタデータ情報ユニットを決定する。例えば、ターゲットセグメント化方法は、前述の内容で説明された複数のセグメント化方法、例えば、図6に示されているセグメント化方法A、図7に示されているセグメント化方法B、および図8に示されているセグメント化方法Cなどであってもよい。加えて、キャプチャエンドデバイス401および表示エンドデバイス402は、同じセグメント化方法を使用する。加えて、キャプチャエンドデバイス401は、メタデータを使用してターゲットセグメント化方法を表示エンドデバイス402にさらに示し得る。加えて、キャプチャエンドデバイス401は、メタデータを使用して、ターゲットセグメント化方法で使用され得る第1のセグメント化パラメータおよび第2のセグメント化パラメータなどを表示エンドデバイス402にさらに示し得る。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】０１７４
【補正方法】変更
【補正の内容】
【0174】
例えば、セグメント化方法Aの場合、キャプチャエンドデバイス401は、画像データ内の異なる行のヒストグラムに基づいて垂直方向のセグメント化数を決定し、画像データ内の異なる列のヒストグラムに基づいて水平方向のセグメント化数を決定し得る。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０１７５
【補正方法】変更
【補正の内容】
【0175】
別の例では、セグメント化方法Bの場合、キャプチャエンドデバイス401は、垂直方向のセグメント化リストを決定するために画像データ内の異なる行のヒストグラムに基づいてクラスタリングを実行し、水平方向のセグメント化リストを決定するために画像データ内の異なる列のヒストグラムに基づいてクラスタリングを実行し得る。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】０１８９
【補正方法】変更
【補正の内容】
【0189】
前述の方法と同じ発明概念に従って、本出願の一実施形態はトーンマッピング処理装置1500を提供する。トーンマッピング処理装置1500は、前述のキャプチャエンドデバイス401に適用可能であり得る。図15に示されているように、装置1500は、キャプチャモジュール1501と、処理モジュール1502と、トランシーバモジュール1503とを含み得る。
【国際調査報告】