IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ インターデジタル シーイー パテント ホールディングスの特許一覧

特表2024-541830連結された逆トーンマッピング及びトーンマッピング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-13
(54)【発明の名称】連結された逆トーンマッピング及びトーンマッピング
(51)【国際特許分類】
   H04N 5/202 20230101AFI20241106BHJP
【FI】
H04N5/202
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024521780
(86)(22)【出願日】2022-10-11
(85)【翻訳文提出日】2024-06-05
(86)【国際出願番号】 EP2022078245
(87)【国際公開番号】W WO2023072582
(87)【国際公開日】2023-05-04
(31)【優先権主張番号】21306502.2
(32)【優先日】2021-10-27
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
2.BLUETOOTH
(71)【出願人】
【識別番号】518341334
【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(74)【代理人】
【識別番号】110002848
【氏名又は名称】弁理士法人NIP&SBPJ国際特許事務所
(72)【発明者】
【氏名】トゥーゼ、デイヴィッド
(72)【発明者】
【氏名】コーヴァン、ローラン
(72)【発明者】
【氏名】ロペス、パトリック
(72)【発明者】
【氏名】ル ナウール、ロビン
(72)【発明者】
【氏名】ジャンペルツ、ジャン-リュック
(57)【要約】
標準ダイナミックレンジデータを取得することと、標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す情報を取得し(601)、情報をメタデータに挿入することと、標準ダイナミックレンジデータ(600)を表すビデオデータをメタデータ(602)と共に提供することと、を含む方法。
【特許請求の範囲】
【請求項1】
標準ダイナミックレンジデータを取得すること(501)と、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す情報を取得し(601、1001)、前記情報をメタデータに挿入することと、
前記標準ダイナミックレンジデータ(600、1000)を表すビデオデータを前記メタデータ(602、1002)と共に提供することと、を含む方法。
【請求項2】
前記標準ダイナミックレンジデータを表す前記ビデオデータは、前記標準ダイナミックレンジデータ、又は前記逆トーンマッピングプロセスを適用することによって前記標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む、請求項1に記載の方法。
【請求項3】
前記情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す、請求項1又は2に記載の方法。
【請求項4】
前記情報がトーンマッピング曲線を表す場合、前記逆トーンマッピングプロセスを定義するために使用される逆トーンマッピング曲線の逆を計算することを含む、請求項3に記載の方法。
【請求項5】
前記逆トーンマッピング曲線の逆から第1のルックアップテーブル及び第2のルックアップテーブルを計算すること(6012)であって、前記第1のルックアップテーブルは、高ダイナミックレンジデータの輝度成分をトーンマッピングするように適合され、前記第2のルックアップテーブルは、前記高ダイナミックレンジデータの色成分を補正するように適合される、計算すること(6012)と、前記第1及び第2のルックアップテーブルから、トーンマッピング関数を表す第1の変数及び色補正関数を表す第2の変数を推定することであって、前記第1及び第2の変数は、前記メタデータに挿入された前記逆トーンマッピングプロセスを表す前記情報である、推定することと、を含む、請求項4に記載の方法。
【請求項6】
前記方法は、前記標準ダイナミックレンジデータの各ピクチャに対して、又は前記標準ダイナミックレンジデータのピクチャのグループに対して適用される、請求項1~5のいずれか一項に記載の方法。
【請求項7】
標準ダイナミックレンジデータを表すビデオデータを取得(401)することと、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す第1の情報を含むメタデータが前記ビデオデータと共に取得されたかどうかを決定すること(610)と、
前記メタデータを取得したことに応答して、前記第1の情報に基づいて前記ビデオデータから取得された高ダイナミックレンジデータに第1のトーンマッピングプロセスを適用することと、
そうでない場合、前記標準ダイナミックレンジデータを表す前記ビデオデータから第2のトーンマッピングプロセスを表す第2の情報を計算し、前記情報に基づいて、前記ビデオデータから取得された高ダイナミックレンジデータに前記第2のトーンマッピングプロセスを適用することと、を含む方法。
【請求項8】
前記ビデオデータは、前記標準ダイナミックレンジデータ、又は前記逆トーンマッピングプロセスを適用することによって前記標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む、請求項7に記載の方法。
【請求項9】
前記情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す、請求項7又は8に記載の方法。
【請求項10】
前記方法は、前記情報が逆トーンマッピング曲線を表す場合、前記逆トーンマッピング曲線を逆にすることを含む、請求項9に記載の方法。
【請求項11】
前記方法は、前記標準ダイナミックレンジデータの各ピクチャに対して、又は前記標準ダイナミックレンジデータのピクチャのグループに対して適用される、請求項7~10のいずれか一項に記載の方法。
【請求項12】
電子回路を備えるデバイスであって、前記電子回路は、
標準ダイナミックレンジデータを取得し(501)、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す情報を取得し(601、1001)、前記情報をメタデータに挿入し、
前記標準ダイナミックレンジデータ(600、1000)を表すビデオデータを前記メタデータ(602、1002)と共に提供する、ように構成される、デバイス。
【請求項13】
前記標準ダイナミックレンジデータを表す前記ビデオデータは、前記標準ダイナミックレンジデータ、又は前記逆トーンマッピングプロセスを適用することによって前記標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む、請求項12に記載のデバイス。
【請求項14】
前記情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す、請求項12又は13に記載のデバイス。
【請求項15】
前記情報がトーンマッピング曲線を表すとき、前記電子回路は、前記逆トーンマッピングプロセスを定義するために使用される逆トーンマッピング曲線の逆を計算するように更に構成される、請求項14に記載のデバイス。
【請求項16】
前記電子回路は、前記逆トーンマッピング曲線の逆から第1のルックアップテーブル及び第2のルックアップテーブルを計算し(6012)、前記第1のルックアップテーブルは、高ダイナミックレンジデータの輝度成分をトーンマッピングするように適合され、前記第2のルックアップテーブルは、前記高ダイナミックレンジデータの色成分を補正するように適合され、前記第1及び第2のルックアップテーブルから、トーンマッピング関数を表す第1の変数及び色補正関数を表す第2の変数を推定し(6013)、前記第1及び第2の変数は、前記メタデータに挿入された前記逆トーンマッピングプロセスを表す前記情報である、ように更に構成される、請求項15に記載のデバイス。
【請求項17】
前記電子回路は、
標準ダイナミックレンジデータを取得すること(501)と、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す情報を取得し(601、1001)、前記情報をメタデータに挿入することと、
前記標準ダイナミックレンジデータ(600、1000)を表すビデオデータを前記メタデータ(602、1002)と共に提供することを、
前記標準ダイナミックレンジデータの各ピクチャに対して、又は前記標準ダイナミックレンジデータのピクチャのグループに対して行うように構成される、請求項12~16のいずれか一項に記載のデバイス。
【請求項18】
電子回路を備えるデバイスであって、前記電子回路は、
前記標準ダイナミックレンジデータを表すビデオデータを取得し(401)、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す第1の情報を含むメタデータが前記ビデオデータと共に取得されたかどうかを決定し(610)、
前記メタデータの受信に応答して、前記第1の情報に基づいて前記ビデオデータから取得された高ダイナミックレンジデータに第1のトーンマッピングプロセスを適用し、
そうでない場合、前記標準ダイナミックレンジデータを表す前記ビデオデータから第2のトーンマッピングプロセスを表す第2の情報を計算し、前記情報に基づいて、前記ビデオデータから取得された高ダイナミックレンジデータに前記第2のトーンマッピングプロセスを適用する、ように構成される、デバイス。
【請求項19】
前記ビデオデータは、前記標準ダイナミックレンジデータ、又は前記逆トーンマッピングプロセスを適用することによって前記標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む、請求項18に記載のデバイス。
【請求項20】
前記情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す、請求項18又は19に記載のデバイス。
【請求項21】
前記情報が逆トーンマッピング曲線を表す場合、前記電子回路は、前記逆トーンマッピング曲線を逆にするように更に構成される、請求項20に記載のデバイス。
【請求項22】
前記電子回路は、
前記標準ダイナミックレンジデータを表すビデオデータを取得すること(401)と、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す第1の情報を含むメタデータが前記ビデオデータと共に取得されたかどうかを決定すること(610)と、
前記メタデータの受信に応答して、前記第1の情報に基づいて前記ビデオデータから取得された高ダイナミックレンジデータに第1のトーンマッピングプロセスを適用することと、
そうでない場合、前記標準ダイナミックレンジデータを表す前記ビデオデータから第2のトーンマッピングプロセスを表す第2の情報を計算し、前記情報に基づいて前記ビデオデータから取得された高ダイナミックレンジデータに前記第2のトーンマッピングプロセスを適用することを、前記標準ダイナミックレンジデータの各ピクチャに対して、又は前記標準ダイナミックレンジデータのピクチャのグループに対して行うように構成される、請求項18~21のいずれか一項に記載のデバイス。
【請求項23】
請求項1~6のいずれか一項に記載の方法を用いて、又は請求項12~17のいずれか一項に記載のデバイスを用いて生成される信号。
【請求項24】
請求項1~11のいずれか一項に記載の方法を実装するためのプログラムコード命令を含む、コンピュータプログラム。
【請求項25】
請求項1~11のいずれか一項に記載の方法を実装するためのプログラムコード命令を記憶する、非一時的情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態の少なくとも1つは、概して、高ダイナミックレンジ(High Dynamic Range、HDR)ビデオの制作の分野に関し、より詳細には、逆トーンマッピング及びトーンマッピング後に、元のSDRデータに可能な限り近いSDRデータを再生成するための方法、デバイス及び機器に関する。
【背景技術】
【0002】
表示技術における最近の進歩によって、表示される画像における色、輝度及びコントラストの拡張ダイナミックレンジが使用可能になり始めている。画像という用語は、本明細書では、例えば、ビデオ又は静止ピクチャ若しくは画像であり得る画像コンテンツを指す。
【0003】
高ダイナミックレンジビデオ(High-Dynamic-Range video、HDRビデオ)は、標準ダイナミックレンジビデオ(Standard-Dynamic-Range video、SDRビデオ)より大きいダイナミックレンジを有するビデオを表す。HDRビデオは、キャプチャ、制作、コンテンツ/符号化及び表示を伴う。HDRキャプチャ及びディスプレイデバイスは、より明るい白色及びより深い黒色を有することができる。このことに対処するために、HDR符号化基準では、この拡張範囲にわたって精度を維持するために、最大輝度を高めることを可能にし、(非専門的なSDRビデオの場合の8ビット及び専門的なSDRビデオの場合の10ビットと比較して)少なくとも10ビットのダイナミックレンジを使用する。
【0004】
HDR制作は新しい領域であり、HDRコンテンツとSDRコンテンツの両方が共存する移行フェーズが存在する。この共存フェーズの間、同じライブコンテンツがHDRバージョン及びSDRバージョンで同時に制作される。次いで、ユーザは、自分の好み又は能力に応じて、コンテンツのHDR又はSDRバージョンを表示することができる。
【0005】
コンテンツ制作産業の現在の傾向は以下の通りである。
● 第1に、HDRコンテンツを制作し、次に自動ツールを使用してHDRコンテンツからSDRコンテンツを自動的に導出する。
● 第2に、HDR技術にとって逆効果であり得る、ユーザへの悪いHDRコンテンツの配信を回避するために、HDR制作のための制御された安全な手法を適用する。
【0006】
その点に関して、いくつかの推奨がITU-R文書「Report ITU-R BT.2408-3,Guidance for operational practices in HDR television production,07/2019」によって導入されており、以下では単にBT.2408-3レポートと呼ぶ。BT.2408-3レポートに導入された1つの重要な推奨は、HDR拡散白色を「203」nitに等しい固定値に設定するという制約である。この制約により、固定された3Dルックアップテーブル(Look-Up Table、LUT)を使用して、SDRからHDRへの変換(すなわち、逆トーンマッピング(Inverse Tone Mapping、ITM))及びHDRからSDRへの変換(トーンマッピング(Tone Mapping、TM))を実施することが可能になる。
【0007】
ライブHDRコンテンツは、一般に、メインHDRビデオコンテンツと、ロゴ及びスコアのためのグラフィックス又は広告等の他のタイプのコンテンツとの混合である。これらの追加されたコンテンツは、SDRである可能性があり、したがって、メインHDRビデオコンテンツと混合される前にHDRに変換される必要がある。結果として生じる混合されたHDRコンテンツは、SDRに変換される可能性が高いので、新たな制約が現れる。すなわち、これらの追加されたコンテンツのいわゆるSDR-HDR-SDRラウンドトリップ変換(すなわち、ITM変換と、それに続くTM変換(SDR配信のため))から生じるSDRコンテンツは、元のSDRコンテンツと同一でなければならない。コンテンツ制作者が元のSDRコンテンツからHDRコンテンツを生成するが、何らかの理由でこのHDRコンテンツから生成されたSDRコンテンツが元のSDRコンテンツと同一であることを望む場合、同じSDR-HDR-SDRラウンドトリップ制約が存在する。
【0008】
BT.2408-3レポートの推奨は、SDR-HDR-SDRラウンドトリップ制約を順守する解決策を提供する。しかしながら、HDRコンテンツに適用される制約は、これらのHDRコンテンツを鈍くし、魅力的でないものにする。更に、これらの制約により、HDRカメラは、それらの最大能力まで活用されず、写真撮影のHDRカメラマン/ディレクタは、それらの選択/芸術的意図においてかなり制限される。
【0009】
上記の欠点を克服することが望ましい。
【0010】
HDR作成において更なる柔軟性、更なる芸術的自由度を可能にし、したがって、より魅力的なHDRコンテンツを取得することを可能にするシステムを提案することが特に望ましい。
【発明の概要】
【0011】
第1の態様では、本実施形態のうちの1つ以上は方法を提供し、方法は、標準ダイナミックレンジデータを取得することと、標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す情報を取得し、情報をメタデータに挿入することと、標準ダイナミックレンジデータを表すビデオデータをメタデータと共に提供することと、を含む。
【0012】
一実施形態では、標準ダイナミックレンジデータを表すビデオデータは、標準ダイナミックレンジデータ、又は逆トーンマッピングプロセスを適用することによって標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む。
【0013】
一実施形態では、情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す。
【0014】
一実施形態では、情報がトーンマッピング曲線を表す場合、逆トーンマッピングプロセスを定義するために使用される逆トーンマッピング曲線の逆を計算する。
【0015】
一実施形態では、方法は、逆トーンマッピング曲線の逆から第1のルックアップテーブル及び第2のルックアップテーブルを計算することであって、第1のルックアップテーブルは、高ダイナミックレンジデータの輝度成分をトーンマッピングするように適合され、第2のルックアップテーブルは、高ダイナミックレンジデータの色成分を補正するように適合される、計算することと、第1及び第2のルックアップテーブルから、トーンマッピング関数を表す第1の変数及び色補正関数を表す第2の変数を推定することであって、第1及び第2の変数は、メタデータに挿入された逆トーンマッピングプロセスを表す情報である、推定することとを含む。
【0016】
第2の態様では、本実施形態のうちの1つ以上は方法を提供し、方法は、標準ダイナミックレンジデータを表すビデオデータを取得することと、標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す第1の情報を含むメタデータがビデオデータと共に取得されたかどうかを決定することと、メタデータを取得したことに応答して、第1の情報に基づいて、ビデオデータから取得された高ダイナミックレンジデータに第1のトーンマッピングプロセスを適用することと、そうでない場合、標準ダイナミックレンジデータを表すビデオデータから第2のトーンマッピングプロセスを表す第2の情報を計算し、情報に基づいて、ビデオデータから取得された高ダイナミックレンジデータに第2のトーンマッピングプロセスを適用することと、を含む。
【0017】
一実施形態では、ビデオデータは、標準ダイナミックレンジデータ、又は逆トーンマッピングプロセスを適用することによって標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む。
【0018】
一実施形態では、情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す。
【0019】
一実施形態では、方法は、情報が逆トーンマッピング曲線を表す場合、逆トーンマッピング曲線を逆にすることを含む。
【0020】
第3の態様では、本実施形態のうちの1つ以上は、電子回路を備えるデバイスを提供し、電子回路は、標準ダイナミックレンジデータを取得し、標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す情報を取得し、情報をメタデータに挿入し、標準ダイナミックレンジデータを表すビデオデータをメタデータと共に提供する、ように構成される。
【0021】
一実施形態では、標準ダイナミックレンジデータを表すビデオデータは、標準ダイナミックレンジデータ、又は逆トーンマッピングプロセスを適用することによって標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む。
【0022】
一実施形態では、情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す。
【0023】
一実施形態では、情報がトーンマッピング曲線を表す場合、電子回路は、逆トーンマッピングプロセスを定義するために使用される逆トーンマッピング曲線の逆を計算するように更に構成される。
【0024】
一実施形態では、電子回路は、逆トーンマッピング曲線の逆から第1のルックアップテーブル及び第2のルックアップテーブルを計算し(6012)、第1のルックアップテーブルは、高ダイナミックレンジデータの輝度成分をトーンマッピングするように適合され、第2のルックアップテーブルは、高ダイナミックレンジデータの色成分を補正するように適合され、第1及び第2のルックアップテーブルから、トーンマッピング関数を表す第1の変数及び色補正関数を表す第2の変数を推定し(6013)、第1及び第2の変数は、メタデータに挿入された逆トーンマッピングプロセスを表す情報である、ように更に構成される。
【0025】
第4の態様では、本実施形態のうちの1つ以上は、電子回路を備えるデバイスを提供し、電子回路は、標準ダイナミックレンジデータを表すビデオデータを取得し、標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す第1の情報を含むメタデータがビデオデータと共に取得されたかどうかを決定し、メタデータの受信に応答して、第1の情報に基づいて、ビデオデータから取得された高ダイナミックレンジデータに第1のトーンマッピングプロセスを適用し、そうでない場合、標準ダイナミックレンジデータを表すビデオデータから第2のトーンマッピングプロセスを表す第2の情報を計算し、情報に基づいて、ビデオデータから取得された高ダイナミックレンジデータに第2のトーンマッピングプロセスを適用する、ように構成される。
【0026】
一実施形態では、ビデオデータは、標準ダイナミックレンジデータ、又は逆トーンマッピングプロセスを適用することによって標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む。
【0027】
一実施形態では、情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す。
【0028】
一実施形態では、情報が逆トーンマッピング曲線を表す場合、電子回路は、逆トーンマッピング曲線を逆にするように更に構成される。
【0029】
第5の態様では、本実施形態のうちの1つ以上は、第1の態様の方法を用いて、又は第3の態様のデバイスを用いて生成される信号を提供する。
【0030】
第6の態様では、本実施形態のうちの1つ以上は、第1の態様又は第2の態様による方法を実装するためのプログラムコード命令を含む、コンピュータプログラムを提供する。
【0031】
第7の態様では、本実施形態のうちの1つ以上は、第1の態様又は第2の態様による方法を実装するためのプログラムコード命令を記憶する、非一時的情報記憶媒体を提供する。
【図面の簡単な説明】
【0032】
図1A】拡散白色が現れる輝度値のスケールを示す。
図1B】拡散白色が「203」nitに固定されたときの輝度値のスケールの分離を示す。
図1C】様々な実施形態のコンテキストを概略的に示す。
図2】現在の単一ストリームHDR/SDRワークフローを示す。
図3】一実施形態による単一ストリームHDR/SDRワークフローを示す。
図4】既知のSL-HDRプリプロセッサを示す。
図5】既知の逆トーンマッピングプロセスを示す。
図6A】一実施形態によるITMプロセスの一例を概略的に示す。
図6B】一実施形態によるTMプロセスの一例を概略的に示す。
図6C】SL-HDR1のコンテキストにおける一実施形態によるTMプロセスの例のステップを詳述する。
図7A】ITM曲線の第1の例を示す。
図7B】ITM曲線の第2の例を示す。
図8】輝度マッピング変数を決定するためのプロセスの一例を示す。
図9】色補正調整変数を決定するためのプロセスの一例を示す。
図10A】変形実施形態によるプロセスの一例を概略的に示す。
図10B】SL-HDR1のコンテキストにおける変形実施形態によるプロセスの例のステップの詳細を示す。
図11A】様々な態様及び実施形態を実施することができる処理モジュールのハードウェアアーキテクチャの一例を概略的に示す。
図11B】様々な態様及び実施形態が実装される第1のシステムの一例のブロック図を示す。
図11C】様々な態様及び実施形態が実装される第2のシステムの一例のブロック図を示す。
【発明を実施するための形態】
【0033】
先に述べたように、BT.2408-3レポートは、いくつかの推奨、特に拡散白色の制約を提案した。拡散白色は、BT.2408-3レポートにおいて、「鏡面ハイライトを最小化し、スペクトルパワー吸収率を最小化することによって、測色的に灰色であるだけでなくスペクトル的に灰色であることによって、完全な反射拡散体に近似するカードによって提供される白色」と定義されている。「完全な反射拡散体」は、「対象の各波長において1に等しいスペクトル放射輝度係数を有する理想的な等方性非蛍光拡散体」として定義される。
【0034】
言い換えれば、拡散白色は、以下を分離するビデオ信号の輝度レベルである。
● 拡散白色より下の輝度レベルに対応する、全てのディテールを有するシーン。
● 鏡面反射。すなわち、非常に明るい画素であり、一般的に白に近く、ディテールが非常に少なく、拡散白色レベルを超える輝度レベルに対応する。
【0035】
図1Aは、拡散白色が現れる輝度値のスケールを示す。図から分かるように、拡散白色は、全ての可能な輝度値のセットを2つの部分に分離する。
【0036】
拡散白色の観念は、HDR信号及びSDR信号に有効である。
【0037】
BT.2408-3レポートは、HDR拡散白色が203nitに等しいことを規定している。
【0038】
しかしながら、「203」nitの制約は推奨に過ぎず、多くのコンテンツ制作者は、その推奨に同意しない。
【0039】
実際に、この仕様は、HDRコンテンツが制約される、すなわち、典型的な1000nitのHDRコンテンツに対して、HDR輝度範囲[0~203nit]の少量のみがシーンの詳細に専用であり、一方、HDR輝度範囲[203~1000nit]の大部分は、ディテールをもたらさない鏡面反射のために確保されるという大きな欠点をもたらす。
【0040】
図1Bは、拡散白色が「203」nitに固定されたときの輝度値のスケールの分離を示す。
【0041】
この制限の理由の1つは、制御された「非常に安全な」ライブHDRコンテンツ制作の必要性である。加えて、この制限は以下の利点を有する。
● HDRからSDRへの変換の実施(すなわち、トーンマッピング(TM))は、「203」nitで定義されるHDR拡散白色が、90%~100%SDR(すなわち、90nit~100nit)で一般に定義されるSDR拡散白色にマッピングされる必要があるので、より単純である。したがって、トーンマッピングは、非常に基本的な静的3D-LUTを使用して実施することができる。
● SDRからHDRへの変換の実施(すなわち、逆トーンマッピング(ITM))も同じ理由でより単純であり、逆トーンマッピングも非常に基本的な静的3D-LUTを用いて実施することができる。
【0042】
しかしながら、シーンのディテールに割り当てられる輝度値と、「203」nitの拡散白色によって引き起こされる鏡面反射に割り当てられる輝度値との間のそのような比は、結果として得られるHDR画像を非常に鈍くし、魅力的でないものにする。
【0043】
以下の実施形態は、以下のシステムを提案することによって、これらの欠点を取り除くことを可能にする。
● HDR生成において更なる軟性及び更なる芸術的自由度を可能にし、したがって、HDRからSDRへの動的変換(トーンマッピング)及びSDRからHDRへの動的変換(逆トーンマッピング)の両方に対して動的変換を使用することによって、より魅力的なHDRコンテンツを取得することを可能にする。
● 完全なSDR-HDR-SDRラウンドトリップのためにITM処理とTM処理とを連結することを可能にする(TM処理はITM処理の逆を適用する)。
【0044】
実際、現在のHDR制作環境の1つの特徴は、ITMツール及びTMツールが独立して動作していることである。その結果、ITMツールにおいて適用されるアルゴリズムとTMツールにおいて適用されるアルゴリズムとの間に相関がなく、TM(又はITM)変換の前に適用されるITM(又はTM)変換の特性を指定する、これらのツール間の通信がない。
【0045】
図1Cは、様々な実施形態が実装されるコンテキストの例を示す。
【0046】
図1Cにおいて、ライブ制作システム20は、マスタ中央制御システム21と通信している。ライブ制作システム20は、同じライブコンテンツのHDRバージョン及びSDRバージョンを同時に提供する。次いで、マスタ中央制御システム21は、これらのSDRバージョン及びHDRバージョンの同じバージョン又は強化バージョンを符号化し、これらの符号化されたバージョンをデバイス22A及び22Bに提供する。一実施形態では、マスタ制御システム21は、AVC((ISO/CEI 14496-10/ITU-T H.264)エンコーダ、HEVC(ISO/IEC 23008-2-MPEG-H Part 2,High Efficiency Video Coding/ITU-T H.265))エンコーダ、VVC(ISO/IEC 23090-3-MPEG-I,Versatile Video Coding/ITU-T H.266)エンコーダ、又は任意の他のエンコーダを使用して、HDR及びSDRバージョンを符号化する。
【0047】
デバイス22A及び22Bは、PC、テレビ、スマートフォン、タブレット、ヘッドマウントディスプレイ等のディスプレイデバイスであり、セットトップボックス等のディスプレイデバイスに接続されたデバイスである。HDR能力を有するデバイス22Aは、符号化されたHDRバージョンを受信する。SDR能力のみを有するデバイス22Bは、符号化されたSDRバージョンを受信する。
【0048】
図2は、現在の単一ストリームHDR/SDRワークフローを示す。図2は、ライブ制作システム20及びマスタ中央制御システム21に関する詳細を提供する。
【0049】
ライブ制作システム20は、HDRソース200及びSDRソース201の2つのソースを含む。各ソースは、カメラ、再生システム、又はグラフィックスを生成するシステムのうちの少なくとも1つを備える。SDRソース201は、複数のITMツールに接続される。
● SDRカメラ出力をHDRにアップコンバージョンするための1つのITMツール202A(ITM1)。
● SDR再生コンテンツをHDRにアップコンバージョンするための1つのITMツール202B(ITM2)。
● SDRグラフィックス(例えばスコア挿入)コンテンツをHDRにアップコンバージョンするための1つのITMツール202C(ITM3)。
【0050】
HDRコンテンツルーティング及びスイッチングシステムは、HDRソース200又はSDRソース201のいずれかから来る複数のHDR入力を取り込み、次いで複数のHDR出力を生成する。
【0051】
これらのHDR出力から、複数のTMツールが使用される。
● マスタ中央制御システム21に送信される生成されたSDRコンテンツの質を評価するシェーダ演算子によって使用される予測SDR出力を生成するためのTMツール204B(TM1)。
● マスタ中央制御システム21に提供されるSDRを生成するためのTMツール204A(TM2)。
【0052】
マスタ制御システム21は、HDRマスタ制御システム212及びSDRマスタ制御システム213を備える。HDR及びSDRマスタ制御システムは、SDR/HDRコンテンツの配信を担当する。図2の例では、マスタ制御システム21は、SDRの広告を生成するソース210と、広告をSDRからHDRに変換するITMツールとを備える。HDRマスタ制御システム212は、HDRに変換されたこれらの広告を受信し、これらの広告を受信したHDRコンテンツと混合する。HDR(若しくはSDR)マスタ制御システム212(若しくは213)は、受信するHDR(若しくはSDRデータ)、又はそれが受信するHDR(若しくはSDR)データと他のデータとの混合から生じるHDR(若しくはSDRデータ)を符号化する。例えば、SDR及びHDRデータは、AVC((ISO/CEI 14496-10/ITU-T H.264)エンコーダ、HEVC(ISO/IEC 23008-2-MPEG-H Part 2,High Efficiency Video Coding/ITU-T H.265))エンコーダ、VVC(ISO/IEC 23090-3-MPEG-I,Versatile Video Coding/ITU-T H.266)エンコーダ、又は任意の他のエンコーダによって符号化される。
【0053】
図から分かるように、図2のHDR制作環境では、ITMツール及びTMツールは、これらのツール間の通信なしに独立して実行されている。
【0054】
既知の実装において、図2のHDR制作環境の各TMツール(例えば、TMツール204A(TM2)及びTMツール204B(TM1))は、例えば、以下でSL-HDRプリプロセッサと呼ばれる規格SL-HDR1(ETSI TS 103 433 v1.4.1)に準拠するプリプロセッサにおいて実装される。
【0055】
図4は、既知のSL-HDRプリプロセッサによって適用されるプロセスを示す。
【0056】
図4のプロセスは、例えば、図11Aに関連して後に更に詳述される処理モジュールによって実施される。
【0057】
ステップ401において、処理モジュールは、HDR入力データを取得する。一般に、HDR入力データはYUVフォーマットである。
【0058】
ステップ402において、処理モジュールは、入力コンテンツフォーマッティングプロセスを実施する。入力コンテンツフォーマッティングプロセスは、HDR入力データを内部表現にフォーマッティングすることからなる。
【0059】
ステップ403において、処理モジュールは、フォーマットされたHDR入力データを分析して、SL-HDRメタデータを計算する。分析は、一般に、フォーマットされたHDR入力データのヒストグラムの計算を含む。SL-HDRメタデータは、以下を含む(又は表す)。
● SL-HDR1仕様(ETSI TS 103 433 v1.4.1)のセクション6.2.5において定義される輝度マッピング変数。
● SL-HDR1仕様(ETSI TS 103 433 v1.4.1)のセクション6.2.6において定義される色補正調整変数。
【0060】
ステップ404において、処理モジュールは、規格SMPTE ST 2108-1に従って、シリアルデジタルインターフェース(Serial Digital Interface、SDI)インターフェースの垂直補助チャネルにSL-HDRメタデータを挿入し、SL-HDRメタデータは、同文書のセクション5.3.5において定義されている動的メタデータタイプ5である。これは、典型的には、SL-HDRプリプロセッサを統合する機器と、AVC((ISO/CEI 14496-10/ITU-T H.264)エンコーダ、HEVC(ISO/IEC 23008-2-MPEG-H Part 2,High Efficiency Video Coding/ITU-T H.265))エンコーダ、VVC(ISO/IEC 23090-3-MPEG-I,Versatile Video Coding/ITU-T H.266)エンコーダ又は任意の他のエンコーダ等のビデオエンコーダとの間でSL-HDRメタデータを搬送する通常の方法である。
【0061】
ステップ405において、処理モジュールは、ステップ403において計算された輝度マッピング変数によって記述されるトーンマッピング(TM)関数を表すルックアップテーブル(LUT、以下、「L-LUT」と称する)と、ステップ403において計算された色補正調整変数によって記述される色補正関数を表すLUT(以下、「B-LUT」と称する)を計算する。L-LUTは、高ダイナミックレンジデータの輝度成分をトーンマッピングする第1のルックアップテーブルであり、B-LUTは、高ダイナミックレンジデータの色成分を補正する第2のルックアップテーブルである。
【0062】
ステップ406において、処理モジュールは、L-LUT及びB-LUTに基づいてTMプロセスを適用することによって、フォーマットされたHDR入力データからSDR出力データを生成する。
【0063】
図5は、既知の逆トーンマッピング(ITM)プロセスを示す。図5のITMプロセスは、典型的には、図2のHDR制作環境の各ITMツール(ITM1 202A、ITM2 202B及びITM3 202C)によって適用される。図5のプロセスは、例えば、図11Aに関連して後に詳述される処理モジュールによって実施される。
【0064】
ステップ501において、処理モジュールは、SDR入力データを取得する。一般に、SDR入力データはYUVフォーマットである。
【0065】
ステップ502において、処理モジュールは、SDR入力データを分析し、分析の結果を使用して最も適切な逆トーンマッピング(ITM)曲線を計算し、このITM曲線を使用してHDRデータを出力する。ITM曲線は、出力されたHDRデータを取得するためにSDRデータに適用されるITMプロセスを定義するために使用される。
【0066】
図から分かるように、ステップ502で適用されるITMプロセスとステップ406で適用されるTMプロセスとの間にはリンクがない。SDR-HDR-SDRラウンドトリップ制約が図4及び図5のプロセスによって順守されることを保証するものは何もない。
【0067】
一実施形態では、以下によって、HDR制作システムにおいてITMツールとTMツールとを連結することが提案される。
● 以下の目的でITMツールとTMツールとが通信することを可能にする、ITMツールとTMツールとの間の通信チャネルを作成する。
○ 完全なSDR-HDR-SDRラウンドトリップを得るために、TMツールがITMツールのSDR入力に一致するSDR出力を生成することを可能にするHDRからSDRへの変換を定義する、
○ 又は、TMツールが、完全なSDR-HDR-SDRラウンドトリップを再び得ることを可能にするHDRからSDRへの逆変換を計算することができるように、ITMツールによって適用されるSDRからHDRへの変換を定義する。
【0068】
図3は、この実施形態に準拠する単一ストリームHDR/SDRワークフローを示す。
【0069】
図1C及び図2のシステム、デバイス及びモジュールは、図3においても同様に見える。図3のHDR制作環境では、ITMツールITM1 202A、ITM2 202B及びITM3 202Cは、次のいずれかを記述するメタデータと共にHDRコンテンツを生成する。
● (これらのメタデータを理解する)TMツールがITMツールのSDR入力に一致するSDR出力を生成することを可能にする、HDRからSDRへの変換。
● (これらのメタデータを理解する)TMツールが逆変換を計算できるように、ITMツールによって適用されるSDRからHDRへの変換。
【0070】
更に、2つのTMツール(TM1 204B及びTM2 204A)は、以下のいずれかを受信する。
● ルーティング及びスイッチングツール203がSDRソース201のうちの1つからコンテンツを出力するときの、メタデータを有するHDRコンテンツ。その場合、TMツールはメタデータを解釈し、メタデータに記述されたHDRからSDRへの変換を直接適用するか、又はITMツールによって適用されたSDRからHDRへの変換を記述するメタデータを使用して、ITMの逆に対応するTMを計算する。両方の場合において、完全なSDR-HDR-SDRラウンドトリップが得られる。
● ルーティング及びスイッチングツール203がHDRソース200のうちの1つからコンテンツを出力するときの、メタデータのないHDRコンテンツ。
【0071】
図3の実施形態は、以下で更に詳述される。特に、ITMプロセスとTMプロセスとの連結の例は、図6A、6B及び6Cに関連して詳述される。
【0072】
図6Aは、一実施形態によるITMプロセスの一例を概略的に示す。図6AのITMプロセスは、典型的には、SDRデータからHDRデータを生成することを担当するモジュールによって実施される。図6AのITMプロセスは、例えば、図11Aに関連して後に詳述される処理モジュールによって実施される。
【0073】
図6AのITMプロセスは、図5に関連して既に説明したステップ501及び502によって開始する。
【0074】
ステップ600において、処理モジュールは、SDR-HDR-SDRラウンドトリップ制約を順守することによってHDRデータからSDRデータを生成することを担当するモジュールに、計算されたHDRデータを提供する(すなわち、出力又は送信する)。
【0075】
ステップ601において、処理モジュールは、ステップ502において適用されたSDRデータからHDRデータを生成するように適合されたITMプロセスを表す情報を計算する。ステップ601の一実施形態では、ITMプロセスを表す情報は、ステップ502で計算されたITM曲線を表す情報を含む。ステップ601の変形例では、ITMプロセスを表す情報は、ステップ502で計算されたITM曲線から推定されたTM曲線を表す情報を含む。ステップ601において、処理モジュールは、メタデータに情報を挿入する。
【0076】
ステップ602において、処理モジュールは、HDRデータからSDRデータを生成することを担当するモジュールにメタデータを提供する(すなわち、出力又は送信する)。
【0077】
図6Bは、一実施形態の復号プロセスの一例を示す。図6BのTMプロセスは、典型的には、SDR-HDR-SDRラウンドトリップ制約を順守することによって、HDRデータからSDRデータを生成することを担当するモジュールによって適用される。図6Bのプロセスは、例えば、図11Aに関連して後に詳述される処理モジュールによって実施される。
【0078】
図4のステップ401及び402は、図6Bのプロセスにおいて維持される。ステップ403及び404は除去される。ステップ405の後にステップ610が続く。ステップ406は、ステップ611及び612によって置き換えられる。ステップ401において、処理モジュールは、ステップ502において生成されたHDRデータを受信することに留意されたい。
【0079】
ステップ610において、処理モジュールは、HDRデータと共にメタデータを受信したか否かを決定する。
【0080】
メタデータがHDRデータと共に受信されなかった場合、処理モジュールはステップ611を適用する。ステップ611において、処理モジュールは、フォーマットされたHDRデータを分析し、分析の結果を使用して最も適切なトーンマッピング(TM)曲線を計算する。ステップ611の後にステップ612が続く。
【0081】
メタデータがHDRデータと共に受信された場合、ステップ610の直後にステップ612が続く。
【0082】
ステップ612において、処理モジュールは、ステップ502において適用されたITMプロセスを表す情報を表すメタデータ、又はステップ611において計算されたTM曲線によって定義されるTMプロセスのいずれかに基づいてTMプロセスを適用することによって、フォーマットされたHDR入力データからSDR出力データを生成する。ITMプロセスを表す情報がITM曲線を表すとき、処理モジュールは、ITM曲線を反転することによってITM曲線からTM曲線を計算し、計算されたTM曲線を使用してHDRデータにトーンマッピングを適用する。実際に、ITM曲線を表す情報は、ITM曲線から推定することができるTM曲線も表す。ITMプロセスを表す情報がTM曲線を表す場合、処理モジュールは、SDRデータを計算するためにTM曲線を直接使用する。
【0083】
以下では、図6A及び図6Bのプロセスが、図6Cに関連してSL-HDR1のコンテキストで詳述される。このコンテキストにおいて、図6AのITMプロセスは、典型的には、図3のHDR制作環境の各ITMツール(ITM1 202A、ITM2 202B及びITM3 202C)の処理モジュールによって実行される。図6BのTMプロセスは、典型的には、図3のHDR制作環境の各TMツール(TM1 204B及びTM2 204A)の処理モジュールによって、又は図4のようなSL-HDRプリプロセッサの処理モジュールによって実行される。
【0084】
図6Cは、ステップ601を詳述する。ステップ601は、ステップ6011、ステップ6012及びステップ6013の3つのステップに分割される。
【0085】
ステップ6011において、処理モジュールは、ステップ502において計算された逆トーンマッピング曲線の逆を計算する。逆トーンマッピング曲線の逆を計算するためのプロセスの例を以下に説明する。
【0086】
ステップ6012において、処理モジュールは、逆トーンマッピング曲線からL-LUT及びB-LUTを計算する。L-LUT及びB-LUTは、SL-HDRプリプロセッサによって使用されるフォーマットに適合されたフォーマットで計算される。
【0087】
ステップ6013において、処理モジュールは、L-LUTからSL-HDR1仕様のセクション6.2.5で定義された輝度マッピング変数を推定し、B-LUTからSL-HDR1仕様のセクション6.2.6で定義された色補正調整変数を推定する。
【0088】
ステップ602において、SL-HDR1のコンテキストにおいて適用される場合、処理モジュールは、ステップ404におけるように、輝度マッピング変数及び色補正調整変数を含む又は表すSL-HDRメタデータをSDIインターフェースの垂直補助チャネルに挿入し、これらのメタデータを、SDR-HDR-SDRラウンドトリップ制約を順守することによってHDRデータからSDRデータを生成することを担当するモジュールに提供する。一実施形態では、SL-HDRメタデータは、ST2108コンテナにおいて提供される。
【0089】
図から分かるように、ステップ600及び602において、処理モジュールは、計算されたHDRデータを表すストリームをSL-HDRメタデータと共に提供し、メタデータは、HDRデータに適用されるトーンマッピングプロセスを指定する。HDRデータは(ステップ502で)SDRデータから取得されるので、メタデータを有するHDRデータはSDRデータを表すことに留意されたい。
【0090】
SL-HDRのコンテキストにおいてステップ612を適用するとき、SDRデータの生成を担当するモジュールの処理モジュール(例えば、SL-HDRプリプロセッサ)は、ST2108コンテナにおいて受信されたSL-HDRメタデータにおいて表される輝度マッピング変数及び色補正調整変数からL-LUT及びB-LUTを計算する。
【0091】
そして、処理モジュールは、L-LUT及びB-LUTに基づいてTMプロセスを適用することによって、フォーマットされたHDR入力データからSDR出力データを生成する。換言すれば、処理モジュールは、HDRデータに対して、SL-HDRメタデータによって指定されるトーンマッピングプロセスを適用する。
【0092】
図6A及び図6Bの連結されたITM/TMプロセスにおいて、SL-HDR1のコンテキストにおいて適用される場合、SL-HDRメタデータは、もはやTMプロセスを担当するモジュール(例えば、SL-HDRプリプロセッサ)によって生成されず、ITMプロセスを担当するモジュール(例えば、ITMツール)によって生成されることに留意されたい。
【0093】
第1の動的実施形態と呼ばれる実施形態では、図6A及び図6Bの連結されたITM/TMプロセスが、ステップ501で取得されたSDRデータに含まれる各画像に適用される。したがって、TMプロセスを担当するモジュール(例えば、図3のSL-HDRプリプロセッサ又はTMツール)は、HDRデータに含まれる各画像の新しいメタデータを受信する。
【0094】
第2の動的実施形態と呼ばれる別の実施形態では、図6A及び6Bの連結されたITM/TMプロセスは、ステップ501で取得されたSDRデータに含まれる複数の画像のグループに適用される。したがって、TMプロセスを担当するモジュール(例えば、図3のSL-HDRプリプロセッサ又はTMツール)は、HDRデータに含まれる複数の画像のグループごとに新しいメタデータを受信する。
【0095】
固定実施形態と呼ばれる別の実施形態では、ステップ502において、ITM曲線を動的に計算する代わりに、ITM曲線がSDRデータに対して固定される。したがって、TMプロセスを担当するモジュール(例えば、図3のSL-HDRプリプロセッサ又はTMツール)は、例えば、HDR/SDRコンテンツ制作の開始時に、HDRデータの固定メタデータを1回受信する。それにもかかわらず、この固定されたITM曲線を用いても、SDR-HDR-SDRラウンドトリップ制約が順守される。
【0096】
以下では、逆トーンマッピング曲線の逆の計算であるステップ601に関する更なる詳細を提供する。
【0097】
文書ITU-R BT.2446-1は、セクション4.2において、以下の拡張関数を使用することによってSDRコンテンツをHDRコンテンツに変換するための方法を記載している。
Y’exp(P)=Y’’(P)E(Y’’(P))
式中、
● Y’が]0...1]の範囲内
● Y’’=255.0×Y’
● Y’’≦Tのとき、E=aY’’+bY’’+c
● Y’’>Tのとき、E=aY’’+bY’’+c
● T=70
● a=1.8712e-5、b=-2.7334e-3、c=1.3141
● a=2.8305e-6、b=-7.4622e-4、c=1.2528
【0098】
図から分かるように、拡張関数は、指数が現在の画素の輝度値に依存する、べき関数に基づく。これはグローバル拡張と呼ばれ、これは、入力(SDR入力)において同じ輝度を有する全ての入力画素が、出力(HDR出力)において同じ輝度を有することを意味する。
【0099】
ローカル拡張と呼ばれる別の方法が存在し、これは以下のように表現することができる。
【0100】
【数1】
式中、Yは、Y’’のフィルタリングされたバージョン、G()はYのゲイン関数であり、並びにYenhanceはY’’及びその周囲のピクセルYsの関数である。図から分かるように、文書ITU-R BT.2446-1に記載されている方法は、Y=Y’’及びYenhance/(Y’’,YSi)=1であるローカル拡張の特定の場合である。
【0101】
両方の場合(グローバル又はローカル拡張)において、拡張された出力は、入力SDR画像と一致するために単調であり、入力におけるYが0であるとき、出力におけるYexpも0である。
【0102】
ITMに使用される拡張方法がローカルである場合、この方法は全単射ではない、すなわち、SL-HDRプリプロセッサはSDRデータを取り出すことができないことを理解されたい。SDRデータを取り出すことは、拡張方法がグローバルであり(上述のように単調であり)、したがって全単射である場合にのみ可能である。それにもかかわらず、ITMのためにローカル拡張を使用することは、ディテールをローカルに追加することによって、取り出されたSDRデータの視覚的品質を改善することができる。
【0103】
同じ文書ITU-R BT.2446-1は、クロマスケーリングファクタScを使用することによって、入力SDRデータのクロマ部分(すなわち、UVSDR)を拡張するための方法を記載している。
【0104】
【数2】
HDRは範囲[0...Lmax]内であり、Lmax=1000cd/mであり、YSDRは範囲[0...255]内である。より一般的には、入力SDRのクロマ部分は、以下の式を用いて拡張することができる。
【0105】
【数3】
ここでYSDRは、SDR輝度、又はフィルタリングされたSDR輝度、又は両方の混合であり得、sat()はYSDR値に依存する飽和関数であり得る。それにもかかわらず、上で説明したようにSは、完全なSDR-HDR-SDRラウンドトリップを行おうとする場合、SDR輝度(そのフィルタリングされた部分ではなく)の関数でなければならない。
【0106】
HDRデータに対して「1000」nitのピークnitを考慮すると、ITM曲線は、可逆的であるためにピークnit値未満に留まらなければならないことが理解されなければならない。ITM曲線の例は、この推奨に従う図7Aに示されている。実際、各入力値は一意の出力値に関連付けられる。
【0107】
図7Bは、完全に可逆的ではないITM曲線の別の例を示す、すなわち、YSDRの「235」より上である全ての値は「1000」に拡張され、これは、SDRに変換して戻すと「235」にクリップされることを意味する。
【0108】
ITM曲線自体が明らかであれば、ITM曲線を逆にすることは非常に容易である。明白なITM曲線の例は、以下の式で与えられる。
exp(Y)=Y1.25*1023/2551.25
ここで、範囲[0...255]内におけるYの拡張された値は、範囲[0...1023]内にマッピングされる。反転曲線は、以下のように表すことができる。
Y=(10(logYexp-A)1/1.25 ここで A=log(1023/2551.25)=1.7 10-3
【0109】
例えば、Y=157であれば、Yexp=557.92である。反転式を使用すると、次のようになる。
Y=(10(logYexp-A)1/1.25=(10(2.7466-0.0017)1/1.25=(555.78)1/1.25=157
【0110】
これにより、「1024」エントリを有するLUTは、この式を使用して「0」と「1023」との間のYexpの各値を埋めることができる。
【0111】
しかしながら、ITM曲線はあまり明らかではなく(例えば、拡張がYと共に変化するゲイン関数を使用して行われるとき:Yexp=YG(Y)、ITMが動的なものである場合、すなわちゲイン関数が現在の画像から抽出された基準に依存する場合、困難性は増大する。次に、ルックアップテーブルを使用して、ITM曲線が実行中に評価され(1つの画像に対して1つの曲線)、逆ITM曲線が同じ挙動に従う。
【0112】
例として、次のことを考える。
● ITMルックアップテーブルITMlutは「1025」入力及び浮動小数点出力を有し、Yは範囲[0...255]内にある。
● 逆又は反転ITMルックアップテーブルRITMlutは、「1025」入力及び浮動小数点出力を有し、Yexpは、範囲[0...1000]内にある。
【0113】
次に、
● ITMlut[0]はY=0の拡張値を含み、ITMlut[1024]はY=255の拡張値を含む。次に、ITMlutの各エントリiは、Y=i255/1024の拡張値を格納する。この拡張された値は、範囲[0...1000]から範囲[0...1024]に再スケーリングされる。
● RITMlut[0]は、「0」に等しい拡張された値を生成する値Yを含み、したがってRITMlut[0]=0であり、RITMlut[1024]は、「1024」に等しい拡張された値を生成するYの値を含み、したがってRITMlut[1024]=255である。
【0114】
次に、逆ITMルックアップテーブルRITMlutを構築することは、RITMlutの各エントリjについて(「0」と「1024」との間のjの各値について)、ITMルックアップテーブルITMlut内の擬似エントリ、すなわち、正確な整数値jを生成するITMルックアップテーブルITMlutの2つの連続する実際のエントリの間に位置するエントリを見つけることからなる。これは補間を使用して行われる。jが与えられると、値ITMlut[i]がjのすぐ上にある最初の整数値iが検索される。次に、値deltaが計算される。
delta=ITMlut[i]-ITMlut[i-1]
次に、
RITMlut[j]=(i-1)+(j-ITMlut[i-1])/delta
【0115】
数値例として、次のように考えることができる。
ITMlut[500]=200.3及びITMlut[501]=202.4である場合、delta=202.4-200.3=2.1である。
【0116】
j=201及びj=202に対する逆ITMルックアップテーブルRITMlutの値は、以下の通りである。
RITMlut[201]=(500+(201-200.3)/2.1)255/1024=124.59
RITMlut[202]=(500+(202-200.3)/2.1)255/1024=124.71
一方、「500」及び「501」は、255に再スケーリングされると、「124.51」及び「124.76」になる。
【0117】
拡張関数がピークnitまで上昇しない場合、逆ITMルックアップテーブルRITMlutの最も高い入力値を見つけることができないことに留意しなければならない。次に、これらの最高値を「255」に設定することができる。
【0118】
逆ITMルックアップテーブルRITMlutが整数コンテキストで使用される場合、例えば、出力が「16」ビット整数であるL-LUTにロードされなければならない場合、逆ITMルックアップテーブルRITMlutの浮動小数点数は、「65535」にスケーリングされ、整数値に丸められ、これは、「65535」が最大SDR入力値、すなわち「255」と一致することを意味する。
【0119】
クロマ成分に関して、一般的なHDR変換は、以下のように表すことができることが分かっている。
UVHDR=sat(Y)(YHDR/Y)UV
【0120】
SL-HDR側では、B-LUTは、L-LUTの出力によって(次いで、Yによって)アドレス指定され(すなわち、B-LUTの入力/エントリは、L-LUT(に含まれるデータ)の出力である)、B-LUTの出力は、UV値を取り出すためにUVHDRによって乗算される。上記の式は次のように書くことができる。
UVHDR=sat(Y)(YG(Y)/Y)UV=sat(Y)(YG(Y)-1UV
【0121】
次に
UV=UVHDR (Y1-G(Y)/sat(Y))
【0122】
最後に、B-LUTはYの関数である。
B-LUT[Y]=Y1-G(Y)/sat(Y)
G(Y)は、拡張において使用されゲイン関数であり、YHDR=YG(Y)である。
【0123】
以下では、L-LUT及びB-LUTからのメタデータの推定であるステップ601に関する更なる詳細を提供する。
【0124】
輝度マッピング変数の推定
SL-HDR1仕様の§6.2.5に記載されているように、輝度マッピング変数は、以下の2セットのパラメータによって定義される。
● 輝度マッピング曲線を定義するために使用される6つのパラメータtmInputSignalBlackLevelOffset、tmInputSignalWhiteLevelOffset、shadowGain、highlightGain、midToneWidthAdjFactor、tmOutputFineTuningNumValを含む、パラメータの第1のセット。
● トーンマッピング出力微調整関数において使用される限られた数のペア(tmOutputFineTuningX[i]、tmOutputFineTuningY[i])を含む、パラメータの第2のセット。これらのペアは、ピボット点の座標を定義し、第1の座標tmOutputFineTuningX[i]はピボット点の位置に対応し、第2の座標tmOutputFineTuningY[i]はピボット点の値に対応する。
【0125】
図8は、輝度マッピング変数を決定するためのプロセスの例を示す。図8のプロセスは、典型的には、図3のHDR制作環境の各ITMツール(ITM1 202A、ITM2 202B及びITM3 202C)によって適用される。図8のプロセスは、例えば、図11Aに関連して後に詳述される処理モジュールによって実施される。
【0126】
2セットのパラメータは、2つの連続するステップで推定される。
【0127】
ステップ801において、処理モジュールは、L-LUT及びB-LUT値が何であれ、HDRピーク輝度値の関数として、デフォルトでパラメータの第1のセットを決定する。言い換えれば、パラメータの第1のセットのパラメータは、HDRピーク輝度値に依存するデフォルト値を与えられる。
【0128】
ステップ801の変形例では、知覚均一領域に変換された後に、L-LUTのルックアップがパラメータのデフォルトセットから導出された輝度マッピング曲線から非常に遠い場合、追加のプロセスが達成される。例えば、LUT曲線の原点における傾きと、パラメータのデフォルトセットから導出される輝度マッピング曲線の傾きとが大きく異なる場合、SL-HDR1仕様において定義されるパラメータshadowGainは、低輝度レベルにおいてより良好にマッチングするように修正される。
【0129】
ステップ802及び803において、処理モジュールは、ピボット点の位置(tmOutputFineTuningX)及び値(tmOutputFineTuningY)を最適化することによって、パラメータの第2のセットを再帰的に決定する。ステップ802の実施形態では、(値tmOutputFineTuningNumValによって与えられる)ピボット点の数は、SL-HDR1仕様において可能な最大値である「10」に固定される。しかしながら、tmOutputFineTuningNumValは、「10」未満であってもよい。
【0130】
ステップ802中に、処理モジュールは、ピボット点に初期化プロセスを適用する。この初期化プロセスでは、ピボット点の初期セットが定義される。初期セット内のピボット点の数は、「10」から、L-LUTの点の数までの異なる値に設定することができる。一例として、ピボット点の数は「65」に設定されている。初期化プロセスの間、各ピボット点には、[0..tmOutputFineTuningNumVal-1]内のiに対して、初期値(tmOutputFineTuningX[i]、tmOutputFineTuningY[i])が与えられる。
● tmOutputFineTuningX[i]:「0」とHDRピーク輝度との間に含まれ、nitで表される所与のxHDR_nits[i]HDR入力輝度が、HDR知覚均一領域xPU_HDR[i]に変換される。ステップ801で決定されたパラメータの第1のセットから導出された輝度マッピング曲線は、入力xPU_HDR[i]についてtmOutputFineTuningX[i]を出力する。
● tmOutputFineTuningY[i]:前のxHDR_nits[i]は、L-LUTの入力におけるインデックスk[i]に対応する。有利には、xHDR_nits[i]は、k[i]が整数であるように選択される。tmOutputFineTuningY[i]は、出力されたL-LUT[k[i]]をSDR知覚均一領域に変換したものである。
【0131】
ステップ803において、処理モジュールは、ステップ803の終わりにセット内のピボット点の数tmOutputFineTuningNumValを保つために、ピボット点を再帰的に削除する。どのピボット点を削除できるかを決定するために、コスト関数に基づく基準が適用される。いくつかのコスト関数を使用することができる。
● L-LUTと、推定されたパラメータに基づいて再構成されたL-LUTとの間の誤差関数に対応するコスト関数、
● 「65」の初期ピボット点を有するトーンマッピング出力微調整関数のアップサンプリングされたバージョンと、残りのピボット点を有するトーンマッピング出力微調整関数のアップサンプリングされたバージョンとの間の誤差関数に対応するコスト関数。
【0132】
色補正調整変数の推定
SLHDR1仕様の§6.2.6に記載されているように、色補正調整変数は、飽和ゲイン関数で使用される限られた数のペア(saturationGainX[i]、saturationGainY[i])からなる。これらのペアは、ピボット点の座標を定義し、第1の座標saturationGainX[i]はピボット点の位置に対応し、第2の座標saturationGainY[i]はピボット点の値に対応する。
【0133】
図9は、色補正調整変数を決定するためのプロセスの例を示す。図9のプロセスは、典型的には、図3のHDR制作環境の各ITMツール(ITM1 202A、ITM2 202B及びITM3 202C)によって適用される。図9のプロセスは、例えば、図11Aに関連して後に詳述される処理モジュールによって実施される。
【0134】
ステップ901において、処理モジュールは、以下の関数として初期LUT SqrtL_over_BetaPを計算する。
● HDRピーク輝度値、
図8のプロセスにおいて上記で推定された輝度マッピング変数。
【0135】
ステップ902及び903において、ピボット点の位置(saturationGainX[i])及び値(saturationGainY[i])が再帰的に計算される。
【0136】
ステップ902において、処理モジュールが初期化プロセスを適用する。再帰的プロセスは、初期化プロセスによって再び開始する。この初期化プロセスでは、ピボット点の初期セットが計算される。初期セット内のピボット点の数は、「10」から、L-LUTの点の数までの異なる値に設定することができる。一例として、ピボット点の数は「65」に設定されている。初期化プロセス中、各ピボット点には、初期LUT SqrtL_over_BetaPとB-LUTとの間の比として定義される初期値saturationGainYが与えられる。
【0137】
ステップ903において、処理モジュールは、ステップ903の終わりにセット内のピボット点の数tmOutputFineTuningNumValを保つために、ピボット点を再帰的に削除する。どのピボット点を削除できるかを決定するために、コスト関数に基づく基準が適用される。例えば、B-LUTと、推定されたパラメータ(すなわち、輝度マッピング変数及び色補正調整変数の両方)に基づいて再構成されたB-LUTとの間の誤差関数に対応するコスト関数が使用される。
【0138】
場合によっては、コンテンツ制作者は、完全なSDR-HDR-SDRラウンドトリップを保証し、制作側でHDRコンテンツを再利用する必要なく、配信されたSDRコンテンツに沿ってメタデータを追加してHDR再構成を可能にするSDRコンテンツを配信したいと望むことがある。
【0139】
この場合、図6A及び図6Bに関連して説明された連結されたプロセスは、簡略化され、図10Aに説明された配信ソリューションのための統合されたSDRラウンドトリップ変形によって置き換えられ得る。
【0140】
図10Aは、変形実施形態によるプロセスの一例を概略的に示す。図10Aのプロセスは、典型的には、元のSDRデータを提供することを担当するモジュールによって適用され、元のSDRデータは、次いで、元のSDRデータからHDRを生成してから再びSDRを生成するために、他のモジュールによって操作され得る。図10Aのプロセスは、例えば、図11Aに関連して後に詳述される処理モジュールによって実施される。
【0141】
図10Aのプロセスは、図6Aに関連して既に説明したステップ501から始まる。
【0142】
ステップ1000において、処理モジュールは、ステップ501で取得されたSDRデータを直接出力(すなわち、送信又は提供)する。
【0143】
ステップ1001において、処理モジュールは、これらのSDRデータからHDRデータを生成するために、SDRデータに適用されるITMプロセスを表すメタデータを生成する。より正確には、ステップ1001において、処理モジュールは、SDRデータからHDRデータを生成するように適合されたITMプロセスを表す情報(例えば、ITM曲線又はTM曲線)を計算し、この情報をメタデータに挿入する。
【0144】
ステップ1002において、処理モジュールは、出力されたSDRデータと共に、SDRデータからHDRデータを生成することを担当するモジュールにメタデータを提供(すなわち、出力又は送信)する。
【0145】
図10Bは、SL-HDR1のコンテキストにおける図10Aのプロセスのステップ1001を詳述する。SL-HDR1のコンテキストでは、図10A及び図10Bのプロセスは、例えば、図3のSDRソース201の後に配置されたモジュールによって適用される。
【0146】
ステップ10011において、処理モジュールは、SDR入力データを分析し、分析の結果を使用してSDRデータからHDRデータを生成するための最も適切な逆トーンマッピング曲線を計算する。
【0147】
ステップ10011の後には、図6Bに関連して既に説明したステップ6011、6012及び6013が続く。
【0148】
ステップ603の後にステップ1002が続く。SL-HDR1のコンテキストでは、ステップ1002中に、推定されたSL-HDRメタデータが、SDIインターフェースの垂直補助チャネルに挿入され、出力されたSDRデータと共に直接配信される。
【0149】
図から分かるように、ステップ1000及び1002において、処理モジュールは、SL-HDRメタデータと共にSDRデータを表すストリームを提供し、SL-HDRメタデータは、HDRデータに適用されるトーンマッピングプロセスを指定するが、これらのHDRデータを取得することを可能にする逆トーンマッピングプロセスも間接的に指定する。
【0150】
図11Aは、ライブ制作システム20、ITMツール202A、202B及び202C又はTMツール204B及び204A等のライブ制作システム20に含まれるシステム若しくはモジュール、マスタ中央制御システム21、又はITMツール211等のマスタ中央制御システム21のシステム若しくはモジュール、又はデバイス22A及び22Bに含まれる、処理モジュール110のハードウェアアーキテクチャの一例を概略的に示す。処理モジュール110は、非限定的な例として、通信バス1105によって接続された、1つ以上のマイクロプロセッサ、汎用コンピュータ、専用コンピュータ及びマルチコアアーキテクチャに基づくプロセッサを包含するプロセッサ又はCPU(中央処理ユニット)1100と、ランダムアクセスメモリ(Random Access Memory、RAM)1101と、リードオンリーメモリ(Read Only Memory、ROM)1102と、電気的消去可能プログラマブルリードオンリーメモリ(Electrically Erasable Programmable Read-Only Memory、EEPROM)、リードオンリーメモリ(ROM)、プログラマブルリードオンリーメモリ(Programmable Read-Only Memory、PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)、スタティックランダムアクセスメモリ(Static Random Access Memory、SRAM)、フラッシュ、磁気ディスクドライブ、並びに/又は光ディスクドライブ、又は、SD(セキュアデジタル、secure digital)カードリーダ及び/若しくはハードディスクドライブ(hard disc drive、HDD)などの記憶媒体リーダ及び/若しくはネットワークアクセス可能な記憶デバイスを含むがこれらに限定されない不揮発性メモリ及び/若しくは揮発性メモリを含むことができる記憶ユニット1103と、他のモジュール、デバイス、システム、又は機器とデータを交換するための少なくとも1つの通信インターフェース1104と、を備える。通信インターフェース1104は、通信ネットワーク111を介してデータを送信及び受信するように構成された送受信機を含むことができるが、それに限定されない。通信インターフェース1104は、モデム又はネットワークカードを含むことができるが、これらに限定されない。
【0151】
例えば、通信インターフェース1004は、例えば、処理モジュール100がHDR又はSDRデータを受信し、SL-HDRメタデータと共にHDR又はSDRデータを出力することを可能にする。
【0152】
プロセッサ1100は、ROM1102、外部メモリ(図示せず)、記憶媒体、又は通信ネットワークからRAM1101にロードされた命令を実行することができる。処理モジュール110の電源が投入されると、プロセッサ1100は、RAM1101から命令を読み出し、それらを実行することができる。これらの命令は、例えば、図4、5、6A、6B、8、9及び10に関連して説明されたプロセスを含むITM又はTMプロセスをプロセッサ1100に実行させるコンピュータプログラムを形成する。
【0153】
当該プロセスのアルゴリズム及びステップの全て又は一部は、デジタル信号プロセッサ(Digital Signal Processor、DSP)又はマイクロコントローラ等のプログラマブルマシンによる命令セットの実行によってソフトウェア形式で実装されてもよく、又はフィールドプログラマブルゲートアレイ(Field-Programmable Gate Array、FPGA)又は特定用途向け集積回路(Application-Specific Integrated Circuit、ASIC)等のマシン又は専用コンポーネントによってハードウェア形式で実装されてもよい。
【0154】
図11Cは、様々な態様及び実施形態が実装されているデバイス22A又は22Bに対応するシステムAの一例のブロック図を示す。
【0155】
システムAは、様々な構成要素又はモジュールを含むデバイスとして具現化することができ、適合されたディスプレイデバイス上に表示されるように適合されたSDR又はHDRコンテンツを生成するように構成される。そのようなシステムの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット、テレビ、又はセットトップボックス等の様々な電子システムが挙げられるが、これらに限定されない。システムAの構成要素は、単独で又は組み合わせて、単一の集積回路(Integrated Circuit、IC)、複数のIC及び/又は別個の構成要素において具現化することができる。例えば、少なくとも1つの実施形態では、システムAは、SDR又はHDRコンテンツの復号を実装する1つの処理モジュール110を備える。様々な実施形態では、システムAは、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通して、1つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。
【0156】
処理モジュール110への入力は、ブロック60に示すように様々な入力モジュールを介して提供することができる。そのような入力モジュールとしては、(i)例えば、放送局から無線で送信される無線周波数(Radio Frequency、RF)信号を受信するRFモジュール、(ii)構成要素(COMP)入力モジュール(又は一組のCOMP入力モジュール)、(iii)ユニバーサルシリアルバス(Universal Serial Bus、USB)入力モジュール、及び/又は(iv)高精細度マルチメディアインターフェース(High Definition Multimedia Interface、HDMI)入力モジュールが挙げられるが、これらに限定されない。他の実施例には、図11Cには示されていないが、コンポジットビデオが含まれる。
【0157】
様々な実施形態では、ブロック60の入力モジュールは、当技術分野で既知のように、関連するそれぞれの入力処理要素を有する。例えば、RFモジュールは、(i)所望の周波数を選択する(信号を選択する、又は信号を周波数帯域に帯域制限するとも称される)、(ii)選択された信号をダウンコンバートする、(iii)特定の実施形態で、(例えば)チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、(iv)ダウンコンバート及び帯域制限された信号を復調する、(v)誤り訂正を実施する、並びに(vi)データパケットの所望のストリームを選択するために多重分離する、ために好適な要素と関連付けられ得る。様々な実施形態のRFモジュールは、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、例えば、受信信号をより低い周波数(例えば、中間周波数又はベースバンドに近い周波数)又はベースバンドにダウンコンバートすることを含む、これらの機能のうちの様々な機能を実行するチューナを含むことができる。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ-デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態では、RFモジュールは、アンテナを含む。
【0158】
追加的に、USBモジュール及び/又はHDMIモジュールは、システムAをUSB接続及び/又はHDMI接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理、例えばリードソロモン誤り訂正の様々な態様は、例えば、別個の入力処理IC内又は必要に応じて処理モジュール110内で実施することができることを理解すべきである。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて別個のインターフェースIC内又は処理モジュール110内で実施され得る。復調され、誤り訂正され、逆多重化されたストリームは、処理モジュール110に提供される。
【0159】
システムAの様々な要素を一体型ハウジング内に設けることができる。一体型ハウジング内で、様々な要素は、好適な接続配置、例えば、IC間(I2C)バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して、相互接続され、それらの間でデータを送信し得る。例えば、システムAでは、処理モジュール110は、バス1105によって当該システムAの他の要素に相互接続される。
【0160】
処理モジュール110の通信インターフェース1104は、システムAが通信ネットワーク111上で通信することを可能にする。通信ネットワーク111は、例えば、有線及び/又は無線媒体内に実装することができる。
【0161】
データは、様々な実施形態において、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEは、米国電気電子技術者協会(the Institute of Electrical and Electronics Engineers)を指す)等の無線ネットワークを使用して、システムAにストリーミングされるか、又は別様に提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信用に適合された通信ネットワーク111及び通信インターフェース1104によって受信される。これらの実施形態の通信ネットワーク111は、典型的には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。更に他の実施形態では、入力ブロック60のRF接続を使用して、システムAにストリーミングデータを提供する。上記のように、様々な実施形態は、例えば、システムAがスマートフォン又はタブレットであるときに、非ストリーミング形式でデータを提供する。追加的に、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワーク又はBluetoothネットワークを使用する。
【0162】
システムAは、通信ネットワーク111又はバス1105を使用して、様々な出力デバイスに出力信号を提供することができる。例えば、システムAは、復号されたSDR又はHDR信号を提供することができる。
【0163】
システムAは、ディスプレイ64(例えば、システムAが、復号されたSDR又はHDR信号をディスプレイデバイスに提供するセットトップボックスである場合)、スピーカ65、及び他の周辺デバイス66を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ64は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(OLED)ディスプレイ、湾曲ディスプレイ、及び/又は折り畳み式ディスプレイのうちの1つ以上を含む。ディスプレイ64は、テレビ、タブレット、ラップトップ、携帯電話(移動電話)、又は他のデバイス用とすることができる。また、ディスプレイ64を、他の構成要素と統合することができ(例えば、スマートフォン内のように)、又は別個にする(例えば、ラップトップ用の外部モニタ)こともできる。ディスプレイデバイス64は、SDR又はHDRコンテンツと互換性がある。他の周辺デバイス66は、実施形態の様々な例において、スタンドアロンのデジタルビデオディスク(又はデジタル多用途ディスク)(両方の用語でDVR)、ディスクプレーヤ、ステレオシステム、及び/又は照明システムのうちの1つ以上を含む。様々な実施形態は、システムAの出力に基づいて機能を提供する1つ以上の周辺デバイス66を使用する。例えば、ディスクプレーヤは、システムAの出力を再生する機能を実行する。
【0164】
様々な実施形態では、制御信号が、システムAと、ディスプレイ64、スピーカ65、又は他の周辺デバイス66との間で、AV.Link、家庭用電子制御(Consumer Electronics Control、CEC)、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコル等の信号伝送を使用して通信される。出力デバイスは、それぞれのインターフェース61、62、及び63を通じた専用接続を介してシステムBに通信可能に結合することができる。代替的に、出力デバイスを、通信インターフェース1104を介し、通信ネットワーク111を使用して、システムAに接続させることができる。ディスプレイ64及びスピーカ65を、例えば、テレビ等の電子デバイスにおけるシステムAの他の構成要素と単一のユニットに統合することができる。様々な実施形態において、ディスプレイインターフェース61は、例えば、タイミングコントローラ(Timing Controller、T Con)チップ等のディスプレイドライバを含む。
【0165】
ディスプレイ64及びスピーカ65は、代替的に、例えば、入力60のRFモジュールが別個のセットトップボックスの一部分である場合、他の構成要素のうちの1つ以上とは別個であり得る。ディスプレイ64及びスピーカ65が外部構成要素である様々な実施形態では、例えば、HDMIポート、USBポート、又はCOMP出力を含む専用の出力接続を介して出力信号を提供することができる。
【0166】
図11Bは、様々な態様及び実施形態が実装される、ライブ制作システム20、又はライブ制作システム20のモジュール若しくはデバイス、又はマスタ中央制御システム21、又はライブ制御システム21のモジュール若しくはデバイスを実装するように適合されたシステムBの一例のブロック図を示す。
【0167】
システムBは、前述の様々な構成要素及びモジュールを含むデバイスとして具現化することができ、本文書に説明する態様及び実施形態のうちの1つ以上を実行するように構成されている。
【0168】
そのようなデバイスの例としては、限定されるものではないが、パーソナルコンピュータ、ラップトップコンピュータ、カメラ、スマートフォン、及びサーバ等の様々な電子デバイスが挙げられる。システムBの要素又はモジュールは、単独で又は組み合わせて、単一の集積回路(Integrated Circuit、IC)、複数のIC及び/又は別個の構成要素において具現化することができる。例えば、少なくとも1つの実施形態において、システムBは、ITMツール(202A、202B、202C、211)又はTMツール(204A、204B)のいずれかを実装する1つの処理モジュール110を備える。様々な実施形態では、システムBは、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通して、1つ以上の他のシステム又は他の電子デバイスに通信可能に連結される。
【0169】
処理モジュール110への入力は、既に図11Cに関して説明したブロック60に示すように様々な入力モジュールを介して提供することができる。
【0170】
システムBの様々な要素を一体型ハウジング内に設けることができる。一体型ハウジング内で、様々な要素は、好適な接続配置、例えば、IC間(I2C)バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して、相互接続され、それらの間でデータを送信し得る。例えば、システムBでは、処理モジュール110は、バス1105によって当該システムBの他の要素に相互接続される。
【0171】
処理モジュール110の通信インターフェース1104は、システムBが通信ネットワーク111上で通信することを可能にする。通信ネットワーク111は、例えば、有線及び/又は無線媒体内に実装することができる。
【0172】
データは、様々な実施形態において、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEは、米国電気電子技術者協会(the Institute of Electrical and Electronics Engineers)を指す)等の無線ネットワークを使用して、システムBにストリーミングされるか、又は別様に提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信用に適合された通信ネットワーク2及び通信インターフェース1104によって受信される。これらの実施形態の通信ネットワーク111は、典型的には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。更に他の実施形態では、入力ブロック60のRF接続を使用して、システムBにストリーミングデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。
【0173】
図がフロー図として提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法/プロセスのフロー図も提供するものと理解されたい。
【0174】
本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも(例えば、方法としてのみ考察される)、考察された特徴の実装形態は、他の形態(例えば、装置又はプログラム)でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。方法は、例えば、プロセッサにおいて実装することができ、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型/携帯情報端末(Portable/Personal Digital Assistant、「PDA」)、スマートフォン、タブレット、及びエンドユーザ間の情報の通信を容易にする他のデバイス等の通信デバイスを含む。
【0175】
「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、並びにそれらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性等が、少なくとも1つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、並びに他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。
【0176】
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、メモリから情報を取得すること、又は、例えば、別のデバイス、モジュール若しくはユーザから情報を取得することのうちの1つ以上を含むことができる。
【0177】
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、(例えば、メモリから)情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの1つ以上を含むことができる。
【0178】
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は(例えば、メモリから)情報を取得することのうちの1つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定する等の操作時に、何らかの方式で関与する。
【0179】
「/」、「及び/又は」、「のうちの少なくとも1つ」、「1つ以上」のいずれかの使用、例えば、「A/B」、「A及び/又はB」、「A及びBのうちの少なくとも1つ」、「A及びBの1つ以上」の場合、最初にリストされた選択肢(A)のみの選択、又は2番目にリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することを意図しているものと理解されたい。更なる例として、「A、B、及び/又はC」及び「A、B、及びCのうちの少なくとも1つ」、「A、B及びCのうちの1つ以上」の場合、このような句は、最初にリストされた選択肢(A)のみの選択、又は2番目にリストされた選択肢(B)のみの選択、又は3番目にリストされた選択肢(C)のみの選択、又は、最初及び2番目にリストされた選択肢(A及びB)のみの選択、又は、最初及び3番目にリストされた選択肢(A及びC)のみの選択、又は、2番目及び3番目にリストされた選択肢(B及びC)のみの選択、又は3つの選択肢(A及びB及びC)全ての選択を包含するように意図されている。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
【0180】
当業者には明らかであるように、実装形態又は実施形態は、例えば、記憶又は送信することができる情報を搬送するようにフォーマットされた様々な信号を作ることができる。情報は、例えば、方法を実行するための命令、又は説明されている実装形態又は実施形態の1つによって作られるデータを含むことができる。例えば、説明されている実施形態のHDR若しくはSDR画像又はビデオシーケンス及びSL-HDRメタデータを伝えるように信号をフォーマットすることができる。例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用して)、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、SL-HDRメタデータを用いてHDR若しくはSDR画像又はビデオシーケンスを符号化済みストリームに符号化すること、及び符号化済みストリームを用いてキャリアを変調することを含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に記憶することができる。
【0181】
以上、いくつかの実施形態について説明した。これらの実施形態の特徴は、単独で、又は任意の組み合わせで提供することができる。更に、実施形態は、様々な特許請求のカテゴリ及びタイプにわたる、以下の特徴、デバイス、又は態様のうちの1つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる。
● 説明したSDR若しくはHDRデータ及び/若しくはSL-HDRメタデータ、又はそれらの変形のうちの1つ又は複数を含むビットストリーム又は信号。
● 説明したSDR若しくはHDRデータ及び/若しくはSL-HDRメタデータ、又はそれらの変形のうちの1つ以上を含むビットストリーム又は信号を作成及び/又は送信及び/又は受信及び/又は復号すること。
● 記載された実施形態のうちの少なくとも1つを実行するサーバ、カメラ、テレビ、セットトップボックス、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子デバイス。
● 説明した実施形態のうちの少なくとも1つを実行し、得られた画像を(例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して)表示するテレビ、セットトップボックス、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子デバイス。
● 符号化SDR若しくはHDRデータ及び/又はSL-HDRメタデータを含む信号を受信するために(例えば、チューナを使用して)チャネルをチューニングし、説明した実施形態のうちの少なくとも1つを実行するテレビ、セットトップボックス、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子デバイス。
● SDR若しくはHDRデータ及び/又はSL-HDRメタデータを含む信号を(例えば、アンテナを使用して)無線で受信し、説明した実施形態のうちの少なくとも1つを実行するテレビ、セットトップボックス、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子デバイス。
● SDR若しくはHDRデータ及び/又はSL-HDRメタデータを含む信号を送信するために(例えば、チューナを使用して)チャネルをチューニングし、説明した実施形態のうちの少なくとも1つを実行するサーバ、カメラ、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子デバイス。
● SDR若しくはHDRデータ及び/又はSL-HDRメタデータを含む信号を(例えば、アンテナを使用して)無線で送信し、説明した実施形態のうちの少なくとも1つを実行するサーバ、カメラ、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子デバイス。
図1A
図1B
図1C
図2
図3
図4
図5
図6A
図6B
図6C
図7A
図7B
図8
図9
図10A
図10B
図11A
図11B
図11C
【手続補正書】
【提出日】2023-04-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
標準ダイナミックレンジデータを取得すること(501)と、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す情報を取得し(601、1001)、前記情報をメタデータに挿入することと、
前記標準ダイナミックレンジデータ(600、1000)を表すビデオデータを前記メタデータ(602、1002)と共に提供することと、を含む方法。
【請求項2】
前記標準ダイナミックレンジデータを表す前記ビデオデータは、前記標準ダイナミックレンジデータ、又は前記逆トーンマッピングプロセスを適用することによって前記標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む、請求項1に記載の方法。
【請求項3】
前記情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す、請求項1又は2に記載の方法。
【請求項4】
前記情報がトーンマッピング曲線を表す場合、前記逆トーンマッピングプロセスを定義するために使用される逆トーンマッピング曲線の逆を計算することを含む、請求項3に記載の方法。
【請求項5】
前記逆トーンマッピング曲線の逆から第1のルックアップテーブル及び第2のルックアップテーブルを計算すること(6012)であって、前記第1のルックアップテーブルは、高ダイナミックレンジデータの輝度成分をトーンマッピングするように適合され、前記第2のルックアップテーブルは、前記高ダイナミックレンジデータの色成分を補正するように適合される、計算すること(6012)と、前記第1及び第2のルックアップテーブルから、トーンマッピング関数を表す第1の変数及び色補正関数を表す第2の変数を推定することであって、前記第1及び第2の変数は、前記メタデータに挿入された前記逆トーンマッピングプロセスを表す前記情報である、推定することと、を含む、請求項4に記載の方法。
【請求項6】
前記方法は、前記標準ダイナミックレンジデータの各ピクチャに対して、又は前記標準ダイナミックレンジデータのピクチャのグループに対して適用される、請求項1~5のいずれか一項に記載の方法。
【請求項7】
標準ダイナミックレンジデータを表すビデオデータを取得(401)することと、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す第1の情報を含むメタデータが前記ビデオデータと共に取得されたかどうかを決定すること(610)と、
前記メタデータを取得したことに応答して、前記第1の情報に基づいて前記ビデオデータから取得された高ダイナミックレンジデータに第1のトーンマッピングプロセスを適用することと、
そうでない場合、前記標準ダイナミックレンジデータを表す前記ビデオデータから第2のトーンマッピングプロセスを表す第2の情報を計算し、前記第2の情報に基づいて、前記ビデオデータから取得された高ダイナミックレンジデータに前記第2のトーンマッピングプロセスを適用することと、を含む方法。
【請求項8】
前記ビデオデータは、前記標準ダイナミックレンジデータ、又は前記逆トーンマッピングプロセスを適用することによって前記標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む、請求項7に記載の方法。
【請求項9】
前記第1の情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す、請求項7又は8に記載の方法。
【請求項10】
前記方法は、前記第1の情報が逆トーンマッピング曲線を表す場合、前記逆トーンマッピング曲線を逆にすることを含む、請求項9に記載の方法。
【請求項11】
前記方法は、前記標準ダイナミックレンジデータの各ピクチャに対して、又は前記標準ダイナミックレンジデータのピクチャのグループに対して適用される、請求項7~10のいずれか一項に記載の方法。
【請求項12】
電子回路を備えるデバイスであって、前記電子回路は、
標準ダイナミックレンジデータを取得し(501)、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す情報を取得し(601、1001)、前記情報をメタデータに挿入し、
前記標準ダイナミックレンジデータ(600、1000)を表すビデオデータを前記メタデータ(602、1002)と共に提供する、ように構成される、デバイス。
【請求項13】
前記標準ダイナミックレンジデータを表す前記ビデオデータは、前記標準ダイナミックレンジデータ、又は前記逆トーンマッピングプロセスを適用することによって前記標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む、請求項12に記載のデバイス。
【請求項14】
前記情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す、請求項12又は13に記載のデバイス。
【請求項15】
前記情報がトーンマッピング曲線を表すとき、前記電子回路は、前記逆トーンマッピングプロセスを定義するために使用される逆トーンマッピング曲線の逆を計算するように更に構成される、請求項14に記載のデバイス。
【請求項16】
前記電子回路は、前記逆トーンマッピング曲線の逆から第1のルックアップテーブル及び第2のルックアップテーブルを計算し(6012)、前記第1のルックアップテーブルは、高ダイナミックレンジデータの輝度成分をトーンマッピングするように適合され、前記第2のルックアップテーブルは、前記高ダイナミックレンジデータの色成分を補正するように適合され、前記第1及び第2のルックアップテーブルから、トーンマッピング関数を表す第1の変数及び色補正関数を表す第2の変数を推定し(6013)、前記第1及び第2の変数は、前記メタデータに挿入された前記逆トーンマッピングプロセスを表す前記情報である、ように更に構成される、請求項15に記載のデバイス。
【請求項17】
前記電子回路は、
標準ダイナミックレンジデータを取得すること(501)と、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す情報を取得し(601、1001)、前記情報をメタデータに挿入することと、
前記標準ダイナミックレンジデータ(600、1000)を表すビデオデータを前記メタデータ(602、1002)と共に提供することを、
前記標準ダイナミックレンジデータの各ピクチャに対して、又は前記標準ダイナミックレンジデータのピクチャのグループに対して行うように構成される、請求項12~16のいずれか一項に記載のデバイス。
【請求項18】
電子回路を備えるデバイスであって、前記電子回路は、
前記標準ダイナミックレンジデータを表すビデオデータを取得し(401)、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す第1の情報を含むメタデータが前記ビデオデータと共に取得されたかどうかを決定し(610)、
前記メタデータの受信に応答して、前記第1の情報に基づいて前記ビデオデータから取得された高ダイナミックレンジデータに第1のトーンマッピングプロセスを適用し、
そうでない場合、前記標準ダイナミックレンジデータを表す前記ビデオデータから第2のトーンマッピングプロセスを表す第2の情報を計算し、前記第2の情報に基づいて、前記ビデオデータから取得された高ダイナミックレンジデータに前記第2のトーンマッピングプロセスを適用する、ように構成される、デバイス。
【請求項19】
前記ビデオデータは、前記標準ダイナミックレンジデータ、又は前記逆トーンマッピングプロセスを適用することによって前記標準ダイナミックレンジデータから取得された高ダイナミックレンジデータを含む、請求項18に記載のデバイス。
【請求項20】
前記第1の情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す、請求項18又は19に記載のデバイス。
【請求項21】
前記第1の情報が逆トーンマッピング曲線を表す場合、前記電子回路は、前記逆トーンマッピング曲線を逆にするように更に構成される、請求項20に記載のデバイス。
【請求項22】
前記電子回路は、
前記標準ダイナミックレンジデータを表すビデオデータを取得すること(401)と、
前記標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す第1の情報を含むメタデータが前記ビデオデータと共に取得されたかどうかを決定すること(610)と、
前記メタデータの受信に応答して、前記第1の情報に基づいて前記ビデオデータから取得された高ダイナミックレンジデータに第1のトーンマッピングプロセスを適用することと、
そうでない場合、前記標準ダイナミックレンジデータを表す前記ビデオデータから第2のトーンマッピングプロセスを表す第2の情報を計算し、前記第2の情報に基づいて前記ビデオデータから取得された高ダイナミックレンジデータに前記第2のトーンマッピングプロセスを適用することを、前記標準ダイナミックレンジデータの各ピクチャに対して、又は前記標準ダイナミックレンジデータのピクチャのグループに対して行うように構成される、請求項18~21のいずれか一項に記載のデバイス。
【請求項23】
請求項1~6のいずれか一項に記載の方法を用いて、又は請求項12~17のいずれか一項に記載のデバイスを用いて生成される信号。
【請求項24】
請求項1~11のいずれか一項に記載の方法を実装するためのプログラムコード命令を含む、コンピュータプログラム。
【請求項25】
請求項1~11のいずれか一項に記載の方法を実装するためのプログラムコード命令を記憶する、非一時的情報記憶媒体。
【手続補正書】
【提出日】2024-06-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
逆トーンマッピングプロセスを適用することであって、
第1の標準ダイナミックレンジデータを取得することと、
前記第1の標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す情報を取得し、前記情報をメタデータに挿入することと、
前記メタデータに挿入された逆トーンマッピングプロセスを表す前記情報を使用して、前記第1の標準ダイナミックレンジデータから高ダイナミックレンジデータを生成することとを含む、適用することと、
前処理プロセスを適用することであって、
前記高ダイナミックレンジデータ及び前記メタデータを取得することと、
前記メタデータに挿入された逆トーンマッピングプロセスを表す前記情報から導出されたトーンマッピングプロセスを適用して、前記高ダイナミックレンジデータから第2の標準ダイナミックレンジデータを生成することとを含む、適用することと、を含む方法。
【請求項2】
前記情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す、請求項1に記載の方法。
【請求項3】
前記情報がトーンマッピング曲線を表すことに応答して、前記逆トーンマッピングプロセスを定義するために使用される前記逆トーンマッピング曲線の逆を計算することを含む、請求項2に記載の方法。
【請求項4】
前記逆トーンマッピング曲線の逆から第1のルックアップテーブル及び第2のルックアップテーブルを計算することであって、前記第1のルックアップテーブルは、高ダイナミックレンジデータの輝度成分をトーンマッピングするように適合され、前記第2のルックアップテーブルは、前記高ダイナミックレンジデータの色成分を補正するように適合される、計算することと、前記第1及び第2のルックアップテーブルから、トーンマッピング関数を表す第1の変数及び色補正関数を表す第2の変数を推定することであって、前記第1及び第2の変数は、前記メタデータに挿入された前記逆トーンマッピングプロセスを表す前記情報である、推定することと、を含む、請求項3に記載の方法。
【請求項5】
前記方法は、前記第1の標準ダイナミックレンジデータの各ピクチャに対して、又は前記第1の標準ダイナミックレンジデータのピクチャのグループに対して適用される、請求項1に記載の方法。
【請求項6】
電子回路を備えるデバイスであって、前記電子回路は、
逆トーンマッピングプロセスを適用することであって、
第1の標準ダイナミックレンジデータを取得することと、
前記第1の標準ダイナミックレンジデータから高ダイナミックレンジデータを生成するように適合された逆トーンマッピングプロセスを表す情報を取得し、前記情報をメタデータに挿入することと、
前記メタデータに挿入された逆トーンマッピングプロセスを表す前記情報を使用して、前記第1の標準ダイナミックレンジデータから高ダイナミックレンジデータを生成することとを含む、適用することと、
前処理プロセスを適用することであって、
前記高ダイナミックレンジデータ及び前記メタデータを取得することと、
前記メタデータに挿入された逆トーンマッピングプロセスを表す前記情報から導出されたトーンマッピングプロセスを適用して、前記高ダイナミックレンジデータから第2の標準ダイナミックレンジデータを生成することとを含む、適用することと、を行うように構成される、デバイス。
【請求項7】
前記情報は、逆トーンマッピング曲線又はトーンマッピング曲線を表す、請求項6に記載のデバイス。
【請求項8】
前記情報がトーンマッピング曲線を表すことに応答して、前記電子回路は、前記逆トーンマッピングプロセスを定義するために使用される逆トーンマッピング曲線の逆を計算するように更に構成される、請求項7に記載のデバイス。
【請求項9】
前記電子回路は、前記逆トーンマッピング曲線の逆から第1のルックアップテーブル及び第2のルックアップテーブルを計算し、前記第1のルックアップテーブルは、高ダイナミックレンジデータの輝度成分をトーンマッピングするように適合され、前記第2のルックアップテーブルは、前記高ダイナミックレンジデータの色成分を補正するように適合され、前記第1及び第2のルックアップテーブルから、トーンマッピング関数を表す第1の変数及び色補正関数を表す第2の変数を推定し、前記第1及び第2の変数は、前記メタデータに挿入された前記逆トーンマッピングプロセスを表す前記情報である、ように更に構成される、請求項8に記載のデバイス。
【請求項10】
請求項1~9のいずれか一項に記載の方法を実装するためのプログラムコード命令を記憶する、非一時的情報記憶媒体。
【国際調査報告】