特表 2024-538575 メタデータを使用した複数意図画像およびビデオのエンコードおよびデコード

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-23

(54)【発明の名称】メタデータを使用した複数意図画像およびビデオのエンコードおよびデコード

(51)【国際特許分類】

   H04N 21/431 20110101AFI20241016BHJP

   H04N 21/435 20110101ALI20241016BHJP

   H04N 5/66 20060101ALI20241016BHJP

【ＦＩ】

H04N21/431

H04N21/435

H04N5/66 A

【審査請求】有

【予備審査請求】有

(21)【出願番号】P 2024518762

(86)(22)【出願日】2022-09-27

(85)【翻訳文提出日】2024-03-26

(86)【国際出願番号】 US2022044899

(87)【国際公開番号】W WO2023055736

(87)【国際公開日】2023-04-06

(31)【優先権主張番号】63/251,427

(32)【優先日】2021-10-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】21208445.3

(32)【優先日】2021-11-16

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】アトキンズ，ロビン

(72)【発明者】

【氏名】ピトラーズ，ジャクリン アン

(72)【発明者】

【氏名】ワナト，ロバート

(72)【発明者】

【氏名】ズエナ，ジェイク ウィリアム

【テーマコード（参考）】

5C058

5C164

【Ｆターム（参考）】

5C058BA05

5C058BA33

5C164MB13S

5C164PA34

5C164UB10P

5C164UB82P

(57)【要約】

メタデータを使用して複数意図画像およびビデオをエンコードおよびデコードするためのシステムおよび方法。画像を複数意図画像としてエンコードするとき、少なくとも1つのアピアランス調整が画像に対して行われうる。前記少なくとも1つのアピアランス調整を特徴付けるメタデータが、エンコードされた複数意図画像に含まれてもよく、またはエンコードされた複数意図画像とともに送信されてもよい。複数意図画像をデコードするとき、システムは、所望されるレンダリング意図の選択を取得し、その選択に基づいて、適用されたアピアランス調整をもつ複数意図画像をレンダリングするか、またはメタデータを使用してアピアランス調整を反転させ、アピアランス調整前の画像を復元することができる。

【特許請求の範囲】

【請求項1】

複数意図画像をデコードする方法であって、前記複数意図画像は、基準閲覧環境における前記画像の表現と、含まれる表現を前記画像の代替バージョンに変換するためのメタデータとを含み、当該方法は：
前記基準閲覧環境における前記画像の前記表現と前記画像の代替バージョンとの間の少なくとも1つのアピアランス調整を特徴付けるメタデータとともに前記複数意図画像を取得する段階であって、前記メタデータは、イメージセンサーによって前記画像を捕捉したときの前記捕捉環境における周囲ルミナンスおよび白色点を示す、段階と；
前記複数意図画像の前記代替バージョンの選択を取得する段階であって、前記選択された代替バージョンは、前記イメージセンサーによって捕捉された前記画像を近似する、段階と；
前記取得された選択に基づいて前記複数意図画像の前記代替バージョンを復元するために、前記メタデータを使用して、前記基準閲覧環境における前記画像の前記表現に、前記少なくとも1つのアピアランス調整の逆を適用する段階とを含む、
方法。

【請求項2】

前記取得された選択に基づいて前記複数意図画像の前記代替バージョンを復元する、前記基準閲覧環境における前記画像の前記表現に、前記少なくとも1つのアピアランス調整の逆を適用することは：
前記基準閲覧環境における前記白色点から前記捕捉環境における白色点へ前記画像をマッピングし；
前記画像に光‐光伝達関数を適用して、前記基準閲覧環境における周囲ルミナンスから前記捕捉環境の周囲ルミナンスにマッピングすることを含む、
請求項１に記載の方法。

【請求項3】

前記メタデータは、前記画像を捕捉した前記イメージセンサーのスペクトル感度と、前記色チャネル間の前記イメージセンサーのスペクトル感度の差を補正するために前記イメージセンサーからの生センサー値に適用される3×3行列変換の係数とをさらに示し、
前記取得された選択に基づいて前記複数意図画像の前記代替バージョンを復元するために、前記基準閲覧環境における前記画像の前記表現に、前記少なくとも1つのアピアランス調整の逆を適用することは、前記画像に前記3×3行列変換の逆を適用して生センサー値を取得することをさらに含む、
請求項２に記載の方法。

【請求項4】

複数意図画像をエンコードする方法であって、前記複数意図画像は、基準閲覧環境における前記画像の表現と、基準表現を前記画像の代替バージョンに変換するためのメタデータとを含み、当該方法は：
前記複数意図画像としてエンコードするための画像を取得する段階であって：
捕捉環境においてシーンをイメージセンサーに露出し、各色チャネルについて前記イメージセンサーから生センサー値を収集することによって複数チャネル・カラー画像を捕捉し；
前記捕捉環境における周囲ルミナンスおよび白色点を決定することを含む、
段階と；
前記画像に少なくとも1つのアピアランス調整を適用して、捕捉された画像を前記基準閲覧環境における前記画像の前記表現に変換する段階であって：
前記捕捉環境における決定された白色点から前記基準閲覧環境における好ましい白色点に前記画像をマッピングし；
前記画像に光‐光伝達関数を適用して、前記捕捉環境における周囲ルミナンスから前記基準閲覧環境の好ましい周囲ルミナンスにマッピングすることを含む、
段階と；
前記少なくとも1つのアピアランス調整を特徴付けるメタデータを生成する段階であって、前記メタデータは、前記捕捉環境における決定された周囲ルミナンスおよび白色点を示す、段階と；
前記変換された画像およびメタデータを前記複数意図画像としてエンコードする段階とを含む、
方法。

【請求項5】

少なくとも1つのアピアランス調整を前記画像に適用することは、捕捉された複数チャネル・カラー画像に3×3行列変換を適用して、収集された生センサー値を所望される原色のセットに変換することをさらに含み、前記3×3行列変換は、前記色チャネル間の前記イメージセンサーのスペクトル感度の差を考慮に入れており、
前記メタデータは、前記画像を捕捉した前記イメージセンサーのスペクトル感度と、前記色チャネル間の前記イメージセンサーのスペクトル感度の差を補正するための前記3×3行列変換の係数とをさらに示し、それにより、前記メタデータは、前記基準表現を、捕捉された前記画像を近似する画像に変換することができる、
請求項４に記載の方法。

【請求項6】

前記少なくとも1つのアピアランス調整を適用することは、個々の色飽和調整を適用することを含み、前記メタデータは、前記個々の色飽和調整の係数を含む、請求項４または５に記載の方法。

【請求項7】

前記少なくとも1つのアピアランス調整を適用することは、傾き‐オフセット‐パワー‐Tmid調整を適用することを含み、前記メタデータは、前記傾き‐オフセット‐パワー‐Tmid調整の係数を含む、請求項４ないし６のうちいずれか一項に記載の方法。

【請求項8】

前記少なくとも1つのアピアランス調整を適用することは、トーンカーブ調整を適用することを含み、前記メタデータは、前記トーンカーブ調整の係数を含む、請求項４ないし７のうちいずれか一項に記載の方法。

【請求項9】

前記複数意図画像は、ビデオにおけるビデオ・フレームを含む、請求項４ないし８のうちいずれか一項に記載の方法。

【請求項10】

前記メタデータが前記少なくとも1つのアピアランス調整を反転させるために使用されることができるのに十分な程度まで、前記メタデータが前記少なくとも1つのアピアランス調整を特徴付ける、請求項４ないし９のうちいずれか一項に記載の方法。

【請求項11】

複数意図画像をデコードするためのデコーダであって、前記複数意図画像は、基準閲覧環境における前記画像の表現と、含まれる表現を前記画像の代替バージョンに変換するためのメタデータとを含み、当該デコーダは、請求項１ないし３のうちいずれか一項に記載の前記複数意図画像をデコードするように構成されたプロセッサを有する、デコーダ。

【請求項12】

複数意図画像を送達するための画像送達システムであって、前記複数意図画像は、基準閲覧環境における前記画像の表現と、前記基準表現を前記画像の代替バージョンに変換するためのメタデータとを含み、当該画像送達システムは、請求項４ないし１０のいずれか一項に記載の前記複数意図画像をエンコードするように構成されたプロセッサを有する、画像送達システム。

【請求項13】

電子プロセッサによって実行されると、前記電子プロセッサに、請求項１ないし１０のうちいずれか一項に記載の動作を実行させる命令を記憶している非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、2021年10月1日に出願された米国仮特許出願第63/251,427号および2021年11月16日に出願された欧州特許出願第21208445.3号に対する優先権を主張し、これらの出願のすべては、その全体が参照により本明細書に組み込まれる。
開示の分野
本願は、概括的には、画像エンコードおよびデコードのシステムおよび方法に関する。

【背景技術】

【0002】

非特許文献１は、今後のHDTVおよびマルチフェーズUHDTVサービス展開に関してなめらかな色空間遷移を保証する、SETメッセージ中の色マッピング・サイド情報を提案している。提案されたマッピングは、TVセット製造業者間の差別化を維持しながら、スタジオによって生成されるコンテンツの芸術的意図を保つのに役立つと述べられている。この考えは、JCTVC-N0180において最初に公開された。提案されたSETメッセージの意図は、JCTVC-00363において明確化された。さらに、JCTVC-P0126では、複雑さの懸念が、色マッピング・モデルの簡略化によって対処されている。最後に、編集上の問題および同期の諸側面が、この提案において対処される。提案されたモデル・パラメータを識別するためにソフトウェアが供給される。HM-13.0+RExt-6.0エンコーダおよびデコーダにおいて実装が提供される。提案された色マッピング情報SEIメッセージが存在するとき、色マッピングが、デコードされた出力ピクチャーに適用される。
特許文献１は、エンコード効率を容易に改善することができる画像処理装置および方法を開示している。相関度に応じてデモザイク処理前の画像データであるRAWデータの各ピクセル・データを並び替えるパッキング処理に関するパッキング情報を含む追加的情報を設定する設定ユニットと、パッキング処理されたRAWデータをエンコードし、得られたエンコードされたデータと設定ユニットによって設定された追加的情報とを含むビットストリームを生成するエンコード・ユニットとが含まれる。

【0003】

非特許文献２は、高ダイナミックレンジ（High Dynamic Range、HDR）および関連技術についての定義を提案し、HDR関連コンテンツの作成、配信および表示のためのエコシステムにおける現在のギャップを説明し、広色域（Wide Color Gamut、WGC）を含むHDRエコシステムによって影響を受ける可能性がある既存の規格を識別し、実装問題がさらなる調査を必要とする可能性がある分野を識別する。この報告書は、業務用途に焦点を当てているが、家庭への送達については明示的に論じていない。

【0004】

特許文献２は、ビデオ・データ・ストリームのためのシーン安定メタデータを生成し適用するための方法およびシステムを開示している。ビデオ・データ・ストリームは、シーンに分割または区分され、メタデータの第1のセットは、ビデオ・データの所与のシーンについて生成されうる。メタデータの第1のセットは、ビデオ・コンテンツの所望の機能（たとえば、ルミナンス）としての任意の既知のメタデータであってもよい。メタデータの第1のセットは、フレームごとに生成されうる。シーンについてのメタデータの第1のセットとは異なりうるシーン安定メタデータが生成される。シーン安定メタデータは、シーンとともに所望の特徴を監視することによって生成され、所望の特徴を受け入れ可能な値の範囲内に保つために使用される。これは、ビデオ・データをレンダリングする際に、顕著で、場合によっては不快な視覚的アーチファクトを回避するのに役立ちうる。

【0005】

特許文献３は、ターゲット上でのビデオ再生のためのオリジナルの創造的な意図を保存する問題に対する解決策を提供するための装置および方法を開示する。ビデオ・ビットストリームは、ターゲット・ディスプレイについての創造的な意図を示すフラグを有するメタデータを含む。このメタデータは、コンテンツ・タイプ、コンテンツ・サブタイプ、意図された白色点、参照モードでビデオを使用するか否か、意図された鮮明度、意図されたノイズ低減、意図されたMPEGノイズ低減、意図されたフレームレート変換、意図された平均ピクチャーレベル、および意図された色などの特性を表す多数のフィールドを含む。このメタデータは、コンテンツ作成者がコンテンツにタグ付けすることを容易にするように設計される。メタデータは、複数の点でビデオ・コンテンツに追加されることができ、フラグのステータスは、メタデータがコンテンツ作成者によって追加されたか、またはサードパーティーによって追加されたかを示すために、TRUEまたはFALSEに設定される。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許出願公開第2016/261889号明細書

【特許文献2】米国特許出願公開第2016/254028号明細書

【特許文献3】国際公開第2020/264409A1号

【非特許文献】

【0007】

【非特許文献1】Pierre Andrivon et al.、"SEI message for Colour Mapping Information"、Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 17th Meeting: Valencia, ES, 27 March-4 April 2014, no. JCTVC-Q0074, 2 April 2014, XP030239839

【非特許文献2】"Study Group Report High-Dynamic-Range (HDR) Imaging Ecosystem"、SMPTE Technical Committee (TC) 10E SG, 19 September 2015, XP055250336

【発明の概要】

【課題を解決するための手段】

【0008】

本発明は、独立請求項によって定義される。従属請求項は、本発明のいくつかの実施形態の任意的な特徴に関する。デジタル・デバイスを使用して捕捉されたシーンの画像をエンコードするとき、例として、基準閲覧環境で閲覧するために画像を適応させ、強調されたコントラストおよび色飽和などの審美的調整を適用することによって、捕捉された画像を調整することが一般的な慣例である。イメージングセンサーによって捕捉された「現実」を表すもとの捕捉されたまたは前処理された画像を送信し、その後、再生時にこれらの動作を適用することが可能であることが望ましいであろう。これは、複数のレンダリング意図を許容する。すなわち、再生時に、デバイスは、もとの捕捉された「現実」画像を提示することができ、または代替として、デバイスは、もとの捕捉された「現実」画像から修正された「快い」画像を作成することができる。よって、複数意図画像をエンコードおよびデコードするための技法が開発されている。

【0009】

本開示のさまざまな側面は、一つまたは複数の複数意図〔マルチインテント〕画像をエンコードおよびデコードするためのデバイス、システム、および方法に関する。

【0010】

本開示の1つの例示的な側面では、複数意図画像をエンコードするための方法が提供される。この方法は、複数意図画像としてエンコードするための画像を取得し、少なくとも1つのアピアランス調整を画像に適用し、前記少なくとも1つのアピアランス調整を特徴付けるメタデータを生成し、画像およびメタデータを複数意図画像としてエンコードすることを含む。

【0011】

本開示の別の例示的な側面では、複数意図画像をデコードするための方法が提供される。本方法は、複数意図画像と複数意図画像の代替バージョンとの間の少なくとも1つのアピアランス調整を特徴付けるメタデータとともに複数意図画像を取得し、複数意図画像の前記代替バージョンの選択を取得し、前記メタデータを使用して、複数意図画像に、前記少なくとも1つのアピアランス調整の逆を適用して、複数意図画像の前記代替バージョンを復元することを含む。

【0012】

本開示の別の例示的な側面では、複数意図画像を提供するための方法が提供される。この方法は、複数意図画像としてエンコードするための原画像〔もとの画像〕を取得し、原画像に対する少なくとも1つのアピアランス調整を特徴付けるメタデータを生成し、原画像およびメタデータを複数意図画像としてエンコードし、複数意図画像を提供することを含む。

【0013】

本開示の別の例示的な側面では、プロセッサによって実行されたとき、複数意図画像としてエンコードするための画像を取得し、少なくとも1つのアピアランス調整を画像に適用し、前記少なくとも1つのアピアランス調整を特徴付けるメタデータを生成し、画像およびメタデータを複数意図画像としてエンコードすることを含む動作をプロセッサに実行させる命令を記憶している非一時的なコンピュータ可読媒体が提供される。

【0014】

本開示の別の例示的な側面では、プロセッサによって実行されたとき、複数意図画像と複数意図画像の代替バージョンとの間の少なくとも1つのアピアランス調整を特徴付けるメタデータとともに複数意図画像を取得し、複数意図画像の前記代替バージョンの選択を取得し、前記メタデータを使用して、複数意図画像に、前記少なくとも1つのアピアランス調整の逆を適用して、複数意図画像の前記代替バージョンを復元することを含む動作をプロセッサに実行させる命令を記憶している非一時的なコンピュータ可読媒体が提供される。

【0015】

本開示の別の例示的な側面では、プロセッサによって実行されたとき、複数意図画像としてエンコードするための元の画像を取得し、元の画像に対する少なくとも1つのアピアランス調整を特徴付けるメタデータを生成し、元の画像およびメタデータを複数意図画像としてエンコードし、複数意図画像を提供することを含む動作をプロセッサに実行させる命令を記憶している非一時的コンピュータ可読媒体が提供される。

【0016】

このようにして、本開示のさまざまな側面は、複数意図の画像およびビデオのエンコード、デコードおよびプロビジョンを提供し、少なくとも画像エンコード、画像デコード、画像投影、画像表示、ホログラフィー、信号処理などの技術分野における改善をもたらす。

【図面の簡単な説明】

【0017】

さまざまな実施形態のこれらのおよび他のより詳細で具体的な特徴は、添付の図面を参照して、以下の説明においてより完全に開示される。

【0018】

【図1】画像エンコードおよびデコード・パイプラインのための例示的なプロセスを示す。

【0019】

【図2】複数意図画像およびビデオをエンコードおよびデコードするための例示的なプロセスを示す。

【0020】

【図3】複数意図画像およびビデオをエンコードするための例示的なプロセスを示す。

【0021】

【図4】複数意図画像およびビデオをデコードするための例示的なプロセスを示す。

【発明を実施するための形態】

【0022】

本開示およびその諸側面は、コンピュータ実装方法によって制御されるハードウェア、デバイスまたは回路、コンピュータ・プログラム・プロダクト、コンピュータシステムおよびネットワーク、ユーザーインターフェース、ならびにアプリケーションプログラミングインターフェース、ならびにハードウェア実装方法、信号処理回路、メモリアレイ、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）などを含む、さまざまな形態で具現できる。上記は、本開示のさまざまな側面の一般的な概念を与えることのみを意図しており、決して本開示の範囲を限定するものではない。

【0023】

以下の説明では、本開示の一つまたは複数の側面の理解を与えるために、光学デバイス構成、タイミング、動作など、多数の詳細が記載される。これらの具体的な詳細は、単なる例示であり、本願の範囲を限定することを意図していないことが、当業者には容易に明らかになるであろう。

【0024】

図1は、画像捕捉から画像コンテンツ表示までのさまざまな段階を示す画像送達パイプライン（100）の例示的なプロセスを示す。ビデオフレーム（102）のシーケンスを含んでいてもよい画像（102）が、画像生成ブロック（105）を使用して捕捉または生成される。画像（102）は、（たとえば、デジタルカメラによって）デジタル的に捕捉されるか、または、（たとえば、コンピュータアニメーションを使用して）コンピュータによって生成されて、画像データ（107）を提供してもよい。あるいはまた、画像（102）は、フィルムカメラによってフィルム上に捕捉されてもよい。フィルムは、デジタルフォーマットに変換されて画像データ（107）を提供する。プロダクション・フェーズ（110）では、画像データ（107）が編集されて、画像プロダクション・ストリーム（112）が提供される。

【0025】

プロダクション・ストリーム（112）の画像データは、次いで、ブロック（115）において、ポストプロダクション編集のためにプロセッサ（または中央処理装置（CPU）などの一つまたは複数のプロセッサ）に提供される。ブロック（115）のポストプロダクション編集は、画像の特定の領域における色または輝度を調整または修正して、画像品質を向上させるか、または画像作成者の創造的な意図に従って画像の特定のアピアランスを達成することを含みうる。これは、「カラータイミング」または「カラーグレーディング」と呼ばれることがある。本明細書に記載される方法は、ブロック（115）においてプロセッサによって実行されうる。他の編集（たとえば、シーン選択および配列、画像クロッピング、コンピュータ生成視覚特殊効果の追加など）が、ブロック（115）において実行されて、配布のための製作物の最終バージョン（117）を与えることができる。ポストプロダクション編集（115）中、画像またはビデオ画像は、基準ディスプレイ（125）上で閲覧される。基準ディスプレイ（125）は、所望であれば、消費者レベルのディスプレイまたはプロジェクタであってもよい。

【0026】

ポストプロダクション（115）に続いて、最終プロダクション（117）の画像データは、コンピュータモニター、テレビセット、セットトップボックス、映画館などのデコードおよび再生デバイスに向け下流に送達するために、エンコード・ブロック（120）に送達されうる。いくつかの実施形態では、符号化ブロック（120）は、符号化ビットストリーム（122）を生成するために、ATSC、DVB、DVD、Blu-Ray、および他の送達フォーマットによって定義されるものなどのオーディオおよびビデオ・エンコーダを含むことができる。受信機において、符号化ビットストリーム（122）は、デコード・ユニット（130）によってデコードされて、信号（117）と同一のまたはそれに近い近似を表すデコード信号（132）を生成する。受信機は、基準ディスプレイ（125）とは完全に異なる特性を有することができるターゲット・ディスプレイ（140）に取り付けることができる。その場合、ディスプレイ管理ブロック（135）は、ディスプレイ・マッピングされた信号（137）を生成することによって、デコードされた信号（132）のダイナミックレンジをターゲット・ディスプレイ（140）の特性にマッピングするために使用されうる。本明細書に記載される追加の方法は、デコード・ユニット（130）またはディスプレイ管理ブロック（135）によって実行されうる。デコード・ユニット（130）とディスプレイ管理ブロック（135）の両方は、それら自体のプロセッサを含んでいてもよく、または単一の処理ユニットに統合されてもよい。本開示はターゲット・ディスプレイ（140）に言及するが、これは単に例であることが理解されるであろう。ターゲット・ディスプレイ（140）は、光を表示または投影するように構成された任意のデバイス、たとえば、コンピュータディスプレイ、テレビ、OLEDディスプレイ、LCDディスプレイ、量子ドットディスプレイ、映画、消費者向け、および他の商業用投影システム、ヘッドアップディスプレイ、仮想現実ディスプレイなどを含むことができることがさらに理解されよう。

【0027】

デジタル・デバイスを使用してシーンを捕捉するとき、現実的なシーン基準の放射測定（scene-referred radiometry）が画像を生成するために直接転送されることはまれである。その代わりに、デバイスのオリジナルエクイップメント製造者（OEM）またはソフトウェアアプリケーション設計者が、たとえば、薄暗い周囲およびD65照明などの基準閲覧環境で閲覧するために画像を適応させ、向上されたコントラストおよび色飽和などの審美的調整を適用することによって、画像を調整することが一般的な慣例である。これらのおよび他の調整は、消費者にとって心地よいと思われる現実の好ましいレンダリングを生成する。

【0028】

現在、これらの操作は、2つの点で不可逆的である。第1に、操作を適用するために使用されるパラメータが送信されず、第2に、ピクセル操作は、非線形クリッピングおよび量子化、非可逆的な操作、未知のアルゴリズム、または未知の操作順序のため、不可逆的でありうる。

【0029】

その代わりに、イメージングセンサーによって捕捉された「現実」を表す、もとの捕捉された／前処理された画像を送信し、その後、再生時にこれらの操作を適用することができることが望ましい。これは、複数のレンダリング意図を許容し、再生時に、デバイスは、もとの捕捉された「現実」画像を提示することができ、または代替として、デバイスは、もとの捕捉された「現実」画像から修正された「快い」画像を作成することができる。

【0030】

また、後方互換性のある仕方でそのようなコンテンツを送信することを許容することが望ましい。このアプローチでは、「快い」画像を作成するための修正は、捕捉の際に適用されることができ、適切なパラメータが再生デバイスに送信されて、再生デバイスが修正を反転させ、よって、もとの捕捉された「現実」画像を復元することを許容することができる。

【0031】

図2は、メタデータを使用して複数の意図をもつ画像のエンコードおよびデコードを許容する方法（200）を提供する。方法（200）は、たとえば、エンコードのためのブロック（115）および／またはブロック（120）の一部として、およびデコードのためのブロック（130）および／またはブロック（135）の一部として、プロセッサによって実行されてもよい。

【0032】

ステップ（202）で、画像が捕捉される。デジタル捕捉デバイスでは、露光されたシーンは、1チャネル表現での生のセンサー値に変換される。デモザイク処理として知られるプロセスを通じて、1チャネル画像表現は、3つのチャネル、たとえば赤、緑、および青（RGB）をもつ3色表現に展開される。デモザイク処理には多数の手法があり、そのいずれも本明細書に開示される実施形態において十分である。

【0033】

シーンの測色を完全に捕捉するために、捕捉デバイスのスペクトル感度は、閲覧者のスペクトル感度に一致すべきである。実際には、これらは、正確に一致しないことが多く、代わりに、センサー感度を所望のRGB原色の何らかのセットに変換するための3×3行列変換を使用して近似される。従来は、このステップの間、カメラ・スペクトル感度はコンテンツと一緒に送信されず、そのためこのプロセスは不可逆であった。本発明のある実施形態では、適用されたカメラ・スペクトル感度ならびに3×3行列変換は、コンテンツとともに送信され、再生デバイスが、センサー出力から指定されたRGB原色への変換を適用するか、または反転させるかのいずれかを行うことを許容する。ステップ（202）は、非限定的な例として、センサーから単一チャネル値を読み取り、デモザイク処理スキームを適用して3色チャネル（たとえば、RGB）画像を作成し、任意的に3×3変換を適用して画像感度を所望の3色（たとえば、RGB）原色の感度に適合させることを含みうる。ステップ（202）は、捕捉周囲ルミナンス（たとえば、捕捉環境における周囲光のレベル）を測定することも含みうる。

【0034】

捕捉された画像の所望のRGB構成が決定されると、値は、指定された基準白色点に適合されうる。画像は、フォン・クリース（Von Kries）適応変換を通じて、標準化された白色点（D50、D65等）の1つに適合されうる。このプロセスは、（a）捕捉環境の周囲照度および白色点を推定することと、（b）指定された基準閲覧環境（たとえば、既知の白色点および周囲照明をもつ環境）における観察者の色一致を達成するために画像に補正を適用することとを伴う。色彩周囲環境における観察者の順応状態に適合するように画像を調整するために使用される方法は、2021年4月16日に出願されたPCT出願第PCT/US2021/027826号、および2021年4月27日に出願されたPCT出願第PCT/US2021/029476号に概説されており、これらのそれぞれは、その全体が、あらゆる目的のために、参照により本明細書に組み込まれる。ステップ（204）では、ホワイトバランス調整、色補正調整、光‐光伝達関数（optical-optical transfer function、OOTF）調整を含むが、これらに限定されない一つまたは複数の任意的なソース・アピアランス調整を、捕捉された画像に適用することができる。ステップ（204）は、測定された捕捉周囲ルミナンスから基準レビュー環境にマッピングするために非線形光‐光伝達関数（OOTF）を計算することを含みうる。白色点調整および3×3行列の順序は、変化しうる。光‐光伝達関数（OOTF）の計算および適用は、標準的なディスプレイ・デバイス上での画像のレンダリング意図を確立しうる。実際には、OOTFは、捕捉時の閲覧環境からの画像を、基準閲覧環境において表示するためにマッピングするために適用される。今日のOOTFの適用は、不可逆的な操作であり、再生時のOOTFの反転を困難にする。白色点調整と同様に、第1のステップ（a）において、捕捉環境の周囲照明を推定することができ、第2のステップ（b）において、画像を補正して、基準環境における観察者のためのマッチを達成することができる。

【0035】

ステップ（206）では、コントラスト調整、全体的な彩度調整および／または個別の彩度調整を含む彩度調整、トーンカーブにおける傾き‐オフセット‐パワー‐Tmid調整、ならびに他のトーンカーブのトリムおよび調整を含むが、これらに限定されない、一つまたは複数の任意的なソース選好調整が、捕捉された画像に適用されうる。本明細書で使用されるところでは、「mid」は、知覚的に量子化された（PQ）エンコードされた画像における、画像のmaxRGB値の平均を指し、各ピクセルは、そのピクセルの最大色成分値（R、G、またはB）に等しいそれ自体のmaxRGB値を有する。言い換えれば、ピクセルのどの色成分が最大の値を有するにしても、その色成分がそのピクセルについてのmaxRGB値であり、PQエンコードされた画像にわたるmaxRGB値の平均が画像の「mid」である。「T-mid」は、ユーザーまたはコンテンツ作成者が最終画像において望む「mid」〔中間〕値でありうる「ターゲットmid」を指してもよい。いくつかの実施形態では、個々の色飽和調整は、6つの異なる色における飽和調整を含んでいてもよく、これは「6ベクトル調整」と称されてもよい。

【0036】

ステップ（206）およびステップ（208）は、ステップ（208）においてユーザーから意図の選択を受領することを含むことができ、意図のその選択は、どのようなソース・アピアランスおよびソース選好調整が行われるか、そのような調整の係数、画像のどの部分に調整が適用されるかなどを指定する。

【0037】

OEMまたはソフトウェアアプリケーションが、ソース選好調整を捕捉された画像に適用することが一般的な慣行である。これらの変更は、純粋に審美的なものであり、典型的には、より高いレベルのコントラストおよび彩度をもつ画像をレンダリングするために導入される。本開示のさまざまな実施形態では、OEMによって決定されたこれらの選好変更は、コンテンツとともにメタデータとして送信され、ソース・アピアランス・メタデータと同じ仕方で再生時に適用される。各場合において、（a）適用すべき所望の補正量を計算または指定する第1のステップと、（b）パラメータ化された関数を使用して補正を適用するステップとがある。（a）および（b）の両方がメタデータとして送信され、再生デバイスが「快い」または「現実」画像のいずれかをレンダリングする完全な柔軟性を有することを許容し、「快い」または「現実」画像のいずれかを送信する捕捉デバイスの完全な柔軟性を許容する。

【0038】

本明細書に記載されるように、本明細書に開示されるさまざまな実施形態の1つの利点は、3チャネル画像に対するすべての調整がメタデータとしてエンコードされ、コンテンツとともにアプリケーションのために再生デバイスに送信されうることである。ある実施形態では、OEMまたはエンコード・デバイスは、「現実」画像を生成するために、アピアランスと選好の両方について調整を適用しないことを決定することができる。

【0039】

ステップ（210）では、ステップ（206）およびステップ（208）で修正された画像をエンコードすることができる。ステップ（210）は、コンピュータモニター、テレビセット、セットトップボックス、映画館などのデコードおよび再生デバイスに向けて下流に送達するために画像をエンコードすることを含むことができる。いくつかの実施形態では、エンコード・ステップ（210）は、ATSC、DVB、DVD、Blu-Ray、および他の送達フォーマットによって定義されるものなどのオーディオおよびビデオ・エンコーダが符号化ビットストリームを生成することを含みうる。画像をエンコードすることに加えて、ステップ（210）は、ステップ（204）で適用されたソース・アピアランス調整およびステップ（206）で適用されたソース選好調整を特徴付けるメタデータを作成および／またはエンコードすることを含んでいてもよい。メタデータは、x、y座標（または他の何らかのシステム）で指定されるシーン白色点、ルクス（または他の何らかのシステム）で指定されるシーン周囲輝度（たとえば、推定された捕捉環境に関する情報）、適用された白色点調整行列の係数、適用された3×3色行列の係数、適用されたパラメータ化OOTFの係数、3×3行列を計算するために使用されたセンサーのスペクトル感度、およびステップ（204）で適用された他の向上のための係数または他の情報などの、ソース・アピアランス調整に関連するメタデータを含みうる。さらに、メタデータは、ソース選好調整に関連するメタデータ、たとえば、コントラスト向上のための係数、たとえば、傾き‐オフセット‐パワー‐Tmidコントラスト調整、彩度向上のための係数、個別色飽和調整のための係数、トーンカーブ・トリムのための係数、およびステップ（206）において適用される他の向上のための係数を含む。

【0040】

ステップ（212）で、エンコードされた画像およびメタデータがデコードされうる。ステップ（214）において、所望のレンダリング意図の選択が取得されうる。第1の例として、ステップ（204）のソース・アピアランス調整およびソース選好調整によって修正された画像をレンダリングする選択が取得されうる。第2および第3の例として、画像がステップ（204）のソース・アピアランス調整によって修正されたが、ステップ（206）のソース選好調整によっては修正されなかったかのように（またはその逆）、画像をレンダリングする選択が取得されてもよい。第4の例として、ステップ（204）のソース・アピアランス調整やステップ（206）のソース選好調整によって修正されなかったかのように画像をレンダリングする選択が取得されてもよい。第4の例では、ステップ（202）で捕捉された画像は、部分的にまたは全体的に復元されうる。いくつかの実施形態では、ステップ（214）で取得されたレンダリング意図の選択は、再生デバイスにおけるユーザー選択に基づいてもよい。いくつかの実施形態では、デフォルトのレンダリング意図がエンコード・プロセス中に指定されてもよく、反対のユーザー入力がない場合、そのデフォルトのレンダリング意図が選択されてもよい。いくつかの実施形態では、デフォルトのレンダリング意図は、ステップ（204）のソース・アピアランス調整およびステップ（206）のソース選好調整が適用された画像をレンダリングすることを含みうる。

【0041】

任意的なステップ（216）で、メタデータは、反転されたソース選好調整を計算するために使用されることができる。適用されると、ステップ（216）の反転されたソース選好調整は、ステップ（206）のソース選好調整の一部または全部を元に戻すことができ、ユーザー選択およびデフォルト・レンダリング意図が、ソース選好調整のうちのどれが反転されるかを識別する。

【0042】

任意的なステップ（218）において、メタデータは、反転されたソース・アピアランス調整を計算するために使用されてもよい。適用されると、ステップ（218）の反転されたソース・アピアランス調整は、ステップ（204）のソース・アピアランス調整の一部または全部を元に戻すことができ、ユーザー選択およびデフォルト・レンダリング意図が、ソース・アピアランス調整のうちのどれが反転されるかを識別する。

【0043】

任意的なステップ（220）では、ターゲット・アピアランス調整が計算され、適用されうる。ターゲット・アピアランス調整は、非限定的な例として、ディスプレイ周囲ルミナンス（たとえば、ディスプレイ環境における周囲光のレベル）を測定し、次いで、非線形光‐光伝達関数（OOTF）を計算して適用し、基準閲覧環境から測定されたディスプレイ周囲ルミナンス（たとえば、実際の閲覧環境）にマッピングすることを含みうる。

【0044】

任意的なステップ（222）で、ターゲット選好調整が計算され、適用されうる。ターゲット選好調整は、非限定的な例として、コントラスト調整、色飽和調整、傾き‐オフセット‐パワー‐Tmid調整、個々の色飽和調整、およびトーンカーブ・トリムを含みうる。

【0045】

ステップ（224）で、画像がレンダリングされうる。例として、画像は、投影され、表示され、記憶装置に保存され、別のデバイスに送信され、または他の方法で利用されうる。

【0046】

いくつかの実施形態では、ソース調整の反転およびターゲット調整の適用は、単一の処理ステップに組み合わされ、調整はそれに応じて計算される。言い換えれば、ステップ216、218、220、および220の一部または全部が組み合わされうる。

【0047】

いくつかの実施形態では、ステップ（208）で選択されたレンダリング意図は、「現実」画像のためのものであり、ステップ（204および206）は、本質的に回避される。これは、「現実」画像の配送に相当する。そのような実施形態におけるメタデータは、ソース・アピアランス調整およびソース選好調整が行われなかったことを示す。

【0048】

いくつかの他の実施形態では、いくつかのソース・アピアランス調整およびソース選好調整が適用され（たとえば、ステップ（204および206）において）、「快い」画像が生成される。そのような実施形態におけるメタデータは、ソース・アピアランス調整およびソース選好調整が適用された量およびタイプを示すことができる。メタデータは、複数の値を含んでいてもよく、それぞれは、ソース・アピアランスおよび／または選好調整として適用された特定の機能を制御するパラメータに対応する。これらの機能は、適用された正確な関数、適用された順序、および関数の強度を制御するパラメータを知ることによって、再生デバイスによって反転（または近似的に反転）されることができる。メタデータは、これらの機能を反転（または近似的に反転）するために再生デバイスによって必要とされる情報を含むように構成されうる。

【0049】

所望であれば、ステップ（210）で作成されたメタデータは、再生時に画像がどのように処理されるか（「現実」画像が表示されるか、「快い」画像が表示されるか）についてのデフォルト値を指定する、コンテンツについての「所望されるレンダリング意図」を送信するために使用されてもよい。これは、ブール値、または2つの間で連続的に変化するスケールでありうる。再生デバイスは、このメタデータを「所望のレンダリング意図」として解釈し、ソース調整メタデータに従ってソース・アピアランスおよび選好調整を反転させ、また、閲覧環境に従ってターゲット・アピアランス調整を適用する。所望であれば、メタデータにおいて指定された「所望されるレンダリング意図」は、ユーザー入力の受領時にオーバーライドされてもよい。

【0050】

図3は、メタデータを使用して複数の意図をもつ画像のエンコードを許容する方法（300）を提供する。方法（300）は、たとえば、エンコードのためのブロック（115）および／またはブロック（120）の一部としてプロセッサによって実行されてもよい。

【0051】

ステップ（302）で、シーンをセンサーに露出することによって画像が捕捉される。ステップ（304）では、各色チャネルについての生センサー値が収集される。ステップ（306）では、デモザイク処理アルゴリズムまたはプロセスを使用して、生センサー値を、各色チャネルからマルチチャネル・カラー画像（たとえば、3つの原色を有する3チャネル・カラー画像）に変換することができる。ステップ（308）では、3×3行列変換がマルチチャネル・カラー画像に適用されて、生センサー値をRGB原色などの所望される原色のセットに変換することができる。ステップ（308）の3×3行列変換は、異なる色チャネル間のセンサーの感度の差を考慮するように機能しうる。ステップ（310）で、画像は、一つまたは複数のホワイトバランス調整、色補正調整などを用いて、基準白色点に適合されうる。ステップ（312）では、光‐光伝達関数（OOTF）が、一例として、捕捉環境における周囲ルミナンスから基準レビュー環境のルミナンスへマッピングするために適用されうる。ステップ（314）では、コントラスト調整、彩度調整、傾き‐オフセット‐パワー‐Tmid調整、個々の彩度調整、およびトーンカーブ・トリムを含むが、これらに限定されない一つまたは複数のソース選好調整が適用されうる。ステップ（314）に続いて、画像はエンコードされ、メタデータが生成され、方法（300）の間に行われた任意のソース選好およびソース・アピアランス調整の潜在的な反転を可能にする。

【0052】

図4は、メタデータを使用して複数の意図を有する画像のデコードを許容する方法（400）を提供する。方法（400）は、たとえば、デコードのためのブロック（130）および／またはブロック（135）の一部としてプロセッサによって実行されてもよい。

【0053】

ステップ（402）では、複数意図画像およびその対応するメタデータがデコードされる。

【0054】

再生デバイス上で画像およびメタデータをデコードした後、表示された画像のレンダリング意図に関して複数のオプションがある。ある実施形態では、選択された（または好ましい）意図は、アピアランス領域と選好領域の両方における所望の調整を受け入れるようにターゲット／受信デバイスの動作をガイドするフラグまたはプロファイルとしてメタデータ内に存在する。別の実施形態では、最終的なレンダリングされた画像は、アピアランスまたは選好調整の受け入れに関わらないことができる。別の実施形態は、レンダリングされた画像が、アピアランス現象についての適応は受けるが、選好についてはそうしないことに関わる（逆もまた同様）。これらの意図は、バイナリである必要はない。アピアランスおよび選好現象について、決定された調整の部分的な適用が可能であるからである。

【0055】

ステップ（404）では、所望されるレンダリング意図が、たとえば、メタデータにおいて指定されたデフォルトから、ユーザー入力からなどで取得される。

【0056】

ターゲット装置について意図が確立されると、ソース画像ベースの調整は反転される必要があることがある。パイプラインのソース側で画像に対して行われるアピアランス調整および選好調整の両方は、付随するメタデータ・ファイルからデコードされている。メタデータから知られる適用された調整に基づいて、必要であれば逆を決定することができる。OEMが画像調整を適用しないと決定する実施形態では、ソースの逆を計算する必要はなく、ターゲットを直接適用することができる。他のすべての実施形態について、ソース画像ベースの調整を適用しないことが望ましい場合（たとえば、ソース画像ベースの調整を反転することが望ましい場合）、逆調整を計算することができる。

【0057】

ステップ（406）において、反転されたソース選好およびアピアランス調整が、たとえばメタデータに基づいて計算される。

【0058】

ソース選好調整はエンコードの前に最後に適用されるので、デコード後に最初に反転される必要がありうる。逆選好調整は、メタデータによって指定された審美的目的のために行われた任意の追加の画像処理（たとえば、ある実施形態では、画像コントラストおよび彩度を変更すること）を取り消す。これに続いて、ソース・アピアランス調整は、ソース‐ディスプレイOOTFを記述するメタデータを通じて反転される。周囲光および／または色彩光（chromatic light）の存在を補正するために行われる任意の調整もである。

【0059】

ソース調整が反転されると、ターゲット調整を適用することができる。ソース・アピアランス調整と同様に、ターゲット・アピアランス調整は、ターゲット閲覧環境および標準的な観察者の順応状態に関する情報を利用して、画像の適切な表現を与えるために、画像白色点、ルミナンスおよび彩度を変更する。閲覧者のスクリーンへの近接度は、環境によって及ぼされる影響に対してスクリーンによって及ぼされる影響がどの程度であるかを決定する（例示的な技法は、すべての目的のためにその全体が本明細書に組み込まれる、2021年4月16日に出願されたPCT特許出願第PCT/US2021/027826号に記載されている）。あるいはまた、規格によって推奨される閲覧距離が、順応に対するスクリーン・サイズの影響を計算するために使用されることができる。ある実施形態では、個々の閲覧者に対してアピアランス現象をパーソナライズするために、追加的な調整が適用されることができる。これらの調整は、個人のコントラスト感度関数、メタメリズムからの考慮、および潜在的な色盲の程度について補正することを含む。OEMの選好を受け入れるために、ターゲット端で、さらなる画像向上が適用されることができる。

【0060】

ステップ（408）において、たとえば、所望されるレンダリング意図、周囲ルミナンスなどのターゲット・ディスプレイ環境に関する情報などに基づいて、ターゲット・アピアランスおよび選好調整が計算される。

【0061】

ステップ（410）では、反転されたソース選好およびアピアランス調整が、デコードされた画像に適用され、たとえば、方法（300）の間に行われたソース選好およびアピアランス調整を元に戻す。

【0062】

ステップ（412）では、ターゲット・アピアランスおよび選好調整が、デコードされた画像に適用される。

【0063】

ステップ（414）では、ターゲット・アピアランスおよび選好調整が適用されたデコードされた画像が表示され、ディスクに保存され、別のデバイスまたはパーティーに伝達され、または他の仕方で利用される。

【0064】

上記のエンコード・システム、デコード・システム、および方法は、メタデータを使用して複数意図画像およびビデオをエンコードおよびデコードすることを提供しうる。本開示によるシステム、方法、およびデバイスは、以下の構成のうちの任意の一つまたは複数をとりうる。

【0065】

（1）複数意図画像をエンコードする方法であって、当該方法は：前記複数意図画像としてエンコードするための画像を取得する段階と、少なくとも1つのアピアランス調整を前記画像に適用する段階と、前記少なくとも1つのアピアランス調整を特徴付けるメタデータを生成する段階と、前記画像およびメタデータを前記複数意図画像としてエンコードする段階とを含む、方法。

【0066】

（2）前記メタデータは、前記メタデータが前記少なくとも1つのアピアランス調整を反転させるために使用されることができるのに十分な程度まで前記少なくとも1つのアピアランス調整を特徴付ける、（1）に記載の方法。

【0067】

（3）前記少なくとも1つのアピアランス調整を適用することは、センサー値を色値に変換することを含む、（1）または（2）に記載の方法。

【0068】

（4）前記少なくとも1つのアピアランス調整を適用することは、3×3行列を使用してセンサー値を色値に変換することを含み、前記メタデータは、前記3×3行列の係数を含む、（1）～（3）のいずれか一項に記載の方法。

【0069】

（5）前記少なくとも1つのアピアランス調整を適用することは、捕捉環境周囲ルミナンスおよび白色点を推定し、推定された捕捉環境周囲ルミナンスおよび白色点に基づいて白色点補正を適用することを含む、（1）～（4）のいずれか一項に記載の方法。

【0070】

（6）前記メタデータは、推定された捕捉環境周囲ルミナンスおよび白色点を含む、（5）に記載の方法。

【0071】

（7）前記少なくとも1つのアピアランス調整を適用することは、捕捉環境周囲ルミナンスを推定し、推定された捕捉環境周辺ルミナンスに部分的に基づいて、基準ディスプレイ・デバイス上にレンダリングするために前記画像を準備する光‐光伝達関数（OOTF）を適用することを含む、（1）～（4）のいずれか一項に記載の方法。

【0072】

（8）前記メタデータは、前記推定された捕捉環境周囲ルミナンスを含む、（7）に記載の方法。

【0073】

（9）前記メタデータは、前記光‐光伝達関数の係数を含む、（7）または（8）に記載の方法。

【0074】

（10）前記少なくとも1つのアピアランス調整を適用することは、彩度向上を適用することを含み、前記メタデータは、前記彩度向上の係数を含む、（1）～（9）のいずれか一項に記載の方法。

【0075】

（11）前記少なくとも1つのアピアランス調整を適用することは、コントラスト向上を適用することを含み、前記メタデータは、前記コントラスト向上の係数を含む、（1）～（10）のいずれか一項に記載の方法。

【0076】

（12）前記少なくとも1つのアピアランス調整を適用することは、個々の彩度調整を適用することを含み、前記メタデータは、前記個々の彩度調整の係数を含む、（1）～（11）のいずれか一項に記載の方法。

【0077】

（13）前記少なくとも一つのアピアランス調整を適用することは、傾き‐オフセット‐パワー‐Tmid向上を適用することを含み、前記メタデータは、前記傾き‐オフセット‐パワー‐Tmid向上の係数を含む、（1）～（12）のいずれか一項に記載の方法。

【0078】

（14）前記少なくとも一つのアピアランス調整を適用することは、向上を適用することを含み、前記メタデータは前記向上の係数を含む、（1）～（13）のいずれか一項に記載の方法。

【0079】

（15）前記少なくとも1つのアピアランス調整を適用することは、トーンカーブ・トリムを適用することを含み、前記メタデータは、前記トーンカーブ・トリムの係数を含む、前記（1）～（14）のいずれか一項に記載の方法。

【0080】

（16）前記複数意図画像は、ビデオにおけるビデオ・フレームを含む、（1）～（15）のいずれか1つに記載の方法。

【0081】

（17）複数意図画像をデコードする方法であって、当該方法は：前記複数意図画像と前記複数意図画像の代替バージョンとの間の少なくとも1つのアピアランス調整を特徴付けるメタデータとともに前記複数意図画像を取得する段階と、前記複数意図画像の前記代替バージョンの選択を取得する段階と、前記メタデータを使用して、前記複数意図画像に、前記少なくとも1つのアピアランス調整の逆を適用して、前記複数意図画像の前記代替バージョンを復元する段階とを含む、方法。

【0082】

（18）方法であって、当該方法は：複数意図画像としてエンコードするための原画像を取得する段階と、前記原画像に対する少なくとも1つのアピアランス調整を特徴付けるメタデータを生成する段階と、前記原画像およびメタデータを複数意図画像としてエンコードする段階と、前記複数意図画像を提供する段階とを含む、方法。

【0083】

（19）デコーダにおいて、前記複数意図画像を受領する段階と、前記デコーダにおいて、第1のレンダリング意図の選択を取得する段階と、前記第1のレンダリング意図の選択に基づいて、前記少なくとも1つのアピアランス調整を前記原画像に適用することによって前記複数意図画像をデコードする段階と、前記少なくとも1つのアピアランス調整が適用された前記原画像を提供する段階とをさらに含む、（18）に記載の方法。

【0084】

（20）前記デコーダにおいて、第2のレンダリング意図の選択を取得する段階と、前記第2のレンダリング意図の選択に基づいて、前記少なくとも1つのアピアランス調整を前記原画像に適用することなく前記複数意図画像をデコードする段階と、前記少なくとも1つのアピアランス調整が適用されていない前記原画像を提供する段階とをさらに含む、（18）または（19）に記載の方法。

【0085】

（21）前記メタデータが前記少なくとも1つのアピアランス調整を反転させるために使用されることができるのに十分な程度まで、前記メタデータは前記少なくとも1つのアピアランス調整を特徴付ける、（18）に記載の方法。

【0086】

（22）前記少なくとも1つのアピアランス調整は、センサー値を色値に変換することを含む、（18）～（21）のいずれか1つに記載の方法。

【0087】

（23）前記少なくとも1つのアピアランス調整は、3×3行列を使用してセンサー値を色値に変換することを含み、前記メタデータは前記3×3行列の係数を含む、（18）～（22）のいずれか一項に記載の方法。

【0088】

（24）前記少なくとも1つのアピアランス調整は、捕捉環境周囲ルミナンスおよび白色点を推定し、推定された捕捉環境周囲ルミナンスおよび白色点に基づいて白色点補正を適用することを含む、（18）～（19）のいずれか一項に記載の方法。

【0089】

（25）前記メタデータは、推定された捕捉環境周囲ルミナンスおよび白色点を含む、（24）に記載の方法。

【0090】

（26）前記少なくとも1つのアピアランス調整は、捕捉環境周囲ルミナンスを推定し、推定された捕捉環境周囲ルミナンスに部分的に基づいて、基準ディスプレイ・デバイス上にレンダリングするために前記画像を準備するために光‐光伝達関数（OOTF）を適用することを含む、（18）～（23）のいずれか一項に記載の方法。

【0091】

（27）前記メタデータは、推定された捕捉環境周囲ルミナンスを含む、（26）に記載の方法。

【0092】

（28）前記メタデータは、前記光‐光伝達関数の係数を含む、（26）または（27）に記載の方法。

【0093】

（29）前記少なくとも1つのアピアランス調整は、彩度向上を適用することを含み、前記メタデータは、前記彩度向上の係数を含む、（18）～（28）のいずれか一項に記載の方法。

【0094】

（30）前記少なくとも1つのアピアランス調整は、コントラスト向上を適用することを含み、前記メタデータは、前記コントラスト向上の係数を含む、（18）～（29）のいずれか一項に記載の方法。

【0095】

（31）前記少なくとも1つのアピアランス調整は、個別の彩度調整を適用することを含み、前記メタデータは、前記個別の彩度調整の係数を含む、（18）～（30）のいずれか一項に記載の方法。

【0096】

（32）前記少なくとも1つのアピアランス調整は、傾き‐オフセット‐パワー‐Tmid向上を適用することを含み、前記メタデータは、前記傾き‐オフセット‐パワー‐Tmid向上の係数を含む、（18）～（31）のいずれか一項に記載の方法。

【0097】

（33）前記少なくとも一つのアピアランス調整は、向上を適用することを含み、前記メタデータは、前記向上の係数を含む、（18）～（32）のいずれか一項に記載の方法。

【0098】

（34）前記少なくとも1つのアピアランス調整は、トーンカーブ・トリムを適用することを含み、前記メタデータは、前記トーンカーブ・トリムの係数を含む、（18）～（33）のいずれか一項に記載の方法。

【0099】

（35）前記複数意図画像は、ビデオ内のビデオ・フレームを含む、（18）～（34）のいずれか一項に記載の方法。

【0100】

（36）電子プロセッサによって実行されると、前記電子プロセッサに、（1）～（35）のいずれか一項に記載の動作を実行させる命令を記憶している非一時的なコンピュータ可読媒体。

【0101】

（37）複数意図画像を送達するための画像送達システムであって、（1）～（16）および（18）～（35）のいずれか一項に記載の複数意図画像をエンコードするように構成されたプロセッサを備える、画像送達システム。

【0102】

（38）複数意図画像を受領してデコードするための画像デコード・システムであって、（17）に記載の複数意図画像をエンコードするように構成されたプロセッサを備える、画像デコード・システム。

【0103】

本明細書に記載されるプロセス、システム、方法、ヒューリスティクス等に関して、そのようなプロセス等の段階は、ある順序付けられたシーケンスに従って生じるものとして説明されているが、そのようなプロセスは、本明細書に記載される順序以外の順序で行われる記載される段階を用いて実施されうることを理解されたい。さらに、ある種の段階が同時に実行されることができ、他の段階が追加されることができ、または本明細書に記載されたある種の段階が省略されることができることを理解されたい。言い換えれば、本明細書におけるプロセスの説明は、ある種の実施形態を例解する目的で提供されており、決して特許請求の範囲を限定するように解釈されるべきではない。

【0104】

よって、上記の説明は、例示的であり、制約するものではないことが意図されることを理解されたい。提供された例以外の多くの実施形態および用途は、上記の説明を読めば明らかであろう。範囲は、上記の説明を参照して決定されるべきではなく、代わりに、添付の特許請求の範囲を、そのような特許請求の範囲が資格をもつ均等物の全範囲とともに参照して決定されるべきである。本明細書で説明される技術において将来の発展が生じること、および開示されるシステムおよび方法がそのような将来の実施形態に組み込まれることが予期され、意図される。要するに、本願は、修正および変形が可能であることを理解されたい。

【0105】

特許請求の範囲で使用されるすべての用語は、本明細書で反対のことが明示的に示されていない限り、それらの最も広い合理的な解釈および本明細書で説明される技術に通じている者によって理解されるようなそれらの通常の意味を与えられることが意図される。特に、「a」、「the」、「said」などの単数冠詞の使用は、請求項がそれとは反対の明示的な限定を記載していない限り、示された要素の一つまたは複数を記載していると読まれるべきである。

【0106】

本開示の要約は、読者が技術的開示の性質を迅速に確認することを許容するために提供される。要約書は、特許請求の範囲の範囲または意味を解釈または限定するために使用されないという理解の下で提出される。加えて、前述の詳細な説明において、本開示の流れをよくする目的で、さまざまな特徴がさまざまな実施形態において一緒にグループ化されていることがわかる。この開示方法は、請求される実施形態が各請求項に明示的に記載されるよりも多くの特徴を組み込むという意図を反映するものとして解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、発明の主題は、単一の開示された実施形態のすべての特徴よりも少ないものにある。よって、以下の特許請求の範囲は、ここに詳細な説明に組み込まれ、各請求項は、別個に請求される主題として自立している。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-03-26

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複数意図画像をデコードする方法であって、前記複数意図画像は、基準閲覧環境における前記画像の表現と、含まれる表現を前記画像の代替バージョンに変換するためのメタデータとを含み、当該方法は：
前記基準閲覧環境における前記画像の前記表現と前記画像の代替バージョンとの間の少なくとも1つのアピアランス調整を特徴付けるメタデータとともに前記複数意図画像を取得する段階であって、前記メタデータは、イメージセンサーによって前記画像を捕捉したときの前記捕捉環境における周囲ルミナンスおよび白色点を示す、段階と；
前記複数意図画像の前記代替バージョンに対応する所望されるレンダリング意図の選択を取得する段階であって、前記所望されるレンダリング意図は、前記イメージセンサーによって捕捉された前記画像のものであり、段階と；
前記取得された選択に基づいて前記複数意図画像の前記代替バージョンを復元するために、前記メタデータを使用して、前記基準閲覧環境における前記画像の前記表現に、前記少なくとも1つのアピアランス調整の逆を適用する段階とを含む、
方法。

【請求項2】

前記取得された選択に基づいて前記複数意図画像の前記代替バージョンを復元する、前記基準閲覧環境における前記画像の前記表現に、前記少なくとも1つのアピアランス調整の逆を適用することは：
前記基準閲覧環境における前記白色点から前記捕捉環境における白色点へ前記画像をマッピングし；
前記画像に光‐光伝達関数を適用して、前記基準閲覧環境における周囲ルミナンスから前記捕捉環境の周囲ルミナンスにマッピングすることを含む、
請求項１に記載の方法。

【請求項3】

前記メタデータは、前記画像を捕捉した前記イメージセンサーのスペクトル感度と、前記色チャネル間の前記イメージセンサーのスペクトル感度の差を補正するために前記イメージセンサーからの生センサー値に適用される3×3行列変換の係数とをさらに示し、
前記取得された選択に基づいて前記複数意図画像の前記代替バージョンを復元するために、前記基準閲覧環境における前記画像の前記表現に、前記少なくとも1つのアピアランス調整の逆を適用することは、前記画像に前記3×3行列変換の逆を適用して生センサー値を取得することをさらに含む、
請求項２に記載の方法。

【請求項4】

前記メタデータが前記所望されるレンダリング意図を含み、前記所望されるレンダリング意図が、前記画像が再生時にどのように処理されるべきかについてのデフォルト値を指定する、請求項１に記載の方法。

【請求項5】

複数意図画像をエンコードする方法であって、前記複数意図画像は、基準閲覧環境における前記画像の表現と、基準表現を前記画像の代替バージョンに変換するためのメタデータとを含み、当該方法は：
前記複数意図画像としてエンコードするための画像を取得する段階であって：
捕捉環境においてシーンをイメージセンサーに露出し、各色チャネルについて前記イメージセンサーから生センサー値を収集することによって複数チャネル・カラー画像を捕捉し；
前記捕捉環境における周囲ルミナンスおよび白色点を決定することを含む、
段階と；
前記画像に少なくとも1つのアピアランス調整を適用して、捕捉された画像を前記基準閲覧環境における前記画像の前記表現に変換する段階であって：
前記捕捉環境における決定された白色点から前記基準閲覧環境における好ましい白色点に前記画像をマッピングし；
前記画像に光‐光伝達関数を適用して、前記捕捉環境における周囲ルミナンスから前記基準閲覧環境の好ましい周囲ルミナンスにマッピングすることを含む、
段階と；
前記少なくとも1つのアピアランス調整を特徴付けるメタデータを生成する段階であって、前記メタデータは、前記捕捉環境における決定された周囲ルミナンスおよび白色点を示す、段階と；
前記変換された画像およびメタデータを前記複数意図画像としてエンコードする段階とを含む、
方法。

【請求項6】

少なくとも1つのアピアランス調整を前記画像に適用することは、捕捉された複数チャネル・カラー画像に3×3行列変換を適用して、収集された生センサー値を所望される原色のセットに変換することをさらに含み、前記3×3行列変換は、前記色チャネル間の前記イメージセンサーのスペクトル感度の差を考慮に入れており、
前記メタデータは、前記画像を捕捉した前記イメージセンサーのスペクトル感度と、前記色チャネル間の前記イメージセンサーのスペクトル感度の差を補正するための前記3×3行列変換の係数とをさらに示し、それにより、前記メタデータは、前記基準表現を、捕捉された前記画像を近似する画像に変換することができる、
請求項５に記載の方法。

【請求項7】

前記少なくとも1つのアピアランス調整を適用することは、個々の色飽和調整を適用することを含み、前記メタデータは、前記個々の色飽和調整の係数を含む、請求項５に記載の方法。

【請求項8】

前記少なくとも1つのアピアランス調整を適用することは、傾き‐オフセット‐パワー‐Tmid調整を適用することを含み、前記メタデータは、前記傾き‐オフセット‐パワー‐Tmid調整の係数を含む、請求項５に記載の方法。

【請求項9】

前記少なくとも1つのアピアランス調整を適用することは、トーンカーブ調整を適用することを含み、前記メタデータは、前記トーンカーブ調整の係数を含む、請求項５に記載の方法。

【請求項10】

前記複数意図画像は、ビデオにおけるビデオ・フレームを含む、請求項５に記載の方法。

【請求項11】

前記メタデータが前記少なくとも1つのアピアランス調整を反転させるために使用されることができるのに十分な程度まで、前記メタデータが前記少なくとも1つのアピアランス調整を特徴付ける、請求項５に記載の方法。

【請求項12】

複数意図画像をデコードするためのデコーダであって、前記複数意図画像は、基準閲覧環境における前記画像の表現と、含まれる表現を前記画像の代替バージョンに変換するためのメタデータとを含み、当該デコーダは、請求項１ないし３のうちいずれか一項に記載の前記複数意図画像をデコードするように構成されたプロセッサを有する、デコーダ。

【請求項13】

複数意図画像を送達するための画像送達システムであって、前記複数意図画像は、基準閲覧環境における前記画像の表現と、前記基準表現を前記画像の代替バージョンに変換するためのメタデータとを含み、当該画像送達システムは、請求項５ないし１１のいずれか一項に記載の前記複数意図画像をエンコードするように構成されたプロセッサを有する、画像送達システム。

【請求項14】

電子プロセッサによって実行されると、前記電子プロセッサに、請求項１ないし１１のうちいずれか一項に記載の動作を実行させる命令を記憶している非一時的なコンピュータ可読媒体。

【国際調査報告】