特許 6019270 拡張ダイナミックレンジのための案内されたカラー・グレーディング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6019270

(24)【登録日】2016年10月7日

(45)【発行日】2016年11月2日

(54)【発明の名称】拡張ダイナミックレンジのための案内されたカラー・グレーディング

(51)【国際特許分類】

   H04N 9/64 20060101AFI20161020BHJP

   G06T 1/00 20060101ALI20161020BHJP

【ＦＩ】

   H04N9/64 Z

   G06T1/00 510

【請求項の数】18

【全頁数】17

(21)【出願番号】特願2016-525544(P2016-525544)

(86)(22)【出願日】2014年10月21日

(86)【国際出願番号】US2014061600

(87)【国際公開番号】WO2015061335

(87)【国際公開日】20150430

【審査請求日】2016年6月13日

(31)【優先権主張番号】61/894,382

(32)【優先日】2013年10月22日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】シュー，ニング

(72)【発明者】

【氏名】チェン，タオ

(72)【発明者】

【氏名】クレンショー，ジェイムス イー．

(72)【発明者】

【氏名】ヒュルヤルカール，サミール エヌ

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特表２０１４−５３２１９５（ＪＰ，Ａ）

【文献】 特表２０１４−５１８０２４（ＪＰ，Ａ）

【文献】 特開２００７−２９５０２２（ＪＰ，Ａ）

【文献】 特表２００９−５１４３３８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

Ｇ０９Ｇ ５／００−５／３６

Ｇ０９Ｇ ５／３７７−５／４２

Ｈ０４Ｎ １／４０−１／４０９

Ｈ０４Ｎ １／４６−１／４８

Ｈ０４Ｎ １／５２

Ｈ０４Ｎ １／６０

Ｈ０４Ｎ ９／４４−９／７８

(57)【特許請求の範囲】

【請求項1】

より高いダイナミックレンジのカラー・グレーディングされた画像を得るためにカラー・グレーディングを実行する方法であって：
コンピュータによって、グレーディングされていない画像を提供する段階と；
コンピュータによって、前記グレーディングされていない画像と同じ素材を表わす、カラー・グレーディングされた、より低いダイナミックレンジの画像を提供する段階と；
コンピュータによって、前記グレーディングされていない画像を前記カラー・グレーディングされた、より低いダイナミックレンジの画像に基づいてカラー・グレーディングして、それにより、前記より高いダイナミックレンジのカラー・グレーディングされた画像を得る段階とを含み、
当該方法は、コンピュータによって、前記グレーディングされていない画像および前記カラー・グレーディングされた、より低いダイナミックレンジの画像を空間的および時間的に整列させて、それにより整列されたグレーディングされていない画像を得る段階をさらに含み、
コンピュータによって前記カラー・グレーディングすることは、前記カラー・グレーディングされた、より低いダイナミックレンジの画像に基づいて、前記整列されたグレーディングされていない画像に適用され、それにより、前記より高いダイナミックレンジのカラー・グレーディングされた画像を得る、
方法。

【請求項2】

コンピュータによって前記空間的および時間的に整列させることが、手動トリム整列パスを含む、請求項１記載の方法。

【請求項3】

コンピュータによって前記カラー・グレーディングすることは、手動トリム・カラー・グレーディング・パスを適用することを含む、請求項１記載の方法。

【請求項4】

前記空間的および時間的に整列させることが、
コンピュータによって、前記グレーディングされていない画像におけるおよび前記カラー・グレーディングされた、より低いダイナミックレンジの画像における特徴点を検出し；
コンピュータによって、前記特徴点をマッチングし；
コンピュータによって、前記グレーディングされていない画像と前記カラー・グレーディングされた、より低いダイナミックレンジの画像との間の変換を、前記特徴点の前記マッチングに基づいて推定することを含む、
請求項１記載の方法。

【請求項5】

前記検出することがさらに、コンピュータによって、前記グレーディングされていない画像の少なくとも一つの局所的領域および前記カラー・グレーディングされた、より低いダイナミックレンジの画像の少なくとも一つの局所的領域における特徴記述子を抽出することを含み、前記マッチングすることはさらに、コンピュータによって、前記特徴記述子をマッチングすることを含む、請求項４記載の方法。

【請求項6】

より高いダイナミックレンジのマスター画像を得るためにカラー・グレーディングを実行する方法であって：
コンピュータによって、グレーディングされていない画像を提供する段階と；
コンピュータによって、前記グレーディングされていない画像と同じ素材を表わす、カラー・グレーディングされた、より低いダイナミックレンジの画像を提供する段階と；
コンピュータによって、前記カラー・グレーディングされた、より低いダイナミックレンジの画像に対して、前記より高いダイナミックレンジのマスター画像のダイナミックレンジおよび色域に基づいて定義された逆トーンおよび色域マッピング変換を適用して、それにより、逆マッピングされた、より低いダイナミックレンジの画像を得る段階と；
コンピュータによって、前記グレーディングされていない画像に基づいて、より高いダイナミックレンジの編集を提供する段階と；
コンピュータによって、前記グレーディングされていない画像に前記より高いダイナミックレンジの編集を、前記編集されたグレーディングされていない画像に、前記グレーディングされていない画像および前記逆マッピングされた、より低いダイナミックレンジの画像に基づく色変換を適用する段階であって、それにより、前記より高いダイナミックレンジのマスター画像を得る段階とを含む、
方法。

【請求項7】

前記より高いダイナミックレンジの編集が、コンピュータによって、前記グレーディングされていない画像および前記逆マッピングされた、より低いダイナミックレンジの画像を空間的および時間的に整列させて、それにより整列された画像を得ることを含み、
色変換を適用する段階は、前記整列された画像に適用され、それにより、前記より高いダイナミックレンジのマスター画像を得る、請求項６記載の方法。

【請求項8】

逆トーンおよび色域マッピング変換を前記適用することが：
コンピュータによって、第一の色空間における前記カラー・グレーディングされた、より低いダイナミックレンジの画像にガンマ・デコードを適用して、それにより、ガンマ・デコードされた第一の画像を得る段階と；
コンピュータにより、前記ガンマ・デコードされた第一の画像を前記第一の色空間から第二の色空間に変換し、それにより第二の画像を得る段階と；
コンピュータにより、前記第二の画像に逆トーン・マッピング変換を適用し、それにより第三の画像を得る段階と；
コンピュータにより、前記第三の画像に逆飽和補正を適用して、それにより第四の画像を得る段階と；
コンピュータにより、前記第四の画像を前記第二の色空間から第三の色空間に変換して、それにより逆マッピングされた、より低いダイナミックレンジの画像を得る段階とを含む、
請求項６記載の方法。

【請求項9】

コンピュータによって、前記グレーディングされていない画像と前記逆マッピングされた、より低いダイナミックレンジの画像との間の対応する色を決定することをさらに含み、コンピュータによって色変換を前記適用することがさらに、前記対応する色に基づく、請求項８記載の方法。

【請求項10】

対応する色を前記決定することが、適応サンプリングを適用することを含む、請求項９記載の方法。

【請求項11】

前記適応サンプリングはほぼ一様な強度分布をもつことに基づく、請求項１０記載の方法。

【請求項12】

前記色変換は三つの色成分についての三つの一次元関数を含む、請求項９記載の方法。

【請求項13】

前記一次元関数は多項式であるまたはルックアップテーブルに基づく、請求項１２記載の方法。

【請求項14】

前記色変換は3かける3の線形行列を含む、請求項９記載の方法。

【請求項15】

前記色変換は、少なくとも一つの追加的な時刻における外れ値ピクセルをカラー・グレーディングすることを含む、請求項９記載の方法。

【請求項16】

前記画像がビデオにおけるフレームである、請求項１記載の方法。

【請求項17】

前記画像がビデオにおけるフレームである、請求項４記載の方法。

【請求項18】

前記画像がビデオにおけるフレームである、請求項６記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は2013年10月22日に出願された米国仮特許出願第61/894,382号の優先権の利益を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。

【0002】

発明の技術分野
本開示はビデオおよび画像のカラー・グレーディング（color grading）に関する。より詳細には、本開示は拡張ダイナミックレンジのための案内されたカラー・グレーディングに関する。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Mikolajczyk et al.、"A comparison of affine region detectors", IJCV 65(1/2):43-72, 2005

【非特許文献2】Lowe、"Distinctive image features from scale-invariant keypoints", IJCV, 60(2):91-110, November 2004

【非特許文献3】Mikolajczyk et al.、"A performance evaluation of local descriptors", PAMI 27(10):1615-1630, 2004

【非特許文献4】Bay, et al.、"SURF: Speeded Up Robust Features," ECCV, pp.404-417, 2008

【非特許文献5】Fischler et al.、"Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography." CACM, 24(6):381-395, June 1981

【発明の概要】

【課題を解決するための手段】

【0004】

本開示の第一の側面では、カラー・グレーディングを実行する方法であって：コンピュータによって、グレーディングされていない画像を提供する段階と；コンピュータによって、カラー・グレーディングされた、より低いダイナミックレンジの画像を提供する段階と；コンピュータによって、前記グレーディングされていない画像を前記カラー・グレーディングされた、より低いダイナミックレンジの画像に基づいてカラー・グレーディングして、それにより、より高いダイナミックレンジのカラー・グレーディングされた画像を得る段階とを含む、方法が記述される。

【0005】

本開示の第二の側面では、カラー・グレーディングを実行する方法であって：コンピュータによって、グレーディングされていない画像を提供する段階と；コンピュータによって、カラー・グレーディングされた、より低いダイナミックレンジの画像を提供する段階と；コンピュータによって、前記カラー・グレーディングされた、より低いダイナミックレンジの画像に対して逆トーンおよび色域マッピング変換を適用して、それにより逆マッピングされた、より低いダイナミックレンジの画像を得る段階と；コンピュータによって、前記グレーディングされていない画像に基づいて、より高いダイナミックレンジの編集を提供する段階と；コンピュータによって、前記より高いダイナミックレンジの編集および前記逆マッピングされた、より低いダイナミックレンジの画像に基づいて、前記グレーディングされていない画像に対して色変換を適用して、それにより、より高いダイナミックレンジのマスター画像を得る段階とを含む、方法が記述される。

【0006】

本開示の第三の側面では、カラー・グレーディングを実行する方法であって：コンピュータによって、グレーディングされていない画像から少なくとも一つの第一の特別扱い領域を除去して、それにより少なくとも一つの第一の特別扱い領域および第一の残りのデータを得る段階と；コンピュータによって、カラー・グレーディングされた、より低いダイナミックレンジの画像から少なくとも一つの第二の特別扱い領域を除去して、それにより第二の残りのデータを得る段階と；コンピュータによって、前記第一および第二の残りのデータに基づいてグローバル色変換を推定する段階であって、前記グローバル色変換は、前記グレーディングされていない画像と前記カラー・グレーディングされた、より低いダイナミックレンジの画像との間の差を最小にすることを含む、段階と；コンピュータによって、前記少なくとも一つの第一の特別扱い領域を処理して、それにより少なくとも一つの処理された特別領域を得る段階と；コンピュータによって、少なくとも一つの局所的領域について局所的色変換を推定する段階と；コンピュータによって、前記少なくとも一つの処理された特別領域に基づいて前記グローバル色変換および局所的色変換を組み合わせる段階とを含む、方法が記述される。

【図面の簡単な説明】

【0007】

本明細書に組み込まれ、本明細書の一部をなす付属の図面は、本開示の一つまたは複数の実施形態を例示し、例示的実施形態の説明と一緒に、本開示の原理および実装を説明する役割をする。

【図1】SDR案内されるVDRグレーディング・システムのある実施形態の概観を示す図である。

【図2】空間的整列のある実施形態の概観を示す図である。

【図3】自動的な再マスタリングのある実施形態の主要な段階の概観を示す図である。

【図4】本発明のある実施形態に基づく逆トーン・マッピングおよび色域の例を示す図である。

【図5】本発明のある実施形態に基づく特別領域の扱いの例を示す図である。

【図6】本開示のある実施形態の実装のための目標ハードウェアの例示的実施形態を描く図である。

【発明を実施するための形態】

【0008】

本稿での用法では、用語「ダイナミックレンジ」（DR）は、画像における、たとえば最も暗い暗部から最も明るい明部までの、強度（たとえば、ルミナンス、ルーマ）の範囲を知覚する人間の視覚心理学系（HVS: human visual system）の能力に関係しうる。この意味で、DRは「シーン基準の（scene-referred）」強度に関係する。DRは、特定の幅の強度範囲を十分にまたは近似的にレンダリングする表示装置の能力にも関係しうる。この意味で、DRは「ディスプレイ基準の（display-referred）」強度に関係する。本稿の記述における任意の点において特定の意味が特に有意であることが明示的に指定されるのでない限り、上記用語はどちらの意味でも、たとえば交換可能に使用されうると推定されるべきである。

【0009】

本稿での用法では、高ダイナミックレンジ（HDR: high dynamic range）という用語はHVSの14〜15桁ほどにまたがるDR幅に関係する。たとえば、本質的に正常な（たとえば統計的、バイオメトリックまたは眼科的な意味のうちの一つまたは複数の意味で）視覚をもつ、よく順応した人間は約15桁にまたがる強度範囲をもつ。順応した人間は、ほんの一握りの光子ほどの弱い光源を知覚しうる。しかしながら、これらの同じ人間が、砂漠、海または雪における白昼の太陽のほとんど痛々しいほどの明るい強度を感知することがある（あるいは、傷害を防ぐため短時間とはいえ、太陽を見ることさえある）。ただし、この幅は「順応した」人間に利用可能である。たとえばそのような人間のHVSは、リセットし調整するためのある時間期間をもつ。

【0010】

対照的に、人間が強度範囲の広範な幅を同時に知覚しうるDRは、HDRに対してある程度打ち切られていることがある。本稿での用法では、「視覚的ダイナミックレンジ」（VDR: visual dynamic range）の用語は、HVSによって同時に知覚可能なDRに関係しうる。本稿での用法では、VDRは5〜6桁にまたがるDRに関しうる。しかしながら、ダイナミックレンジのいかなる範囲に限定されることも意図されておらず、VDRはHDRより狭くても、あるいはHDRに等しくてもよい。

【0011】

かなり最近まで、ディスプレイはHDRまたはVDRより著しく狭いDRを有していた。典型的な陰極線管（CRT）、一定の蛍光白黒照明をもつ液晶ディスプレイ（LCD）またはプラズマ・スクリーン技術を使うテレビジョン（TV）およびコンピュータ・モニタ装置は、そのDRレンダリング機能において、約3桁に制約されることがある。よって、そのような通常のディスプレイは、VDRおよびHDRとの関係で、低ダイナミックレンジ（LDR）または標準ダイナミックレンジ（SDR）の典型である。デジタル映画館システムは、他のディスプレイ装置と同じ限界のいくつかを示す。本願において、「視覚的ダイナミックレンジ（VDR）」は、LDRまたはSDRより広い、任意の拡張されたダイナミックレンジを示すことが意図されており、HDRより狭くても、あるいはHDRに等しくてもよい。SDR画像はたとえば48ニトの映画館コンテンツまたは100ニトのブルーレイ・コンテンツであってもよい。VDRは交換可能にEDR（Enhanced dynamic range［向上ダイナミックレンジ］）と称されてもよい。一般に、本開示の方法は、SDRより高い任意のダイナミックレンジに関する。

【0012】

デジタル映画館の基礎となる技術の発達は、将来のデジタル映画館システムが、画像およびビデオ・コンテンツを、今日のデジタル映画館システムでレンダリングされる同じコンテンツに対して、さまざまな品質特性において著しい改善をもってレンダリングすることを許容するであろう。たとえば、将来のデジタル映画館システムは、通常のデジタル映画館システムのSDR/LDRより高いDR（たとえばVDR）や、通常のデジタル映画館システムの色域より大きな色域に対応することがありうる。

【0013】

ここおよび以下において、「信号」とは、物理的、電気的信号が意図されている。たとえば、画像または画像処理に関係するパラメータを表わすデジタル・ビットストリームである。そのような信号（または画像）処理は、画像品質における損失を導入することがある。一つの理由は、送信側および受信側それぞれにおける処理において使用される入力信号の間の相違である。

【0014】

本開示は、生データおよび同じ素材の標準ダイナミックレンジ（SDR）グレードに基づいて、視覚的ダイナミックレンジ（VDR）のグレーディングされたビデオを生成するシステムおよび方法を記述する。「グレーディングする」とは、本稿では、カラー・グレーディング、すなわちビデオまたは画像の色を変更するおよび／または向上させるプロセスを意図している。

【0015】

「生データ」とは、本稿では、カラー・グレーディングされていないビデオまたは画像を意図している。

【0016】

特に、本開示は、以前にグレーディングされたSDRバージョンを考慮に入れることによって、生の（グレーディングされていない）コンテンツをVDRビデオ・シーケンスにカラー・グレーディングするためのシステムおよび方法を記述する。

【0017】

当業者によって理解されるように、方法は、実行のあらゆる詳細の人間による監督なしにコンピュータによって実行される場合に、自動的と称されうる。対照的に、手動パス（hand pass）は、コンピュータによっても実行されるが、コンピュータの動作を指揮する、チェックするまたは他の仕方で案内することがありうる何らかの直接的なライブな人間の監督を含む。

【0018】

本開示のシステムおよび方法は、たとえば：SDR画像と生の（グレーディングされていない）画像との間の自動的な時間的および空間的整列；逆トーン・マッピング；色変換の推定および二次色変換；自動再マスタリングのために使用されうる。可能な応用のこのリストは、可能な用途の制限としては意図されていない。

【0019】

本開示のいくつかの実施形態では、カラー再グレーディング（color regrading）は、一次カラー・グレーディングおよび二次カラー・グレーディングの両方ならびにビデオまたは画像の特別扱い領域を許容することを含む。一次および二次カラー・グレーディング手順の意味は、当業者によって理解されるであろう。

【0020】

VDRコンテンツの生成は通例、結果として得られるVDRマスターを高ダイナミックレンジ・ディスプレイ上でモニタリングしながら、カラー・グレーディングされるべき生の映像を、ディレクターの意図を反映するようカラリストによってVDR範囲に編集することを含みうる。VDR範囲はたとえば、0.005ニトから10,000ニトを含むルミナンス範囲を指しうる。次いで、結果として得られるVDRマスターは、通常、アーカイブされ、通常のカラー・グレーディング・パスに比べて（計算上）相対的に安価でありうるトリム・パスによって種々のバージョン（異なるダイナミックレンジや色域）にマッピングされることができる。しかしながら、編集された生の映像からVDRマスターへのカラー・グレーディング段階はいまだ、通常は、多大な努力と時間を要する。

【0021】

VDR作業フローを経る新たな映画について、生の映像のカラー・グレーディングが、ポストプロダクションにおける必要な段階であることがある。しかしながら、VDRバージョンにではなく一つまたは複数のSDRバージョンにすでにカラー・グレーディングされている既存の映画については、本開示に記載されるような、オリジナル画像のVDRマスターへのカラー・グレーディングを高速化するためのシステムおよび方法を用いることが可能でありうる。

【0022】

いくつかの実施形態では、SDRバージョンは空間的および時間的な編集決定についての案内を提供するだけではなく、色補正をどのように実行するかについての案内も提供する。

【0023】

図１は、SDR案内されるVDRグレーディング・システムのある実施形態の概観を示している。グレーディングされていないオリジナルの（生の）画像またはビデオ（１０５）が自動的な空間的および／または時間的整列（１１０）と、その後、手動トリム・パス（１１５）および自動再マスタリング（１２０）とを受けることができる。生の画像（１０５）に対応するグレーディングされたSDR画像（１２５）が段階１１０および１２０において用いられることができる。

【0024】

その後の段階が、VDRマスター画像（１３５）を得るのに先立つ、カラー・グレーディングのための手動トリム・パス（１３０）を含んでいてもよい。

【0025】

図１では、グレーディングされていないオリジナル（１０５）は、フィルム・スキャン、デジタル中間物、生のカメラ・データなどを含む、当該グレーディングされていない素材の種々のバージョンを指しうる。一方、グレーディングされたSDR画像（１２５）は、種々の標準ダインミックレンジ（SDR）バージョン、たとえば48ニトP3映画館バージョンまたは100ニトRec709ブルーレイ・ディスク・バージョンを指しうる。図１の方法は、シーンごとであってもよい。

【0026】

いくつかの実施形態では、グレーディングされたSDR（１２５）における各シーンについて、グレーディングされていないオリジナル素材（１０５）における対応するシーンは既知である。

【0027】

段階１１０では、グレーディングされたSDR（１２５）と空間的および時間的に整列されている整列されたコンテンツの、グレーディングされていないオリジナル・バージョンを得るために、自動的な空間的および時間的整列が、生の画像（１０５）に適用されることができる。

【0028】

換言すれば、整列されたオリジナル画像およびグレーディングされたSDR画像がピクセルごとにマッチされるよう、時間的なカット位置ならびにパンおよびスキャン・ボックスが見出されることができる。

【0029】

手動トリム・パス（１１５）が、この空間的および時間的整列段階のために設けられることができる。段階１１５は、複数の目的に資することができる。たとえば、ディレクターはVDRシーンを、空間的および時間的にSDRシーンとは異なる仕方でカットすることを望むことがあり、段階１１５はその目的のために必要な柔軟性を提供できる。もう一つの例では、手動トリム・パス（１１５）は、自動整列（１１０）において生起したいかなる誤差も自動再マスタリング段階（１２０）にはいる前に補正できるよう、品質管理段階を提供することができる。

【0030】

段階１１５ののち、空間的および時間的コンテンツは、自動再マスタリング段階１２０により、グレーディングされたSDRバージョンにおけるのと同じグレーディング意図をもって、VDR範囲にカラー・グレーディングされる。ディレクターの承認を得るために、手動トリム・パス（１３０）がここで必要になることがある。自動再マスタリング（１２０）結果は、ディレクターの意図に合うために微調整される必要があることがあるからである。

【0031】

上記のプロセスはシーン・ベースであってもよく、シーンは一つのフレームまたはいくつかのフレームを含んでいてもよい。空間的／時間的整列（１１０）および自動再マスタリング（１２０）の各段階において、一つのシーン内のフレームの間で差がある場合には、図１の方法はフレーム・ベースに頼ってもよい。

【0032】

〈自動的な空間的および時間的整列〉
段階１１０の例示的実施形態は以下のようにより詳細に記述されうる。

【0033】

いくつかの実施形態では、グレーディングされたSDRにおけるシーンを与えられて、まず時間的な整列が実行されうる。フレーム・レートにおける変化がない場合は、本方法は、グレーディングされたSDRコンテンツにおけるフレームに対応する、グレーディングされていないオリジナルにおける一つのフレームを見出すことを含んでいてもよい。フレーム・レートが異なる場合には、二つ以上の対応するフレームを見出すことが有利であることがある。それから、グレーディングされていないオリジナルとグレーディングされたSDRコンテンツとの間のフレーム・レート比を決定することが可能でありうる。

【0034】

より堅牢な結果を得るために、フレーム・レートの変化がある場合およびフレーム・レートの変化がない場合の両方の場合において、グレーディングされたSDRシーン内にいくつかの候補フレームを選び、グレーディングされていないオリジナルにおける対応するフレームを見出すことが有利であることがある。シーン内に静的なフレームがあるかどうかを判定し、繰り返しのフレームを除去して候補フレームについて一対一のマッピングが見出せるようにするために、動き解析が必要とされることがある。

【0035】

時間的整列については、メタデータに基づく諸方法が、整列されるべき二つのフレーム・シーケンスの間に有意な量の空間的および色変化が存在しない減少した相対的複雑さをもつある種の場合に対処することができることがありうる。

【0036】

グレーディングされていないオリジナルおよびグレーディングされたSDRフレームの間に実質的な空間的（たとえばクロッピングに起因）および色の相違（たとえばグレーディングに起因）があるような増大した複雑さがある場合には、空間的および色変換に対して不変な特徴に基づいて、より堅牢な方法が適用される必要があることがある。

【0037】

具体的には、本開示のいくつかの実施形態では、グレーディングされたSDR画像における選ばれた候補フレームのそれぞれから不変な特徴点が抽出されてもよい。同じ方法を使って、グレーディングされていないオリジナルの繰り返しでないフレームのそれぞれからも特徴点が抽出されることができる。画像内の不変な特徴点を検出することは、コンピュータ視覚における一般的なタスクである。諸検出方法の比較はたとえば、ここに参照によってその全体において組み込まれる非特許文献１に記載されている。

【0038】

当業者は理解するであろうように、特徴点検出のための多くの異なる方法が使用できる。局所的な特徴点を検出したのち、スケール不変特徴変換（SIFT: scale invariant feature transform）、勾配位置および配向ヒストグラム（GLOH: gradient location and orientation histogram）および高速化堅牢特徴（SURF: speeded up robust features）などを使うことを含め、多くの異なる記述子が局所的領域を特徴付ける、たとえばその弁別的なシグネチャーを抽出するために用いられてもよい。SIFTはたとえば、ここに参照によってその全体において組み込まれる非特許文献２に記載されている。GLOHはたとえば、ここに参照によってその全体において組み込まれる非特許文献３に記載されている。SURFはたとえば、ここに参照によってその全体において組み込まれる非特許文献４に記載されている。

【0039】

二つの異なる画像から記述子の二つの集合が得られる場合、記述子の類似性に基づいてマッチが計算できる。このように、グレーディングされたSDRにおける選ばれたフレームのそれぞれについて、グレーディングされていないオリジナルにおける最良マッチのフレームを見出すことが可能でありうる。このプロセスは逆の方向においてなされることができる。すなわち、グレーディングされていないオリジナルにおける候補フレームを選び、その最良マッチをグレーディングされたSDRにおいて見出すのである。

【0040】

最良の一対一マッチを見出したのち、時間的シフトについての推定がなされることができる。たとえば、たとえばここに参照によってその全体において組み込まれる非特許文献５に記載されているランダム・サンプル・コンセンサス（RANSAC: random sample consensus）が、グレーディングされていないオリジナルとグレーディングされたSDRとの間のフレーム・レート比と一緒に、時間的シフトを推定するために使用されることができる。RANSACは、ある割合の真のマッチがあり、誤りマッチがランダムである限り、堅牢な結果を提供できる。

【0041】

いくつかの実施形態では、RANSACを使って時間的シフトおよびフレーム比を推定する方法は、以下の段階を含む：
二対の対応するフレーム、S1、S2およびU1、U2をランダムに拾う段階であって、グレーディングされたSDRにおけるフレームS1、S2はグレーディングされていないオリジナルにおけるフレームU1およびU2にそれぞれマッチされる、段階。(U1−U2)*(S1−S2)≦0であれば、段階ｉを繰り返す；
時間的シフトおよびフレーム比を推定する段階であって、時間的シフトはS1−U1に等しく、フレーム比は(U2−U1)/(S2−S1)に等しい、段階；
すべての対応するフレーム番号対について、それらのフレーム番号のうちのいくつが段階ｉｉで計算されたモデルおよびその対応するシフトおよび比との一致をもつかを検査する段階と；
上記の諸段階がある回数繰り返されている場合には、該プロセスを終了してS1の最良のシフト、比およびアンカー位置を出力し、そうでない場合には段階ｉから繰り返す、段階。

【0042】

グレーディングされていないオリジナルおよびグレーディングされたSDRが時間的に整列された後、空間的整列が起こりうる。空間的整列は、マッチするフレームの抽出された特徴点をマッチさせ、二つのフレームの間の空間的変換を推定することによって実行されてもよい。オリジナル画像からグレーディングされたSDR画像への分解能の変化および多くの場合にはパンおよびスキャンがあることがあるので、この段階は必要になることがある。たとえば、オリジナルは4K解像度をもつことがあり、一方、グレーディングされたSDRは1080pであることがある。

【0043】

当業者によって理解されるように、空間的変換がシーン内で時間不変であれば、シーン全体のマッチする特徴点の座標からパラメトリックな空間的変換モデルを得るために、RANSAC方法が上記で適用されるのと同様に、他の方法が適用されてもよい。いくつかの実施形態では、グレーディングされていないオリジナルとグレーディングされたSDR画像の間で六パラメータのアフィン変換が推定されることができる。

【0044】

図２は、空間的整列のある実施形態の概観を示す。オリジナル・コンテンツ（２１０）およびグレーディングされたSDRコンテンツ（２０５）は特徴検出段階（２１５）を経る。特徴記述子が抽出されることができ（２２０）、その後、マッチされる（２２５）。最適な空間的変換を見出す（２３５）ために、変換推定が、たとえばRANSACを使って実行される（２３０）。

【0045】

いくつかの場合には、パンおよびスキャン（pan-and-scan）・プロセスはシーン内で時間変化することがある。その場合、空間的変換はフレームごとに推定されることができ、推定されたフレームごとの空間的変換から、パンおよびスキャンの時間変化もモデル化されてもよい。

【0046】

コンテンツが時間的にも空間的にも整列されたのちには、グレーディングされたSDRに対して色差をもつだけの整列されたコンテンツを得ることができる。該整列されたコンテンツは、次いで、自動再マスタリングを助けることができる。それにより、グレーディングされたSDRにおける色がグレーディングされていないオリジナルのカラー・グレーディングを案内するために使用されることができる。

【0047】

自動整列が実行された後で整列のための手動トリム・パスが必要であることがある。手動トリム・パスは、自動整列における任意の可能な誤りを訂正でき、VDR画像についての種々の編集決定をも許容できる。それにより、VDRグレード画像は空間的および時間的にSDRバージョンと異なることができる。この場合、自動的なVDR再マスタリングは、やはり、色変換を推定するのを助けるために整列されたコンテンツを使い、推定された変換をオリジナルの、編集されたVDRバージョンに適用して、VDRマスターを得ることができる。

【0048】

〈自動再マスタリング〉
自動再マスタリング（たとえば１２０）の根底にある概念の一つは、すべての生情報がグレーディングされていないオリジナルにおいて利用可能であってもよく、グレーディングされたSDRは、目標ディスプレイがSDRディスプレイであるときに、色補正がどのように実行されるかの方法を提供することができるということである。SDRおよびVDRディスプレイは異なるダイナミックレンジおよび色域をもつことがあるが、ディレクターの意図は3D色域の範囲内の色については同じに保たれることができる。グレーディングされたSDR画像がその制限されたダイナミックレンジおよび色域のため色クリッピングをもつ場合には、失われた情報はグレーディングされていないオリジナルから復元されることができる。もう一つの可能な利点は、SDRとVDRの間で異なる編集決定があるとき、同じディレクターの意図が新たなコンテンツに適用されることができるということである。たとえば、VDR画像は、物語をよりよく語るために、異なる編集をもつまたは異なるクロッピングもしくは空間的フォーマットをもつことがある。

【0049】

いくつかの実施形態では、目標VDRマスターのダイナミックレンジおよび色域についての情報を与えられて、逆トーン・マッピングおよび色域マッピングがグレーディングされたSDRにまず適用される。マッピング段階後、グレーディングされていないオリジナルと逆マッピングされた結果との間で色変換がモデル化されることができる。ここで、クリッピングされたエリアは、クリッピングのため、推定された変換の外れ値（outlier）になる。モデル化された色変換は次いで、もとのグレーディングされていないオリジナルに適用され、再マスタリング結果を得ることができる。

【0050】

図３は、SDRコンテンツが100ニトRec709バージョンであり、出力VDRコンテンツが4000ニトP3バージョンである特定の場合についての自動再マスタリングのある実施形態の主要な段階の概観を示している。

【0051】

100ニトRec709のグレーディングされたSDR画像（３０５）が提供される。逆トーン・マッピングおよび色域マッピング（３１０）が画像（３０５）に適用され、それにより逆マッピングされた画像（３１５）を得る。

【0052】

次いで、グレーディングされていないオリジナル画像（３２０）が空間的整列（３２５）のために使用されることができる。マッピングされた画像（３１５）およびグレーディングされていない整列（３２５）からグローバル色変換推定（３３０）が得られる。VDR固有の編集（３４０）がグレーディングされていないオリジナル（３２０）に対して実行されることもできる。VDR固有の編集をされた画像は、空間的および時間的に整列されたグレーディングされていないオリジナルまたは異なるクロッピングまたは異なるカットをもつバージョンであることができる。

【0053】

色変換関数（３３５）は推定（３３０）後に得られ、色伝達（color transfer）が適用されることができる（３４５）。この例では4000ニトP3のVDRマスター・バージョン（３５０）が、図３のプロセスの出力として得られる。

【0054】

他の実施形態では、逆トーン・マッピングおよび色域マッピングは、図４においてさらに例解されることができる。

【0055】

図４の例における入力は100ニトRec709のSDR画像（４０５）であり、ガンマ2.4である。第一段階では、ガンマ・デコード（４１０）が実行されて、線形RGB画像が得られる。次いで、色空間変換がIPT空間に適用される（４１５）。いくつかの実施形態では、IPT空間における値についてPQエンコードが使用されてもよい。

【0056】

次いで逆トーン・マッピング曲線（４２５）はSDRコンテンツに適用されることができる。その後、飽和補正（４３０）が適用されることができ、色はP3ガンマ2.4をもってもとのRGB空間に変換されることができ（４３５）、それによりVDRグレーディングされた画像（４４０）が得られる。

【0057】

当業者によって理解されるように、本開示のシステムおよび方法において、グレーディングされたSDR画像から逆マッピングされた画像バージョンを得るために、任意の逆トーン・マッピングおよび色域マッピングが使用されることができる。逆マッピングは、ダイナミックレンジおよび色域のクリッピングに起因する失われた情報を復元しない。しかしながら、画像の逆マッピングされたバージョンにおける画像の見え方はグレーディングされたSDRバージョンと同様になるであろうから、逆マッピングされた画像はカラー・グレーディングのためのディレクターの意図を明確にすることができる。ディレクターの意図は、その失われた情報がまだ利用可能であるグレーディングされていないオリジナルからのグローバルなカラー・グレーディング・プロセスを案内するために使用できる。

【0058】

〈色変換の推定〉
グレーディングされていないオリジナル画像と逆マッピングされた画像との間の対応する色の集合を与えられて、RANSAC方法を使ってグローバルな色変換を推定することが可能である。RANSACを適用する前に、使用される対応する色および色変換モデルがまず決定される必要がある。ある実施形態では、対応する色の部分集合を得るために、適応サンプリング方式が適用されることができる。画像は時間的および空間的に整列されているので、シーン全体内の各ピクセル対は、対応する色の対を提供することができる。しかしながら、ピクセル対が多すぎることがあり、そのすべてを使うことは冗長であろう。よって、サンプリングが有利であることがある。同時に、強度の分布はコンテンツ依存である。すべてのルミナンス・レベルを横断して正確にグローバルな色変換をモデル化することが有利であろう。そこで、本開示のいくつかの実施形態は、結果として得られるサンプルが強度のほぼ一様な分布をもつよう対応する色をサンプリングするよう、適応サンプリング方式を適用することができる。こうして、推定された曲線は、オリジナル分布が低い領域において、たとえば強度範囲の上端および下端において、よりよい性能をもつことになる。

【0059】

対応する色のサンプリングされた諸対が得られた後、グローバル変換モデルが決定される必要がある。選ばれたモデルは最適な仕方でデータを当てはめするのに好適でありうる。ある実施形態では、三つの異なる色成分において色変換をモデル化するために、三つの一次元曲線が用いられる。この実施形態では、三本の曲線のそれぞれは、三つの色成分の一つを当てはめするために用いられる。それぞれの一次元関数はパラメトリックであることができる。たとえば、当業者によって理解されるように、多項式、区分多項式または他の関数が使用されてもよい。ルックアップテーブルに基づくモデルが使われてもよい。たとえばそれぞれの一次元当てはめ関数についてのルックアップ・エントリーの間には三次補間を用いる。

【0060】

ある種の状況では、一次元関数は所望される正確さをもたないことがある。この場合、より複雑なモデルが使用されてもよい。たとえば、3×3線形行列変換および後続の三つの一次元曲線を用いてグローバル色変換がモデル化されてもよい。いくつかの実施形態では、ひとたびデータ・セットおよび変換モデルが決定されてからグローバル色変換を推定するために、RANSACが使用されてもよい。

【0061】

モデルを当てはめするためにRANSACを適用することの一つの利点は、外れ値に対するその堅牢性を含む。モデルの当てはめには外れ値がありうるので、これは有意でありうる。たとえば、制限されたダイナミックレンジおよび色域に起因するクリッピングされた色はモデルに対する外れ値でありうる。もとのグレーディングされていないオリジナル画像に推定された色変換を適用した後、これらの外れ値は再び正しくカラー・グレーディングされてもよい。

【0062】

〈二次グレーディングおよび特別扱い領域の考察〉
ある種の状況では、SDRにグレーディングされたコンテンツに適用される、局所的カラー・グレーディング、すなわち二次カラー・グレーディングがあってもよい。その場合、画像のクリッピングされたピクセルおよび局所的カラー・グレーディングの基礎となるピクセルは、上記のような本開示のいくつかの実施形態においてフィーチャーされる推定されたグローバル色変換モデル段階についての外れ値になる。

【0063】

したがって、有意な量の外れ値がある場合には、外れ値がクリッピングに起因するのか二次カラー・グレーディングに起因するのかについての判定をする必要があることがある。グレーディングされたSDRコンテンツにおける外れ値の色が、色域およびダインミックレンジの3D境界と比較されることができる。色が境界に近ければ、その外れ値がクリッピングから生じたと判定できる。そうでなければ、その外れ値は二次グレーディングから生じたことがありうる。二次グレーディングに由来するある量の外れ値がある場合、第一段階は、二次グレーディングを経ている局所的領域を同定するマスクを推定し、次いでグローバル色変換を推定するために用いられた同じ方法を使ってこれらのピクセルについての二次グレーディングを推定することであることができる。次いで、二次グレーディングのための色変換が、もとのグレーディングされていないオリジナルにおけるマスクされたピクセルに適用されることができる。次いで二次グレーディングされた領域は、一次グレーディングを受けた領域にブレンドされることができる。

【0064】

ある種の状況では、SDR画像とVDR画像とで異なる仕方でグレーディングされているいくつかの領域があることがある。目標ダイナミックレンジが異なるとき、これらの領域は異なる仕方でグレーディングされる。たとえば、いくつかの光源のようなハイライトされた領域は、VDR画像ではより大きなダイナミックレンジを占めることができる一方、SDR画像では、上端において小さなダイナミックレンジにつぶされることができる。この例については、まずこれらの領域を同定し、次いでこれらの領域に対して特別な扱いを適用することが可能でありうる。その間、他の領域は、本開示において上記したような同じ「標準的な」プロセスを経る。特別扱い領域は、処理後に加え戻されることができる。

【0065】

図５は、特別な領域の扱いの例を示している。

【0066】

特別扱い領域は、グレードSDR画像（５０５）またはグレーディングされていないオリジナル（５１０）から除去されることができる（５１５、５２５）。SDR画像（５０５）の場合、グレーディングされていないオリジナル画像（５１０）と逆マッピングされたSDR画像との間の差を最小にするグローバル色変換を推定（５５０）するために、除去（５２５）後に残るデータ（５４０）が、除去（５１５）後に残るデータ（５３５）と一緒に用いられる。

【0067】

次いで、グレーディングされていないオリジナル画像（５１０）と逆マッピングされたSDR画像との間の大きな差をもつ大きな誤差のあるエリア上で、局所的色変換について推定がなされることができる（５５５）。特別領域（５３０）は特別な扱い（５４５）を受け、それにより、処理された特別扱い領域（５６０）を得る。次いで、領域（５６０）は段階５５５において、変換されたコンテンツと組み合わされて（５６５）、最終的な出力（５７０）を得る。

【0068】

本開示において記述される方法のいくつかの実施形態は整列段階を含むものの、そのような方法はそのような整列なしで実行されてもよい。その場合、カラー・グレーディングは、推定された色変換に基づいて、グレーディングされていない生の画像に適用される。

【0069】

図６は、図１〜図５の実施形態を実装するための目標ハードウェア（１０）（たとえばコンピュータ・システム）の例示的実施形態である。この目標ハードウェアは、プロセッサ（１５）と、メモリ・バンク（２０）と、ローカル・インターフェース・バス（３５）と、一つまたは複数の入出力装置（４０）とを有する。プロセッサは、図１〜図５の実装に関係した、オペレーティング・システム（２５）によって提供される一つまたは複数の命令を、メモリ（２０）に記憶された何らかの実行可能プログラムに基づいて実行してもよい。これらの命令は、ローカル・インターフェース（３５）を介して、ローカル・インターフェースおよびプロセッサ（１５）に固有な何らかのデータ・インターフェース・プロトコルによって指示されるように、プロセッサ（２０）に搬送される。ローカル・インターフェース（３５）は、一般にアドレス、制御および／またはプロセッサ・ベースのシステムの複数の要素の間のデータ接続を提供することに向けられる、コントローラ、バッファ（キャッシュ）、ドライバ、リピーターおよび受信器のようないくつかの要素の象徴的表現であることを注意しておくべきである。いくつかの実施形態では、プロセッサ（１５）は、いくらかの実行速度上乗せのために、実行されるべき命令の一部を記憶することのできる何らかのローカル・メモリ（キャッシュ）を備えていてもよい。プロセッサによる命令の実行は、ハードディスク上に記憶されたファイルからのデータの入力、キーボードからのコマンドの入力、ディスプレイへのデータの出力またはUSBフラッシュ・ドライブへのデータの出力のような何らかの入出力装置（４０）の使用を必要とすることがある。いくつかの実施形態では、オペレーティング・システム（２５）は、プログラムの実行のために必要とされるさまざまなデータおよび命令を集め、マイクロプロセッサに提供する中心要素であることによって、これらのタスクを容易にする。いくつかの実施形態では、オペレーティング・システムは存在しなくてもよく、すべてのタスクはプロセッサ（１５）の直接制御のもとにある。ただし、目標ハードウェア装置（１０）の基本的アーキテクチャは図６に描いたのと同じままであろう。いくつかの実施形態では、実行速度上乗せのために複数のプロセッサが並列構成において使われてもよい。そのような場合、実行可能プログラムは、並列実行に合わせて特に仕立てられてもよい。また、いくつかの実施形態では、プロセッサ（１５）が図１〜図５の実装の一部を実行してもよく、他の何らかの部分がローカル・インターフェース（３５）を介して目標ハードウェア（１０）によってアクセス可能な入出力位置に置かれた専用のハードウェア／ファームウェアを使って実装されてもよい。目標ハードウェア（１０）は、複数の実行可能プログラム（３０）を含んでいてもよい。ここで、各実行可能プログラムは、独立して、あるいは互いとの組み合わせにおいて実行されてもよい。

【0070】

本開示に記載された方法およびシステムは、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記述された特徴は、一緒に（たとえば集積論理デバイスのような論理デバイスにおいて）または別個に（たとえば別個の接続された論理デバイスとして）実装されてもよい。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記述される方法を実行する命令を含むコンピュータ可読媒体を含んでいてもよい。コンピュータ可読媒体は、たとえば、ランダム・アクセス・メモリ（RAM）および／または読み出し専用メモリ（ROM）を有していてもよい。命令はプロセッサ（デジタル信号プロセッサ（DSP: digital signal processor）、特定用途向け集積回路（ASIC: application specific integrated circuit）またはフィールド・プログラム可能な論理アレイ（FPGA: field programmable logic array））によって実行されてもよい。

【0071】

本開示のいくつかの実施形態について述べてきたが、本開示の精神および範囲から外れることなくさまざまな修正がなされうることは理解されるであろう。よって、他の実施形態は以下の請求項の範囲内である。

【0072】

上記の例は、本開示の実施形態をいかにして作成し、利用するかの完全な開示および記述を当業者に与えるために提供されており、発明者がその開示と見なすものの範囲を限定することを意図したものではない。

【0073】

本稿で開示される方法およびシステムを実行するための上記の態様の修正であって当業者に自明なものは、付属の請求項の範囲内であると意図される。本明細書において言及されたあらゆる特許および刊行物は、本開示が属する技術分野の当業者のレベルを示すものである。本開示において引用されているあらゆる文献は、各文献が個々に参照によってその全体において組み込まれたのと同じ程度まで参照によって組み込まれる。

【0074】

本開示が特定の方法またはシステムに限定されないことは理解しておくべきである。具体的な方法やシステムが変わりうることはもちろんである。また、本稿で使われる用語は単に個別的な実施形態を説明するためのものであり、限定することは意図していないことも理解しておくべきである。本明細書および付属の請求項での用法では、単数形の表現は、内容が明確にそうでないことを指定するのでない限り、複数の参照物をも含む。用語「複数」は、内容が明確にそうでないことを指定するのでない限り、二つ以上の参照物を含む。特段の定義がされていない限り、本稿で使われるすべての科学技術用語は当業者によって普通に理解されるのと同じ意味をもつ。

【要約】

カラー・グレーディングのための新規な方法およびシステムが開示される。視覚的ダイナミックレンジ画像についてのカラー・グレーディング・プロセスが、標準ダイナミックレンジ画像のような他の画像のカラー・グレーディングに関する情報によって案内されることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】