知財求人 - 知財ポータルサイト「IP Force」
▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
特許7592932オブジェクト分離を用いた逐次反復的なグラフ・ベースの画像向上
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-11-22
(45)【発行日】2024-12-02
(54)【発明の名称】オブジェクト分離を用いた逐次反復的なグラフ・ベースの画像向上
(51)【国際特許分類】
G06T 5/94 20240101AFI20241125BHJP
【ＦＩ】
G06T5/94
【請求項の数】
13
(21)【出願番号】P 2024532691
(86)(22)【出願日】2022-12-02
(86)【国際出願番号】 US2022051664
(87)【国際公開番号】W WO2023102189
(87)【国際公開日】2023-06-08
【審査請求日】2024-07-24
(31)【優先権主張番号】21212271.7
(32)【優先日】2021-12-03
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】63/285,570
(32)【優先日】2021-12-03
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】ラズリ，ザカリー マクブライド
(72)【発明者】
【氏名】カドゥ，ハルシャッド
(72)【発明者】
【氏名】スゥ，グワン－ミーン
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０００－１２３１６４（ＪＰ，Ａ）
【文献】特表２０１４－５２０４４６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ５／００－ ５／９４
(57)【特許請求の範囲】
【請求項1】
画像フレームの逐次反復的なグラフ・ベースの画像向上のためのビデオ送達システムであって、当該ビデオ送達システムは：前記画像フレームの処理を実行するためのプロセッサを有しており、前記プロセッサは：
前記画像フレーム内の複数のオブジェクトについて、それぞれのオブジェクトを構成するピクセルの位置を受領することと；
前記複数のオブジェクトに対応する受領された位置をセグメンテーション・マップに格納することと；
前記セグメンテーション・マップを使用することによって前記画像フレームから個々のオブジェクトを抽出して、前記複数のオブジェクトを特徴付けるグラフを生成することであって、前記グラフは、どのオブジェクトを先に訪問すべきか、および前記画像フレームの内部の各オブジェクトをどのように処理するべきかに関する構造情報を提供する、ことと；
前記画像に対してオブジェクト間点群分離操作を実行することであって、前記オブジェクト間点群分離は、オブジェクトが最終画像において互いからより際立つように、オブジェクトについてのルミナンス‐彩度点群を互いに分離する、ことと；
特定のオブジェクト内のピクセルの広がりを増加させることによって前記オブジェクトの前記複数のピクセルを拡大し、それにより、オブジェクト内ピクセル値が際立ち、より大きいルミナンス‐彩度範囲をカバーするようにすることと；
前記オブジェクトの前記複数のピクセルに対して空間的向上操作を実行することと；
前記オブジェクト間点群分離操作、前記複数のピクセルの前記拡大、および前記空間的向上操作に基づいて出力画像を生成することであって、前記画像に対して前記オブジェクト間点群分離操作を実行するステップ、前記オブジェクトの前記複数のピクセルを拡大するステップ、および前記オブジェクトの前記複数のピクセルに対して前記空間的向上操作を実行するステップは、前記フレームの品質が品質閾値を満たすまで逐次反復される、ことと
を実行するように構成されている、
ビデオ送達システム。
【請求項2】
前記画像に対して前記オブジェクト間点群分離操作を実行するとき、前記プロセッサは：前記オブジェクトの平均ルミナンスを計算し；
一つまたは複数の以前の反復工程から前記オブジェクトの祖先の平均ルミナンスを計算し；
前記オブジェクトの平均ルミナンスおよび前記オブジェクトの祖先の平均ルミナンスに基づいて、前記オブジェクトにシグモイド曲線を適用して、前記オブジェクトのルミナンス・シフトを得る
ように構成されている、請求項１に記載のビデオ送達システム。
【請求項3】
前記オブジェクトの前記複数のピクセルを拡大するとき、前記プロセッサは：前記オブジェクトの平均ルミナンスを決定し；
前記オブジェクトの現在の彩度を決定し；
前記オブジェクトのルミナンス配列を更新し；
更新されたルミナンス配列に基づいて前記オブジェクトの彩度配列を更新するように構成されている、
請求項１に記載のビデオ送達システム。
【請求項4】
前記オブジェクトの前記複数のピクセルに対して前記空間的向上操作を実行するとき、前記プロセッサは：前記オブジェクトのルミナンス正方形をセグメンテーションし；
形状適応的離散コサイン変換SA-DCT係数を計算し；
前記SA-DCT係数に重み付け関数を適用するように構成されている、
請求項１に記載のビデオ送達システム。
【請求項5】
前記オブジェクトの前記複数のピクセルに対して前記空間的向上操作をさらに実行するとき、前記プロセッサは：逆SA-DCT係数を計算し；
前記SA-DCTに基づいて前記オブジェクトの前記セグメンテーションされたルミナンス正方形を更新するように構成されている、
請求項４に記載のビデオ送達システム。
【請求項6】
前記プロセッサは：前記画像フレームにグローバル画質メトリックGIQMを適用し；
前記GIQMの出力に基づいて前記フレームの品質を決定するようにさらに構成されている、
請求項１に記載のビデオ送達システム。
【請求項7】
画像フレームの画像向上のための逐次反復的な方法であって、当該方法は：前記画像フレーム内の複数のオブジェクトについて、それぞれのオブジェクトを構成するピクセルの位置を受領することと；
前記複数のオブジェクトに対応する受領された位置をセグメンテーション・マップに格納することと；
前記セグメンテーション・マップを使用することによって前記画像フレームから個々のオブジェクトを抽出して、前記複数のオブジェクトを特徴付けるグラフを生成することであって、前記グラフは、どのオブジェクトを先に訪問すべきか、および前記画像フレームの内部の各オブジェクトをどのように処理するべきかに関する構造情報を提供する、ことと；
前記画像に対してオブジェクト間点群分離操作を実行することであって、前記オブジェクト間点群分離は、オブジェクトが最終画像において互いからより際立つように、オブジェクトについてのルミナンス‐彩度点群を互いに分離する、ことと；
特定のオブジェクト内のピクセルの広がりを増加させることによって前記オブジェクトの前記複数のピクセルを拡大し、それにより、オブジェクト内ピクセル値が際立ち、より大きいルミナンス‐彩度範囲をカバーするようにすることと；
前記オブジェクトの前記複数のピクセルに対して空間的向上操作を実行することと；
前記オブジェクト間点群分離操作、前記複数のピクセルの前記拡大、および前記空間的向上操作に基づいて出力画像を生成することであって、前記画像に対して前記オブジェクト間点群分離操作を実行するステップ、前記オブジェクトの前記複数のピクセルを拡大するステップ、および前記オブジェクトの前記複数のピクセルに対して前記空間的向上操作を実行するステップは、前記フレームの品質が品質閾値を満たすまで逐次反復される、こととを含む、
方法。
【請求項8】
前記画像フレームに対して前記オブジェクト間点群分離操作を実行することは：前記オブジェクトの平均ルミナンスを計算し；
一つまたは複数の以前の反復工程から前記オブジェクトの祖先の平均ルミナンスを計算し；
前記オブジェクトの平均ルミナンスおよび前記オブジェクトの祖先の平均ルミナンスに基づいて、前記オブジェクトにシグモイド曲線を適用して、前記オブジェクトのルミナンス・シフトを得ることを含む、
請求項７に記載の方法。
【請求項9】
前記画像フレームに対して前記オブジェクト間点群分離操作を実行することはさらに：前記オブジェクトの彩度配列を受領し；
前記オブジェクトの前記ルミナンス・シフトに基づいて前記オブジェクトの前記彩度配列を更新することを含む、
請求項８に記載の方法。
【請求項10】
前記オブジェクトの前記複数のピクセルを拡大することは：前記オブジェクトの平均ルミナンスを決定し；
前記オブジェクトの現在の彩度を決定し；
前記オブジェクトのルミナンス配列を更新し；
更新されたルミナンス配列に基づいて前記オブジェクトの彩度配列を更新することを含む、
請求項７に記載の方法。
【請求項11】
前記オブジェクトの前記複数のピクセルに対して前記空間的向上操作を実行することは：前記オブジェクトのルミナンス正方形をセグメンテーションし；
形状適応的離散コサイン変換SA-DCT係数を計算し；
前記SA-DCT係数に重み付け関数を適用することを含む、
請求項７に記載の方法。
【請求項12】
前記画像フレームにグローバル画質メトリックGIQMを適用し；前記GIQMの出力に基づいて前記フレームの品質を決定することをさらに含む、
請求項７に記載の方法。
【請求項13】
電子プロセッサによって実行されると、前記電子プロセッサに、請求項７に記載の方法を含む動作を実行させる命令を記憶している非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
1. 関連出願への相互参照
本願は、米国特許出願第63/285,570号および欧州特許出願第21212271.7号（両方とも2021年12月03日に出願された）からの優先権の利益を主張し、これらのそれぞれは、その全体が参照により援用される。
本願は、米国特許出願第63/285,570号および欧州特許出願第21212271.7号（両方とも2021年12月03日に出願された）からの優先権の利益を主張し、これらのそれぞれは、その全体が参照により援用される。
【0002】
2. 開示の分野
本願は、一般に、グラフ・ベースのオブジェクト間およびオブジェクト内分離を使用して画像を向上させるシステムおよび方法に関する。
本願は、一般に、グラフ・ベースのオブジェクト間およびオブジェクト内分離を使用して画像を向上させるシステムおよび方法に関する。
【背景技術】
【0003】
3. 背景
非特許文献１は、画像構造を向上させるためのオブジェクト・ベースのマルチレベル・コントラスト伸張方法を開示している。画像向上の目的は、画像に含まれる情報の知覚可能性を改善することである。人間の視覚系は画像構造を抽出する傾向があるので、構造的特徴を向上させることにより、知覚される画質を改善することができる。この方法は、まず、形態学的分水嶺および領域併合を使用して、画像を、画像構造成分として扱われるその構成オブジェクトにセグメンテーションし、次いで、異なる仕方でオブジェクト間レベルおよびオブジェクト内レベルで画像コントラストを別々に伸張する。オブジェクト間レベルでは、隣接する極値間を伸張する手法を用いて、オブジェクト間のグレーレベルの局所的ダイナミックレンジを十分に拡大する。オブジェクト内レベルでは、均一な線形伸張を使用して、オブジェクトのテクスチャー特徴を、その均一性を維持しながら向上させる。この方法は、オブジェクトに対して直接的に作用するので、構造的な外観においてリンギング、ブロッキングまたは他の偽輪郭アーチファクトを導入することを回避することができ、さらに、ノイズを過度に強調することを効果的に抑制し、画像の全体的な輝度を大まかに保存することができる。実験結果は、この方法が、いくつかの古典的な方法と比較して、より自然な見え方をもつ向上された画像を生成することができることを示している。
非特許文献１は、画像構造を向上させるためのオブジェクト・ベースのマルチレベル・コントラスト伸張方法を開示している。画像向上の目的は、画像に含まれる情報の知覚可能性を改善することである。人間の視覚系は画像構造を抽出する傾向があるので、構造的特徴を向上させることにより、知覚される画質を改善することができる。この方法は、まず、形態学的分水嶺および領域併合を使用して、画像を、画像構造成分として扱われるその構成オブジェクトにセグメンテーションし、次いで、異なる仕方でオブジェクト間レベルおよびオブジェクト内レベルで画像コントラストを別々に伸張する。オブジェクト間レベルでは、隣接する極値間を伸張する手法を用いて、オブジェクト間のグレーレベルの局所的ダイナミックレンジを十分に拡大する。オブジェクト内レベルでは、均一な線形伸張を使用して、オブジェクトのテクスチャー特徴を、その均一性を維持しながら向上させる。この方法は、オブジェクトに対して直接的に作用するので、構造的な外観においてリンギング、ブロッキングまたは他の偽輪郭アーチファクトを導入することを回避することができ、さらに、ノイズを過度に強調することを効果的に抑制し、画像の全体的な輝度を大まかに保存することができる。実験結果は、この方法が、いくつかの古典的な方法と比較して、より自然な見え方をもつ向上された画像を生成することができることを示している。
【文献】Beilei Xu et al.、"Object-based multilevel contrast stretching method for image enhancement"、IEEE Transactions on Consumer Electronics, IEEE Service Center, New York, USA, vol. 56, no. 3, 1 August 2010, p.1746-1754, XP011320092
【0004】
特許文献１は、特に比較的小さくてもよい画像セグメントを生成するセグメンターを有する画像の色向上を実行する装置を開示している。解析器が、第1のセグメントについて近傍セグメントを識別し、色向上器が、第1のセグメントに色向上アルゴリズムを適用する。調整器が、色空間における、結果として生じる色点のグループと、色空間における色点の近傍グループとの相対的な幾何学的特性に応じて、第1のセグメントについての色向上アルゴリズムの特性を調整するように構成される。結果として得られる色点のグループは、第1のセグメントの少なくともいくつかの色向上されたピクセルについての色点を含む。色点の近傍グループは、前記少なくとも1つの近傍セグメントの少なくともいくつかのピクセルの色点を含む。セグメント間の色特性を考慮したセグメンテーション・ベースの色向上は、改善された画質を提供することができる。
【文献】国際公開第2011/141853A1号
【0005】
本明細書で使用されるところでは、「ダイナミックレンジ」（DR）という用語は、たとえば、最も暗いグレー（黒）から最も明るい白（ハイライト）までの、画像中の強度（たとえば、ルミナンス、ルーマ）の範囲を知覚する人間視覚系（HVS）の能力に関しうる。この意味で、DRは「シーン基準の（scene-referred）」強度に関連する。DRは、特定の幅の強度範囲を十分にまたは近似的にレンダリングするディスプレイ装置の能力にも関連しうる。この意味で、DRは「ディスプレイ基準の（display-referred）」強度に関連する。特定の意味が、本明細書の記述における任意の時点で格別な重要性を有すると明示的に指定されない限り、この用語は、いずれの意味でも、たとえば交換可能に使用されうると推定されるべきである。
【0006】
本明細書で使用されるところでは、高ダイナミックレンジ（HDR）という用語は、人間の視覚系（HVS）の約14～15桁に及ぶDR幅に関する。実際上は、人間が強度範囲の広い幅を同時に知覚しうるDRは、HDRに対していくらか切り詰められうる。本明細書で使用されるところでは、拡張ダイナミックレンジ（EDR）または視覚的ダイナミックレンジ（VDR）という用語は、個々にまたは交換可能に、シーンまたは画像にわたるいくらかの光順応変化も斟酌した、眼球運動を含む人間視覚系（HVS）によってシーンまたは画像内で知覚可能なDRに関係しうる。
【0007】
実際上は、画像は、一つまたは複数の色成分（たとえば、ルーマYならびにクロマCbおよびCr）を含み、各色成分は、ピクセル当たりnビット（たとえば、n＝8）の精度によって表される。線形ルミナンス符号化を使用すると、n＜8の画像は、標準ダイナミックレンジの画像と見なされ、n＞8の画像（たとえば、カラー24ビットJPEG画像）は、拡張ダイナミックレンジの画像と見なされうる。EDRおよびHDR画像はまた、Industrial Light and Magicによって開発されたOpenEXRファイル・フォーマットなどの高精度（たとえば16ビット）浮動小数点フォーマットを使用して記憶および配信されうる。
【0008】
本明細書で使用されるところでは、「メタデータ」という用語は、符号化ビットストリームの一部として送信され、デコーダが復号画像をレンダリングするのを支援する任意の補助情報に関する。そのようなメタデータは、本明細書で説明されるような、色空間または色域情報、参照ディスプレイ・パラメータ、および補助信号パラメータを含みうるが、それらに限定されない。
【0009】
ほとんどの消費者向けデスクトップ・ディスプレイは、現在、200～300cd/m2またはニトのルミナンスをサポートしている。ほとんどの消費者向けHDTVは、300～500ニトの範囲であり、新しいモデルは1000ニト（cd/m2）に達する。よって、そのような従来のディスプレイは、HDRまたはEDRとの関係で、標準ダイナミックレンジ（SDR）とも呼ばれる低ダイナミックレンジ（LDR）の典型である。捕捉機器（たとえば、カメラ）およびHDRディスプレイ（たとえば、Dolby LaboratoriesからのPRM-4200業務用参照モニター）の両方の進歩によりHDRコンテンツの利用可能性が高まるにつれて、HDRコンテンツは、より高いダイナミックレンジ（たとえば、1000ニトから5000ニトまたはそれ以上）をサポートするHDRディスプレイ上で、カラーグレーディングされ、表示されることがありうる。
【0010】
デジタル画像向上の初期の方法は、ヒストグラム等化を用いたグローバル・コントラスト調整、カラー・バランス調整技法による色補正、またはそれらの組み合わせを用いて画像全体を向上させていた。高度な画像向上技法は、局所的なコントラスト向上、局所的なトーンマッピング、画像鮮鋭化、およびバイラテラル・フィルタリング等を用いて、画像を局所的に向上させるために、ピクセルの周囲の情報を使用する。さらに、画像セグメンテーションの諸方法が、画像内のオブジェクトの精密な識別を提供してきた。
【発明の概要】
【課題を解決するための手段】
【0011】
本発明は、独立請求項によって定義される。従属請求項は、本発明のいくつかの実施形態の任意的な特徴に関する。本明細書で提供される実施形態は、画像の視覚的アピールを改善するためにセグメンテーション情報を利用する。たとえば、セグメンテーション情報は、（i）オブジェクトを独立して向上させるため、および（ii）オブジェクトをその近傍における他のオブジェクトに対して向上させるために使用されうる。このオブジェクト固有の向上は、オブジェクト内およびオブジェクト間のコントラストを改善することによって画像の視覚的品質を高める。
【0012】
提案された方法は、任意の種類の画像を改善することができるが、モバイル画面上に表示されるHDR画像の主観的品質を高めることにおいて、さらなる恩恵が見出されうる。HDR画像は、伝統的な標準ダイナミックレンジ（SDR）画像よりも高いルミナンス範囲を有する。このルミナンス範囲の増加は、HDR画像が、暗いエリアをクリッピングすることなく、または明るいエリアを過飽和にすることなく、暗い領域および明るい領域における詳細を効果的に表すことを許容する。さらに、HDR画像は、SDR画像と比較して、より広い色表現を有する。モバイル画面のサイズのため、HDR画像のこれらの利点はしばしば抑えられる。本明細書に記載される実施形態は、画像内のオブジェクトの知識を利用して、モバイル画面のためのHDR画像を視覚的に向上させる。
【0013】
本開示のさまざまな側面は、グラフ・ベースのオブジェクト間およびオブジェクト内分離を使用して画像を向上させるためのデバイス、システム、および方法に関する。ある種の実施形態はHDRビデオ・データに向けられるが、ビデオ・データは、標準ダイナミックレンジ（SDR）ビデオ・データ、およびゲーム・コンテンツなどの他のユーザー生成コンテンツ（UGC）を含むこともできる。
【0014】
本開示のある例示的な側面では、画像フレームの逐次反復的なグラフ・ベースの画像向上のためのビデオ送達システムが提供される。ビデオ送達システムは、画像フレームの処理を実行するプロセッサを備える。プロセッサは、画像フレーム内のオブジェクトを受信するように構成され、オブジェクトは複数のピクセルを含む。プロセッサは、画像に対してオブジェクト間点群分離操作を実行し、オブジェクトの複数のピクセルを拡大し、オブジェクトの複数のピクセルに対して空間的向上操作を実行するように構成される。プロセッサは、オブジェクト間点群分離操作、複数のピクセルの拡大、および空間的向上操作に基づいて出力画像を生成するように構成される。
【0015】
本開示の別の例示的な側面では、画像フレームの画像向上のための逐次反復的な方法が提供される。この方法は、画像フレーム内のオブジェクトを受領することを含み、オブジェクトは複数のピクセルを含む。この方法は、画像に対してオブジェクト間点群分離操作を実行し、オブジェクトの複数のピクセルを拡大し、オブジェクトの複数のピクセルに対して空間的向上操作を実行することを含む。この方法は、オブジェクト間点群分離操作、複数のピクセルの拡大、および空間的向上操作に基づいて出力画像を生成することを含む。
【0016】
本開示の別の例示的な側面では、ビデオ送達システムのプロセッサによって実行されると、ビデオ送達システムに、画像フレーム内の複数のピクセルを含むオブジェクトを受領し、画像に対してオブジェクト間点群分離操作を実行し、オブジェクトの複数のピクセルを拡大し、オブジェクトの複数のピクセルに対して空間的向上操作を実行し、オブジェクト間点群分離操作、複数のピクセルの拡大、および空間的向上操作に基づいて出力画像を生成することを含む動作を実行させる命令を記憶している、非一時的なコンピュータ可読媒体が提供される。
【0017】
このようにして、本開示のさまざまな側面は、高ダイナミックレンジおよび高い解像度または標準的な解像度のいずれかを有する画像の表示のための備えを提供し、少なくとも画像投影、ホログラフィー、信号処理などの技術分野における改善をもたらす。
【図面の簡単な説明】
【0018】
さまざまな実施形態のこれらのおよび他のより詳細で具体的な特徴は、添付の図面を参照して、以下の説明においてより完全に開示される。
【0019】
【図1】ビデオ送達パイプラインのための例示的なプロセスを示す。
【0020】
【図2A】例示的なHDR画像を示す。
【0021】
【0022】
【図3】BFS探索における例示的なピクセル・レベルを示す。
【0023】
【図4】A～Bは、例示的な画像対グラフ構造関係を示す。
【0024】
【0025】
【図6】画像を向上させる例示的な方法を示す。
【0026】
【図7】オブジェクト向上プロセスを示す例示的なグラフを示す。
【0027】
【図8】複数のシグモイド曲線を示す例示的なグラフを示す。
【0028】
【0029】
【0030】
【図11】オブジェクト間点群分離プロセスの例示的な方法を示す。
【0031】
【図12】オブジェクト内点群拡大プロセスの前後のオブジェクトの例示的なルミナンス‐彩度グラフを示す。
【0032】
【図13】オブジェクト間点群分離プロセスおよびオブジェクト内点群拡大プロセスを受けている画像におけるオブジェクトの例示的な平均ルミナンスおよびルミナンス‐飽和グラフを示す。
【0033】
【図14】オブジェクト内点群拡大プロセスの例示的方法を示す。
【0034】
【図15A】オブジェクト内空間的向上プロセスを受けているオブジェクトの例示的なセグメンテーションされたルミナンス正方形を示す。
【図15B】オブジェクト内空間的向上プロセスを受けているオブジェクトの例示的なセグメンテーションされたルミナンス正方形を示す。
【図15C】オブジェクト内空間的向上プロセスを受けているオブジェクトの例示的なセグメンテーションされたルミナンス正方形を示す。
【図15D】オブジェクト内空間的向上プロセスを受けているオブジェクトの例示的なセグメンテーションされたルミナンス正方形を示す。
【図15E】オブジェクト内空間的向上プロセスを受けているオブジェクトの例示的なセグメンテーションされたルミナンス正方形を示す。
【0035】
【図16】オブジェクト内空間的向上プロセスの例示的な方法を示す。
【0036】
【図17】画像品質評価の例示的な方法を示す。
【0037】
【図18】逐次反復的な画像向上プロセスの例示的な方法を示す。
【0038】
【発明を実施するための形態】
【0039】
本開示およびその諸側面は、コンピュータ実装方法によって制御されるハードウェア、デバイスまたは回路、コンピュータ・プログラム・プロダクト、コンピュータ・システムおよびネットワーク、ユーザーインターフェース、ならびにアプリケーションプログラミングインターフェース；ならびにハードウェア実装方法、信号処理回路、メモリアレイ、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）などを含む、さまざまな形態で具現されうる。上記は、本開示のさまざまな側面の一般的な概念を与えることのみを意図しており、決して本開示の範囲を限定するものではない。
【0040】
以下の説明では、本開示の一つまたは複数の側面の理解を与えるために、光学デバイス構成、タイミング、動作など、多数の詳細が記載される。これらの具体的な詳細は、単なる例示であり、本出願の範囲を限定することを意図していないことが、当業者には容易に明らかになるであろう。
【0041】
さらに、本開示は、主に、さまざまな回路がデジタル投影システムにおいて使用される例に焦点を当てるが、これらは単なる例であることが理解されるであろう。開示されるシステムおよび方法は、OLEDディスプレイ、LCDディスプレイ、量子ドットディスプレイなどを有するディスプレイ・デバイスにおいて実装されうる。開示されるシステムおよび方法は、光を投影する必要がある任意のデバイス、たとえば、映画館、消費者、および他の商業用の投影システム、ヘッドアップディスプレイ、仮想現実ディスプレイ等において使用されることができることをさらに理解されたい。
【0042】
HDR信号のビデオ符号化
図1は、ビデオ捕捉からビデオ・コンテンツ表示までのさまざまな段階を示すビデオ送達パイプライン（100）の例示的なプロセスを示す。ビデオ・フレーム（102）のシーケンスが、画像生成ブロック（105）を使用して捕捉または生成される。ビデオ・フレーム（102）は、（たとえば、デジタルカメラによって）デジタル的に捕捉されてもよく、または、（たとえば、コンピュータアニメーションを使用して）コンピュータによって生成されて、ビデオ・データ（107）を提供してもよい。あるいはまた、ビデオ・フレーム（102）は、フィルムカメラによってフィルム上に捕捉されてもよい。フィルムは、デジタル・フォーマットに変換されて、ビデオデータ（107）を提供する。プロダクション・フェーズ（110）では、ビデオ・データ（107）が編集されてビデオ・プロダクション・ストリーム（112）が提供される。
図1は、ビデオ捕捉からビデオ・コンテンツ表示までのさまざまな段階を示すビデオ送達パイプライン（100）の例示的なプロセスを示す。ビデオ・フレーム（102）のシーケンスが、画像生成ブロック（105）を使用して捕捉または生成される。ビデオ・フレーム（102）は、（たとえば、デジタルカメラによって）デジタル的に捕捉されてもよく、または、（たとえば、コンピュータアニメーションを使用して）コンピュータによって生成されて、ビデオ・データ（107）を提供してもよい。あるいはまた、ビデオ・フレーム（102）は、フィルムカメラによってフィルム上に捕捉されてもよい。フィルムは、デジタル・フォーマットに変換されて、ビデオデータ（107）を提供する。プロダクション・フェーズ（110）では、ビデオ・データ（107）が編集されてビデオ・プロダクション・ストリーム（112）が提供される。
【0043】
プロダクショ・ンストリーム（112）のビデオ・データは、次いで、ブロック（115）において、ポストプロダクション編集のためにプロセッサ（または中央処理装置（CPU）などの一つまたは複数のプロセッサ）に提供される。ブロック（115）のポストプロダクション編集は、ビデオ作成者の創作意図に従って、画像の特定のエリアにおける色または輝度を調整または修正して、画像品質を向上させるか、または画像についての特定の見え方を達成することを含みうる。これは、「カラータイミング」または「カラーグレーディング」と呼ばれることがある。他の編集（たとえば、シーン選択および順序付け、画像クロッピング、コンピュータ生成視覚特殊効果の追加等）が、ブロック（115）で実行されて、配布用のプロダクションの最終バージョン（117）を与えることができる。ポストプロダクション編集（115）の間、ビデオ画像は、参照ディスプレイ（125）上で閲覧される。
【0044】
ポストプロダクション（115）に続いて、最終プロダクション（117）のビデオ・データは、テレビセット、セットトップボックス、映画館などの下流のデコードおよび再生デバイスに送達するために、エンコード・ブロック（120）に送達されうる。いくつかの実施形態では、符号化ブロック（120）は、符号化ビットストリーム（122）を生成するために、ATSC、DVB、DVD、Blu-Ray、および他の送達フォーマットによって定義されるものなどのオーディオおよびビデオ・エンコーダを含みうる。本明細書に記載された方法は、ブロック（120）においてプロセッサによって実行されうる。受領機において、符号化ビットストリーム（122）は、デコード・ユニット（130）によってデコードされて、信号（117）と同一のまたはそれに近い近似を表すデコードされた信号（132）を生成する。受領機は、参照ディスプレイ（125）とは完全に異なる特性を有することがあるターゲット・ディスプレイ（140）に取り付けられていてもよい。その場合、ディスプレイ・マッピングされた信号（137）を生成することによって、デコードされた信号（132）のダイナミックレンジを、ターゲット・ディスプレイ（140）の特性にマッピングするために、ディスプレイ管理ブロック（135）が使用されうる。本明細書に記載される追加の方法は、デコード・ユニット（130）またはディスプレイ管理ブロック（135）によって実行されうる。デコード・ユニット（130）とディスプレイ管理ブロック（135）の両方は、自分自身のプロセッサを含んでいてもよく、または単一の処理ユニットに統合されてもよい。
【0045】
画像セグメンテーション・マップおよび前処理動作
画像内部の個々のオブジェクトを処理するために、特定のオブジェクトを構成するピクセルの位置が知られる。この情報はセグメンテーション・マップに格納される。画像のセグメンテーション・マップを使用して、個々のオブジェクトが画像から抽出され、画像内のオブジェクトを特徴付けるグラフを生成するために使用される。このグラフは、どのオブジェクトを最初に訪問するか、および画像内部の各オブジェクトをどのように処理するかに関する構造的情報を逐次反復プロセスに提供する。
画像内部の個々のオブジェクトを処理するために、特定のオブジェクトを構成するピクセルの位置が知られる。この情報はセグメンテーション・マップに格納される。画像のセグメンテーション・マップを使用して、個々のオブジェクトが画像から抽出され、画像内のオブジェクトを特徴付けるグラフを生成するために使用される。このグラフは、どのオブジェクトを最初に訪問するか、および画像内部の各オブジェクトをどのように処理するかに関する構造的情報を逐次反復プロセスに提供する。
【0046】
ローカル・レベルでは、画像内の個々のピクセルが、オブジェクトを特徴付けるために使用される。グローバル・レベルでは、画像は、画像を構成するオブジェクトによって特徴付けられる。オブジェクト・レベルで画像を処理する能力は、バランスのとれたグローバルおよびローカル画像向上を許容する。このバランスは、改善された視覚的品質のために、オブジェクトを処理して近傍のものから際立つようにし（グローバル）、一方で、これらのオブジェクトの内部をも向上させる（ローカル）ことによって達成される。
【0047】
オブジェクト・レベルで処理を実行するために、画像内の各オブジェクトにどのピクセルが属するかの知識がセグメンテーション・マップとして提供される。画像I∈RH×Wについて、画像に関連付けられた前記セグメンテーション・マップは別の画像L∈NH×Wであり、ここで、各整数ピクセル値は、それが属するオブジェクトに対応するラベルを表す。サンプル画像‐セグメンテーション・マップの対が図2のAおよびBにおいて提供される。画像（200）はもとの画像であり、セグメンテーション・マップ（250）はその対応するセグメンテーション・マップである。いくつかの実施形態では、画像（200）はもとのHDR画像である。セグメンテーション・マップ（250）は、画像（200）上にオーバーレイされたラベルを含むことができる。セグメンテーション・マップ（250）は、長方形、ポリライン、多角形、およびピクセル関心領域（ROI）を使用して、オブジェクトの境界を「切り出す」ことによって作成されうる。たとえばLは、画像内のオブジェクトの別個のカテゴリーの数を表すとする。次いで、出力セグメンテーション・マップにおけるすべてのピクセル
〔単にL(m,n)と書くこともある；他所でも同様〕は、{0,1,…,L}内の値を取る。この集合における数1ないしLは、一意的な画像カテゴリーに対応する。セグメンテーション・マップ内のいずれかのピクセルが割り当てられていない場合に、セグメンテーション・マップ・ピクセルに値0が割り当てられる。セグメンテーション・マップは、深層学習ベースの画像セグメンテーション方法などの他のツールを使用して生成されてもよい。
【数1】
【0048】
いくつかの実施形態では、生成されたセグメンテーション・マップは、オブジェクト間の境界または画像の境界に沿ったピクセルを割り当てることができない。そのような問題は、画像セグメンテーション・マップ内の各ゼロ・ピクセル（たとえば、ラベル付けされていないピクセル）の値を、それに最も近い非ゼロ・ピクセル値と同じ値で再割り当てすることによって補正されうる。いくつかの実装では、特定のゼロ値ピクセルに最も近い非ゼロ・ピクセル値を見つけるために、幅優先探索（BFS：breadth first search）が採用される。BFSは、ツリーの次のレベルに移動する前にツリーの各レベルが完全に探査されるツリー・データ構造探索アルゴリズムである。各ツリー・レベルは、その点までに構築されたツリーの前の層に直接境界を接するピクセルを表す。ツリーの「ルート」は、探査される第1のレベルであり、アルゴリズムがラベルを割り当てているラベル付けされていないピクセルによって与えられる。ツリーの第2のレベルは、ラベル付けされていないピクセルを囲む8つのピクセルから構成される。ツリーの第3のレベルは、第2のレベルを囲む16個のピクセルから構成され、以下同様である。ツリーの生成および探査は、最初のラベル付けされたピクセルに遭遇するまで実行される。アルゴリズムがラベルを割り当てることを試みているラベル付けされていないピクセルには、このラベルが与えられる。図3では、ツリーのルートは、ラベル付けされていないピクセル（300）として提供される。ラベル付けされていないピクセル（300）は、第2のレベル（302）によって囲まれる。第2のレベル（302）は、第3のレベル（304）によって取り囲まれる。
【0049】
ツリーのレベルは、待ち行列を使用して構築され、探査される。探索中にラベル付けされていないピクセルに遭遇するたびに、それを囲む8つのピクセルが時計回りの順序でチェックされる。いくつかの実装では、左上のピクセルが最初にチェックされる。このピクセルを囲む近傍ピクセルのうち、探査されていないものが待ち行列に追加される。図3において、ラベル付けされていないピクセル（300）は8つの近傍ピクセルを有し、そのすべてが待ち行列にチェックされているのではない。したがって、第2のレベル（302）のすべてのピクセルが、左上隅の左上ピクセル（303）から開始して、待ち行列に追加される。左上のピクセル（303）が処理されるために待ち行列から引き出されると、それはまず、ラベルを有するかどうかを調べるためにチェックされる。左上のピクセル（303）がラベルを有する場合、BFSプロセスは終了し、ラベル付けされていないピクセル（300）はこのラベルを割り当てられる。そうでない場合、待ち行列に追加されていない左上のピクセル（303）の近傍ピクセルのすべてが追加される。この場合、左上のピクセル（303）は8つの近傍ピクセルを有するが、3つは待ち行列にチェックされているので、左上のピクセル（303）に境界を接する第3のレベル（304）の5つのピクセルのみが待ち行列に追加される。これらのピクセルは、待ち行列の最後に追加されるので、第2のレベル（302）の残りが探査されるまで探査されない。
【0050】
1つの特定の例として、以下の擬似コードは、ラベル付けされていないピクセルをラベル付けするための例を提供する。この擬似コードでは、GetUnvisitedNeighborsは、現在のピクセルについて未訪問の近傍ピクセルのリストを返す。QueueFrontElement、QueuePop、QueueInsertは、標準的な待ち行列動作である。このプロセスは、もとのセグメンテーション・マップ内の一つ一つのラベル付けされていないピクセルについて実行される。終了すると、新しいセグメンテーション・マップ内のすべてのピクセルは、1,…,Lからのラベルを割り当てられる。このコードをループに組み込むことによって、セグメンテーション・マップ内部のすべてのピクセルが発見される。
【表1】
【0051】
階層的グラフ生成
前述のように、画像は、いくつかのオブジェクトから構成されうる。ある種のオブジェクトを向上させることは、他のそれほど重要でないオブジェクトを向上させることよりも大きな画質改善をもたらす。全体的な画質に対してより大きな影響を有するオブジェクトは、全体的な画質に対してより小さな影響を有するオブジェクトよりも重要性が高い。よって、いくつかの実装では、オブジェクトは、その重要性に基づいて順序付けられ、処理される。本明細書に記載される方法は、図4のA～Bに関して以下に記載されるグラフ構造を使用して、オブジェクト重要度のこの階層構造を捕捉する。より大きく、より重要なオブジェクトは、グラフ構造の「ルート・ノード」のより近くに位置し、先に処理され、意思決定においてより多くの自由度を許容する。より小さいオブジェクトは、ルート・ノードからさらに離れて位置し、後で処理される。これらの制約条件は、オブジェクト間の相対的なルミナンスおよび彩度レベルを維持しながらオブジェクトを向上させる。たとえば、明るいオブジェクトによって囲まれた暗いオブジェクトは、向上中にその近傍オブジェクトより明るくなるべきではない。
前述のように、画像は、いくつかのオブジェクトから構成されうる。ある種のオブジェクトを向上させることは、他のそれほど重要でないオブジェクトを向上させることよりも大きな画質改善をもたらす。全体的な画質に対してより大きな影響を有するオブジェクトは、全体的な画質に対してより小さな影響を有するオブジェクトよりも重要性が高い。よって、いくつかの実装では、オブジェクトは、その重要性に基づいて順序付けられ、処理される。本明細書に記載される方法は、図4のA～Bに関して以下に記載されるグラフ構造を使用して、オブジェクト重要度のこの階層構造を捕捉する。より大きく、より重要なオブジェクトは、グラフ構造の「ルート・ノード」のより近くに位置し、先に処理され、意思決定においてより多くの自由度を許容する。より小さいオブジェクトは、ルート・ノードからさらに離れて位置し、後で処理される。これらの制約条件は、オブジェクト間の相対的なルミナンスおよび彩度レベルを維持しながらオブジェクトを向上させる。たとえば、明るいオブジェクトによって囲まれた暗いオブジェクトは、向上中にその近傍オブジェクトより明るくなるべきではない。
【0052】
図4のAは、オブジェクトA、オブジェクトB、オブジェクトC、オブジェクトD、オブジェクトE、オブジェクトF、およびオブジェクトGなどの複数のオブジェクトからなる画像（400）を提供する。グラフ構造（420）は、ノードA、ノードB、ノードC、ノードD、ノードE、ノードF、およびノードGなどの複数のノードを含む。各ノードは、それぞれのオブジェクトを表す。たとえば、ノードAはオブジェクトAを表し、ノードBはオブジェクトBを表す、などである。各ノードはエッジによって接続される。2つのノードがグラフ構造（420）内のエッジを共有する場合、画像（400）内のそれぞれのオブジェクトは、互いに境界（またはボーダー）を共有する。グラフ構造（420）は、有向であってもよい。図4のBのグラフ構造（440）に示されるように、グラフ内のエッジの方向は、ノードの重要性を伝達する。具体的には、対(V,E)上で定義されるグラフGを考える。ここで、Vは、すべてのノードの集合であり、Eは、頂点間のすべての有向エッジの集合であり、E⊆{(u,v)|u,v∈V}。ここで、エッジのエッジ方向はuからvである。その際、ノードuに関連付けられたオブジェクトの重要性はvより大きい。オブジェクトの重要性は、ユーザー定義されうるメトリックによって決定される。本明細書に記載される方法では、オブジェクトのサイズが、重要性を決定するために使用される。しかしながら、オブジェクトの他の特性が重要性を決定するために使用されてもよい。たとえば、オブジェクトのカテゴリーが、重要性を決定するために使用されてもよい。そのような例では、背景壁のサイズにかかわらず、人間は、壁または床よりも画像においてより大きい重要性を有しうる。他の実施形態では、ノードまたはオブジェクトと近傍ノードまたはオブジェクトとの接続性もまた、重要性を決定するために使用されてもよい。たとえば、より多数の接続されたエッジを有するノードは、より少数の接続されたエッジを有するノードまたはオブジェクトよりも、より高い重要性を有しうる。いくつかの実施形態では、重要性は、記述されたオブジェクト特性の組み合わせに基づく。
【0053】
図4のA～Bの例では、オブジェクトAが画像（400）内の最大のオブジェクトである。より大きなオブジェクトが、境界を共有するより小さなオブジェクトに向かって出て行く矢印を有する。よって、矢印は、オブジェクトAからオブジェクトBおよびオブジェクトCの両方を指す。
【0054】
1つの特定の例として、以下の擬似コードは、グラフ構造（440）などのグラフ・データ構造を生成するための例を提供する。オブジェクト境界マップは、セグメンテーション・マップから生成される。境界ピクセルは、2つのオブジェクト間の境界上にある。これらの境界ピクセル位置のそれぞれを訪問すると、それらの近傍がオブジェクト・セグメンテーション・マップにおいてチェックされ、接続されたオブジェクト対を決定する。擬似コードにおける関数CheckIfDifferentFromNeighborPixelsは、オブジェクト境界マップおよびセグメンテーション・マップから、接続されたオブジェクト対を見つける。2つのエッジは、隣接性行列において、これら2つのオブジェクト間で格納される（両方向を表す）。これにより、無向隣接性行列または無向グラフが生成される。次いで、各エッジを通過し、そのエッジに接続されたどのノードがより大きいかをサイズ・メトリックに基づいてチェックすることによって、隣接性行列が有向にされる。以下の擬似コードにおけるCheckLargerMetricValueBetweenNodes関数は、より小さい、またはより重要でないノードを見つける。隣接性行列内の小さいほうのノードから大きいほうのノードに向けられたエッジは、その後除去される。結果は、有向隣接性行列または有向グラフである。いくつかの実装では、オブジェクトが境界ピクセルを共有する場合、それらのノードはエッジによって接続される。他の実装では、オブジェクト間のいくつかの境界ピクセルが、弱く接続されたオブジェクトを回避するために代わりに使用される。
【表2】
【0055】
いくつかの実装では、オブジェクトが処理される順序の意思決定プロセスは、優先待ち行列を使用して実装される。本明細書に記載される例では、そのような優先待ち行列は、オブジェクトのサイズと、オブジェクトと隣接オブジェクトとの間の関係との両方に基づく。画像内の最大のオブジェクトは、優先のために待ち行列の先頭に置かれる。ひとたび最大のオブジェクトが処理されると、関連するノードがグラフから除去される。最大のオブジェクトに関連するノードが境界を共有するノードが、次いで調べられて、それらが残っている祖先を有するかどうかが判定される。いずれかのノードが残っている祖先を有していない場合、対応するオブジェクトは、それらが境界を接する残りの未処理ノードよりも大きい。したがって、これらのノードは、今、サイズに従って位置決めされて、優先待ち行列に入れられる。このようにして、より大きなオブジェクトが先に処理される。後の反復工程において処理されるすべてのオブジェクトは、それらの祖先の向上を内部化する。
【0056】
1つの特定の例として、以下の擬似コードは、優先待ち行列を使用するための例を提供する。擬似コードでは、GetPredecessorsOfCurrentNode関数は、現在のノードの祖先または親を取得する。他方、GetSucessorsOfNode関数は、現在のノードの子または子孫を得る。AddNodeToQueue関数は、ノードを、その重要性に基づいて優先待ち行列に追加する。RemoveFirstNodeInQueue関数は、優先待ち行列内の第1のノードを取得する。
【表3】
【0057】
いくつかの実装では、オブジェクトを処理するために使用される属性は、その対応するノード内に格納される。これは、処理中に使用される多くの量を事前計算するための備えをする。そのような情報は、オブジェクトのサイズ、オブジェクトの祖先のリスト、オブジェクトを形成するピクセル強度の平均、オブジェクト・ラベル、オブジェクト・ルミナンス・ヒストグラム、およびオブジェクト彩度ヒストグラムを含む。オブジェクトの祖先のリストは、現在のノードとエッジを共有するすべてのノードのリストと、現在のノードに向かうエッジの方向とを含む。オブジェクト・ラベルは、現在のノードに対応するセグメンテーション・マップ・ラベルを含む。オブジェクト・ルミナンス・ヒストグラムは、オブジェクトのルミナンスを記述する。オブジェクト彩度ヒストグラムは、オブジェクトの彩度を記述する。
【0058】
図5A～図5Eは、優先待ち行列をたどるための例示的なプロセスを示す。図5A～図5E内に示されたノードA～Gは、図4のA～Bに示されたノードA～Gに対応する。図5A～図5EのノードA～Gは、グラフ構造（500）を形成する。グラフ構造（500）は、図4のBのグラフ構造（440）に対応しうる。優先待ち行列（520）は、処理のためのノードA～Gの優先順位を示す。優先待ち行列（520）は、そのノードについての親の数を示す、ノード・ラベルの隣の括弧も含む。優先待ち行列（520）は、親の数に従って順序付けられる。オブジェクトが処理されると、対応するノードが優先待ち行列（520）から除去される。その子すべてについての親の数は1だけデクリメントされる。次いで、優先待ち行列は、更新された親の数よって並べ替えられる。
【0059】
図5Aでは、ノードAは親を持たない。ノードAが処理され、優先待ち行列（520）から除去される。
【0060】
図5Bでは、ノードAが除去されたので、優先待ち行列（520）が更新される。ノードCは、残っている親を有さず、処理され、優先待ち行列（520）から除去される。
【0061】
図5Cでは、ノードCが除去されたので、優先待ち行列（520）が更新され、並べ替えられる。ノードBとノードGの両方は、残っている親を有さず、処理されうる。オブジェクトBはオブジェクトGよりも大きいので、ノードBが先に処理され、優先待ち行列（520）から除去される。
【0062】
図5Dでは、ノードBが除去されたので、優先待ち行列（520）が更新され、並べ替えられる。ノードGとノードDの両方は、残っている親を有さず、処理されうる。オブジェクトGはオブジェクトDより大きいので、ノードGが先に処理され、優先待ち行列（520）から除去される。
【0063】
図5Cでは、ノードGが除去されたので、優先待ち行列が更新され、並べ替えられる。ノードD、ノードE、およびノードFはすべて、残っている親を有さず、処理されうる。オブジェクトFは最大の残っているオブジェクトであるので、ノードFが先に処理される。オブジェクトEはオブジェクトDよりも大きいので、ノードEが次に処理される。オブジェクトDは最後に処理される。
【0064】
グラフ構造（500）の構築に続いて、各ノードが訪問され、各オブジェクトは、以下でより詳細に説明される3段階の向上プロセスを使用して処理される。グラフ構造（500）内の各ノードが一度処理された後、画質がチェックされ、停止基準が満たされていなければ、第2ラウンドの向上が開始される。このプロセスは、収束まで継続する。
【0065】
逐次反復的な向上プロセス
SDR画像のHDR画像への変換、または既存のHDR画像の追加の向上は、グラフ・ベースの逐次反復プロセスを使用してオブジェクト・レベルで達成されうる。逐次反復的な手法は、段階的な変更を行うことによって、既知のアップコンバート方法において経験されうる、ハイライトのクリッピングや低輝度エリアにおけるディテールのつぶれを回避する。
SDR画像のHDR画像への変換、または既存のHDR画像の追加の向上は、グラフ・ベースの逐次反復プロセスを使用してオブジェクト・レベルで達成されうる。逐次反復的な手法は、段階的な変更を行うことによって、既知のアップコンバート方法において経験されうる、ハイライトのクリッピングや低輝度エリアにおけるディテールのつぶれを回避する。
【0066】
図6は、逐次反復的な画像向上プロセスのための方法（600）を示す。方法（600）は、ポストプロダクション編集のために、ブロック（115）において中央処理装置によって実行されてもよい。いくつかの実施形態では、方法（600）は、エンコード・ブロック（120）においてエンコーダによって実行される。他の実施形態では、方法（600）は、デコード・ユニット（130）、ディスプレイ管理ブロック（135）、またはそれらの組み合わせによって実行される。ブロック（602）において、方法（600）は、SDR画像またはHDR画像などの入力画像を受領することを含む。入力画像は、RGB色領域またはYCbCr色領域で受領されうる。いくつかの実装では、入力画像がRGB色領域にあるとき、方法（600）は、入力画像をYCbCr色領域に変換することを含む。
【0067】
ブロック（604）において、方法（600）は、上述のように、グラフ構造（440）などのグラフ構造を入力画像に基づいて構築することを含む。いくつかの実装では、グラフ構造は、入力画像に関連付けられたセグメンテーション・マップを使用して構築される。ブロック（606）において、方法（600）は、グローバル画質メトリック（global image quality metric、GIQM）を使用して入力画像の品質を評価することを含む。
【0068】
ブロック（608）において、方法（600）は、グラフ階層構造における次のノードを選択することを含む。たとえば、優先待ち行列（520）内の次のノードが選択される。プロセス（650）において、方法（600）は、逐次反復的な向上プロセスを実行することを含む。このプロセスは、グラフ構造内の各オブジェクトに対して実行される。処理は、3つの主要なモジュール、すなわち、（1）ブロック（610）における点群分離、（2）ブロック（612）における点群拡大、および（3）ブロック（614）における空間的向上において実行される。点群分離はオブジェクト間向上のためであり、点群拡大および空間的向上はオブジェクト内向上のためである。ブロック（616）において、方法は、逐次反復プロセスが進行するにつれて、向上されたオブジェクトの品質を監視するために、軽量局所画質メトリック（lightweight local image quality metric、LIQM）を使用することを含む。
【0069】
画像内の最後のオブジェクトが処理されたとき、ブロック（618）において、方法（600）は、GIQMを評価して、現在の反復工程においてなされた変更後の画像全体の客観的な品質を評価することを含む。画質が改善した場合、現在の反復工程から出力された画像を処理するために新しい反復工程が開始される（ブロック620）。ブロック（620）において、停止基準が現在の反復工程において満たされる場合、方法（600）は逐次反復プロセスを終了し、ブロック（622）において、その反復工程までの最高品質の向上された画像がHDR画像として出力される。いくつかの実装では、方法（600）は、HDR画像をRGB領域に変換することを含む。
【0070】
プロセス（650）によって説明される逐次反復的な向上プロセスに戻ると、図7は、例示的な点群分離プロセス（700）、例示的な点群拡大プロセス（720）、および例示的な空間的向上プロセス（740）を示す。各プロセスにおいて、y軸はルミナンスを表し、x軸は彩度を表す。点群分離は、各オブジェクトの内部ではなく、オブジェクト間で処理が行われるオブジェクト間向上の一形態である。点群分離は、オブジェクトについてのルミナンス‐彩度点群を互いに分離し、それにより、最終的な画像においてオブジェクトが互いからより際立つようにする。点群拡大および空間的向上は、オブジェクト内向上の形態であり、特定のオブジェクト内のピクセルを向上させるために実行される。点群拡大は、特定のオブジェクト内のピクセルの広がりを増加させ、それにより、オブジェクト内ピクセル値が際立ち、より大きいルミナンス‐彩度範囲をカバーするようにする。空間的向上は、各オブジェクトの詳細を増加させ、それにより、エッジやテクスチャーなどの高周波情報がより「くっきり」見え、画像の観察者によって容易に認識可能になるようにする。
【0071】
プロセス（650）の3段階向上プロセスは、現在のオブジェクトの改善について決定するために、オブジェクトの特性と、該オブジェクトのその近傍オブジェクトとの関係（グラフ構造から得られる）とに頼る。近傍オブジェクトを処理する順序は、現在のオブジェクトに対して実行される向上に影響を及ぼす。オブジェクト間のこれらの複雑な相互作用は、ワンショット最適化フレームワークで捕捉することは難しい。これらの複雑さを解決するために、逐次反復的な向上プロセスは、各反復工程において画像内のオブジェクトに対して増分的な変更を行う。すべてのオブジェクトが各反復工程において増分的に進んでいるので、アルゴリズムは、近傍オブジェクトから最新の情報を取得し、オブジェクト間およびオブジェクト内向上技法の間のバランスを取ることによって、現在のオブジェクトを向上させることについての、情報に基づく意思決定を行う。
【0072】
逐次反復プロセスで使用される記法は、以下のように説明される。IRGB∈RH×W×3をサイズH×WのRGB画像、IYCbCr∈RH×W×3をYCbCr領域への変換後の同じ画像であると定義する。Y、Cb、およびCrを、IYCbCrの第3の次元に沿った第1、第2、および第3の成分であると定義する。その際、Yは、もとの画像のルミナンス成分であり、彩度成分は、S＝√(Cb
2＋Cr
2)によって与えられる。画像内にN個のオブジェクト、オブジェクト1、…、オブジェクトNがあるとし、一般性を失うことなく、逐次反復プロセス中に、それらが昇順で処理されると想定する。YkおよびSkを、k番目のオブジェクトのルミナンスおよび彩度成分の配列を表すと定義する。オブジェクトkのルミナンス成分内部のl番目のピクセル値はpk,lによって表される。さらに、mk＝mean(Yk)はk番目のオブジェクトの平均ルミナンスを表すとする。グラフ構造では、オブジェクトは子孫／子（それらが指すノード）と、祖先／親（それらのほうを指すノード）とを有する。mAkおよびmDkを、それぞれオブジェクトkの祖先および子孫のルミナンス平均であると定義する。特定の値の現在の反復工程は、上付き文字を使用して示される。たとえばr1
(i)は、i番目の反復工程で使用される学習率である。
【0073】
ある種の値は、反復工程における各モジュール間で変化する。これらはYk、Sk、pk,l、mk、mAk、およびmDkを含む。モジュール間でこれらの値を区別するために、ドットがそれらの上に配置される。値の上の単一のドットは、点群分離が適用されたことを示し；値の上の二重ドットは、点群拡大が適用されたことを示し；値の上の三重のドットは、空間的向上が適用されたことを示し；値の上のドットがないことは、反復工程全体の完了を示す。たとえば
は点群分離が適用された後の、反復工程iにおけるオブジェクトkのルミナンス成分の平均を表す。
【数2】
【0074】
参照の便のため、この記法の拡張リストをテーブル1に与えておく。
テーブル1：逐次反復プロセスにおいて使用される記法
【表4】
【0075】
オブジェクト間点群分離
電話のディスプレイは、テレビ画面およびコンピュータ・モニターよりもはるかに小さい。画像に対してディテール向上を実行することは、より大きなディスプレイ上での視覚的品質の改善につながることができるが、これらの恩恵は、小さいサイズが向上を抑制するので、電話の画面上で必ずしも完全に実現されるとは限らない。オブジェクト間コントラストの使用は、より小さい画面上で知覚可能な視覚的品質差をもたらし、（ルミナンスおよび彩度が容易に調整される）YCbCr色領域における点群分離を介して達成される。
電話のディスプレイは、テレビ画面およびコンピュータ・モニターよりもはるかに小さい。画像に対してディテール向上を実行することは、より大きなディスプレイ上での視覚的品質の改善につながることができるが、これらの恩恵は、小さいサイズが向上を抑制するので、電話の画面上で必ずしも完全に実現されるとは限らない。オブジェクト間コントラストの使用は、より小さい画面上で知覚可能な視覚的品質差をもたらし、（ルミナンスおよび彩度が容易に調整される）YCbCr色領域における点群分離を介して達成される。
【0076】
前述の記法を使用すると、k番目のオブジェクトのルミナンスは、反復工程iにおける点群分離の後に、式：
を使って更新される。ここで、記法
は、k番目のオブジェクトのルミナンスのすべての要素への、スカラーr1
(i)Δyk
(i)の加算を表すために使用される。
【数3】
【数4】
【0077】
式1においてr1は、学習率を表し、これは、画質メトリック（GIQM）の値が各反復工程において改善していることを確実にするために、各反復工程において調整されうる。本明細書に提供される実施形態では、画像はr1
(0)＝0.2を使って生成された。記号Δk
(i)は、学習率を適用する前のk番目のオブジェクトについての全ルミナンス変位である。Δk
(i)は、次式：
に従って得られる。
【数5】
【0078】
式2において、ψbは、現在のオブジェクトの入力平均を新しい平均にシフトするために使用される変調されたシグモイド曲線である。
は、オブジェクトkの祖先のルミナンス成分の平均である。それらの祖先は、現在の反復工程においてすでに点群分離を受けている。ψbは、次式に基づく：
【数6】
【数7】
【0079】
式3は、原点を通過する45°の線に沿って中心を置くシグモイド曲線を定義する。曲線の左テールは点(0,0)を通り、右テールは点(2β-1,2β-1)を通る。βは、画像のビット深さを指定する定数であり、HDR画像については16である。パラメータdは、45°の線に沿ってシグモイド曲線をセンタリングするために使用される。パラメータxは、シグモイド曲線が出力を生成するような、0から2β-1の入力ピクセル値を指定するために使用される。パラメータbは、シグモイド曲線が45°の線に交差するときのシグモイド曲線の傾きを修正するハイパーパラメータである。本明細書に提供される例においては、bは－2に設定される。この曲線の傾きは、中間トーンにおいてより高く、明るいまたは暗い強度領域に向かって徐々に先細りになる。図8は、45°の線上の種々の点を中心とするこれらのシグモイド曲線の複数を示す。
【0080】
式2において、
は、45°の線上でシグモイド曲線の中心を決定するために使用される。画像内で互いにまわりにあるオブジェクト間のコントラスト量を改善するために、これは、オブジェクトkを、その近傍オブジェクトに対してそのコントラストを増大させる方向にシフトさせる位置においてシグモイド曲線が中心となるように計算されるべきである。さらに、より大きなオブジェクトは画像内の最も重要なオブジェクトと考えられるので、k番目のオブジェクトの、より大きな近傍オブジェクトに対するコントラストを増大させることは、より小さな近傍オブジェクトに対するそのコントラストを増大させることよりも重要である。したがって、
は、下記の式（5）のように定義される。より大きなオブジェクトはより多くのピクセルを含むので、それらは
の値を支配する。オブジェクトjのルミナンス成分内部のl番目のピクセル値はpj,lによって表される。
【数8】
【数9】
【数10】
【数11】
【0081】
オブジェクトがグラフ構造内のルート・ノードに関連付けられる場合、前述のように、オブジェクトは祖先を有さない。それにもかかわらず、それに適用されるシフトが、それおよびその周囲の他のオブジェクトからの分離を増加させて、それが画像内で際立つことを確実にすることが重要である。したがって、ルート・ノードであるオブジェクト1（または図4のAにおけるオブジェクトA）についての操作を実行するためには：
【数12】
【0082】
シグモイド曲線は、ルミナンスがより近いオブジェクトを、より離れるようシフトさせるので、点群分離操作に組み込まれる。シグモイド曲線関数は、中心から十分に遠い距離に近づくにつれてランプ状に下降する。したがって、すでに近傍オブジェクトと十分なコントラストを有するオブジェクトは、より少なくシフトされる。よって、より小さなコントラストをもつ近傍のオブジェクトどうしは、互いにさらに離れるように押しやられ、十分に離れたオブジェクトは、それほど押し離されない。
【0083】
ルミナンスとは独立に彩度を処理することは、不自然な、過度に飽和した画像をもたらすことがある。オブジェクトのルミナンスが、より明るくなるように増加されるとき、オブジェクトは、「ウォッシュアウト」されて見え始めることがある。逆に、明るいオブジェクトがより暗くなるときは、明るさのブラインド効果が失われ、オブジェクトはよりカラフルに見える。ルミナンスと彩度との間のこの関係に基づいて、ひとたびルミナンス成分が更新されたときに反復工程iにおいてオブジェクトkの彩度成分を更新するために、式7が使用される：
【数13】
【0084】
図9A～Cは、i番目の反復工程における点群分離操作を例解する。第1のオブジェクト（900）および第2のオブジェクト（910）は、画像内の第3のオブジェクト（920）と境界を共有し、よって、それぞれのグラフ構造内でエッジを共有する。さらに、第1のオブジェクト（900）および第2のオブジェクト（910）は、第3のオブジェクト（920）の、大きなほうの祖先である。結果として、第3のオブジェクト（920）は、その祖先のルミナンス・ヒストグラムに従ってシフトされる。シグモイド曲線の中心
を決定するために、第1のオブジェクト（900）と第2のオブジェクト（910）の組み合わされたヒストグラムの平均が取られる。よって、シグモイド曲線の出力は、
によって与えられ、これは、次いで、式（2）および式（1）を更新するために使用される。
【数14】
【数15】
【0085】
図9Aでは、点群分離操作は、
を取得することを含む。図9Bでは、点群分離操作は、第1のオブジェクト（900）および第2のオブジェクト（910）のヒストグラムから
を得ることを含む。図9Cでは、点群分離操作は
をシグモイド曲線ψbへの入力として使って、Δk
(i)を計算することを含む。図10は、反復工程i－1から反復工程iまでの第1のオブジェクト（900）、第2のオブジェクト（910）、および第3のオブジェクト（920）のルミナンスおよび彩度値の変化を示す。
【数16】
【数17】
【数18】
【0086】
図11は、オブジェクトkに対するオブジェクト間点群分離操作のための方法（1100）を示す。オブジェクトkは、入力画像内で識別された任意のオブジェクトでありうる。ブロック（1102）において、方法（1100）は、オブジェクトkの現在のルミナンス配列を受領することを含む。ブロック（1104）において、方法（1100）は、オブジェクトkのルミナンス配列に基づいてオブジェクトkの平均ルミナンスを計算することを含む。ブロック（1106）において、方法（1100）は、オブジェクトkの祖先の更新されたルミナンス配列を受領することを含む。ブロック（1108）において、方法（1100）は、オブジェクトkの祖先のルミナンス配列に基づいてオブジェクトkの祖先の平均ルミナンスを計算することを含む。ブロック（1110）において、方法（1100）は、シグモイド曲線を適用して、オブジェクトkのルミナンス・シフトを取得することを含む。シグモイド曲線は、たとえば、オブジェクトkの平均ルミナンスと、オブジェクトkの祖先の平均ルミナンスとに基づく。ブロック（1112）において、オブジェクトkのルミナンス配列は、取得されたルミナンス・シフトに基づいて更新される。次いで、ブロック（1102）において、更新されたルミナンス配列は、現在のルミナンス配列として、オブジェクト間点群分離の追加の反復工程のために提供されうる。
【0087】
ブロック（1114）において、方法（1100）は、オブジェクトkの現在の彩度配列を受領することを含む。ブロック（1116）において、方法（1100）は、現在の彩度配列と、オブジェクトkの取得されたルミナンス・シフトとに基づいて、オブジェクトkの彩度を更新することを含む。ブロック（1118）において、方法（1100）は、更新された彩度値に基づいてオブジェクトkの彩度配列を更新することを含む。
【0088】
オブジェクト内点群拡大
オブジェクト間点群分離操作は、オブジェクトをそのルミナンスおよび彩度に基づいて動かし、それにより、出力画像においてオブジェクトが互いから際立つようにする。これは、出力画像における全体的な視覚的品質の改善につながるが、逐次反復モジュールの完全な可能性を実現するためには、さらなる局所的なまたはピクセルごとの向上が必要とされる。オブジェクト間点群分離は、オブジェクトをより明るくし、より飽和させるか、またはより暗く、より飽和させないようにしうる。これにより、もとのコントラストが目に見えて失われるので、画像内のピクセルが「ウォッシュアウト」されたように見える。この可能性を相殺するために、オブジェクト内点群拡大操作が組み込まれる。オブジェクト内点群拡大操作は、画像のピクセルのルミナンス値およびクロミナンス値の広がりを増大させることによって、オブジェクト内のコントラストを増大させる。
オブジェクト間点群分離操作は、オブジェクトをそのルミナンスおよび彩度に基づいて動かし、それにより、出力画像においてオブジェクトが互いから際立つようにする。これは、出力画像における全体的な視覚的品質の改善につながるが、逐次反復モジュールの完全な可能性を実現するためには、さらなる局所的なまたはピクセルごとの向上が必要とされる。オブジェクト間点群分離は、オブジェクトをより明るくし、より飽和させるか、またはより暗く、より飽和させないようにしうる。これにより、もとのコントラストが目に見えて失われるので、画像内のピクセルが「ウォッシュアウト」されたように見える。この可能性を相殺するために、オブジェクト内点群拡大操作が組み込まれる。オブジェクト内点群拡大操作は、画像のピクセルのルミナンス値およびクロミナンス値の広がりを増大させることによって、オブジェクト内のコントラストを増大させる。
【0089】
【数19】
【数20】
【0090】
式（8）においてr2
(i)は学習率を表し、これは、画質メトリック（GIQM）の値が改善していることを確実にするために、各反復工程において調整されうる。fは、多様な形をとることができる関数である。たとえば、いくつかの実装では
は一定値であり、これはピクセル値の均一な拡大をもたらす。他の実装では
シグモイド曲線であり、これは、平均により近いピクセルについては増大した拡大率をもたらし、すでに平均から離れているピクセルについては先細りにされた拡大率をもたらす。本明細書に記載される例は、点群拡大を実行するために式（9）で指定される式を使用する：
【数21】
【数22】
【数23】
【0091】
ルミナンスと彩度は関係を共有するので、それらの依存性は、オブジェクト内点群拡大操作の際に考慮されうる。よって、オブジェクトkの彩度成分は、次式に従って更新されうる。
【数24】
【0092】
式（9）において、オブジェクトkのルミナンス・ピクセル値は、そのルミナンス成分の平均から広がっている。オブジェクトkの彩度ピクセル値は、ルミナンス成分に対してなされた向上に従って更新されるので、それらも同様に広がる。結果として、ルミナンス‐彩度点群におけるピクセルは、点群の重心のまわりに広がり、オブジェクト内部のコントラストの改善を許容する。
【0093】
図12は、オブジェクトkを形成し、オブジェクト内点群拡大操作を受ける複数のピクセルを示す。第1のグラフ（1200）は、オブジェクト内点群拡大操作に先立つ複数のピクセルのルミナンス値および彩度値を示す。第2のグラフ（1220）は、オブジェクト内点群拡大操作後の複数のピクセルのルミナンス値および彩度値を示す。
【0094】
図13は、画像を形成し、オブジェクト間点群分離操作およびオブジェクト内点群拡大操作の両方を受ける複数のオブジェクトを示す。オブジェクトは、たとえば、図9A～図9Cからの第1のオブジェクト（900）、第2のオブジェクト（910）、および第3のオブジェクト（920）でありうる。第1のルミナンス・ヒストグラム・グラフ（1300）は、処理が始まる前の第1のオブジェクト（900）、第2のオブジェクト（910）、および第3のオブジェクト（920）のルミナンス・ヒストグラムを示す。第1のルミナンス‐彩度グラフ（1310）は、第1のオブジェクト（900）、第2のオブジェクト（910）、および第3のオブジェクト（920）内のピクセルのそれぞれのルミナンスおよび彩度値を示す。
【0095】
第2のルミナンス・ヒストグラム・グラフ（1320）は、オブジェクト間点群分離操作を受けた後の第1のオブジェクト（900）、第2のオブジェクト（910）、および第3のオブジェクト（920）のルミナンス・ヒストグラムを示す。第2のルミナンス‐彩度グラフ（1330）は、オブジェクト間点群分離操作後の第1のオブジェクト（900）、第2のオブジェクト（910）、および第3のオブジェクト（920）内のピクセルのそれぞれのルミナンスおよび彩度値を示す。第1のルミナンス・ヒストグラム・グラフ（1300）と第2のルミナンス・ヒストグラム・グラフ（1320）との間に示されるように、各オブジェクトの平均ルミナンスは、オブジェクト間点群分離操作に起因して変化しうる。
【0096】
第3のルミナンス・ヒストグラム・グラフ（1340）は、オブジェクト内点群拡大操作を受けた後の第1のオブジェクト（900）、第2のオブジェクト（910）、および第3のオブジェクト（920）のルミナンス・ヒストグラムを示す。第3のルミナンス‐彩度グラフ（1350）は、オブジェクト内点群拡大操作後の第1のオブジェクト（900）、第2のオブジェクト（910）、および第3のオブジェクト（920）内のピクセルのそれぞれのルミナンスおよび彩度値を示す。第2のルミナンス・ヒストグラム・グラフ（1320）と第3のルミナンス・ヒストグラム・グラフ（1340）との間に示されるように、各オブジェクトの平均ルミナンスは、オブジェクト内点群拡大操作後も同じままでありうる。さらに、各オブジェクトについてのルミナンスおよび彩度の範囲は、オブジェクト内点群拡大操作により増加する。
【0097】
図14は、オブジェクトkに対するオブジェクト内点群拡大操作のための方法（1400）を示す。オブジェクトkは、入力画像内で識別された任意のオブジェクトでありうる。ブロック（1402）において、方法（1400）は、オブジェクトkの現在のルミナンス配列を受領することを含む。ブロック（1404）において、方法（1400）は、オブジェクトkのルミナンス配列に基づいてオブジェクトkの平均ルミナンスを計算することを含む。ブロック（1406）において、方法（1400）は、式（7）に従ってオブジェクトkのルミナンスを更新することを含む。ブロック（1408）において、方法（1400）は、式（7）の結果に基づいてオブジェクトkのルミナンス配列を更新することを含む。次いで、ブロック（1402）において、更新されたルミナンス配列は、現在のルミナンス配列として、オブジェクト間点群分離の追加の反復工程のために提供されうる。
【0098】
ブロック（1410）において、方法（1400）は、オブジェクトkの現在の彩度配列を受領することを含む。ブロック（1412）において、方法（1400）は、現在の彩度配列とオブジェクトkの更新されたルミナンスとに基づいてオブジェクトkの彩度を更新することを含む。ブロック（1414）において、方法（1400）は、更新された彩度値に基づいてオブジェクトkの彩度配列を更新することを含む。
【0099】
オブジェクト内空間的向上
オブジェクト間点群分離およびオブジェクト内点群拡大は、オブジェクト間およびオブジェクト内のコントラストを改善するという恩恵を提供する。これは向上された画像における視覚的品質の改善につながるが、処理中にオブジェクト内の空間的情報を使用してオブジェクト内の詳細なコントラストを引き出すことによって、さらなる改善を得ることができる。本明細書で説明される例では、オブジェクト内空間的向上のために形状適応的離散コサイン変換（shape adaptive discrete cosine transform、SA-DCT）が使用される。プロセス（650）の各反復工程において、SA-DCTは、向上されている特定のオブジェクトに適用される。DCT係数は、その際、逆形状適応的離散コサイン変換（ISA-DCT）が行われる前に、重み付け関数に従って変調される。オブジェクト内空間的向上のためにこのSA-DCTアルゴリズムが採用されているが、たとえばウェーブレット変換またはフーリエ変換を使用して他のドメインにおけるオブジェクトの周波数係数を処理することも可能であることに注意されたい。さらに、アンシャープ・マスキングなどの空間ベースの画像鮮鋭化ツールも、SA-DCTの代わりに利用されうる。
オブジェクト間点群分離およびオブジェクト内点群拡大は、オブジェクト間およびオブジェクト内のコントラストを改善するという恩恵を提供する。これは向上された画像における視覚的品質の改善につながるが、処理中にオブジェクト内の空間的情報を使用してオブジェクト内の詳細なコントラストを引き出すことによって、さらなる改善を得ることができる。本明細書で説明される例では、オブジェクト内空間的向上のために形状適応的離散コサイン変換（shape adaptive discrete cosine transform、SA-DCT）が使用される。プロセス（650）の各反復工程において、SA-DCTは、向上されている特定のオブジェクトに適用される。DCT係数は、その際、逆形状適応的離散コサイン変換（ISA-DCT）が行われる前に、重み付け関数に従って変調される。オブジェクト内空間的向上のためにこのSA-DCTアルゴリズムが採用されているが、たとえばウェーブレット変換またはフーリエ変換を使用して他のドメインにおけるオブジェクトの周波数係数を処理することも可能であることに注意されたい。さらに、アンシャープ・マスキングなどの空間ベースの画像鮮鋭化ツールも、SA-DCTの代わりに利用されうる。
【0100】
図15A～15Eは、オブジェクトのルミナンス成分のSA-DCTの実装を示す。I
Y,kを、画像内部でオブジェクトが収まる最小の正方形からの任意のk番目のオブジェクトのセグメンテーションであるとする。k番目のオブジェクトのセグメンテーションの例が図15Aに示されている。I
Y,k'を、図15Bに示される、正方形の上部に向かって垂直にこのオブジェクト内の全ピクセルをシフトした結果であるとする。この正方形の寸法はNk×Nkによって与えられる。サイズNkのDCT変換行列を次のように定義する：
【数25】
【0101】
この行列は、Nk DCTNk基底ベクトルの集合を含む。Nk垂直DCTNk係数ベクトルは次式によって与えられる。
【数26】
【0102】
ここで、I
Y,k,i'はI
Y,k'のi番目の列である。この完全な変換をD
kとして定義する。結果として、このセグメンテーションされたオブジェクト内のピクセルの垂直次元は、図15Cに示されるように変換される。D
k'は、図15Dに示される、このオブジェクト内のすべてのピクセルを正方形の左に向かって水平にシフトした結果であるとする。水平DCTNk変換は、その際、行D
k'に適用されて、図15Eに示される、完全に変換されたSA-DCT出力D
k''が得られる。
【0103】
SA-DCT領域におけるオブジェクトを空間領域に変換するために、逆の操作を行うことができる。以下、空間領域からSA-DCT領域への変換、およびその逆の変換は、それぞれ以下の演算：SADCT()およびISADCT()によって表される。上記の例では、記法の簡単のため、完全なSA-DCTアルゴリズムの出力を表すためにD
k"が使用されたが、セグメンテーションされたk番目のオブジェクトのルミナンス成分I
Y,kの完全なSA-DCT変換を表すためにD
kが使用される。よって、
は、反復工程iにおいて点群分離および点群拡大を受けた後の、画像におけるk番目のセグメンテーションされたオブジェクトのSA-DCT変換を表す。
【数27】
【0104】
図16は、オブジェクトkについてSA-DCTを使用するオブジェクト内空間的向上操作のための方法（1600）を示す。ブロック（1602）において、方法（1600）は、図15A～図15Eに関して説明されるように、オブジェクトkのセグメンテーションされたルミナンス正方形を受領することを含む。ブロック（1604）において、方法（1600）は、SA-DCT変換を計算することを含む。ブロック（1606）において、方法（1600）は、ブロック（1604）において計算されたSA-DCT係数に重み付け関数を適用することを含む。ブロック（1608）において、方法（1600）は、ISA-DCT変換を計算することを含む。ブロック（1610）において、方法（1600）は、オブジェクトkのセグメンテーションされたルミナンス正方形を更新することを含む。
【0105】
方法（1600）は、画像内の任意形状のオブジェクトのDCTを計算するための備えをする。このようにして、方法（1600）は、逐次反復プロセス（650）に従って異なる仕方で変調される可能性を有する各オブジェクトのDCT係数を考慮する。
【0106】
DCT変換係数と同様に、変換行列の左上隅のSA-DCT変換係数は、より低い周波数情報に対応する。オブジェクト内部の空間コントラストを増加させるために、より高い値の変換係数は、以下の重みを使用して増加される。
ここで、αは、重みの強さを制御するハイパーパラメータであり、gおよびhは、重みω(g,h)が適用されるSA-DCT変換されたピクセルの位置を表す。これらの重みは、式（9）に従って
更新するために使用される：
【数28】
【数29】
【数30】
【0107】
式（13）において、r3
(i)は、学習率を表し、これは、画質メトリック（GIQM）の値が改善していることを確実にするために、各反復工程において調整されうる。式（13）において、
は、要素ごとの積演算子を表す。ISADCT()演算子を
に適用することによって、i番目の反復工程についてのオブジェクトkについての更新されたセグメンテーションされたルミナンス成分
が回復され、それは次いで、ルミナンス画像成分全体
に改めて組み込まれる。いくつかの実装では、この手法は、逐次反復プロセスに吸収されない。他の実装では、重み行列は、逐次反復プロセスの終わりに画像のDCT係数に適用される。
【数31】
【数32】
【数33】
【数34】
【0108】
ローカル品質メトリック
プロセス（650）の各反復工程中に各オブジェクトに適用される向上が監視されてもよい。オブジェクトが処理されるたびに画質が改善されることを確実にするために、修正された形態の軽量画質メトリック（lightweight image quality metric、LIQM）を使用して、各オブジェクトが反復工程内で処理されるたびに画像内の局所的向上を測定することができる。例示的なLIQM関数についての公式は、式（14）として与えられる。
プロセス（650）の各反復工程中に各オブジェクトに適用される向上が監視されてもよい。オブジェクトが処理されるたびに画質が改善されることを確実にするために、修正された形態の軽量画質メトリック（lightweight image quality metric、LIQM）を使用して、各オブジェクトが反復工程内で処理されるたびに画像内の局所的向上を測定することができる。例示的なLIQM関数についての公式は、式（14）として与えられる。
【数35】
【0109】
式（14）において、δおよびγは、経験的にそれぞれ1および1/4に設定されたハイパーパラメータである。AIEcおよびACcは、それぞれ画像内のエントロピー情報（entropy information）およびコントラスト（contrast）の平均量（average amount）を測る。AIEcおよびACcは、画像IRGBのR、G、B成分に従って定義される。具体的には、AIEcは、式（15）によって与えられる。
【数36】
【0110】
式（15）において、IE項は、それが関連付けられているR、GまたはB色成分の平均エントロピーに従って定義される。
ここで、prob(x)は、値xがチャネルに現れる確率である。
【数37】
【0111】
ACcは、式（17）に従って定義される。
ここで、Grad()は勾配関数である。
【数38】
【0112】
各オブジェクトが処理された後にLIQMを画像全体に適用することによって、向上されたオブジェクトが全体的な画像に加えるコントラストの量が捕捉される。なぜなら、現在のオブジェクトは、LIQMが画像に最後に適用されてから向上された唯一のオブジェクトであるからである。オブジェクトを処理した後に報告されたLIQM値が、オブジェクトが処理される前に報告されたLIQM値よりも大きい場合、現在のオブジェクトに適用された変更は受け入れられる。そうでない場合、向上は受け入れられない（すなわち、オブジェクトはそれぞれの反復工程において変化しない）。
【0113】
グローバル品質メトリック
図6に戻ると、プロセス（650）の逐次反復が始まる前に、ブロック（606）において、グローバル画質メトリック（GIQM）が適用されて、もとの入力画像の画質が決定される。逐次反復プロセスが開始すると、各反復工程において画像に対して行われる向上が客観的な画質を改善することを確実にするために、ブロック（618）において、各反復工程の終わりにGIQMが再計算される。
図6に戻ると、プロセス（650）の逐次反復が始まる前に、ブロック（606）において、グローバル画質メトリック（GIQM）が適用されて、もとの入力画像の画質が決定される。逐次反復プロセスが開始すると、各反復工程において画像に対して行われる向上が客観的な画質を改善することを確実にするために、ブロック（618）において、各反復工程の終わりにGIQMが再計算される。
【0114】
図17は、GIQMネットワーク（1700）についての例示的なアーキテクチャーを示す。ブロック（1702）において、GIQMネットワーク（1700）は、ブロック（602）における入力画像などの入力画像を受領する。ブロック（1704）では、GIQMネットワーク（1700）は入力画像を解析する。現在の画像に対して行われる向上が、モデルがアクセスを与えられる参照画像の向上と同様であるべきである実装では、完全参照画像品質評価（full reference image quality assessment、FR-IQA）モデルが解析のために使用されうる。しかしながら、多くの場合、モデルは、参照画像へのアクセスをもたないことがある。そのような場合、無参照画像品質評価（no-reference image quality assessment、NR-IQA）が使用されうる。いくつかの実装では、NR-IQAは、特定の形の歪みがシーン中に存在し、除去される必要があるという想定の下でモデル化される。他の実装では、NR-IQAは、代わりに、自然世界からの歪みのない画像を含む、より大きい画像空間内の部分空間を見つけることをねらいとする自然シーン統計（natural scene statistics、NSS）手法を使用してもよい。いくつかの実装では、GIQMネットワーク（1700）は、ニューラル画像評価（Neural Image Assessment、NIMA）モデルまたは明示的暗黙的画像品質評価（Explicit Implicit Image Quality Assessment、EI-IQA）モデルのような畳み込みニューラルネットワーク（CNN）などの適切なニューラルネットワーク（NN）モデルである。ブロック（1706）において、GIQMネットワーク（1700）は、入力画像の画質を示す品質スコアを出力する。
【0115】
学習率を用いた逐次反復プロセス・フローチャート
図18は、逐次反復プロセス（650）をより詳細に示す方法（1800）を提供する。ブロック（1802）において、方法（1800）は、第1のオブジェクトを処理することを含む。ブロック（1804）において、方法（1800）は、第2のオブジェクトを処理することを含む。各オブジェクトは、ブロック（1806）によって最終オブジェクトが処理されるまで、前述のグラフ構造に従って処理される。GIQMは、出力画像に対する各反復工程の終わりにブロック（1808）で計算される。GIQMスコアが増加した場合、次の反復工程は同じ学習率で開始される。GIQMスコアが減少したが、停止基準が満たされない場合、次の反復工程はやはり同じ学習率で開始されてもよい。GIQMは減少したが、LIQMは増加した可能性があり、したがって、学習率を変更することは望ましくない可能性がある。GIQMスコアが前の反復工程から変化していない場合、現在の反復工程ではどのオブジェクトにも変更が行われておらず、ブロック（1810）において学習率が減少される。
図18は、逐次反復プロセス（650）をより詳細に示す方法（1800）を提供する。ブロック（1802）において、方法（1800）は、第1のオブジェクトを処理することを含む。ブロック（1804）において、方法（1800）は、第2のオブジェクトを処理することを含む。各オブジェクトは、ブロック（1806）によって最終オブジェクトが処理されるまで、前述のグラフ構造に従って処理される。GIQMは、出力画像に対する各反復工程の終わりにブロック（1808）で計算される。GIQMスコアが増加した場合、次の反復工程は同じ学習率で開始される。GIQMスコアが減少したが、停止基準が満たされない場合、次の反復工程はやはり同じ学習率で開始されてもよい。GIQMは減少したが、LIQMは増加した可能性があり、したがって、学習率を変更することは望ましくない可能性がある。GIQMスコアが前の反復工程から変化していない場合、現在の反復工程ではどのオブジェクトにも変更が行われておらず、ブロック（1810）において学習率が減少される。
【0116】
方法（1800）は、学習率が非常に小さくなり、向上がもはや画像の視覚的品質のいかなる有意な改善にもつながらなくなるまで繰り返される。具体的には、r(i-1)は、i－1番目の反復工程の終わりにおけるこれらの学習率のうちの1つを表すとする。GIQMスコアがi－1番目の反復工程以降変化していない場合、新しい学習率は、r(i)＝r(i-1)/τである。いくつかの実装では、τは、2に設定された正の定数である。学習率が閾値を下回って低下した場合、逐次反復プロセスは終了する。
【0117】
停止基準
チェックされない場合、逐次反復プロセスは、画像に対して目に見える向上がないまま、多くの反復工程にわたって実行されることがありうる。さらに、画像が過度の向上により劣化し始める場合、アルゴリズムは停止されてもよい。GIQMスコアは、逐次反復プロセスをいつ停止するかを決定するために使用される。図19Aは、すべての反復工程を通じたGIQMスコアの傾向の見本を示す。極小のみを観察することを回避するために、最後のQ個のGIQMスコアの平均を使用して、図19Bに示される平滑化された傾向を見ることができる。この傾向は、収束するまで一貫して増加する。図19Bの平滑化されたスコアが停滞するか、または減少する場合、アルゴリズムは終了され、その反復工程までの最良の画像が出力される。
チェックされない場合、逐次反復プロセスは、画像に対して目に見える向上がないまま、多くの反復工程にわたって実行されることがありうる。さらに、画像が過度の向上により劣化し始める場合、アルゴリズムは停止されてもよい。GIQMスコアは、逐次反復プロセスをいつ停止するかを決定するために使用される。図19Aは、すべての反復工程を通じたGIQMスコアの傾向の見本を示す。極小のみを観察することを回避するために、最後のQ個のGIQMスコアの平均を使用して、図19Bに示される平滑化された傾向を見ることができる。この傾向は、収束するまで一貫して増加する。図19Bの平滑化されたスコアが停滞するか、または減少する場合、アルゴリズムは終了され、その反復工程までの最良の画像が出力される。
【0118】
上記のビデオ送達システムおよび方法は、グラフ・ベースのオブジェクト間およびオブジェクト内分離を使用して画像を向上させるための備えをしうる。本開示によるシステム、方法、およびデバイスは、以下の構成のうちの任意の一つまたは複数をとりうる。
【0119】
（1）画像フレームの逐次反復的なグラフ・ベースの画像向上のためのビデオ送達システムであって、前記画像フレームの処理を実行するプロセッサを備え、前記プロセッサは、前記画像フレーム内の、複数のピクセルを含むオブジェクトを受領し、前記画像に対してオブジェクト間点群分離操作を実行し、前記オブジェクトの前記複数のピクセルを拡大し、前記オブジェクトの前記複数のピクセルに対して空間的向上操作を実行し、前記オブジェクト間点群分離操作、前記複数のピクセルの前記拡大、および前記空間的向上操作に基づいて出力画像を生成するように構成される、ビデオ送達システム。
【0120】
（2）前記プロセッサは、幅優先探索動作を使用して前記画像フレーム内のラベル付けされていないピクセルを置き換えるようにさらに構成される、（1）に記載のビデオ送達システム。
【0121】
（3）前記オブジェクトは、複数のオブジェクトのうちの第1のオブジェクトであり、前記プロセッサは、前記複数のオブジェクトを取得するためにセグメンテーション動作を実行し、前記複数のオブジェクトのための優先待ち行列を決定し、前記複数のオブジェクトの各オブジェクトの一つまたは複数の属性を決定するようにさらに構成され、前記一つまたは複数の属性は、前記オブジェクトのサイズ、隣接オブジェクトのリスト、前記オブジェクトのピクセル強度の平均、前記オブジェクトのセグメンテーション・マップ・ラベル、前記オブジェクトの彩度ヒストグラム、および前記オブジェクトのルミナンス・ヒストグラムからなる群から選択された少なくとも1つを含む、（1）～（2）のいずれか一項に記載のビデオ送達システム。
【0122】
（4）前記画像に対して前記オブジェクト間点群分離操作を実行するとき、前記プロセッサは、前記オブジェクトの平均ルミナンスを計算し、一つまたは複数の以前の反復工程から前記オブジェクトの祖先の平均ルミナンスを計算し、前記オブジェクトの前記平均ルミナンスおよび前記オブジェクトの祖先の前記平均ルミナンスに基づいて、前記オブジェクトにシグモイド曲線を適用して、前記オブジェクトのルミナンス・シフトを取得するように構成される、（1）～（3）のいずれか一項に記載のビデオ送達システム。
【0123】
（5）前記画像に対して前記オブジェクト間点群分離操作を実行するとき、前記プロセッサは、前記オブジェクトの彩度配列を受領し、前記オブジェクトの前記ルミナンス・シフトに基づいて前記オブジェクトの前記彩度配列を更新するようにさらに構成される、（4）に記載のビデオ送達システム。
【0124】
（6）前記オブジェクトの前記複数のピクセルを拡大するとき、前記プロセッサは、前記オブジェクトの平均ルミナンスを決定し、前記オブジェクトの現在の彩度を決定し、前記オブジェクトのルミナンス配列を更新し、前記更新されたルミナンス配列に基づいて前記オブジェクトの彩度配列を更新するように構成される、（1）～（5）のいずれか一項に記載のビデオ送達システム。
【0125】
（7）前記オブジェクトの前記複数のピクセルに対して前記空間的向上操作を実行するとき、前記プロセッサは、前記オブジェクトのルミナンス正方形をセグメンテーションし、形状適応的離散コサイン変換（SA-DCT）係数を計算し、前記SA-DCT係数に重み付け関数を適用するように構成される、（1）～（6）のいずれか一項に記載のビデオ送達システム。
【0126】
（8）前記オブジェクトの前記複数のピクセルに対して前記空間的向上操作を実行するとき、前記プロセッサは、逆SA-DCT係数を計算し、前記SA-DCTに基づいて前記オブジェクトの前記セグメンテーションされたルミナンス正方形を更新するようにさらに構成される、（1）～（7）のいずれか一項に記載のビデオ送達システム。
【0127】
（9）前記プロセッサは、グローバル画質メトリック（GIQM）を前記画像フレームに適用し、前記GIQMの出力に基づいて前記画像フレームの品質を決定するようにさらに構成される、（1）～（8）のいずれか一項に記載のビデオ送達システム。
【0128】
（10）前記プロセッサは、前記画像フレームの品質が品質閾値を満たすまで、前記画像に対して前記オブジェクト間点群分離操作を実行するステップと、前記オブジェクトの前記複数のピクセルを拡大するステップと、前記オブジェクトの前記複数のピクセルに対して前記空間的向上操作を実行するステップとを逐次反復するようにさらに構成される、（9）に記載のビデオ送達システム。
【0129】
（11）画像フレームの画像向上のための逐次反復的な方法であって、前記画像フレーム内の、複数のピクセルを含むオブジェクトを受領することと、前記画像に対してオブジェクト間点群分離操作を実行することと、前記オブジェクトの前記複数のピクセルを拡大することと、前記オブジェクトの前記複数のピクセルに対して空間的向上操作を実行することと、前記オブジェクト間点群分離操作、前記複数のピクセルの前記拡大、および前記空間的向上操作に基づいて出力画像を生成することと、を含む、方法。
【0130】
（12）前記オブジェクトは、複数のオブジェクトのうちの第1のオブジェクトであり、前記方法は、前記複数のオブジェクトを取得するためにセグメンテーション動作を実行することと、前記複数のオブジェクトのための優先待ち行列を決定することと、前記複数のオブジェクトの各オブジェクトの一つまたは複数の属性を決定することとをさらに含み、前記一つまたは複数の属性は、前記オブジェクトのサイズ、隣接するオブジェクトのリスト、前記オブジェクトのピクセル強度の平均、前記オブジェクトのセグメンテーション・マップ・ラベル、前記オブジェクトの彩度ヒストグラム、および前記オブジェクトのルミナンス・ヒストグラムからなる群から選択される少なくとも1つを含む、（11）に記載の方法。
【0131】
（13）前記画像フレームに対して前記オブジェクト間点群分離操作を実行するステップは、前記オブジェクトの平均ルミナンスを計算するステップと、一つまたは複数の以前の反復から前記オブジェクトの祖先の平均ルミナンスを計算するステップと、前記オブジェクトの前記平均ルミナンスおよび前記オブジェクトの祖先の前記平均ルミナンスに基づいて、前記オブジェクトにシグモイド曲線を適用して、前記オブジェクトのルミナンス・シフトを取得するステップとを含む、（11）～（12）のいずれか一項に記載の方法。
【0132】
（14）前記画像フレームに対して前記オブジェクト間点群分離操作を実行するステップは、前記オブジェクトの彩度配列を受領し、前記オブジェクトの前記ルミナンス・シフトに基づいて前記オブジェクトの前記彩度配列を更新するステップをさらに含む、（13）に記載の方法。
【0133】
（15）前記オブジェクトの前記複数のピクセルを拡大することは、前記オブジェクトの平均ルミナンスを決定し、前記オブジェクトの現在の彩度を決定し、前記オブジェクトのルミナンス配列を更新し、更新されたルミナンス配列に基づいて前記オブジェクトの彩度配列を更新することを含む、（11）～（14）のいずれか一項に記載の方法。
【0134】
（16）前記オブジェクトの前記複数のピクセルに対して前記空間向上操作を実行することは、前記オブジェクトのルミナンス正方形をセグメンテーションし、形状適応的離散コサイン変換（SA-DCT）係数を計算し、前記SA-DCT係数に重み関数を適用することを含む、（11）～（15）のいずれか一項に記載の方法。
【0135】
（17）前記オブジェクトの前記複数のピクセルに対して前記空間的向上操作を実行することは、逆SA-DCT係数を計算し、前記SA-DCTに基づいて前記オブジェクトの前記セグメンテーションされたルミナンス正方形を更新することをさらに含む、（16）に記載の方法。
【0136】
（18）グローバル画質メトリック（GIQM）を前記画像フレームに適用し、前記GIQMの出力に基づいて前記画像フレームの品質を決定するステップをさらに含む、（11）～（17）のいずれか一項に記載の方法。
【0137】
（19）前記フレームの品質が品質閾値を満たすまで、前記画像に対して前記オブジェクト間点群分離操作を実行するステップと、前記オブジェクトの前記複数のピクセルを拡大するステップと、前記オブジェクトの前記複数のピクセルに対して前記空間的向上操作を実行するステップとを逐次反復することをさらに含む、（18）に記載の方法。
【0138】
（20）電子プロセッサによって実行されると、前記電子プロセッサに、（11）～（19）のいずれか一項に記載の方法を含む動作を実行させる命令を記憶した非一時的コンピュータ可読媒体。
【0139】
本明細書に記載されるプロセス、システム、方法、ヒューリスティクス等に関して、そのようなプロセス等のステップは、ある順序付けられたシーケンスに従って生起するものとして説明されているが、そのようなプロセスは、本明細書に記載される順序以外の順序で実行される説明されるステップを用いて実施されてもよいことを理解されたい。さらに、ある種のステップは同時に実行されることができ、他のステップが追加されることができ、または本明細書に記載されたある種のステップが省略されることができることを理解されたい。言い換えれば、本明細書におけるプロセスの説明は、ある種の実施形態を例解する目的で提供されており、決して特許請求の範囲を限定するように解釈されるべきではない。
【0140】
よって、上記の説明は、例示的であり、制約するものではないことが意図されることを理解されたい。提供された例以外の多くの実施形態および用途が、上記の説明を読めば明らかであろう。範囲は、上記の説明を参照して決定されるべきではなく、代わりに、添付の特許請求の範囲を、そのような特許請求の範囲が資格をもつ均等物の全範囲とともに参照して決定されるべきである。本明細書で説明される技術において将来の発展が生じること、および開示されるシステムおよび方法がそのような将来の実施形態に組み込まれることが予期され、意図される。要するに、本願は、修正および変形が可能であることを理解されたい。
【0141】
特許請求の範囲で使用されるすべての用語は、本明細書で反対の旨の明示的な指示がなされない限り、本明細書で説明される技術に精通している者によって理解されるような、最も広い合理的な解釈および通常の意味を与えられることが意図される。特に、「a」、「the」、「said」などの単数形の冠詞の使用は、請求項がそれとは反対の明確な限定を記載していない限り、示された要素の一つまたは複数を記載していると読まれるべきである。
【0142】
本開示の要約は、読者が技術的開示の性質を迅速に確認することを許容するために提供される。要約書は、特許請求の範囲の範囲または意味を解釈または限定するために使用されないという理解の下で提出される。加えて、前述の詳細な説明において、本開示の流れをよくする目的で、さまざまな特徴がさまざまな実施形態において一緒にグループ化されていることがわかる。この開示方法は、請求される実施形態が各請求項に明示的に記載されるよりも多くの特徴を組み込むという意図を反映するものとして解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、発明の主題は、単一の開示された実施形態のすべての特徴よりも少ない特徴にある。よって、以下の特許請求の範囲は、ここに詳細な説明に組み込まれ、各請求項は、別個に請求される主題として自立する。
【要約】
グラフ・ベースのオブジェクト間およびオブジェクト内分離を使用して画像を向上させるシステムおよび方法。1つの方法は、画像フレーム内の、複数のピクセルを含むオブジェクトを受領し、前記画像に対してオブジェクト間点群分離操作を実行し、前記オブジェクトの前記複数のピクセルを拡大することを含む。方法は、前記オブジェクトの前記複数のピクセルに対して空間的向上操作を実行し、前記オブジェクト間点群分離操作、前記複数のピクセルの前記拡大、および前記空間的向上操作に基づいて出力画像を生成することを含む。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図15E】
【図16】
【図17】
【図18】
【図19】