特許 7404359 アップスケーリングのための色再現の向上

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-15

(45)【発行日】2023-12-25

(54)【発明の名称】アップスケーリングのための色再現の向上

(51)【国際特許分類】

   G06T 1/00 20060101AFI20231218BHJP

【ＦＩ】

G06T1/00 510

【請求項の数】 17

(21)【出願番号】P 2021521153

(86)(22)【出願日】2019-10-17

(65)【公表番号】

(43)【公表日】2022-01-14

(86)【国際出願番号】 US2019056673

(87)【国際公開番号】W WO2020081770

(87)【国際公開日】2020-04-23

【審査請求日】2021-06-01

(31)【優先権主張番号】62/747,453

(32)【優先日】2018-10-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/440,828

(32)【優先日】2019-06-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(73)【特許権者】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】ジュー ミャオチー

(72)【発明者】

【氏名】高島 芳和

【審査官】橘 高志

(56)【参考文献】

【文献】特開平０８－１４９３２１（ＪＰ，Ａ）

【文献】Wenhan Yang et. al，Deep Edge Guided Recurrent Residual Learning for Image Super-Resolution，IEEE Transactions on Image Processing，2017年09月08日，Volume: 26, Issue: 12，pp.5895-5907，https://ieeexplore.ieee.org/document/8030140

【文献】Peiyu Dai et al.，A Remote Sensing Spatiotemporal Fusion Model of Landsat and Modis Data via Deep Learning，IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium，2018年07月27日，pp.7030-7033，https://ieeexplore.ieee.org/document/8518758

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

アップスケーリングプロセスにおいて色再現を向上させるための方法であって、前記方法は、
ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するステップと、
前記ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するためのトレーニングのためのニューラルネットワークに送るステップと、
前記ＲＧＢ予測データを色空間分離可能予測データに変換するステップと、
前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の第１の差分を算出することによって、第１の損失関数を計算するステップと、
前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するステップと、
前記色空間分離可能予測データから色予測データを抽出するステップと、
前記カラーフォーマットデータと前記色予測データとの間の第２の差分を算出することによって、第２の損失関数を計算するステップと、
前記第１の損失関数と前記第２の損失関数との間のバランスを調整するステップと、
を含み、
前記第１の損失関数と前記第２の損失関数との間のバランスを調整するステップは、前記バランスを見出すまで、前記第１の損失関数及び前記第２の損失関数に対する重みを調整して全体の画質と色再現との間の優先順位のバランスをとるステップを含むことを特徴とする方法。

【請求項2】

前記ＲＧＢフォーマットデータはＲＧＢフォーマット画像であり、前記色空間分離可能フォーマットデータは色空間分離可能フォーマット画像であることを特徴とする、請求項１に記載の方法。

【請求項3】

前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含むことを特徴とする、請求項１に記載の方法。

【請求項4】

前記色空間分離可能予測データから色予測データを抽出するステップは、
前記ＹＣｂＣｒフォーマットデータのカラーチャネルを抽出するステップ、
を含む、
ことを特徴とする、請求項３に記載の方法。

【請求項5】

前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータのＣｂＣｒチャネルを含むことを特徴とする、請求項４に記載の方法。

【請求項6】

前記色空間分離可能フォーマットデータはＬａｂフォーマットデータを含むことを特徴とする、請求項１に記載の方法。

【請求項7】

色再現を向上させたシステムであって、
ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するように、且つＲＧＢ予測データを色空間分離可能予測データに変換するように構成されるＲＧＢ－色空間分離可能変換器と、
前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するように、且つ前記色空間分離可能予測データから色予測データを抽出するように構成される色抽出器と、
前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の第１の差分を算出することによって第１の損失関数を計算するように、且つ前記カラーフォーマットデータと前記色予測データとの間の第２の差分を算出することによって第２の損失関数を計算するように構成される損失関数計算器と、
システム出力に適用される前記第１の損失関数の量及び前記第２の損失関数の量を制御するように構成される調整器と、
を含み、
前記調整器は、更に、前記システム出力を受け取るように、且つ前記調整器にフィードバックを提供して全体の画質と色再現との間のバランスを見出すように構成されるフィードバックユニット、
を含むことを特徴とするシステム。

【請求項8】

前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、前記色空間分離可能予測データはＹＣｂＣｒ予測データを含むことを特徴とする、請求項７に記載のシステム。

【請求項9】

前記色抽出器は、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのカラーチャネルを抽出するように構成されることを特徴とする、請求項８に記載のシステム。

【請求項10】

前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのＣｂＣｒチャネルを含むことを特徴とする、請求項９に記載のシステム。

【請求項11】

前記調整器は、
前記第１の損失関数を受け取って第１の出力を生成するように構成される第１の乗算器と、
前記第２の損失関数を受け取って第２の出力を生成するように構成される第２の乗算器と、
を含む、
ことを特徴とする、請求項７に記載のシステム。

【請求項12】

前記調整器は、更に、
前記第１の乗算器に適用されるべき第１の重みを生成するように、且つ前記第２の乗算器に適用されるべき第２の重みを生成するように構成される重み調整器、
を含む、
ことを特徴とする、請求項１１に記載のシステム。

【請求項13】

前記調整器は、更に、
前記第１の出力と前記第２の出力とを加算して前記システム出力を生成するように構成される加算器、
を含み、
前記第１の出力は、前記第１の損失関数に前記第１の重みを掛けた結果であり、前記第２の出力は、前記第２の損失関数に前記第２の重みを掛けた結果である、
ことを特徴とする、請求項１２に記載のシステム。

【請求項14】

ＲＧＢフォーマットデータを受け取る、色再現を向上させたシステムであって、
前記ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するように構成される第１の変換器であって、前記第１の変換器は、また、前記ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するニューラルネットワークに送るように構成される、第１の変換器と、
前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するように構成される第１の抽出器と、
前記ＲＧＢ予測データを色空間分離可能予測データに変換するように構成される第２の変換器と、
前記色空間分離可能予測データから色予測データを抽出するように構成される第２の抽出器と、
前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の差分を算出することによって、第１の損失関数を計算するように構成される第１の損失関数計算器と、
前記カラーフォーマットデータと前記色予測データとの間の差分を算出することによって、第２の損失関数を計算するように構成される第２の損失関数計算器と、
前記第１の損失関数と前記第２の損失関数との間のバランスを調整することによって、システム出力を制御するように構成される調整器と、
を含み、
全体の画質と色再現との間のいくつかの客観的基準を使用することによって、前記バランスを決定することを特徴とするシステム。

【請求項15】

前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、前記色空間分離可能予測データはＹＣｂＣｒ予測データを含むことを特徴とする、請求項１４に記載のシステム。

【請求項16】

前記第１の抽出器は、前記ＹＣｂＣｒフォーマットデータのカラーチャネルを抽出し、前記第２の抽出器は、前記ＹＣｂＣｒ予測データのカラーチャネルを抽出するように構成されることを特徴とする、請求項１５に記載のシステム。

【請求項17】

前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのＣｂＣｒチャネルを含むことを特徴とする、請求項１６に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願の相互参照〕
[0001] 本出願は、２０１８年１０月１８日に出願された「動画のための機械学習ベースの単一画像アップスケーリングアプリケーション（Ｍａｃｈｉｎｅ－Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｕｐｓｃａｌｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ ｆｏｒ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ）」という名称の同時係属中の米国仮特許出願第６２／７４７，４５３号の米国特許法第１１９条（ｅ）に基づく優先権の利益を主張するものである。上記関連出願の開示は、引用により本明細書に組み入れられる。

【0002】

[0002] 本開示は、画像の超解像アップスケーリングに関し、具体的には、アップスケーリングのための色再現の向上に関する。

【背景技術】

【0003】

[0003] 機械学習（ＭＬ）を用いて、画像の超解像アップスケーリングを実行することができる。しかしながら、従来のＭＬベースのアップスケーリングプロセスは、ディープニューラルネットワークアーキテクチャなしでＲＧＢ画像フォーマット入力を使用するときに、色ズレ及び画素間の明瞭な色分離の損失を含むいくつかの問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

[0004] 本開示は、画像の超解像アップスケーリングプロセスにおいて色再現の向上を提供するものである。

【課題を解決するための手段】

【0005】

[0005] 一実装形態では、アップスケーリングプロセスにおいて色再現を向上させるための方法を開示する。前記方法は、ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するステップと、前記ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するためのトレーニングのためのニューラルネットワークに送るステップと、前記ＲＧＢ予測データを色空間分離可能予測データに変換するステップと、前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の第１の差分を算出することによって、第１の損失関数を計算するステップと、前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するステップと、前記色空間分離可能予測データから色予測データを抽出するステップと、前記カラーフォーマットデータと前記色予測データとの間の第２の差分を算出することによって、第２の損失関数を計算するステップと、前記第１の損失関数と前記第２の損失関数との間のバランスを調整するステップと、を含む。

【0006】

[0006] 一実装形態では、前記ＲＧＢフォーマットデータはＲＧＢフォーマット画像であり、前記色空間分離可能フォーマットデータは色空間分離可能フォーマット画像である。一実装形態では、前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含む。一実装形態では、前記色空間分離可能予測データから色予測データを抽出するステップは、前記ＹＣｂＣｒフォーマットデータのカラーチャネルを抽出するステップを含む。一実装形態では、前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータのＣｂＣｒチャネルを含む。一実装形態では、前記色空間分離可能フォーマットデータはＬａｂフォーマットデータを含む。一実装形態では、前記第１の損失関数と前記第２の損失関数との間のバランスを調整するステップは、前記バランスを見出すまで、前記第１の損失関数及び前記第２の損失関数に対する重みを調整するステップを含む。

【0007】

[0007] 別の実装形態では、色再現を向上させたシステムを開示する。前記システムは、ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するように、且つＲＧＢ予測データを色空間分離可能予測データに変換するように構成されるＲＧＢ－色空間分離可能変換器と、前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するように、且つ前記色空間分離可能予測データから色予測データを抽出するように構成される色抽出器と、前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の第１の差分を算出することによって第１の損失関数を計算するように、且つ前記カラーフォーマットデータと前記色予測データとの間の第２の差分を算出することによって第２の損失関数を計算するように構成される損失関数計算器と、システム出力に適用される前記第１の損失関数の量及び前記第２の損失関数の量を制御するように構成される調整器と、を含む。

【0008】

[0008] 一実装形態では、前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、前記色空間分離可能予測データはＹＣｂＣｒ予測データを含む。一実装形態では、前記色抽出器は、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのカラーチャネルを抽出するように構成される。一実装形態では、前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのＣｂＣｒチャネルを含む。一実装形態では、前記調整器は、前記第１の損失関数を受け取って第１の出力を生成するように構成される第１の乗算器と、前記第２の損失関数を受け取って第２の出力を生成するように構成される第２の乗算器と、を含む。一実装形態では、前記調整器は、更に、前記第１の乗算器に適用されるべき第１の重みを生成するように、且つ前記第２の乗算器に適用されるべき第２の重みを生成するように構成される重み調整器を含む。一実装形態では、前記調整器は、更に、前記第１の出力と前記第２の出力とを加算して前記システム出力を生成するように構成される加算器を含み、前記第１の出力は、前記第１の損失関数に前記第１の重みを掛けた結果であり、前記第２の出力は、前記第２の損失関数に前記第２の重みを掛けた結果である。一実装形態では、前記調整器は、更に、前記システム出力を受け取るように、且つ前記重み調整器にフィードバックを提供して全体の画質と色再現との間のバランスを見出すように構成されるフィードバックユニットを含む。

【0009】

[0009] 更に別の実装形態では、ＲＧＢフォーマットデータを受け取る、色再現を向上させたシステムを開示する。前記システムは、前記ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するように構成される第１の変換器であって、前記第１の変換器は、また、前記ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するニューラルネットワークに送るように構成される、第１の変換器と、前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するように構成される第１の抽出器と、前記ＲＧＢ予測データを色空間分離可能予測データに変換するように構成される第２の変換器と、前記色空間分離可能予測データから色予測データを抽出するように構成される第２の抽出器と、前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の差分を算出することによって、第１の損失関数を計算するように構成される第１の損失関数計算器と、前記カラーフォーマットデータと前記色予測データとの間の差分を算出することによって、第２の損失関数を計算するように構成される第２の損失関数計算器と、前記第１の損失関数と前記第２の損失関数との間のバランスを調整することによって、システム出力を制御するように構成される調整器と、を含む。

【0010】

[0010] 一実装形態では、前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、前記色空間分離可能予測データはＹＣｂＣｒ予測データを含む。一実装形態では、前記色抽出器は、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのカラーチャネルを抽出するように構成される。一実装形態では、前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのＣｂＣｒチャネルを含む。一実装形態では、全体の画質と色再現との間のいくつかの客観的基準を使用することによって、前記バランスを決定する。

【0011】

[0011] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

【0012】

[0012] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。

【図面の簡単な説明】

【0013】

【図1】本開示の一実装形態による、アップスケーリングプロセスにおいて色再現を向上させるためのプロセスを示すフロー図である。

【図2】本開示の一実装形態による、色再現を向上させたシステムを示すブロック図である。

【図3】本開示の別の実装形態による、色再現を向上させたシステムのブロック図である。

【図4A】本開示の一実装形態による、コンピュータシステム及びユーザの図である。

【図4B】本開示の一実装形態による、色再現を向上させたアプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

【発明を実施するための形態】

【0014】

[0018] 上記のように、従来のＭＬベースのアップスケーリングプロセスは、いくつかの問題がある。例えば、色よりも輝度が優先されるので、単一チャネルのみ（例えば、ＹＣｂＣｒ画像からのＹ輝度チャネルのみがＲＧＢ画像から変換される）がよく使用される。また、ディープニューラルネットワークアーキテクチャなしでＲＧＢ画像フォーマット入力（すなわち、３チャネル入力）を使用するときに、アップスケーリングプロセスは、色ズレ及び色汚染を示すことがある。特に、色ズレは、人間の肌のトーンにおいて異なる印象を引き起こす（例えば、顔の肌のトーンが、緑すぎる又は赤すぎるように見える）。更に、カラフルなディテールを有するオブジェクトは、画素間の明瞭な色分離を損失する（例えば、赤と青の微細パターンを有するオブジェクトは、アップスケーリング後に紫のオブジェクトになる）。

【0015】

[0019] したがって、従来のプロセスの上記の問題に対処するために、本開示のいくつかの実装形態は、ＲＧＢ入力に加えて、ＭＬベースのトレーニングプロセスへの追加の入力を有することを提供するものである。

【0016】

[0020] 一実装形態では、ＲＧＢフォーマットデータを、輝度チャネルとカラーチャネルとに分離することができる（「色空間分離可能」）フォーマット（例えば、ＹＣｂＣｒ、Ｌａｂ）に変換して、色成分（例えば、ＹＣｂＣｒの場合にはＣｂ／Ｃｒチャネル）のみを、トレーニングプロセスへの入力として使用することによって、追加の入力を生成する。この実装形態では、追加の入力は、損失関数を用いる最適化段階中に使用することができる。更に、ＲＧＢベースの損失関数及び色成分のみに基づく（例えばＣｂＣｒ）損失関数に対する重みを制御して、全体の画質と色再現との間の優先順位のバランスをとる。

【0017】

[0021] これらの説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

【0018】

[0022] 図１は、本開示の一実装形態による、アップスケーリングプロセスにおいて色再現を向上させるためのプロセス１００を示すフロー図である。図１のアップスケーリングプロセス１００のステップを特定の順序で設計しているが、これらのステップは、プロセス１００の結果に影響を及ぼすことなく、任意の順序で実行することができる。

【0019】

[0023] 図１に示す実装形態では、ブロック１１０において、ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換する。一実装形態では、「データ」という用語は、画像を意味する。例えば、ＲＧＢフォーマットデータはＲＧＢフォーマット画像を意味することができ、色空間分離可能フォーマットデータは色空間分離可能フォーマット画像を意味することができる。一実装形態では、色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含む。別の実装形態では、色空間分離可能フォーマットデータはＬａｂフォーマットデータを含む。ブロック１２０において、ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するためのトレーニングのためのニューラルネットワークに送る。次に、ブロック１３０において、ＲＧＢ予測データを色空間分離可能予測データに変換する。

【0020】

[0024] 図１に示す実装形態では、ブロック１４０において、ＲＧＢフォーマットデータとＲＧＢ予測データとの間の差分を算出することによって、第１の損失関数を計算する。ブロック１５０において、色空間分離可能フォーマットデータからカラーフォーマットデータを抽出する。一実装形態では、色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、ＹＣｂＣｒフォーマットデータのカラーチャネル（すなわち、ＣｂＣｒチャネル）を使用することによって、カラーフォーマットデータを形成する。ブロック１６０において、ブロック１３０において生成された色空間分離可能予測データから色予測データを抽出する。一実装形態では、色空間分離可能予測データはＹＣｂＣｒ予測データを含み、ＹＣｂＣｒ予測データのカラーチャネル（すなわち、ＣｂＣｒチャネル）を使用することによって、色予測データを形成する。ブロック１７０において、カラーフォーマットデータと色予測データとの間の差分を算出することによって、第２の損失関数を計算する。

【0021】

[0025] 図１に示す実装形態では、ブロック１８０において、２つの損失関数の間のバランスを調整することによって、色再現出力を調整する。一実装形態では、ブロック１９０において、バランスを見出すまで、２つの損失関数に対する重みを調整することによって調整を行う。

【0022】

[0026] 図２は、本開示の一実装形態による、色再現を向上させたシステム２００を示すブロック図である。図２に示す実装形態では、色再現を向上させたシステム２００は、ＲＧＢ－色空間分離可能変換器２２０と、色抽出器２３０と、損失関数計算器２４０と、複数の乗算器２５０、２５２と、重み調整器２６０と、加算器２７０とを含む。

【0023】

[0027] 一実装形態では、ＲＧＢ－色空間分離可能変換器２２０は、ＲＧＢフォーマットデータ２１２を色空間分離可能フォーマットデータ２２２に変換するように構成される。一実装形態では、色空間分離可能フォーマットデータ２２２はＹＣｂＣｒフォーマットデータを含む。別の実装形態では、色空間分離可能フォーマットデータはＬａｂフォーマットデータを含む。ＲＧＢフォーマットデータ２１２は、ＲＧＢ予測データ２１４を生成するためのトレーニングのためのニューラルネットワーク２１０に送られる。ＲＧＢ－色空間分離可能変換器２２０は、また、ＲＧＢ予測データ２１４を色空間分離可能予測データ２２４に変換する。

【0024】

[0028] 一実装形態では、色抽出器２３０は、色空間分離可能フォーマットデータ２２２を受け取ってカラーフォーマットデータ２３２を抽出するように構成される。一実装形態では、色空間分離可能フォーマットデータ２２２はＹＣｂＣｒフォーマットデータを含み、ＹＣｂＣｒフォーマットデータのカラーチャネル（すなわち、ＣｂＣｒチャネル）を抽出することによって、カラーフォーマットデータ２３２を形成する。色抽出器２３０は、また、色空間分離可能予測データ２２４を受け取って色予測データ２３４を抽出するように構成される。一実装形態では、色空間分離可能予測データ２２４はＹＣｂＣｒ予測データを含み、ＹＣｂＣｒ予測データのカラーチャネル（すなわち、ＣｂＣｒチャネル）を抽出することによって、色予測データ２３４を形成する。

【0025】

[0029] 一実装形態では、損失関数計算器２４０は、ＲＧＢフォーマットデータ２１２とＲＧＢ予測データ２１４との間の差分を算出することによって第１の損失関数（ｆ（Ｌ₁））２４２を計算するように構成される。損失関数計算器２４０は、また、カラーフォーマットデータ２３２と色予測データ２３４との間の差分を算出することによって第２の損失関数（ｆ（Ｌ₂））２４４を計算するように構成される。

【0026】

[0030] 一実装形態では、重み調整器２６０は、出力に適用される損失関数の量を調整又は制御するように構成される。例えば、乗算器２５０によって第１の損失関数２４２に掛けられるべき第１の重み（ｗ₁）２６２を調整することによって、出力に適用される第１の損失関数（例えば、ＲＧＢ損失関数）の量を制御し、一方で、乗算器２５２によって第２の損失関数２４４に掛けられるべき第２の重み（ｗ₂）２６４を調整することによって、出力に適用される第２の損失関数（例えば、色空間分離可能損失関数）の量を制御する。加算器２７０は、乗算器２５０、２５２の出力を合計して、色再現を向上させたシステム２００の出力２７２を生成する。重み調整器２６０は、バランスを見出すまで、フィードバック２７４を用いて、２つの損失関数に対する重みを調整し続けるように構成される。一実装形態では、見る人が主観的にバランスに達したと判断したときに、バランスが達成される。別の実装形態では、全体の画質と色再現との間のバランスに達したといういくつかの客観的基準によって、バランスを決定する。図２に示す実装形態では、乗算器２５０、２５２、重み調整器２６０、加算器２７０、及びフィードバック２７４は、調整器と総称することができる。

【0027】

[0031] 一実装形態では、色再現を向上させたシステム２００は、１又は２以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート／ロジックアレイ（ＦＰＧＡ）、又はその他の等価集積又はディスクリート論理回路を含むハードウェアで全体が構成されるシステムである。別の実装形態では、色再現を向上させたシステム２００は、ハードウェアとソフトウェアの組み合わせで構成される。例えば、ＲＧＢ－色空間分離可能変換器２２０、色抽出器２３０、及び損失関数計算器２４０は、ハードウェアで構成され、一方、複数の乗算器２５０、２５２、重み調整器２６０、加算器２７０、及びフィードバック２７４の機能は、損失関数計算器２４０又は別個のプロセッサ内に常駐するソフトウェアとして構成される。

【0028】

[0032] 図３は、本開示の別の実装形態による、色再現を向上させたシステム３００のブロック図である。図３に示す実装形態では、色再現を向上させたシステム３００は、ＲＧＢフォーマットデータ－色空間分離可能フォーマットデータ変換器３２０と、カラーフォーマットデータ抽出器３３０と、ＲＧＢ予測データ－色空間分離可能予測データ変換器３４０と、色予測データ抽出器３５０と、第１の損失関数計算器３６０と、第２の損失関数計算器３７０と、重み調整器３８０とを含む。

【0029】

[0033] 一実装形態では、ＲＧＢフォーマットデータ－色空間分離可能フォーマットデータ変換器３２０は、ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するように構成される。一実装形態では、色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含む。別の実装形態では、色空間分離可能フォーマットデータはＬａｂフォーマットデータを含む。ＲＧＢフォーマットデータ－色空間分離可能フォーマットデータ変換器３２０は、また、ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するためのトレーニングのためのニューラルネットワーク３１０に送るように構成される。一実装形態では、ＲＧＢ予測データ－色空間分離可能予測データ変換器３４０は、ニューラルネットワーク３１０によって生成されたＲＧＢ予測データを色空間分離可能予測データに変換するように構成される。

【0030】

[0034] 図３に示す実装形態では、カラーフォーマットデータ抽出器３３０は、色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するように構成され、一方、色予測データ抽出器３５０は、色空間分離可能予測データから色予測データを抽出するように構成される。一実装形態では、色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、ＹＣｂＣｒフォーマットデータのカラーチャネル（すなわち、ＣｂＣｒチャネル）を使用することによって、カラーフォーマットデータを形成する。一実装形態では、色空間分離可能予測データはＹＣｂＣｒ予測データを含み、ＹＣｂＣｒ予測データのカラーチャネル（すなわち、ＣｂＣｒチャネル）を使用することによって、色予測データを形成する。

【0031】

[0035] 図３に示す実装形態では、第１の損失関数計算器３６０は、ＲＧＢフォーマットデータとＲＧＢ予測データとの間の差分を算出することによって、第１の損失関数を計算するように構成される。第２の損失関数計算器３７０は、カラーフォーマットデータと色予測データとの間の差分を算出することによって、第２の損失関数を計算するように構成される。

【0032】

[0036] 図３に示す実装形態では、重み調整器３８０は、第１の損失関数と第２の損失関数との間のバランスを調整することによって、色再現出力３８２を調整又は制御するように構成される。一実装形態では、見る人が主観的にバランスに達したと判断したときに、バランスが達成される。別の実装形態では、全体の画質と色再現との間のバランスに達したといういくつかの客観的基準によって、バランスを決定する。

【0033】

[0037] 図４Ａは、本開示の一実装形態による、コンピュータシステム４００及びユーザ４０２の図である。ユーザ４０２は、コンピュータシステム４００を使用して、アップスケーリングプロセスにおいて色再現を向上させるためのアプリケーションを実装する。

【0034】

[0038] コンピュータシステム４００は、図４Ｂの色再現を向上させたアプリケーション４９０を記憶して実行する。更に、コンピュータシステム４００は、ソフトウェアプログラム４０４と通信することができる。ソフトウェアプログラム４０４は、色再現を向上させたアプリケーションのためのソフトウェアコードを含むことができる。ソフトウェアプログラム４０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

【0035】

[0039] 更に、コンピュータシステム４００は、ネットワーク４８０に接続することができる。ネットワーク４８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク４８０は、色再現を向上させたアプリケーション内で使用されるエンジン及びデータを協調させるサーバ４８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク４８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。

【0036】

[0040] 図４Ｂは、本開示の一実装形態による、色再現を向上させたアプリケーション４９０をホストするコンピュータシステム４００を示す機能ブロック図である。コントローラ４１０はプログラマブルプロセッサであり、コンピュータシステム４００及びそのコンポーネントの動作を制御する。コントローラ４１０は、メモリ４２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御する。その実行において、コントローラ４１０は、色再現を向上させたアプリケーション４９０にソフトウェアシステムを提供して、例えば、色再現を向上させたアプリケーション内のエンジン及びデータ抽出部の作成及び構成を可能にする。代替的に、このサービスは、コントローラ４１０又はコンピュータシステム４００において別個のハードウェアコンポーネントとして実装することができる。

【0037】

[0041] メモリ４２０は、コンピュータシステム４００の他のコンポーネントによって使用するためにデータを一時的に記憶する。一実装形態では、メモリ４２０はＲＡＭとして実装される。一実装形態では、メモリ４２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。

【0038】

[0042] ストレージ４３０は、コンピュータシステム４００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ４３０は、色再現を向上させたアプリケーション４９０によって使用されるデータを記憶する。一実装形態では、ストレージ４３０は、ハードディスクドライブである。

【0039】

[0043] メディアデバイス４４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。一実装形態では、例えば、メディアデバイス４４０は、光ディスクドライブである。

【0040】

[0044] ユーザインターフェイス４５０は、コンピュータシステム４００のユーザからユーザ入力を受け取ってユーザ４０２に情報を提示するためのコンポーネントを含む。一実装形態では、ユーザインターフェイス４５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ４１０は、ユーザ４０２からの入力を使用して、コンピュータシステム４００の動作を調整する。

【0041】

[0045] Ｉ／Ｏインターフェイス４６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。一実装形態では、Ｉ／Ｏインターフェイス４６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装形態では、Ｉ／Ｏインターフェイス４６０は、外部装置と無線で通信するための無線インターフェイスを含む。

【0042】

[0046] ネットワークインターフェイス４７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。

【0043】

[0047] コンピュータシステム４００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図４Ｂに具体的に示されていない。他の実装形態では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。

【0044】

[0048] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。

【0045】

[0049] 本開示の様々な実装は、電子ハードウェア、コンピュータソフトウェア、又はこれらの技術の組み合わせの形で実現される。いくつかの実装は、１又は２以上のコンピュータ装置により実行される１又は２以上のコンピュータプログラムを含む。一般に、コンピュータ装置は、１又は２以上のプロセッサ、１又は２以上のデータ記憶構成要素（例えば、ハードディスクドライブ及びフロッピーディスクドライブ、ＣＤ－ＲＯＭドライブ、及び磁気テープドライブなどの揮発性又は不揮発性メモリモジュール及び持続的な光学及び磁気記憶装置）、１又は２以上の入力装置（例えば、ゲームコントローラ、マウス及びキーボード）、及び１又は２以上の出力装置（例えば、ディスプレイ装置）を含む。

【0046】

[0050] コンピュータプログラムは、通常、持続的な記憶媒体（すなわち、非一時的媒体）に記憶され、実行時にメモリにコピーされる実行可能なコードを含む。少なくとも１つのプロセッサが、所定の順序でメモリからプログラム命令を取り出すことによって、コードを実行する。プログラムコードの実行中には、コンピュータは、入力及び／又は記憶装置からデータを受け取り、データに対して処理を実行し、これにより得られたデータを出力及び／又は記憶装置に供給する。

【0047】

[0051] 当業者であれば、本明細書で説明した様々な例示的なモジュール及び方法ステップを電子ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせとして実装することができると理解するであろう。このハードウェアとソフトウェアの互換性を明確に示すために、本明細書では、様々な例示的なモジュール及び方法ステップについて、一般にこれらの機能面から説明した。このような機能をハードウェア又はソフトウェアのいずれとして実装するかは、特定の用途及びシステム全体に課せられる設計制約に依存する。当業者であれば、説明した機能を各特定の用途のために様々な方法で実装することができるが、このような実装の決定を、本開示の範囲からの逸脱を引き起こすものとして解釈すべきではない。また、モジュール又はステップ内の機能のグループ化は、説明を容易にするためのものである。本開示から逸脱することなく、特定の機能を１つのモジュール又はステップから別のモジュール又はステップへ移すことができる。

【0048】

[0052] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

【符号の説明】

【0049】

１００ 色再現を向上させるためのプロセス／アップスケーリングプロセス
１１０ ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換
１２０ ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するためのトレーニングのためのニューラルネットワークに送る
１３０ ＲＧＢ予測データを色空間分離可能予測データに変換
１４０ ＲＧＢフォーマットデータとＲＧＢ予測データとの間の差分を算出することによって、第１の損失関数を計算
１５０ 色空間分離可能フォーマットデータからカラーフォーマットデータを抽出
１６０ 色空間分離可能予測データから色予測データを抽出
１７０ カラーフォーマットデータと色予測データとの間の差分を算出することによって、第２の損失関数を計算
１８０ ２つの損失関数に対する重みを調整して、画質と色再現との間のバランスを制御
１９０ バランスを見出したか？
２００ 色再現を向上させたシステム
２１０ ニューラルネットワーク
２１２ ＲＧＢフォーマットデータ
２１４ ＲＧＢ予測データ
２２０ ＲＧＢ－色空間分離可能変換器
２２２ 色空間分離可能フォーマットデータ
２２４ 色空間分離可能予測データ
２３０ 色抽出器
２３２ カラーフォーマットデータ
２３４ 色予測データ
２４０ 損失関数計算器
２４２ 第１の損失関数（ｆ（Ｌ₁））
２４４ 第２の損失関数（ｆ（Ｌ₂））
２５０，２５２ 乗算器
２６０ 重み調整器
２６２ 第１の重み（ｗ₁）
２６４ 第２の重み（ｗ₂）
２７０ 加算器
２７２ 出力
２７４ フィードバック
３００ 色再現を向上させたシステム
３１０ ニューラルネットワーク
３２０ ＲＧＢフォーマットデータ－色空間分離可能フォーマットデータ変換器
３３０ カラーフォーマットデータ抽出器
３４０ ＲＧＢ予測データ－色空間分離可能予測データ変換器
３５０ 色予測データ抽出器
３６０ 第１の損失関数計算器
３７０ 第２の損失関数計算器
３８０ 重み調整器
３８２ 色再現出力
４００ コンピュータシステム
４０２ ユーザ
４０４ ソフトウェアプログラム
４１０ コントローラ
４２０ メモリ
４３０ ストレージ
４４０ メディアデバイス
４５０ ユーザインターフェイス
４６０ Ｉ／Ｏインターフェイス
４７０ ネットワークインターフェイス
４８０ ネットワーク
４８５ サーバ
４９０ 色再現を向上させたアプリケーション

【図1】

【図2】

【図3】

【図4A】

【図4B】