特表 2022-505275 大きなサイズの画像のトレーニング及びアップスケーリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-14

(54)【発明の名称】大きなサイズの画像のトレーニング及びアップスケーリング

(51)【国際特許分類】

   G06T 3/40 20060101AFI20220106BHJP

【ＦＩ】

G06T3/40 725

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021521242

(86)(22)【出願日】2019-10-17

(85)【翻訳文提出日】2021-06-01

(86)【国際出願番号】 US2019056675

(87)【国際公開番号】W WO2020081772

(87)【国際公開日】2020-04-23

(31)【優先権主張番号】62/747,453

(32)【優先日】2018-10-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/442,131

(32)【優先日】2019-06-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】ジュー ミャオチー

(72)【発明者】

【氏名】高島 芳和

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB06

5B057CB12

5B057CB16

5B057CD05

5B057CE08

5B057DB02

5B057DB09

5B057DC40

(57)【要約】

大きなサイズの入力画像をトレーニング及びアップスケーリングすることは、前記大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割することと、対象パディング画素を使用して、前記複数の小さなサイズのサブピクチャのうちの各サブピクチャを拡大して、拡大されたサブピクチャを生成することと、ＭＬベースのアップスケーラーを使用して各サブピクチャをアップスケーリングして、拡大されてアップスケーリングされたサブピクチャを生成することと、前記拡大されてアップスケーリングされたサブピクチャを、各サブピクチャの元のサイズにアップスケーリング係数を掛けたものに等しいアップスケーリングサイズにトリミングすることと、前記複数のサブピクチャに対して、拡大、アップスケーリング、及びトリミングを繰り返すことと、前記複数のトリミングされたサブピクチャを連結して、出力画像を生成することと、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

大きなサイズの入力画像をトレーニング及びアップスケーリングするための方法であって、前記方法は、
前記大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割するステップと、
対象パディング画素を使用して、前記複数の小さなサイズのサブピクチャのうちの各サブピクチャを拡大して、拡大されたサブピクチャを生成するステップと、
ＭＬベースのアップスケーラーを使用して各サブピクチャをアップスケーリングして、拡大されてアップスケーリングされたサブピクチャを生成するステップと、
前記拡大されてアップスケーリングされたサブピクチャを、各サブピクチャの元のサイズにアップスケーリング係数を掛けたものに等しいアップスケーリングサイズにトリミングするステップと、
前記複数のサブピクチャに対して、拡大、アップスケーリング、及びトリミングを繰り返すステップと、
前記複数のトリミングされたサブピクチャを連結して、出力画像を生成するステップと、
を含むことを特徴とする方法。

【請求項2】

各サブピクチャを拡大するステップは、
各サブピクチャの周囲に余分の画素をパディングする方法を決定するステップと、
各サブピクチャの周囲に前記余分の画素の小領域を追加するステップと、
を含む、
ことを特徴とする、請求項１に記載の方法。

【請求項3】

小領域を追加するステップは、前記小領域毎にタイプを決定するステップを含むことを特徴とする、請求項２に記載の方法。

【請求項4】

前記小領域の第１のタイプは、
前記大きなサイズの画像のアクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む、
ことを特徴とする、請求項３に記載の方法。

【請求項5】

更に、
前記小領域が前記第１のタイプであると判断されたときに、各サブピクチャを前記小領域の方向に拡張するステップ、
を含む、
ことを特徴とする、請求項４に記載の方法。

【請求項6】

前記小領域の第２のタイプは、
前記大きなサイズの画像のアクティブピクチャエリア内に存在するのではなく、各サブピクチャのエッジ上に存在する画素を有する前記小領域を含む、
ことを特徴とする、請求項３に記載の方法。

【請求項7】

更に、
前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、各サブピクチャを拡張するステップ、
を含む、
ことを特徴とする、請求項６に記載の方法。

【請求項8】

前記小領域の第３のタイプは、
前記大きなサイズの画像のアクティブピクチャエリア内に存在するのではなく、各サブピクチャのコーナー上に存在する画素を有する前記小領域を含む、
ことを特徴とする、請求項３に記載の方法。

【請求項9】

更に、
前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、各サブピクチャを拡張するステップ、
を含む、
ことを特徴とする、請求項８に記載の方法。

【請求項10】

大サイズ画像アップスケーリングシステムであって、
大きなサイズの入力画像を複数のサブピクチャに分割するように構成される画像分割部と、
各サブピクチャの周囲に余分の画素を追加することによって前記複数のサブピクチャのうちの各サブピクチャを拡張して、拡大されたサブピクチャを生成するように構成されるサブピクチャ拡張部であって、
前記拡大されたサブピクチャをニューラルネットワークに送って、前記拡大されたサブピクチャをトレーニング及びアップスケーリングするようにする、サブピクチャ拡張部と、
前記拡大されてアップスケーリングされたサブピクチャを受け取って、元のサブピクチャのサイズにアップスケーリング係数を掛けたものに対応するサイズにトリミングするように構成されるサブピクチャトリミング部と、
前記複数のサブピクチャのうちの全てのトリミングされたサブピクチャを連結して、出力画像を再構成するように構成される画像充填部と、
を含むことを特徴とするシステム。

【請求項11】

前記サブピクチャ拡張部は、各サブピクチャの周囲に前記余分の画素の小領域を追加することによって、各サブピクチャの周囲に前記余分の画素を追加することを特徴とする、請求項１０に記載のシステム。

【請求項12】

小領域を追加することは、前記小領域毎にタイプを決定することを含むことを特徴とする、請求項１１に記載のシステム。

【請求項13】

前記小領域の第１のタイプは、
前記大きなサイズの入力画像のアクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む、
ことを特徴とする、請求項１２に記載のシステム。

【請求項14】

前記サブピクチャ拡張部は、更に、前記小領域が前記第１のタイプであると判断されたときに、各サブピクチャを前記小領域の方向に拡張するように構成されることを特徴とする、請求項１３に記載のシステム。

【請求項15】

前記小領域の第２のタイプは、
前記大きなサイズの入力画像のアクティブピクチャエリア内に存在するのではなく、拡張された各サブピクチャのエッジ上に存在する画素を有する前記小領域を含む、
ことを特徴とする、請求項１２に記載のシステム。

【請求項16】

前記サブピクチャ拡張部は、更に、前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、各サブピクチャを拡張するように構成されることを特徴とする、請求項１５に記載のシステム。

【請求項17】

前記小領域の第３のタイプは、
前記大きなサイズの入力画像のアクティブピクチャエリア内に存在するのではなく、拡張された各サブピクチャのコーナー上に存在する画素を有する前記小領域を含む、
ことを特徴とする、請求項１２に記載のシステム。

【請求項18】

前記サブピクチャ拡張部は、更に、前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、各サブピクチャを拡張するように構成されることを特徴とする、請求項１７に記載のシステム。

【請求項19】

大きなサイズの入力画像をトレーニング及びアップスケーリングするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
前記大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割することと、
対象パディング画素を使用して、前記複数の小さなサイズのサブピクチャのうちの各サブピクチャを拡大して、拡大されたサブピクチャを生成することと、
ＭＬベースのアップスケーラーを使用して各サブピクチャをアップスケーリングして、拡大されてアップスケーリングされたサブピクチャを生成することと、
前記拡大されてアップスケーリングされたサブピクチャを、各サブピクチャの元のサイズにアップスケーリング係数を掛けたものに等しいアップスケーリングサイズにトリミングすることと、
前記コンピュータに、前記複数のサブピクチャの拡大、アップスケーリング、及びトリミングを行わせる実行可能命令を繰り返すことと、
前記複数のトリミングされたサブピクチャを連結して、出力画像を生成することと、
を行わせる、
ことを特徴とする非一時的コンピュータ可読記憶媒体。

【請求項20】

コンピュータに各サブピクチャを拡大させる前記実行可能命令は、実行可能命令を含み、前記実行可能命令は、コンピュータに、
各サブピクチャの周囲に余分の画素をパディングする方法を決定することと、
前記余分の画素の小領域を追加することと、
を行わせる、
ことを特徴とする、請求項１９に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願の相互参照〕
[0001] 本出願は、２０１８年１０月１８日に出願された「動画のための機械学習ベースの単一画像アップスケーリングアプリケーション（Ｍａｃｈｉｎｅ－Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｕｐｓｃａｌｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ ｆｏｒ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ）」という名称の同時係属中の米国仮特許出願第６２／７４７，４５３号の米国特許法第１１９条（ｅ）に基づく優先権の利益を主張するものである。上記関連出願の開示は、引用により本明細書に組み入れられる。

【0002】

[0002] 本開示は、画像をトレーニング及びアップスケーリングすることに関し、具体的には、大きなサイズの入力画像をトレーニング及びアップスケーリングすることに関する。

【背景技術】

【0003】

[0003] 機械学習（ＭＬ）を用いて、画像の超解像アップスケーリングを実行することができる。しかしながら、従来のＭＬベースのトレーニング及びアップスケーリングプロセスは、いくつかの問題がある。例えば、特に多くの層を有するディープニューラルネットワークで対象画像サイズが増加すると、ＭＬベースのトレーニング及びアップスケーリングに必要なメモリサイズが指数関数的に増加する。アドバンストニューラルネットワークベースのトレーニング及びアップスケーリングプロセスを使用しながら、必要なメモリサイズを実用的な範囲内で維持するために、入力／出力画像サイズから独立した方法が望まれる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

[0004] 本開示は、大きなサイズの入力画像をトレーニング及びアップスケーリングすることを提供するものである。

【課題を解決するための手段】

【0005】

[0005] 一実装形態では、大きなサイズの入力画像をトレーニング及びアップスケーリングするための方法を開示する。前記方法は、前記大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割するステップと、対象パディング画素を使用して、前記複数の小さなサイズのサブピクチャのうちの各サブピクチャを拡大して、拡大されたサブピクチャを生成するステップと、ＭＬベースのアップスケーラーを使用して各サブピクチャをアップスケーリングして、拡大されてアップスケーリングされたサブピクチャを生成するステップと、前記拡大されてアップスケーリングされたサブピクチャを、各サブピクチャの元のサイズにアップスケーリング係数を掛けたものに等しいアップスケーリングサイズにトリミングするステップと、前記複数のサブピクチャに対して、拡大、アップスケーリング、及びトリミングを繰り返すステップと、前記複数のトリミングされたサブピクチャを連結して、出力画像を生成するステップと、を含む。

【0006】

[0006] 一実装形態では、各サブピクチャを拡大するステップは、各サブピクチャの周囲に余分の画素をパディングする方法を決定するステップと、各サブピクチャの周囲に前記余分の画素の小領域を追加するステップと、を含む。一実装形態では、小領域を追加するステップは、前記小領域毎にタイプを決定するステップを含む。一実装形態では、前記小領域の第１のタイプは、前記大きなサイズの画像のアクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む。一実装形態では、前記方法は、更に、前記小領域が前記第１のタイプであると判断されたときに、各サブピクチャを前記小領域の方向に拡張するステップを含む。一実装形態では、前記小領域の第２のタイプは、前記大きなサイズの画像のアクティブピクチャエリア内に存在するのではなく、各サブピクチャのエッジ上に存在する画素を有する前記小領域を含む。一実装形態では、前記方法は、更に、前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、各サブピクチャを拡張するステップを含む。一実装形態では、前記小領域の第３のタイプは、前記大きなサイズの画像のアクティブピクチャエリア内に存在するのではなく、各サブピクチャのコーナー上に存在する画素を有する前記小領域を含む。一実装形態では、前記方法は、更に、前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、各サブピクチャを拡張するステップを含む。

【0007】

[0007] 別の実装形態では、大サイズ画像アップスケーリングシステムを開示する。前記システムは、大きなサイズの入力画像を複数のサブピクチャに分割するように構成される画像分割部と、各サブピクチャの周囲に余分の画素を追加することによって前記複数のサブピクチャのうちの各サブピクチャを拡張して、拡大されたサブピクチャを生成するように構成されるサブピクチャ拡張部であって、前記拡大されたサブピクチャをニューラルネットワークに送って、前記拡大されたサブピクチャをトレーニング及びアップスケーリングするようにする、サブピクチャ拡張部と、前記拡大されてアップスケーリングされたサブピクチャを受け取って、元のサブピクチャのサイズにアップスケーリング係数を掛けたものに対応するサイズにトリミングするように構成されるサブピクチャトリミング部と、前記複数のサブピクチャのうちの全てのトリミングされたサブピクチャを連結して、出力画像を再構成するように構成される画像充填部と、を含む。

【0008】

[0008] 一実装形態では、前記サブピクチャ拡張部は、各サブピクチャの周囲に前記余分の画素の小領域を追加することによって、各サブピクチャの周囲に前記余分の画素を追加する。一実装形態では、小領域を追加することは、前記小領域毎にタイプを決定することを含む。一実装形態では、前記小領域の第１のタイプは、前記大きなサイズの入力画像のアクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む。一実装形態では、前記サブピクチャ拡張部は、更に、前記小領域が前記第１のタイプであると判断されたときに、各サブピクチャを前記小領域の方向に拡張するように構成される。一実装形態では、前記小領域の第２のタイプは、前記大きなサイズの入力画像のアクティブピクチャエリア内に存在するのではなく、拡張された各サブピクチャのエッジ上に存在する画素を有する前記小領域を含む。一実装形態では、前記サブピクチャ拡張部は、更に、前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、各サブピクチャを拡張するように構成される。一実装形態では、前記小領域の第３のタイプは、前記大きなサイズの入力画像のアクティブピクチャエリア内に存在するのではなく、拡張された各サブピクチャのコーナー上に存在する画素を有する前記小領域を含む。一実装形態では、前記サブピクチャ拡張部は、更に、前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、各サブピクチャを拡張するように構成される。

【0009】

[0009] 更に別の実装形態では、大きなサイズの入力画像をトレーニング及びアップスケーリングするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、前記大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割することと、対象パディング画素を使用して、前記複数の小さなサイズのサブピクチャのうちの各サブピクチャを拡大して、拡大されたサブピクチャを生成することと、ＭＬベースのアップスケーラーを使用して各サブピクチャをアップスケーリングして、拡大されてアップスケーリングされたサブピクチャを生成することと、前記拡大されてアップスケーリングされたサブピクチャを、各サブピクチャの元のサイズにアップスケーリング係数を掛けたものに等しいアップスケーリングサイズにトリミングすることと、前記コンピュータに、前記複数のサブピクチャの拡大、アップスケーリング、及びトリミングを行わせる実行可能命令を繰り返すことと、前記複数のトリミングされたサブピクチャを連結して、出力画像を生成することと、を行わせる。

【0010】

[0010] 一実装形態では、コンピュータに各サブピクチャを拡大させる前記実行可能命令は、実行可能命令を含み、前記実行可能命令は、コンピュータに、各サブピクチャの周囲に余分の画素をパディングする方法を決定することと、前記余分の画素の小領域を追加することと、を行わせる。

【0011】

[0011] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

【0012】

[0012] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。

【図面の簡単な説明】

【0013】

【図1A】６つの小さなサイズのサブピクチャに分割される大きなサイズの入力画像を示す図である。

【図1B】サブピクチャの処理及びサブピクチャからの出力画像の形成を示す図である。

【図2】本開示の一実装形態による、（図１Ｂに関して説明した）拡大プロセスを示す詳細フロー図である。

【図3】本開示の一実装形態による、大きなサイズの画像をトレーニング及びアップスケーリングするためのプロセスを示すフローチャートである。

【図4】本開示の一実装形態によるパディングプロセスを示す詳細フローチャートである。

【図5】本開示の一実装形態によるトリミングプロセスを示す詳細フローチャートである。

【図6】本開示の一実装形態による、大サイズ画像アップスケーリングシステムを示すブロック図である。

【図7A】本開示の一実装形態による、大サイズ画像アップスケーリングシステム及びユーザの図である。

【図7B】本開示の一実装形態による、大サイズ画像アップスケーリングアプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

【発明を実施するための形態】

【0014】

[0022] 上記のように、従来のＭＬベースのトレーニング及びアップスケーリングプロセスは、いくつかの問題がある。例えば、特に多くの層を有するディープニューラルネットワークで対象画像サイズが増加すると、ＭＬベースのトレーニング及びアップスケーリングに必要なメモリサイズが指数関数的に増加する。アドバンストニューラルネットワークベースのトレーニング及びアップスケーリングプロセスを使用しながら、必要なメモリサイズを実用的な範囲内で維持するために、入力／出力画像サイズから独立した方法が望まれる。

【0015】

[0023] 従来のプロセスの上記の問題に対処するために、本開示のいくつかの実装形態は、（１）大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割することと、（２）サブピクチャの周囲の対象パディング画素によって、各サブピクチャを拡大することと、（３）拡大されたサブピクチャをアップスケーリングすることと、（４）拡大されてアップスケーリングされたサブピクチャから画像エリアをトリミングすることと、（５）トリミングされたサブピクチャ画像を連結して、アップスケーリングされた出力画像を再構成することと、を提供するものである。

【0016】

[0024] これらの説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

【0017】

[0025] 図１Ａ及び図１Ｂは、本開示の一実装形態による、大きなサイズの画像をトレーニング及びアップスケーリングするためのプロセスを示すフロー図を形成する。一実装形態では、大きなサイズの画像は、高精細（ＨＤ）以上の画像を含む。例えば、ＨＤ画像は、１９２０ｘ１０８０画素の解像度を有すると定義することができ、一方、４Ｋなどのより高解像度の画像は、３８４０ｘ２１６０画素の解像度を有すると定義することができる。したがって、ＨＤ画像又は４Ｋ画像は、大きなサイズの画像として分類することができ、該画像は、トレーニングのための複雑なニューラルネットワーク層への１つの単一入力画像として処理することができない。

【0018】

[0026] 図１Ａに示す実装形態は、６つの小さなサイズのサブピクチャ１１０、１２０、１３０、１４０、１５０、１６０に分割される大きなサイズの入力画像１００を示す。図１Ｂは、サブピクチャの処理及びサブピクチャからの出力画像の形成を示す。図１Ｂは、６つのサブピクチャのうちの２つに対するプロセスを示す。しかしながら、残りの４つのサブピクチャも、図示の２つのサブピクチャに対するプロセスと同様に処理することができる。

【0019】

[0027] 小さなサイズのサブピクチャがどのくらい小さい必要があるかに留意することは、トレーニングに使用されるニューラルネットワークのメモリサイズ及び複雑さに依存する。すなわち、メモリサイズが大きいほど、より大きなサイズのサブピクチャを用いる処理が可能になり、一方、ニューラルネットワークが複雑になるほど、より小さなサイズのサブピクチャが必要になる。一例では、トレーニングのために送ることができるサブピクチャの最大サイズは、６４ｘ６４画素又は１２８ｘ１２８画素である。

【0020】

[0028] 図１Ｂに示す実装形態では、サブピクチャのうちの各サブピクチャ１３０、１６０を別個に処理する。最初に、拡大プロセス１７０を使用して、サブピクチャの周囲の対象パディング画素によって、各サブピクチャを拡大する。この拡大プロセス１７０は、図２に示され、図２の説明の項で詳細に説明する。

【0021】

[0029] 図１Ｂに示す実装形態では、（拡大プロセス１７０によって）各サブピクチャをパディングして、拡大されたサブピクチャ１３２、１６２を形成する。次に、（ニューラルネットワークベースのアップスケーリングプロセス１８０によって）拡大されたサブピクチャ１３２、１６２をアップスケーリングする。したがって、図１Ｂのアップスケーリングプロセス１８０では、必要なメモリサイズは、入力画像全体のサイズではなく、各サブピクチャのサイズ及びニューラルネットワークの複雑さによって規定される。

【0022】

[0030] 図１Ｂは、拡大されてアップスケーリングされたサブピクチャ１３４、１６４を示す。拡大されてアップスケーリングされたサブピクチャ１３４、１６４の各々をトリミングして、サブピクチャ１３６、１６６の元の画像エリアを生成する。トリミングされたサブピクチャ画像１１６、１２６、１３６、１４６、１５６、１６６を連結して、アップスケーリングされた出力画像１９０を再構成する。

【0023】

[0031] 図２は、本開示の一実装形態による、（図１Ｂに関して説明した）拡大プロセス１７０を示す詳細フロー図である。図２に示す実装形態は、追加のパディング／画素領域Ａ、Ｂ、Ｃを用いて、１つのサブピクチャ１３０を拡大して、拡大されたサブピクチャ１３２を生成することを示す。図２は、サブピクチャ１３０についてのみ拡大プロセスを示すが、サブピクチャ１３０についてここで説明されるのと同じプロセスを使用して、残りのサブピクチャを拡大することができる。

【0024】

[0032] 一実装形態では、サブピクチャ１３０に追加されるべき追加のパディング／画素領域は、８つの小領域（例えば、２つの側部、上部及び下部、及び４つのコーナー）を含む。この実装形態では、８つの小領域は、３つのタイプのパッド設計（例えば、Ａ、Ｂ、Ｃ）に分類される。

【0025】

[0033] 一例では、タイプＡのパッド設計は、アクティブピクチャエリア１００内に存在する小領域のために使用される。したがって、タイプＡのパッド設計は、画像エリアを４方向に拡張することによって形成される。図２では、タイプＡのパッド設計は、左の小領域、下の小領域、及び左下コーナーの小領域のために使用される。したがって、拡大されたサブピクチャ１３２は、画像エリアを４方向に拡張することによって、それらの小領域（すなわち、左の小領域、下の小領域、及び左下コーナーの小領域）を形成することを示している。

【0026】

[0034] 別の例では、タイプＢのパッド設計は、アクティブピクチャエリア１００内に存在するのではなく、エッジ（例えば、左、右、上、又は下）に存在する小領域のために使用される。したがって、タイプＢのパッド設計は、エッジ上でバタフライ画像を使用して形成される。図２では、タイプＢのパッド設計は、アクティブピクチャエリア１００内に存在せず且つコーナーのいずれにも存在しない、上の小領域及び右の小領域のために使用される。したがって、拡大されたサブピクチャ１３２は、エッジ上でバタフライ画像を使用して、それらの小領域（すなわち、上の小領域及び右の小領域）を形成することを示している。

【0027】

[0035] 別の例では、タイプＣのパッド設計は、アクティブピクチャエリア１００内に存在するのではなく、コーナー（例えば、左上コーナー、右上コーナー、左下コーナー、又は右下コーナー）に存在する小領域のために使用される。したがって、タイプＣのパッド設計は、コーナー点上でバタフライ画像を使用して形成される。図２では、タイプＣのパッド設計は、アクティブピクチャエリア１００内に存在せず且つコーナーに存在する、左上コーナーの小領域、右上コーナーの小領域、及び右下コーナーの小領域のために使用される。したがって、拡大されたサブピクチャ１３２は、コーナー点上でバタフライ画像を使用して、それらの小領域（すなわち、左上コーナーの小領域、右上コーナーの小領域、及び右下コーナーの小領域）を形成することを示している。

【0028】

[0036] 図３は、本開示の一実装形態による、大きなサイズの画像をトレーニング及びアップスケーリングするためのプロセス３００を示すフローチャートである。図３に示す実装形態では、ブロック３１０において、大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割する。図１Ａは、６つの小さなサイズのサブピクチャ１１０、１２０、１３０、１４０、１５０、１６０に分割される大きなサイズの入力画像１００の一例を示す。

【0029】

[0037] ブロック３２０において、サブピクチャの周囲の対象パディング画素を使用して、各サブピクチャを拡大する。一実装形態では、拡大プロセスは、各サブピクチャの周囲に余分のパディング／画素を追加して、拡大されたサブピクチャを生成することを含む。各サブピクチャに余分のパディング／画素をどのように追加するかについての詳細は、図２に示すフロー図及び図４に示すフローチャートに示す。

【0030】

[0038] 一実装形態では、ブロック３３０において、パディングされた各サブピクチャをＭＬベースのアップスケーリングプロセッサ（例えば、ニューラルネットワーク）に送って、パディングされてアップスケーリングされたサブピクチャを生成する。ブロック３４０において、パディングされてアップスケーリングされた各サブピクチャを、サブピクチャの元のサイズにアップスケーリング係数を掛けたサイズにトリミングする。ブロック３５０において、処理されるべきサブピクチャが更に存在すると判断した場合、プロセス３００はブロック３２０に向かって、更なるサブピクチャを処理する。ブロック３６０において、全てのトリミングされたサブピクチャを連結して、出力画像を再構成する。

【0031】

[0039] 図４は、本開示の一実装形態によるパディングプロセス（図３のブロック３２０）を示す詳細フローチャートである。図４に示す実装形態では、ブロック４００において、サブピクチャの周囲に画素をパディングする方法を最初に決定する。一実装形態では、サブピクチャの周囲にパディングするべき画素を、複数の小領域（タイプＡ、Ｂ、及びＣ）にグループ化する。

【0032】

[0040] 図４に示す実装形態では、パディングするべき画素を、３つの小領域にグループ化する。ブロック４１０において、サブピクチャの周囲にパディングするべき各小領域が、アクティブピクチャエリア（例えば、図１Ａの１００）内に存在する第１のタイプ（例えば、図２のタイプＡ）であるかどうかを判断するためにチェックする。次に、小領域がアクティブピクチャエリア内に存在する場合、ブロック４１２において、サブピクチャの画像エリアを小領域の方向に拡張する。

【0033】

[0041] 一方で、ブロック４２０において、小領域がアクティブピクチャエリアの外側であると判断されるが、エッジに存在する場合（例えば、図２のタイプＢ）、ブロック４２２において、エッジ上でバタフライ画像を使用して、サブピクチャをパディングする。上記のように、タイプＢのパッド設計は、アクティブピクチャエリア内に存在せず且つコーナーのいずれにも存在しない、上の小領域及び右の小領域のために使用される。

【0034】

[0042] 一方で、ブロック４３０において、小領域がアクティブピクチャエリアの外側であると判断されるが、コーナーに存在する場合（例えば、図２のタイプＣ）、ブロック４３２において、コーナー点上でバタフライ画像を使用して、サブピクチャをパディングする。上記のように、タイプＣのパッド設計は、アクティブピクチャエリア内に存在せず且つコーナーに存在する、左上コーナーの小領域、右上コーナーの小領域、及び右下コーナーの小領域のために使用される。

【0035】

[0043] ブロック４４０において、処理すべき小領域が更に存在すると判断した場合、ブロック４５０において、プロセスは次の小領域に進んで、ブロック４１０に戻る。そうでない場合には、プロセスを終了する。

【0036】

[0044] 図４のプロセス３２０のブロック４１０、４２０、４３０を特定の順序で配置しているが、これらのブロックは、プロセス３２０の結果に影響を及ぼすことなく、任意の順序で実行することができる。

【0037】

[0045] 図５は、本開示の一実装形態によるトリミングプロセス（図３のブロック３４０）を示す詳細フローチャートである。図５に示す実装形態では、ブロック５００において、拡大されてアップスケーリングされたサブピクチャを受け取る。ブロック５１０において、サブピクチャの元のサイズ及びアップスケーリング係数を決定する。次に、ブロック５２０において、元のサイズにアップスケーリング係数を掛けることによって、アップスケーリングサイズを決定する。ブロック５３０において、サブピクチャをアップスケーリングサイズにトリミングする。ブロック５４０において、トリミングされたサブピクチャを出力する。

【0038】

[0046] 図６は、本開示の一実装形態による、大サイズ画像アップスケーリングシステム６００を示すブロック図である。図６に示す実装形態では、大サイズ画像アップスケーリングシステム６００は、画像分割部６１０と、サブピクチャ拡張部６２０と、サブピクチャトリミング部６４０と、画像充填部６５０とを含む。

【0039】

[0047] 図６に示す実装形態では、画像分割部６１０は、大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割するように構成される。一実装形態では、大きなサイズの入力画像を、複数の小さな等しいサイズのサブピクチャに分割する。サブピクチャ拡張部６２０は、サブピクチャの周囲に余分のパディング／画素を追加することによってサブピクチャを拡張して、拡大されたサブピクチャを生成するように構成される。

【0040】

[0048] 図６に示す実装形態では、拡大されたサブピクチャをＭＬベースのアップスケーリングプロセッサ（例えば、ニューラルネットワーク６３０）に送って、拡大されてアップスケーリングされたサブピクチャを生成する。サブピクチャトリミング部６４０は、拡大されてアップスケーリングされたサブピクチャを、アップスケーリングプロセス前の元のサブピクチャのサイズにアップスケーリング係数を掛けたものに対応するサイズにトリミングするように構成される。画像充填部６５０は、全てのトリミングされたサブピクチャを連結して、出力画像を再構成するように構成される。

【0041】

[0049] 一実装形態では、大サイズ画像アップスケーリングシステム６００は、１又は２以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート／ロジックアレイ（ＦＰＧＡ）、又はその他の等価集積又はディスクリート論理回路を含むハードウェアで全体が構成されるシステムである。別の実装形態では、大サイズ画像アップスケーリングシステム６００は、ハードウェアとソフトウェアの組み合わせで構成される。

【0042】

[0050] 図７Ａは、本開示の一実装形態による、大サイズ画像アップスケーリングシステム７００及びユーザ７０２の図である。ユーザ７０２は、コンピュータシステム７００を使用して、アップスケーリングプロセスにおけるフレーム処理のためのアプリケーションを実装する。

【0043】

[0051] コンピュータシステム７００は、図７Ｂの大サイズ画像アップスケーリングアプリケーション７９０を記憶して実行する。更に、コンピュータシステム７００は、ソフトウェアプログラム７０４と通信することができる。ソフトウェアプログラム７０４は、大サイズ画像アップスケーリングアプリケーションのためのソフトウェアコードを含むことができる。ソフトウェアプログラム７０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

【0044】

[0052] 更に、コンピュータシステム７００は、ネットワーク７８０に接続することができる。ネットワーク７８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク７８０は、大サイズ画像アップスケーリングアプリケーション内で使用されるエンジン及びデータを協調させるサーバ７８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク７８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。

【0045】

[0053] 図７Ｂは、本開示の一実装形態による、大サイズ画像アップスケーリングアプリケーション７９０をホストするコンピュータシステム７００を示す機能ブロック図である。コントローラ７１０はプログラマブルプロセッサであり、コンピュータシステム７００及びそのコンポーネントの動作を制御する。コントローラ７１０は、メモリ７２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御する。その実行において、コントローラ７１０は、大サイズ画像アップスケーリングアプリケーション７９０にソフトウェアシステムを提供して、例えば、大サイズ画像アップスケーリングアプリケーション内のエンジン及びデータ抽出部の作成及び構成を可能にする。代替的に、このサービスは、コントローラ７１０又はコンピュータシステム７００において別個のハードウェアコンポーネントとして実装することができる。

【0046】

[0054] メモリ７２０は、コンピュータシステム７００の他のコンポーネントによって使用するためにデータを一時的に記憶する。一実装形態では、メモリ７２０はＲＡＭとして実装される。一実装形態では、メモリ７２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。

【0047】

[0055] ストレージ７３０は、コンピュータシステム７００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ７３０は、大サイズ画像アップスケーリングアプリケーション７９０によって使用されるデータを記憶する。一実装形態では、ストレージ７３０は、ハードディスクドライブである。

【0048】

[0056] メディアデバイス７４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。一実装形態では、例えば、メディアデバイス７４０は、光ディスクドライブである。

【0049】

[0057] ユーザインターフェイス７５０は、コンピュータシステム７００のユーザからユーザ入力を受け取ってユーザ７０２に情報を提示するためのコンポーネントを含む。一実装形態では、ユーザインターフェイス７５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ７１０は、ユーザ７０２からの入力を使用して、コンピュータシステム７００の動作を調整する。

【0050】

[0058] Ｉ／Ｏインターフェイス７６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。一実装形態では、Ｉ／Ｏインターフェイス７６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装形態では、Ｉ／Ｏインターフェイス７６０は、外部装置と無線で通信するための無線インターフェイスを含む。

【0051】

[0059] ネットワークインターフェイス７７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。

【0052】

[0060] コンピュータシステム７００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図７Ｂに具体的に示されていない。他の実装形態では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。

【0053】

[0061] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。例えば、上記の説明は、大きなサイズの画像をアップスケーリングすることの問題に言及しているが、アップスケーリングの難点は、より大きいビット深さ（例えば、１６ビットの深さ対８ビットの深さ）で画像をアップスケーリングすることの難点を含む場合もある。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。

【0054】

[0062] 本開示の様々な実装は、電子ハードウェア、コンピュータソフトウェア、又はこれらの技術の組み合わせの形で実現される。いくつかの実装は、１又は２以上のコンピュータ装置により実行される１又は２以上のコンピュータプログラムを含む。一般に、コンピュータ装置は、１又は２以上のプロセッサ、１又は２以上のデータ記憶構成要素（例えば、ハードディスクドライブ及びフロッピーディスクドライブ、ＣＤ－ＲＯＭドライブ、及び磁気テープドライブなどの揮発性又は不揮発性メモリモジュール及び持続的な光学及び磁気記憶装置）、１又は２以上の入力装置（例えば、ゲームコントローラ、マウス及びキーボード）、及び１又は２以上の出力装置（例えば、ディスプレイ装置）を含む。

【0055】

[0063] コンピュータプログラムは、通常、持続的な記憶媒体に記憶され、実行時にメモリにコピーされる実行可能なコードを含む。少なくとも１つのプロセッサが、所定の順序でメモリからプログラム命令を取り出すことによって、コードを実行する。プログラムコードの実行中には、コンピュータは、入力及び／又は記憶装置からデータを受け取り、データに対して処理を実行し、これにより得られたデータを出力及び／又は記憶装置に供給する。

【0056】

[0064] 当業者であれば、本明細書で説明した様々な例示的なモジュール及び方法ステップを電子ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせとして実装することができると理解するであろう。このハードウェアとソフトウェアの互換性を明確に示すために、本明細書では、様々な例示的なモジュール及び方法ステップについて、一般にこれらの機能面から説明した。このような機能をハードウェア又はソフトウェアのいずれとして実装するかは、特定の用途及びシステム全体に課せられる設計制約に依存する。当業者であれば、説明した機能を各特定の用途のために様々な方法で実装することができるが、このような実装の決定を、本開示の範囲からの逸脱を引き起こすものとして解釈すべきではない。また、モジュール又はステップ内の機能のグループ化は、説明を容易にするためのものである。本開示から逸脱することなく、特定の機能を１つのモジュール又はステップから別のモジュール又はステップへ移すことができる。

【0057】

[0065] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

【符号の説明】

【0058】

１００ 大きなサイズの入力画像／アクティブピクチャエリア
１１０，１２０，１３０，１４０，１５０，１６０ サブピクチャ
１１６，１２６，１３６，１４６，１５６，１６６ トリミングされたサブピクチャ画像
１３２，１６２ 拡大されたサブピクチャ
１３４，１６４ 拡大されてアップスケーリングされたサブピクチャ
１７０ 拡大プロセス
１８０ アップスケーリングプロセス
１９０ アップスケーリングされた出力画像
３００ 大きなサイズの画像をトレーニング及びアップスケーリングするためのプロセス
３１０ 入力画像を小さなサイズのサブピクチャに分割
３２０ 各サブピクチャの周囲に余分のパディングを追加することによって、各サブピクチャを拡大
３３０ ＭＬベースのアップスケーリングを適用
３４０ 拡大されてアップスケーリングされた各サブピクチャを、サブピクチャの元のサイズにスケーリング係数を掛けたサイズにトリミング
３５０ 処理すべきサブピクチャが更に存在するか？
３６０ 全てのトリミングされたサブピクチャを連結して、出力画像を再構成
４００ サブピクチャの周囲に小領域をパディングする方法を決定
４１０ 小領域がアクティブピクチャエリア内に存在するか？
４１２ 小領域の方向に拡張
４２０ エッジか？
４２２ エッジ上でバタフライ画像を使用して、小領域をパディング
４３０ コーナーか？
４３２ コーナー点上でバタフライ画像を使用して、小領域をパディング
４４０ 判断すべき小領域が更に存在するか？
４５０ 次の小領域に進む
５００ 拡大されてアップスケーリングされたサブピクチャを受け取る
５１０ サブピクチャの元のサイズ及びスケーリング係数を決定
５２０ 元のサイズにスケーリング係数を掛けることによって、アップスケーリングサイズを決定
５３０ サブピクチャをアップスケーリングサイズにトリミング
５４０ トリミングされたサブピクチャを出力
６００ 大サイズ画像アップスケーリングシステム
６１０ 画像分割部
６２０ サブピクチャ拡張部
６３０ ニューラルネットワーク
６４０ サブピクチャトリミング部
６５０ 画像充填部
７００ 大サイズ画像アップスケーリングシステム／コンピュータシステム
７０２ ユーザ
７０４ ソフトウェアプログラム
７１０ コントローラ
７２０ メモリ
７３０ ストレージ
７４０ メディアデバイス
７５０ ユーザインターフェイス
７６０ Ｉ／Ｏインターフェイス
７７０ ネットワークインターフェイス
７８０ ネットワーク
７８５ サーバ
７９０ 大サイズ画像アップスケーリングアプリケーション

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【国際調査報告】