特表 2023-550930 画像／ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-06

(54)【発明の名称】画像／ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化

(51)【国際特許分類】

   G06T 1/00 20060101AFI20231129BHJP

   G06T 11/00 20060101ALI20231129BHJP

   G06T 11/60 20060101ALI20231129BHJP

   G06T 1/40 20060101ALI20231129BHJP

【ＦＩ】

G06T1/00 510

G06T11/00 110

G06T11/60 100E

G06T1/40

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023530267

(86)(22)【出願日】2021-11-18

(85)【翻訳文提出日】2023-05-18

(86)【国際出願番号】 IB2021060716

(87)【国際公開番号】W WO2022107046

(87)【国際公開日】2022-05-27

(31)【優先権主張番号】16/952,348

(32)【優先日】2020-11-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

２．ＢＬＵＥＴＯＯＴＨ

３．ＷＣＤＭＡ

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】リ ジョンファ

(72)【発明者】

【氏名】タフォラ モイセズ

(72)【発明者】

【氏名】ガーグ プラガヤー

(72)【発明者】

【氏名】ラングレー アリソン

(72)【発明者】

【氏名】リオンズ ゲーリー ロバーツ

(72)【発明者】

【氏名】ストーンハム アレクサンダー

(72)【発明者】

【氏名】キム スンハン

(72)【発明者】

【氏名】バスコンセロス ルイス

【テーマコード（参考）】

5B050

5B057

5B080

【Ｆターム（参考）】

5B050AA09

5B050BA06

5B050BA10

5B050CA07

5B050CA08

5B050EA09

5B050FA02

5B050FA05

5B050FA13

5B050GA08

5B057BA24

5B057BA26

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CE17

5B057DB02

5B057DB06

5B057DB09

5B057DC40

5B080CA00

5B080FA02

5B080FA03

5B080GA00

(57)【要約】

ニューラルネットワークベースの画像カラー化のためのコンピュータシステム及び方法を提供する。コンピュータシステムは、入力画像の関心領域に色彩効果を選択的に適用することによって基準色画像を取得し、画像／ビデオ編集アプリケーションのグラフィカルユーザインターフェイス上に第１のノードグラフを表示するようにディスプレイ装置を制御する。第１のノードグラフは、第１の画像フィードのグレースケール画像内の少なくとも第１のオブジェクトのカラー化のための第１のワークフローを表すカラー化ノードを含む。コンピュータシステムは、ユーザ入力に基づいて基準カラー画像を選択し、基準カラー画像及び第１の画像フィードをニューラルネットワークベースのカラー化モデルへの入力として供給することによってカラー化ノードに関連する第１のワークフローを実行する。コンピュータシステムは、入力に対するニューラルネットワークベースのカラー化モデルの出力として、カラー化画像を含む第２の画像フィードを受け取る。
【選択図】 図１

【特許請求の範囲】

【請求項1】

コンピュータシステムにおいて、
入力画像の関心領域（ＲＯＩ）に選択的に色彩効果を適用することによって基準色画像を取得することと、
第１の画像フィードの１又は２以上のグレースケール画像における少なくとも第１のオブジェクトをカラー化するための第１のワークフローを表すカラー化ノードを含む第１のノードグラフを画像／ビデオ編集アプリケーションのグラフィカルユーザインターフェイス（ＧＵＩ）上に表示するようにディスプレイ装置を制御することと、
前記取得された基準カラー画像を第１のユーザ入力に基づいて選択することと、
前記カラー化ノードに関連する前記第１のワークフローを実行することと、
を含み、前記実行することは、
前記選択された基準カラー画像及び前記第１の画像フィードをニューラルネットワークベースのカラー化モデルへの入力として供給することと、
前記入力に対する前記ニューラルネットワークベースのカラー化モデルの出力として、前記ＲＯＩ上の色彩効果に基づいてカラー化された少なくとも前記第１のオブジェクトをそれぞれが含む１又は２以上のカラー化画像を含む第２の画像フィードを受け取ることと、
を含む、
ことを特徴とする方法。

【請求項2】

前記画像／ビデオ編集アプリケーションの前記ＧＵＩ上に、前記入力画像から前記基準カラー画像を取得するための第２のワークフローを表す第２のノードグラフを表示するように前記ディスプレイ装置を制御することをさらに含む、
請求項１に記載の方法。

【請求項3】

前記第２のワークフローを実行することをさらに含み、前記実行することは、
前記入力画像から前記ＲＯＩを選択することと、
前記選択されたＲＯＩに第１の画像フィルタセットを適用することと、
前記第１の画像フィルタセットの前記適用に基づいて、前記入力画像の前記選択されたＲＯＩに前記色彩効果を適用して前記基準色画像を取得することと、
を含む、請求項２に記載の方法。

【請求項4】

前記カラー化ノードは、前記第１のワークフローを実行するためのプログラム命令を含むソフトウェアプラグインに対応する、
請求項１に記載の方法。

【請求項5】

一連のニューラルネットワークベースのカラー化モデルに対応する一連のオプションを含む前記カラー化ノードの設定を前記画像／ビデオ編集アプリケーションのＧＵＩ上に表示するように前記ディスプレイ装置を制御することと、
前記一連のオプションのうちの第１のオプションの選択を含む第２のユーザ入力を受け取ることと、
前記第２のユーザ入力に基づいて、前記一連のニューラルネットワークベースのカラー化モデルの中から前記ニューラルネットワークベースのカラー化モデルを選択することと、
をさらに含む、請求項１に記載の方法。

【請求項6】

前記ニューラルネットワークベースのカラー化モデルは、前記基準カラー画像の前記ＲＯＩ上の前記色彩効果を前記第１の画像フィードの前記１又は２以上のグレースケール画像の各々における少なくとも前記第１のオブジェクトに転写して、前記１又は２以上のカラー化画像を含む前記第２の画像フィードを出力する、
請求項１に記載の方法。

【請求項7】

前記画像／ビデオ編集アプリケーションの前記ＧＵＩ上に前記第２の画像フィードを表示するように前記ディスプレイ装置を制御することをさらに含む、
請求項１に記載の方法。

【請求項8】

コンピュータシステムであって、
入力画像の関心領域（ＲＯＩ）に選択的に色彩効果を適用することに基づいて基準色画像を取得し、
第１の画像フィードの１又は２以上のグレースケール画像における少なくとも第１のオブジェクトをカラー化するための第１のワークフローを表すカラー化ノードを含む第１のノードグラフを画像／ビデオ編集アプリケーションのグラフィカルユーザインターフェイス（ＧＵＩ）上に表示するようにディスプレイ装置を制御し、
前記取得された基準カラー画像を第１のユーザ入力に基づいて選択する、とともに、
前記選択された基準カラー画像及び前記第１の画像フィードをニューラルネットワークベースのカラー化モデルへの入力として供給し、
前記入力に対する前記ニューラルネットワークベースのカラー化モデルの出力として、前記ＲＯＩ上の色彩効果に基づいてカラー化された少なくとも前記第１のオブジェクトをそれぞれが含む１又は２以上のカラー化画像を含む第２の画像フィードを受け取る、
ことによって前記カラー化ノードに関連する前記第１のワークフローを実行する、
ように構成された回路を備える、ことを特徴とするシステム。

【請求項9】

前記回路は、前記画像／ビデオ編集アプリケーションの前記ＧＵＩ上に、前記入力画像から前記基準カラー画像を取得するための第２のワークフローを表す第２のノードグラフを表示するように前記ディスプレイ装置を制御するようさらに構成される、
請求項８に記載のコンピュータシステム。

【請求項10】

前記回路は、
前記入力画像から前記ＲＯＩを選択し、
前記選択されたＲＯＩに第１の画像フィルタセットを適用し、
前記第１の画像フィルタセットの前記適用に基づいて、前記入力画像の前記選択されたＲＯＩに前記色彩効果を適用して前記基準色画像を取得する、
ことによって前記第２のワークフローを実行するようにさらに構成される、
請求項９に記載のコンピュータシステム。

【請求項11】

前記カラー化ノードは、前記第１のワークフローを実行するためのプログラム命令を含むソフトウェアプラグインに対応する、
請求項８に記載のコンピュータシステム。

【請求項12】

前記回路は、
一連のニューラルネットワークベースのカラー化モデルに対応する一連のオプションを含む前記カラー化ノードの設定を前記画像／ビデオ編集アプリケーションのＧＵＩ上に表示するように前記ディスプレイ装置を制御し、
前記一連のオプションのうちの第１のオプションの選択を含む第２のユーザ入力を受け取り、
前記第２のユーザ入力に基づいて、前記一連のニューラルネットワークベースのカラー化モデルの中から前記ニューラルネットワークベースのカラー化モデルを選択する、
ようにさらに構成される、請求項８に記載のコンピュータシステム。

【請求項13】

前記ニューラルネットワークベースのカラー化モデルは、前記基準カラー画像の前記ＲＯＩ上の前記色彩効果を前記第１の画像フィードの前記１又は２以上のグレースケール画像の各々における少なくとも前記第１のオブジェクトに転写して、前記１又は２以上のカラー化画像を含む前記第２の画像フィードを出力する、
請求項８に記載のコンピュータシステム。

【請求項14】

前記回路は、前記画像／ビデオ編集アプリケーションの前記ＧＵＩ上に前記第２の画像フィードを表示するように前記ディスプレイ装置を制御するようさらに構成される、
請求項８に記載のコンピュータシステム。

【請求項15】

コンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、コンピュータシステムによって実行された時に、
入力画像の関心領域（ＲＯＩ）に選択的に色彩効果を適用することによって基準色画像を取得することと、
第１の画像フィードの１又は２以上のグレースケール画像における少なくとも第１のオブジェクトをカラー化するための第１のワークフローを表すカラー化ノードを含む第１のノードグラフを画像／ビデオ編集アプリケーションのグラフィカルユーザインターフェイス（ＧＵＩ）上に表示するようにディスプレイ装置を制御することと、
前記取得された基準カラー画像を第１のユーザ入力に基づいて選択することと、
前記カラー化ノードに関連する前記第１のワークフローを実行することと、
を含む動作を前記システムに実行させ、前記実行することは、
前記選択された基準カラー画像及び前記第１の画像フィードをニューラルネットワークベースのカラー化モデルへの入力として供給することと、
前記入力に対する前記ニューラルネットワークベースのカラー化モデルの出力として、前記ＲＯＩ上の色彩効果に基づいてカラー化された少なくとも前記第１のオブジェクトをそれぞれが含む１又は２以上のカラー化画像を含む第２の画像フィードを受け取ることと、
を含む、
ことを特徴とする非一時的コンピュータ可読媒体。

【請求項16】

前記動作は、前記画像／ビデオ編集アプリケーションの前記ＧＵＩ上に、前記入力画像から前記基準カラー画像を取得するための第２のワークフローを表す第２のノードグラフを表示するように前記ディスプレイ装置を制御することをさらに含む、
請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記動作は、前記第２のワークフローを実行することをさらに含み、前記実行することは、
前記入力画像から前記ＲＯＩを選択することと、
前記選択されたＲＯＩに第１の画像フィルタセットを適用することと、
前記第１の画像フィルタセットの前記適用に基づいて、前記入力画像の前記選択されたＲＯＩに前記色彩効果を適用して前記基準色画像を取得することと、
を含む、請求項１６に記載の非一時的コンピュータ可読媒体。

【請求項18】

前記カラー化ノードは、前記第１のワークフローを実行するためのプログラム命令を含むソフトウェアプラグインに対応する、
請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記動作は、
一連のニューラルネットワークベースのカラー化モデルに対応する一連のオプションを含む前記カラー化ノードの設定を前記画像／ビデオ編集アプリケーションのＧＵＩ上に表示するように前記ディスプレイ装置を制御することと、
前記一連のオプションのうちの第１のオプションの選択を含む第２のユーザ入力を受け取ることと、
前記第２のユーザ入力に基づいて、前記一連のニューラルネットワークベースのカラー化モデルの中から前記ニューラルネットワークベースのカラー化モデルを選択することと、
をさらに含む、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記ニューラルネットワークベースのカラー化モデルは、前記基準カラー画像の前記ＲＯＩ上の前記色彩効果を前記第１の画像フィードの前記１又は２以上のグレースケール画像の各々における少なくとも前記第１のオブジェクトに転写して、前記１又は２以上のカラー化画像を含む前記第２の画像フィードを出力する、
請求項１５に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照／引用による組み入れ〕
なし

【0002】

本開示の様々な実施形態は、画像／ビデオのカラー化に関する。具体的には、本開示の様々な実施形態は、画像／ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための方法及びシステムに関する。

【背景技術】

【0003】

画像／ビデオ編集アプリケーションの進歩は、グレースケール画像／ビデオ内の１又は２以上の領域に色を追加する画像カラー化技術の発展をもたらした。従来のロトスコープ（ｒｏｔｏｓｃｏｐｉｎｇ）ベースの方法では、ビデオの画像フレーム内の関心領域の周囲にユーザが手動で点を配置する必要があった。ビデオ内の一連のフレーム全体をカラー化するには、ビデオのフレーム毎に上記プロセスを手動で繰り返す必要がある。これには時間が掛かり、ユーザにとって面倒となり得る。

【発明の概要】

【発明が解決しようとする課題】

【0004】

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法の限界及び不利点が明らかになるであろう。

【課題を解決するための手段】

【0005】

実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、画像／ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のためのコンピュータシステム及び方法を提供する。

【0006】

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

【図面の簡単な説明】

【0007】

【図1】本開示の実施形態による、画像／ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的なネットワーク環境を示すブロック図である。

【図2】本開示の実施形態による、画像／ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的なコンピュータシステムを示すブロック図である。

【図3】本開示の実施形態による、画像／ビデオ編集アプリケーション上でニューラルネットワークベースのカラー化プラグインを使用してグレースケール画像フィードをカラー化する例示的な動作を示す図である。

【図4】本開示の実施形態による、図３の例示的な動作において使用される基準カラー画像を取得する例示的な動作を示す図である。

【図5】本開示の実施形態による、画像／ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0008】

開示する画像／ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のためのコンピュータシステム及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、基準カラー画像を使用して画像フィードの１又は２以上のグレースケール画像内の少なくとも１つのオブジェクトをカラー化するためのニューラルネットワークベースの画像カラー化モデルを使用するワークフローを実装するコンピュータシステムを提供する。具体的には、ニューラルネットワークベースのカラー化モデルは、基準カラー画像内の関心領域上の色彩効果を画像フィードの各グレースケール画像内のオブジェクトに転写する。このような画像フィードは、単一の画像とすることも、或いは複数の画像を含むビデオとすることもできる。

【0009】

ユーザは、画像／ビデオ編集アプリケーション上で、画像／ビデオ編集アプリケーションのロトスコープツールを使用して基準カラー画像を取得することができる。例えば、ユーザは、ロトスコープを採用して画像のマスク領域の色を変更して基準色画像を取得することができる。このアプリケーションは、ノードグラフを構築するためのノードベースのインターフェイスを提供する。例えば、ユーザは、グレースケール画像の画像フィードを単純にソースノードとしてカラー化ノードに追加し、その出力を結果ノードにリンクさせることができる。カラー化ノードは、実行時にニューラルネットワークベースのカラー化モデルを呼び出して基準カラー画像内の関心領域から画像フィードの（単複の）グレースケール画像内の（単複の）オブジェクトに色彩効果を適用する（ＯｐｅｎＦＸ（ＯＦＸ）プラグインなどの）ソフトウェアプラグインに対応することができる。基準カラー画像、又は基準カラー画像のファイルパスを、カラー化ノードへの入力として受け渡すことができる。

【0010】

従来のロトスコープベースの方法では、ビデオの画像フレーム内の関心領域の周囲にユーザが手動で点を設定する必要があった。ビデオ内の一連のフレーム全体をカラー化するには、ビデオのフレーム毎に上記プロセスを繰り返す必要がある。これには時間が掛かり、面倒となり得る。対照的に、本開示では、ターゲットグレースケールビデオの全てのフレーム内のいずれかの関心領域をユーザがマークする必要がない。ユーザは、画像／ビデオ編集アプリケーションのノードベースのインターフェイス上のカラー化ノードへの入力として、基準カラー画像及びターゲット画像又は（（単複の）グレースケール画像を含む）ビデオを単純に選択すればよい。カラー化ノードは、実行時にニューラルネットワークベースのカラー化モデルを呼び出して基準カラー画像内のＲＯＩからターゲット画像／ビデオのフレーム内の（単複の）オブジェクトに色彩効果を転写できるワークフローを表すことができる。

【0011】

図１は、本開示の実施形態による、画像／ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的なネットワーク環境を示すブロック図である。図１にはネットワーク環境１００を示す。ネットワーク環境１００は、コンピュータシステム１０２と、コンピュータシステム１０２に通信可能に結合されたディスプレイ装置１０４とを含むことができる。さらに、コンピュータシステム１０２にインストールできる、或いはコンピュータシステム１０２上のウェブアプリケーション又はウェブブラウザなどのウェブクライアントを介してアクセスできる、画像／ビデオ編集アプリケーション１０６も示す。

【0012】

ネットワーク環境１００は、ニューラルネットワークベースのカラー化モデル１０８を実装できるサーバ１１０をさらに含むことができる。サーバ１１０は、通信ネットワーク１１２を介してコンピュータシステム１０２に通信可能に結合することができる。図１では、コンピュータシステム１０２及びディスプレイ装置１０４を２つの独立した装置として示しているが、いくつかの実施形態では、本開示の範囲から逸脱することなく、ディスプレイ装置１０４の機能全体をコンピュータシステム１０２に組み込むこともできる。

【0013】

コンピュータシステム１０２は、（グレースケール画像１１４などの）１又は２以上のグレースケール画像を含む第１の画像フィード内の１又は２以上のオブジェクトをカラー化するための第１のワークフローを実行するように構成できる好適なロジック、回路、コード及び／又はインターフェイスを含むことができる。第１のワークフローは、画像／ビデオ編集アプリケーション１０６上で第１のワークフローを実行するためのプログラム命令を含むソフトウェアプラグインに関連することができる。コンピュータシステム１０２の例としては、以下に限定するわけではないが、画像／ビデオ編集機、サーバ、コンピュータワークステーション、メインフレームマシン、ゲーム装置、スマートフォン、携帯電話機、ラップトップ、タブレット、拡張現実（ＸＲ）ヘッドセット、及び／又は画像／ビデオ編集機能を有する他のいずれかの消費者電子（ＣＥ）装置を挙げることができる。

【0014】

ディスプレイ装置１０４は、画像／ビデオ編集アプリケーション１０６のグラフィカルユーザインターフェイス（ＧＵＩ）１１６を表示するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。１つの実施形態では、ディスプレイ装置１０４を、ユーザがディスプレイ装置１０４を介してユーザ入力を提供できるようにするタッチ対応装置とすることができる。ディスプレイ装置１０４は、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術のうちの少なくとも１つなどの複数の既知の技術、又はその他のディスプレイ技術を通じて実現できるディスプレイユニットを含むことができる。

【0015】

画像／ビデオ編集アプリケーション１０６は、１又は２以上のグレースケール画像を含む画像フィードを編集するように構成できる好適なロジック、コード及び／又はインターフェイスを含むことができる。例えば、編集は、ロトスコープ法を使用して入力画像に色彩効果を適用して（基準カラー画像１１８などの）基準カラー画像を取得することを含むことができる。別の編集は、ニューラルネットワークベースのカラー化モデル１０８を実装できるソフトウェアプラグインを使用して、基準カラー画像から画像フィードの（グレースケール画像１１４などの）グレースケール画像内のオブジェクトに色彩効果を転写することを含むことができる。画像／ビデオ編集アプリケーション１０６は、ノードグラフアーキテクチャに基づいて実装することができる。ノードグラフアーキテクチャでは、ユーザが、（基準色画像１１８などの）基準色画像に基づく画像フィードのカラー化などのいずれかの編集タスクのワークフローを表すノードグラフを構築することができる。画像／ビデオ編集アプリケーション１０６の例としては、以下に限定するわけではないが、ノードベースのデジタル合成及び視覚効果アプリケーション、画像エディタ、デジタル効果アプリケーション、モーショングラフィック編集アプリケーション、合成アプリケーション、非線形編集（ＮＬＥ）アプリケーション、ラスターグラフィックスエディタ、又はこれらの組み合わせを挙げることができる。

【0016】

ニューラルネットワークベースのカラー化モデル１０８は、画像フィードの単一の画像フレーム内又は一連の画像フレーム内のオブジェクトをカラー化する画像カラー化タスクに基づいて訓練できる画像カラー化モデルとすることができる。ニューラルネットワークベースのカラー化モデル１０８は、例えば（単複の）活性化関数、重みの数、コスト関数、正則化関数、入力サイズ、及び層の数などのハイパーパラメータによって定めることができる。

【0017】

ニューラルネットワークベースのカラー化モデル１０８は、計算ネットワーク、又は（ノードとも呼ばれる）人工ニューロンのシステムと呼ぶことができる。ニューラルネットワークベースのカラー化モデル１０８のノードは、ニューラルネットワークベースのカラー化モデル１０８のニューラルネットワークトポロジーで定められるような複数の層状に配置することができる。ニューラルネットワークベースのカラー化モデル１０８の複数の層は、入力層、１又は２以上の隠れ層、及び出力層を含むことができる。複数の層の各層は、１又は２以上のノード（又は、例えば円で表される人工ニューロン）を含むことができる。入力層における全てのノードの出力は、（単複の）隠れ層の少なくとも１つのノードに結合することができる。同様に、各隠れ層の入力は、ニューラルネットワークベースのカラー化モデル１０８の他の層における少なくとも１つのノードの出力に結合することができる。各隠れ層の出力は、ニューラルネットワークベースのカラー化モデル１０８の他の層における少なくとも１つのノードの入力に結合することができる。最終層の（単複の）ノードは、少なくとも１つの隠れ層から入力を受け取って結果を出力することができる。層の数及び各層におけるノードの数は、ニューラルネットワークベースのカラー化モデル１０８のハイパーパラメータから決定することができる。このようなハイパーパラメータは、画像の訓練データセットに基づくニューラルネットワークベースのカラー化モデル１０８の訓練前又は訓練中に設定することができる。

【0018】

ニューラルネットワークベースのカラー化モデル１０８の各ノードは、ネットワークの訓練中に調整できるパラメータセットを有する数学関数（例えば、シグモイド関数又は正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ））に対応することができる。パラメータセットは、例えば重みパラメータ及び正則化パラメータなどを含むことができる。各ノードは、ニューラルネットワークベースのカラー化モデル１０８の他の（単複の）層（例えば、前の（単複の）層）のノードからの１又は２以上の入力に基づいて、数学関数を使用して出力を計算することができる。ニューラルネットワークベースのカラー化モデル１０８のノードの全部又は一部は、同じ又は異なる数学関数に対応することができる。

【0019】

ニューラルネットワークベースカラー化モデル１０８の訓練では、（訓練データセットからの）所与の入力に対する最終層の出力がニューラルネットワークベースカラー化モデル１０８の損失関数に基づく正しい結果に一致するかどうかに基づいてニューラルネットワークベースカラー化モデル１０８の各ノードの１又は２以上のパラメータを更新することができる。上記プロセスは、損失関数の最小値が達成されて訓練エラーが最小化されるまで同じ又は異なる入力について繰り返すことができる。当業では、勾配降下法、確率的勾配降下法、バッチ勾配降下法、勾配ブースト法及びメタヒューリスティック法などの複数の訓練法が知られている。

【0020】

ある実施形態では、ニューラルネットワークベースのカラー化モデル１０８が、例えばコンピュータシステム１０２又はサーバ１１０上で実行可能なアプリケーションのソフトウェアコンポーネントとして実装できる電子データを含むことができる。ニューラルネットワークベースのカラー化モデル１０８は、コンピュータシステム１０２又はサーバ１１０などの処理装置による実行のためにライブラリ、外部スクリプト又はその他のロジック／命令に依拠することができる。ニューラルネットワークベースのカラー化モデル１０８は、入力グレースケール画像内のオブジェクトをカラー化するための１又は２以上の動作をコンピュータシステム１０２又はサーバ１１０などのコンピュータ装置が実行できるようにするコンピュータ実行可能コード又はルーチンを含むことができる。これに加えて又はこれに代えて、ニューラルネットワークベースのカラー化モデル１０８は、プロセッサ、（例えば、１又は２以上の動作の実行又はその制御を行う）マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実装することもできる。例えば、コンピュータシステム１０２には、画像カラー化タスクのためのニューラルネットワークベースのカラー化モデル１０８の計算を加速させる推論アクセラレータチップを含めることができる。いくつかの実施形態では、ニューラルネットワークベースのカラー化モデル１０８を、ハードウェア及びソフトウェアの両方の組み合わせを使用して実装することができる。

【0021】

ニューラルネットワークベースのカラー化モデル１０８の例としては、以下に限定するわけではないが、オートエンコーダ、畳み込みニューラルネットワーク（ＣＮＮ）、Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ（Ｒ－ＣＮＮ）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）ネットワーク、残差ニューラルネットワーク（Ｒｅｓ－Ｎｅｔ）、特徴ピラミッドネットワーク（ＦＰＮ）、網膜ネット、及び／又はこれらの組み合わせを挙げることができる。

【0022】

サーバ１１０は、（基準カラー画像１１８などの）基準カラー画像を使用して（単複の）グレースケール画像のカラー化のためのニューラルネットワークベースカラー化モデル１０８を実装するように構成できる好適なロジック、回路及びインターフェイス、及び／又はコードを含むことができる。サーバ１１０はクラウドサーバとすることができ、ウェブアプリケーション、クラウドアプリケーション、ＨＴＴＰリクエスト、リポジトリ動作及びファイル転送などを通じて動作を実行することができる。サーバ１１０の他の実装例としては、以下に限定するわけではないが、ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、アプリケーションサーバ、又はメインフレームサーバを挙げることができる。

【0023】

少なくとも１つの実施形態では、当業者に周知の複数の技術を使用することによって、サーバ１１０を複数の分散型クラウドベースリソースとして実装することができる。当業者であれば、本開示の範囲を２つの別個のエンティティとしてのサーバ１１０及びコンピュータシステム１０２の実装に限定しないこともできると理解するであろう。いくつかの実施形態では、本開示の範囲から逸脱することなく、サーバ１１０の機能を全体的に又は少なくとも部分的にコンピュータシステム１０２に組み込むこともできる。

【0024】

通信ネットワーク１１２は、コンピュータシステム１０２がサーバ１１０及び簡略化のために本開示から省略する他の装置と通信できるようにする通信媒体を含むことができる。通信ネットワーク１１２は、有線接続又は無線接続の一方とすることができる。通信ネットワーク１１２の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１１２に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ ８０２．１１ｓ、ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを挙げることができる。

【0025】

動作中、コンピュータシステム１０２は、画像／ビデオ編集アプリケーション１０６のＧＵＩ１１６を表示するようにディスプレイ装置１０４を制御することができる。ＧＵＩ１１６は、画像カラー化タスク又はロトスコープタスクなどの画像処理タスクのワークフローを作成するためのノードベースのインターフェイスを含むことができる。例えば、ユーザは、ノードベースのインターフェイス上に一連の画像処理動作をノードとして単純に配置すればよい。その後、ワークフローを取得するために、このようなノードをノードベースのインターフェイス上で互いに接続することによってこのような画像動作を互いにリンクさせることができる。これらの各動作は、共にノードグラフを生成することができる。

【0026】

初めに、コンピュータシステム１０２は、入力画像の（関心領域（ＲＯＩ）１２０などの）ＲＯＩに色彩効果を選択的に適用することによって（基準色画像１１８などの）基準色画像を取得することができる。コンピュータシステム１０２は、ＧＵＩ１１６を介したユーザ入力に基づいて入力画像のＲＯＩを決定することができる。例えば、ＧＵＩ１１６は、入力画像を表示できるプレビューウィンドウを含むことができる。ユーザ入力は、入力画像内のＲＯＩの周囲に複数の点を追加して、ＲＯＩを入力画像内の残りの要素から分離できるマスクを作成することを含むことができる。ユーザ入力は、ＧＵＩ１１６のノードベースのインターフェイスの第１のノードとして現れることができる。コンピュータシステム１０２は、基準カラー画像を取得するために、入力画像のＲＯＩに色彩効果を適用するように構成することができる。色彩効果は、ＧＵＩ１１６のノードベースのインターフェイスの第２のノードとして現れることができる。いくつかの事例では、色彩効果の適用前又は適用後に、ＲＯＩに画像フィルタセットを適用することができる。このようなフィルタは、第１のノード又は第２のノードに接続された（単複の）ノードとして現れることができる。このような全てのノードは、実行時にＲＯＩを選択し、選択されたＲＯＩに画像フィルタセット及び色彩効果を適用して（ＲＯＩ１２０などの）基準色画像を取得できるワークフロー全体を表すことができるノードグラフを形成することができる。基準カラー画像の詳細については、例えば図４にさらに示す。

【0027】

ユーザは、いずれかの時点で画像／ビデオ編集アプリケーション１０６上でプロジェクトを作成することができる。コンピュータシステム１０２は、ＧＵＩ１１６のノードベースのインターフェイスを介して、第１のノードグラフを構築するためのユーザ入力を受け取ることができる。コンピュータシステム１０２は、画像／ビデオ編集アプリケーション１０６のＧＵＩ１１６上に第１のノードグラフを表示するようにディスプレイ装置１０４を制御することができる。第１のノードグラフは、第１の画像フィードの（グレースケール画像１１４などの）１又は２以上のグレースケール画像内の少なくとも第１のオブジェクトをカラー化する第１のワークフローを表すことができるカラー化ノードを含むことができる。第１の画像フィードは、単一の画像、又はビデオの一連の画像フレームを含むことができる。第１のノードグラフに関連する詳細については、例えば図３に示す。

【0028】

コンピュータシステム１０２は、画像／ビデオ編集アプリケーション１０６を介して、（基準カラー画像１１８などの）基準カラー画像の選択を含むことができる第１のユーザ入力を受け取ることができる。その後、コンピュータシステム１０２は、第１のユーザ入力に基づいて基準カラー画像を選択し、カラー化ノードに関連する第１のワークフローを実行することができる。第１のワークフローが開始されると、コンピュータシステム１０２は、選択された基準カラー画像及び第１の画像フィードをニューラルネットワークベースのカラー化モデル１０８に入力として供給することができる。コンピュータシステム１０２は、入力に対するニューラルネットワークベースのカラー化モデル１０８の出力として第２の画像フィードを受け取ることができる。第２の画像フィードは、（カラー化画像１２２などの）１又は２以上のカラー化画像を含むことができる。このような各カラー化画像は、（ＲＯＩ１２０などの）ＲＯＩ上の色彩効果に基づいてカラー化された（サッカー選手１２４のＴシャツなどの）少なくとも第１のオブジェクトを含むことができる。

【0029】

図２は、本開示の実施形態による、画像／ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的なコンピュータシステムを示すブロック図である。図２の説明は図１の要素に関連して行う。図２にはコンピュータシステム１０２のブロック図２００を示す。コンピュータシステム１０２は、回路２０２、メモリ２０４、入力／出力（Ｉ／Ｏ）装置２０６、及びネットワークインターフェイス２０８を含むことができる。回路２０２は、メモリ２０４、Ｉ／Ｏ装置２０６及びネットワークインターフェイス２０８に通信可能に結合することができる。いくつかの実施形態では、Ｉ／Ｏ装置２０６が（図１のディスプレイ装置１０４などの）ディスプレイ装置を含むことができる。

【0030】

回路２０２は、コンピュータシステム１０２が実行すべき異なる動作に関連するプログラム命令を実行するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。回路２０２は、１又は２以上の特殊処理ユニットの機能をまとめて実行する統合プロセッサ又はプロセッサ群として実装できる１又は２以上の特殊処理ユニットを含むことができる。回路２０２は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。回路２０２の実装例は、Ｘ８６ベースのプロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の計算回路とすることができる。

【0031】

メモリ２０４は、回路２０２が実行すべきプログラム命令を記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。少なくとも１つの実施形態では、メモリ２０４を、（基準カラー画像１１８などの）基準カラー画像及び（グレースケール画像１１４などの）第１の画像フィードを記憶するように構成することができる。メモリ２０４は、入力画像の（ＲＯＩ１２０などの）ＲＯＩ上で使用される一連の色彩効果を記憶するようにさらに構成することができる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

【0032】

Ｉ／Ｏ装置２０６は、入力を受け取り、受け取った入力に基づいて出力を提供するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２０６は、回路２０２と通信するように構成できる様々な入力及び出力装置を含むことができる。例えば、コンピュータシステム１０２は、Ｉ／Ｏ装置２０６を介して、基準カラー画像、入力画像からのＲＯＩを選択して入力画像の選択されたＲＯＩに色彩効果を適用するためのユーザ入力を受け取ることができる。Ｉ／Ｏ装置２０６の例としては、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、ディスプレイ装置（例えば、ディスプレイ装置２１０）、マイク、又はスピーカを挙げることができる。

【0033】

ネットワークインターフェイス２０８は、回路２０２が通信ネットワーク１１２を介してサーバ１１０、ディスプレイ装置１０４及び／又は他の通信装置と通信することを容易にするように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２０８は、通信ネットワーク１１２を介したコンピュータシステム１０２の無線通信をサポートする様々な既知の技術を使用して実装することができる。ネットワークインターフェイス２０８は、例えばアンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）チップセット、加入者ＩＤモジュール（ＳＩＭ）カード、及びローカルバッファ回路などを含むことができる。

【0034】

ネットワークインターフェイス２０８は、インターネット、イントラネット、無線ネットワーク、セルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）又はメトロポリタンエリアネットワーク（ＭＡＮ）などのネットワークと無線通信を介して通信するように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ又はＩＥＥＥ ８０２．１１ｎなどの）ワイヤレスフィデリティ（ＷｉＦｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、又はワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（Ｗｉ－ＭＡＸ）などの複数の通信規格、プロトコル及び技術のうちの１つ又は２つ以上を使用するように構成することができる。

【0035】

図１で説明したようなコンピュータシステム１０２によって実行される機能又は動作は回路２０２によって実行することができる。回路２０２によって実行される動作については、例えば図３及び図４において詳細に説明する。

【0036】

図３は、本開示の実施形態による、画像／ビデオ編集アプリケーション上でニューラルネットワークベースのカラー化プラグインを使用してグレースケール画像フィードをカラー化する例示的な動作を示す図である。図３の説明は図１及び図２の要素に関連して行う。図３には、本明細書で説明する３０２～３０８の例示的な動作を示すブロック図３００を示す。ブロック図３００に示す例示的な動作は３０２から開始することができ、図１又は図２のコンピュータシステム１０２などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。

【0037】

３０２において、第１の画像フィードを取得することができる。回路２０２は、データソースから第１の画像フィードを取得することができる。データソースは、例えばコンピュータシステム１０２のオンボード画像センサ、コンピュータシステム１０２上の永続ストレージ、画像取り込み装置、クラウドサーバ、又はこれらの組み合わせとすることができる。第１の画像フィードは、それぞれが（サッカー選手３０２Ｂなどの）少なくとも第１のオブジェクトを含むことができる（グレースケール画像３０２Ａなどの）１又は２以上のグレースケール画像を含むことができる。第１の画像フィードは、静的前景又は背景を含む静的シーンを表すことも、或いは１又は２以上の移動オブジェクトを含む動的シーンを表すこともできる。

【0038】

３０４において、第１の画像フィードのカラー化のための第１のノードグラフ３０４Ａを構築する入力を受け取ることができる。例えば、入力は、画像／ビデオ編集アプリケーション１０６上でプロジェクトを作成するオプションの選択を含むユーザ入力とすることができる。ＧＵＩ１１６が、作成されたプロジェクトのプロジェクトウィンドウを表示すると、ユーザ入力は、画像／ビデオ編集アプリケーション１０６のＧＵＩ１１６上でアクセス可能なツールバーを介したカラー化ノード３０４Ｂ、ソースノード３０４Ｃ及び結果ノード３０４Ｄなどのノードの選択を含むことができる。

【0039】

３０６において、構築された第１のノードグラフ３０４Ａを表示することができる。回路２０２は、画像／ビデオ編集アプリケーション１０６のＧＵＩ１１６上に構築された第１のノードグラフ３０４Ａを表示するようにディスプレイ装置１０４を制御することができる。例えば、ＧＵＩ１１６は、ソースノード３０４Ｃと結果ノード３０４Ｄとの間にカラー化ノード３０４Ｂを含むように更新できるノードベースのインターフェイス３０６Ａを含むことができる。結果ノード３０４Ｄは、カラー化ノード３０４Ｂの出力にリンクすることができ、ソースノード３０４Ｃは、（例えば、グレースケール画像３０２Ａを含む）第１の画像フィード及び基準カラー画像３０６Ｂにリンクすることができる。回路２０２は、第１のユーザ入力に基づいて基準カラー画像３０６Ｂを選択することができる。

【0040】

第１のノードグラフ３０４Ａは、第１の画像フィードの１又は２以上のグレースケール画像内の（サッカー選手３０２Ｂなどの）第１のオブジェクトのカラー化のための第１のワークフローを表す（又は第１のワークフローにリンクする）ことができるカラー化ノード３０４Ｂを含むことができる。ある実施形態では、カラー化ノードが、第１のワークフローを実行するためのプログラム命令を含むことができるソフトウェアプラグインに対応することができる。ユーザは、ＧＵＩ１１６のノードベースのインターフェイス内でソフトウェアプラグインを選択してカラー化ノードとして追加することができる。

【0041】

ある実施形態では、回路２０２が、画像／ビデオ編集アプリケーション１０６のＧＵＩ１１６上にカラー化ノードの設定を表示するようにディスプレイ装置を制御することができる。例えば、この設定は、カラー化ノード３０４Ｂと共に表示されるオプションのユーザ選択に基づいて表示することができる。設定は、一連のニューラルネットワークベースのカラー化モデルに対応する一連のオプションを含むことができる。回路２０２は、一連のオプションのうちの第１のオプションの選択を含むことができるユーザ入力を受け取ることができる。回路２０２は、受け取ったユーザ入力に基づいて、一連のニューラルネットワークベースのカラー化モデルの中からニューラルネットワークベースのカラー化モデル１０８を選択することができる。

【0042】

３０８において、第１のワークフローを実行することができる。回路２０２は、いずれかの時点でカラー化ノード３０４Ｂに関連する第１のワークフローを実行することができる。回路２０２は、実行時に、選択された基準カラー画像３０６Ｂ及び（グレースケール画像３０２Ａなどの）第１の画像フィードを、選択されたニューラルネットワークベースのカラー化モデル１０８への入力として供給することができる。その後、回路２０２は、選択されたニューラルネットワークベースのカラー化モデル１０８の出力として第２の画像フィードを受け取ることができる。例えば、第２の画像フィードは、（カラー化画像３０８Ａなどの）１又は２以上のカラー化画像を含むことができる。１又は２以上のカラー化画像の各々は、基準カラー画像３０６Ｂ内のＲＯＩ３０６Ｃ上の色彩効果に基づいてカラー化された（サッカー選手３０２Ｂなどの）少なくとも第１のオブジェクトを含むことができる。

【0043】

ある実施形態では、ニューラルネットワークベースカラー化モデル１０８が、基準カラー画像３０６ＢのＲＯＩ３０６Ｃから第１の画像フィードの１又は２以上のグレースケール画像の各々における（サッカー選手３０２Ｂなどの）少なくとも第１のオブジェクトに色彩効果を転写して（カラー化画像３０８Ａなどの１又は２以上のカラー化画像を含む）第２の画像フィードを出力することができる。例えば、図示のように、サッカー選手のシャツ上の黒色（すなわち、ＲＯＩ３０６Ｃ）を第１の画像フィードのグレースケール画像３０２Ａ内のサッカー選手３０２Ｂが着用しているシャツに転写することができる。ある実施形態では、回路２０２が、画像／ビデオ編集アプリケーション１０６のＧＵＩ１１６に第２の画像フィードを表示するようにディスプレイ装置１０４を制御することができる。

【0044】

フローチャート５００の１又は２以上のブロックに関連する例示的な動作については離散ブロックで示しているが、これらは例示的な動作の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。

【0045】

図４は、本開示の実施形態による、図３の例示的な動作において使用される基準カラー画像を取得する例示的な動作を示す図である。図４の説明は、図１、図２及び図３の要素に関連して行う。図４には、本明細書で説明する４０２～４１０の例示的な動作を示すブロック図４００を示す。ブロック図４００に示す例示的な動作は４０２から開始することができ、図１又は図２のコンピュータシステム１０２などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。

【0046】

４０２において、画像／ビデオ編集アプリケーション１０６のＧＵＩ１１６上に入力画像４０２Ａをロードすることができる。入力画像４０２Ａは、例えばサッカー選手４０２Ｂなどの少なくとも１つの関心オブジェクトを含むカラー画像とすることができる。

【0047】

４０４において、入力画像４０２ＡのＲＯＩ４０４Ａを選択することができる。このような選択は、ＧＵＩ１１６を介したユーザ入力に基づくことができる。例えば、セグメンテーションの開始点として使用すべき入力画像をＧＵＩ１１６上にロードし、画像／ビデオ編集アプリケーション１０６のセグメンテーションツールを使用してＲＯＩ４０４Ａを選択することができる。例えば、図示のように、サッカー選手４０２Ｂのシャツの縁部の周囲に点を配置することによってシャツの周囲のＲＯＩを選択することができる。ＲＯＩ４０４Ａの選択は、ＧＵＩ１１６のノードベースのインターフェイス内にノードとして表示することができる。

【0048】

４０６において、選択されたＲＯＩ４０４Ａのために第１の画像フィルタセットを選択することができる。例えば、このようなフィルタは、色相シフト演算（ｈｕｅ ｓｈｉｆｔ ｏｐｅｒａｔｉｏｎ）、アルファブレンディング演算子（ａｌｐｈａ ｂｌｅｎｄｉｎｇ ｏｐｅｒａｔｏｒ）又はアルファ合成（ａｌｐｈａ ｃｏｍｐｏｓｉｔｉｎｇ ｏｐｅｒａｔｏｒ）演算子などを含むことができる。このようなフィルタは、画像／ビデオ編集アプリケーション１０６のＧＵＩ１１６上に表示されるメニューを介して選択することができる。少なくとも１つの実施形態では、このようなフィルタが、選択されたＲＯＩ４０４Ａの１又は２以上の色チャンネル内の色値の修正に基づいて、ＲＯＩ４０４Ａに適用すべき色彩効果を指定することができる。

【0049】

４０８において、基準カラー画像３０６Ｂを取得するための第２のワークフローを生成することができる。４０２～４０６の動作は、第２のノードグラフ４０８Ａが表すことができる第２のワークフローを生成するために実行することができる。ある実施形態では、回路２０２が、画像／ビデオ編集アプリケーション１０６のＧＵＩ１１６上に第２のノードグラフ４０８Ａを表示するようにディスプレイ装置１０４を制御することができる。第２のノードグラフ４０８Ａは、入力画像４０２Ａから基準色画像３０６Ｂを取得するための第２のワークフローを表すことができる。入力画像４０２Ａ及び４０２～４０６の全ての動作を第２のノードグラフ４０８Ａにノードとして含め、これらを互いに接続して第２のノードグラフ４０８Ａを形成することができる。

【0050】

４１０において、第２のワークフロー、すなわち第２のノードグラフ４０８Ａに関連するノードベースのワークフローを実行することができる。回路２０２は、実行時に入力画像４０２ＡからＲＯＩ４０４Ａを選択することができる。例えば、ＲＯＩ４０４Ａの選択に関連するノードは、ユーザがデジタルロトスコープツールなどのセグメンテーションツールを使用して入力画像４０２ＡのＲＯＩ４０４Ａの周囲に描いたマスクをロードすることができる。ロトスコープツールの詳細な実装は当業者に周知であると考えられ、従ってロトスコープツール４０８の詳細な説明は簡潔にするために本開示から省略している。選択が行われた後に、回路２０２は、選択されたＲＯＩ４０４Ａ上に選択された第１の画像フィルタセットを適用し、第１の画像フィルタセットの適用に基づいて、入力画像４０２Ａの選択されたＲＯＩ４０４Ａに色彩効果を適用して基準カラー画像３０６Ｂを取得することができる。限定ではなく一例として、色彩効果の適用は、入力画像４０２Ａ内の選択されたＲＯＩ４０４Ａの彩度、明度、コントラスト、特定の色チャンネルの色値、ガンマ又は階調変化のうちの少なくとも１つを修正することができる。

【0051】

例えば、図示のように、第２のノードグラフ４０８Ａは、（「マージ１」によって表す）第１のマージノードに接続できる入力画像４０２Ａをソースノードとして含むことができる。第１のマージノードは、（「ＲＯＩ」によって表す）ＲＯＩノードにさらに接続することができる。第１のマージノードは、ＲＯＩ４０４Ａの周囲の選択と入力画像４０２Ａとを組み合わせることによってマスクを生成することができる。マスクは、ＲＯＩ４０４Ａを除く他の全ての領域を入力画像４０２Ａから除去することができる。（第１のマージノードの出力である）ＲＯＩ４０４Ａに（緑色などの）色チャンネルを修正するフィルタなどの画像フィルタを適用して、修正済みＲＯＩを取得することができる。入力画像４０２Ａ及び修正済みＲＯＩを、入力画像４０２Ａ上に修正済みＲＯＩをオーバーレイ表示できる（「マージ２」によって表す）第２のマージノードへの入力として受け渡して、基準色画像３０６Ｂを出力することができる。

【0052】

例えば、図示のように、基準カラー画像３０６Ｂは、サッカー選手のシャツ（すなわち、選択されたＲＯＩ４０４Ａ）上の黒色を含む。この黒色を、入力画像４０２ＡのＲＯＩ４０４Ａに色彩効果として適用することができる。画像／ビデオ編集アプリケーション１０６は、エンドユーザがロトスコープワークフローを使用して基準カラー画像３０６Ｂの制御及び修正を行えるようにすることができる。基準カラー画像３０６Ｂは、例えば図３で説明したように後でグレースケール画像の画像フィードをカラー化するために使用できるように、コンピュータシステム１０２上に保存することができる。

【0053】

ブロック図４００の１又は２以上のブロックに関連する例示的な動作については離散ブロックで示しているが、これらは例示的な動作の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。

【0054】

図５は、本開示の実施形態による、画像／ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的な方法を示すフローチャートである。図５の説明は、図１、図２、図３及び図４の要素に関連して行う。図５にはフローチャート５００を示す。フローチャート５００に示す方法は、コンピュータシステム１０２又は回路２０２などのいずれかのコンピュータシステムによって実行することができる。方法は５０２から開始して５０４に進むことができる。

【0055】

５０４において、（基準カラー画像１１８などの）基準カラー画像を取得することができる。１又は２以上の実施形態では、回路２０２を、（入力画像４０２Ａなどの）入力画像の（ＲＯＩ１２０などの）ＲＯＩに色彩効果を選択的に適用することによって基準色画像を取得するように構成することができる。基準色画像に関する詳細については、例えば図４で説明している。

【0056】

５０６において、（ディスプレイ装置１０４などの）ディスプレイ装置を、（第１のノードグラフ３０４Ａなどの）第１のノードグラフを表示するように制御することができる。１又は２以上の実施形態では、回路２０２を、画像／ビデオ編集アプリケーション１０６のＧＵＩ１１６上に第１のノードグラフを表示するようにディスプレイ装置１０４を制御するよう構成することができる。第１のノードグラフは、第１の画像フィードの（グレースケール画像３０２Ａなどの）１又は２以上のグレースケール画像内の（サッカー選手３０２Ｂなどの）少なくとも第１のオブジェクトのカラー化のための第１のワークフローを表す（カラー化ノード３０４Ｂなどの）カラー化ノードを含むことができる。

【0057】

５０８において、取得された基準カラー画像を選択することができる。１又は２以上の実施形態では、回路２０２を、取得された基準カラー画像を第１のユーザ入力に基づいて選択するように構成することができる。基準カラー画像の選択の詳細については、例えば図３で説明している。

【0058】

５１０において、第１のワークフローを実行することができる。１又は２以上の実施形態では、回路２０２を、（カラー化ノード３０４Ｂなどの）カラー化ノードに関連する第１のワークフローを実行するように構成することができる。第１のワークフローの実行の詳細については、例えば図３において説明している。

【0059】

５１２において、選択された基準カラー画像及び第１の画像フィードを、ニューラルネットワークベースのカラー化モデル１０８への入力として供給することができる。１又は２以上の実施形態では、回路２０２を、例えば図３で説明したように、選択された基準色画像及び第１の画像フィードをニューラルネットワークベースのカラー化モデル１０８への入力として供給するように構成することができる。

【0060】

５１４において、第２の画像フィードを受け取ることができる。１又は２以上の実施形態では、回路２０２を、（ＲＯＩ３０６Ｃなどの）ＲＯＩ上の色彩効果に基づいてカラー化された少なくとも第１のオブジェクトをそれぞれが含むことができる（カラー化画像３０８Ａなどの）１又は２以上のカラー化画像を含む第２の画像フィードをニューラルネットワークベースのカラー化モデル１０８の出力として受け取るように構成することができる。制御は終了に進むことができる。

【0061】

フローチャート５００については、５０２、５０４、５０６、５０８、５１０、５１２及び５１４などの離散的動作として説明したが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、このような離散的動作を特定の実装に応じてさらなる動作にさらに分割し、より少ない動作に組み合わせ、又は削除することができる。

【0062】

本開示の様々な実施形態は、機械及び／又はコンピュータが（コンピュータシステム１０２などの）コンピュータシステムを動作させるために実行可能な命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。これらの命令は、（入力画像４０２Ａなどの）入力画像の（関心領域（ＲＯＩ）１２０などの）ＲＯＩに色彩効果を選択的に適用することに基づいて（基準色画像１１８などの）基準色画像を取得することを含む動作を機械及び／又はコンピュータに実行させることができる。動作は、（画像／ビデオ編集アプリケーション１０６などの）画像／ビデオ編集アプリケーションの（グラフィカルユーザインターフェイス（ＧＵＩ）１１６などの）ＧＵＩ上に（第１のノードグラフ３０４Ａなどの）第１のノードグラフを表示するように（ディスプレイ装置１０４などの）ディスプレイ装置を制御することをさらに含むことができる。第１のノードグラフは、第１の画像フィードの（グレースケール画像３０２Ａなどの）１又は２以上のグレースケール画像内の少なくとも（サッカー選手３０２ＢのＴシャツなどの）第１のオブジェクトのカラー化のための第１のワークフローを表す（カラー化ノード３０４Ｂなどの）カラー化ノードを含むことができる。動作は、取得された基準カラー画像を第１のユーザ入力に基づいて選択し、カラー化ノードに関連する第１のワークフローを実行することをさらに含むことができる。実行は、選択された基準カラー画像及び第１の画像フィードを（ニューラルネットワークベースのカラー化モデル１０８などの）ニューラルネットワークベースのカラー化モデルに入力として供給し、入力に対するニューラルネットワークベースのカラー化モデル１０８の出力として、ＲＯＩ上の色彩効果に基づいてカラー化された少なくとも第１のオブジェクトをそれぞれが含む（カラー化画像３０８Ａなどの）１又は２以上のカラー化画像を含む第２の画像フィードを受け取ることを含む。

【0063】

本開示の例示的な態様は、（回路２０２などの）回路を含む（図１のコンピュータシステム１０２などの）コンピュータシステムを提供することができる。回路２０２は、（入力画像４０２Ａなどの）入力画像の（関心領域（ＲＯＩ）１２０などの）ＲＯＩに色彩効果を選択的に適用することに基づいて（基準色画像１１８などの）基準色画像を取得するように構成することができる。回路２０２は、（画像／ビデオ編集アプリケーション１０６などの）画像／ビデオ編集アプリケーションの（グラフィカルユーザインターフェイス（ＧＵＩ）１１６などの）ＧＵＩ上に（第１のノードグラフ３０４Ａなどの）第１のノードグラフを表示するように（ディスプレイ装置１０４などの）ディスプレイ装置を制御するよう構成することができる。第１のノードグラフは、第１の画像フィードの１又は２以上のグレースケール画像内の少なくとも（サッカー選手３０２ＢのＴシャツなどの）第１のオブジェクトのカラー化のための第１のワークフローを表す（カラー化ノード３０４Ｂなどの）カラー化ノードを含むことができる。回路２０２は、第１のユーザ入力に基づいて取得された基準カラー画像を選択し、選択された基準カラー画像及び第１の画像フィードを入力としてニューラルネットワークベースカラー化モデル（ニューラルネットワークベースカラー化モデル１０８など）に供給し、入力に対するニューラルネットワークベースカラー化モデル１０８の出力として（カラー化画像３０８Ａなどの）１又は２以上のカラー化画像を含む第２の画像フィードを受け取ることによって、カラー化ノードに関連する第１のワークフローを実行するように構成することができる。１又は２以上のカラー化画像の各々は、基準カラー画像のＲＯＩ上の色彩効果に基づいてカラー化された少なくとも第１のオブジェクトを含むことができる。

【0064】

ある実施形態によれば、回路２０２は、画像／ビデオ編集アプリケーションのＧＵＩ上に（第２のノードグラフ４０８Ａなどの）第２のノードグラフを表示するようにディスプレイ装置を制御するようにさらに構成される。第２のノードグラフは、入力画像から基準色画像を取得する第２のワークフローを表すことができる。

【0065】

ある実施形態によれば、回路２０２は、入力画像からＲＯＩを選択し、選択されたＲＯＩに第１の画像フィルタセットを適用し、第１の画像フィルタセットの適用に基づいて入力画像の選択されたＲＯＩに色彩効果を適用して基準色画像を取得することによって、第２のワークフローを実行するようにさらに構成される。

【0066】

ある実施形態によれば、カラー化ノードは、第１のワークフローを実行するためのプログラム命令を含むソフトウェアプラグインに対応する。ある実施形態によれば、回路２０２は、画像／ビデオ編集アプリケーションのＧＵＩ上にカラー化ノードの設定を表示するようにディスプレイ装置１０４を制御するようさらに構成される。設定は、一連のニューラルネットワークベースのカラー化モデルに対応する一連のオプションを含むことができる。回路２０２は、一連のオプションのうちの第１のオプションの選択を含む第２のユーザ入力を受け取るようにさらに構成することができる。回路２０２は、第２のユーザ入力に基づいて、一連のニューラルネットワークベースのカラー化モデルの中からニューラルネットワークベースのカラー化モデルを選択するようにさらに構成することができる。

【0067】

ある実施形態によれば、ニューラルネットワークベースのカラー化モデルは、第１の画像フィードの１又は２以上のグレースケール画像の各々における（サッカー選手３０２ＢのＴシャツなどの）少なくとも第１のオブジェクトに基準カラー画像のＲＯＩ上の色彩効果を転写して（カラー化画像３０８Ａなどの）１又は２以上のカラー化画像を含む第２の画像フィードを出力する。

【0068】

ある実施形態によれば、回路２０２は、画像／ビデオ編集アプリケーションのＧＵＩ上に第２の画像フィードを表示するようにディスプレイ装置１０４を制御するようさらに構成することができる。

【0069】

本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。

【0070】

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

【0071】

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。

【符号の説明】

【0072】

１０２ コンピュータシステム
１０４ ディスプレイ装置
１０６ 画像／ビデオ編集アプリケーション
１０８ ニューラルネットワークベースのカラー化モデル
１１０ サーバ
１１２ 通信ネットワーク
１１４ グラフィカルユーザインターフェイス（ＧＵＩ）
１１４ グレースケール画像
１１８ 基準カラー画像
１２０ 関心領域（ＲＯＩ）
１２２ カラー化画像
１２４ サッカー選手
５０２ 開始
５０４ 入力画像の関心領域（ＲＯＩ）に色彩効果を選択的に適用することによって基準色画像を取得
５０６ 第１の画像フィードの１又は２以上のグレースケール画像内の少なくとも第１のオブジェクトのカラー化のための第１のワークフローを表すカラー化ノードを含む第１のノードグラフを画像／ビデオ編集アプリケーションのユーザインターフェイス（ＧＵＩ）上に表示するようにディスプレイ装置１０４を制御
５０８ 取得された基準カラー画像を第１のユーザ入力に基づいて選択
５１０ カラー化ノードに関連する第１のワークフローを実行
５１２ 基準色画像及び第１の画像フィードをニューラルネットワークベースのカラー化モデルへの入力として供給
５１４ ＲＯＩ上の色彩効果に基づいてカラー化された少なくとも第１のオブジェクトをそれぞれが含むことができる１又は２以上のカラー化画像を含む第２の画像フィードをニューラルネットワークベースのカラー化モデルの出力として受信

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】