IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特表2023-550930画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化
<>
  • 特表-画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化 図1
  • 特表-画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化 図2
  • 特表-画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化 図3
  • 特表-画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化 図4
  • 特表-画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-06
(54)【発明の名称】画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化
(51)【国際特許分類】
   G06T 1/00 20060101AFI20231129BHJP
   G06T 11/00 20060101ALI20231129BHJP
   G06T 11/60 20060101ALI20231129BHJP
   G06T 1/40 20060101ALI20231129BHJP
【FI】
G06T1/00 510
G06T11/00 110
G06T11/60 100E
G06T1/40
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023530267
(86)(22)【出願日】2021-11-18
(85)【翻訳文提出日】2023-05-18
(86)【国際出願番号】 IB2021060716
(87)【国際公開番号】W WO2022107046
(87)【国際公開日】2022-05-27
(31)【優先権主張番号】16/952,348
(32)【優先日】2020-11-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ZIGBEE
2.BLUETOOTH
3.WCDMA
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100092093
【弁理士】
【氏名又は名称】辻居 幸一
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(72)【発明者】
【氏名】リ ジョンファ
(72)【発明者】
【氏名】タフォラ モイセズ
(72)【発明者】
【氏名】ガーグ プラガヤー
(72)【発明者】
【氏名】ラングレー アリソン
(72)【発明者】
【氏名】リオンズ ゲーリー ロバーツ
(72)【発明者】
【氏名】ストーンハム アレクサンダー
(72)【発明者】
【氏名】キム スンハン
(72)【発明者】
【氏名】バスコンセロス ルイス
【テーマコード(参考)】
5B050
5B057
5B080
【Fターム(参考)】
5B050AA09
5B050BA06
5B050BA10
5B050CA07
5B050CA08
5B050EA09
5B050FA02
5B050FA05
5B050FA13
5B050GA08
5B057BA24
5B057BA26
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE17
5B057DB02
5B057DB06
5B057DB09
5B057DC40
5B080CA00
5B080FA02
5B080FA03
5B080GA00
(57)【要約】
ニューラルネットワークベースの画像カラー化のためのコンピュータシステム及び方法を提供する。コンピュータシステムは、入力画像の関心領域に色彩効果を選択的に適用することによって基準色画像を取得し、画像/ビデオ編集アプリケーションのグラフィカルユーザインターフェイス上に第1のノードグラフを表示するようにディスプレイ装置を制御する。第1のノードグラフは、第1の画像フィードのグレースケール画像内の少なくとも第1のオブジェクトのカラー化のための第1のワークフローを表すカラー化ノードを含む。コンピュータシステムは、ユーザ入力に基づいて基準カラー画像を選択し、基準カラー画像及び第1の画像フィードをニューラルネットワークベースのカラー化モデルへの入力として供給することによってカラー化ノードに関連する第1のワークフローを実行する。コンピュータシステムは、入力に対するニューラルネットワークベースのカラー化モデルの出力として、カラー化画像を含む第2の画像フィードを受け取る。
【選択図】 図1
【特許請求の範囲】
【請求項1】
コンピュータシステムにおいて、
入力画像の関心領域(ROI)に選択的に色彩効果を適用することによって基準色画像を取得することと、
第1の画像フィードの1又は2以上のグレースケール画像における少なくとも第1のオブジェクトをカラー化するための第1のワークフローを表すカラー化ノードを含む第1のノードグラフを画像/ビデオ編集アプリケーションのグラフィカルユーザインターフェイス(GUI)上に表示するようにディスプレイ装置を制御することと、
前記取得された基準カラー画像を第1のユーザ入力に基づいて選択することと、
前記カラー化ノードに関連する前記第1のワークフローを実行することと、
を含み、前記実行することは、
前記選択された基準カラー画像及び前記第1の画像フィードをニューラルネットワークベースのカラー化モデルへの入力として供給することと、
前記入力に対する前記ニューラルネットワークベースのカラー化モデルの出力として、前記ROI上の色彩効果に基づいてカラー化された少なくとも前記第1のオブジェクトをそれぞれが含む1又は2以上のカラー化画像を含む第2の画像フィードを受け取ることと、
を含む、
ことを特徴とする方法。
【請求項2】
前記画像/ビデオ編集アプリケーションの前記GUI上に、前記入力画像から前記基準カラー画像を取得するための第2のワークフローを表す第2のノードグラフを表示するように前記ディスプレイ装置を制御することをさらに含む、
請求項1に記載の方法。
【請求項3】
前記第2のワークフローを実行することをさらに含み、前記実行することは、
前記入力画像から前記ROIを選択することと、
前記選択されたROIに第1の画像フィルタセットを適用することと、
前記第1の画像フィルタセットの前記適用に基づいて、前記入力画像の前記選択されたROIに前記色彩効果を適用して前記基準色画像を取得することと、
を含む、請求項2に記載の方法。
【請求項4】
前記カラー化ノードは、前記第1のワークフローを実行するためのプログラム命令を含むソフトウェアプラグインに対応する、
請求項1に記載の方法。
【請求項5】
一連のニューラルネットワークベースのカラー化モデルに対応する一連のオプションを含む前記カラー化ノードの設定を前記画像/ビデオ編集アプリケーションのGUI上に表示するように前記ディスプレイ装置を制御することと、
前記一連のオプションのうちの第1のオプションの選択を含む第2のユーザ入力を受け取ることと、
前記第2のユーザ入力に基づいて、前記一連のニューラルネットワークベースのカラー化モデルの中から前記ニューラルネットワークベースのカラー化モデルを選択することと、
をさらに含む、請求項1に記載の方法。
【請求項6】
前記ニューラルネットワークベースのカラー化モデルは、前記基準カラー画像の前記ROI上の前記色彩効果を前記第1の画像フィードの前記1又は2以上のグレースケール画像の各々における少なくとも前記第1のオブジェクトに転写して、前記1又は2以上のカラー化画像を含む前記第2の画像フィードを出力する、
請求項1に記載の方法。
【請求項7】
前記画像/ビデオ編集アプリケーションの前記GUI上に前記第2の画像フィードを表示するように前記ディスプレイ装置を制御することをさらに含む、
請求項1に記載の方法。
【請求項8】
コンピュータシステムであって、
入力画像の関心領域(ROI)に選択的に色彩効果を適用することに基づいて基準色画像を取得し、
第1の画像フィードの1又は2以上のグレースケール画像における少なくとも第1のオブジェクトをカラー化するための第1のワークフローを表すカラー化ノードを含む第1のノードグラフを画像/ビデオ編集アプリケーションのグラフィカルユーザインターフェイス(GUI)上に表示するようにディスプレイ装置を制御し、
前記取得された基準カラー画像を第1のユーザ入力に基づいて選択する、とともに、
前記選択された基準カラー画像及び前記第1の画像フィードをニューラルネットワークベースのカラー化モデルへの入力として供給し、
前記入力に対する前記ニューラルネットワークベースのカラー化モデルの出力として、前記ROI上の色彩効果に基づいてカラー化された少なくとも前記第1のオブジェクトをそれぞれが含む1又は2以上のカラー化画像を含む第2の画像フィードを受け取る、
ことによって前記カラー化ノードに関連する前記第1のワークフローを実行する、
ように構成された回路を備える、ことを特徴とするシステム。
【請求項9】
前記回路は、前記画像/ビデオ編集アプリケーションの前記GUI上に、前記入力画像から前記基準カラー画像を取得するための第2のワークフローを表す第2のノードグラフを表示するように前記ディスプレイ装置を制御するようさらに構成される、
請求項8に記載のコンピュータシステム。
【請求項10】
前記回路は、
前記入力画像から前記ROIを選択し、
前記選択されたROIに第1の画像フィルタセットを適用し、
前記第1の画像フィルタセットの前記適用に基づいて、前記入力画像の前記選択されたROIに前記色彩効果を適用して前記基準色画像を取得する、
ことによって前記第2のワークフローを実行するようにさらに構成される、
請求項9に記載のコンピュータシステム。
【請求項11】
前記カラー化ノードは、前記第1のワークフローを実行するためのプログラム命令を含むソフトウェアプラグインに対応する、
請求項8に記載のコンピュータシステム。
【請求項12】
前記回路は、
一連のニューラルネットワークベースのカラー化モデルに対応する一連のオプションを含む前記カラー化ノードの設定を前記画像/ビデオ編集アプリケーションのGUI上に表示するように前記ディスプレイ装置を制御し、
前記一連のオプションのうちの第1のオプションの選択を含む第2のユーザ入力を受け取り、
前記第2のユーザ入力に基づいて、前記一連のニューラルネットワークベースのカラー化モデルの中から前記ニューラルネットワークベースのカラー化モデルを選択する、
ようにさらに構成される、請求項8に記載のコンピュータシステム。
【請求項13】
前記ニューラルネットワークベースのカラー化モデルは、前記基準カラー画像の前記ROI上の前記色彩効果を前記第1の画像フィードの前記1又は2以上のグレースケール画像の各々における少なくとも前記第1のオブジェクトに転写して、前記1又は2以上のカラー化画像を含む前記第2の画像フィードを出力する、
請求項8に記載のコンピュータシステム。
【請求項14】
前記回路は、前記画像/ビデオ編集アプリケーションの前記GUI上に前記第2の画像フィードを表示するように前記ディスプレイ装置を制御するようさらに構成される、
請求項8に記載のコンピュータシステム。
【請求項15】
コンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、コンピュータシステムによって実行された時に、
入力画像の関心領域(ROI)に選択的に色彩効果を適用することによって基準色画像を取得することと、
第1の画像フィードの1又は2以上のグレースケール画像における少なくとも第1のオブジェクトをカラー化するための第1のワークフローを表すカラー化ノードを含む第1のノードグラフを画像/ビデオ編集アプリケーションのグラフィカルユーザインターフェイス(GUI)上に表示するようにディスプレイ装置を制御することと、
前記取得された基準カラー画像を第1のユーザ入力に基づいて選択することと、
前記カラー化ノードに関連する前記第1のワークフローを実行することと、
を含む動作を前記システムに実行させ、前記実行することは、
前記選択された基準カラー画像及び前記第1の画像フィードをニューラルネットワークベースのカラー化モデルへの入力として供給することと、
前記入力に対する前記ニューラルネットワークベースのカラー化モデルの出力として、前記ROI上の色彩効果に基づいてカラー化された少なくとも前記第1のオブジェクトをそれぞれが含む1又は2以上のカラー化画像を含む第2の画像フィードを受け取ることと、
を含む、
ことを特徴とする非一時的コンピュータ可読媒体。
【請求項16】
前記動作は、前記画像/ビデオ編集アプリケーションの前記GUI上に、前記入力画像から前記基準カラー画像を取得するための第2のワークフローを表す第2のノードグラフを表示するように前記ディスプレイ装置を制御することをさらに含む、
請求項15に記載の非一時的コンピュータ可読媒体。
【請求項17】
前記動作は、前記第2のワークフローを実行することをさらに含み、前記実行することは、
前記入力画像から前記ROIを選択することと、
前記選択されたROIに第1の画像フィルタセットを適用することと、
前記第1の画像フィルタセットの前記適用に基づいて、前記入力画像の前記選択されたROIに前記色彩効果を適用して前記基準色画像を取得することと、
を含む、請求項16に記載の非一時的コンピュータ可読媒体。
【請求項18】
前記カラー化ノードは、前記第1のワークフローを実行するためのプログラム命令を含むソフトウェアプラグインに対応する、
請求項15に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記動作は、
一連のニューラルネットワークベースのカラー化モデルに対応する一連のオプションを含む前記カラー化ノードの設定を前記画像/ビデオ編集アプリケーションのGUI上に表示するように前記ディスプレイ装置を制御することと、
前記一連のオプションのうちの第1のオプションの選択を含む第2のユーザ入力を受け取ることと、
前記第2のユーザ入力に基づいて、前記一連のニューラルネットワークベースのカラー化モデルの中から前記ニューラルネットワークベースのカラー化モデルを選択することと、
をさらに含む、請求項15に記載の非一時的コンピュータ可読媒体。
【請求項20】
前記ニューラルネットワークベースのカラー化モデルは、前記基準カラー画像の前記ROI上の前記色彩効果を前記第1の画像フィードの前記1又は2以上のグレースケール画像の各々における少なくとも前記第1のオブジェクトに転写して、前記1又は2以上のカラー化画像を含む前記第2の画像フィードを出力する、
請求項15に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照/引用による組み入れ〕
なし
【0002】
本開示の様々な実施形態は、画像/ビデオのカラー化に関する。具体的には、本開示の様々な実施形態は、画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための方法及びシステムに関する。
【背景技術】
【0003】
画像/ビデオ編集アプリケーションの進歩は、グレースケール画像/ビデオ内の1又は2以上の領域に色を追加する画像カラー化技術の発展をもたらした。従来のロトスコープ(rotoscoping)ベースの方法では、ビデオの画像フレーム内の関心領域の周囲にユーザが手動で点を配置する必要があった。ビデオ内の一連のフレーム全体をカラー化するには、ビデオのフレーム毎に上記プロセスを手動で繰り返す必要がある。これには時間が掛かり、ユーザにとって面倒となり得る。
【発明の概要】
【発明が解決しようとする課題】
【0004】
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法の限界及び不利点が明らかになるであろう。
【課題を解決するための手段】
【0005】
実質的に少なくとも1つの図に関連して図示及び/又は説明し、特許請求の範囲にさらに完全に示すような、画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のためのコンピュータシステム及び方法を提供する。
【0006】
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
【図面の簡単な説明】
【0007】
図1】本開示の実施形態による、画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的なネットワーク環境を示すブロック図である。
図2】本開示の実施形態による、画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的なコンピュータシステムを示すブロック図である。
図3】本開示の実施形態による、画像/ビデオ編集アプリケーション上でニューラルネットワークベースのカラー化プラグインを使用してグレースケール画像フィードをカラー化する例示的な動作を示す図である。
図4】本開示の実施形態による、図3の例示的な動作において使用される基準カラー画像を取得する例示的な動作を示す図である。
図5】本開示の実施形態による、画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【0008】
開示する画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のためのコンピュータシステム及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、基準カラー画像を使用して画像フィードの1又は2以上のグレースケール画像内の少なくとも1つのオブジェクトをカラー化するためのニューラルネットワークベースの画像カラー化モデルを使用するワークフローを実装するコンピュータシステムを提供する。具体的には、ニューラルネットワークベースのカラー化モデルは、基準カラー画像内の関心領域上の色彩効果を画像フィードの各グレースケール画像内のオブジェクトに転写する。このような画像フィードは、単一の画像とすることも、或いは複数の画像を含むビデオとすることもできる。
【0009】
ユーザは、画像/ビデオ編集アプリケーション上で、画像/ビデオ編集アプリケーションのロトスコープツールを使用して基準カラー画像を取得することができる。例えば、ユーザは、ロトスコープを採用して画像のマスク領域の色を変更して基準色画像を取得することができる。このアプリケーションは、ノードグラフを構築するためのノードベースのインターフェイスを提供する。例えば、ユーザは、グレースケール画像の画像フィードを単純にソースノードとしてカラー化ノードに追加し、その出力を結果ノードにリンクさせることができる。カラー化ノードは、実行時にニューラルネットワークベースのカラー化モデルを呼び出して基準カラー画像内の関心領域から画像フィードの(単複の)グレースケール画像内の(単複の)オブジェクトに色彩効果を適用する(OpenFX(OFX)プラグインなどの)ソフトウェアプラグインに対応することができる。基準カラー画像、又は基準カラー画像のファイルパスを、カラー化ノードへの入力として受け渡すことができる。
【0010】
従来のロトスコープベースの方法では、ビデオの画像フレーム内の関心領域の周囲にユーザが手動で点を設定する必要があった。ビデオ内の一連のフレーム全体をカラー化するには、ビデオのフレーム毎に上記プロセスを繰り返す必要がある。これには時間が掛かり、面倒となり得る。対照的に、本開示では、ターゲットグレースケールビデオの全てのフレーム内のいずれかの関心領域をユーザがマークする必要がない。ユーザは、画像/ビデオ編集アプリケーションのノードベースのインターフェイス上のカラー化ノードへの入力として、基準カラー画像及びターゲット画像又は((単複の)グレースケール画像を含む)ビデオを単純に選択すればよい。カラー化ノードは、実行時にニューラルネットワークベースのカラー化モデルを呼び出して基準カラー画像内のROIからターゲット画像/ビデオのフレーム内の(単複の)オブジェクトに色彩効果を転写できるワークフローを表すことができる。
【0011】
図1は、本開示の実施形態による、画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的なネットワーク環境を示すブロック図である。図1にはネットワーク環境100を示す。ネットワーク環境100は、コンピュータシステム102と、コンピュータシステム102に通信可能に結合されたディスプレイ装置104とを含むことができる。さらに、コンピュータシステム102にインストールできる、或いはコンピュータシステム102上のウェブアプリケーション又はウェブブラウザなどのウェブクライアントを介してアクセスできる、画像/ビデオ編集アプリケーション106も示す。
【0012】
ネットワーク環境100は、ニューラルネットワークベースのカラー化モデル108を実装できるサーバ110をさらに含むことができる。サーバ110は、通信ネットワーク112を介してコンピュータシステム102に通信可能に結合することができる。図1では、コンピュータシステム102及びディスプレイ装置104を2つの独立した装置として示しているが、いくつかの実施形態では、本開示の範囲から逸脱することなく、ディスプレイ装置104の機能全体をコンピュータシステム102に組み込むこともできる。
【0013】
コンピュータシステム102は、(グレースケール画像114などの)1又は2以上のグレースケール画像を含む第1の画像フィード内の1又は2以上のオブジェクトをカラー化するための第1のワークフローを実行するように構成できる好適なロジック、回路、コード及び/又はインターフェイスを含むことができる。第1のワークフローは、画像/ビデオ編集アプリケーション106上で第1のワークフローを実行するためのプログラム命令を含むソフトウェアプラグインに関連することができる。コンピュータシステム102の例としては、以下に限定するわけではないが、画像/ビデオ編集機、サーバ、コンピュータワークステーション、メインフレームマシン、ゲーム装置、スマートフォン、携帯電話機、ラップトップ、タブレット、拡張現実(XR)ヘッドセット、及び/又は画像/ビデオ編集機能を有する他のいずれかの消費者電子(CE)装置を挙げることができる。
【0014】
ディスプレイ装置104は、画像/ビデオ編集アプリケーション106のグラフィカルユーザインターフェイス(GUI)116を表示するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。1つの実施形態では、ディスプレイ装置104を、ユーザがディスプレイ装置104を介してユーザ入力を提供できるようにするタッチ対応装置とすることができる。ディスプレイ装置104は、以下に限定するわけではないが、液晶ディスプレイ(LCD)ディスプレイ、発光ダイオード(LED)ディスプレイ、プラズマディスプレイ、又は有機LED(OLED)ディスプレイ技術のうちの少なくとも1つなどの複数の既知の技術、又はその他のディスプレイ技術を通じて実現できるディスプレイユニットを含むことができる。
【0015】
画像/ビデオ編集アプリケーション106は、1又は2以上のグレースケール画像を含む画像フィードを編集するように構成できる好適なロジック、コード及び/又はインターフェイスを含むことができる。例えば、編集は、ロトスコープ法を使用して入力画像に色彩効果を適用して(基準カラー画像118などの)基準カラー画像を取得することを含むことができる。別の編集は、ニューラルネットワークベースのカラー化モデル108を実装できるソフトウェアプラグインを使用して、基準カラー画像から画像フィードの(グレースケール画像114などの)グレースケール画像内のオブジェクトに色彩効果を転写することを含むことができる。画像/ビデオ編集アプリケーション106は、ノードグラフアーキテクチャに基づいて実装することができる。ノードグラフアーキテクチャでは、ユーザが、(基準色画像118などの)基準色画像に基づく画像フィードのカラー化などのいずれかの編集タスクのワークフローを表すノードグラフを構築することができる。画像/ビデオ編集アプリケーション106の例としては、以下に限定するわけではないが、ノードベースのデジタル合成及び視覚効果アプリケーション、画像エディタ、デジタル効果アプリケーション、モーショングラフィック編集アプリケーション、合成アプリケーション、非線形編集(NLE)アプリケーション、ラスターグラフィックスエディタ、又はこれらの組み合わせを挙げることができる。
【0016】
ニューラルネットワークベースのカラー化モデル108は、画像フィードの単一の画像フレーム内又は一連の画像フレーム内のオブジェクトをカラー化する画像カラー化タスクに基づいて訓練できる画像カラー化モデルとすることができる。ニューラルネットワークベースのカラー化モデル108は、例えば(単複の)活性化関数、重みの数、コスト関数、正則化関数、入力サイズ、及び層の数などのハイパーパラメータによって定めることができる。
【0017】
ニューラルネットワークベースのカラー化モデル108は、計算ネットワーク、又は(ノードとも呼ばれる)人工ニューロンのシステムと呼ぶことができる。ニューラルネットワークベースのカラー化モデル108のノードは、ニューラルネットワークベースのカラー化モデル108のニューラルネットワークトポロジーで定められるような複数の層状に配置することができる。ニューラルネットワークベースのカラー化モデル108の複数の層は、入力層、1又は2以上の隠れ層、及び出力層を含むことができる。複数の層の各層は、1又は2以上のノード(又は、例えば円で表される人工ニューロン)を含むことができる。入力層における全てのノードの出力は、(単複の)隠れ層の少なくとも1つのノードに結合することができる。同様に、各隠れ層の入力は、ニューラルネットワークベースのカラー化モデル108の他の層における少なくとも1つのノードの出力に結合することができる。各隠れ層の出力は、ニューラルネットワークベースのカラー化モデル108の他の層における少なくとも1つのノードの入力に結合することができる。最終層の(単複の)ノードは、少なくとも1つの隠れ層から入力を受け取って結果を出力することができる。層の数及び各層におけるノードの数は、ニューラルネットワークベースのカラー化モデル108のハイパーパラメータから決定することができる。このようなハイパーパラメータは、画像の訓練データセットに基づくニューラルネットワークベースのカラー化モデル108の訓練前又は訓練中に設定することができる。
【0018】
ニューラルネットワークベースのカラー化モデル108の各ノードは、ネットワークの訓練中に調整できるパラメータセットを有する数学関数(例えば、シグモイド関数又は正規化線形ユニット(rectified linear unit))に対応することができる。パラメータセットは、例えば重みパラメータ及び正則化パラメータなどを含むことができる。各ノードは、ニューラルネットワークベースのカラー化モデル108の他の(単複の)層(例えば、前の(単複の)層)のノードからの1又は2以上の入力に基づいて、数学関数を使用して出力を計算することができる。ニューラルネットワークベースのカラー化モデル108のノードの全部又は一部は、同じ又は異なる数学関数に対応することができる。
【0019】
ニューラルネットワークベースカラー化モデル108の訓練では、(訓練データセットからの)所与の入力に対する最終層の出力がニューラルネットワークベースカラー化モデル108の損失関数に基づく正しい結果に一致するかどうかに基づいてニューラルネットワークベースカラー化モデル108の各ノードの1又は2以上のパラメータを更新することができる。上記プロセスは、損失関数の最小値が達成されて訓練エラーが最小化されるまで同じ又は異なる入力について繰り返すことができる。当業では、勾配降下法、確率的勾配降下法、バッチ勾配降下法、勾配ブースト法及びメタヒューリスティック法などの複数の訓練法が知られている。
【0020】
ある実施形態では、ニューラルネットワークベースのカラー化モデル108が、例えばコンピュータシステム102又はサーバ110上で実行可能なアプリケーションのソフトウェアコンポーネントとして実装できる電子データを含むことができる。ニューラルネットワークベースのカラー化モデル108は、コンピュータシステム102又はサーバ110などの処理装置による実行のためにライブラリ、外部スクリプト又はその他のロジック/命令に依拠することができる。ニューラルネットワークベースのカラー化モデル108は、入力グレースケール画像内のオブジェクトをカラー化するための1又は2以上の動作をコンピュータシステム102又はサーバ110などのコンピュータ装置が実行できるようにするコンピュータ実行可能コード又はルーチンを含むことができる。これに加えて又はこれに代えて、ニューラルネットワークベースのカラー化モデル108は、プロセッサ、(例えば、1又は2以上の動作の実行又はその制御を行う)マイクロプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)又は特定用途向け集積回路(ASIC)を含むハードウェアを使用して実装することもできる。例えば、コンピュータシステム102には、画像カラー化タスクのためのニューラルネットワークベースのカラー化モデル108の計算を加速させる推論アクセラレータチップを含めることができる。いくつかの実施形態では、ニューラルネットワークベースのカラー化モデル108を、ハードウェア及びソフトウェアの両方の組み合わせを使用して実装することができる。
【0021】
ニューラルネットワークベースのカラー化モデル108の例としては、以下に限定するわけではないが、オートエンコーダ、畳み込みニューラルネットワーク(CNN)、Regions with CNN(R-CNN)、Fast R-CNN、Faster R-CNN、You Only Look Once(YOLO)ネットワーク、残差ニューラルネットワーク(Res-Net)、特徴ピラミッドネットワーク(FPN)、網膜ネット、及び/又はこれらの組み合わせを挙げることができる。
【0022】
サーバ110は、(基準カラー画像118などの)基準カラー画像を使用して(単複の)グレースケール画像のカラー化のためのニューラルネットワークベースカラー化モデル108を実装するように構成できる好適なロジック、回路及びインターフェイス、及び/又はコードを含むことができる。サーバ110はクラウドサーバとすることができ、ウェブアプリケーション、クラウドアプリケーション、HTTPリクエスト、リポジトリ動作及びファイル転送などを通じて動作を実行することができる。サーバ110の他の実装例としては、以下に限定するわけではないが、ウェブサーバ、ファイル転送プロトコル(FTP)サーバ、アプリケーションサーバ、又はメインフレームサーバを挙げることができる。
【0023】
少なくとも1つの実施形態では、当業者に周知の複数の技術を使用することによって、サーバ110を複数の分散型クラウドベースリソースとして実装することができる。当業者であれば、本開示の範囲を2つの別個のエンティティとしてのサーバ110及びコンピュータシステム102の実装に限定しないこともできると理解するであろう。いくつかの実施形態では、本開示の範囲から逸脱することなく、サーバ110の機能を全体的に又は少なくとも部分的にコンピュータシステム102に組み込むこともできる。
【0024】
通信ネットワーク112は、コンピュータシステム102がサーバ110及び簡略化のために本開示から省略する他の装置と通信できるようにする通信媒体を含むことができる。通信ネットワーク112は、有線接続又は無線接続の一方とすることができる。通信ネットワーク112の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィデリティ(Wi-Fi)ネットワーク、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、又はメトロポリタンエリアネットワーク(MAN)を挙げることができる。ネットワーク環境100内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク112に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル(TCP/IP)、ユーザデータグラムプロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)、ファイル転送プロトコル(FTP)、ZigBee、EDGE、IEEE802.11、ライトフィデリティ(Li-Fi)、802.16、IEEE 802.11s、IEEE 802.11g、マルチホップ通信、無線アクセスポイント(AP)、装置間通信、セルラー通信プロトコル及びBluetooth(BT)通信プロトコルのうちの少なくとも1つを挙げることができる。
【0025】
動作中、コンピュータシステム102は、画像/ビデオ編集アプリケーション106のGUI116を表示するようにディスプレイ装置104を制御することができる。GUI116は、画像カラー化タスク又はロトスコープタスクなどの画像処理タスクのワークフローを作成するためのノードベースのインターフェイスを含むことができる。例えば、ユーザは、ノードベースのインターフェイス上に一連の画像処理動作をノードとして単純に配置すればよい。その後、ワークフローを取得するために、このようなノードをノードベースのインターフェイス上で互いに接続することによってこのような画像動作を互いにリンクさせることができる。これらの各動作は、共にノードグラフを生成することができる。
【0026】
初めに、コンピュータシステム102は、入力画像の(関心領域(ROI)120などの)ROIに色彩効果を選択的に適用することによって(基準色画像118などの)基準色画像を取得することができる。コンピュータシステム102は、GUI116を介したユーザ入力に基づいて入力画像のROIを決定することができる。例えば、GUI116は、入力画像を表示できるプレビューウィンドウを含むことができる。ユーザ入力は、入力画像内のROIの周囲に複数の点を追加して、ROIを入力画像内の残りの要素から分離できるマスクを作成することを含むことができる。ユーザ入力は、GUI116のノードベースのインターフェイスの第1のノードとして現れることができる。コンピュータシステム102は、基準カラー画像を取得するために、入力画像のROIに色彩効果を適用するように構成することができる。色彩効果は、GUI116のノードベースのインターフェイスの第2のノードとして現れることができる。いくつかの事例では、色彩効果の適用前又は適用後に、ROIに画像フィルタセットを適用することができる。このようなフィルタは、第1のノード又は第2のノードに接続された(単複の)ノードとして現れることができる。このような全てのノードは、実行時にROIを選択し、選択されたROIに画像フィルタセット及び色彩効果を適用して(ROI120などの)基準色画像を取得できるワークフロー全体を表すことができるノードグラフを形成することができる。基準カラー画像の詳細については、例えば図4にさらに示す。
【0027】
ユーザは、いずれかの時点で画像/ビデオ編集アプリケーション106上でプロジェクトを作成することができる。コンピュータシステム102は、GUI116のノードベースのインターフェイスを介して、第1のノードグラフを構築するためのユーザ入力を受け取ることができる。コンピュータシステム102は、画像/ビデオ編集アプリケーション106のGUI116上に第1のノードグラフを表示するようにディスプレイ装置104を制御することができる。第1のノードグラフは、第1の画像フィードの(グレースケール画像114などの)1又は2以上のグレースケール画像内の少なくとも第1のオブジェクトをカラー化する第1のワークフローを表すことができるカラー化ノードを含むことができる。第1の画像フィードは、単一の画像、又はビデオの一連の画像フレームを含むことができる。第1のノードグラフに関連する詳細については、例えば図3に示す。
【0028】
コンピュータシステム102は、画像/ビデオ編集アプリケーション106を介して、(基準カラー画像118などの)基準カラー画像の選択を含むことができる第1のユーザ入力を受け取ることができる。その後、コンピュータシステム102は、第1のユーザ入力に基づいて基準カラー画像を選択し、カラー化ノードに関連する第1のワークフローを実行することができる。第1のワークフローが開始されると、コンピュータシステム102は、選択された基準カラー画像及び第1の画像フィードをニューラルネットワークベースのカラー化モデル108に入力として供給することができる。コンピュータシステム102は、入力に対するニューラルネットワークベースのカラー化モデル108の出力として第2の画像フィードを受け取ることができる。第2の画像フィードは、(カラー化画像122などの)1又は2以上のカラー化画像を含むことができる。このような各カラー化画像は、(ROI120などの)ROI上の色彩効果に基づいてカラー化された(サッカー選手124のTシャツなどの)少なくとも第1のオブジェクトを含むことができる。
【0029】
図2は、本開示の実施形態による、画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的なコンピュータシステムを示すブロック図である。図2の説明は図1の要素に関連して行う。図2にはコンピュータシステム102のブロック図200を示す。コンピュータシステム102は、回路202、メモリ204、入力/出力(I/O)装置206、及びネットワークインターフェイス208を含むことができる。回路202は、メモリ204、I/O装置206及びネットワークインターフェイス208に通信可能に結合することができる。いくつかの実施形態では、I/O装置206が(図1のディスプレイ装置104などの)ディスプレイ装置を含むことができる。
【0030】
回路202は、コンピュータシステム102が実行すべき異なる動作に関連するプログラム命令を実行するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。回路202は、1又は2以上の特殊処理ユニットの機能をまとめて実行する統合プロセッサ又はプロセッサ群として実装できる1又は2以上の特殊処理ユニットを含むことができる。回路202は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。回路202の実装例は、X86ベースのプロセッサ、グラフィックプロセッシングユニット(GPU)、縮小命令セットコンピューティング(RISC)プロセッサ、特定用途向け集積回路(ASIC)プロセッサ、複合命令セットコンピューティング(CISC)プロセッサ、マイクロコントローラ、中央処理装置(CPU)、及び/又はその他の計算回路とすることができる。
【0031】
メモリ204は、回路202が実行すべきプログラム命令を記憶するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。少なくとも1つの実施形態では、メモリ204を、(基準カラー画像118などの)基準カラー画像及び(グレースケール画像114などの)第1の画像フィードを記憶するように構成することができる。メモリ204は、入力画像の(ROI120などの)ROI上で使用される一連の色彩効果を記憶するようにさらに構成することができる。メモリ204の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、電気的に消去可能なプログラマブルリードオンリメモリ(EEPROM)、ハードディスクドライブ(HDD)、固体ドライブ(SSD)、CPUキャッシュ、及び/又はセキュアデジタル(SD)カードを挙げることができる。
【0032】
I/O装置206は、入力を受け取り、受け取った入力に基づいて出力を提供するように構成できる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。I/O装置206は、回路202と通信するように構成できる様々な入力及び出力装置を含むことができる。例えば、コンピュータシステム102は、I/O装置206を介して、基準カラー画像、入力画像からのROIを選択して入力画像の選択されたROIに色彩効果を適用するためのユーザ入力を受け取ることができる。I/O装置206の例としては、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、ディスプレイ装置(例えば、ディスプレイ装置210)、マイク、又はスピーカを挙げることができる。
【0033】
ネットワークインターフェイス208は、回路202が通信ネットワーク112を介してサーバ110、ディスプレイ装置104及び/又は他の通信装置と通信することを容易にするように構成できる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。ネットワークインターフェイス208は、通信ネットワーク112を介したコンピュータシステム102の無線通信をサポートする様々な既知の技術を使用して実装することができる。ネットワークインターフェイス208は、例えばアンテナ、無線周波数(RF)トランシーバ、1又は2以上の増幅器、チューナ、1又は2以上の発振器、デジタルシグナルプロセッサ、コーダ-デコーダ(CODEC)チップセット、加入者IDモジュール(SIM)カード、及びローカルバッファ回路などを含むことができる。
【0034】
ネットワークインターフェイス208は、インターネット、イントラネット、無線ネットワーク、セルラー電話ネットワーク、無線ローカルエリアネットワーク(LAN)又はメトロポリタンエリアネットワーク(MAN)などのネットワークと無線通信を介して通信するように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーション(GSM)、拡張データGSM環境(EDGE)、広帯域符号分割多元接続(W-CDMA)、ロングタームエボリューション(LTE)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、Bluetooth、(IEEE802.11a、IEEE 802.11b、IEEE 802.11g又はIEEE 802.11nなどの)ワイヤレスフィデリティ(WiFi)、ボイスオーバーインターネットプロトコル(VoIP)、ライトフィデリティ(Li-Fi)、又はワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス(Wi-MAX)などの複数の通信規格、プロトコル及び技術のうちの1つ又は2つ以上を使用するように構成することができる。
【0035】
図1で説明したようなコンピュータシステム102によって実行される機能又は動作は回路202によって実行することができる。回路202によって実行される動作については、例えば図3及び図4において詳細に説明する。
【0036】
図3は、本開示の実施形態による、画像/ビデオ編集アプリケーション上でニューラルネットワークベースのカラー化プラグインを使用してグレースケール画像フィードをカラー化する例示的な動作を示す図である。図3の説明は図1及び図2の要素に関連して行う。図3には、本明細書で説明する302~308の例示的な動作を示すブロック図300を示す。ブロック図300に示す例示的な動作は302から開始することができ、図1又は図2のコンピュータシステム102などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。
【0037】
302において、第1の画像フィードを取得することができる。回路202は、データソースから第1の画像フィードを取得することができる。データソースは、例えばコンピュータシステム102のオンボード画像センサ、コンピュータシステム102上の永続ストレージ、画像取り込み装置、クラウドサーバ、又はこれらの組み合わせとすることができる。第1の画像フィードは、それぞれが(サッカー選手302Bなどの)少なくとも第1のオブジェクトを含むことができる(グレースケール画像302Aなどの)1又は2以上のグレースケール画像を含むことができる。第1の画像フィードは、静的前景又は背景を含む静的シーンを表すことも、或いは1又は2以上の移動オブジェクトを含む動的シーンを表すこともできる。
【0038】
304において、第1の画像フィードのカラー化のための第1のノードグラフ304Aを構築する入力を受け取ることができる。例えば、入力は、画像/ビデオ編集アプリケーション106上でプロジェクトを作成するオプションの選択を含むユーザ入力とすることができる。GUI116が、作成されたプロジェクトのプロジェクトウィンドウを表示すると、ユーザ入力は、画像/ビデオ編集アプリケーション106のGUI116上でアクセス可能なツールバーを介したカラー化ノード304B、ソースノード304C及び結果ノード304Dなどのノードの選択を含むことができる。
【0039】
306において、構築された第1のノードグラフ304Aを表示することができる。回路202は、画像/ビデオ編集アプリケーション106のGUI116上に構築された第1のノードグラフ304Aを表示するようにディスプレイ装置104を制御することができる。例えば、GUI116は、ソースノード304Cと結果ノード304Dとの間にカラー化ノード304Bを含むように更新できるノードベースのインターフェイス306Aを含むことができる。結果ノード304Dは、カラー化ノード304Bの出力にリンクすることができ、ソースノード304Cは、(例えば、グレースケール画像302Aを含む)第1の画像フィード及び基準カラー画像306Bにリンクすることができる。回路202は、第1のユーザ入力に基づいて基準カラー画像306Bを選択することができる。
【0040】
第1のノードグラフ304Aは、第1の画像フィードの1又は2以上のグレースケール画像内の(サッカー選手302Bなどの)第1のオブジェクトのカラー化のための第1のワークフローを表す(又は第1のワークフローにリンクする)ことができるカラー化ノード304Bを含むことができる。ある実施形態では、カラー化ノードが、第1のワークフローを実行するためのプログラム命令を含むことができるソフトウェアプラグインに対応することができる。ユーザは、GUI116のノードベースのインターフェイス内でソフトウェアプラグインを選択してカラー化ノードとして追加することができる。
【0041】
ある実施形態では、回路202が、画像/ビデオ編集アプリケーション106のGUI116上にカラー化ノードの設定を表示するようにディスプレイ装置を制御することができる。例えば、この設定は、カラー化ノード304Bと共に表示されるオプションのユーザ選択に基づいて表示することができる。設定は、一連のニューラルネットワークベースのカラー化モデルに対応する一連のオプションを含むことができる。回路202は、一連のオプションのうちの第1のオプションの選択を含むことができるユーザ入力を受け取ることができる。回路202は、受け取ったユーザ入力に基づいて、一連のニューラルネットワークベースのカラー化モデルの中からニューラルネットワークベースのカラー化モデル108を選択することができる。
【0042】
308において、第1のワークフローを実行することができる。回路202は、いずれかの時点でカラー化ノード304Bに関連する第1のワークフローを実行することができる。回路202は、実行時に、選択された基準カラー画像306B及び(グレースケール画像302Aなどの)第1の画像フィードを、選択されたニューラルネットワークベースのカラー化モデル108への入力として供給することができる。その後、回路202は、選択されたニューラルネットワークベースのカラー化モデル108の出力として第2の画像フィードを受け取ることができる。例えば、第2の画像フィードは、(カラー化画像308Aなどの)1又は2以上のカラー化画像を含むことができる。1又は2以上のカラー化画像の各々は、基準カラー画像306B内のROI306C上の色彩効果に基づいてカラー化された(サッカー選手302Bなどの)少なくとも第1のオブジェクトを含むことができる。
【0043】
ある実施形態では、ニューラルネットワークベースカラー化モデル108が、基準カラー画像306BのROI306Cから第1の画像フィードの1又は2以上のグレースケール画像の各々における(サッカー選手302Bなどの)少なくとも第1のオブジェクトに色彩効果を転写して(カラー化画像308Aなどの1又は2以上のカラー化画像を含む)第2の画像フィードを出力することができる。例えば、図示のように、サッカー選手のシャツ上の黒色(すなわち、ROI306C)を第1の画像フィードのグレースケール画像302A内のサッカー選手302Bが着用しているシャツに転写することができる。ある実施形態では、回路202が、画像/ビデオ編集アプリケーション106のGUI116に第2の画像フィードを表示するようにディスプレイ装置104を制御することができる。
【0044】
フローチャート500の1又は2以上のブロックに関連する例示的な動作については離散ブロックで示しているが、これらは例示的な動作の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。
【0045】
図4は、本開示の実施形態による、図3の例示的な動作において使用される基準カラー画像を取得する例示的な動作を示す図である。図4の説明は、図1図2及び図3の要素に関連して行う。図4には、本明細書で説明する402~410の例示的な動作を示すブロック図400を示す。ブロック図400に示す例示的な動作は402から開始することができ、図1又は図2のコンピュータシステム102などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。
【0046】
402において、画像/ビデオ編集アプリケーション106のGUI116上に入力画像402Aをロードすることができる。入力画像402Aは、例えばサッカー選手402Bなどの少なくとも1つの関心オブジェクトを含むカラー画像とすることができる。
【0047】
404において、入力画像402AのROI404Aを選択することができる。このような選択は、GUI116を介したユーザ入力に基づくことができる。例えば、セグメンテーションの開始点として使用すべき入力画像をGUI116上にロードし、画像/ビデオ編集アプリケーション106のセグメンテーションツールを使用してROI404Aを選択することができる。例えば、図示のように、サッカー選手402Bのシャツの縁部の周囲に点を配置することによってシャツの周囲のROIを選択することができる。ROI404Aの選択は、GUI116のノードベースのインターフェイス内にノードとして表示することができる。
【0048】
406において、選択されたROI404Aのために第1の画像フィルタセットを選択することができる。例えば、このようなフィルタは、色相シフト演算(hue shift operation)、アルファブレンディング演算子(alpha blending operator)又はアルファ合成(alpha compositing operator)演算子などを含むことができる。このようなフィルタは、画像/ビデオ編集アプリケーション106のGUI116上に表示されるメニューを介して選択することができる。少なくとも1つの実施形態では、このようなフィルタが、選択されたROI404Aの1又は2以上の色チャンネル内の色値の修正に基づいて、ROI404Aに適用すべき色彩効果を指定することができる。
【0049】
408において、基準カラー画像306Bを取得するための第2のワークフローを生成することができる。402~406の動作は、第2のノードグラフ408Aが表すことができる第2のワークフローを生成するために実行することができる。ある実施形態では、回路202が、画像/ビデオ編集アプリケーション106のGUI116上に第2のノードグラフ408Aを表示するようにディスプレイ装置104を制御することができる。第2のノードグラフ408Aは、入力画像402Aから基準色画像306Bを取得するための第2のワークフローを表すことができる。入力画像402A及び402~406の全ての動作を第2のノードグラフ408Aにノードとして含め、これらを互いに接続して第2のノードグラフ408Aを形成することができる。
【0050】
410において、第2のワークフロー、すなわち第2のノードグラフ408Aに関連するノードベースのワークフローを実行することができる。回路202は、実行時に入力画像402AからROI404Aを選択することができる。例えば、ROI404Aの選択に関連するノードは、ユーザがデジタルロトスコープツールなどのセグメンテーションツールを使用して入力画像402AのROI404Aの周囲に描いたマスクをロードすることができる。ロトスコープツールの詳細な実装は当業者に周知であると考えられ、従ってロトスコープツール408の詳細な説明は簡潔にするために本開示から省略している。選択が行われた後に、回路202は、選択されたROI404A上に選択された第1の画像フィルタセットを適用し、第1の画像フィルタセットの適用に基づいて、入力画像402Aの選択されたROI404Aに色彩効果を適用して基準カラー画像306Bを取得することができる。限定ではなく一例として、色彩効果の適用は、入力画像402A内の選択されたROI404Aの彩度、明度、コントラスト、特定の色チャンネルの色値、ガンマ又は階調変化のうちの少なくとも1つを修正することができる。
【0051】
例えば、図示のように、第2のノードグラフ408Aは、(「マージ1」によって表す)第1のマージノードに接続できる入力画像402Aをソースノードとして含むことができる。第1のマージノードは、(「ROI」によって表す)ROIノードにさらに接続することができる。第1のマージノードは、ROI404Aの周囲の選択と入力画像402Aとを組み合わせることによってマスクを生成することができる。マスクは、ROI404Aを除く他の全ての領域を入力画像402Aから除去することができる。(第1のマージノードの出力である)ROI404Aに(緑色などの)色チャンネルを修正するフィルタなどの画像フィルタを適用して、修正済みROIを取得することができる。入力画像402A及び修正済みROIを、入力画像402A上に修正済みROIをオーバーレイ表示できる(「マージ2」によって表す)第2のマージノードへの入力として受け渡して、基準色画像306Bを出力することができる。
【0052】
例えば、図示のように、基準カラー画像306Bは、サッカー選手のシャツ(すなわち、選択されたROI404A)上の黒色を含む。この黒色を、入力画像402AのROI404Aに色彩効果として適用することができる。画像/ビデオ編集アプリケーション106は、エンドユーザがロトスコープワークフローを使用して基準カラー画像306Bの制御及び修正を行えるようにすることができる。基準カラー画像306Bは、例えば図3で説明したように後でグレースケール画像の画像フィードをカラー化するために使用できるように、コンピュータシステム102上に保存することができる。
【0053】
ブロック図400の1又は2以上のブロックに関連する例示的な動作については離散ブロックで示しているが、これらは例示的な動作の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。
【0054】
図5は、本開示の実施形態による、画像/ビデオ編集アプリケーションにおけるニューラルネットワークベースの画像カラー化のための例示的な方法を示すフローチャートである。図5の説明は、図1図2図3及び図4の要素に関連して行う。図5にはフローチャート500を示す。フローチャート500に示す方法は、コンピュータシステム102又は回路202などのいずれかのコンピュータシステムによって実行することができる。方法は502から開始して504に進むことができる。
【0055】
504において、(基準カラー画像118などの)基準カラー画像を取得することができる。1又は2以上の実施形態では、回路202を、(入力画像402Aなどの)入力画像の(ROI120などの)ROIに色彩効果を選択的に適用することによって基準色画像を取得するように構成することができる。基準色画像に関する詳細については、例えば図4で説明している。
【0056】
506において、(ディスプレイ装置104などの)ディスプレイ装置を、(第1のノードグラフ304Aなどの)第1のノードグラフを表示するように制御することができる。1又は2以上の実施形態では、回路202を、画像/ビデオ編集アプリケーション106のGUI116上に第1のノードグラフを表示するようにディスプレイ装置104を制御するよう構成することができる。第1のノードグラフは、第1の画像フィードの(グレースケール画像302Aなどの)1又は2以上のグレースケール画像内の(サッカー選手302Bなどの)少なくとも第1のオブジェクトのカラー化のための第1のワークフローを表す(カラー化ノード304Bなどの)カラー化ノードを含むことができる。
【0057】
508において、取得された基準カラー画像を選択することができる。1又は2以上の実施形態では、回路202を、取得された基準カラー画像を第1のユーザ入力に基づいて選択するように構成することができる。基準カラー画像の選択の詳細については、例えば図3で説明している。
【0058】
510において、第1のワークフローを実行することができる。1又は2以上の実施形態では、回路202を、(カラー化ノード304Bなどの)カラー化ノードに関連する第1のワークフローを実行するように構成することができる。第1のワークフローの実行の詳細については、例えば図3において説明している。
【0059】
512において、選択された基準カラー画像及び第1の画像フィードを、ニューラルネットワークベースのカラー化モデル108への入力として供給することができる。1又は2以上の実施形態では、回路202を、例えば図3で説明したように、選択された基準色画像及び第1の画像フィードをニューラルネットワークベースのカラー化モデル108への入力として供給するように構成することができる。
【0060】
514において、第2の画像フィードを受け取ることができる。1又は2以上の実施形態では、回路202を、(ROI306Cなどの)ROI上の色彩効果に基づいてカラー化された少なくとも第1のオブジェクトをそれぞれが含むことができる(カラー化画像308Aなどの)1又は2以上のカラー化画像を含む第2の画像フィードをニューラルネットワークベースのカラー化モデル108の出力として受け取るように構成することができる。制御は終了に進むことができる。
【0061】
フローチャート500については、502、504、506、508、510、512及び514などの離散的動作として説明したが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、このような離散的動作を特定の実装に応じてさらなる動作にさらに分割し、より少ない動作に組み合わせ、又は削除することができる。
【0062】
本開示の様々な実施形態は、機械及び/又はコンピュータが(コンピュータシステム102などの)コンピュータシステムを動作させるために実行可能な命令を記憶した非一時的コンピュータ可読媒体及び/又は記憶媒体を提供することができる。これらの命令は、(入力画像402Aなどの)入力画像の(関心領域(ROI)120などの)ROIに色彩効果を選択的に適用することに基づいて(基準色画像118などの)基準色画像を取得することを含む動作を機械及び/又はコンピュータに実行させることができる。動作は、(画像/ビデオ編集アプリケーション106などの)画像/ビデオ編集アプリケーションの(グラフィカルユーザインターフェイス(GUI)116などの)GUI上に(第1のノードグラフ304Aなどの)第1のノードグラフを表示するように(ディスプレイ装置104などの)ディスプレイ装置を制御することをさらに含むことができる。第1のノードグラフは、第1の画像フィードの(グレースケール画像302Aなどの)1又は2以上のグレースケール画像内の少なくとも(サッカー選手302BのTシャツなどの)第1のオブジェクトのカラー化のための第1のワークフローを表す(カラー化ノード304Bなどの)カラー化ノードを含むことができる。動作は、取得された基準カラー画像を第1のユーザ入力に基づいて選択し、カラー化ノードに関連する第1のワークフローを実行することをさらに含むことができる。実行は、選択された基準カラー画像及び第1の画像フィードを(ニューラルネットワークベースのカラー化モデル108などの)ニューラルネットワークベースのカラー化モデルに入力として供給し、入力に対するニューラルネットワークベースのカラー化モデル108の出力として、ROI上の色彩効果に基づいてカラー化された少なくとも第1のオブジェクトをそれぞれが含む(カラー化画像308Aなどの)1又は2以上のカラー化画像を含む第2の画像フィードを受け取ることを含む。
【0063】
本開示の例示的な態様は、(回路202などの)回路を含む(図1のコンピュータシステム102などの)コンピュータシステムを提供することができる。回路202は、(入力画像402Aなどの)入力画像の(関心領域(ROI)120などの)ROIに色彩効果を選択的に適用することに基づいて(基準色画像118などの)基準色画像を取得するように構成することができる。回路202は、(画像/ビデオ編集アプリケーション106などの)画像/ビデオ編集アプリケーションの(グラフィカルユーザインターフェイス(GUI)116などの)GUI上に(第1のノードグラフ304Aなどの)第1のノードグラフを表示するように(ディスプレイ装置104などの)ディスプレイ装置を制御するよう構成することができる。第1のノードグラフは、第1の画像フィードの1又は2以上のグレースケール画像内の少なくとも(サッカー選手302BのTシャツなどの)第1のオブジェクトのカラー化のための第1のワークフローを表す(カラー化ノード304Bなどの)カラー化ノードを含むことができる。回路202は、第1のユーザ入力に基づいて取得された基準カラー画像を選択し、選択された基準カラー画像及び第1の画像フィードを入力としてニューラルネットワークベースカラー化モデル(ニューラルネットワークベースカラー化モデル108など)に供給し、入力に対するニューラルネットワークベースカラー化モデル108の出力として(カラー化画像308Aなどの)1又は2以上のカラー化画像を含む第2の画像フィードを受け取ることによって、カラー化ノードに関連する第1のワークフローを実行するように構成することができる。1又は2以上のカラー化画像の各々は、基準カラー画像のROI上の色彩効果に基づいてカラー化された少なくとも第1のオブジェクトを含むことができる。
【0064】
ある実施形態によれば、回路202は、画像/ビデオ編集アプリケーションのGUI上に(第2のノードグラフ408Aなどの)第2のノードグラフを表示するようにディスプレイ装置を制御するようにさらに構成される。第2のノードグラフは、入力画像から基準色画像を取得する第2のワークフローを表すことができる。
【0065】
ある実施形態によれば、回路202は、入力画像からROIを選択し、選択されたROIに第1の画像フィルタセットを適用し、第1の画像フィルタセットの適用に基づいて入力画像の選択されたROIに色彩効果を適用して基準色画像を取得することによって、第2のワークフローを実行するようにさらに構成される。
【0066】
ある実施形態によれば、カラー化ノードは、第1のワークフローを実行するためのプログラム命令を含むソフトウェアプラグインに対応する。ある実施形態によれば、回路202は、画像/ビデオ編集アプリケーションのGUI上にカラー化ノードの設定を表示するようにディスプレイ装置104を制御するようさらに構成される。設定は、一連のニューラルネットワークベースのカラー化モデルに対応する一連のオプションを含むことができる。回路202は、一連のオプションのうちの第1のオプションの選択を含む第2のユーザ入力を受け取るようにさらに構成することができる。回路202は、第2のユーザ入力に基づいて、一連のニューラルネットワークベースのカラー化モデルの中からニューラルネットワークベースのカラー化モデルを選択するようにさらに構成することができる。
【0067】
ある実施形態によれば、ニューラルネットワークベースのカラー化モデルは、第1の画像フィードの1又は2以上のグレースケール画像の各々における(サッカー選手302BのTシャツなどの)少なくとも第1のオブジェクトに基準カラー画像のROI上の色彩効果を転写して(カラー化画像308Aなどの)1又は2以上のカラー化画像を含む第2の画像フィードを出力する。
【0068】
ある実施形態によれば、回路202は、画像/ビデオ編集アプリケーションのGUI上に第2の画像フィードを表示するようにディスプレイ装置104を制御するようさらに構成することができる。
【0069】
本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも1つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。
【0070】
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはa)別の言語、コード又は表記法への変換、b)異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
【0071】
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。
【符号の説明】
【0072】
102 コンピュータシステム
104 ディスプレイ装置
106 画像/ビデオ編集アプリケーション
108 ニューラルネットワークベースのカラー化モデル
110 サーバ
112 通信ネットワーク
114 グラフィカルユーザインターフェイス(GUI)
114 グレースケール画像
118 基準カラー画像
120 関心領域(ROI)
122 カラー化画像
124 サッカー選手
502 開始
504 入力画像の関心領域(ROI)に色彩効果を選択的に適用することによって基準色画像を取得
506 第1の画像フィードの1又は2以上のグレースケール画像内の少なくとも第1のオブジェクトのカラー化のための第1のワークフローを表すカラー化ノードを含む第1のノードグラフを画像/ビデオ編集アプリケーションのユーザインターフェイス(GUI)上に表示するようにディスプレイ装置104を制御
508 取得された基準カラー画像を第1のユーザ入力に基づいて選択
510 カラー化ノードに関連する第1のワークフローを実行
512 基準色画像及び第1の画像フィードをニューラルネットワークベースのカラー化モデルへの入力として供給
514 ROI上の色彩効果に基づいてカラー化された少なくとも第1のオブジェクトをそれぞれが含むことができる1又は2以上のカラー化画像を含む第2の画像フィードをニューラルネットワークベースのカラー化モデルの出力として受信
図1
図2
図3
図4
図5
【国際調査報告】