知財求人 - 知財ポータルサイト「IP Force」
特開2024-46749ターゲットスタイルおよびターゲットカラー情報に基づいて入力イメージを変換する方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024046749
(43)【公開日】2024-04-04
(54)【発明の名称】ターゲットスタイルおよびターゲットカラー情報に基づいて入力イメージを変換する方法および装置
(51)【国際特許分類】
G06T 1/00 20060101AFI20240328BHJP
【ＦＩ】
G06T1/00 510
【審査請求】有
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2023151928
(22)【出願日】2023-09-20
(31)【優先権主張番号】10-2022-0120505
(32)【優先日】2022-09-23
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】520498343
【氏名又は名称】ネイバーウェブトゥーン リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】アン ナムヒョク
(72)【発明者】
【氏名】キム スングォン
(72)【発明者】
【氏名】ペク ジヒェ
(72)【発明者】
【氏名】クォン ヨンジェ
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057BA25
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD05
5B057CE08
5B057CE11
5B057CE16
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5B057DC25
5B057DC40
(57)【要約】 （修正有）
【課題】学習済みの変換モデルを使用して、入力イメージから、ユーザによって入力されたターゲットスタイルに対応するテクスチャとターゲットカラー情報に対応する色を表す結果イメージを得るイメージ変換方法を提供する。
【解決手段】予め学習済みの変換モデルを使用して実行されるイメージ変換方法であって、入力イメージ２０５と、変換のためのターゲットスタイルおよびターゲットカラー情報２１０を受信し、予め学習済みの変換モデル２５０を使用して入力イメージをターゲットスタイルのテクスチャに変換したテクスチャ変換イメージと入力イメージをターゲットカラー情報の色に変換したカラー変換イメージを生成し、入力イメージをターゲットスタイルおよびターゲットカラー情報にしたがって変換した結果イメージを生成するためにテクスチャ変換イメージとカラー変換イメージを合成し、結果イメージ２６０を生成する。
【選択図】図２Ｂ
【解決手段】予め学習済みの変換モデルを使用して実行されるイメージ変換方法であって、入力イメージ２０５と、変換のためのターゲットスタイルおよびターゲットカラー情報２１０を受信し、予め学習済みの変換モデル２５０を使用して入力イメージをターゲットスタイルのテクスチャに変換したテクスチャ変換イメージと入力イメージをターゲットカラー情報の色に変換したカラー変換イメージを生成し、入力イメージをターゲットスタイルおよびターゲットカラー情報にしたがって変換した結果イメージを生成するためにテクスチャ変換イメージとカラー変換イメージを合成し、結果イメージ２６０を生成する。
【選択図】図２Ｂ
【特許請求の範囲】
【請求項1】
コンピュータシステムによって実行されるイメージ変換方法であって、
入力イメージ、前記入力イメージが変換されるターゲットスタイルおよび前記入力イメージが変換されるターゲットカラー情報を受信する段階、
予め学習済みの変換モデルを使用して、前記入力イメージを前記ターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージと、前記入力イメージを前記ターゲットカラー情報に対応する色に変換したカラー変換イメージを生成する段階、および
前記入力イメージを前記ターゲットスタイルおよび前記ターゲットカラー情報にしたがって変換した結果イメージを生成するために、前記テクスチャ変換イメージと前記カラー変換イメージを合成する段階
を含む、イメージ変換方法。
入力イメージ、前記入力イメージが変換されるターゲットスタイルおよび前記入力イメージが変換されるターゲットカラー情報を受信する段階、
予め学習済みの変換モデルを使用して、前記入力イメージを前記ターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージと、前記入力イメージを前記ターゲットカラー情報に対応する色に変換したカラー変換イメージを生成する段階、および
前記入力イメージを前記ターゲットスタイルおよび前記ターゲットカラー情報にしたがって変換した結果イメージを生成するために、前記テクスチャ変換イメージと前記カラー変換イメージを合成する段階
を含む、イメージ変換方法。
【請求項2】
前記変換モデルは、
前記ターゲットスタイルを示すレファレンスイメージの入力なく、
前記ターゲットスタイルに該当するテクスチャと入力されるターゲットカラー情報に該当する色を表すように、入力イメージを変換するために予め学習されたものである、
請求項１に記載のイメージ変換方法。
前記ターゲットスタイルを示すレファレンスイメージの入力なく、
前記ターゲットスタイルに該当するテクスチャと入力されるターゲットカラー情報に該当する色を表すように、入力イメージを変換するために予め学習されたものである、
請求項１に記載のイメージ変換方法。
【請求項3】
前記ターゲットカラー情報は、前記入力イメージの色分布に基づいて決定される、互いに異なる複数の色のグループを含むパレットを含む、
請求項１に記載のイメージ変換方法。
請求項１に記載のイメージ変換方法。
【請求項4】
前記複数の色のそれぞれは、ユーザによって選択可能なように構成される、
請求項３に記載のイメージ変換方法。
請求項３に記載のイメージ変換方法。
【請求項5】
前記ターゲットスタイルは、イメージまたは動画を含むコンテンツを示し、
前記ターゲットスタイルに対応するテクスチャは、前記コンテンツが含むイメージまたは動画のテクスチャである、
請求項１に記載のイメージ変換方法。
前記ターゲットスタイルに対応するテクスチャは、前記コンテンツが含むイメージまたは動画のテクスチャである、
請求項１に記載のイメージ変換方法。
【請求項6】
前記受信する段階は、
前記結果イメージが示す抽象化程度を設定するための抽象化レベルを受信する段階
を含み、
前記生成する段階は、
前記抽象化レベルが示す抽象化程度を反映する前記ターゲットスタイルに対応するテクスチャに前記入力イメージを変換して前記テクスチャ変換イメージを生成する、
請求項１に記載のイメージ変換方法。
前記結果イメージが示す抽象化程度を設定するための抽象化レベルを受信する段階
を含み、
前記生成する段階は、
前記抽象化レベルが示す抽象化程度を反映する前記ターゲットスタイルに対応するテクスチャに前記入力イメージを変換して前記テクスチャ変換イメージを生成する、
請求項１に記載のイメージ変換方法。
【請求項7】
前記入力イメージを前処理する段階であって、
前記入力イメージをＬａｂ色空間のイメージである第１変換イメージに変換する段階、
前記入力イメージを単純化処理することによって第１カラーマップを生成する段階、
前記第１カラーマップの色を前記ターゲットカラー情報に基づいて変換することによって第２カラーマップを生成する段階、および
前記第２カラーマップをＬａｂ色空間のイメージである第２変換イメージに変換する段階
をさらに含み、
前記第１変換イメージおよび前記第２変換イメージは、前記変換モデルに入力され、
前記生成する段階は、
前記変換モデルが、前記第１変換イメージに基づいて前記テクスチャ変換イメージを生成し、前記第２変換イメージに基づいて前記カラー変換イメージを生成する、
請求項１に記載のイメージ変換方法。
前記入力イメージをＬａｂ色空間のイメージである第１変換イメージに変換する段階、
前記入力イメージを単純化処理することによって第１カラーマップを生成する段階、
前記第１カラーマップの色を前記ターゲットカラー情報に基づいて変換することによって第２カラーマップを生成する段階、および
前記第２カラーマップをＬａｂ色空間のイメージである第２変換イメージに変換する段階
をさらに含み、
前記第１変換イメージおよび前記第２変換イメージは、前記変換モデルに入力され、
前記生成する段階は、
前記変換モデルが、前記第１変換イメージに基づいて前記テクスチャ変換イメージを生成し、前記第２変換イメージに基づいて前記カラー変換イメージを生成する、
請求項１に記載のイメージ変換方法。
【請求項8】
前記生成する段階は、
前記変換モデルが、
エンコーダを使用して前記第１変換イメージをエンコードする段階、
エンコードされた前記第１変換イメージをテクスチャデコーダを使用してデコードすることによって前記テクスチャ変換イメージを生成する段階、および
カラーデコーダを使用して、前記第２変換イメージに基づいてエンコードされた前記第１変換イメージをデコードすることによって前記カラー変換イメージを生成する段階
を含む、請求項７に記載のイメージ変換方法。
前記変換モデルが、
エンコーダを使用して前記第１変換イメージをエンコードする段階、
エンコードされた前記第１変換イメージをテクスチャデコーダを使用してデコードすることによって前記テクスチャ変換イメージを生成する段階、および
カラーデコーダを使用して、前記第２変換イメージに基づいてエンコードされた前記第１変換イメージをデコードすることによって前記カラー変換イメージを生成する段階
を含む、請求項７に記載のイメージ変換方法。
【請求項9】
前記テクスチャ変換イメージは、Ｌａｂ色空間のイメージとしてＬ成分のイメージであり、
前記カラー変換イメージは、Ｌａｂ色空間のイメージとしてａｂコンポーネントのイメージであり、
前記合成する段階は、
前記Ｌ成分のイメージと前記ａｂコンポーネントのイメージを合成することによって合成イメージを生成する段階、および
前記合成イメージをＲＧＢ色空間のイメージに変換する段階
を含む、請求項１に記載のイメージ変換方法。
前記カラー変換イメージは、Ｌａｂ色空間のイメージとしてａｂコンポーネントのイメージであり、
前記合成する段階は、
前記Ｌ成分のイメージと前記ａｂコンポーネントのイメージを合成することによって合成イメージを生成する段階、および
前記合成イメージをＲＧＢ色空間のイメージに変換する段階
を含む、請求項１に記載のイメージ変換方法。
【請求項10】
前記変換モデルは、
それぞれの抽象化レベルが示す抽象化程度を反映する出力値を生成する各層を含む複数の層で構成される抽象化程度反映モジュールを含み、
前記生成する段階は、
前記受信した抽象化レベルに該当する前記抽象化程度反映モジュールの層の出力値を使用して、前記受信した抽象化レベルが示す抽象化程度を反映する前記ターゲットスタイルに対応するテクスチャに前記入力イメージを変換して前記テクスチャ変換イメージを生成する、
請求項６に記載のイメージ変換方法。
それぞれの抽象化レベルが示す抽象化程度を反映する出力値を生成する各層を含む複数の層で構成される抽象化程度反映モジュールを含み、
前記生成する段階は、
前記受信した抽象化レベルに該当する前記抽象化程度反映モジュールの層の出力値を使用して、前記受信した抽象化レベルが示す抽象化程度を反映する前記ターゲットスタイルに対応するテクスチャに前記入力イメージを変換して前記テクスチャ変換イメージを生成する、
請求項６に記載のイメージ変換方法。
【請求項11】
前記変換モデルは、
前記ターゲットスタイルに対応するテクスチャを含む少なくとも１つの第１イメージをデータ拡張して生成された第１学習用データ、および
前記ターゲットスタイルへの変換およびカラー変換の対象となるイメージである少なくとも１つの第２イメージをデータ拡張して生成された第２学習用データ
を使用して予め学習されたものである、
請求項１に記載のイメージ変換方法。
前記ターゲットスタイルに対応するテクスチャを含む少なくとも１つの第１イメージをデータ拡張して生成された第１学習用データ、および
前記ターゲットスタイルへの変換およびカラー変換の対象となるイメージである少なくとも１つの第２イメージをデータ拡張して生成された第２学習用データ
を使用して予め学習されたものである、
請求項１に記載のイメージ変換方法。
【請求項12】
前記第１学習用データは、
前記第１イメージに対する所定の程度の抽象化処理を模写するように、リサイジング処理および解像度変更処理のうち少なくとも１つの処理が実行されたイメージを含む、
請求項１１に記載のイメージ変換方法。
前記第１イメージに対する所定の程度の抽象化処理を模写するように、リサイジング処理および解像度変更処理のうち少なくとも１つの処理が実行されたイメージを含む、
請求項１１に記載のイメージ変換方法。
【請求項13】
前記第２学習用データは、
第２イメージを任意の色にカラー変換した学習用変換イメージを含む、
請求項１１に記載のイメージ変換方法。
第２イメージを任意の色にカラー変換した学習用変換イメージを含む、
請求項１１に記載のイメージ変換方法。
【請求項14】
前記学習用変換イメージは、変換段階によって生成され、
前記変換段階は、
前記第２イメージおよび前記第２イメージを単純化処理することによって生成された前記第２イメージのカラーマップのうちの少なくとも１つをＨＳＶ色空間のイメージに変換する段階、および
前記ＨＳＶ色空間のイメージを任意の色にカラー変換する段階
を含む、請求項１３に記載のイメージ変換方法。
前記変換段階は、
前記第２イメージおよび前記第２イメージを単純化処理することによって生成された前記第２イメージのカラーマップのうちの少なくとも１つをＨＳＶ色空間のイメージに変換する段階、および
前記ＨＳＶ色空間のイメージを任意の色にカラー変換する段階
を含む、請求項１３に記載のイメージ変換方法。
【請求項15】
前記変換段階は、
前記第２イメージおよび前記第２イメージのカラーマップのうちの少なくとも１つをＬａｂ色空間のイメージに変換する段階、
前記Ｌａｂ色空間のイメージのＬ情報を抽出する段階、
任意の色にカラー変換された前記ＨＳＶ色空間のイメージをＬａｂ色空間のイメージに変換する段階、および
前記変換されたＬａｂ色空間のイメージのＬ情報を前記抽出されたＬ情報に置き換える段階
を含む、請求項１４に記載のイメージ変換方法。
前記第２イメージおよび前記第２イメージのカラーマップのうちの少なくとも１つをＬａｂ色空間のイメージに変換する段階、
前記Ｌａｂ色空間のイメージのＬ情報を抽出する段階、
任意の色にカラー変換された前記ＨＳＶ色空間のイメージをＬａｂ色空間のイメージに変換する段階、および
前記変換されたＬａｂ色空間のイメージのＬ情報を前記抽出されたＬ情報に置き換える段階
を含む、請求項１４に記載のイメージ変換方法。
【請求項16】
前記変換モデルは、
前記第１学習用データをＬａｂ色空間のＬ成分のイメージに変換したイメージ、
前記第２イメージをＬａｂ色空間のイメージに変換したイメージ、
前記第２イメージを任意の色にカラー変換したイメージをＬａｂ色空間のａｂコンポーネントのイメージに変換したイメージ、および
前記第２イメージのカラーマップをＬａｂ色空間のイメージに変換したイメージ
を使用して予め学習されたものである、
請求項１３に記載のイメージ変換方法。
前記第１学習用データをＬａｂ色空間のＬ成分のイメージに変換したイメージ、
前記第２イメージをＬａｂ色空間のイメージに変換したイメージ、
前記第２イメージを任意の色にカラー変換したイメージをＬａｂ色空間のａｂコンポーネントのイメージに変換したイメージ、および
前記第２イメージのカラーマップをＬａｂ色空間のイメージに変換したイメージ
を使用して予め学習されたものである、
請求項１３に記載のイメージ変換方法。
【請求項17】
請求項１に記載の方法を前記コンピュータシステムに実行させるためのコンピュータ読み取り可能な記録媒体に記録される、プログラム。
【請求項18】
イメージ変換方法を実行するコンピュータシステムであって、
前記コンピュータシステムで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
入力イメージ、前記入力イメージが変換されるターゲットスタイルおよび前記入力イメージが変換されるターゲットカラー情報を受信し、
予め学習済みの変換モデルを使用して、前記入力イメージを前記ターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージおよび前記入力イメージを前記ターゲットカラー情報に対応する色に変換したカラー変換イメージを生成し、
前記入力イメージを前記ターゲットスタイルおよび前記ターゲットカラー情報にしたがって変換した結果イメージを生成するために、前記テクスチャ変換イメージと前記カラー変換イメージを合成する、
コンピュータシステム。
前記コンピュータシステムで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
入力イメージ、前記入力イメージが変換されるターゲットスタイルおよび前記入力イメージが変換されるターゲットカラー情報を受信し、
予め学習済みの変換モデルを使用して、前記入力イメージを前記ターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージおよび前記入力イメージを前記ターゲットカラー情報に対応する色に変換したカラー変換イメージを生成し、
前記入力イメージを前記ターゲットスタイルおよび前記ターゲットカラー情報にしたがって変換した結果イメージを生成するために、前記テクスチャ変換イメージと前記カラー変換イメージを合成する、
コンピュータシステム。
【請求項19】
コンピュータシステムによって実行されるイメージを変換する変換モデルを学習させる方法であって、
ターゲットスタイルに対応するテクスチャを含む少なくとも１つの第１イメージと、前記ターゲットスタイルへの変換およびカラー変換の対象となるイメージである少なくとも１つの第２イメージをデータ拡張した学習用データを取得する段階、および
前記学習用データを使用して、前記第２イメージを前記ターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージおよび前記第２イメージをターゲットカラー情報に対応する色に変換したカラー変換イメージを生成するように前記変換モデルを学習させる段階
を含み、
前記テクスチャ変換イメージと前記カラー変換イメージが合成されることによって、前記第２イメージを前記ターゲットスタイルおよび前記ターゲットカラー情報にしたがって変換した結果イメージが生成され、
前記学習された変換モデルは、前記ターゲットスタイルを示すレファレンスイメージの入力なく、前記ターゲットスタイルに対応するテクスチャと入力されるターゲットカラー情報に対応する色を表すように入力イメージを変換する、
イメージ変換方法。
ターゲットスタイルに対応するテクスチャを含む少なくとも１つの第１イメージと、前記ターゲットスタイルへの変換およびカラー変換の対象となるイメージである少なくとも１つの第２イメージをデータ拡張した学習用データを取得する段階、および
前記学習用データを使用して、前記第２イメージを前記ターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージおよび前記第２イメージをターゲットカラー情報に対応する色に変換したカラー変換イメージを生成するように前記変換モデルを学習させる段階
を含み、
前記テクスチャ変換イメージと前記カラー変換イメージが合成されることによって、前記第２イメージを前記ターゲットスタイルおよび前記ターゲットカラー情報にしたがって変換した結果イメージが生成され、
前記学習された変換モデルは、前記ターゲットスタイルを示すレファレンスイメージの入力なく、前記ターゲットスタイルに対応するテクスチャと入力されるターゲットカラー情報に対応する色を表すように入力イメージを変換する、
イメージ変換方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、入力されたターゲットスタイルおよびターゲットカラー情報にしたがって入力イメージを変換する方法および装置に関し、より詳細には、予め学習済みの変換モデルを使用して、入力イメージからターゲットスタイルに対応するテクスチャとターゲットカラー情報に対応する色を表した結果イメージを生成する方法および装置に関する。
【背景技術】
【0002】
漫画、カートゥーン、ウェブトゥーンサービスのようにイメージまたは動画を含むコンテンツをオンラインで提供するサービスに対して高い関心が寄せられている。このようなコンテンツに含まれるイメージまたは動画には、作家やコンテンツ制作者の独自の画風が反映された特定のテクスチャ（または、特定のスタイル）が含まれる。
【0003】
コンテンツの作家や制作者は、コンテンツに含まれるイメージや動画を効率よく生成するために、写真のような一般的なイメージを、コンテンツの特定のスタイルを反映させたイメージに変換したりする。特に、コンテンツの作家は、背景などのような複雑なコンテンツイメージを生成するときに、背景を直接描くよりも一般的なイメージをコンテンツのスタイルに変換して使用する場合が多い。これと同様に、コンテンツを消費するユーザの立場においても、二次的な消費のために、自身が保有しているイメージを、コンテンツの特定のスタイルが反映されたイメージとして得たいと思うことがあるであろう。
【0004】
このとき、ユーザからの入力イメージを、コンテンツの特定のスタイルが反映されたイメージに変換するだけでなく、さらにユーザから入力されるカラー情報（または、色感）や抽象化程度などを反映することにより、ユーザからの細かい要求事項に適合した結果イメージが得られるようにすることが求められている。
【0005】
特許文献１（公開日２００９年１０月２８日）には、映像を前景と背景に分離する方法および装置、映像を前景と背景に分離して背景を代替する方法および装置、前記方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が開示されている。
【0006】
上述した情報は理解を助けるためのものに過ぎず、従来技術の一部を形成しない内容を含むこともあるし、従来技術が当業者に提示する内容を含まないこともある。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】韓国公開特許第１０－２００９－０１１１９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
一実施形態は、入力イメージと、変換のためのターゲットスタイルおよびターゲットカラー情報を受信し、予め学習済みの変換モデルを使用して、入力イメージをターゲットスタイルのテクスチャに変換したテクスチャ変換イメージと入力イメージをターゲットカラー情報の色に変換したカラー変換イメージを生成し、入力イメージをターゲットスタイルおよびターゲットカラー情報にしたがって変換した結果イメージを生成するためにテクスチャ変換イメージとカラー変換イメージを合成する、イメージ変換方法を提供する。
【課題を解決するための手段】
【0009】
一側面において、コンピュータシステムによって実行されるイメージ変換方法であって、入力イメージ、前記入力イメージが変換されるターゲットスタイルおよび前記入力イメージが変換されるターゲットカラー情報を受信する段階、予め学習済みの変換モデルを使用して、前記入力イメージを前記ターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージおよび前記入力イメージを前記ターゲットカラー情報に対応する色に変換したカラー変換イメージを生成する段階、および前記入力イメージを前記ターゲットスタイルおよび前記ターゲットカラー情報にしたがって変換した結果イメージを生成するために前記テクスチャ変換イメージと前記カラー変換イメージを合成する段階を含む、イメージ変換方法を提供する。
【0010】
前記変換モデルは、前記ターゲットスタイルを示すレファレンスイメージの入力なく、前記ターゲットスタイルに該当するテクスチャと入力されるターゲットカラー情報に該当する色を表すように入力イメージを変換するために予め学習されたものであってよい。
【0011】
前記ターゲットカラー情報は、前記入力イメージの色分布に基づいて決定される、互いに異なる複数の色のグループを含むパレットを含んでよい。
【0012】
前記複数の色それぞれは、ユーザによって選択可能なように構成されてよい。
【0013】
前記ターゲットスタイルは、イメージまたは動画を含むコンテンツを示し、前記ターゲットスタイルに対応するテクスチャは、前記コンテンツが含むイメージまたは動画のテクスチャであってよい。
【0014】
前記受信する段階は、前記結果イメージが表す抽象化程度を設定するための抽象化レベルを受信する段階を含み、前記生成する段階は、前記抽象化レベルが示す抽象化程度を反映する前記ターゲットスタイルに対応するテクスチャに前記入力イメージを変換して前記テクスチャ変換イメージを生成してよい。
【0015】
前記イメージ変換方法は、前記入力イメージを前処理する段階として、前記入力イメージをＬａｂ色空間のイメージである第１変換イメージに変換する段階、前記入力イメージを単純化処理することによって第１カラーマップを生成する段階、前記第１カラーマップの色を前記ターゲットカラー情報に基づいて変換することによって第２カラーマップを生成する段階、および前記第２カラーマップをＬａｂ色空間のイメージである第２変換イメージに変換する段階をさらに含み、前記第１変換イメージおよび前記第２変換イメージは前記変換モデルに入力され、前記生成する段階は、前記変換モデルが、前記第１変換イメージに基づいて前記テクスチャ変換イメージを生成し、前記第２変換イメージに基づいて前記カラー変換イメージを生成するようにしてよい。
【0016】
前記生成する段階は、前記変換モデルが、エンコーダを使用して前記第１変換イメージをエンコードする段階、エンコードされた前記第１変換イメージをテクスチャデコーダを使用してデコードすることによって前記テクスチャ変換イメージを生成する段階、およびカラーデコーダを使用し、前記第２変換イメージに基づいて、エンコードされた前記第１変換イメージをデコードすることによって前記カラー変換イメージを生成する段階を含んでよい。
【0017】
前記テクスチャ変換イメージは、Ｌａｂ色空間のイメージであってＬコンポーネントのイメージであり、前記カラー変換イメージは、Ｌａｂ色空間のイメージであってａｂコンポーネントのイメージであり、前記合成する段階は、前記Ｌコンポーネントのイメージと前記ａｂコンポーネントのイメージを合成することによって合成イメージを生成する段階、および前記合成イメージをＲＧＢ色空間のイメージに変換する段階を含んでよい。
【0018】
前記変換モデルは、各抽象化レベルが示す抽象化程度を反映する出力値を生成する各レイヤを含む複数のレイヤで構成される抽象化程度反映モジュールを含み、前記生成する段階は、前記受信した抽象化レベルに該当する前記抽象化程度反映モジュールのレイヤの出力値を使用して、前記受信した抽象化レベルが示す抽象化程度を反映する前記ターゲットスタイルに対応するテクスチャに前記入力イメージを変換して前記テクスチャ変換イメージを生してよい。
【0019】
前記変換モデルは、前記ターゲットスタイルに対応するテクスチャを含む少なくとも１つの第１イメージをデータ拡張して生成された第１学習用データ、およびターゲットスタイルへの変換およびカラー変換の対象となるイメージである少なくとも１つの第２イメージをデータ拡張して生成された第２学習用データを使用して予め学習されたものであってよい。
【0020】
前記第１学習用データは、前記第１イメージに対する所定の程度の抽象化処理を模写するように、リサイジング処理および解像度変更処理のうち少なくとも１つの処理が実行されたイメージを含んでよい。
【0021】
前記第２学習用データは、前記第２イメージを任意の色に変換した学習用変換イメージを含んでよい。
【0022】
前記学習用変換イメージは変換段階によって生成され、前記変換段階は、前記第２イメージおよび前記第２イメージを単純化処理することによって生成された前記第２イメージのカラーマップのうちの少なくとも１つをＨＳＶ色空間のイメージに変換する段階、および前記ＨＳＶ色空間のイメージを任意の色に変換する段階を含んでよい。
【0023】
前記変換段階は、前記第２イメージおよび前記第２イメージのカラーマップのうちの少なくとも１つをＬａｂ色空間のイメージに変換する段階、前記Ｌａ色空間のイメージのＬ情報を抽出する段階、任意の色に変換された前記ＨＳＶ色空間のイメージをＬａｂ色空間のイメージに変換する段階、および前記変換されたＬａｂ色空間のイメージのＬ情報を前記抽出されたＬ情報に置き換える段階を含んでよい。
【0024】
前記変換モデルは、前記第１学習用データをＬａｂ色空間のＬコンポーネントのイメージに変換したイメージ、前記第２イメージをＬａｂ色空間のイメージに変換したイメージ、前記第２イメージを任意の色に変換したイメージをＬａｂ色空間のａｂコンポーネントのイメージに変換したイメージ、および前記第２のイメージのカラーマップをＬａｂ色空間のイメージに変換したイメージを使用して、予め学習されたものであってよい。
【0025】
他の一側面において、イメージ変換方法を実行するコンピュータシステムであって、前記コンピュータシステムで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、入力イメージ、前記入力イメージが変換されるターゲットスタイルおよび前記イメージが変換されるターゲットカラー情報を受信し、予め学習済みの変換モデルを使用して、前記入力イメージを前記ターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージおよび前記入力イメージを前記ターゲットカラー情報に対応する色に変換したカラー変換情報にしたがって変換した結果イメージを生成するために前記テクスチャ変換イメージと前記カラー変換イメージを合成する、コンピュータシステムを提供する。
【0026】
さらに他の一側面において、コンピュータシステムによって実行されるイメージを変換する変換モデルを学習させる方法であって、ターゲットスタイルに対応するテクスチャを含む少なくとも１つの第１イメージと、前記ターゲットスタイルへの変換およびカラー変換の対象となるイメージである少なくとも１つの第２イメージをデータ拡張した学習用データを取得する段階、および前記学習用データを使用して、前記第２イメージを前記ターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージおよび前記第２イメージをターゲットカラー情報に対応する色に変換した色変換イメージを生成するように前記変換モデルを学習させる段階を含み、前記テクスチャ変換イメージと前記カラー変換イメージを合成することによって前記第２イメージを前記ターゲットスタイルおよび前記ターゲットカラー情報にしたがって変換した結果イメージが生成され、前記学習済みの変換モデルは、前記ターゲットスタイルを示すレファレンスイメージの入力なく、前記ターゲットスタイルに該当するテクスチャと入力されるターゲットカラー情報に該当するカラーを表すように入力イメージを変換する、イメージ変換方法を提供する。
【発明の効果】
【0027】
学習済みの変換モデルを使用して、入力イメージから、ユーザによって入力されたターゲットスタイルに対応するテクスチャとターゲットカラー情報に対応する色を表す結果イメージを得ることができる。
【0028】
学習済みの変換モデルを使用して、ユーザから入力された結果イメージが示す抽象化程度を設定するための抽象化レベルを反映しながら、ターゲットスタイルのテクスチャとターゲットカラー情報の色を表す結果イメージを得ることができる。
【0029】
ターゲットスタイルを示すレファレンスイメージの入力なく、ターゲットスタイルに該当するテクスチャと入力されるターゲットカラー情報に該当する色を表すように入力イメージを変換するために予め学習済みの変換モデルを使用することにより、レファレンスイメージを入力しなくても前記結果イメージを得ることができる。
【0030】
学習済みの変換モデルを使用して入力イメージからユーザがコントロール可能なターゲットカラー情報と抽象化レベルが反映された結果イメージを取得して使用することにより、ウェブトゥーン、カートゥーン、アニメーションなどのようなコンテンツを制作するときに、キャラクタなどの前景部分を除いた背景部分を制作するための時間と資源を削減することができる。
【図面の簡単な説明】
【0031】
【図1】一実施形態における、入力イメージをターゲットスタイルおよびターゲットカラー情報にしたがって変換した結果イメージを生成するためのイメージ変換方法を示した図である。
【図2】図２ａは、一実施形態における、イメージ変換方法を実行するためのコンピュータシステムを示した図であり、図２ｂは、一実施形態における、予め学習済みの変換モデルを使用して実行されるイメージ変換方法を示した図である。
【図3】一実施形態における、入力イメージをターゲットスタイルおよび前記ターゲットカラー情報にしたがって変換した結果イメージを生成するためのイメージ変換方法を示したフローチャートである。
【図5】一例における、予め学習済みの変換モデルを使用して、入力イメージからテクスチャ変換イメージおよび色変換イメージを生成する方法を示した図である。
【図6】一例における、結果イメージを生成する方法を示したフローチャートである。
【図7】一例における、入力イメージをターゲットスタイルおよび前記ターゲットカラー情報にしたがって変換した結果イメージを生成する変換モデルを示した図である。
【図8】一例における、変換モデルを学習させる方法を示した図である。
【図11】一例における、変換モデルに含まれる抽象化程度反映モジュールの構造を示した図である。
【図12】一例における、識別子ネットワークの構造を示した図である。
【図13】一例における、入力イメージに基づいて生成された、ターゲットスタイルおよびターゲットカラー情報を反映した結果イメージを示した図である。
【発明を実施するための形態】
【0032】
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
【0033】
図１は、一実施形態における、入力イメージをターゲットスタイルおよびターゲットカラー情報にしたがって変換した結果イメージを生成するためのイメージ変換方法を示した図である。
【0034】
図１を参照しながら、ユーザからイメージ（以下、入力イメージ）が入力され、ターゲットスタイル、ターゲットカラー情報および抽象化レベルが入力され、入力イメージを、ターゲットスタイル、ターゲットカラー情報および抽象化レベルを反映した結果イメージに変換する方法（すなわち、結果イメージを生成する方法）について説明する。
【0035】
イメージは、写真またはその他の画像を含んでよい。一方、実施形態において、イメージは画像を意味してよいが、これに限定されてはならず、動画を含むものと解釈されてよい。
【0036】
画面５０は、ユーザから入力される入力イメージを表示し、ユーザからの設定にしたがって入力イメージを変換した結果イメージを表示するユーザ端末の画面であってよい。すなわち、画面５０は、実施形態のイメージ変換方法を実行するソフトウェア、プログラム、またはアプリケーションの実行画面であってよい。
【0037】
ユーザ端末は、スマートフォンのようなスマート機器であってよく、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、ラップトップコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、タブレット（ｔａｂｌｅｔ）、モノのインターネット（Ｉｎｔｅｒｎｅｔ Ｏｆ Ｔｈｉｎｇｓ）機器、またはウェアラブルコンピュータ（ｗｅａｒａｂｌｅ ｃｏｍｐｕｔｅｒ）などであってよい。
【0038】
図に示すように、画面５０は、例えば、ユーザから入力される入力イメージおよび入力イメージが変換された結果である結果イメージを表示する第１領域１０と、第１領域１０に表示されるイメージを編集するためのユーザインタフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を含む第２領域２０と、ユーザがターゲットスタイル、ターゲットカラー情報および抽象化レベルのうちの少なくとも１つを設定するためのＵＩを含む第３領域３０、４０を含んでよい。ここで、第３領域３０、４０は、入力イメージが変換されるターゲットスタイルを設定するためのＵＩと、結果イメージが示す抽象化程度を設定するための抽象化レベルを設定するためのＵＩを含む領域３０を含んでよい。また、第３領域３０、４０は、入力イメージが変換されるターゲットカラー情報を設定するためのＵＩを含む領域４０を含んでよい。
【0039】
一例として、第１領域１０に、ユーザから入力される入力イメージが表示されたとする。ユーザは、ユーザ端末に保存されたイメージまたはユーザ端末のカメラを使用して撮影したイメージをロードすることによって、第１領域１０に入力イメージを表示させてよい。入力イメージは、変換前のイメージであって、「原本イメージ」と呼ばれてもよい。実施形態のイメージ変換方法によって入力イメージは「結果イメージ」に変換されてよく、結果イメージも第１領域１０に表示されてよい。結果イメージは、入力イメージの代わりに第１領域１０に表示されてよい。
【0040】
第２領域２０は、第１領域１０に表示される入力イメージまたは結果イメージを編集するためのＵＩであって、ブラシおよび／または消しゴムのような編集ツールを含んでよい。また、第２領域２０は、実行取消（ＵｎｄｏおよびＲｅｄｏ）のためのＵＩをさらに含んでよい。一方、第２領域２０は、第１領域１０における入力イメージの表示および結果イメージの表示を切り替えるためのＵＩをさらに含んでよい。
【0041】
第３領域３０、４０のうちの領域３０は、ターゲットスタイルを設定するためのＵＩを含んでよい。ターゲットスタイルは、イメージまたは動画を含むコンテンツを示してよい。すなわち、ターゲットスタイルは、このような「コンテンツ名」で表現されてよい。コンテンツは、例えば、漫画、カートゥーン、またはウェブトゥーンであってよい。ターゲットスタイルは、入力イメージが変換されるテクスチャを示してよい。すなわち、実施形態のイメージ変換方法によって、入力イメージのテクスチャは、ターゲットスタイルに対応するテクスチャに変換されるようになる。このとき、ターゲットスタイルに対応するテクスチャは、前記コンテンツに含まれるイメージまたは動画のテクスチャであってよい。テクスチャは、コンテンツに含まれるイメージまたは動画の画風、絵柄、またはその他のコンテンツを他のコンテンツと視覚的に区別するための特徴を含んでよい。一例として、ユーザが、領域３０でターゲットスタイルとして特定のウェブトゥーン名を選択すると、実施形態のイメージ変換方法によって、入力イメージのテクスチャを選択されたウェブトゥーンのテクスチャに変換させてよい。
【0042】
また、領域３０は、結果イメージが示す抽象化程度を示す抽象化レベルを設定するためのＵＩを含んでよい。「抽象化」は、結果イメージがどの程度のディテール（ｄｅｔａｉｌ）を含んでいるか、結果イメージを表現する線の太さなどを示してよい。または、「抽象化」は、結果イメージがどの程度単純化されているかを示してよい。例えば、抽象化程度が高いほど結果イメージはより少ないディテールを含んでよく、結果イメージの線が鮮明でなかったりソフトに表現されてよい。これとは逆に、抽象化度が高いほど結果イメージはより多くのディテールを含んでよく、結果イメージはより精密に表現されてよい。実施形態では、領域３０で抽象化レベルが設定されることによって、結果イメージの抽象化程度が設定された抽象化レベルにしたがって調整されるようにしてよい。
【0043】
第３領域３０、４０のうちの領域４０は、ターゲットカラー情報を設定するためのＵＩを含んでよい。ターゲットカラー情報は、入力イメージが変換される色を示してよい。すなわち、実施形態のイメージ変換方法によって、入力イメージのカラーは、ターゲットカラー情報に対応するカラーに変換されるようになる。ターゲットカラー情報に対応する色とは、結果イメージの色感を意味してよい。一例として、ユーザが、領域４０で特定のカラー（または、色調）（ｈｕｅおよびｓａｔｕｒａｔｉｏｎ）を選択すると、実施形態のイメージ変換方法によって、入力イメージのカラーを選択されたカラーに変換させてよい。これにより、結果イメージは、領域４０で選択されたターゲットカラー情報に該当する色感と同一となる。
【0044】
したがって、実施形態のイメージ変換方法によると、第３領域３０、４０で設定された情報にしたがって、入力イメージが、設定されたターゲットスタイル、設定されたターゲットカラー情報、および設定された抽象化レベルが反映された結果イメージに変換されるようにすることができる。
【0045】
実施形態のイメージ変換方法は、画面５０を出力するユーザ端末によって実行されてよい。または、イメージ変換方法は、ユーザ端末と通信する、ユーザ端末とは別のコンピュータシステムによって実行されてもよい。例えば、イメージ変換方法は、サーバによって実行されてよい。
【0046】
以下の詳細な説明では、このようなイメージ変換方法を実行するコンピュータシステムをコンピュータシステム１００と呼ぶことにする。
【0047】
実施形態において、コンピュータシステム１００は、予め学習済みの変換モデルを使用して、入力イメージを結果イメージに変換してよい。このとき、コンピュータシステム１００は、入力イメージのテクスチャを設定されたターゲットスタイルに対応するテクスチャに変換してよく（１）、入力イメージの色を設定されたターゲットカラー情報に対応する色に変換してよい（２）。変換モデルは、（１）の入力イメージのテクスチャ変換と（２）の入力イメージのカラー変換をそれぞれのプロセスとして実行してよい。これにより、コンピュータシステム１００は、変換モデルを使用して、入力イメージをターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージを生成することができ、入力イメージをターゲットカラー情報に対応する色に変換した色変換イメージを生成することができ、テクスチャ変換イメージと色変換イメージを合成して結果イメージを生成することができる。
【0048】
変換モデルを使用して入力イメージのテクスチャ変換および入力イメージのカラー変換を実行する具体的な方法と、結果イメージが生成される具体的な方法については、図２～１３を参照しながらより詳しく説明する。
【0049】
図２ａは、一実施形態における、イメージ変換方法を実行するコンピュータシステムを示した図である。
【0050】
コンピュータシステム１００は、実施形態のイメージ変換方法を実行するために必要なタスクを実行するコンピューティング装置であってよい。
【0051】
コンピュータシステム１００は、少なくとも１つのコンピューティング装置を含むように構成されてよい。コンピュータシステム１００は、予め学習済みの変換モデルを使用して入力イメージのテクスチャ変換と入力イメージのカラー変換を実行することで、ユーザからの設定が反映された結果イメージを生成してよい。
【0052】
コンピュータシステム１００は、上述したユーザ端末であってもよいし、ユーザ端末と通信する他のコンピュータ装置またはサーバであってもよい。
【0053】
コンピュータシステム１００は、図に示すように、メモリ１３０、プロセッサ１２０、通信部１１０、および入力／出力インタフェース１４０を含んでよい。
【0054】
メモリ１３０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ１３０とは区分される別の永続的記録装置として含まれてもよい。また、メモリ１３０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ１３０とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信部１１０を通じてメモリ１３０にロードされてもよい。
【0055】
プロセッサ１２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ１３０または通信部１１０によって、プロセッサ１２０に提供されてよい。例えば、プロセッサ１２０は、メモリ１３０にロードされたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
【0056】
通信部１１０は、コンピュータシステム１００が他の装置（ユーザ端末または他のサーバなど）と通信するための構成であってよい。すなわち、通信部１１０は、他の装置に対してデータおよび／または情報を送受信する、コンピュータシステム１００のアンテナ、データバス、ネットワークインタフェースカード、ネットワークインタフェースチップ、およびネットワーキングインタフェースポートなどのようなハードウェアモジュール、またはネットワークデバイスドライバ（ｄｒｉｖｅｒ）またはネットワーキングプログラムのようなソフトウェアモジュールであってよい。
【0057】
入力／出力インタフェース１４０は、キーボードやマウスなどのような入力装置、およびディスプレイやスピーカなどのような出力装置とのインタフェースのための手段であってよい。
【0058】
プロセッサ１２０は、コンピュータシステム１００の構成要素を管理してよく、上述した前処理、類似カットのペア決定やマッチングを実行するためのプログラムまたはアプリケーションを実行してよく、前記プログラムまたはアプリケーションの実行およびデータの処理などに必要な演算を処理してよい。プロセッサ１２０は、コンピュータシステム１００の少なくとも１つのプロセッサ（ＣＰＵまたはＧＰＵなど）またはプロセッサ内の少なくとも１つのコア（ｃｏｒｅ）であってよい。
【0059】
また、他の実施形態において、コンピュータ装置１００およびプロセッサ１２０は、図に示した構成要素よりも少ないか多くの構成要素を含んでもよい。例えば、プロセッサ１２０は、変換モデルを学習させ、学習された変換モデルを使用して実施形態のイメージ変換方法を実行するための機能を実行する構成を含んでよい。このようなプロセッサ１２０の構成は、プロセッサ１２０の一部であってもよいし、プロセッサ１２０によって実現される機能であってもよい。プロセッサ１２０に含まれる構成は、オペレーティングシステムのコードと、少なくとも１つのコンピュータプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）によってプロセッサ１２０が実行する、互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。
【0060】
コンピュータシステム１００が変換モデルを使用して入力イメージのテクスチャ変換および入力イメージのカラー変換を実行する具体的な方法と、結果イメージが生成される具体的な方法については、図２ｂ～１３を参照しながらより詳しく説明する。
【0061】
これと関連して、図２ｂは、一実施形態における、予め学習済みの変換モデルを使用して実行されるイメージ変換方法を示している。
【0062】
図２ｂでは、予め学習済みの変換モデル２５０を使用して、入力イメージ２０５に基づいて結果イメージ２６０を生成する方法（すなわち、入力イメージ２０５を結果イメージ２６０に変換する方法）について説明する。
【0063】
入力データ前処理部２３０と変換モデル２５０は、プロセッサ１２０を使用して実現されてよい。すなわち、入力データ前処理部２３０と変換モデル２５０によって実行される動作は、プロセッサ１２０によって実行される動作であってよい。
【0064】
図に示すように、コンピュータシステム１００には、入力イメージ２０５とターゲットカラー情報２１０が入力されてよい。また、コンピュータシステム１００には、ターゲットスタイルおよび結果イメージ２６０の抽象化程度を示す抽象化レベルがさらに入力されてよい。図に示すように、ターゲットカラー情報２１０は、異なる複数の色のグループを含むパレットで構成されてよい。または、図に示すものとは異なり、ターゲットカラー情報２１０は、１つの選択された色を示してもよい。
【0065】
ターゲットカラー情報２１０に含まれるパレットは、入力イメージ２０５の色分布に基づいて決定される、互いに異なる複数の色のグループを含んでよい。例えば、パレットに含まれる色の数および／または各色の種類は、入力イメージ２０５の色分布に基づいて決定されてよい。図に示したターゲットカラー情報２１０のパレットは、現在の入力イメージ２０５の色分布が反映された色のグループを示している。すなわち、図に示したパレットは、ソースパレットであってよい。パレットに含まれる色の数および／または種類は、入力イメージ２０５で使用された色の数および／または種類に基づいて決定されてよい。
【0066】
例えば、ユーザは、上述した領域４０のＵＩによって異なる色のグループ（例えば、全体的に赤いトーンを表す色のグループ）を含むパレットを選択してターゲットカラー情報２１０を変更することができる。または、パレットに含まれる複数の色それぞれは、ユーザによって選択可能なように構成されてよく、ユーザがパレットのそれぞれの色を変更できるようにしてよい。
【0067】
入力データ前処理部２３０は、ターゲットカラー情報２１０に基づいて入力イメージ２０５を前処理してよく、変換モデル２５０への入力のためのデータを生成してよい。入力イメージ２０５の前処理方法については、図４を参照しながらより詳しく説明する。
【0068】
入力データ前処理部２３０によって前処理されたデータは、変換モデル２５０に入力されてよい。変換モデル２５０は、入力イメージ２０５の前処理されたデータをエンコードするための共用エンコーダ２５２を含んでよい。変換モデル２５０は、エンコードされたデータに対するテクスチャ変換のためのデコードを実行するテクスチャデコーダ２５６と、エンコードされたデータに対するカラー変換のためのデコードを実行するカラーデコーダ２５４を含んでよい。テクスチャデコーダ２５６によるデコードによって、入力イメージ２０５をターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージが生成されてよく、カラーデコーダ２５４によるデコードによって、入力イメージ２０５をターゲットカラー情報に対応する色に変換したテクスチャ変換イメージが生成されてよい。変換モデル２５０によるテクスチャ変換結果には、ユーザが入力したターゲットスタイルと抽象化レベルに該当する抽象化程度が反映されてよい。変換モデル２５０の詳細構造については、図７を参照しながらより詳しく説明する。
【0069】
コンピュータシステム１００は、変換モデル２５０によるテクスチャ変換結果とカラー変換結果を合成して結果イメージ２６０を生成してよい。したがって、生成された結果イメージ２６０には、入力されたターゲットスタイルのテクスチャと抽象化レベルに該当するする抽象化程度が反映されるようになり、結果イメージ２６０の色感は、入力されたターゲットカラー情報２１０と同一になる。
【0070】
これと関連して、図１３は、一例における、入力イメージに基づいて生成された、ターゲットスタイルおよびターゲットカラー情報が反映された結果イメージを示している。
【0071】
図１３では、左側の入力イメージが、ターゲットスタイルに対応するテクスチャの結果イメージに変換された例を示している。結果イメージは、右方向にいくほど設定された抽象化レベルが高いものであってよい。すなわち、右側の結果イメージは、より少ないディテールを含み、ソフトに表現されたものとなる。図に示すように、結果イメージは、入力されたターゲットカラー情報１３１０～１３４０に対応する色を示してよい。各ターゲットカラー情報は、複数の色のグループを含むパレットが例示されている。結果イメージは、これらのパレットが示す色感で表現されてよい。
【0072】
このように、実施形態のイメージ変換方法によって、入力イメージは、入力されたターゲットスタイル、ターゲットカラー情報、および抽象化レベルが反映された結果イメージに変換されるようになる。
【0073】
【0074】
以下では、上述した変換モデル２５０を使用して入力イメージ２０５を結果イメージ２６０に変換する方法についてより詳しく説明する。
【0075】
以下の詳細な説明において、コンピュータシステム１００、またはプロセッサ１２０、またはこれらの構成によって実行される動作は、説明の便宜上、コンピュータシステム１００によって実行される動作であると説明する。
【0076】
図３は、一実施形態における、入力イメージをターゲットスタイルおよびターゲットカラー情報にしたがって変換した結果イメージを生成するためのイメージ変換方法を示したフローチャートである。
【0077】
段階３１０で、コンピュータシステム１００は、入力イメージ２０５、入力イメージ２０５が変換されるターゲットスタイルおよび入力イメージ２０５が変換されるターゲットカラー情報２１０を受信してよい。例えば、コンピュータシステム１００は、ユーザ端末を利用してユーザが入力する入力イメージ２０５、ターゲットスタイルおよびターゲットカラー情報２１０を受信してよい。
【0078】
段階３２０で、コンピュータシステム１００は、予め学習済みの変換モデル２５０を使用して、入力イメージ２０５をターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージを生成してよく、入力イメージ２０５をターゲットカラー情報２１０に対応する色に変換したカラー変換イメージを生成してよい。
【0079】
一方、コンピュータシステム１００は、結果イメージ２６０が示す抽象化程度を設定するための抽象化レベルをさらに受信してよい。これにより、コンピュータシステム１００は、受信した抽象化レベルが示す抽象化程度を反映したターゲットスタイルに対応するテクスチャに入力イメージ２０５を変換してテクスチャ変換イメージを生成することができる。
【0080】
段階３３０で、コンピュータシステム１００は、入力イメージ２０５を、受信したターゲットスタイルおよびターゲットカラー情報２１０にしたがって変換した結果イメージ２６０を生成するために、テクスチャ変換イメージとカラー変換イメージを合成してよい。例えば、コンピュータシステム１００は、カラー変換イメージの色でテクスチャ変換イメージが着色されるようにすることによって結果イメージ２６０を生成してよい。
【0081】
このように、実施形態の変換モデル２５０は、入力イメージ２０５に対するテクスチャ変換と、入力イメージ２０５に対するカラー変換を区分して実行することができる。変換モデル２５０は、結果イメージ２６０が生成される前に、テクスチャ変換イメージとカラー変換イメージそれぞれに対して損失関数を個別に計算して学習されてよい。
【0082】
段階３４０で、コンピュータシステム１００は、結果イメージ２６０をユーザ端末（例えば、画面５０の第１領域１０）で出力してよい。
【0083】
実施形態の変換モデル２５０は、ターゲットスタイルを表すレファレンスイメージの入力なく、ターゲットスタイルに対応するテクスチャと入力されるターゲットカラー情報２１０に対応する色を表すように、入力イメージを変換するために予め学習されたものであってよい。すなわち、変換モデル２５０は、入力イメージ２０５の他にターゲットスタイルのテクスチャを有する別のイメージを入力する必要がなく、入力イメージ２０５に基づいて結果イメージ２６０を生成することができる。
【0084】
一方、段階３１０で受信した入力イメージ２０５は、前処理された後、変換モデル２５０に入力されてよい。すなわち、段階３１５で、コンピュータシステム１００は、変換モデル２５０への入力に適したデータを生成するために入力イメージ２０５を前処理してよい。入力イメージ２０５を前処理する方法については、図４を参照しながらより詳しく説明する。
【0085】
【0086】
【0087】
図４ｂで、入力イメージ４４０は、上述した入力イメージ２０５に対応してよい。入力イメージ４４０は、例えば、ＲＧＢ色空間のイメージであって、Ｉｓｒｃ
ＲＧＢで表現されてよい。
【0088】
コンピュータシステム１００は、入力イメージ４４０Ｉｓｒｃ
ＲＧＢをＬａｂ色空間のイメージに変換（ＲＧＢ２Ｌａｂ）してよい。Ｌａｂ色空間とは、明るさ（Ｌ）と、赤緑と黄青（ａ Ｃｈａｎｎｅｌ、ｂ Ｃｈａｎｎｅｌ）の組み合わせによって表現される色空間であってよい。すなわち、Ｌａｂ色空間のＬ成分は明るさを表すことができ、Ｌａｂ色空間のａｂ成分は色を表すことができる。Ｌａｂ色空間のイメージに変換された入力イメージ４４０はＩｓｒｃ
ＲＧＢで表現されてよい。Ｉｓｒｃ
ＲＧＢは、変換モデル２５０の入力となってよい。
【0089】
また、コンピュータシステム１００は、入力イメージ４４０Ｉｓｒｃ
ＲＧＢに対してイメージ単純化処理を実行することによって、入力イメージ４４０に対応するカラーマップ４４５を生成してよい。このようなカラーマップ４４５は、Ｃｓｒｃ
ＲＧＢで表現されてよい。イメージ単純化処理は、例えば、スーパーピクセル（ｓｕｐｓｅｒｐｉｘｅｌ）アルゴリズムに基づいて実行されてよい。
【0090】
カラーマップ４４５は、ユーザによって入力されたターゲットカラー情報４５５に基づいて再彩色されてよい。コンピュータシステム１００は、入力イメージ４４０の色分布に基づいて入力イメージ４４０のソースパレット
(外１)
を生成してよい。ソースパレット
(外２)
は、例えば、Ｋ－ｍｅａｎｓクラスタリングアルゴリズムに基づいて生成されてよい。ソースパレットは、初期パレットと呼ばれてもよい。コンピュータシステム１００は、ユーザによってソースパレット
(外３)
が編集されることにより、ターゲットカラー情報４５５に該当するパレット
(外４)
を生成してよい。例えば、ソースパレット
(外５)
を構成する色のうちの少なくとも１つがユーザからの入力によって変更されることにより、ターゲットカラー情報４５５に該当するパレット
(外６)
が生成されてよい。ターゲットカラー情報４５５に対応するパレット
(外７)
に基づいてカラーマップ４４５が再彩色されることにより、ターゲットカラー情報４５５が反映されたカラーマップ４６５
(外８)
が生成されてよい。
(外９)
はＬａｂ色空間のイメージに変換されてよく、このようなＬａｂ色空間のイメージに変換されたカラーマップは
(外１０)
として表現されてよい。一方、前記再彩色が実行される前には、編集されていない色領域がカラーマップ４４５Ｃｓｒｃ
ＲＧＢと同一に維持されるようにするために、入力イメージ４４０Ｉｓｒｃ
ＲＧＢはソースパレット
(外１１)
の各色に対してカラーセグメント化マスク（Ｃｏｌｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｍａｓｋ）（Ｍ）４６０が計算されてよく、このようなマスクを使用したマスキングが実行されてよい。
(外１)
(外２)
(外３)
(外４)
(外５)
(外６)
(外７)
(外８)
(外９)
(外１０)
(外１１)
【0091】
例えば、入力イメージ４４０とソースパレット
(外１２)
に基づいてイメージマスク（Ｍ）が生成されてよい。コンピュータシステム１００は、入力イメージ４４０内のすべてのピクセルから前記ソースパレット
(外１３)
内の色のうちで最も近い色を識別し、識別された色に対応するマスク領域に値を記入することによってマスクを生成してよい。ターゲットカラー情報４５５に該当するパレット
(外１４)
とソースパレット
(外１５)
を使用して、カラーマップ４４５は再彩色されてよい。このとき、カラーマップ４４５に存在するすべてのピクセルに対して、コンピュータシステム１００は、各ピクセルが生成されたマスクのどの色に対応するかを識別してよく、識別された色とターゲットカラー情報４５５に対応するパレット
(外１６)
の色を比較してカラーマップ４４５を再彩色してよい。
(外１２)
(外１３)
(外１４)
(外１５)
(外１６)
【0092】
最終的に生成されたＬａｂ色空間のイメージに変換されたカラーマップ
(外１７)
は、変換モデル２５０の入力となってよい。
(外１７)
【0093】
図４ａのフローチャートを参照しながら、入力イメージ４４０の前処理方法について再び説明する。段階４０５で、コンピュータシステム１００は、入力イメージ４４０をＬａｂ色空間のイメージである第１変換イメージに変換してよい。第１変換イメージは、上述したＩｓｒｃ
Ｌａｂであってよく、これは変換モデル２５０の入力となってよい。
【0094】
段階４１０で、コンピュータシステム１００は、入力イメージ４４０を単純化処理することによって第１カラーマップを生成してよい。単純化処理には、例えば、スーパーピクセルアルゴリズムを基盤とした単純化処理、または他のイメージ量子化（ｑｕａｎｔｉｚａｔｉｏｎ）アルゴリズムを基盤とした単純化処理方法が使用されてよい。第１カラーマップは、上述したカラーマップ４４５Ｃｓｒｃ
ＲＧＢに対応してよい。
【0095】
段階４２０で、コンピュータシステム１００は、第１カラーマップの色を、受信したターゲットカラー情報に基づいて変換することによって第２カラーマップを生成してよい。例えば、第１カラーマップは、ターゲットカラー情報に対応する色によって再彩色されてよく、このような再彩色にしたがって第２カラーマップが生成されてよい。第２カラーマップは、上述したカラーマップ４６５
(外１８)
に対応してよい。
(外１８)
【0096】
段階４３０で、コンピュータシステム１００は、第２カラーマップをＬａｂ色空間のイメージである第２変換イメージに変換してよい。このような変換によって生成される第２変換イメージは、上述したカラーマップ
(外１９)
に対応してよく、これは変換モデル２５０の入力となってよい。
(外１９)
【0097】
変換モデル２５０は、第１変換イメージＩｓｒｃ
Ｌａｂに基づいて上述したテクスチャ変換イメージを生成することができ、第２変換イメージ
(外２０)
に基づいて上述したカラー変換イメージを生成することができる。
(外２０)
【0098】
【0099】
図５は、一例における、予め学習済みの変換モデルを使用して、入力イメージからテクスチャ変換イメージおよび色変換イメージを生成する方法を示した図である。
【0100】
以下、段階５１０～５３０を参照しながら、変換モデル２５０を使用して、上述したテクスチャ変換イメージおよびカラー変換イメージを生成する方法についてより詳しく説明する。
【0101】
図２ｂを参照しながら説明したように、変換モデル２５０は、入力イメージ４４０の前処理されたデータをエンコードするための共用エンコーダ２５２と、エンコードされたデータに対するテクスチャ変換のためのデコードを実行するテクスチャデコーダ２５６と、エンコードされたデータに対するカラー変換のためのデコードを実行するカラーデコーダ２５４を含んでよい。
【0102】
段階５１０で、変換モデル２５０は、エンコーダ２５２を使用して、上述した入力イメージ４４０の前処理に基づいて生成された第１変換イメージをエンコードしてよい。
【0103】
段階５２０で、変換モデル２５０は、エンコーダ２５２によってエンコードされた第１変換イメージを、テクスチャデコーダ２５４を使用してデコードすることによってテクスチャ変換イメージを生成してよい。テクスチャ変換イメージは、ターゲットスタイルに対応するテクスチャに入力イメージ４４０のテクスチャが変換されたものであってよい。
【0104】
段階５３０で、変換モデル２５０は、カラーデコーダ２５４を使用して、入力イメージ４４０の前処理に基づいて生成された第２変換イメージに基づいて、例えば、第２変換イメージを条件情報として使用して前記エンコードされた第１変換イメージをデコードすることによって色変換イメージを生成してよい。カラーデコーダ２５４には上述した第２変換イメージが入力されることによって、カラー変換イメージにはターゲットカラー情報に対応する色が反映されてよい。
【0105】
コンピュータシステム１００は、段階５２０で生成されたテクスチャ変換イメージと段階５３０で生成された色変換イメージを合成することによって最終的な結果イメージを生成することができる。
【0106】
【0107】
図６は、一実施形態における、結果画像を生成する方法を示したフローチャートである。
【0108】
図５を参照しながら説明したテクスチャ変換イメージは、Ｌａｂ色空間のイメージであって、Ｌコンポーネントのイメージであってよい。すなわち、テクスチャ変換イメージは、ａｂコンポーネントを有する必要がない。カラー変換イメージはＬａｂ色空間のイメージであって、ａｂコンポーネントのイメージであってよい。カラー変換イメージは、結果イメージを生成するためのａｂチャネルのカラーマップであってよい。
【0109】
段階６１０で、コンピュータシステム１００は、テクスチャ変換イメージであるＬコンポーネントのイメージとカラー変換イメージａｂコンポーネントのイメージを合成することによって合成イメージを生成してよい。合成イメージは、Ｌａｂ色空間のイメージであってよい。
【0110】
段階６２０で、コンピュータシステム１００は、Ｌａｂ色空間のイメージである合成イメージをＲＧＢ色空間のイメージに変換してよい。最終的にＲＧＢ色空間のイメージに変換されたイメージは、上述した結果イメージとなってよい。
【0111】
上述した段階６１０および６２０は、変換モデル２５０によって実行される動作であってよい。
【0112】
【0113】
図７は、一例における、入力イメージをターゲットスタイルおよび前記ターゲットカラー情報にしたがって変換した結果イメージを生成する変換モデルを示した図である。
【0114】
【0115】
図７に示した変換モデルは、上述した変換モデル２５０を示したものであってよい。このような変換モデルは、人工知能（ＡＩ）基盤のモデルであって、例えば、ディープラーニング基盤のモデルを含んでよい。変換モデルは、予め学習（訓練）されたＶＧＧモデル（例えば、ＶＧＧ１９ネットワーク）を含んでよい。
【0116】
変換モデルは、共用エンコーダ７３０と、テクスチャデコーダ７４０、およびカラーデコーダ７５０を含んでよい。
【0117】
共用エンコーダ７３０は、入力イメージ４４０が前処理されたデータである第１変換イメージＩｓｒｃ
Ｌａｂ７１０をエンコードしてよい。共用エンコーダ７３０は、複数の畳み込み層および残差ブロックで構成されてよい。
【0118】
テクスチャデコーダ７４０は、共用エンコーダ７３０によるエンコード結果をデコードしてテクスチャ変換イメージ７７０を生成してよい。すなわち、テクスチャデコーダ７４０は、受信したターゲットスタイルに対応するテクスチャが反映されたイメージを生成することができる。生成されるテクスチャ変換イメージ７７０は、Ｌａｂ色空間のＬコンポーネントのイメージであってよい。また、テクスチャデコーダ７４０によって生成されるテクスチャ変換イメージ７７０には、受信した抽象化レベルが示す抽象化程度が反映されていてよい。
【0119】
このために、変換モジュール２５０は、それぞれの抽象化レベルが示す抽象化程度が反映された出力値を生成する各レイヤを含む複数の層で構成される抽象化程度反映モジュール７６０を含んでよい。抽象化程度反映モジュール７６０は、テクスチャデコーダ７４０に含まれてよい。すなわち、テクスチャデコーダ７４０は、抽象化程度反映モジュール７６０と複数の畳み込み層を含んでよい。
【0120】
以下、図１１を参照しながら、抽象化程度反映モジュール７６０についてより詳しく説明する。
【0121】
これと関連して、図１１は、一例における、変換モデルに含まれる抽象化程度反映モジュールの構造を示した図である。
【0122】
図に示した抽象化度反映モジュール１１００は、抽象化程度反映モジュール７６０をより詳しく示したものである。抽象化程度反映モジュール１１００は、図に示したように、複数の層（または、残差ブロック）とゲーティングモジュール（ｇａｔｉｎｇ ｍｏｄｕｌｅ）を含んでよい。それぞれの層は、それぞれの抽象化レベルが示す抽象化程度を反映する出力値を生成するように構成されてよい。抽象化程度反映モジュール１１００は、連続抽象化反映モジュール（Ｃｏｎｔｉｎｕｏｕｓ Ａｂｓｔｒａｃｔｉｏｎ Ｍｏｄｕｌｅ：ＣＡＭ）と呼ばれてもよい。
【0123】
変換モジュール２５０（変換モジュール２５０のテクスチャデコーダ７４０）は、ユーザから受信した抽象化レベルに該当する抽象化程度反映モジュール１１００の層の出力値を使用して、前記受信した抽象化レベルが示す抽象化程度が反映されたターゲットスタイルに対応するテクスチャに入力イメージ４４０を変換してテクスチャ変換イメージ７７０を生成してよい。
【0124】
図に示した例において、アルファαは、受信した抽象化レベルを示してよい。抽象化程度反映モジュール１１００は、層のうちで、受信した抽象化レベルαに該当する層の出力値をテクスチャ変換イメージ７７０の生成に使用してよい。
【0125】
一例として、抽象化程度反映モジュール１１００は、受信した抽象化レベルαによってどの層（残差ブロック）で生成された特徴マップを使用するかを決定してよく、決定された特徴マップをｓｕｍ演算によって１つの最終特徴マップとして計算して、テクスチャ変換イメージ７７０を生成するために使用してよい。
【0126】
これにより、生成されたテクスチャ変換イメージ７７０は、受信したターゲットスタイルのテクスチャだけでなく、受信した抽象化レベルが示す抽象化程度を反映することができる。
【0127】
カラーデコーダ７５０は、残差ブロックと複数の畳み込み層で構成されてよい。カラーデコーダ７５０は、共用エンコーダ７３０によるエンコード結果をデコードするが、第２変換イメージ
(外２１)
７２０を追加入力として使用してデコードを実行して、ターゲットカラー情報に対応する色が反映されたカラー変換イメージ７８０を生成してよい。すなわち、カラーデコーダ７５０は、受信したターゲットカラー情報に対応する色（色感、パレットなど）を反映したイメージを生成することができる。生成されるカラー変換イメージ７８０は、Ｌａｂ色空間のａｂコンポーネントのイメージであってよい。
(外２１)
【0128】
テクスチャ変換イメージ７７０とカラー変換イメージ７８０が合成されることによって結果イメージ７９０が生成されてよい。テクスチャ変換イメージ７７０とカラー変換イメージ７８０が合成された合成イメージは、
(外２２)
と呼ばれてもよい。合成イメージ
(外２３)
はＬａｂ色空間のイメージであってよく、合成イメージ
(外２４)
はＲＧＢ色空間のイメージに変換されてよい。変換されたＲＧＢ色空間のイメージが結果イメージ７９０となり、結果イメージ７９０は
(外２５)
と呼ばれてもよい。
(外２２)
(外２３)
(外２４)
(外２５)
【0129】
上述したように、変換モジュール２５０は、テクスチャデコーダ７４０とカラーデコーダ７５０を使用してテクスチャ変換イメージ７７０とカラー変換イメージ７８０を区別して生成することができ、これらを合成することによって結果イメージ７９０を生成することができる。
【0130】
したがって、最終的な結果イメージ７９０には、ユーザから受信したターゲットスタイル、ターゲットカラー情報、抽象化程度が反映されるようになる。
【0131】
【0132】
以下では、図８～１０を参照しながら、上述した変換モデル２５０を学習させて予め学習済みの変換モデル２５０を構築する方法についてより詳しく説明する。
【0133】
図８は、一例における、変換モデルを学習させる方法を示した図である。
【0134】
変換モデル２５０を学習させるコンピュータシステムは、上述したコンピュータシステム１００とは別の装置またはサーバであってもよい。以下では、説明の便宜上、コンピュータシステム１００と変換モデル２５０を学習させるコンピュータシステムを同一視した状態で実施形態を説明する。
【0135】
段階８１０で、コンピュータシステム１００は、ターゲットスタイルに対応するテクスチャを含む少なくとも１つの第１イメージと、前記ターゲットスタイルへの変換およびカラー変換の対象となるイメージである少なくとも１つの第２イメージをデータ拡張した学習用データを取得してよい。第１イメージは、例えば、ターゲットスタイルが示すコンテンツを含むイメージであってよい。例えば、コンテンツがウェブトゥーンである場合、第１イメージは、ウェブトゥーンから抽出されたイメージであって、カットを含んでよい。第２イメージは、第１イメージが示すテクスチャへの変換の対象となるイメージをであってよい。第２イメージは、写真またはその他のイメージを含んでよい。
【0136】
これらの第１イメージおよび第２イメージはそれぞれ複数のイメージを含んでよく、変換モデル２５０を学習させるために適した形態に加工および拡張されてよい。前記学習用データとは、変換モデル２５０を学習させるために適した形態に加工および拡張されたデータを意味してよい。
【0137】
例えば、変換モデル２５０は、所定のターゲットスタイルに対応するテクスチャを含む少なくとも１つの第１イメージをデータ拡張して生成された第１学習用データと、このターゲットスタイルへの変換および（任意のターゲットカラー情報による）カラー変換の対象となるイメージである少なくとも１つの第２イメージをデータ拡張して生成された第２学習用データを使用して学習されてよく、上述した予め学習済みの変換モデル２５０は、このような第１学習用データおよび第２学習用データを使用して事前学習されたものであってよい。
【0138】
【0139】
段階８２０で、コンピュータシステム１００は、取得された学習用データを使用して、第２イメージをターゲットスタイルに対応するテクスチャに変換したテクスチャ変換イメージおよび第２イメージをターゲットカラー情報に対応する色に変換した色変換イメージを生成するように変換モデル２５０を学習させてよい。生成されたテクスチャ変換イメージとカラー変換イメージが合成されることにより、第２イメージをターゲットスタイルおよびターゲットカラー情報にしたがって変換した結果イメージが生成されてよい。
【0140】
段階８２０によって学習された変換モデル２５０は、ターゲットスタイルを示すレファレンスイメージの入力なく、ターゲットスタイルに対応するテクスチャと（ユーザによって入力される任意の）ターゲットカラー情報に対応する色を表すように（ユーザから入力される）入力イメージを変換することができる。
【0141】
【0142】
【0143】
【0144】
上述したように、変換モデル２５０は、所定のターゲットスタイルに対応するテクスチャを含む少なくとも１つの第１イメージをデータ拡張して生成された第１学習用データと、このターゲットスタイルへの変換および（任意のターゲットカラー情報による）カラー変換の対象となるイメージである少なくとも１つの第２イメージをデータ拡張して生成された第２学習用データを使用して学習されてよい。
【0145】
図９ａを参照しながら、第１学習用データを生成する方法についてより詳しく説明する。
【0146】
第１学習用データは、変換モデル２５０が入力される抽象化レベルが示す抽象化程度を反映する結果イメージを生成するための学習用イメージ（ら）を含まなければならない。すなち、第１学習用データは、第１イメージに対する所定の程度の抽象化処理（すなわち、任意の抽象化レベルが示す抽象化程度を反映する処理）を模写する学習用イメージ（ら）を含むようになる。このような第１学習用データは、第１イメージに対するリサイジング処理および／または解像度変更処理によって生成されてよい。すなわち、第１学習用データは、第１イメージに対する所定の程度の抽象化処理を模写するように、リサイジング処理および解像度変更処理のうちの少なくとも１つの処理が実行されたイメージを含んでよい。
【0147】
このような第１学習用データの生成のために、段階９１０で、コンピュータシステム１００は、第１イメージに対してリサイジング処理および解像度変更処理を実行して第１学習用データを生成してよい。コンピュータシステム１００は、任意の抽象化レベルを考慮し、多様なサイズおよび／または解像度を考慮し、第１イメージに対してリサイジング処理および解像度変更処理を実行してよく、これにより、複数のイメージを含む第１学習用データを生成することができる。
【0148】
段階９２０で、コンピュータシステム１００は、生成された第１学習用データをＬａｂ色空間のイメージに変換してよい。例えば、コンピュータシステム１００は、第１学習用データをＬａｂ色空間のＬコンポーネントのイメージに変換してよい。変換されたイメージは、最終的な第１学習用データとなってよい。
【0149】
図１０ａを参照しながら、最終的な第１学習用データを生成する方法について説明すると、所定のターゲットスタイルに対応するテクスチャを含む少なくとも１つの第１イメージはＩｔｇｔ
ＲＧＢで表現されてよい。第１イメージＩｔｇｔ
ＲＧＢは、ユーザから入力される任意の抽象化レベルαが示す抽象化程度の抽象化処理を模写するようにリサイジングおよび／または解像度変更処理を実行してよい。リサイジングおよび／または解像度変更処理によって生成されたイメージはＲＧＢ色空間のイメージであってよく、このようなＲＧＢ色空間のイメージは、Ｌａｂ色空間のＬコンポーネントのイメージに変換されてよい。最終的に生成される第１学習用データはＩｔｇｔ
Ｌと呼ばれてもよい。第１学習用データＩｔｇｔ
Ｌは、図７を参照しながら説明した変換モデル２５０に入力されてよく、変換モデル２５０をターゲットスタイルのテクスチャを模倣するように実現するための損失関数の計算のために使用されてよい。
【0150】
図９ｂを参照しながら、第２学習用データを生成する方法についてより詳しく説明する。
【0151】
第２学習用データは、第２イメージを任意の色にカラー変換した学習用変換イメージを含んでよい。第２学習用データは、変換モデル２５０が入力されるターゲットカラー情報に対応する色を反映する結果イメージを生成するための学習用イメージ（ら）を含まなければならない。すなわち、第２学習用データは、第２イメージに対する任意のカラー変更（すなわち、任意のターゲットカラー情報に対応する色を反映する処理）を模写する学習用変換イメージ（ら）を含むようになる。このような学習用変換イメージを含む第２学習用データは、後述する変換段階９３０～９８０によって生成されてよい。
【0152】
段階９３０で、コンピュータシステム１００は、第２イメージおよび第２イメージを単純化処理することによって生成される第２イメージのカラーマップの少なくとも１つをＨＳＶ色空間のイメージに変換してよい。イメージ単純化処理は、例えば、スーパーピクセル（ｓｕｐｓｅｒｐｉｘｅｌ）アルゴリズムに基づいて実行されてよい。コンピュータシステム１００は、第２イメージおよび第２イメージのカラーマップの両方をＨＳＶ色空間のイメージに変換してよい。ＨＳＶ色空間は、色（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の座標を用いて特定の色を指定することによって表現される色空間であってよい。
【0153】
段階９５０で、コンピュータシステム１００は、変換されたＨＳＶ色空間のイメージおよびを任意の色に変換してよい。ここで、「任意の色」とは、ユーザが入力可能な任意のターゲットカラー情報に対応してよい。任意の色は、任意に選択された色であってよい。段階９５０のカラー変換により、上述した学習用変換イメージ（ら）が生成されてよい。
【0154】
段階９８０で、コンピュータシステム１００は、段階９５０で生成された学習用変換イメージ（ら）をＲＧＢ色空間のイメージに変換してよい。
【0155】
一方、一実施形態では、段階９５０で生成された学習用変換イメージ（ら）の明るさ情報Ｌを補正することによって、変換モデル２５０を学習させるためにより適した第２学習用データを生成してよい。例えば、段階９４０で、コンピュータシステム１００は、追加で第２イメージおよび第２イメージを単純化処理することによって生成される第２イメージのカラーマップのうちの少なくとも１つをＬａｂ色空間のイメージにさらに変換してよい。コンピュータシステム１００は、第２イメージおよび第２イメージのカラーマップの両方をＬａｂ色空間のイメージに変換してよい。段階９４５で、コンピュータシステム１００は、このような変換されたＬａｂ色空間のイメージのＬ情報（Ｌコンポーネント）を抽出してよい。このような抽出されたＬ情報は、例えば、段階９５０で生成されたカラー変換されたイメージのＬ情報を補正するために使用されてよい。このようなＬ情報の抽出は、Ｌ情報のキャッシングと呼ばれてもよい。すなわち、段階９６０で、コンピュータシステム１００は、段階９５０で任意の色に変換されたＨＳＶ色空間のイメージをＬａｂ色空間のイメージに変換することができる。段階９７０で、コンピュータシステム１００は、段階９６０で変換されたＬａｂ色空間のイメージのＬ情報を、段階９４５で抽出されたＬ情報（すなわち、キャッシングされたＬ情報）に置き換えてよい。段階９８０で、コンピュータシステム１００は、段階９７０の結果物であるＬａｂ色空間のイメージをＲＧＢ色空間のイメージに変換してよい。これにより、段階９５０で生成された学習用変換イメージ（ら）は、Ｌ情報をより適切な値に補正することができる。
【0156】
これと関連して、図１０ｂには、Ｌ情報が段階９４０～９７０で補正された場合とそうでない場合のイメージの差が示されている。例えば、（ｃ）はＨＳＶ色空間のイメージを示しており、（ｄ）はＨＳＶ色空間のイメージであって、上述した方法によってＬ情報が補正された場合を示している。（ｄ）の場合のイメージがより自然な明るさを表していることを確認することができる。すなわち、上述した方法によって明るさの急変を抑制することができ、ＨＳＶ色空間へのイメージ変換時に明るさ情報が損失されるという問題を解消することができる。したがって、Ｌ情報が補正された場合の学習用変換イメージが、変換モデル２５０の訓練により適していると言える。
【0157】
したがって、段階９３０～９８０により、変換モデル２５０を学習させるために適した第２学習用データを取得することができる。
【0158】
図１０ａを参照しながら、最終的な第２学習用データを生成する方法について説明すると、ターゲットスタイルへの変換およびターゲットカラー情報へのカラー変換の対象となる少なくとも１つの第２イメージは、Ｉｓｒｃ
ＲＧＢで表現されてよい。第２イメージＩｓｒｃ
ＲＧＢは、イメージ単純化処理によってカラーマップＣｓｒｃ
ＲＧＢに変換されてよい。第２イメージＩｓｒｃ
ＲＧＢとカラーマップＣｓｒｃ
ＲＧＢは、ＨＳＶ変換基盤のデータ拡張プロセス１０３０によってそれぞれ学習用変換イメージ１０４０、１０５０に変換されてよい。ＨＳＶ変換基盤のデータ拡張プロセス１０３０は、上述した段階９３０～９８０によって実行されてよい。学習用変換イメージ１０４０は、第２イメージＩｓｒｃ
ＲＧＢを任意のカラー変更処理によって拡張したものであってよい。学習用変換イメージ１０５０は、カラーマップＣｓｒｃ
ＲＧＢを任意のカラー変更処理によって拡張したものであってよい。学習用変換イメージ１０４０、１０５０は、ＲＧＢ色空間のイメージであってよい。学習用変換イメージ１０４０は、Ｌａｂ色空間のａｂコンポーネントのイメージに変換されてよい。一方、学習用変換イメージ１０５０は、Ｌａｂ色空間のイメージに変換されてよい。最終的に生成される第２学習用データは、学習用変換イメージ１０４０から生成された
(外２６)
と学習用変換イメージ１０５０から生成された
(外２７)
と呼ばれてもよい。第２学習用データ
(外２８)
は、図７を参照しながら説明した変換モデル２５０に入力されてよく、変換モデル２５０のカラーデコーダ７６０に入力されてよい。第２学習用データ
(外２９)
は、変換モデル２５０に入力されてよく、変換モデル２５０をターゲットカラー情報の色が反映された結果イメージを生成するように実現するための損失関数の計算のために使用されてよい。
(外２６)
(外２７)
(外２８)
(外２９)
【0159】
一方、第２イメージＩｓｒｃ
ＲＧＢ自体も、変換モデル２５０のための学習データとなってよい。第２イメージＩｓｒｃ
ＲＧＢはＬａｂ色空間のイメージに変換されてよく、変換されたイメージＩｓｒｃ
Ｌａｂは変換モデル２５０に入力されてよい。
【0160】
すなわち、変換モデル２５０は、第１学習用データをＬａｂ色空間のＬコンポーネントのイメージに変換したイメージ（すなわち、最終的な第１学習用データ）Ｉｔｇｔ
Ｌ、第２イメージをＬａｂ色空間のイメージに変換したイメージＩｓｒｃ
Ｌａｂ、第２イメージを任意の色に変換したイメージをＬａｂ色空間のａｂコンポーネントのイメージに変換したイメージ
(外３０)
、および第２イメージのカラーマップをＬａｂ色空間のイメージに変換したイメージ
(外３１)
を使用して学習されることができる。学習用データおよび実施形態で説明する「イメージ」とは、イメージを表すデータを包括する意味として使用した。
(外３０)
(外３１)
【0161】
【0162】
図１２は、一例における、識別子ネットワークの構造を示した図である。
【0163】
識別子ネットワーク１２００は、変換モデル２５０に含まれる識別子（ｄｉｓｃｒｉｍｉｎａｔｏｒ）であってよい。変換モデル２５０は、識別子ネットワーク１２００を利用する敵対的学習によって実現されてよい。
【0164】
変換モデル２５０は、５つの損失関数を使用して学習されてよい。
【0165】
５つの損失関数はそれぞれ、Ｌｃｏｎｔｅｎｔ
ｖｇｇ、Ｌｔｅｘｔｕｒｅ
ｖｇｇ、Ｌｃｏｌｏｒ
ｖｇｇ、Ｌｔｅｘｔｕｒｅ
ａｄｖ、Ｌｃｏｌｏｒ
ａｄｖと呼ばれてよい。
【0166】
このうち、Ｌｔｅｘｔｕｒｅ
ａｄｖ、Ｌｃｏｌｏｒ
ａｄｖは、識別子ネットワーク１２００の敵対的損失関数を示してよい。敵対的損失関数は、上述したテクスチャデコーダ７４０とカラーデコーダ７５０に対して使用されてよい。一方、Ｌｃｏｎｔｅｎｔ
ｖｇｇ、Ｌｔｅｘｔｕｒｅ
ｖｇｇ、Ｌｃｏｌｏｒ
ｖｇｇは、入力イメージおよび／またはターゲットイメージ（ターゲットスタイルのテクスチャを有するイメージ）に対して比較がなされる損失関数であってよい。
【0167】
また、Ｌｃｏｎｔｅｎｔ
ｖｇｇ、Ｌｔｅｘｔｕｒｅ
ｖｇｇ、Ｌｔｅｘｔｕｒｅ
ａｄｖはテクスチャ変換と関連する損失関数であり、Ｌｃｏｌｏｒ
ｖｇｇ、Ｌｃｏｌｏｒ
ａｄｖはカラー変換と関連する損失関数であってよい。
【0168】
テクスチャデコーダ７４０で生成された結果物は、ＶＧＧネットワークを通過した後、イメージ（例えば、上述した第２イメージ）に対する復元損失関数が計算されてよく、ＶＧＧネットワークを通過した特徴マップは、グラム行列が計算された後、ターゲットスタイルに該当するイメージに対応するグラム行列との損失関数が計算されてよい。
【0169】
カラーデコーダ７５０で生成された結果物は、ＶＧＧネットワークを通過した後、カラーデータ拡張過程を経たイメージ
(外３２)
との損失関数が計算されてよい。このような損失関数によって、ユーザによって入力される多様なターゲットカラー情報に対応する色が反映された結果イメージを生成することができる。
(外３２)
【0170】
以下では、各損失関数についてより詳しく説明する。
【0171】
まず、テクスチャデコーダ７４０の損失関数について説明する。
【0172】
Ｌｔｅｘｔｕｒｅ
ａｄｖは、変換モデル２５０がターゲットスタイルに対応するテクスチャ（例えば、カートゥーンドメインのテクスチャ）を模倣するようにするための敵対的損失を示してよく、数式（１）のように表現されてよい。
【0173】
【数1】
【0174】
Ｇは、テクスチャ変換のためのネットワーク（すなわち、カートゥーン化ネットワーク）を示してよく、与えられた抽象化因子（抽象化レベル）αへの
(外３３)
は、複数の抽象化識別ネットワーク（ｍｕｌｔｉ－ａｂｓｔｒａｃｔｉｏｎ ｄｉｓｃｒｉｍｉｎａｔｏｒ）であってよい。
(外３３)
【0175】
Ｌｃｏｎｔｅｎｔ
ｖｇｇは、テクスチャ変換されたイメージ（すなわち、カートゥーン化されたイメージ）が原本イメージのセマンティック情報を保存できるようにするためのコンテンツ損失（ｃｏｎｔｅｎｔ ｌｏｓｓ）を示してよく、数式（２）のように表現されてよい。
【0176】
【数2】
【0177】
変換モデル２５０には、グラム行列を計算するために予め訓練されたＶＧＧ１９ネットワークのｃｏｎｖ４＿４層が使用されてよい。
【0178】
また、テクスチャ変換のためのネットワーク（すなわち、カートゥーン化ネットワーク）は、数式（３）で表現されるグラム基盤の損失（Ｇｒａｍ－ｂａｓｅｄ ｌｏｓｓ）によってハイレベル（ｈｉｇｈ－ｌｅｖｅｌ）のテクスチャ表面を学習するように構成されてよい。
【0179】
【数3】
【0180】
一方、出力に対して空間スムージング（ｓｐａｔｉａｌ ｓｍｏｏｔｈｎｅｓｓ）を付与するための最終的な変形損失（ｖａｒｉａｔｉｏｎ ｌｏｓｓ）は、数式（４）のように表現されてよい。
【0181】
【数4】
【0182】
バランシングパラメータ
(外３４)
に対して、テキストデコーダ７４０の最終的な損失関数は、数学（５）のように表現されてよい。
(外３４)
【0183】
【数5】
【0184】
次に、カラーデコーダ７５０の損失関数について説明する。
【0185】
敵対的損失および知覚色損失（ｐｅｒｃｅｐｔｕａｌ ｃｏｌｏｒ ｌｏｓｓ）が使用されてよい。敵対的損失Ｌｃｏｌｏｒ
ａｄｖはテクスチャデコーダ７４０と関連して説明したものと同じであるが、カラーマップ
（外３５）
が条件情報として注入される点のみ異なる。敵対的損失は、数式（６）のように表現されてよい。
（外３５）
【0186】
【数6】
【0187】
Ｄは、カラー変換の識別ネットワーク（ｄｉｓｃｒｉｍｉｎａｔｏｒ）であってよい。Ｇは、カラー変換のためのネットワークを示してよい。
【0188】
知覚損失（知覚色損失）は、プレーンＶＧＧ基盤の距離（ｐｌａｉｎ ＶＧＧ－ｂａｓｅｄ ｄｉｓｔａｎｃｅ）であってよい。生成されたイメージとＧＴ（Ｇｒｏｕｎｄ－Ｔｒｕｔｈ）イメージはａｂ色空間のイメージであるため、ＶＧＧネットワークに入力される前に再びＲＧＢ色空間に変換されなければならない。ａｂチャネルのイメージは、原本イメージから抽出された明るさイメージであるＩｓｒｃ
Ｌと結合されてよい。カラーデコーダ７５０からの出力は
(外３６)
と呼ばれてよく、
(外３７)
である。知覚色損失Ｌｃｏｌｏｒ
ｖｇｇは、数式（７）のように計算されてよい。
(外３６)
(外３７)
【0189】
【数7】
【0190】
カラーデコーダ７５０の最終的な損失関数は、数式（８）のように表現されてよい。
【0191】
【数8】
【0192】
ラムダは、バランシングパラメータを示してよい。
【0193】
変換モデル２５０の全体的なフレームワークは、最終損失を使用してエンドツーエンド方式で学習されてよい。全体損失は
(外３８)
となってよい。
(外３８)
【0194】
【0195】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0196】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｔ）、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【0197】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータによって実行可能なプログラムを継続して記録するものであってもよいし、実行またはダウンロードのために一時的に記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続させる媒体はもちろん、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令が記録されるように構成されたものが挙げられる。また、他の媒体の例として、アプリケーションを流通するアプリストアや、その他の多様なソフトウェアを供給したり流通したりするサイト、サーバなどで管理する記録媒体や格納媒体も含まれる。
【0198】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0199】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付の特許請求の範囲に属する。
【符号の説明】
【0200】
１００：コンピュータシステム
１１０：通信部
１２０：プロセッサ
１３０：メモリ
１４０：入力／出力インタフェース
１１０：通信部
１２０：プロセッサ
１３０：メモリ
１４０：入力／出力インタフェース
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11】
【図12】
【図13】