特開 2022-172981 画像処理方法、画像処理装置、コンピュータプログラム、および、訓練方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022172981

(43)【公開日】2022-11-17

(54)【発明の名称】画像処理方法、画像処理装置、コンピュータプログラム、および、訓練方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20221110BHJP

   G06T 1/40 20060101ALI20221110BHJP

【ＦＩ】

G06T1/00 510

G06T1/40

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021079368

(22)【出願日】2021-05-07

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】渡邉 航平

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA02

5B057CA08

5B057CB01

5B057CB08

5B057CC01

5B057CE16

5B057DB05

5B057DC40

(57)【要約】

【課題】適切なカラー画像を表す画像データを生成する。
【解決手段】
対象画像を１色成分で表す第１画像データを使用して対象画像のカラー画像を表す第２画像データを生成する着色処理を実行する。着色処理は、訓練画像を１色成分で表すモノクロ訓練画像データから訓練画像のカラー画像を表すカラー生成画像データを生成するように調整された複数のパラメータを有する着色モデルを使用して、第１画像データから第２画像データを生成する生成処理を含む。参考色データが提供される場合には、参考色データと第１画像データとを含む第１種入力データセットを着色モデルに入力することによって、第２画像データを生成する。参考色データが提供されない場合には、参考色データを含まずに第１画像データを含む第２種入力データセットを着色モデルに入力することによって、第２画像データを生成する。
【選択図】 図１３

【特許請求の範囲】

【請求項1】

画像処理方法であって、
対象画像を１色成分で表す第１画像データを使用して前記対象画像のカラー画像を表す第２画像データを生成する着色処理を実行する着色工程と、
前記第２画像データを記憶装置に格納する格納工程と、
を備え、
前記着色処理は、訓練画像を１色成分で表すモノクロ訓練画像データから前記訓練画像のカラー画像を表すカラー生成画像データを生成するように調整された複数のパラメータを有する着色モデルを使用して、前記第１画像データから前記第２画像データを生成する生成処理を含み、
前記生成処理は、
前記対象画像内のＮ個（Ｎは１以上の整数）の位置と前記Ｎ個の位置にそれぞれ対応付けられたＮ個の色とを示す参考色データが提供される場合には、前記参考色データと前記第１画像データとを含む第１種入力データセットを前記着色モデルに入力することによって、前記第２画像データを生成し、
前記参考色データが提供されない場合には、前記参考色データを含まずに前記第１画像データを含む第２種入力データセットを前記着色モデルに入力することによって、前記第２画像データを生成する、
ように構成されており、
前記着色モデルの前記複数のパラメータは、前記モノクロ訓練画像データに対する物体検出処理によって検出される物体に関する第１損失が小さくなるように調整されており、前記第１損失は、前記着色モデルによって生成される第１種生成画像データによって表される前記物体の生成カラー画像と、前記モノクロ訓練画像データに予め対応付けられる正解カラー画像データによって表される前記物体の正解カラー画像と、の間の差を示し、前記第１種生成画像データは、前記モノクロ訓練画像データのうちの前記物体を表す部分と訓練用の参考色データとを含む第１種訓練データセットを前記着色モデルに入力することによって生成される画像データであり、
前記着色モデルの前記複数のパラメータは、前記着色モデルによって生成される第２種生成画像データに関する第２損失が小さくなるように調整されており、前記第２損失は、第２種生成画像データによって表される前記訓練画像の生成カラー画像と、前記正解カラー画像データによって表される前記訓練画像の正解カラー画像と、の間の差を示す画像損失を含み、前記第２種生成画像データは、前記モノクロ訓練画像データと前記訓練用の参考色データとを含む第２種訓練データセットを前記着色モデルに入力することによって生成される画像データである、
画像処理方法。

【請求項2】

請求項１に記載の画像処理方法であって、
前記物体検出処理は、前記訓練画像内の前記物体の領域を画素単位で検出する処理を含む、
画像処理方法。

【請求項3】

請求項１または２に記載の画像処理方法であって、
前記第１損失は、前記物体の前記生成カラー画像と前記物体の正解カラー画像との間の複数の画素のそれぞれの色値の差を使用して算出される画素色損失を含む、
画像処理方法。

【請求項4】

請求項３に記載の画像処理方法であって、
前記画素色損失は、前記複数の画素のそれぞれの前記色値の前記差が大きいほど、大きい、
画像処理方法。

【請求項5】

請求項１から４のいずれかに記載の画像処理方法であって、
前記第２損失は、前記正解カラー画像データによって表される前記訓練画像の前記正解カラー画像に含まれる画素におけるエッジ量に対する、前記第２種生成画像データによって表される前記訓練画像の前記生成カラー画像中の同じ画素のエッジ量の比率と相関を有するエッジ損失を含む、
画像処理方法。

【請求項6】

請求項１から５のいずれかに記載の画像処理方法であって、
前記第２種入力データセットは、前記参考色データに代えて、前記対象画像内の位置と前記位置に対応付けられた色とを示さない代替データを含む、
画像処理方法。

【請求項7】

画像処理装置であって、
対象画像を１色成分で表す第１画像データを使用して前記対象画像のカラー画像を表す第２画像データを生成する着色処理を実行する着色部と、
前記第２画像データを記憶装置に格納する格納部と、
を備え、
前記着色処理は、訓練画像を１色成分で表すモノクロ訓練画像データから前記訓練画像のカラー画像を表すカラー生成画像データを生成するように調整された複数のパラメータを有する着色モデルを使用して、前記第１画像データから前記第２画像データを生成する生成処理を含み、
前記生成処理は、
前記対象画像内のＮ個（Ｎは１以上の整数）の位置と前記Ｎ個の位置にそれぞれ対応付けられたＮ個の色とを示す参考色データが提供される場合には、前記参考色データと前記第１画像データとを含む第１種入力データセットを前記着色モデルに入力することによって、前記第２画像データを生成し、
前記参考色データが提供されない場合には、前記参考色データを含まずに前記第１画像データを含む第２種入力データセットを前記着色モデルに入力することによって、前記第２画像データを生成する、
ように構成されており、
前記着色モデルの前記複数のパラメータは、前記モノクロ訓練画像データに対する物体検出処理によって検出される物体に関する第１損失が小さくなるように調整されており、前記第１損失は、前記着色モデルによって生成される第１種生成画像データによって表される前記物体の生成カラー画像と、前記モノクロ訓練画像データに予め対応付けられる正解カラー画像データによって表される前記物体の正解カラー画像と、の間の差を示し、前記第１種生成画像データは、前記モノクロ訓練画像データのうちの前記物体を表す部分と訓練用の参考色データとを含む第１種訓練データセットを前記着色モデルに入力することによって生成される画像データであり、
前記着色モデルの前記複数のパラメータは、前記着色モデルによって生成される第２種生成画像データに関する第２損失が小さくなるように調整されており、前記第２損失は、第２種生成画像データによって表される前記訓練画像の生成カラー画像と、前記正解カラー画像データによって表される前記訓練画像の正解カラー画像と、の間の差を示す画像損失を含み、前記第２種生成画像データは、前記モノクロ訓練画像データと前記訓練用の参考色データとを含む第２種訓練データセットを前記着色モデルに入力することによって生成される画像データである、
画像処理装置。

【請求項8】

画像処理を実行するコンピュータのためのコンピュータプログラムであって、
対象画像を１色成分で表す第１画像データを使用して前記対象画像のカラー画像を表す第２画像データを生成する着色処理を実行する着色機能と、
前記第２画像データを記憶装置に格納する格納機能と、
をコンピュータに実現させ、
前記着色処理は、訓練画像を１色成分で表すモノクロ訓練画像データから前記訓練画像のカラー画像を表すカラー生成画像データを生成するように調整された複数のパラメータを有する着色モデルを使用して、前記第１画像データから前記第２画像データを生成する生成処理を含み、
前記生成処理は、
前記対象画像内のＮ個（Ｎは１以上の整数）の位置と前記Ｎ個の位置にそれぞれ対応付けられたＮ個の色とを示す参考色データが提供される場合には、前記参考色データと前記第１画像データとを含む第１種入力データセットを前記着色モデルに入力することによって、前記第２画像データを生成し、
前記参考色データが提供されない場合には、前記参考色データを含まずに前記第１画像データを含む第２種入力データセットを前記着色モデルに入力することによって、前記第２画像データを生成する、
ように構成されており、
前記着色モデルの前記複数のパラメータは、前記モノクロ訓練画像データに対する物体検出処理によって検出される物体に関する第１損失が小さくなるように調整されており、前記第１損失は、前記着色モデルによって生成される第１種生成画像データによって表される前記物体の生成カラー画像と、前記モノクロ訓練画像データに予め対応付けられる正解カラー画像データによって表される前記物体の正解カラー画像と、の間の差を示し、前記第１種生成画像データは、前記モノクロ訓練画像データのうちの前記物体を表す部分と訓練用の参考色データとを含む第１種訓練データセットを前記着色モデルに入力することによって生成される画像データであり、
前記着色モデルの前記複数のパラメータは、前記着色モデルによって生成される第２種生成画像データに関する第２損失が小さくなるように調整されており、前記第２損失は、第２種生成画像データによって表される前記訓練画像の生成カラー画像と、前記正解カラー画像データによって表される前記訓練画像の正解カラー画像と、の間の差を示す画像損失を含み、前記第２種生成画像データは、前記モノクロ訓練画像データと前記訓練用の参考色データとを含む第２種訓練データセットを前記着色モデルに入力することによって生成される画像データである、
コンピュータプログラム。

【請求項9】

複数のパラメータを有する着色モデルの訓練方法であって、
訓練画像を１色成分で表すモノクロ訓練画像データに対する物体検出処理によって物体を検出する検出工程と、
前記モノクロ訓練画像データのうちの前記物体を表す部分と、前記訓練画像内のＮ個（Ｎは１以上の整数）の位置と前記Ｎ個の位置にそれぞれ対応付けられたＮ個の色とを示す訓練用の参考色データと、を含む第１種訓練データセットを前記着色モデルに入力することによって第１種生成画像データを生成する第１生成工程と、
前記第１種生成画像データによって表される前記物体の生成カラー画像と、前記モノクロ訓練画像データに予め対応付けられる正解カラー画像データによって表される前記物体の正解カラー画像と、の間の差を示す第１損失が小さくなるように、前記着色モデルの複数のパラメータを調整する第１調整工程と、
前記モノクロ訓練画像データと前記訓練用の参考色データとを含む第２種訓練データセットを前記着色モデルに入力することによって、第２種生成画像データを生成する第２生成工程と、
前記第２種生成画像データによって表される前記訓練画像の生成カラー画像と、前記正解カラー画像データによって表される前記訓練画像の正解カラー画像と、の間の差を示す画像損失を含む第２損失が小さくなるように、前記着色モデルの前記複数のパラメータを調整する第２調整工程と、
を備える訓練方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、画像を１色成分で表す画像データからカラー画像データを生成する技術に関する。

【背景技術】

【0002】

グレースケールの画像を着色するニューラルネットワークが提案されている。例えば、非特許文献１は、ユーザによる色のヒントを使用して着色を行う技術を提案している。非特許文献２は、物体検出によって画像から検出された物体の画像を着色するネットワークによって抽出される特徴と、画像全体を着色するネットワークによって抽出される特徴とに、融合モジュールを適用することによって、最終的な色を予測する技術を提案している。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Richard Zhang, Jun-Yan Zhu, Phillip Isola, Xinyang Geng, Angela S. Lin, Tianhe Yu, Alexei A. Efros, "Real-Time User-Guided Image Colorization with Learned Deep Priors", arXiv:1705.02999, https://arxiv.org/abs/1705.02999, 投稿日8 May 2017

【非特許文献2】Jheng-Wei Su, Hung-Kuo Chu, Jia-Bin Huang, "Instance-aware Image Colorization", arXiv:2005.10825, https://arxiv.org/abs/2005.10825, 投稿日21 May 2020

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところが、ユーザによる色のヒントを使用して着色を行う場合、画像内の意図しない部分がヒントに従って着色される場合がある。例えば、画像内の葉っぱを示す部分に対応付けられた緑色を示すヒントが入力される場合に、画像内の他の部分（例えば、川や空を示す部分）が、緑色に着色される場合がある。多数のヒントを入力する場合、このような不具合を抑制され得るが、多数のヒントの入力は、ユーザにとって大きな負担である。また、物体を着色するネットワークと画像全体を着色するネットワークとに融合モジュールを適用する場合、ネットワークのアーキテクチャが複雑である。従って、着色結果が不自然である場合に、ユーザは色を修正できなかった。

【0005】

本明細書は、適切なカラー画像を表す画像データを生成する技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、以下の適用例として実現することが可能である。

【0007】

［適用例１］画像処理方法であって、対象画像を１色成分で表す第１画像データを使用して前記対象画像のカラー画像を表す第２画像データを生成する着色処理を実行する着色工程と、前記第２画像データを記憶装置に格納する格納工程と、を備え、前記着色処理は、訓練画像を１色成分で表すモノクロ訓練画像データから前記訓練画像のカラー画像を表すカラー生成画像データを生成するように調整された複数のパラメータを有する着色モデルを使用して、前記第１画像データから前記第２画像データを生成する生成処理を含み、前記生成処理は、前記対象画像内のＮ個（Ｎは１以上の整数）の位置と前記Ｎ個の位置にそれぞれ対応付けられたＮ個の色とを示す参考色データが提供される場合には、前記参考色データと前記第１画像データとを含む第１種入力データセットを前記着色モデルに入力することによって、前記第２画像データを生成し、前記参考色データが提供されない場合には、前記参考色データを含まずに前記第１画像データを含む第２種入力データセットを前記着色モデルに入力することによって、前記第２画像データを生成する、ように構成されており、前記着色モデルの前記複数のパラメータは、前記モノクロ訓練画像データに対する物体検出処理によって検出される物体に関する第１損失が小さくなるように調整されており、前記第１損失は、前記着色モデルによって生成される第１種生成画像データによって表される前記物体の生成カラー画像と、前記モノクロ訓練画像データに予め対応付けられる正解カラー画像データによって表される前記物体の正解カラー画像と、の間の差を示し、前記第１種生成画像データは、前記モノクロ訓練画像データのうちの前記物体を表す部分と訓練用の参考色データとを含む第１種訓練データセットを前記着色モデルに入力することによって生成される画像データであり、前記着色モデルの前記複数のパラメータは、前記着色モデルによって生成される第２種生成画像データに関する第２損失が小さくなるように調整されており、前記第２損失は、第２種生成画像データによって表される前記訓練画像の生成カラー画像と、前記正解カラー画像データによって表される前記訓練画像の正解カラー画像と、の間の差を示す画像損失を含み、前記第２種生成画像データは、前記モノクロ訓練画像データと前記訓練用の参考色データとを含む第２種訓練データセットを前記着色モデルに入力することによって生成される画像データである、画像処理方法。

【0008】

この構成によれば、物体の生成カラー画像と物体の正解カラー画像との間の差を示す第１損失と、訓練画像の生成カラー画像と訓練画像の正解カラー画像との間の差を示す画像損失を含む第２損失と、が小さくなるように着色モデルの複数のパラメータが調整されており、そして、着色モデルを使用して第１画像データから第２画像データが生成されるので、着色モデルは、物体の適切なカラー画像を表す第２画像データを生成できる。また、訓練用の参考色データを使用して着色モデルの複数のパラメータが調整されているので、参考色データが提供される場合には、参考色データと第１画像データとを含む第１種入力データセットが着色モデルに入力されることによって、着色モデルは、適切な第２画像データを生成できる。

【0009】

［適用例２］複数のパラメータを有する着色モデルの訓練方法であって、訓練画像を１色成分で表すモノクロ訓練画像データに対する物体検出処理によって物体を検出する検出工程と、前記モノクロ訓練画像データのうちの前記物体を表す部分と、前記訓練画像内のＮ個（Ｎは１以上の整数）の位置と前記Ｎ個の位置にそれぞれ対応付けられたＮ個の色とを示す訓練用の参考色データと、を含む第１種訓練データセットを前記着色モデルに入力することによって第１種生成画像データを生成する第１生成工程と、前記第１種生成画像データによって表される前記物体の生成カラー画像と、前記モノクロ訓練画像データに予め対応付けられる正解カラー画像データによって表される前記物体の正解カラー画像と、の間の差を示す第１損失が小さくなるように、前記着色モデルの複数のパラメータを調整する第１調整工程と、前記モノクロ訓練画像データと前記訓練用の参考色データとを含む第２種訓練データセットを前記着色モデルに入力することによって、第２種生成画像データを生成する第２生成工程と、前記第２種生成画像データによって表される前記訓練画像の生成カラー画像と、前記正解カラー画像データによって表される前記訓練画像の正解カラー画像と、の間の差を示す画像損失を含む第２損失が小さくなるように、前記着色モデルの前記複数のパラメータを調整する第２調整工程と、を備える訓練方法。

【0010】

この構成によれば、物体の生成カラー画像と物体の正解カラー画像との間の差を示す第１損失が小さくなるように、着色モデルの複数のパラメータが調整され、訓練画像の生成カラー画像と訓練画像の正解カラー画像との間の差を示す画像損失を含む第２損失が小さくなるように着色モデルの複数のパラメータが調整されるので、着色モデルは、物体の適切なカラー画像を表す画像データを生成できる。また、訓練用の参考色データを使用して着色モデルの複数のパラメータが調整されるので、着色モデルは、参考色データを使用することによって、適切な画像データを生成できる。

【0011】

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像処理方法および画像処理装置、着色モデルの訓練方法および訓練装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、訓練された着色モデル、等の形態で実現することができる。

【図面の簡単な説明】

【0012】

【図1】システム１０００の構成を示すブロック図である。

【図2】着色モデル６００の例を示す概略図である。

【図3】着色モデル６００の構成例を示すブロック図である。

【図4】着色モデル６００の訓練処理の例を示すフローチャートである。

【図5】（Ａ）、（Ｂ）は、訓練用の参考色データの説明図である。

【図6】マスク訓練処理の例を示すフローチャートである。

【図7】マスク訓練処理の概略図である。

【図8】（Ａ）は、物体損失ＬＳ１ｉの計算式の例を示す説明図である。（Ｂ）は、第１損失ＬＳ１の算出式の例を示す説明図である。

【図9】全体訓練処理の例を示すフローチャートである。

【図10】全体訓練処理の概略図である。

【図11】（Ａ）は、第２損失ＬＳ２の例の説明図である。（Ｂ）は、全体着色誤差ＬＳｓの例の説明図である。（Ｃ）は、平滑化誤差ＬＳｔの例の説明図である。（Ｄ）は、エッジ変化量誤差ＬＳｅの例の説明図である。

【図12】（Ａ）は、エッジ変化量誤差ＬＳｅの説明図である。（Ｂ）は、画素ラインＬＮと比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）との説明図である。

【図13】着色処理の例を示すシーケンス図である。

【図14】（Ａ）－（Ｄ）は、着色処理の概略図である。

【発明を実施するための形態】

【0013】

Ａ．第１実施例：
Ａ－１．システム１０００の構成：
図１は、実施例のシステム１０００の構成を示すブロック図である。このシステム１０００は、ユーザ端末３００と、画像処理サーバ５００と、を備えている。ユーザ端末３００と画像処理サーバ５００とは、インターネットＩＴに接続されており、互いに通信可能である。

【0014】

画像処理サーバ５００は、後述する種々の画像処理を実行する。画像処理サーバ５００は、プロセッサ５１０と、記憶装置５１５と、表示部５４０と、操作部５５０と、通信インタフェース５８０と、を備えている。これらの要素は、バスを介して互いに接続されている。記憶装置５１５は、揮発性記憶装置５２０と、不揮発性記憶装置５３０と、を含んでいる。

【0015】

表示部５４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部５５０は、ボタン、レバー、表示部５４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取るように構成された装置である。ユーザは、操作部５５０を操作することによって、種々の指示を画像処理サーバ５００に入力可能である。通信インタフェース５８０は、他の装置と通信するためのインタフェースである（例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース）。本実施例では、通信インタフェース５８０は、インターネットＩＴに接続されている。

【0016】

プロセッサ５１０は、データ処理を行うように構成された装置であり、例えば、ＣＰＵである。揮発性記憶装置５２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置５３０は、例えば、フラッシュメモリである。不揮発性記憶装置５３０は、プログラム５３１、５３２、５３３と、着色モデル６００と、訓練データ６９０と、物体検出モデル７００と、を格納している。モデル６００、７００は、それぞれ、人工ニューラルネットワークを有する予測モデルである。着色モデル６００は、モノクロ画像の画像データからカラー画像の画像データを生成する。物体検出モデル７００は、画像データによって表される画像から、物体の領域を検出する。訓練データ６９０と物体検出モデル７００とは、着色モデル６００のトレーニングのために使用される。これらのモデル６００、７００の詳細については、後述する。

【0017】

ユーザ端末３００は、画像処理サーバ５００にカラー画像データの生成を要求する装置である（例えば、スマートフォン、タブレットコンピュータ等）。ユーザ端末３００は、プロセッサ３１０と、記憶装置３１５と、表示部３４０と、操作部３５０と、通信インタフェース３８０と、を備えている。これらの要素は、バスを介して互いに接続されている。記憶装置３１５は、揮発性記憶装置３２０と、不揮発性記憶装置３３０と、を含んでいる。

【0018】

表示部３４０は、画像を表示する装置であり、例えば、液晶ディスプレイである。操作部３５０は、ユーザによる操作を受け取る装置であり、例えば、表示部３４０上に重ねて配置されたタッチパネルを含んでいる。ユーザは、操作部３５０を操作することによって、種々の指示をユーザ端末３００に入力可能である。通信インタフェース３８０は、他の装置と通信するためのインタフェースである（例えば、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース）。本実施例では、通信インタフェース３８０は、インターネットＩＴに接続されている。

【0019】

プロセッサ３１０は、データ処理を行うように構成された装置であり、例えば、ＣＰＵである。揮発性記憶装置３２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置３３０は、例えば、フラッシュメモリである。不揮発性記憶装置３３０は、プログラム３３１を格納している。プロセッサ３１０は、プログラム３３１を実行することによって、画像処理サーバ５００による着色処理のための種々の処理を実行する（詳細は、後述）。

【0020】

プロセッサ３１０は、プログラム３３１の実行に使用される種々の中間データを、記憶装置（例えば、揮発性記憶装置３２０、または、不揮発性記憶装置３３０）に、一時的に格納する。なお、本実施例では、プログラム３３１は、図示しないサーバによって提供される。これに代えて、プログラム３３１は、メモリカードなどの携帯型の記録媒体によって提供されてよい。

【0021】

Ａ２．着色モデル６００の構成：
図２は、着色モデル６００の例を示す概略図である。着色モデル６００は、第１入力処理層６１１と、第２入力処理層６１２と、前段連結部６２０と、エンコーダ６３０と、デコーダ６５０と、出力処理層６６０と、後段連結部６７０と、を有している。

【0022】

第１入力処理層６１１には、モノクロの第１画像Ｉ１を表す第１画像データＩ１ｄが入力される。第１画像Ｉ１は、高さＨと幅Ｗ（単位は、画素数）を有する矩形状の画像である（本実施例では、Ｈ＝２５６、Ｗ＝２５６）。本実施例では、第１画像データＩ１ｄの各画素の色値は、ＣＩＥＬＡＢ色空間のＬ＊値を示している。第１画像データＩ１ｄの要素数（ここでは、高さ＊幅＊チャンネル数）は、２５６＊２５６＊１である。

【0023】

第２入力処理層６１２には、参考色マップＩＵを表す参考色データＩＵｄが入力される。参考色マップＩＵは、第１画像Ｉ１内のＮ個（Ｎは１以上の整数）の位置とＮ個の位置にそれぞれ対応付けられたＮ個の好ましい色（参考色とも呼ぶ）との対応関係を示している。参考色は、着色のためのヒントを示している。本実施例では、参考色マップＩＵは、高さＨと幅Ｗ（単位は、画素数）を有する矩形状の画像である。各画素には、参考色を示すａ＊値とｂ＊値と、マスクビットＢｔとの３個の成分が対応付けられている。ａ＊値とｂ＊値とは、ＣＩＥＬＡＢ色空間のａ＊値とｂ＊値をそれぞれ示している。後述するように、参考色は、ユーザによって指定される。マスクビットＢｔは、ユーザによって参考色が指定された画素を示す二値の成分である。「１」のマスクビットＢｔは、参考色が指定された画素を示し、「ゼロ」のマスクビットＢｔは、参考色が指定されていない画素を示している。参考色データＩＵｄの要素数（ここでは、高さ＊幅＊チャンネル数）は、２５６＊２５６＊３である。

【0024】

図３は、着色モデル６００の構成例を示すブロック図である。本実施例では、第１入力処理層６１１は、１個の畳込層を有している。この畳込層は、２以上のストライド（本実施例では、２）を使用して、高さに相当する要素数と幅に相当する要素数とを削減する（チャンネル数に相当する要素数は、増大する）。活性化関数は、LeakyReLUである。本実施例では、この畳込層は、データの要素数を、「２５６＊２５６＊１」から、「１２８＊１２８＊６４」に変化させる。

【0025】

第２入力処理層６１２は、１個の畳込層を有している。この畳込層は、２以上のストライド（本実施例では、２）を使用して、高さに相当する要素数と幅に相当する要素数とを削減する（チャンネル数に相当する要素数は、増大する）。活性化関数は、LeakyReLUである。本実施例では、この畳込層は、データの要素数を、「２５６＊２５６＊３」から、「１２８＊１２８＊６４」に変化させる。

【0026】

前段連結部６２０は、第１入力処理層６１１からの第１出力データ６１１ｏと、第２入力処理層６１２からの第２出力データ６１２ｏとを連結する。２個の出力データ６１１ｏ、６１２ｏの連結は、連結された出力データが２個の出力データ６１１ｏ、６１２ｏのそれぞれのチャンネルを示すように、行われる。本実施例では、前段連結部６２０は、第１出力データ６１１ｏ（１２８＊１２８＊６４）と第２出力データ６１２ｏ（１２８＊１２８＊６４）とを使用して、１２８＊１２８＊１２８の要素を有する連結データ６２０ｏを生成する。

【0027】

エンコーダ６３０は、連結データ６２０ｏに対して次元削減処理を実行して、連結データ６２０ｏの特徴を示す特徴データ６４０を生成する。本実施例では、エンコーダ６３０は、上流側から順に並ぶ、５個の畳込層６３１－６３５を有している。各畳込層６３１－６３５は、２以上のストライド（本実施例では、２）を使用して、高さに相当する要素数と幅に相当する要素数とを削減する。図示を省略するが、２番目から５番目までの各畳込層６３２－６３５には、バッチノーマライゼーションが適用されている（本実施例では、各畳込層６３２－６３５は、畳込の処理に続いて、バッチノーマライゼーションの処理を行う）。各畳込層６３１－６３５の活性化関数は、LeakyReLUである。５個の畳込層６３１－６３５は、データの要素数を、「１２８＊１２８＊１２８」から、「６４＊６４＊６４」、「３２＊３２＊１２８」、「１６＊１６＊２５６」、「８＊８＊５１２」、「４＊４＊５１２」の順に、変化させる。特徴データ６４０の要素数は、４＊４＊５１２である。

【0028】

デコーダ６５０は、特徴データ６４０に対して次元復元処理を実行して、第３出力データ６５０ｏを生成する。本実施例では、デコーダ６５０は、５個の転置畳込層６５１－６５５と、５個の連結部６５１ｃ－６５５ｃと、を有している。転置畳込層と連結部とは、転置畳込層の後ろに連結部が続くように、交互に並んでいる。連結部の符号は、連結部の前の転置畳込層の符号の末尾に「ｃ」を追加したものである。各転置畳込層６５１－６５５は、２以上のストライド（本実施例では、２）を使用して、高さに相当する要素数と幅に相当する要素数とを増大する。図示を省略するが、５個の転置畳込層６５１－６５５には、バッチノーマライゼーションが適用されている（本実施例では、各転置畳込層６５１－６５５は、転置畳込の処理に続いて、バッチノーマライゼーションの処理を行う）。また、訓練時に、１番目から２番目までの２個の転置畳込層６５１、６５２には、ドロップアウトが適用される。各転置畳込層６５１－６５５の活性化関数は、ReLUである。

【0029】

本実施例では、エンコーダ６３０とデコーダ６５０とは、いわゆるＵ－Ｎｅｔと同様のアーキテクチャを有している。エンコーダ６３０とデコーダ６５０との間には、５個のコネクション６１９ａ－６１９ｅが設けられている。第１コネクション６１９ａ（すなわち、第１連結部６５１ｃ）は、第１畳込層６３１に入力される連結データ６２０ｏを、第５転置畳込層６５５の活性化関数からの出力データに連結する。第２コネクション６１９ｂ（すなわち、第２連結部６５２ｃ）は、第１畳込層６３１の活性化関数からの出力データを、第４転置畳込層６５４の活性化関数からの出力データに連結する。同様に、コネクション６１９ｃ－６１９ｅ（すなわち、連結部６５３ｃ－６５５ｃ）は、第２畳込層６３２と第３転置畳込層６５３のペアと、第３畳込層６３３と第２転置畳込層６５２とのペアと、第４畳込層６３４と第１転置畳込層６５１とのペアと、に関して、畳込層の活性化関数からの出力データを、転置畳込層の活性化関数からの出力データに連結する。２個の出力データの連結は、連結された出力データが２個の出力データのそれぞれのチャンネルを示すように、行われる。例えば、３２＊３２＊２５６の要素を有する出力データと、３２＊３２＊１２８の要素を有する出力データと、が連結される場合、３２＊３２＊３８４の要素を有するデータが生成される。

【0030】

５個の転置畳込層６５１－６５５による転置畳込と５個の連結部６５１ｃ－６５５ｃによる連結とによって、データの要素数は、「４＊４＊５１２」から、「８＊８＊５１２（転置畳込）」、「８＊８＊１０２４（連結）」、「１６＊１６＊２５６（転置畳込）」、「１６＊１６＊５１２（連結）」、「３２＊３２＊２５６（転置畳込）」、「３２＊３２＊３８４（連結）」、「６４＊６４＊１２８（転置畳込）」、「６４＊６４＊１９２（連結）」、「１２８＊１２８＊１２８（転置畳込）」、「１２８＊１２８＊２５６（連結）」の順に変化する。５個のコネクション６１９ａ－６１９ｅは、位置に関する情報を、エンコーダ６３０からデコーダ６５０へ伝達する。これにより、デコーダ６５０は、詳細な形状を表す第３出力データ６５０ｏを生成できる。このようなコネクション６１９ａ－６１９ｅは、スキップコネクションとも呼ばれる。

【0031】

出力処理層６６０は、１個の転置畳込層を有している。この転置畳込層は、２以上のストライド（本実施例では、２）を使用して、高さに相当する要素数と幅に相当する要素数とを増大する（チャンネル数に相当する要素数は、低減する）。本実施例では、この転置畳込層は、データの要素数を、「１２８＊１２８＊２５６」から、「２５６＊２５６＊２」に変化させる。２個のチャンネルは、ａ＊値とｂ＊値とを示している。出力処理層６６０によって生成されるデータ６６０ｏは、高さＨと幅Ｗを有する矩形状の画像の画像データである（各画素には、ａ＊値と、ｂ＊値とが対応付けられている）。活性化関数としては、画像データ６６０ｏの生成に適した関数（本実施例では、シグモイド関数）が使用される。なお、シグモイド関数に代えて、他の関数（例えば、Tanh関数）が使用されてもよい。

【0032】

後段連結部６７０は、画像データ６６０ｏと第１画像データＩ１ｄとを連結することによって、第２画像Ｉ２の第２画像データＩ２ｄ（図２）を生成する。第２画像Ｉ２は、高さＨと幅Ｗを有する矩形状のカラー画像であり、各画素には、Ｌ＊値、ａ＊値、ｂ＊値、が対応付けられている（Ｌ＊値は、第１画像データＩ１ｄによって定められ、ａ＊値、ｂ＊値は、画像データ６６０ｏによって定められている）。

【0033】

着色モデル６００（図３）は、畳込フィルタの複数の重みと複数のバイアスなどの複数の演算パラメータ６００Ｐを有している。複数の演算パラメータ６００Ｐは、後述する訓練処理によって、調整される。

【0034】

Ａ３．着色モデル６００の訓練：
図４は、着色モデル６００の訓練処理の例を示すフローチャートである。プロセッサ５１０（図１）は、第１プログラム５３１に従って、図４の処理を実行する。

【0035】

Ｓ１１０では、プロセッサ５１０は、訓練データセットを生成する。本実施例では、訓練用の複数のカラー画像を表す複数の基準カラー画像データが、予め準備されている（図示省略）。訓練用のカラー画像は、人、傘、自動車、自転車、椅子、テーブル、皿やカップなどの食器、リンゴやバナナなどの果物、などの種々の物体を表すカラー写真の画像である。プロセッサ５１０は、基準カラー画像データを使用して、訓練データペアを生成する。訓練データペアは、１色成分（本実施例では、Ｌ＊）で画像を表すモノクロ訓練画像データと、３色成分（本実施例では、Ｌ＊、ａ＊、ｂ＊）で画像を表すカラー訓練画像データと、で構成される。カラー訓練画像データは、着色のための正解のカラー画像を示している。以下、カラー訓練画像データを、正解カラー画像データとも呼ぶ。基準カラー画像データの色空間がＣＩＥＬＡＢ色空間とは異なる色空間（例えば、ＲＧＢ色空間）である場合、プロセッサ５１０は、色変換を行って、訓練データペアを生成する。プロセッサ５１０は、基準カラー画像データを使用して、複数組の訓練データペアを生成する。そして、プロセッサ５１０は、各訓練データペアに関して、モノクロ訓練画像データとカラー訓練画像データ（すなわち、正解カラー画像データ）とを対応付けて記憶装置５１５（本実施例では、不揮発性記憶装置５３０）に格納する。格納された複数組の訓練データペアは、訓練データ６９０（図１）を構成する。なお、モノクロ訓練画像データと正解カラー画像データとのそれぞれによって表される画像は、高さＨと幅Ｗを有する矩形状の画像である。

【0036】

Ｓ１２０では、プロセッサ５１０は、着色モデル６００（図２、図３）の複数の演算パラメータ６００Ｐを、初期化する。例えば、各演算パラメータは、乱数値に設定される。

【0037】

Ｓ１３０では、プロセッサ５１０は、訓練データ６９０に含まれる複数組の訓練データペアから、処理対象の複数組の訓練データペアで構成される注目訓練データセットを取得する。注目訓練データセットとしては、未処理の複数組の訓練データペアが選択される。また、注目訓練データセットの訓練データペアの総数は、予め決められている。

【0038】

Ｓ１４０では、プロセッサ５１０は、注目訓練データセットの複数組の訓練データペアのそれぞれに関して、訓練用の参考色データを生成する。図５（Ａ）、図５（Ｂ）は、訓練用の参考色データの説明図である。図５（Ａ）の画像Ｙは、正解カラー画像データＹｄによって表される正解カラー画像の例である。正解カラー画像Ｙは、人物Ｏ１と、他の人物Ｏ２と、傘Ｏ３と、の３個の物体を表している。プロセッサ５１０は、正解カラー画像Ｙの色を使用して、訓練用の参考色データを生成する。具体的には、プロセッサ５１０は、参考色を指定すべき指定画素の数Ｎを、乱数を使用してランダムに決定する（Ｎは、ゼロ以上の整数）。そして、プロセッサ５１０は、正解カラー画像Ｙの複数の画素から、Ｎ個の指定画素を、乱数を使用してランダムに選択する。プロセッサ５１０は、Ｎ個の指定画素のそれぞれの参考色（ここでは、ａ＊値とｂ＊値）を、正解カラー画像Ｙの同じ画素の色に設定する。また、プロセッサ５１０は、指定画素のマスクビットＢｔを１に設定し、指定画素ではない画素のマスクビットＢｔをゼロに設定する。プロセッサ５１０は、指定画素ではない画素に関しては、ａ＊とｂ＊のそれぞれをゼロに設定する。

【0039】

図５（Ａ）の参考色マップＵ１、Ｕ２、Ｕ３は、正解カラー画像Ｙから生成され得る訓練用の参考色マップの例を示している。図中の画素ＣＰは、指定画素を示している。第１参考色マップＵ１は、Ｎ＝３の場合を示し、第２参考色マップＵ２は、Ｎ＝４の場合を示し、第３参考色マップＵ３は、Ｎ＝ゼロの場合を示している。

【0040】

図５（Ｂ）は、数Ｎの確率分布の例を示している。横軸は、数Ｎを示し、縦軸は、数Ｎが選択される確率Ｐｎを示している。本実施例では、プロセッサ５１０は、ユーザによって参考色が指定されることを想定して、訓練用の参考色データを生成する。ユーザは、ゼロ以上の任意の数の指定画素を選択し、各指定画素に参考色を指定する。ここで、ユーザは、なるべく少ない数の指定画素を選択すると推定される。そこで、プロセッサ５１０は、数Ｎの増大に伴って単調減少する確率分布に従って、数Ｎを決定する。本実施例では、確率Ｐｎは、指数分布に基づいて決められている（Ｐｎ＝Ｍ＊ｅｘｐ（－Ｍ＊Ｎ）、Ｍは係数（例えば、Ｍ＝０．１））。

【0041】

Ｓ１５０（図４）では、プロセッサ５１０は、マスク訓練処理を実行する。マスク訓練処理は、物体毎に適切な着色を行うように着色モデル６００を訓練する処理である。プロセッサ５１０は、注目訓練データセットの複数組の訓練データペアのそれぞれに関して、マスク訓練処理を実行する。図６は、マスク訓練処理の例を示すフローチャートである。図７は、マスク訓練処理の概略図である。図中の画像Ｘは、モノクロ訓練画像データＸｄによって表されるモノクロ訓練画像の例を示している。画像Ｙは、図５（Ａ）の正解カラー画像Ｙと同じである。ここで、モノクロ訓練画像Ｘと正解カラー画像Ｙとが、処理対象の訓練データペアによって表されることとする。

【0042】

Ｓ２１０（図６）では、プロセッサ５１０は、モノクロ訓練画像データＸｄに対する物体検出処理を実行して、Ｋ個（Ｋは１以上の整数）のマスクデータＺｄｊ（ｊは、１以上、Ｋ以下の整数）を生成する。本実施例では、プロセッサ５１０は、訓練済の物体検出モデル７００を使用して、モノクロ訓練画像データＸｄからＫ個の物体の領域を検出する。物体検出モデル７００は、画像から物体の領域と物体の種類とを検出する任意のモデルであってよい。本実施例では、物体検出モデル７００として、「instance segmentation」と呼ばれる領域分割を行うモデルが使用される。この領域分割は、物体毎に、物体の領域と物体の種類（クラス）とを検出する。１枚の画像が同じ種類の複数の物体（例えば、複数の人物）を表す場合、この領域分割は、複数の物体を、互いに異なる物体として検出する。また、この領域分割は、画素がどの物体領域に含まれるのかを、画素毎に決定する。このような領域分割を行うモデルとして、「Mask R-CNN」と呼ばれる物体検出モデルを使用することとする。「Mask R-CNN」は、プレプリント「Kaiming He, Georgia Gkioxari, Piotr Dollar（「a」は、アキュートアクセントを有する）, Ross Girshick, "Mask R-CNN", arXiv:1703.06870, https://arxiv.org/abs/1703.06870」に開示されている。本実施例では、物体検出モデル７００は、種々の種類の物体を検出するように、予め訓練される。物体検出モデル７００の訓練方法としては、例えば、上記のプレプリントに記載の方法が使用される。

【0043】

プロセッサ５１０は、モノクロ訓練画像データＸｄを物体検出モデル７００に入力することによって、Ｋ個の物体領域と物体領域に対応付けられた物体の種類とを取得する。そして、プロセッサ５１０は、Ｋ個の物体領域をそれぞれ示すＫ個のマスクデータＺｄｊを生成する。マスクデータＺｄｊは、物体領域に含まれる画素を示す二値データである（１は、物体領域に含まれる画素を示し、ゼロは、物体領域に含まれない画素を示す）。図７のモノクロ訓練画像Ｘからは、３個の物体Ｏ１－Ｏ３が検出され、３個のマスクデータＺｄｊ（ｊ＝１、２、３）が生成される。図７には、マスクデータＺｄｊによって表されるマスクＺｊの例が示されている。第１マスクＺ１は、第１物体Ｏ１の領域を示し、第２マスクＺ２は、第２物体Ｏ２の領域を示している（第３物体Ｏ３のマスクＺ３の図示は、省略されている）。

【0044】

Ｓ２１５（図６）では、プロセッサ５１０は、モノクロ訓練画像データＸｄとマスクデータＺｄｊとを使用して、モノクロ物体画像データＸＭｄｊを生成する（ｊは、１以上、Ｋ以下の整数）。モノクロ物体画像データＸＭｄｊは、ｊ番の物体のみを表すモノクロ画像ＸＭｊを表している（モノクロ物体画像ＸＭｊとも呼ぶ）。ｊ番の物体の領域に含まれない画素の色値は、ゼロに設定される。図７には、モノクロ物体画像ＸＭｊの例が示されている。第１モノクロ物体画像ＸＭ１は、第１物体Ｏ１を示し、第２モノクロ物体画像ＸＭ２は、第２物体Ｏ２を示している。プロセッサ５１０は、モノクロ訓練画像データＸｄとマスクデータＺｄｊとのアダマール積を算出ことによって、モノクロ物体画像データＸＭｄｊを生成する。

【0045】

Ｓ２２０（図６）では、プロセッサ５１０は、正解カラー画像データＹｄとマスクデータＺｄｊとを使用して、正解物体画像データＹＭｄｊを生成する（ｊは、１以上、Ｋ以下の整数）。正解物体画像データＹＭｄｊは、ｊ番の物体のみを表すカラー画像ＹＭｊを表している（正解物体画像ＹＭｊとも呼ぶ）。ｊ番の物体の領域に含まれない画素に関しては、色値は、予め決められた色値に設定される（例えば、ａ＊＝ｂ＊＝Ｌ＊＝０）。図７には、正解物体画像ＹＭｊの例が示されている。第１正解物体画像ＹＭ１は、第１物体Ｏ１を示し、第２正解物体画像ＹＭ２は、第２物体Ｏ２を示している。プロセッサ５１０は、正解カラー画像データＹｄとマスクデータＺｄｊとのアダマール積を算出ことによって、正解物体画像データＹＭｄｊを生成する。プロセッサ５１０は、チャンネル毎に（すなわち、ａ＊、ｂ＊、Ｌ＊のそれぞれに関して）、アダマール積を算出する。

【0046】

Ｓ２２５では、プロセッサ５１０は、注目物体の番号ｉを、１に初期化する。

【0047】

Ｓ２３０では、プロセッサ５１０は、モノクロ物体画像データＸＭｄｉと参考色データＵｄとを着色モデル６００に入力することによって、第１種生成画像データＧＭｄｉを生成する。参考色データＵｄは、図４のＳ１４０で、処理対象の訓練データペアから生成された訓練用の参考色データである。プロセッサ５１０は、モノクロ物体画像データＸＭｄｉを、着色モデル６００の第１入力処理層６１１に入力し、参考色データＵｄを、第２入力処理層６１２に入力する。そして、プロセッサ５１０は、着色モデル６００の複数の演算パラメータ６００Ｐを使用して、着色モデル６００の各処理部（畳込層、転置畳込層など）の演算を行うことによって、第１種生成画像データＧＭｄｉを算出する。図７に示すように、第１種生成画像データＧＭｄｉによって表される第１種生成画像ＧＭｉは、ｉ番の物体のカラー画像を表し得る（図７では、ｉ＝１である）。なお、モノクロ物体画像データＸＭｄｉと参考色データＵｄとの全体は、訓練のために着色モデル６００に入力される第１種訓練データセットＴＤＳ１の例である。

【0048】

Ｓ２３５では、プロセッサ５１０は、第１種生成画像データＧＭｄｉと正解物体画像データＹＭｄｉとを使用して、物体損失ＬＳ１ｉを算出する。物体損失ＬＳ１ｉは、第１種生成画像ＧＭｉと正解物体画像ＹＭｉとの間の差分を表す種々の値であってよい。図８（Ａ）は、物体損失ＬＳ１ｉの計算式の例を示す説明図である。Ｐｗは、幅方向の画素位置を示し（Ｐｗは、１以上、Ｗ以下）、Ｐｈは、高さ方向の画素位置を示している（Ｐｈは、１以上、Ｈ以下）。ＧＭｉ（Ｐｗ，Ｐｈ）は、第１種生成画像ＧＭｉ中の位置（Ｐｗ，Ｐｈ）の画素の色値であり、ＹＭｉ（Ｐｗ，Ｐｈ）は、正解物体画像ＹＭｉ中の位置（Ｐｗ，Ｐｈ）の画素の色値である。色値差分Ｄｃは、これらの色値ＧＭｉ（Ｐｗ，Ｐｈ）、ＹＭｉ（Ｐｗ，Ｐｈ）の差分を示している。本実施例では色値差分Ｄｃとして、３個の色成分（Ｌ＊、ａ＊、ｂ＊）のそれぞれの差分を使用するＬ１ノルムが使用される。重みｗｔ（ｉ）は、ｉ番の物体の種類に対応付けられた重みである。重みｗｔ（ｉ）は、人、傘、自動車などの物体の種類毎に、予め決められている。同じ種類の複数の物体には、その種類に対応付けられた同じ重みが使用される。ｉ番の物体の種類は、図６のＳ２１０で、物体検出モデル７００によって決定される。なお、重みｗｔ（ｉ）は、種々の種類の物体の適切な着色結果が得られるように、予め実験的に決定される。物体損失ＬＳ１ｉは、Ｈ＊Ｗ個の画素に関する「－ｗｔ（ｉ）＊ｌｏｇ（１－Ｄｃ）」の合計値である。本実施例では、物体損失ＬＳ１ｉが対数を用いて算出される。従って、第１種生成画像ＧＭｉと正解物体画像ＹＭｉとの間の色の差が大きいほど、物体損失ＬＳ１ｉは、大きくなる。

【0049】

Ｓ２４０（図６）では、プロセッサ５１０は、全ての物体の処理が終了したか否かを判断する。未処理の物体が残っている場合（Ｓ２４０：Ｎｏ）、プロセッサ５１０は、Ｓ２４５で注目物体の番号ｉに１を加算し、Ｓ２３０へ移行する。そして、プロセッサ５１０は、新たな注目物体の処理を行う。

【0050】

全ての物体の処理が終了した場合（Ｓ２４０：Ｙｅｓ）、Ｓ２５０で、プロセッサ５１０は、Ｋ個の物体損失ＬＳ１ｉ（ｉは、１以上、Ｋ以下の整数）を使用して、第１損失ＬＳ１を算出する。図８（Ｂ）は、第１損失ＬＳ１の算出式の例を示す説明図である。本実施例では、第１損失ＬＳ１は、Ｋ個の物体損失ＬＳ１ｉの合計値である。

【0051】

Ｓ２５５では、プロセッサ５１０は、第１損失ＬＳ１が小さくなるように、予め決められたアルゴリズムに従って、着色モデル６００の複数の演算パラメータ６００Ｐを調整する。アルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを使用したアルゴリズムが採用されてよい。また、プロセッサ５１０は、いわゆるＡｄａｍの最適化を行ってよい。

【0052】

プロセッサ５１０は、第１損失ＬＳ１が小さくなるように、着色モデル６００を訓練する。第１損失ＬＳ１は、モノクロ訓練画像Ｘから検出されたＫ個の物体の物体損失ＬＳ１ｉの合計値である。従って、訓練済の着色モデル６００は、モノクロ訓練画像Ｘから検出されたＫ個の物体のＫ個の領域の全ての画素の色を、正解カラー画像Ｙの対応する画素の色に近づけることができる。すなわち、訓練済の着色モデル６００は、検出されたＫ個の物体のそれぞれの領域の全体を、適切に着色できる。

【0053】

また、参考色データＵｄによって表される参考色マップＵは、図４のＳ１４０で説明したように、正解カラー画像Ｙによって表される画素の色を示している。参考色マップＵの指定画素が物体の領域に含まれる場合、着色モデル６００は、その物体の領域の着色された画素の色が、正解カラー画像Ｙの色、すなわち、指定画素の参考色に近づくように、訓練される。従って、訓練済の着色モデル６００は、参考色データによって色が指定される場合に、その色で物体の領域を着色できる。

【0054】

Ｓ２５５（図６）が終了した場合、プロセッサ５１０は、図６の処理、すなわち、図４のＳ１５０の処理を、終了する。

【0055】

Ｓ１６０（図４）では、プロセッサ５１０は、全体訓練処理を実行する。全体訓練処理は、画像全体を適切に着色するように着色モデル６００を訓練する処理である。プロセッサ５１０は、注目訓練データセットの複数組の訓練データペアのそれぞれに関して、全体訓練処理を実行する。図９は、全体訓練処理の例を示すフローチャートである。図１０は、全体訓練処理の概略図である。図中のモノクロ訓練画像Ｘと正解カラー画像Ｙと参考色マップＵとは、図７のものと同じである。

【0056】

Ｓ３１０では、プロセッサ５１０は、モノクロ訓練画像データＸｄと参考色データＵｄとを着色モデル６００に入力することによって、第２種生成画像データＧｄを生成する。プロセッサ５１０は、モノクロ訓練画像データＸｄを第１入力処理層６１１に入力し、参考色データＵｄを、第２入力処理層６１２に入力する。そして、プロセッサ５１０は、着色モデル６００の複数の演算パラメータ６００Ｐを使用して、着色モデル６００の各処理部の演算を行うことによって、第２種生成画像データＧｄを算出する。図１０に示すように、第２種生成画像データＧｄによって表される第２種生成画像Ｇは、モノクロ訓練画像Ｘのカラー画像を表し得る。なお、モノクロ訓練画像データＸｄと参考色データＵｄとの全体は、訓練のために着色モデル６００に入力される第２種訓練データセットＴＤＳ２の例である。

【0057】

Ｓ３２０では、プロセッサ５１０は、第２種生成画像データＧｄと正解カラー画像データＹｄとを使用して、第２損失ＬＳ２を算出する。第２損失ＬＳ２は、第２種生成画像Ｇと正解カラー画像Ｙとの間の差分を表す種々の値であってよい。

【0058】

図１１（Ａ）は、第２損失ＬＳ２の例の説明図である。本実施例では、第２損失ＬＳ２は、全体着色誤差ＬＳｓと、平滑化誤差ＬＳｔと、エッジ変化量誤差ＬＳｅとの、重み付き合計値である。誤差ＬＳｓ、ＬＳｔ、ＬＳｅのそれぞれの重みＣｓ、Ｃｔ、Ｃｅは、種々の画像の適切な着色結果が得られるように、予め実験的に決定される。

【0059】

図１１（Ｂ）は、全体着色誤差ＬＳｓの例の説明図である。全体着色誤差ＬＳｓは、第２種生成画像Ｇと正解カラー画像Ｙとの間の差分を示している。本実施例では、全体着色誤差ＬＳｓは、「L1-smooth Loss」とも呼ばれる誤差である。全体着色誤差ＬＳｓは、例えば、以下のように算出される。本実施例では、プロセッサ５１０は、第２種生成画像Ｇと正解カラー画像Ｙとの間の差分として、２個の画像の間の「Ｈ＊Ｗ＊３」個の値のそれぞれの差分を使用するＬ１ノルムを算出する。そして、Ｌ１ノルムが１未満である場合、プロセッサ５１０は、全体着色誤差ＬＳｓとして、２個の画像の間の各画素の各色成分の差分（すなわち、「Ｈ＊Ｗ＊３」個の差分）の二乗和に係数（ここでは、０．５）を乗じた値を算出する。Ｌ１ノルムが１以上である場合、プロセッサ５１０は、全体着色誤差ＬＳｓとして、Ｌ１ノルムから０．５を減算した値を採用する。このような全体着色誤差ＬＳｓが小さくなるように着色モデル６００が訓練される場合、訓練済の着色モデル６００は、画像の全体を適切に着色できる。

【0060】

図１１（Ｃ）は、平滑化誤差ＬＳｔの例の説明図である。平滑化誤差ＬＳｔは、第２種生成画像Ｇに含まれるノイズの大きさを示している。本実施例では、平滑化誤差ＬＳｔは、「Total variation loss」とも呼ばれる誤差である。平滑化誤差ＬＳｔは、例えば、以下のように算出される。平滑化誤差ＬＳｔは、第１項Ｔ１と第２項Ｔ２との合計値である。第１項Ｔ１は、第２種生成画像Ｇと、第２種生成画像Ｇを幅方向に１画素ずらして得られる第１シフト画像と、の間の差分を示している。差分の算出方法としては、例えば、２個の画像の間の各画素の各色成分の差分（すなわち、「Ｈ＊Ｗ＊３」個の差分）を使用するＬ１ノルムの算出方法を採用可能である。なお、１画素のシフトにより、第１シフト画像は、色値を決定できない画素ラインを含んでいる。この画素ラインに関しては、差分の算出から省略されてよい。第２項Ｔ２は、第２種生成画像Ｇと、第２種生成画像Ｇを高さ方向に１画素ずらして得られる第２シフト画像と、の間の差分を示している。これら２個の画像の間の差分は、第１項Ｔ１の差分と同様に、算出される。このような平滑化誤差ＬＳｔは、第２種生成画像Ｇに含まれるノイズが大きい場合に、大きくなる。平滑化誤差ＬＳｔが小さくなるように着色モデル６００が訓練される場合、訓練済の着色モデル６００は、画像の全体を滑らかに着色できる。

【0061】

図１１（Ｄ）は、エッジ変化量誤差ＬＳｅの例の説明図である。図中の比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）は、正解カラー画像Ｙに含まれる画素（Ｐｗ、Ｐｈ）におけるエッジ量Ｆｅｇ（Ｙ（Ｐｗ、Ｐｈ、ｃ））に対する、第２種生成画像Ｇの同じ画素（Ｐｗ、Ｐｈ）のエッジ量Ｆｅｇ（Ｇ（Ｐｗ、Ｐｈ、ｃ））の比率である。ここで、Ｐｗ、Ｐｈは、上述したように、画素の位置を示している。パラメータｃは、色成分を示しており、本実施例では、ａ＊、または、ｂ＊である。本実施例では、エッジ変化量誤差ＬＳｅは、Ｈ＊Ｗ個の画素のａ＊値の比率ＲＥ（Ｐｗ、Ｐｈ、ａ＊）の絶対値とｂ＊値の比率ＲＥ（Ｐｗ、Ｐｈ、ｂ＊）の絶対値との合計値である。エッジ量は、画像内の画素位置の変化に対する色の変化の大きさを示す任意の値であってよい。本実施例では、エッジ量として、ソーベルフィルタを使用して算出されるエッジ量が、使用される（具体的には、幅方向の微分値の二乗と高さ方向の微分値の二乗との和の平方根）。なお、エッジ検出フィルタとしては、ソーベルフィルタに代えて、ロバーツフィルタ、プレウィットフィルタなど、他のフィルタが使用されてよい。

【0062】

図１２（Ａ）は、エッジ変化量誤差ＬＳｅの説明図である。図中には、正解カラー画像Ｙの一部と、２個の第２種生成画像Ｇａ、Ｇｂのそれぞれの同じ部分と、が示されている。図示された部分は、動物の目を示している。中央の第２種生成画像Ｇａ（第１生成画像Ｇａと呼ぶ）では、目の着色の範囲が、目のエッジの外にはみ出ている。右側の第２種生成画像Ｇｂ（第２生成画像Ｇｂと呼ぶ）では、目の着色の範囲は、目のエッジの外にはみ出ずに、目のエッジまで目が着色されている。第１生成画像Ｇａのように物体の要素（例えば、目）の着色の範囲がその要素のエッジの外にはみ出る場合、正解カラー画像Ｙのうちのエッジでは無い部分に、着色によるエッジが形成される。このような着色によるエッジは、着色の品質を低下させ得る（例えば、画像の観察者は、ノイズを認識し得る）。

【0063】

図１２（Ａ）には、各画像Ｙ、Ｇａ、Ｇｂから取得される比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）のパターンＹｅ、Ｇａｅ、Ｇｂｅの例が示されている（ｃは、例えば、ａ＊）。太い線は、大きい比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）を示している。中央のパターンＧａｅが示すように、着色がエッジの外にはみ出る場合、正解カラー画像ＹのパターンＹｅと比べて、大きい比率を有する画素が多くなる。右側のパターンＧｂｅが示すように、着色がエッジまで行われる場合、大きい比率を有する画素の増大は、抑制される。

【0064】

図１２（Ｂ）は、画素ラインＬＮと比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）との説明図である。図中の左部には、画像Ｙ、Ｇａ、Ｇｂの一部が重ねて示されている。また、画像Ｙ、Ｇａ、Ｇｂ上に、画素ラインＬＮが示されている。画素ラインＬＮ上では、高さ方向の画素位置Ｐｈは固定されており、幅方向の画素位置Ｐｗが変化する。図中の右部には、比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）のグラフが示されている（ｃは、例えば、ａ＊）。横軸は、画素ラインＬＮ上の画素位置Ｐｗを示し、縦軸は、比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）を示している。実線のグラフは、第１生成画像Ｇａから得られる比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）を示し、点線のグラフは、第２生成画像Ｇｂから得られる比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）を示している。図示するように、比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）は、画素位置（ここでは、幅方向の位置Ｐｗ）に応じて、変化する。また、実線のグラフの比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）の最大値は、点線のグラフの比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）の最大値よりも、大きい。このように、物体の要素の着色の範囲がその要素のエッジの外にはみ出る場合には、要素の着色がその要素のエッジまで行われる場合と比べて、比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）の最大値が大きくなる。この結果、エッジ変化量誤差ＬＳｅが大きくなる。

【0065】

図示を省略するが、物体の要素の着色がその要素のエッジから内側に離れた位置まで行われる場合、すなわち、要素の領域のうちのその要素のエッジの近傍の部分が適切に着色されない場合、同様に、正解カラー画像Ｙのうちのエッジでは無い部分に、着色によるエッジが形成される。このように、物体の要素の着色される範囲のエッジがその要素のエッジから離れている場合に、エッジ変化量誤差ＬＳｅが大きくなる。

【0066】

このようなエッジ変化量誤差ＬＳｅが小さくなるように着色モデル６００が訓練される場合、訓練済の着色モデル６００は、物体の要素を、その要素のエッジに合わせて適切に着色できる。

【0067】

Ｓ３２０（図９）では、プロセッサ５１０は、誤差ＬＳｓ、ＬＳｔ、ＬＳｅのそれぞれを算出し、第２損失ＬＳ２を算出する。

【0068】

Ｓ３３０では、プロセッサ５１０は、第２損失ＬＳ２が小さくなるように、予め決められたアルゴリズムに従って、着色モデル６００の複数の演算パラメータ６００Ｐを調整する。アルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを使用したアルゴリズムが採用されてよい。また、プロセッサ５１０は、いわゆるＡｄａｍの最適化を行ってよい。

【0069】

このように、プロセッサ５１０は、第２損失ＬＳ２（図１１（Ａ）－図１１（Ｄ））が小さくなるように、着色モデル６００を訓練する。すなわち、プロセッサ５１０は、誤差ＬＳｓ、ＬＳｔ、ＬＳｅのそれぞれが小さくなるように、着色モデル６００を訓練する。従って、訓練済の着色モデル６００は、画像の全体を適切に着色でき（全体着色誤差ＬＳｓ）、画像の全体を滑らかに着色でき（平滑化誤差ＬＳｔ）、物体の要素を要素のエッジに合わせて適切に着色できる（エッジ変化量誤差ＬＳｅ）。

【0070】

Ｓ３３０（図９）が終了した場合、プロセッサ５１０は、図９の処理、すなわち、図４のＳ１６０の処理を、終了する。

【0071】

Ｓ１７０では、プロセッサ５１０は、訓練の終了条件が満たされるか否かを判断する。終了条件は、着色モデル６００が適切に訓練されたことを示す任意の条件であってよい。本実施例では、終了条件は、作業者からの終了指示が入力されることである。プロセッサ５１０は、訓練データ６９０（図１）中の訓練に使用されていない複数組の訓練データペアから、所定数の訓練データペアをランダムに取得する。プロセッサ５１０は、取得した複数組の訓練データペアのそれぞれのモノクロ訓練画像データＸｄと、参考色データＵｄとを、着色モデル６００に入力し、着色モデル６００から複数の第２種生成画像データＧｄを取得する。ここで、プロセッサ５１０は、参考色データＵｄとしては、指定画素の数Ｎがゼロである場合の参考色データＵｄ（すなわち、画像内の位置と位置に対応つけられた参考色とを示さないデータ）を、使用する。これに代えて、プロセッサ５１０は、Ｓ１４０（図４）と同様の方法に従って、参考色データＵｄを生成してよい。そして、プロセッサ５１０は、第２種生成画像Ｇと正解カラー画像Ｙとの複数のペアを、表示部５４０に表示する。作業者は、表示部５４０を観察して、第２種生成画像Ｇが正解カラー画像Ｙを適切に表しているか否かを確認する。作業者は、確認結果に応じて、操作部５５０を操作して、訓練の終了指示、または、継続指示を入力する。

【0072】

なお、訓練の終了条件は、他の条件であってよい。例えば、終了条件は、訓練に使用されていない所定数の訓練データペアを使用して算出される第１損失ＬＳ１と第２損失ＬＳ２とが、それぞれに対応する所定の閾値以下であることであってよい。

【0073】

訓練が終了していないと判断される場合（Ｓ１７０：Ｎｏ）、プロセッサ５１０は、Ｓ１３０へ移行し、新たな注目訓練データセットの処理を実行する。訓練が終了したと判断される場合（Ｓ１７０：Ｙｅｓ）、Ｓ１８０で、プロセッサ５１０は、訓練済の着色モデル６００を、記憶装置５１５（ここでは、不揮発性記憶装置５３０）に格納する。そして、プロセッサ５１０は、図４の処理を終了する。

【0074】

Ａ４．着色処理：
図１３は、着色処理の例を示すシーケンス図である。本実施例では、画像処理サーバ５００（図１）は、訓練済の着色モデル６００を使用する着色サービスを提供する。画像処理サーバ５００のプロセッサ５１０は、プログラム５３２、５３３を実行することによって、ウェブ処理部５９１と制御部５９２としての処理を、それぞれ実行する。ウェブ処理部５９１は、着色処理のためのデータの受信と送信とを、ネットワーク（例えば、インターネットＩＴ）を介して行う。制御部５９２は、着色モデル６００にカラー画像データを生成させるための処理を実行する。以下、ユーザ端末３００が、画像処理サーバ５００に、着色処理を要求することとする。また、ウェブ処理部５９１としてプロセッサ５１０が処理を実行することを、ウェブ処理部５９１が処理を実行する、とも表現する。制御部５９２としてプロセッサ５１０が処理を実行することを、制御部５９２が処理を実行する、とも表現する。

【0075】

Ｓ４１０では、ユーザ端末３００のプロセッサ３１０は、ユーザの指示に応じて、グレースケールの第１画像データＩ１１ｄを、画像処理サーバ５００に送信する。図１４（Ａ）－図１４（Ｄ）は、着色処理の概略図である。図１４（Ａ）は、第１画像データＩ１１ｄによって表される第１画像Ｉ１１の例を示している。第１画像Ｉ１１は、人物Ｏ１１と、他の人物Ｏ１２と、傘Ｏ１３と、の３個の物体を表している。第１画像データＩ１１ｄは、１色成分で、第１画像Ｉ１１を表している。この１色成分は、明るさを示す種々の色成分であってよい。本実施例では、第１画像データＩ１１ｄは、ＣＩＥＬＡＢ色空間のＬ＊値で第１画像Ｉ１１を表している。これに代えて、第１画像Ｉ１１は、他の色成分（例えば、ＹＣｂＣｒ色空間のＹ値）で表されてもよい。

【0076】

Ｓ４１５では、ウェブ処理部５９１は、ユーザ端末３００から受信した第１画像データＩ１１ｄを、制御部５９２に供給する。

【0077】

Ｓ４２０では、制御部５９２は、第１画像データＩ１１ｄと代替データＵｘｄとを、着色モデル６００に入力する。代替データＵｘｄは、参考色データが提供されない場合に参考色データの代わりに使用されるデータであり、指定画素の数Ｎがゼロである場合の参考色データ（すなわち、画像内の位置と位置に対応つけられた参考色とを示さないデータ）である。また、第１画像Ｉ１１の高さと幅とが着色モデル６００に受け入れられる画像の高さと幅と異なる場合、制御部５９２は、第１画像データＩ１１ｄの解像度変換処理を実行して、第１画像Ｉ１１の高さと幅とを着色モデル６００に適した高さと幅とに調整する。また、第１画像データＩ１１ｄの色成分が着色モデル６００に受け入れられる色成分（ここでは、Ｌ＊）とは異なる場合、制御部５９２は、第１画像データＩ１１ｄの色変換処理を実行して、第１画像データＩ１１ｄの色成分を着色モデル６００に適した色成分に変換する。以下、Ｓ４２０で着色モデル６００に入力されるデータセット（本実施例では、第１画像データＩ１１ｄと代替データＵｘｄとの全体）を、第２種入力データセットＤＳ２とも呼ぶ。

【0078】

Ｓ４２５では、プロセッサ５１０は、第１画像データＩ１１ｄと代替データＵｘｄとを使用して着色モデル６００の演算を行うことによって、カラー画像を表す第２画像データＩ２１ｄを生成する（第１生成データＩ２１ｄとも呼ぶ）。図１４（Ｂ）は、第１生成データＩ２１ｄによって表される第２画像Ｉ２１（第１生成画像Ｉ２１とも呼ぶ）の例を示している。第１生成画像Ｉ２１は、第１画像Ｉ１１（図１４（Ａ））の着色によって得られるカラー画像である。Ｓ４２７（図１３）では、プロセッサ５１０は、生成した第１生成データＩ２１ｄを、記憶装置５１５（ここでは、不揮発性記憶装置５３０）に格納する。

【0079】

Ｓ４３０では、制御部５９２は、第１生成データＩ２１ｄを取得する。Ｓ４３５では、制御部５９２は、第１生成データＩ２１ｄをウェブ処理部５９１に供給する。Ｓ４４０では、ウェブ処理部５９１は、第１生成データＩ２１ｄをユーザ端末３００に送信する。

【0080】

Ｓ４４５では、ユーザ端末３００のプロセッサ３１０は、第１生成データＩ２１ｄを使用して第１生成画像Ｉ２１を表示部３４０に表示する。ユーザは、表示部３４０に表示されたカラーの第１生成画像Ｉ２１を観察し、操作部３５０を操作して、修正指示、または、終了指示を入力する。

【0081】

終了指示が入力された場合（Ｓ４５０：Ｎｏ）、Ｓ４５５で、プロセッサ３１０は、第１生成データＩ２１ｄを記憶装置３１５（例えば、不揮発性記憶装置３３０）に格納する。そして、図１３の処理は、終了する。

【0082】

修正指示が入力された場合（Ｓ４５０：Ｙｅｓ）、Ｓ４６０で、プロセッサ３１０は、ユーザに、位置と参考色とを指定させる。本実施例では、プロセッサ３１０は、設定画面を表示部３４０に表示する。図１４（Ｃ）は、設定画面の例を示す概略図である。設定画面ＤＳは、第１画像Ｉ１１と、第１生成画像Ｉ２１と、色設定領域ＡＣと、ＯＫボタンＢＴと、を表している。第１画像Ｉ１１中には、指定画素を示す画素マークＰＭが、表示されている。ユーザは、操作部３５０を操作することによって、第１画像Ｉ１１上の任意の画素位置に、画素マークＰＭを追加できる。色設定領域ＡＣは、色値を示すグラフを表している。横軸は、ａ＊値を示し、縦軸は、ｂ＊値を示している。色設定領域ＡＣは、ａ＊値とｂ＊値とによって表現可能な色域ＧＭＴを示している。色域ＧＭＴに含まれる部分は、その部分に対応するａ＊値とｂ＊値とによって示される色で、表されている。色設定領域ＡＣ中には、参考色を示す色マークＣＭが、表示されている。ユーザは、操作部３５０を操作することによって、色マークＣＭを任意の色の位置に移動させることができる。ユーザは、第１画像Ｉ１１中の１個の画素マークＰＭを選択した状態で、色マークＣＭを移動させることによって、指定画素と参考色との対応関係を決定できる。例えば、ユーザは、第１生成画像Ｉ２１を観察することによって、色を修正すべき領域を確認する。そして、ユーザは、その領域に含まれる画素に画素マークＰＭを追加し、好ましい色を示すように色マークＣＭを移動させる。これにより、ユーザは、色を修正すべき領域の好ましい色を示す参考色を設定できる。ユーザは、このような操作を行うことによって、指定画素と参考色とのＮ個の対応関係を、入力できる（Ｎは、１以上の整数）。ユーザは、操作部３５０を介してＯＫボタンＢＴを操作することによって、参考色の指定を終了する。

【0083】

Ｓ４６５（図１３）では、プロセッサ３１０は、Ｓ４６０で入力された画素マークＰＭと色マークＣＭとのＮ個の対応関係に従って、指定画素と参考色とのＮ個の対応関係を示す参考色データＩＵ１ｄを生成する。そして、プロセッサ３１０は、参考色データＩＵ１ｄを、画像処理サーバ５００に送信する。

【0084】

Ｓ４７０では、ウェブ処理部５９１は、ユーザ端末３００から受信した参考色データＩＵ１ｄを、制御部５９２に供給する。Ｓ４７５では、制御部５９２は、第１画像データＩ１１ｄと参考色データＩＵ１ｄとを、着色モデル６００に入力する。以下、Ｓ４７５で着色モデル６００に入力されるデータセット（本実施例では、第１画像データＩ１１ｄと参考色データＩＵ１ｄとの全体）を、第１種入力データセットＤＳ１とも呼ぶ。

【0085】

Ｓ４８０では、プロセッサ５１０は、第１画像データＩ１１ｄと参考色データＩＵ１ｄとを使用して着色モデル６００の演算を行うことによって、新たなカラー画像を表す第２画像データＩ２２ｄを生成する（第２生成データＩ２２ｄとも呼ぶ）。図１４（Ｄ）は、第２生成データＩ２２ｄによって表される第２画像Ｉ２２（第２生成画像Ｉ２２とも呼ぶ）の例を示している。第２生成画像Ｉ２２は、第１画像Ｉ１１（図１４（Ａ））の着色によって得られるカラー画像である。第１生成画像Ｉ２１（図１４（Ｂ））とは異なり、参考色データＩＵ１ｄによって示される指定画素と参考色とのＮ個の対応関係が、第２生成画像Ｉ２２の生成に使用されている。第２生成画像Ｉ２２では、指定画素を含む領域が、参考色を考慮して着色されている。このように、第２生成画像Ｉ２２は、第１生成画像Ｉ２１と比べて、ユーザにとって好ましい着色結果を示している。Ｓ４８２（図１３）では、プロセッサ５１０は、生成した第２生成データＩ２２ｄを、記憶装置５１５（ここでは、不揮発性記憶装置５３０）に格納する。

【0086】

Ｓ４８５では、制御部５９２は、第２生成データＩ２２ｄを取得する。Ｓ４９０では、制御部５９２は、第２生成データＩ２２ｄをウェブ処理部５９１に供給する。Ｓ４９５では、ウェブ処理部５９１は、第２生成データＩ２２ｄをユーザ端末３００に送信する。

【0087】

Ｓ５００では、ユーザ端末３００のプロセッサ３１０は、第２生成データＩ２２ｄを使用して第２生成画像Ｉ２２を表示部３４０に表示する。Ｓ５０５では、プロセッサ３１０は、第２生成データＩ２２ｄを、記憶装置３１５（例えば、不揮発性記憶装置３３０）に格納する。そして、図１３の処理は、終了する。

【0088】

以上のように、本実施例では、画像処理サーバ５００のプロセッサ５１０は、以下の画像処理を実行する。図１３のＳ４１５－Ｓ４２５、Ｓ４７０－Ｓ４８０では、プロセッサ５１０は、第１画像Ｉ１１を１色成分で表す第１画像データＩ１１ｄを使用して、第２画像Ｉ２１、Ｉ２２を表す第２画像データＩ２１ｄ、Ｉ２２ｄを生成する着色処理を実行する。図１４（Ａ）で説明したように、第１画像Ｉ１１は、種々の物体を含むモノクロ画像である。すなわち、第１画像データＩ１１ｄは、種々の物体を含む画像である対象画像ＴＩを１色成分（ここでは、Ｌ＊値）で表している。図１４（Ｂ）、図１４（Ｄ）で説明したように、第２画像Ｉ２１、Ｉ２２は、第１画像Ｉ１１の着色によって得られるカラー画像である。すなわち、第２画像データＩ２１ｄ、Ｉ２２ｄは、対象画像ＴＩのカラー画像を表している。図１３のＳ４２７、Ｓ４８２では、プロセッサ５１０は、生成した第２画像データＩ２１ｄ、Ｉ２２ｄを、記憶装置５１５（ここでは、不揮発性記憶装置５３０）に格納する。

【0089】

着色処理（Ｓ４１５－Ｓ４２５、Ｓ４７０－Ｓ４８０）は、着色モデル６００を使用して、第１画像データＩ１１ｄから第２画像データＩ２１ｄ、Ｉ２２ｄを生成する生成処理（Ｓ４１５－Ｓ４２５、Ｓ４７０－Ｓ４８０）を含んでいる。図４、図６、図９、図１０で説明したように、着色モデル６００は、訓練画像ＴＲＩを１色成分で表すモノクロ訓練画像データＸｄから、訓練画像ＴＲＩのカラー画像を表すカラー生成画像データである第２種生成画像データＧｄを生成するように調整された複数のパラメータを有している。

【0090】

Ｓ４７０－Ｓ４８０で説明したように、プロセッサ５１０は、参考色データＩＵ１ｄが提供される場合には、参考色データＩＵ１ｄと第１画像データＩ１１ｄとを含む第１種入力データセットＤＳ１を着色モデル６００に入力することによって、第２画像データＩ２２ｄを生成する。図１４（Ｃ）で説明したように、参考色データＩＵ１ｄは、対象画像ＴＩ内のＮ個（Ｎは１以上の整数）の画素マークＰＭとＮ個の画素マークＰＭにそれぞれ対応付けられたＮ個の色マークＣＭとを示している。画素マークＰＭは、対象画像ＴＩ内の位置を示している。色マークＣＭは、色（ここでは、ａ＊値とｂ＊値）を示している。

【0091】

Ｓ４１５－Ｓ４２５で説明したように、プロセッサ５１０は、参考色データが提供されない場合には、参考色データを含まずに第１画像データＩ１１ｄを含む第２種入力データセットＤＳ２を着色モデル６００に入力することによって、第２画像データＩ２１ｄを生成する。

【0092】

図６で説明したように、着色モデル６００の訓練には、モノクロ訓練画像データＸｄと正解カラー画像データＹｄとが使用される。図７に示すように、モノクロ訓練画像Ｘは、種々の物体を含むモノクロ画像である。すなわち、モノクロ訓練画像データＸｄは、種々の物体を含む画像である訓練画像ＴＲＩを１色成分（ここでは、Ｌ＊値）で表している。図４のＳ１１０で説明したように、互いに対応付けられたモノクロ訓練画像データＸｄと正解カラー画像データＹｄとは、同じ基準カラー画像データから生成される。すなわち、正解カラー画像Ｙは、訓練画像ＴＲＩのカラー画像を表している。

【0093】

図６で説明したように、着色モデル６００の複数のパラメータは、モノクロ訓練画像データＸｄに対する物体検出処理（Ｓ２１０）によって検出される物体に関する第１損失ＬＳ１が小さくなるように調整されている。Ｓ２３５、Ｓ２５０、図８（Ａ）、図８（Ｂ）で説明したように、第１損失ＬＳ１は、第１種生成画像ＧＭｉと正解物体画像ＹＭｉとの間の差分を示す物体損失ＬＳ１ｉの合計値である。このように、第１損失ＬＳ１は、第１種生成画像ＧＭｉと正解物体画像ＹＭｉとの間の差を示している。ここで、第１種生成画像ＧＭｉは、着色モデル６００によって生成される第１種生成画像データＧＭｄｉによって表される物体の生成カラー画像である。正解物体画像ＹＭｉは、モノクロ訓練画像データＸｄに予め対応付けられる正解カラー画像データＹｄによって表される物体の正解カラー画像である。第１種生成画像データＧＭｄｉは、モノクロ訓練画像データＸｄのうちの物体を表す部分であるモノクロ物体画像データＸＭｄｉと、訓練用の参考色データＵｄと、を含む第１種訓練データセットＴＤＳ１を着色モデル６００に入力することによって生成される画像データである。

【0094】

図９、図１０で説明したように、着色モデル６００の複数のパラメータは、着色モデル６００によって生成される第２種生成画像データＧｄに関する第２損失ＬＳ２が小さくなるように調整されている。図１１（Ａ）に示すように、第２損失ＬＳ２は、全体着色誤差ＬＳｓを含んでいる。全体着色誤差ＬＳｓ（図１１（Ｂ））は、第２種生成画像Ｇと正解カラー画像Ｙとの間の差を示す画像損失の例である。図１０に示すように、第２種生成画像Ｇは、第２種生成画像データＧｄによって表される画像である。第２種生成画像Ｇは、モノクロ訓練画像Ｘの着色によって得られるカラー画像である。すなわち、第２種生成画像Ｇは、訓練画像ＴＲＩの生成カラー画像を表している。正解カラー画像Ｙは、正解カラー画像データＹｄによって表される画像であり、訓練画像ＴＲＩの正解カラー画像である。第２種生成画像データＧｄは、モノクロ訓練画像データＸｄと訓練用の参考色データＵｄとを含む第２種訓練データセットＴＤＳ２を着色モデル６００に入力することによって生成される画像データである。

【0095】

以上により、プロセッサ５１０は、着色モデル６００を使用することによって、物体の適切なカラー画像を表す第２画像データを生成できる。第１画像Ｉ１１（図１４（Ａ））が複数の物体を表す場合に、物体に関する第１損失ＬＳ１が小さくなるように訓練された着色モデル６００は、各物体を適切に着色できる。例えば、物体の領域の一部分の不自然な着色は、抑制される。そして、物体の領域の全体が、適切に着色される。そして、その着色モデル６００が、全体着色誤差ＬＳｓを含む第２損失ＬＳ２が小さくなるように訓練されているので、着色モデル６００は、画像の全体に対する物体の不自然な着色を、抑制できる。

【0096】

また、着色モデル６００の訓練処理（図４）では、訓練用の参考色データＵｄを使用して着色モデル６００の複数のパラメータが調整されている。従って、参考色データＩＵ１ｄ（図１３）が提供される場合には、参考色データＩＵ１ｄと第１画像データＩ１１ｄとを含む第１種入力データセットＤＳ１が着色モデル６００に入力されることによって、着色モデル６００は、適切な第２画像データＩ２２ｄを生成できる。例えば、物体の領域が指定画素を含む場合に、その物体の領域は、その指定画素に対応付けられた参考色に近い色に着色され得る。

【0097】

また、図６で説明したように、本実施例では、Ｓ２１０の物体検出処理は、訓練画像内の物体の領域を画素単位で検出する処理を含んでいる。従って、Ｓ２１０では、プロセッサ５１０は、物体の領域を画素単位で検出する。そして、図６、図７で説明したように、第１損失ＬＳ１が小さくなるように、着色モデル６００の複数のパラメータは、調整されている。第１損失ＬＳ１は、上述したように、着色モデル６００によって生成される第１種生成画像ＧＭｉ（すなわち、物体のカラー画像）と、正解物体画像ＹＭｉ（すなわち、物体の正解カラー画像）との間の差を示している。着色モデル６００がこのように訓練されているので、着色モデル６００は、適切に着色された物体を表す第２画像データＩ２１ｄ、Ｉ２２ｄ（図１３）を生成できる。

【0098】

また、図８（Ａ）、図８（Ｂ）で説明した物体損失ＬＳ１ｉは、第１種生成画像ＧＭｉ（すなわち、物体の生成カラー画像）と正解物体画像ＹＭｉ（すなわち、物体の正解カラー画像）との間の複数の画素のそれぞれの色値の差を使用して算出される画素色損失の例である。このような物体損失ＬＳ１ｉを含む第１損失ＬＳ１が小さくなるように、着色モデル６００の複数のパラメータは、図６のマスク訓練処理で調整されている。従って、着色モデル６００は、適切に着色された物体を表す第２画像データＩ２１ｄ、Ｉ２２ｄ（図１３）を生成できる。

【0099】

また、図８（Ａ）で説明したように、画素色損失の例である物体損失ＬＳ１ｉは、複数の画素のそれぞれの色値の差が大きいほど、大きい。従って、物体損失ＬＳ１ｉを含む第１損失ＬＳ１が小さくなるように着色モデル６００が訓練されている場合、着色モデル６００は、物体の複数の画素のそれぞれを、適切に着色することができる。

【0100】

また、図１１（Ａ）、図１１（Ｄ）で説明したように、第２損失ＬＳ２は、エッジ変化量誤差ＬＳｅを含んでいる。エッジ変化量誤差ＬＳｅは、Ｈ＊Ｗ個の全ての画素のａ＊値の比率ＲＥ（Ｐｗ、Ｐｈ、ａ＊）の絶対値とｂ＊値の比率ＲＥ（Ｐｗ、Ｐｈ、ｂ＊）の絶対値との合計値である。このように、エッジ変化量誤差ＬＳｅは、比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）と相関を有している。比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）は、エッジ量Ｆｅｇ（Ｙ（Ｐｗ、Ｐｈ、ｃ））に対する、エッジ量Ｆｅｇ（Ｇ（Ｐｗ、Ｐｈ、ｃ））の比率である。エッジ量Ｆｅｇ（Ｙ（Ｐｗ、Ｐｈ、ｃ））は、正解カラー画像データＹｄによって表される訓練画像ＴＲＩの正解カラー画像Ｙに含まれる画素Ｙ（Ｐｗ、Ｐｈ）におけるｃ色成分（本実施例では、ａ＊、または、ｂ＊）のエッジ量である。エッジ量Ｆｅｇ（Ｇ（Ｐｗ、Ｐｈ、ｃ））は、第２種生成画像データＧｄによって表される訓練画像ＴＲＩの生成カラー画像である第２種生成画像Ｇ中の同じ画素のｃ色成分のエッジ量である。着色モデル６００は、図９の全体訓練処理で、エッジ変化量誤差ＬＳｅを含む第２損失ＬＳ２が小さくなるように、訓練されている。従って、図１２（Ａ）、図１２（Ｂ）で説明したように、着色モデル６００は、物体の要素を、その要素のエッジに合わせて適切に着色できる。

【0101】

また、図１３のＳ４２０で説明したように、参考色データが提供されない場合には、プロセッサ５１０は、第２種入力データセットＤＳ２を着色モデル６００に入力する。第２種入力データセットＤＳ２は、参考色データに代えて、対象画像ＴＩ内の位置と位置に対応付けられた色とを示さない代替データＵｘｄを含んでいる。図２等に示すように、着色モデル６００は、参考色データを使用するように、構成されている。このような着色モデル６００が使用される場合であっても、参考色データが提供されない場合には、代替データＵｘｄが着色モデル６００に入力されるので、着色モデル６００は、参考色データが入力される場合と同じ処理によって、適切な第２画像データＩ２１ｄを生成できる。

【0102】

また、図４、図６、図９の訓練処理では、複数のパラメータを有する着色モデル６００は、以下のように訓練される。Ｓ２１０（図６）では、プロセッサ５１０は、訓練画像ＴＲＩを１色成分で表すモノクロ訓練画像データＸｄに対する物体検出処理によって物体を検出する。Ｓ２３０（図６）では、図７にも示されるように、プロセッサ５１０は、モノクロ物体画像データＸＭｄｉと、訓練用の参考色データＵｄと、を含む第１種訓練データセットＴＤＳ１を着色モデル６００に入力することによって、第１種生成画像データＧＭｄｉを生成する。モノクロ物体画像データＸＭｄｉは、モノクロ訓練画像データＸｄのうちの物体を表す部分である。訓練用の参考色データＵｄは、訓練画像ＴＲＩ内のＮ個（Ｎは１以上の整数）の位置とＮ個の位置にそれぞれ対応付けられたＮ個の色とを示している。Ｓ２５５（図６）では、プロセッサ５１０は、第１種生成画像ＧＭｉと、正解物体画像データＹＭｄｉと、の間の差を示す第１損失ＬＳ１が小さくなるように、着色モデル６００の複数のパラメータを調整する。第１種生成画像ＧＭｉは、第１種生成画像データＧＭｄｉによって表される物体の生成カラー画像である。正解物体画像データＹＭｄｉは、モノクロ訓練画像データＸｄに予め対応付けられる正解カラー画像データＹｄによって表される物体の正解カラー画像である。Ｓ３１０（図９）では、図１０にも示されるように、プロセッサ５１０は、モノクロ訓練画像データＸｄと訓練用の参考色データＵｄとを含む第２種訓練データセットＴＤＳ２を着色モデル６００に入力することによって、第２種生成画像データＧｄを生成する。Ｓ３３０（図９）では、プロセッサ５１０は、第２種生成画像Ｇと、正解カラー画像Ｙと、の間の差を示す画像損失の例である全体着色誤差ＬＳｓを含む第２損失ＬＳ２が小さくなるように、着色モデル６００の複数のパラメータを調整する。第２種生成画像Ｇは、第２種生成画像データＧｄによって表される訓練画像ＴＲＩの生成カラー画像である。正解カラー画像Ｙは、正解カラー画像データＹｄによって表される訓練画像ＴＲＩの正解カラー画像である。

【0103】

このように訓練される着色モデル６００は、適切なカラー画像を表す画像データを生成できる。例えば、入力される画像（例えば、第１画像Ｉ１１（図１４（Ａ）））が複数の物体を表す場合に、着色モデル６００は、各物体を適切に着色できる。そして、着色モデル６００は、画像の全体に対する物体の不自然な着色を、抑制できる。

【0104】

Ｂ．変形例：
（１）Ｓ２１０（図６）で使用される物体検出モデル７００は、画像中の物体の領域を検出する任意のモデルであってよい。例えば、物体検出モデル７００は、「semantic segmentation」と呼ばれる領域分割を行うモデルであってよい。この領域分割は、物体の種類毎に、物体の領域と物体の種類（クラス）とを検出する。１枚の画像が同じ種類の複数の物体（例えば、複数の人物）を表す場合、この領域分割は、同じ種類の複数の物体の領域の全体を、１個の物体領域として検出する。また、この領域分割は、画素がどの物体領域に含まれるのかを、画素毎に決定する。このような領域分割を行うモデルとしては、例えば「SegNet」と呼ばれる物体検出モデルが使用されてよい。「SegNet」は、プレプリント「Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla, "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", arXiv:1511.00561, https://arxiv.org/abs/1511.00561」に開示されている。

【0105】

また、物体検出モデル７００は、画像中の物体を囲む矩形状のバウンディングボックスを検出するモデルであってよい。この場合、検出されたバウンディングボックス内の全ての画素が、物体の領域の画素として使用されてよい。バウンディングボックスを検出するモデルとしては、例えば、「YOLOv4 (You only look once)」と呼ばれる物体検出モデルが使用されてよい。また、物体検出モデル７００は、SSD (Single Shot MultiBox Detector)、R-CNN (Region Based Convolutional Neural Networks) など、他の種々のモデルであってよい。

【0106】

また、Ｓ２１０（図６）で実行される物体検出処理は、物体検出モデルを使用する処理に限らず、画像中の物体の領域を検出する任意の処理であってよい。例えば、プロセッサ５１０は、予め準備された基準物体画像を使用するパターンマッチングによって、画像内の物体の領域を検出してよい。

【0107】

（２）訓練用の参考色データ（図４：Ｓ１４０）の決定処理は、図５（Ａ）、図５（Ｂ）で説明した方法に代えて、画像内の位置と参考色との対応関係を決定する任意の方法であってよい。例えば、数Ｎが選択される確率Ｐｎ（図５（Ｂ））は、ゼロ以上、所定の上限値以下の数Ｎの範囲内の一様分布に従って、決定されてよい。また、数Ｎは、予め決められてよい。また、指定画素は、予め決められた位置の画素であってよい。

【0108】

（３）参考色（図５（Ａ）、図１４（Ｃ））に対応付けられる画像内の位置は、１個の画素に代えて、連続する複数の画素で構成される領域によって示されてよい。ユーザは、参考色に対応付けられる領域の形状と大きさとを、任意に決定してよい。これに代えて、参考色に対応付けられる領域の形状と大きさとは、予め決められてもよい。

【0109】

（４）図８（Ａ）に示す物体損失ＬＳ１ｉは、第１種生成画像ＧＭｉと正解物体画像ＹＭｉとの間の差を示す種々の値であってよい。例えば、重みｗｔ（ｉ）は、省略されてよい。物体損失ＬＳ１ｉは、予め決められた値Ｑを底とする色値差分Ｄｃの指数関数（Ｑは、１より大きい実数）を使用して算出されてよい。例えば、物体損失ＬＳ１ｉは、Ｈ＊Ｗ個の全ての画素に関する「Ｑ^Ｄｃ」の合計値であってよい。色値差分Ｄｃは、２個の色値の間の差を示す種々の値であってよい。例えば、色値差分Ｄｃは、Ｌ２ノルムであってよい。いずれの場合も、物体損失ＬＳ１ｉは、色値差分Ｄｃが増大する場合に単調増加することが好ましい。

【0110】

（５）図１１（Ｂ）の全体着色誤差ＬＳｓは、第２種生成画像Ｇと正解カラー画像Ｙとの間の差を示す種々の値であってよい。例えば、全体着色誤差ＬＳｓは、２個の画像の間の各画素の各色成分の差分（すなわち、「Ｈ＊Ｗ＊３」個の差分）を使用するノルム（例えば、Ｌ１ノルム、または、Ｌ２ノルム）であってよい。

【0111】

（６）図１１（Ｄ）のエッジ変化量誤差ＬＳｅは、エッジ量の比率ＲＥ（Ｐｗ、Ｐｈ、ｃ）と相関を有する種々の値であってよい。例えば、エッジ変化量誤差ＬＳｅは、Ｈ＊Ｗ個の画素のａ＊値の比率ＲＥ（Ｐｗ、Ｐｈ、ａ＊）とｂ＊値の比率ＲＥ（Ｐｗ、Ｐｈ、ｂ＊）とに関する「－ｌｏｇ（１－ＲＥ（Ｐｗ、Ｐｈ、ｃ））」の合計値であってよい。いずれの場合も、エッジ変化量誤差ＬＳｅは、「ａ＊値とｂ＊値」、「色相と彩度」など、明るさとは異なる２個の色成分のそれぞれのエッジ量の比率と相関を有することが好ましい。ただし、エッジ変化量誤差ＬＳｅは、明るさとは異なる１個の色成分のエッジ量の比率を使用して、算出されてもよい。いずれの場合も、エッジ変化量誤差ＬＳｅは、エッジ量の比率が増大する場合に、増大することが好ましい。

【0112】

（７）Ｓ３２０（図９）で算出される第２損失ＬＳ２は、第２種生成画像Ｇと正解カラー画像Ｙとの間の差分を表す種々の値であってよい。例えば、誤差ＬＳｓ、ＬＳｔ、ＬＳｅ（図１１（Ａ）－図１１（Ｄ））から任意に選択された１以上の誤差が、省略されてよい。第２損失ＬＳ２は、２個の画像Ｇ、Ｙの間の差分を表す誤差であって、誤差ＬＳｓ、ＬＳｔ、ＬＳｅとは異なる他の種類の誤差を含んでよい。第２損失ＬＳ２は、全体着色誤差ＬＳｓ（図１１（Ｂ））のように、第２種生成画像Ｇと正解カラー画像Ｙとの間の各画素の色の差と相関を有する誤差を含むことが好ましい。

【0113】

（８）着色モデル６００の訓練に使用される種々の誤差（すなわち、損失）は、上述した実施例、または、変形例の算出式に代えて、他の種々の算出式に従って算出されてよい。また、誤差の算出に使用される２個のデータの間の差を示す値は、２個のデータの間の差が大きいほど大きくなる種々の値であってよい（例えば、Ｌ１ノルム、Ｌ２ノルム、二乗和など）。

【0114】

（９）着色モデル６００の構成は、図２、図３の構成に代えて、参考色データとモノクロ画像の画像データとを使用してカラー画像の画像データを生成する任意の構成であってよい。例えば、第１入力処理層６１１と第２入力処理層６１２とは、２個以上の畳込層を有してよい。第１入力処理層６１１と第２入力処理層６１２とは、全結合層を含んでよい。一般的には、着色モデル６００は、モノクロ画像の画像データを使用して第１データを取得し、参考色データを使用して第２データを取得し、そして、第１データと第２データとを連結するように構成された連結処理部を有することが好ましい。図２の実施例では、第１入力処理層６１１と第２入力処理層６１２と前段連結部６２０との全体が、連結処理部６２０ｃに相当する。ここで、第１入力処理層６１１と第２入力処理層６１２とは、省略されてよい。この場合、連結処理部６２０ｃ（すなわち、前段連結部６２０）は、モノクロ画像の画像データと参考色データとを連結してよい。このように、第１データは、モノクロ画像の画像データであってよく、第２データは、参考色データであってよい。なお、第１データと第２データとの間では、高さに相当する要素数が同じであり、かつ、幅に相当する要素数が同じであることが好ましい。そして、連結処理部は、第１データのチャンネルと第２データのチャンネルとを示す連結データを生成することが好ましい。

【0115】

エンコーダ６３０の構成は、図３で説明した構成に代えて、他の種々の構成であってよい。例えば、畳込層の総数は、１以上の任意の数であってよい。各畳込層のフィルタのサイズは、種々のサイズであってよい。エンコーダ６３０は、全結合層を含んでよい。エンコーダ６３０からは、畳込層が、省略されてよい。同様に、デコーダ６５０の構成は、図３で説明した構成に代えて、他の種々の構成であってよい。例えば、転置畳込層の総数は、１以上の任意の数であってよい。各転置畳込層のフィルタのサイズは、種々のサイズであってよい。デコーダ６５０は、全結合層を含んでよい。デコーダ６５０からは、転置畳込層が、省略されてよい。出力処理層６６０は、省略されてよい。この場合、デコーダ６５０が、ａ＊値とｂ＊値とを示す画像データを生成してよい。

【0116】

着色モデル６００の構成は、上記の連結処理部と、連結処理部からのデータを使用する次元削減処理を実行するエンコーダと、エンコーダからのデータを使用する次元復元処理を実行するデコーダと、を含む種々の構成であってよい。バッチノーマライゼーションは、着色モデル６００の種々の層に適用されてよい。ドロップアウトは、着色モデル６００の種々の層に適用されてよい。

【0117】

（１０）モノクロ画像を表す１色成分は、Ｌ＊値に限らず、「ＹＣｂＣｒ色空間のＹ値」、「明度、色相、彩度のうちの明度」など、明るさを示す任意の色成分であってよい。また、カラー画像を表す３色成分は、「Ｌ＊、ａ＊、ｂ＊」に限らず、「ＹＣｂＣｒ色空間の３色成分」、「明度、色相、彩度」など、任意の３色成分であってよい。そして、着色モデル６００は、カラー画像を表す３色成分のうち、明るさを示す色成分を除いた残りの２色成分を、参考色データとモノクロ画像の画像データとを使用して算出することが好ましい。

【0118】

（１１）着色処理は、図１３の処理に代えて、種々の処理であってよい。例えば、Ｓ４１０で、プロセッサ３１０は、参考色データを生成するか否かをユーザに選択させてよい。そして、ユーザが参考色データの生成を指示する場合、プロセッサ３１０は、Ｓ４６０と同じ処理を実行して参考色データを生成し、Ｓ４１０では、参考色データと第１画像データＩ１１ｄとを画像処理サーバ５００に送信してよい。この場合、カラーの画像Ｉ２１が生成されるよりも前に、設定画面ＤＳ（図１４（Ｃ））が表示される。設定画面ＤＳでは、カラーの画像Ｉ２１の表示は、省略される。画像処理サーバ５００のプロセッサ５１０は、第１画像データＩ１１ｄに加えて参考色データを受信した場合には、Ｓ４１５－Ｓ４２５の処理に代えて、Ｓ４７０－Ｓ４８０を実行することによって、第２画像データを生成してよい。

【0119】

（１２）訓練処理（例えば、図４、図６、図９）と着色処理（例えば、図１３）とは、互いに異なる画像処理装置によって実行されてよい。いずれの画像処理装置も、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、画像処理装置による画像処理の機能を一部ずつ分担して、全体として、画像処理の機能を提供してもよい（これらの装置を備えるシステムが画像処理装置に対応する）。

【0120】

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図１の着色モデル６００は、専用のハードウェア回路によって実現されてよい。

【0121】

また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。

【0122】

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0123】

３００…ユーザ端末、３１０…プロセッサ、３１５…記憶装置、３２０…揮発性記憶装置、３３０…不揮発性記憶装置、３３１…プログラム、３４０…表示部、３５０…操作部、３８０…通信インタフェース、５００…画像処理サーバ、５１０…プロセッサ、５１５…記憶装置、５２０…揮発性記憶装置、５３０…不揮発性記憶装置、５３１、５３２、５３３…プログラム、５４０…表示部、５５０…操作部、５８０…通信インタフェース、５９１…ウェブ処理部、５９２…制御部、６００…着色モデル、６１１…第１入力処理層、６１２…第２入力処理層、６１９ａ－６１９ｅ…コネクション、６２０…第１連結部、６２０ｃ…連結処理部、６３０…エンコーダ、６３１－６３５…畳込層、６５０…デコーダ、６５１－６５５…転置畳込層、６５１ｃ－６５５ｃ…連結部、６６０…出力処理層、６７０…第２連結部、７００…物体検出モデル、１０００…システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】