特許 7675367 画像着色方法及び装置、着色画像生成モデルの生成装置、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-01

(45)【発行日】2025-05-13

(54)【発明の名称】画像着色方法及び装置、着色画像生成モデルの生成装置、並びにプログラム

(51)【国際特許分類】

   G06T 11/60 20060101AFI20250502BHJP

   G06T 7/00 20170101ALI20250502BHJP

【ＦＩ】

G06T11/60 100E

G06T7/00 350B

【請求項の数】 10

(21)【出願番号】P 2021115211

(22)【出願日】2021-07-12

(65)【公開番号】P2023011381

(43)【公開日】2023-01-24

【審査請求日】2024-06-05

(73)【特許権者】

【識別番号】521173214

【氏名又は名称】Ｍａｎｔｒａ株式会社

(73)【特許権者】

【識別番号】000125370

【氏名又は名称】学校法人東京理科大学

(74)【代理人】

【識別番号】110001863

【氏名又は名称】弁理士法人アテンダ国際特許事務所

(72)【発明者】

【氏名】清水 友悟

(72)【発明者】

【氏名】古田 諒佑

(72)【発明者】

【氏名】欧陽 徳龍

(72)【発明者】

【氏名】谷口 行信

(72)【発明者】

【氏名】日並 遼太

(72)【発明者】

【氏名】石渡 祥之佑

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０２０－１４４７７８（ＪＰ，Ａ）

【文献】特開２０１９－１３３３０３（ＪＰ，Ａ）

【文献】特開２０１８－１９７９４８（ＪＰ，Ａ）

【文献】特開２０２０－１０７２３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／６０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成ステップと、
生成された着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記べた塗り画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色画像生成ステップとを備えた
ことを特徴とする画像着色方法。

【請求項2】

前記モノクローム画像は、無彩色の線画部と、無彩色のパターン又は濃淡により陰影又は色彩或いはテクスチャを表現した陰影等表現部とを含み、
前記べた塗り画像の着色領域は前記陰影等表現部に対応する領域を含む
ことを特徴とする請求項１記載の画像着色方法。

【請求項3】

前記着色画像は、前記モノクローム画像における前記陰影等表現部に対応する領域が、前記べた塗り画像における当該陰影等表現部が含まれる着色領域に付された色彩とは異なる色彩で着色されている
ことを特徴とする請求項２記載の画像着色方法。

【請求項4】

前記着色画像生成モデルは敵対的生成ネットワークである
ことを特徴とする請求項１乃至３何れか１項記載の画像着色方法。

【請求項5】

前記着色画像生成モデルは、
前記着色画像に基づき前記モノクローム画像を生成する第１の生成ネットワークと、前記第１の生成ネットワークに入力された前記着色画像及び前記第１の生成ネットワークで生成された前記モノクローム画像に基づき真偽判定を行う第１の識別ネットワークとを備えた第１の敵対的生成ネットワークと、
前記べた塗り画像及び前記モノクローム画像に基づき前記着色画像を生成する第２の生成ネットワークと、前記第２の生成ネットワークに生成された前記着色画像並びに前記第２の生成ネットワークで入力された前記べた塗り画像及び前記モノクローム画像に基づき真偽判定を行う第２の識別ネットワークとを備えた第２の敵対的生成ネットワークとを備え、
前記モデル生成ステップは、前記第１の敵対的生成ネットワークの学習ステップと、前記第２の敵対的生成ネットワークの学習ステップとを備え、
前記第２の敵対的生成ネットワークの学習ステップにおいては、前記第２の生成ネットワークで生成された前記着色画像並びに前記第２の生成ネットワークに入力された前記べた塗り画像及び前記モノクローム画像に加えて、前記第２の生成ネットワークで生成された前記着色画像を入力として学習済みの前記第１の生成ネットワークにより生成された前記モノクローム画像を用いて学習処理を行い、
前記着色画像生成ステップにおいては、学習済みの前記第２の敵対的生成ネットワークの第２の生成ネットワークを用いて前記対象モノクローム画像及び前記対応べた塗り画像から前記対応着色画像を生成する
ことを特徴とする請求項４記載の画像着色方法。

【請求項6】

無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成部と、
前記モデル生成部により生成された着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記べた塗り画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色処理部とを備えた
ことを特徴とする画像着色装置。

【請求項7】

無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により生成され、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルと、
前記着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記べた塗り画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色処理部とを備えた
ことを特徴とする画像着色装置。

【請求項8】

無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成部を備えた
ことを特徴とする着色画像生成モデルの生成装置。

【請求項9】

コンピュータを請求項６又は７記載の画像着色装置として機能させることを特徴とするプログラム。

【請求項10】

コンピュータを請求項８記載の着色画像生成モデルの生成装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、漫画などの無彩色のモノクローム画像に着色する技術に関する。

【背景技術】

【0002】

漫画は、伝統的に無彩色のモノクローム画像として作成されることが多い。一方、近年では、モノクロームの漫画だけではなく着色された漫画の供給が要望されている。このため、モノクローム画像からなる既に完成された漫画に対して、後から着色処理を行う要求が増加している。そして、このような着色処理を人手で行うと多大なコストと時間がかかることから、モノクローム画像に対する着色処理を自動的に又は半自動で行うシステムが開発されている。このような着色処理としては、例えば非特許文献１に記載されたものが知られている。

【0003】

非特許文献１に記載のものは、Ｐｉｘ２Ｐｉｘと呼ばれる画像生成アルゴリズムをベースにした機械学習による着色を行うものであり、特に入力情報として線画画像に加えて利用者による色のヒント情報を加えたものである。

【先行技術文献】

【非特許文献】

【0004】

【文献】Lvmin Zhang, Chengze Li, Tien-Tsin Wong, Yi Ji, and Chunping Liu,“Two-stage sketch colorization,”ACM Transactions on Graphics, vol. 37, no. 6, pp. 261:1-261:14, 2018.

【文献】Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A Efros, “Image-to-image translation with conditional adversarial networks,” CVPR, pp. 5967-5976, 2017.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、非特許文献１に記載のものでは、漫画の着色には精度の点で十分ではないという問題があった。以下、この問題点について説明する。

【0006】

非特許文献１に記載のものでは、事前に大量の学習データを用いた学習が必要であるため、いきおい学習データとして複数の作者の作品が用いられることになる。しかし、漫画のスタイルは作者によって大きく異なるだけでなく、同じ作者であっても作品や制作時期によってスタイルが異なることがある。このため、特定の漫画に適した学習を行うことが困難であり、したがって着色精度の向上が困難であるという問題があった。

【0007】

また、漫画は線画だけで構成されているものではなく、無彩色のパターン又は濃淡により陰影又は色彩或いはテクスチャを表現した陰影等表現部が含まれることが一般的である。この陰影等表現部は、紙媒体では「スクリーントーン」と呼ばれるテンプレートを線画に貼り付けて形成される。しかし、非特許文献１に記載のものは、陰影等表現部が含まれる漫画では、学習段階や着色処理の段階において陰影等表現部の位置を指定することができない。このため、出力結果として、陰影等表現部を、当該陰影等表現部に適した陰影・色彩・テクスチャで表現することが困難であり、したがって着色精度の向上が困難であるという問題があった。

【0008】

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、無彩色のモノクローム画像に対して適切な着色が可能な画像着色方法及び装置、着色画像生成モデルの生成装置、並びにプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本願発明に係る画像着色方法は、コンピュータが、無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成ステップと、生成された着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記ベタ画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色画像生成ステップとを備えたことを特徴とする。

【0010】

また、本願発明に係る画像着色装置は、無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成部と、前記モデル生成部により生成された着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記べた塗り画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色処理部とを備えたことを特徴とする。

【0011】

また、本願発明に係る画像着色装置は、無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により生成され、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルと、前記着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記べた塗り画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色処理部とを備えたことを特徴とする。

【0012】

また、本願発明に係る着色画像生成モデルの生成装置は、無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成部を備えたことを特徴とする。

【発明の効果】

【0013】

本発明によれば、着色画像生成モデルは、無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色され且つ前記モノクローム画像を含まないべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いて機械学習により生成される。すなわち、着色対象の位置及びその色彩の情報を含むべた塗り画像が機械学習に用いられるので、対象モノクローム画像に対して着色する位置及びその色彩の精度が向上する。すなわち、本発明によれば適切な着色が可能となる。さらに、少ない学習データ（モノクローム画像、べた塗り画像、着色画像の組み）を用意するだけで着色画像生成モデルを作成できるため、学習データ作成の手間が削減できるだけでなく、作品や作者のスタイルにあわせた着色が可能になる。

【0014】

なお、上述のように、本発明ではべた塗り画像が必要である。しかし、当該べた塗り画像は、高度な専門的技能や知識がなくても、人手により又は画像処理装置によりモノクローム画像から容易に導出することができる。したがって、本発明によれば、高度な専門的技能や知識がなくても、容易且つ適切な着色が可能となる。

【図面の簡単な説明】

【0015】

【図1】第１の実施の形態に係る画像着色装置の機能ブロック図

【図2】モノクローム画像の一例を示す図

【図3】べた塗り画像の一例を示す図

【図4】着色画像の一例を示す図

【図5】学習処理の第１ステージを説明する図

【図6】学習処理の第２ステージを説明する図

【図7】画像着色装置の動作を説明するフローチャート

【図8】着色処理の一例を示す図

【図9】第２の実施の形態に係る画像着色装置の機能ブロック図

【図10】カラーヒント作成画面の一例

【発明を実施するための形態】

【0016】

（第１の実施の形態）
本発明の第１の実施の形態に係る画像着色装置について図面を参照して説明する。図１は第１の実施の形態に係る画像着色装置の機能ブロック図、図２はモノクローム画像の一例を示す図、図３はべた塗り画像の一例を示す図、図４は着色画像の一例を示す図である。なお、本願では、画像サンプルとして、Ｍａｎｇａ１０９－ｓデータセットに含まれている、著作者「えびふらい」の作品「ねこだま」を利用している。

【0017】

本実施の形態に係る画像着色装置１００は、無彩色のモノクローム画像１０と、前記モノクローム画像１０に対応する所定の着色領域に単一の色彩が着色され且つ前記モノクローム画像１０を含まないべた塗り画像２０と、前記モノクローム画像１０に対応した着色画像３０とを学習データとして用いた機械学習により、前記モノクローム画像１０及び前記べた塗り画像２０から前記着色画像３０を生成する着色画像生成モデルを生成する。

【0018】

また、画像着色装置１００は、着色対象のモノクローム画像１０である対象モノクローム画像１０ａと、べた塗り画像２０であり前記対象モノクローム画像１０に対応する対応べた塗り画像２０ａとに基づき、着色画像３０であり前記対象モノクローム画像１０に対応する対応着色画像３０ａを生成する装置である。各画像１０，１０ａ，２０，２０ａ，３０，３０ａは、任意のファイル形式・解像度・深度のデジタルデータからなる。

【0019】

モノクローム画像１０には対象モノクローム画像１０ａが含まれる。すなわち、対象モノクローム画像１０ａは、モノクローム画像１０の１つであり、着色処理の対象として画像着色装置１００に入力されるものである。

【0020】

モノクローム画像１０は無彩色の画像を意味する。ここで、モノクローム画像１０は、白黒二値のデジタルデータであってもよいし、グレースケールのデジタルデータであってもよい。本実施の形態では、モノクローム画像１０は、漫画を所定の解像度でスキャンしたデジタルデータ、又は、漫画をスキャンしたモノクローム画像１０と同等のスタイルとなるようにコンピュータにより作成されたデジタルデータからなる。

【0021】

図２に示すように、漫画に係るモノクローム画像１０は、無彩色の線画部１１と、無彩色のパターン又は濃淡により陰影又は色彩或いはテクスチャを表現した陰影等表現部１２とを含む。

【0022】

線画部１１は、紙媒体ではペンや筆などにより描画された領域であり、強いコントラストをもつモノクローム画像を主とする。すなわち、線画部１１は、実質的に白黒二値画像を主とする。なお、線画部１１は、中間階調のグレーにより描画されていてもよい。また、線画部１１は、デジタルデータとしてのモノクローム画像１０においては、白黒二値による線画がスムーズとなるように中間階調のグレーのピクセルが含まれていてもよい。図２の例では、顔・手・体・服・アクセサリー等の各パーツの輪郭線や稜線を表現している箇所が線画部１１である。

【0023】

陰影等表現部１２は、紙媒体では「スクリーントーン」と呼ばれるテンプレートを貼り付けることにより形成することができる。スクリーントーンは、白黒二値の細かいドット・模様・ラインなどの連続的なパターンにより擬似的に中間階調を表現可能とするものである。陰影等表現部１２は、中間階調のグレーを含んでいてもよい。なお、陰影等表現部１２は、スクリーントーンと同等の効果が得られるように手書きにより形成することもできる。図２の例では、顎下や脇下の肌の陰影、髪の毛の色彩及びテクスチャ、服の色彩及びテクスチャを表現している箇所が陰影等表現部１２である。陰影等表現部１２は、デジタルデータとしてのモノクローム画像１０においては、白黒二値によるパターンがスムーズとなるように中間階調のグレーのピクセルが含まれていてもよい。なお、画像データの解像度によっては、陰影等表現部１２は、デジタルデータとしてのモノクローム画像１０においては実質的に中間階調のグレーのピクセルの集合となっていてもよい。

【0024】

べた塗り画像２０には対応べた塗り画像２０ａが含まれる。すなわち、対応べた塗り画像２０ａは、べた塗り画像２０の１つであり、着色処理において対象モノクローム画像１０ａと組になるものとして画像着色装置１００に入力されるものである。

【0025】

べた塗り画像２０は、モノクローム画像１０に対応する画像である。べた塗り画像２０は、対応するモノクローム画像１０への着色についての色彩及び位置（領域）を指示する画像である。べた塗り画像２０は、対応するモノクローム画像１０に基づき、人手により又はコンピュータにより生成される。本実施の形態では、べた塗り画像２０は人手により生成されたものを用いた。

【0026】

図３は、図２に例示するモノクローム画像１０に対応するべた塗り画像の一例である。べた塗り画像２０は、図３に示すように、所定の着色領域２１に単一の任意の色彩が着色されている。べた塗り画像２０には複数の着色領域２１が含まれていてもよい。この場合、複数の着色領域２１は隣接していてもよいし互いに離隔していてもよい。本実施の形態では、べた塗り画像２０は、モノクローム画像１０に対応するが、前記モノクローム画像１０は含まない。着色領域２１は、対応するモノクローム画像１０における陰影等表現部１２に対応する領域を含む。図３の例では、顔から首にかけての着色領域２１が、図２において顎下に形成された陰影等表現部１２に対応する領域を含む。

【0027】

着色画像３０には対応着色画像３０ａが含まれる。すなわち、対応着色画像３０ａは、着色画像３０の１つであり、対象モノクローム画像１０ａ及び対応べた塗り画像２０ａを入力とする着色処理により画像着色装置１００から出力されるものである。画像着色装置１００の学習処理において入力画像の１つとして用いられる着色画像３０は、対応するモノクローム画像１０及びべた塗り画像２０に基づき人手により生成されたものである。この学習処理において用いられる着色画像３０は、当該学習処理における「正解（Ground Truth）」に相当する。

【0028】

図４は、図２に例示するモノクローム画像１０及び図３に例示するべた塗り画像２０に対応する着色画像の一例である。着色画像３０は、図４に示すように、モノクローム画像１０における陰影等表現部１２に対応する領域が、べた塗り画像２０における当該陰影等表現部１２が含まれる着色領域２１に付された色彩とは異なる色彩で着色されていてもよい。すなわち、モノクローム画像１０は無彩色であることから陰影又は色彩或いはテクスチャを表現するために無彩色のパターンや濃淡からなる陰影等表現部１２を形成していたが、着色画像３０では当該表現を色彩による表現に置換したものである。

【0029】

次に、画像着色装置１００について詳述する。図１に示すように、画像着色装置１００は、学習処理部１１０と、着色画像生成処理部１２０と、着色画像生成モデル１３０とを備えている。

【0030】

画像着色装置１００は、主演算装置・主記憶装置・補助記憶装置・入力装置・表示装置・ネットワーク装置等を備えた従来周知のコンピュータからなる。画像着色装置１００の各部は、コンピュータにプログラムをインストールすることにより構成することができる。画像着色装置１００の実装形態は不問である。例えば、画像着色装置１００は複数の装置に分散して実装することができる。

【0031】

学習処理部１１０は、モノクローム画像１０と、モノクローム画像１０に対応するべた塗り画像２０と、モノクローム画像１０及びべた塗り画像２０に対応した着色画像３０とを学習データとして用いた機械学習により、モノクローム画像１０及びべた塗り画像２０から着色画像３０を生成する着色画像生成モデル１３０を生成する。各画像１０，２０，３０は、自身の所定の記憶装置に予め保存していてもよいし、所定の外部記憶媒体から取得してもよいし、ネットワークを介して他の装置から取得してもよい。

【0032】

着色画像生成処理部１２０は、生成された着色画像生成モデル１３０と、着色対象のモノクローム画像１０である対象モノクローム画像１０ａと、べた塗り画像２０であり前記対象モノクローム画像１０ａに対応する対応べた塗り画像２０ａとに基づき、着色画像３０であり前記対象モノクローム画像１０ａに対応する対応着色画像３０ａを生成する。対象モノクローム画像１０ａ及び対応べた塗り画像２０ａは、自身の所定の記憶装置に予め保存していてもよいし、所定の外部記憶媒体から取得してもよいし、ネットワークを介して他の装置から取得してもよい。着色画像生成処理部１２０は、生成した対応着色画像３０ａを自身の表示装置に出力したり、自身の所定の記憶装置に出力したり、所定の外部記憶媒体に出力したり、ネットワークを介して他の装置に出力することができる。

【0033】

着色画像生成モデル１３０は、敵対的生成ネットワークからなる。着色画像生成モデル１３０の実体は、画像着色装置１００の所定の記憶装置に記憶されたプログラム及び当該プログラムにより用いられ学習処理により変化する各種パラメータからなる。以下、着色画像生成モデル１３０の構成及び学習処理部１１０の処理について図５及び図６を参照して詳述する。図５は学習の第１ステージについて説明する図、図６は学習の第２ステージについて説明する図である。

【0034】

着色画像生成モデル１３０は、２つの生成器（生成ネットワーク）を備える。第１の生成器は、図５に示すように、着色画像３０をモノクローム画像１０に変換する。一方、第２の生成器は、図６に示すように、モノクローム画像１０及びべた塗り画像２０の組から着色画像３０を生成する。これらの２つの生成器は別々に学習される。ここでは、着色画像３０をモノクローム画像１０に変換する段階を第１ステージと呼ぶ。また、モノクローム画像１０及びべた塗り画像２０の組から着色画像３０を生成する段階を第２ステージと呼ぶ。

【0035】

学習データは、着色画像３０、モノクローム画像２０、べた塗り画像２０の組（ｘ，ｙ，ｚ）からなる。まず、第１ステージでは、生成器Ｇ_Ａが、いかに着色画像３０からモノクローム画像１０を生成するかを学習する。この処理は、着色画像３０から色彩情報を取り除き、対応するモノクローム画像１０の位置とパターンを予測（predict）する。図４に示すように、着色画像３０は、モノクローム画像１０を予測するために十分な情報を含んでいる。この学習処理は、Ｐｉｘ２Ｐｉｘにおける処理に準ずる。なお、Ｐｉｘ２Ｐｉｘにおける処理については、非特許文献２を参照されたい。

【0036】

［第１ステージ］
本実施の形態では、ＵＮｅｔアーキテクチャを生成器Ｇ_Ａに適用する。着色画像３０をｘ、モノクローム画像１０をｙとすると、生成器Ｇ_Ａの損失関数（discriminative loss）は次式（１）により表される。

【0037】

【数1】

【0038】

ここで、生成器Ｇ_Ａは、いかに判別器（識別ネットワーク）Ｄ_Ａを騙すかを学習する。一方、判別器Ｄ_Ａは、偽物と本物とを判別するよう学習する。前記式（１）の損失関数に加えて、本実施の形態では、下記式（２）に示すように、正解モノクローム画像ｙと生成された画像Ｇ_Ａ（ｘ）との間のＬ_１距離に基づく損失を用いる。

【0039】

【数2】

【0040】

生成器Ｇ_Ａの最終目標は下記式（３）のようになる。

【0041】

【数3】

【0042】

［第２ステージ］
第１ステージによる学習の後に第２ステージに移る。第２ステージでは、べた塗り画像２０とモノクローム画像１０の組を入力とする。生成器Ｇ_Ｂは、べた塗り画像２０とモノクローム画像１０から着色画像３０をいかに生成するかを学習する。生成モデルはＵＮｅｔの拡張である。２つの入力から１つの出力を取得するために、モデルは２つのストリーム構造を有する。

【0043】

着色画像３０をｘ、モノクローム画像１０をｙ、べた塗り画像２０をｚとする。生成器Ｇ_Ｂの損失関数は次式（４）により表される。

【0044】

【数4】

【0045】

ここで、生成器Ｇ_Ｂは、いかに判別器（識別ネットワーク）Ｄ_Ｂを騙すかを学習する。一方、判別器Ｄ_Ａは、偽物と本物とを分類するよう学習する。また、本実施の形態では、下記式（５）に示すように、出力の品質（精度）を向上させるためにＬ_１距離に基づく損失を用いる。

【0046】

【数5】

【0047】

さらに、サイクル・コンシステンシー（cycle consistency）を維持するために、生成器Ｇ_Ｂによって生成された着色画像３０を、学習済みの生成器Ｇ_Ａに入力する。学習済み生成器Ｇ_Ａからの偽モノクローム画像と正解モノクローム画像との間のＬ_１距離を算出する（次式（６）の第２項）。生成器Ｇ_Ｂの最終目標は下記式（６）のようになる。

【0048】

【数6】

【0049】

このように、本実施の形態に係る着色画像生成モデル１３０では、第２ステージにおいては、生成器Ｇ_Ｂで生成された着色画像３０を入力として学習済みの生成器Ｇ_Ａにより生成されたモノクローム画像も用いて学習処理を行っている。

【0050】

前記着色画像生成処理部１２０は、学習済みの生成器Ｇ_Ｂを用いて対象モノクローム画像１０ａ及び対応べた塗り画像２０ａから対応着色画像３０ａを生成する。

【0051】

次に本実施の形態に係る画像着色装置１００の動作について図７のフローチャートを参照して説明する。

【0052】

まず、画像着色装置１００は、モノクローム画像１０、べた塗り画像２０、着色画像３０からなる学習データを用いて学習処理を行って着色画像生成モデル１３０を生成する（ステップＳ１）。次に、画像着色装置１００は、処理対象となるモノクローム画像１０ａと、当該モノクローム画像１０ａに対応する対応べた塗り画像２０ａとをそれぞれ取得し（ステップＳ２，Ｓ３）、着色画像生成モデル１３０を用いて対応着色画像３０ａを生成する（ステップＳ４）。

【0053】

図８に本実施の形態に係る画像着色装置１００による着色処理例を示す。本例では、上述した作品「ねこだま」からランダムに１０ページを選び、５ページを学習処理に用い、その他の５ページを着色対象とした。なお、図８の例では、比較対象画像として、本実施の形態の着色画像生成モデル１３０から第１ステージの処理と第２ステージにおける生成器Ｇ_Ａについての処理を省略した着色画像生成モデルを用いたものを示している。

【0054】

図８に示すように、本実施の形態に係る画像着色装置１００によれば、出力画像である対応着色画像３０ａは正解画像である着色画像３０と極めて近似しており着色精度が高いことが確認できた。特に、本実施の形態に係る画像着色装置１００では、少ない学習データでの学習処理でも高い着色精度を得られること、また陰影等表現部１２の着色が適切であることが確認できた。

【0055】

このような画像着色装置１００によれば、着色画像生成モデルは、無彩色のモノクローム画像１０と、モノクローム画像１０に対応する所定の着色領域に単一の色彩が着色され且つモノクローム画像１０を含まないべた塗り画像２０と、モノクローム画像１０に対応した着色画像３０とを学習データとして用いて機械学習により生成される。すなわち、着色対象の位置及びその色彩の情報を含むべた塗り画像２０が機械学習に用いられるので、対象モノクローム画像１０ａに対する着色位置及びその色彩の精度が向上する。すなわち、本発明によれば適切な着色が可能となる。

【0056】

なお、上述のように、本発明ではべた塗り画像２０が必要である。しかし、当該べた塗り画像２０は、高度な専門的技能や知識がなくても、人手により又は画像処理装置によりモノクローム画像１０から容易に導出することができる。したがって、本発明によれば、高度な専門的技能や知識がなくても、容易且つ適切な着色が可能となる。

【0057】

（第２の実施の形態）
本発明の第２の実施の形態に係る画像着色装置について図面を参照して説明する。図９は第２の実施の形態に係る画像着色装置の機能ブロック図、図１０はカラーヒント作成画面の一例である。

【0058】

本実施の形態に係る画像着色装置が第１の実施の形態と異なる点は、べた塗り画像２０の作成方法にある。すなわち、第１の実施の形態ではべた塗り画像２０は対応するモノクローム画像１０から人手により作成していたが、本実施の形態では画像着色装置１００’においてモノクローム画像１０から作成する。他の点については第１の実施の形態と同様なので、ここでは相違点のみを説明する。

【0059】

本実施の形態に係る画像着色装置１００’は、図９に示すように、べた塗り画像生成部１４０を備えている。べた塗り画像生成部１４０は、モノクローム画像１０から当該モノクローム画像１０に対応するべた塗り画像２０を生成する。より詳しくは、べた塗り画像生成部１４０は、図１０に示すように、モノクローム画像１０を所定の表示装置（図示省略）に出力し、利用者から１つ以上のカラーヒント１４１の入力を受け付ける。カラーヒント１４１は、色彩情報及び画像内の位置情報を示す。べた塗り画像生成部１４０は、入力されたカラーヒント１４１をモノクローム画像１０に所定の表示形態で重畳表示する。図１０の例では、カラーヒント１４１は色彩を有する円形のマークとして表示している。べた塗り画像生成部１４０は、入力されたカラーヒント１４１の位置情報に基づき、モノクローム画像１０において線画部１１を境界とする閉領域を探索し、当該閉領域を着色領域としてカラーヒントの色彩で着色することによりべた塗り画像２０を生成する。閉領域の探索アルゴリズムは従来周知の種々のものを用いることができる。なお、べた塗り画像生成部１４０は、生成したべた塗り画像２０を所定の記憶装置や外部の記憶装置に保存したり、外部の装置に送信したりすることができる。

【0060】

このような画像着色装置１００’によれば、べた塗り画像２０を半自動で生成することができるので着色処理の効率が向上する。他の作用・効果については第１の実施の形態と同様である。

【0061】

以上、本発明の一実施の形態について詳述したが、本発明は上記実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよい。

【0062】

例えば、上記実施の形態では、スクリーン等による陰影等表現部１２が形成されたモノクローム画像１０を着色対象としたが、陰影等表現部１２が形成されていないモノクローム画像１０であっても本発明を適用できる。

【0063】

また、上記実施の形態では、ベタ画像２０として、モノクローム画像１０に対応するが、当該モノクローム画像１０自体は含まれないものを用いたが、対応するモノクローム画像１０の一部又は全部を含んでいてもよい。

【0064】

また、上記実施の形態では、着色画像生成モデル１３０として敵対的生成ネットワークを用いたが他のモデルを用いても本発明を適用できる。例えば、べた塗り画像とモノクローム画像とを入力として着色画像を出力する畳み込みニューラルネットワークであっても本発明を適用できる。

【0065】

また、上記実施の形態では、着色画像生成モデル１３０を生成する学習処理部１１０と、着色画像生成モデル１３０を用いて対応着色画像３０ａを生成する着色画像生成部１２０とを同一の装置に実装していたが、異なる装置に分散して実装してもよい。この場合、学習処理部１１０により生成された着色画像生成モデル１３０は、学習処理部１１０が実装された装置から着色画像生成部１２０が実装された装置に転送・実装すればよい。これにより、着色画像生成モデル１３０の生成処理と、着色画像生成モデル１３０による着色処理とを、それぞれ異なる者・場所・時間で独立して実施することができるので、利便性が向上したものとなる。

【符号の説明】

【0066】

１０…モノクローム画像
１０ａ…対象モノクローム画像
２０…べた塗り画像
２０ａ…対応べた塗り画像
３０…着色画像
３０ａ…対応着色画像
１００，１００’…画像着色装置
１１０…学習処理部
１２０…着色画像生成処理部
１３０…着色画像生成モデル
１４０…べた塗り画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】