特開 2022-125297 線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022125297

(43)【公開日】2022-08-26

(54)【発明の名称】線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム

(51)【国際特許分類】

   G06T 11/80 20060101AFI20220819BHJP

【ＦＩ】

G06T11/80 A

【審査請求】有

【請求項の数】31

【出願形態】ＯＬ

(21)【出願番号】P 2022110011

(22)【出願日】2022-07-07

(62)【分割の表示】P 2017102187の分割

【原出願日】2017-05-23

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ［刊行物１］平成２８年１２月２５日掲載、掲載アドレスｈｔｔｐ：／／ｊｐ．ｆｉｎａｌｆａｎｔａｓｙｘｉｖ．ｃｏｍ／ｐｒ／ｂｌｏｇ／００１５９６．ｈｔｍｌ ［刊行物２］平成２９年１月２７日掲載、掲載アドレスｈｔｔｐ：／／ｑｉｉｔａ．ｃｏｍ／ｔａｉｚａｎ／ｉｔｅｍｓ／７１１９ｅ１６０６４ｃｃ１１５００ｆ３２ ［刊行物３］配布日 平成２９年１月２７日、配布方法 ウェブサイトにてダウンロード配信、配布アドレスｈｔｔｐ：／／ｐａｉｎｔｓｃｈａｉｎｅｒ．ｐｒｅｆｅｒｒｅｄ．ｔｅｃｈ／ ［刊行物４］配布日 平成２９年１月２７日、配布方法 ウェブサイトにてダウンロード配信、配布アドレスｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｐｆｎｅｔ／ＰａｉｎｔｓＣｈａｉｎｅｒ ［刊行物５］平成２９年２月２３日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝Ｆｑ５ＺＱ１ｃｃＧ３８ ［刊行物６］平成２９年３月２２日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｓｌｉｄｅｓｈａｒｅ．ｎｅｔ／ｔａｉｚａｎｙｏｎｅｔｕｊｉ／ｃｈａｉｎｅｒ－ｍｅｅｔｕｐ－７３４５７４４８ ［刊行物７］平成２９年２月５日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｂｕｚｚｆｅｅｄ．ｃｏｍ／ｊｐ／ｓａｋｉｍｉｚｏｒｏｋｉ／ｐａｉｎｔｓｃｈａｉｎｅｒ？ｕｔｍ＿ｔｅｒｍ＝．ｋｌＺｂＢｗＹＷｍ＃．ｃｈ７Ａｖｐ０２８ ［刊行物８］平成２９年３月３日掲載、掲載アドレスｈｔｔｐｓ：／／ｂｉｔａ．ｊｐ／ｄｍｌ／ｐａｉｎｔｓ＿ｃｈａｉｎｅｒ

(71)【出願人】

【識別番号】515130201

【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】米辻 泰山

(57)【要約】

【課題】線画画像に対して自動で着色が可能な線画自動着色プログラムを提供すること。
【解決手段】コンピュータに、線画データを取得する線画データ取得機能と、線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理機能と、サンプルデータを用いて縮小サイズの線画データに対する着色処理を予め学習させた複数の第１学習済モデルのうちの何れか１つに基づいて縮小線画データに対して着色処理を行う第１着色処理機能と、サンプルデータとサンプルデータに対して第１着色処理機能において着色を行った着色済縮小サンプルデータを入力としてサンプルデータに対する着色処理を予め学習させた複数の第２学習済モデルのうちの何れか１つに基づいて、第１着色処理機能による着色処理後の着色済縮小データと元の線画データとを入力として、元の線画データに対して着色処理を行う第２着色処理機能とを実現させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

互いに重なる複数レイヤーを管理する機能と、
前記管理する機能によって管理される少なくとも１つのレイヤーにおいて画像データを作成または貼り付ける機能と、
をコンピュータに実現させる編集ソフトウェアであって、
前記管理する機能によって管理されている少なくとも１つのレイヤーを自動着色の対象とするレイヤーとして特定する機能、を前記コンピュータに実現させる編集ソフトウェア。

【請求項2】

前記特定される少なくとも１つのレイヤーの画像データに関して自動着色を行う機能を前記コンピュータに実現させる、請求項１に記載の編集ソフトウェア。

【請求項3】

前記管理する機能は、前記自動着色が行われた結果のレイヤーと、前記管理する機能によって管理されている１以上のレイヤーのうちの少なくとも１つのレイヤーと、を合成して、最終的な画像データを得る、請求項１又は２に記載の編集ソフトウェア。

【請求項4】

前記自動着色が行われた結果のレイヤーは、着色が行われた部分と、着色が行われていない部分と、を含む、請求項３に記載の編集ソフトウェア。

【請求項5】

前記特定される少なくとも１つのレイヤーの画像データに関して前記自動着色のヒント情報をユーザに指定させる機能を前記コンピュータに実現させ、
前記指定されたヒント情報に基づいて前記自動着色が行われる、請求項１乃至４のいずれか1項に記載の編集ソフトウェア。

【請求項6】

前記ヒント情報は、前記特定される少なくとも１つのレイヤーの画像データに関して、前記ユーザによって選択される色と、当該選択される色で着色すべき箇所として前記ユーザによって指定される箇所と、を関連付ける情報である、請求項５に記載の編集ソフトウェア。

【請求項7】

前記関連付けは、前記選択される色で着色すべき箇所へのドットの前記ユーザによる配置によって行われる、請求項６に記載の編集ソフトウェア。

【請求項8】

前記自動着色が行われた結果に対する編集がさらに可能な、請求項１乃至７のいずれか1項に記載の編集ソフトウェア。

【請求項9】

前記自動着色は、前記管理する機能によって管理されているレイヤーのうち、前記少なくとも１つのレイヤー以外のレイヤーの画像データに関して着色を行わない、請求項１乃至８のいずれか1項に記載の編集ソフトウェア。

【請求項10】

前記管理する機能によって管理されている前記少なくとも１つのレイヤーは、前記管理する機能によって管理されている複数レイヤーのうち、ユーザによって選択されるレイヤーである、請求項１乃至９のいずれか1項に記載の編集ソフトウェア。

【請求項11】

前記特定される少なくとも１つのレイヤーは、前記作成または貼り付ける機能によって作成または貼り付けられる画像データを有し、前記管理する機能によって管理されているレイヤーである、請求項１乃至１０のいずれか1項に記載の編集ソフトウェア。

【請求項12】

前記自動着色は、画像データに関して着色処理を行うことを学習した学習済みニューラルネットワークに基づいて行われる、請求項１乃至１１のいずれか1項に記載の編集ソフトウェア。

【請求項13】

互いに重なる複数レイヤーを管理する管理部と、
前記管理部によって管理されている少なくとも１つのレイヤーの画像データに関して自動着色を行う着色処理部と、
を有するシステム。

【請求項14】

前記管理部は、前記着色処理部によって前記自動着色が行われた結果のレイヤーと、前記管理部によって管理されている１以上のレイヤーのうちの少なくとも１つのレイヤーと、を合成して、最終的な画像データを得る、請求項１３に記載のシステム。

【請求項15】

前記自動着色が行われた結果のレイヤーは、着色が行われた部分と、着色が行われていない部分と、を含む、請求項１３又は１４に記載のシステム。

【請求項16】

前記少なくとも１つのレイヤーの画像データに関して前記自動着色のヒント情報をユーザに指定させる指定部を有し、
前記着色処理部は、前記指定部によって前記ユーザから指定されたヒント情報に基づいて前記自動着色を行う、請求項１３乃至１５のいずれか1項に記載のシステム。

【請求項17】

前記ヒント情報は、前記少なくとも１つのレイヤーの画像データに関して、前記ユーザによって選択される色と、当該選択される色で着色すべき箇所として前記ユーザによって指定される箇所と、を関連付ける情報である、請求項１６に記載のシステム。

【請求項18】

前記関連付けは、前記選択される色で着色すべき箇所へのドットの前記ユーザによる配置によって行われる、請求項１７に記載のシステム。

【請求項19】

前記自動着色は、前記管理部によって管理されているレイヤーのうち、前記少なくとも１つのレイヤー以外のレイヤーの画像データに関して着色を行わない、請求項１３乃至１８のいずれか1項に記載のシステム。

【請求項20】

前記管理部によって管理されている前記少なくとも１つのレイヤーは、前記管理部によって管理されている複数レイヤーのうち、ユーザによって選択されるレイヤーである、請求項１３乃至１９のいずれか1項に記載のシステム。

【請求項21】

前記自動着色において前記着色処理部は、前記管理部によって管理されている前記少なくとも１つのレイヤーにおいて、ユーザによって選択される領域の画像データに関して自動着色を行い、それ以外の領域の画像データに関して自動着色を行わない、請求項２０に記載のシステム。

【請求項22】

前記管理部に管理されている前記複数レイヤーは、背景のレイヤーを含み、
前記管理部に管理されている前記少なくとも１つのレイヤーは、前記背景のレイヤーの上に重ねられるレイヤーである、請求項１３乃至２１のいずれか1項に記載のシステム。

【請求項23】

前記背景のレイヤーの上に重ねられる前記レイヤーは、人物のレイヤーである、請求項２２に記載のシステム。

【請求項24】

前記着色処理部は、前記管理部によって管理されている、前記少なくとも１つのレイヤーとは別の少なくとも１つのレイヤーの画像データに関して自動着色を行うことが可能な、請求項１３乃至２３のいずれか１項に記載のシステム。

【請求項25】

前記管理部は、前記着色処理部によって前記少なくとも１つのレイヤーの画像データおよび前記別の少なくとも１つのレイヤーの画像データそれぞれに関して自動着色が行われたそれぞれの結果のレイヤーを重ね合わせて、最終的な画像データを得る、請求項２４に記載のシステム。

【請求項26】

前記着色処理部は、着色モデルに基づく着色処理を行うことで自動着色を行う、請求項１３乃至２５のいずれか1項に記載のシステム。

【請求項27】

前記着色モデルは、ニューラルネットワークを含む、請求項２６に記載のシステム。

【請求項28】

前記着色処理部は、前記少なくとも１つのレイヤーに関して行われる自動着色と、前記別の少なくとも１つのレイヤーに関して行われる自動着色とで、異なる着色モデルに基づく着色処理を行うことが可能な、請求項２４又は２５を引用する請求項２６、又は、当該請求項２６を引用する請求項２７に記載のシステム。

【請求項29】

前記異なる着色モデルのそれぞれは、ユーザによって選択される、請求項２８に記載のシステム。

【請求項30】

前記少なくとも１つのレイヤーは、線画レイヤーである、請求項１３乃至２９のいずれか１項に記載のシステム。

【請求項31】

互いに重なる複数レイヤーを管理する管理手順と、
前記管理手順によって管理されている少なくとも１つのレイヤーの画像データに関して自動着色を行う着色処理手順と、
を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、線画画像に対して自動で着色を施すための線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラムに関するものである。

【背景技術】

【0002】

近年、ディープラーニングと呼ばれる多層構造のニューラルネットワークを用いた機械学習が様々な分野において適用されている。画像認識や画像生成といった画像処理の分野においても活用が目立ち、目覚ましい成果を上げている。

【0003】

例えば、非特許文献１は、白黒写真の自動色付けの処理をディープネットワークによって実現したものであり、白黒写真の着色処理を機械学習によって実現している。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け 飯塚里志、シモセラ エドガー、石川博（http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/）

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、線画画像に対して自動で着色を施したいというニーズがある。従来、画像の閉じた領域に対して選択した色で着色を行う機能を備えたソフトウェアは存在したが、手書きの線画画像などは領域が閉じていない場合が多く、従来のソフトウェアでは簡単には着色できない対象であった。

【0006】

また、前記非特許文献１の白黒写真の場合、各ドットが輝度情報を備えており、輝度情報をヒントとして各ドットの色を決定する処理であると思われるが、線画画像は輝度情報を含まない画像であるといえるため、より着色が難しい対象であった。

【0007】

本発明は、上記問題点に鑑みなされたものであり、線画画像に対して自動で着色が可能な線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る線画自動着色プログラムは、線画データに対して自動で着色を行うための処理をコンピュータに実現させるための線画自動着色プログラムであって、線画データからなる複数のサンプルデータによってそれぞれが構成された複数のサンプルデータ群であって含まれるサンプルデータの少なくとも一部が相互に異なる複数のサンプルデータ群の
それぞれに基づいて、所定の縮小サイズの線画データに対する着色処理について予め学習させることで得られた複数の第１学習済モデルと、前記複数のサンプルデータ群と、この複数のサンプルデータ群を構成するそれぞれのサンプルデータに対して前記複数の第１学習済モデルの何れかにおいて着色処理を行って得られた複数の着色済縮小サンプルデータによってそれぞれが構成される複数の着色済縮小サンプルデータ群とを入力として、サンプルデータに対する着色処理について予め学習させることで得られた複数の第２学習済モデルとを記憶させる記憶手段を備えた前記コンピュータに、着色対象の線画データを取得する線画データ取得機能と、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理機能と、前記複数の第１学習済モデルのうちの何れか１つの第１学習済モデルに基づいて、前記縮小線画データに対して着色処理を行う第１着色処理機能と、前記複数の第２学習済モデルのうちの何れか１つの第２学習済モデルに基づいて、前記第１着色処理機能によって前記縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として元の線画データに対して着色処理を行う第２着色処理機能とを実現させることを特徴とする。

【0009】

また、本発明に係る線画自動着色プログラムは、前記第１着色処理機能において用いる第１学習済モデルと前記第２着色処理機能において用いる第２学習済モデルは、所定の割合以上が共通のサンプルデータで構成されたサンプルデータ群に基づいてそれぞれ学習されたものであることを特徴とする。

【0010】

また、本発明に係る線画自動着色プログラムは、前記第１着色処理機能において用いる第１学習済モデル及び／又は前記第２着色処理機能において用いる第２学習済モデルは、前記複数の第１学習済モデル及び／又は前記複数の第２学習済モデルの中からユーザの選択によって決定されたものであることを特徴とする。

【0011】

また、本発明に係る線画自動着色プログラムは、前記第１着色処理機能及び前記第２着色処理機能に基づいて元の線画データに対して着色処理を行って得られた一方の着色済データと、前記一方の着色済データの着色処理に用いられたものと異なる第１学習済モデル及び／又は前記一方の着色済データの着色処理に用いられたものと異なる第２学習済モデルを用いて前記第１着色処理機能及び前記第２着色処理機能に基づいて元の線画データに対して着色処理を行って得られた少なくとも１以上の他方の着色済データとを取得し、前記一方の着色済データと前記他方の着色済データとを合成して合成着色済データを出力する合成機能を前記コンピュータに実現させることを特徴とする。

【0012】

また、本発明に係る線画自動着色プログラムは、前記合成機能は、前記一方の着色済データと前記他方の着色済データとの合成比率をユーザが選択可能であることを特徴とする。

【0013】

また、本発明に係る線画自動着色プログラムは、前記コンピュータに、前記線画データに対する少なくとも１色の着色のヒント情報を取得するヒント情報取得機能を実現させ、前記第１着色処理機能では、前記縮小線画データとヒント情報を入力として着色処理を行う機能を実現させることを特徴とする。

【0014】

また、本発明に係る線画自動着色プログラムは、前記第１学習済モデルは、線画データのみからなるヒントなしサンプルデータと、線画データとこの線画データに対する少なくとも１色の着色のヒント情報とからなるヒントありサンプルデータの両方を含むサンプルデータ群に基づいて学習を行ったものであることを特徴とする。

【0015】

本発明に係る線画自動着色装置は、線画データからなる複数のサンプルデータによってそれぞれが構成された複数のサンプルデータ群であって含まれるサンプルデータの少なく
とも一部が相互に異なる複数のサンプルデータ群のそれぞれに基づいて、所定の縮小サイズの線画データに対する着色処理について予め学習させることで得られた複数の第１学習済モデルと、前記複数のサンプルデータ群と、この複数のサンプルデータ群を構成するそれぞれのサンプルデータに対して前記複数の第１学習済モデルの何れかにおいて着色処理を行って得られた複数の着色済縮小サンプルデータによってそれぞれが構成される複数の着色済縮小サンプルデータ群とを入力として、サンプルデータに対する着色処理について予め学習させることで得られた複数の第２学習済モデルとを記憶させる記憶手段を備え、着色対象の線画データを取得する線画データ取得部と、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理部と、前記複数の第１学習済モデルのうちの何れか１つの第１学習済モデルに基づいて、前記縮小線画データに対して着色処理を行う第１着色処理部と、前記複数の第２学習済モデルのうちの何れか１つの第２学習済モデルに基づいて、前記第１着色処理部によって前記縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として元の線画データに対して着色処理を行う第２着色処理部とを具備したことを特徴とする。

【0016】

本発明に係るグラフィカルユーザインターフェース用プログラムは、前記線画自動着色プログラムを格納したサーバ装置から通信ネットワークを介して接続されるクライアント端末に対して提供される線画自動着色ツールのためのグラフィカルユーザインターフェース用プログラムであって、前記サーバ装置に、前記クライアント端末を操作するユーザが線画データを入力するためのフォーム領域を表示画面に表示する線画データ入力フォーム表示機能と、入力された線画データが示す線画を表示画面に設けられた線画画像表示領域に表示する線画画像表示機能と、前記線画データに対して前記線画自動着色プログラムによって着色処理を行って得た着色済画像データが示す着色済画像を表示画面に設けられた着色済画像表示領域に表示する着色済画像表示機能とを実現させることで前記クライアント端末のディスプレイに対してグラフィカルユーザインターフェースを提供することを特徴とする。

【0017】

また、本発明に係るグラフィカルユーザインターフェース用プログラムは、前記サーバ装置に、前記線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報入力ツールを表示画面に表示してヒント情報の入力を受け付けるヒント情報入力ツール表示機能と、前記ヒント情報入力ツール表示機能によってヒント情報の入力を受け付けた状態において、ヒント情報を含んだ状態で着色処理を実行させるための着色実行ボタンを表示画面に表示する着色実行ボタン表示機能とを実現させることを特徴とする。

【発明の効果】

【0018】

本発明によれば、取得した元のサイズの線画データを縮小した縮小線画データについて先ず着色処理を行い、得られた着色済縮小データと元のサイズの線画データとを用いて２段階目の着色処理を行って、着色済画像を得るようにしたので、サイズの大きな線画データに対する着色処理を適切に行うことが可能となる。また、含まれるサンプルデータの少なくとも一部が相互に異なる複数のサンプルデータ群のそれぞれに基づいて、第１着色処理における着色処理に用いる複数の第１学習済モデルと、第２着色処理における着色処理に用いる複数の第２学習済モデルとを予め学習させて記憶させておき、複数の第１学習済モデルのうちの１つと複数の第２学習済モデルのうちの１つとで着色処理を実行するようにしたので、様々な着色傾向の着色処理を実行することが可能となる。また、複数の学習済モデルのうち何れの学習済モデルを利用して着色処理を実行させるかについてユーザが選択できるようにすることで、ユーザは自分の好みの着色傾向の第１学習済モデル及び／又は第２学習済モデルを選択することが可能となる。

【0019】

また、着色に用いる第１学習済モデルの学習過程で着色のヒント情報を含む形で学習を
進めることにより、線画データへの着色処理に対して着色のヒント情報を付加して着色処理を実施させることが可能となる。

【0020】

また、サーバ装置からクライアント端末のディスプレイの表示画面に対してＧＵＩを提供して、ＧＵＩによって線画自動着色ツールをユーザに提供するようにし、ＧＵＩの機能として線画画像表示領域と着色済画像表示領域とを同一表示画面内に設けるようにしたので、ユーザは元の線画データと着色済画像を並べて観察できるため、着色の前後で変化する作品の雰囲気を直接対比することができる。また、線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報を入力可能とし、ヒント情報を付した状態で再着色処理を実行できるようにしたので、線画データに対してユーザが自由に着色のヒントを与えて自動着色を実行することができる。

【図面の簡単な説明】

【0021】

【図1】本発明に係る線画自動着色装置１０の構成を表したブロック図である。

【図2】第１学習済モデルの学習方法の一例を示したブロック図である。

【図3】本例の線画自動着色装置１０における処理の流れを表したフローチャート図である。

【図4】本例のグラフィカルユーザインターフェース用プログラムによって表示される表示画面の一例を表した説明図であり、（ａ）は線画データ入力時の表示画面であり、（ｂ）は線画データに対する着色処理後の表示画面である。

【図5】第２の実施の形態に係るＧＵＩに基づいて線画自動着色ツールを提供する場合の処理の流れを表したフローチャート図である。

【発明を実施するための形態】

【0022】

［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係る線画自動着色装置の例について説明する。図１は、本発明に係る線画自動着色装置１０の構成を表したブロック図である。なお、線画自動着色装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、線画自動着色装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の線画自動着色装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。

【0023】

図１に示すように、線画自動着色装置１０は、線画データ取得部１１と、縮小処理部１２と、第１着色処理部１３と、第２着色処理部１４と、記憶部１５とを少なくとも備えている。

【0024】

線画データ取得部１１は、着色対象の線画データを取得する機能を有する。本発明において着色対象とする線画について特に制限はないが、対象としたい線画については、後述する学習モデルの学習過程においてサンプルデータに組み込んで予め学習させておくことが望ましい。線の太さやタッチの種類など様々な線画が存在するが、様々な線画データに基づいて学習を行うことで、着色可能な線画の種類が増える。

【0025】

縮小処理部１２は、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る機能を有する。本例の線画自動着色装置１０では、縮小サイズの線画の着色を第１着色処理部１３で行い、それに基づいて元の線画データのサイズの着色を第２着色処理部１４で行うという2段階で着色処理を行う構成となっているため、先ず、取得した線画データを第１着色処理部１３に入力する所定の縮小サイズに縮小
する必要がある。

【0026】

第１着色処理部１３は、縮小線画データに対して着色処理を行う機能を有する。着色処理は、線画データで構成されたサンプルデータを用いて縮小サイズの線画データに対する着色処理について予め学習させた第１学習済モデルに基づいて行われる。

【0027】

第２着色処理部１４は、第１着色処理部１３によって縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として、元の線画データに対して着色処理を行う機能を有する。着色処理は、線画データで構成されたサンプルデータと、このサンプルデータに対して第１着色処理部１３において着色処理を行った着色済縮小サンプルデータとを入力として、サンプルデータに対する着色処理について予め学習させた第２学習済モデルに基づいて行われる。

【0028】

記憶部１５は、線画データ取得部１１、縮小処理部１２、第１着色処理部１３、第２着色処理部１４などを含む線画自動着色装置１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。

【0029】

次に、第１着色処理部１３で用いられる第１学習済モデルの学習方法について説明する。図２は、第１学習済モデルの学習方法の一例を示したブロック図である。第１学習済モデルを学習するためのモデルはどのようなものであってもよいが、例えば、敵対的生成モデルを採用することが好ましい。この敵対的生成モデルは、図２に示すように、線画データであるサンプルデータから着色画像を生成することを学習するジェネレータと、ジェネレータが生成した着色済縮小データと予め用意された着色済のテストデータとを区別することを学習するディスクリミネータとで構成され、ジェネレータはディスクリミネータを騙すように着色を学習し、ディスクリミネータは騙されないように区別することを学習し、これら両方の学習を進めていく。

【0030】

また、ジェネレータの学習に利用する線画データで構成されたサンプルデータは、着色に関するヒント情報のないサンプルデータと、着色に関するヒント情報を含むサンプルデータの両方によって学習が行われるものとする。ヒント情報なしのサンプルデータとヒント情報ありのサンプルデータとの比率については様々なパターンが考えられるが、例えば、ヒント情報なしのサンプルデータを４０％とし、ヒント情報ありのサンプルデータを６０％とすることが考えられる。また、ヒント情報ありのサンプルデータは、ヒント情報としての彩色の色指定の数を１～１２８の間で設定したものであるものとする。また、ヒント情報の与え方としては、彩色指定を１ドットで与えるものや、線分で彩色指定を行うものや、所定範囲を指定の色で塗り潰して指定するものなど、様々なヒント情報の与え方を学習段階で予め行っておくことで、ユーザの様々なヒント情報の与え方に対応できるようにすることが好ましい。

【0031】

このように、ヒント情報なしのサンプルデータと幅広いヒント情報の数に設定されたヒント情報ありのサンプルデータとの両方で学習を行うことで、ヒント情報の有無の何れにおいても着色処理を行うことが可能な第１学習済モデルを得ることができる。なお、この第１学習済モデルの学習に利用されるサンプルデータは、縮小処理部１２において縮小されたことを前提とした所定の縮小サイズのサンプルデータが用いられている。

【0032】

第２着色処理部１３で用いられる第２学習済モデルの学習方法については、第１学習済モデルの場合と同様に、学習するためのモデルはどのようなものであってもよいが、例えば、敵対的生成モデルを採用することができる。第２学習済モデルの学習に利用するサンプルデータは、第１学習済モデルによって生成された着色済縮小データとこの着色済縮小データの元となった線画データ（所定の縮小サイズよりも大きな画像サイズの線画データ）である。これら２つをジェネレータに対する入力とし、ジェネレータにおいて元となっ
た線画データに対して着色処理を行うことを学習する。また、ジェネレータが生成した着色済データと予め用意された着色済のテストデータとを区別することをディスクリミネータにおいて学習する。ジェネレータはディスクリミネータを騙すように着色処理を学習し、ディスクリミネータは騙されないように区別することを学習し、これら両方の学習を進めていくことで、第２学習済モデルを得ることができる。なお、第２学習済モデルの学習に利用する着色済み縮小データについては、元の線画データのサイズと一致するように拡大処理を行ってからジェネレータに入力して学習をさせるようにしてもよい。

【0033】

なお、上記の第１学習済モデル及び第２学習済モデルの学習においては、線画データのサンプルデータと着色済のテストデータの両方を必要とする。そして、これらが全く別々の画像であるよりも、線画データとその線画データに着色処理が施された着色済テストデータとがセットで準備できることが好ましい。そこで、着色済みの画像からエッジ抽出処理等の画像処理を用いて線画を生成して、線画データと着色済画像データをセットで準備するようにしてもよい。そのとき、ヒント情報として利用するために、元の着色済みの画像における着色情報をヒント情報として抽出するようにすることで、ヒント情報ありのサンプルデータの生成も行うことが可能となる。

【0034】

サイズの大きい線画データについて直接着色処理を行うことを学習させようと思うと、学習の収束が上手くいかなかったり学習処理に要する演算時間が膨大になったりなど、問題が生じてしまう可能性がある。しかし、本例のように、所定の縮小サイズに縮小してから第１の着色処理を行い、第１の着色処理の結果を用いて元のサイズの線画データの着色処理を行うというように、２段階で学習を行うことで、サイズの大きな線画データに対する着色処理の学習を上手く行うことができ、学習処理に要する時間も短縮することが可能となる。

【0035】

次に、本例の線画自動着色装置１０における着色処理の流れについて説明する。図３は、本例の線画自動着色装置１０における着色処理の流れを表したフローチャート図である。本例の線画自動着色装置１０における着色処理は、先ず、線画データを取得することで開始される（ステップＳ０１）。例えば、着色処理対象の線画データをユーザが選択することで取得が行われる。このとき、線画データの取得とともに、線画データに対する着色のヒント情報を併せて取得するようにしてもよい。取得した線画データについて、所定の縮小サイズとなるように縮小処理を行う（ステップＳ０２）。このとき、元のサイズの線画データについても別途保持しておく。

【0036】

次に、縮小線画データに対する第１着色処理を行う（ステップＳ０３）。第１着色処理は、縮小サイズの着色処理について予め学習を行った第１学習済モデルに基づいて行われる。このとき、ヒント情報を含む場合には、ヒント情報が付された状態で第１学習済モデルに基づいて着色が行われる。この第１着色処理の結果として、着色済縮小データが得られる。

【0037】

次に、ステップＳ０１で取得した元のサイズの線画データに対する第２着色処理を行う（ステップＳ０４）。第２着色処理は、元のサイズの線画データの着色処理について着色済み縮小データを利用して予め学習を行った第２学習済モデルに基づいて行われる。このとき、着色済み縮小データについて元の線画データのサイズと一致するように拡大処理を行ってから入力するようにしてもよい。得られた着色済データを着色済画像として出力し（ステップＳ０５）、着色処理を終了する。

【0038】

以上のように、第１の実施の形態に係る線画自動着色装置１０によれば、取得した元のサイズの線画データを縮小した縮小線画データについて先ず着色処理を行い、得られた着色済縮小データと元のサイズの線画データとを用いて２段階目の着色処理を行って、着色
済画像を得るようにしたので、サイズの大きな線画データに対する着色処理を適切に行うことが可能となる。着色処理に用いる第１学習済モデルの学習過程で着色のヒント情報を含む形で学習を進めることにより、線画データの着色処理に対して着色のヒント情報を付加して着色処理を実施させることが可能となる。

【0039】

［第２の実施の形態］
以下、図面を参照しながら、第２の実施の形態に係る線画自動着色ツールを提供するためのグラフィカルユーザインターフェース用プログラムの例について説明する。第１の実施の形態においては線画自動着色装置１０として説明を行ったが、線画自動着色プログラムをサーバ装置に備えさせ、クライアント端末から通信ネットワークを介して当該サーバ装置にアクセスしてきたユーザに対して線画自動着色ツールを提供するという手法が考えられる。そのような場合には、パッケージのソフトウェアによってクライアント端末に対してツールを提供する場合に限らず、クライアント端末のディスプレイに表示させるブラウザ等においてグラフィカルユーザインターフェース（ＧＵＩ）を機能させて線画自動着色ツールを提供することも可能である。

【0040】

以下の説明においては、サーバ装置に線画自動着色プログラムと線画自動着色プログラムにおいて利用する第１学習済モデル及び第２学習済モデルが格納されており、クライアント端末から通信ネットワークを介してサーバ装置にアクセスして線画自動着色ツールを利用する場合を例として説明を行うが、これらが全て格納されたクライアント端末の場合であっても同様のＧＵＩを利用可能であるため、何れもが本例の対象となるものであることはいうまでもない。

【0041】

図４は、本例のグラフィカルユーザインターフェース用プログラムによって表示される表示画面の一例を表した説明図であり、（ａ）は線画データ入力時の表示画面であり、（ｂ）は線画データに対する着色処理後の表示画面である。サーバ装置からクライアント端末に対して線画自動着色ツールを提供する場合、先ず、図４（ａ）に示すように、ユーザが線画データを入力するためのフォーム領域である線画データ入力フォームをクライアント端末のディスプレイに対して、例えば、Ｗｅｂブラウザ等を介して表示させる。この線画データ入力フォームは、図４（ａ）ではファイルのパスを指定する方法で線画データを入力するものとしているが、これに限定されるものではなく、例えば、ドラッグ＆ドロップで線画データを選択するような手法であってもよい。なお、本例において表示画面とは、グラフィカルユーザインターフェース用プログラムやＷｅｂブラウザなどによってＧＵＩを提供する際にユーザに対して表示される画面のことをいうものとし、サーバ装置で生成された表示画面と、クライアント端末で生成された表示画面のいずれの場合も含むものとする。

【0042】

線画データが指定されると、自動的に着色処理が開始される。選択された線画データはサーバ装置に送信され、サーバ装置において線画自動着色プログラムによって着色処理が行われ、結果として得られた着色済画像データがクライアント端末に送信される。図４（ｂ）に示すように、線画画像表示領域にユーザが選択した線画データが示す線画が表示され、着色済画像表示領域に着色済画像データが示す着色済画像が表示される。選択された線画画像と着色済画像が同一画面に並べて表示されるため、ユーザは着色の前後の画像を同時に観察して確認することができる。

【0043】

また、図４（ｂ）に示すように、線画画像と着色済画像を表示する画面内には、線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報入力ツールが表示される。ヒント情報入力ツールは、図４（ｂ）に示した例では、「作業を１つ戻す」「作業を１つ進める」「ヒント情報を入力するペンの選択」「入力したヒント情報の削除（消しゴム）」「着色する色の選択」となっているが、これに
限られるものではない。例えばマウス操作によって、着色する色を選択して、選択した色で線画画像表示領域内の線画画像の着色すべき箇所に対して、実際にポインタでドットの追加、線分の記入、領域の塗り潰し等の手法によって着色行うことでヒント情報を与える。そして、同一画面内に表示された着色実行ボタンをマウス操作等によってクリックすると、ヒント情報を含んだ状態で着色処理が実行され、ヒント情報が反映された着色済画像が着色済画像表示領域に表示される。

【0044】

図５は、第２の実施の形態に係るＧＵＩに基づいて線画自動着色ツールを提供する場合の処理の流れを表したフローチャート図である。線画自動着色ツールの提供の処理の流れは、図５に示すように、サーバ装置からクライアント端末のディスプレイの表示画面に対して、線画データ入力フォームを表示させて線画データの入力を受付けることによって開始される（ステップＳ２１）。ユーザによって線画データの入力が行われると、線画データがサーバ装置に送信され、線画データを取得したサーバ装置において線画データに対する着色処理を実行する（ステップＳ２２）。このステップＳ２２における着色処理の実行は、図３のフローチャートを用いて説明した第１の実施の形態における着色処理の流れと同様であり、図３のステップＳ０１～Ｓ０５のステップと同様の処理がこのステップＳ２２において実行される。

【0045】

着色処理によって得られた着色済画像データはクライアント端末に送信され、クライアント端末では、表示画面に設けられた線画画像表示領域に線画データが示す線画画像を表示させ、着色済画像表示領域に着色済画像データが示す着色済画像を表示させる（ステップＳ２３）。また、表示画面に対してヒント情報入力ツールを表示させ、ヒント情報入力ツールによるヒント情報の入力を受付ける（ステップＳ２４）。着色のヒントを与えて再着色を行いたいユーザは、線画画像表示領域に表示された線画画像に対して着色のヒント情報を与える。そして、着色実行ボタンをクリックして再着色が指示された場合（ステップＳ２５－Ｙ）には、ヒント情報と線画データがサーバ装置に送信され、ヒント情報が付された状態で再着色処理が実行される（ステップＳ２２）。再着色処理によって得られたヒント情報が与えられた着色済画像データがクライアント端末に送信され、着色済画像表示領域にヒント情報が与えられた着色済画像データが示す着色済画像が表示される（ステップＳ２３）。このようにして、ユーザが望む着色済画像データが得られて再着色の必要がなくなった段階（ステップＳ２５－Ｎ）で、線画自動着色ツールが終了される。

【0046】

以上のように、サーバ装置からクライアント端末のディスプレイの表示画面に対してＧＵＩを提供して、ＧＵＩによって線画自動着色ツールをユーザに提供するようにし、ＧＵＩの機能として線画画像表示領域と着色済画像表示領域とを同一表示画面内に設けるようにしたので、ユーザは元の線画画像と着色済画像を並べて観察できるため、着色の前後で変化する作品の雰囲気を直接対比することができる。また、線画画像表示領域に表示された線画データが示す線画画像に対して選択した色で着色すべき箇所を指定するためのヒント情報を入力可能とし、ヒント情報を付した状態で再着色処理を実行できるようにしたので、線画画像に対してユーザが自由に着色のヒントを与えて自動着色を実行することができる。なお、このヒント情報の付加は、その場所を指定した色で塗ることを指定するものではなく、ヒント情報が含まれた状態で学習済モデルに着色を実行させるものであるため、必ずしも指定した色で着色されるとは限らないものであるといえる。線画自動着色プログラムが利用する第１学習済モデル及び第２学習済モデルの学習過程でヒント情報を含ませて学習しているため、学習に利用したサンプルデータ及びヒント情報の傾向によって指定したヒント情報がどのように採用されるかが決まるといえる。この点は、指定した色で着色を行う従来の画像編集ソフト等における着色処理とは全く異なる機能であり、本発明の特徴的部分であるといえる。

【0047】

前記第２の実施の形態において、ＧＵＩ上で線画データ入力フォームによって線画デー
タを入力すると自動で着色処理が行われるようにしていたが、これは一例であり、線画データを入力した段階で線画画像表示領域に線画データが示す線画画像を表示して、ヒント情報の入力を行えるようにしてもよい。このように処理の順序を変更したとしても本発明の効果が失われることはない。

【0048】

［第３の実施の形態］
前記第１及び第２の実施の形態においては、一組の第１学習済モデル及び第２学習済モデルによって着色処理を実行させるものとして説明を行ったが、これに限定されるものではなく、第１学習済モデル及び第２学習済モデルを複数組備えるようにしてもよい。

【0049】

第１の実施の形態における線画自動着色装置１０においては、記憶部１５に一組の第１学習済モデル及び第２学習済モデルを記憶させるものとして説明を行ったが、本例では、学習に用いたサンプルデータ群の内容がそれぞれ異なる複数の第１学習済モデル及び複数の第２学習済モデルを予め学習させて記憶部１５に記憶させる。

【0050】

すなわち、線画データからなる複数のサンプルデータによってそれぞれが構成された複数のサンプルデータ群であって含まれるサンプルデータの少なくとも一部が相互に異なる複数のサンプルデータ群のそれぞれに基づいて、所定の縮小サイズの線画データに対する着色処理について予め学習させることで複数の第１学習済モデルを得て、記憶部１５に記憶させる。また、複数のサンプルデータ群と、この複数のサンプルデータ群を構成するそれぞれのサンプルデータに対して複数の第１学習済モデルの何れかにおいて着色処理を行って得られた複数の着色済縮小サンプルデータによってそれぞれが構成される複数の着色済縮小サンプルデータ群とを入力として、サンプルデータに対する着色処理について予め学習させることで複数の第２学習済モデルを得て、記憶部１５に記憶させる。

【0051】

好ましくは、所定の割合以上が共通のサンプルデータで構成されたサンプルデータ群に基づいて学習された第１学習済モデルと第２学習済モデルとを１つの学習済モデルセットとしてその対応関係が分かるように記憶させるようにする。また、１つの着色済データを得るための第１着色処理部１３における着色処理と第２着色処理部１４における着色処理は、１つの学習済モデルセットとして対で記憶させた第１学習済モデルと第２学習済モデルを用いるようにすることが好ましい。このように、所定割合以上のサンプルデータが重複しているサンプルデータ群に基づいて第１学習済モデルと第２学習済モデルをそれぞれ学習させることで、第１着色処理部１３における着色処理と第２着色処理部１４における着色処理が、傾向の共通した着色処理となるため、得られる着色済データのクオリティが向上する。

【0052】

そして、１対の第１学習済モデルと第２学習済モデルからなる学習済モデルセットについて、着色傾向が異なるように複数の学習済モデルセットを学習させて記憶部１５に記憶させる。着色傾向の異なる複数の学習済モデルセットが存在することで、様々な着色傾向の着色済データが得られるという効果がある。また、複数の学習済モデルセットのうち何れの学習済モデルセットを利用して着色処理を実行させるかについてユーザが選択できるようにすることで、ユーザは自分の好みの着色傾向の第１学習済モデル及び第２学習済モデルを選択することが可能となる。なお、第１の実施の形態乃至第３の実施の形態において記憶部１５として記載したものは、線画自動着色装置１０が内部に備える記憶部１５であってもよいし、記憶部１５を内部に備える代わりに、通信ネットワークを介して接続可能なサーバ装置に記憶させる記憶手段であってもよいことはいうまでもない。

【0053】

また、着色傾向の異なる２以上の学習済モデルセットを用いてそれぞれの学習済モデルセットから２以上の着色済データを得た場合に、それらの２以上の着色済データを合成して１つの合成着色済データをえるための合成部を設けるようにしてもよい。すなわち、合
成部は、第１着色処理部１３及び第２着色処理部１４に基づいて元の線画データに対して着色処理を行って得られた一方の着色済データと、一方の着色済データの着色処理に用いられたものと異なる第１学習済モデル及び／又は一方の着色済データの着色処理に用いられたものと異なる第２学習済モデルを用いて、第１着色処理部１３及び第２着色処理部１４に基づいて元の線画データに対して着色処理を行って得られた少なくとも１以上の他方の着色済データとを取得し、一方の着色済データと他方の着色済データとを合成して合成着色済データを出力する機能を有する。

【0054】

この合成部における合成処理は、２以上の画像を合成することができればどのような合成処理であってもよいが、例えば、一般的に行われている加減乗除の画像合成手法をそのまま採用することができる。また、このときに、２以上の着色済データを合成する際の各データの合成比率についてユーザが指定可能としてもよい。例えば、２つの着色済データを合成する場合には、一方の着色済データの合成比率をシークバーによって０％～１００％の間で調整可能とし、調整中の各比率における合成着色済データに基づく表示画像をディスプレイに表示させて、ユーザが合成比率の変化による合成着色済データに基づく表示画像の変化を視認できるように構成してもよい。

【0055】

以上のように、この第３の実施の形態に係る線画自動着色装置１０によれば、複数の学習済モデルセットを学習させて記憶部１５に記憶させることで、着色傾向の異なる複数の学習済モデルセットに基づいて、様々な着色傾向の着色済データが得られるという効果がある。また、複数の学習済モデルセットのうち何れの学習済モデルセットを利用して着色処理を実行させるかについてユーザが選択できるようにすることで、ユーザは自分の好みの着色傾向の第１学習済モデル及び第２学習済モデルを選択することが可能となる。また、得られた２以上の着色済データを合成する合成部を備えることで、着色傾向の異なる着色済データを合成した合成着色済データを得ることができるため、単独の着色済データでは得られない着色傾向の着色済画像を得ることが可能となる。

【0056】

なお、この第３の実施の形態における説明では、所定の割合以上が共通のサンプルデータで構成されたサンプルデータ群に基づいて学習された第１学習済モデルと第２学習済モデルからなる学習済モデルセットを１対で使用することが好ましいとして説明を行ったが、これに限定されるものではない。すなわち、第１着色処理部１３において使用する第１学習済モデルと、第２着色処理部１４おいてに使用する第２学習済モデルを、それぞれユーザが独立して選択可能としてもよい。学習に用いたサンプルデータ群が全く異なる第１学習済モデルと第２学習済モデルを選択することも可能となる。このような選択を可能とした場合、必ずしもクオリティの高い着色処理が行えるとは限らないが、ユーザが様々に組み合わせて自動着色処理を楽しむことができるという効果を有し、また、共通するサンプルデータ群を用いた場合には得られない着色結果を得ることができる可能性があるという効果を有するといえる。

【0057】

［第４の実施の形態］
前記第２の実施の形態においては、ＷＥＢサービスとして提供する場合のグラフィカルユーザインターフェース用プログラムとして説明を行ったが、本発明に係る自動着色プログラムは、図面作成ソフト、画像編集ソフト及びこれらのソフトウェアと同等の機能をサーバ装置からクライアント端末に提供するＷＥＢサービス（以下、編集ソフトウェアともいう）などに対しても組み込むことが可能である。

【0058】

図面作成ソフトや画像編集ソフトを含む編集ソフトウェアは、線画データを作成する機能や、線画データを貼り付ける機能を有する場合がある。そして、それらの線画データの作成や線画データ貼り付けは、複数のレイヤーによって管理して、特定のレイヤーにおいて線画データを作成したり張り付けたりするような構成を有することが一般的に行われているといえる。また、編集ソフトウェアにおいては、レイヤー内に閉じた領域を形成して、その領域内に対してのみ特定の処理を行う機能、例えば、塗り潰し機能やハッチング処理機能などが存在する。このような構成及び機能を有する編集ソフトウェアに対して、本発明に係る自動着色プログラムを組み込むことで、より多機能な編集ソフトウェアを提供することが可能となる。

【0059】

例えば、編集ソフトウェアの機能に基づいて作成した線画データや貼り付けられた線画データに対して自動着色プログラムによる着色処理を実行可能とすることが考えられる。このような構成とすることで、編集ソフトウェアで作画した線画データや編集ソフトウェアに取り込んだ線画データに対して着色処理を実行することができ、さらに、編集ソフトウェアの各種機能に基づいて得られた着色済データに対して更なる編集を加えることが可能となる。

【0060】

また、編集ソフトウェアにおける複数のレイヤーによって管理する機能を用いて、特定のレイヤーにのみ自動着色プログラムによる着色処理を実行可能とすることが考えられる。このような機能を用いることで、パーツごとに異なるレイヤーに線画データを書き分けて、パーツ単位で着色処理を実行して、最終的には全レイヤーを重ね合わせた編集画像データを得るといった使い方が可能となる。例えば、人物の線画データに関するレイヤーと、背景の線画データに関するレイヤーを設けて、それぞれ着色処理してから重ね合わせることで、最終的に一枚の画像データを得るといった使い方ができる。このとき、第３の実施の形態のように、人物の着色に特化した学習済モデルセットを選択して人物の線画データに関するレイヤーを着色し、背景の着色に特化した学習済モデルセットを選択して背景の線画データに関するレイヤーを着色させて、最終的に一枚の画像データを得るようにすれば、最初から人物と背景を含む線画データ全体に着色処理を施す場合に比較してクオリティの高い着色済データを得られる可能性がある。

【0061】

また、レイヤー内に閉じた領域を形成して、その領域内に対してのみ特定の処理を行う機能を用いて、レイヤー内に閉じた領域にのみ自動着色プログラムによる着色処理を実行可能とすることが考えられる。閉じた領域内に描かれた画像を１つの線画データと捉えれば、特に技術的な困難性を伴うことなく適用することができる。このような機能により、ユーザが選択した領域のみに着色処理を実行することが可能となる。

【0062】

以上のように、既存の編集ソフトウェアに対して本発明に係る自動着色プログラムを適用することで、自動着色を行った着色済データが示す着色済画像に対してさらに編集ソフトウェアに基づいて編集を行うことが可能となったり、レイヤー単位、或いはレイヤー内の閉じた領域単位で自動着色を実行可能となったりすることで、よりユーザの利便性を向上させた自動着色機能付の編集ソフトウェアを提供することが可能となる。このような自動着色機能付の編集ソフトウェアは、コンピュータグラフィックやアニメーションの制作現場において、一部の着色作業を自動着色プログラムに基づいて実行させることで、全体としての作業の効率化に寄与する可能性があるといえる。

【0063】

前記第１乃至第４の実施の形態においては、線画データを所定の縮小サイズに縮小して１段階目の着色処理を第１着色処理部で実行し、結果として得られた着色済縮小データと元のサイズの線画データとを利用して２段階目の着色処理を第２着色処理部で実行する構成としていた。これは、サイズの大きな線画データに対する着色処理を適切に行うために行っているものであり、本例では２段階に分けて処理を行ったが、これに限定されるものではなく、３段階以上に処理を分けて着色を行うものであってもよい。

【0064】

また、複数段階に分けて処理する場合に限らず、サイズの大きな線画データに対する着色処理を適切に実行可能であれば、１段階で線画データに着色処理を完了させる構成であ
ってもよい。この場合には、線画データを縮小することなく元のサイズに直接着色処理を施すことをサンプルデータ群に基づいて学習させた学習済モデルに基づいて、１段階で着色済データを出力する構成となる。このような１段階の着色処理部による構成と、前記前記第１乃至第４の実施の形態の構成とを組み合わせたものについても、本発明による効果が得られるといえる。

【0065】

前記第１乃至第４の実施の形態において説明した内容は、必ずしもそれぞれの実施形態毎で機能させるものである必要はなく、本明細書に記載された様々な構成を組み合わせたものについても、本発明の範囲に含まれるものであることはいうまでもない。

【符号の説明】

【0066】

１０ 線画自動着色装置
１１ 線画データ取得部
１２ 縮小処理部
１３ 第１着色処理部
１４ 第２着色処理部
１５ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】