特許 7474793 線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-17

(45)【発行日】2024-04-25

(54)【発明の名称】線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム

(51)【国際特許分類】

   G06T 11/80 20060101AFI20240418BHJP

   G06N 3/088 20230101ALI20240418BHJP

【ＦＩ】

G06T11/80 A

G06N3/088

【請求項の数】 34

(21)【出願番号】P 2022007052

(22)【出願日】2022-01-20

(62)【分割の表示】P 2019516314の分割

【原出願日】2017-05-01

(65)【公開番号】P2022058683

(43)【公開日】2022-04-12

【審査請求日】2022-02-10

【新規性喪失の例外の表示】特許法第３０条第２項適用 ［刊行物１］平成２８年１２月２５日掲載、掲載アドレスｈｔｔｐ：／／ｑｉｉｔａ．ｃｏｍ／ｔａｉｚａｎ／ｉｔｅｍｓ／ｃｆ７７ｆｄ３７ｅｃ３ａ０ｂｅｆ５ｄ９ｄ ［刊行物２］平成２９年１月２７日掲載、掲載アドレスｈｔｔｐ：／／ｑｉｉｔａ．ｃｏｍ／ｔａｉｚａｎ／ｉｔｅｍｓ／７１１９ｅ１６０６４ｃｃ１１５００ｆ３２ ［刊行物３］配布日 平成２９年１月２７日、配布方法 ウェブサイトにてダウンロード配信、配布アドレスｈｔｔｐ：／／ｐａｉｎｔｓｃｈａｉｎｅｒ．ｐｒｅｆｅｒｒｅｄ．ｔｅｃｈ／ ［刊行物４］配布日 平成２９年１月２７日、配布方法 ウェブサイトにてダウンロード配信、配布アドレスｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｐｆｎｅｔ／ＰａｉｎｔｓＣｈａｉｎｅｒ ［刊行物５］平成２９年２月２３日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝Ｆｑ５ＺＱ１ｃｃＧ３８ ［刊行物６］平成２９年３月２２日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｓｌｉｄｅｓｈａｒｅ．ｎｅｔ／ｔａｉｚａｎｙｏｎｅｔｕｊｉ／ｃｈａｉｎｅｒ－ｍｅｅｔｕｐ－７３４５７４４８ ［刊行物７］平成２９年２月５日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｂｕｚｚｆｅｅｄ．ｃｏｍ／ｊｐ／ｓａｋｉｍｉｚｏｒｏｋｉ／ｐａｉｎｔｓｃｈａｉｎｅｒ？ｕｔｍ＿ｔｅｒｍ＝．ｋｌＺｂＢｗＹＷｍ＃．ｃｈ７Ａｖｐ０２８ ［刊行物８］平成２９年３月３日掲載、掲載アドレスｈｔｔｐｓ：／／ｂｉｔａ．ｊｐ／ｄｍｌ／ｐａｉｎｔｓ＿ｃｈａｉｎｅｒ

【新規性喪失の例外の表示】特許法第３０条第２項適用 ［刊行物４］配布日 平成２９年１月２７日、配布方法 ウェブサイトにてダウンロード配信、配布アドレスｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｐｆｎｅｔ／ＰａｉｎｔｓＣｈａｉｎｅｒ［刊行物５］平成２９年２月２３日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝Ｆｑ５ＺＱ１ｃｃＧ３８［刊行物６］平成２９年３月２２日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｓｌｉｄｅｓｈａｒｅ．ｎｅｔ／ｔａｉｚａｎｙｏｎｅｔｕｊｉ／ｃｈａｉｎｅｒ－ｍｅｅｔｕｐ－７３４５７４４８

【新規性喪失の例外の表示】特許法第３０条第２項適用 ［刊行物７］平成２９年２月５日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｂｕｚｚｆｅｅｄ．ｃｏｍ／ｊｐ／ｓａｋｉｍｉｚｏｒｏｋｉ／ｐａｉｎｔｓｃｈａｉｎｅｒ？ｕｔｍ＿ｔｅｒｍ＝．ｋｌＺｂＢｗＹＷｍ＃．ｃｈ７Ａｖｐ０２８［刊行物８］平成２９年３月３日掲載、掲載アドレスｈｔｔｐｓ：／／ｂｉｔａ．ｊｐ／ｄｍｌ／ｐａｉｎｔｓ＿ｃｈａｉｎｅｒ

(73)【特許権者】

【識別番号】515130201

【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】米辻 泰山

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特開２０１６－１２２９０５（ＪＰ，Ａ）

【文献】特開平０３－２２４０７６（ＪＰ，Ａ）

【文献】片岡裕介, 外２名，“深層学習における敵対的ネットワークを用いた漫画画像の自動カラー化”，研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ），日本，情報処理学会，2017年03月02日，第2017-CVIM-206巻, 第6号，p.1-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／８０

Ｇ０６Ｎ ３／０８－３／０９８５

(57)【特許請求の範囲】

【請求項1】

着色対象データを取得し、
前記着色対象データに対する複数の異なるヒント情報の指定方法から選択された第１指定方法によって、前記着色対象データに対する少なくとも１つの第１ヒント情報を取得し、
学習済モデルに基づいて、前記少なくとも１つの第１ヒント情報を使用して、前記着色対象データに着色処理を行い、
前記複数の異なるヒント情報の指定方法のそれぞれは、ユーザーが前記着色対象データの一部を指定する方法で行われる、
自動着色方法。

【請求項2】

着色対象データを取得し、
前記着色対象データに対する複数の異なるヒント情報の指定方法から選択された第１指定方法によって、前記着色対象データに対する少なくとも１つの第１ヒント情報を取得し、
前記着色対象データに対する前記複数の異なるヒント情報の指定方法から選択された第３指定方法によって、前記着色対象データに対する少なくとも１つの第３ヒント情報を取得し、
学習済モデルに基づいて、前記少なくとも１つの第１ヒント情報と前記少なくとも１つの第３ヒント情報を使用して、前記着色対象データに着色処理を行う、
自動着色方法。

【請求項3】

前記複数の異なるヒント情報の指定方法は、少なくとも、ドット、線分または塗りつぶしのうち、いずれか２つ以上を含む、請求項１または２に記載の自動着色方法。

【請求項4】

前記少なくとも１つの第１ヒント情報は異なる色の中から選択された色の情報を含む、請求項１から３までのいずれか一項に記載の自動着色方法。

【請求項5】

前記少なくとも１つの第１ヒント情報を削除する情報入力ツールを表示画面に有する、請求項１から４までのいずれか一項に記載の自動着色方法。

【請求項6】

前記少なくとも１つの第１ヒント情報はペンツールによって取得される、請求項１から５までのいずれか一項に記載の自動着色方法。

【請求項7】

前記着色処理された前記着色対象データに対する前記複数の異なるヒント情報の指定方法から選択された第２指定方法によって、前記着色対象データに対する少なくとも１つの第２ヒント情報を取得し、
前記学習済モデルに基づいて、前記少なくとも１つの第２ヒント情報を使用して、前記着色処理された前記着色対象データに再着色処理を行う、請求項１から６までのいずれか一項に記載の自動着色方法。

【請求項8】

前記少なくとも１つの第１ヒント情報の取得はクライアント端末で行われ、
前記クライアント端末は、前記少なくとも１つの第１ヒント情報と前記着色対象データをサーバ装置に送信し、
前記サーバ装置は、前記学習済モデルに基づいて、前記少なくとも１つの第１ヒント情報を使用して、前記着色対象データへの前記着色処理を行い、
前記サーバ装置は、前記着色処理が行われた前記着色対象データを前記クライアント端末に送信する、請求項１から７までのいずれか一項に記載の自動着色方法。

【請求項9】

前記少なくとも１つの第１ヒント情報と前記少なくとも１つの第２ヒント情報の取得はクライアント端末で行われ、
前記クライアント端末は、前記少なくとも１つの第１ヒント情報、前記着色対象データ、前記少なくとも１つの第２ヒント情報と前記着色処理された前記着色対象データをサーバ装置に送信し、
前記サーバ装置は、前記少なくとも１つの第１ヒント情報が付与された前記着色対象データへの前記着色処理と前記少なくとも１つの第２ヒント情報が付与された前記着色処理された前記着色対象データへの前記再着色処理を行い、
前記サーバ装置は、前記着色処理が行われた前記着色対象データと前記再着色処理が行われた前記着色処理された前記着色対象データを前記クライアント端末に送信する、請求項７に記載の自動着色方法。

【請求項10】

前記学習済モデルは敵対的生成モデルにより学習された、請求項１から９までのいずれか一項に記載の自動着色方法。

【請求項11】

着色対象データを取得するデータ取得部と、
前記着色対象データに対する複数の異なるヒント情報の指定方法から選択された第１指定方法によって、前記着色対象データに対する少なくとも１つの第１ヒント情報を取得し、
学習済モデルに基づいて、前記少なくとも１つの第１ヒント情報を使用して、前記着色対象データに着色処理を行う着色処理部を有し、
前記複数の異なるヒント情報の指定方法のそれぞれは、ユーザーが前記着色対象データの一部を指定する方法で行われる、
自動着色システム。

【請求項12】

着色対象データを取得するデータ取得部と、
前記着色対象データに対する複数の異なるヒント情報の指定方法から選択された第１指定方法によって、前記着色対象データに対する少なくとも１つの第１ヒント情報を取得し、
前記着色対象データに対する前記複数の異なるヒント情報の指定方法から選択された第３指定方法によって、前記着色対象データに対する少なくとも１つの第３ヒント情報を取得し、
学習済モデルに基づいて、前記第１ヒント情報と前記第３ヒント情報とを使用して、前記着色対象データに着色処理を行う着色処理部を有する、
自動着色システム。

【請求項13】

前記複数の異なるヒント情報の指定方法は、少なくとも、ドット、線分または塗りつぶしのうち、いずれか２つ以上を含む、請求項１１または１２に記載の自動着色システム。

【請求項14】

前記少なくとも１つの第１ヒント情報は異なる色の中から選択された色の情報を含む、請求項１１から１３までのいずれか一項に記載の自動着色システム。

【請求項15】

前記少なくとも１つの第１ヒント情報を削除する情報入力ツールを表示画面に有する、請求項１１から１４までのいずれか一項に記載の自動着色システム。

【請求項16】

前記少なくとも１つの第１ヒント情報はペンツールによって取得される、請求項１１から１５までのいずれか一項に記載の自動着色システム。

【請求項17】

前記着色処理部は、前記着色処理された前記着色対象データに対する前記複数の異なるヒント情報の指定方法から選択された第２指定方法によって、前記着色対象データに対する少なくとも１つの第２ヒント情報を取得し、前記学習済モデルに基づいて、前記少なくとも１つの第２ヒント情報を使用して、前記着色処理された前記着色対象データに再着色処理を行う、請求項１１から１６までのいずれか一項に記載の自動着色システム。

【請求項18】

前記自動着色システムは、クライアント端末とサーバ装置とを含み、
前記少なくとも１つの第１ヒント情報の取得は前記クライアント端末で行われ、
前記クライアント端末は、前記少なくとも１つの第１ヒント情報と前記着色対象データを前記サーバ装置に送信し、
前記サーバ装置は、前記学習済モデルに基づいて、前記少なくとも１つの第１ヒント情報を使用して、前記着色対象データへの前記着色処理を行い、
前記サーバ装置は、前記着色処理が行われた前記着色対象データを前記クライアント端末に送信する、請求項１１から１７までのいずれか一項に記載の自動着色システム。

【請求項19】

前記自動着色システムは、クライアント端末とサーバ装置とを含み、
前記少なくとも１つの第１ヒント情報と前記少なくとも１つの第２ヒント情報の取得は前記クライアント端末で行われ、
前記クライアント端末は、前記少なくとも１つの第１ヒント情報、前記着色対象データ、前記少なくとも１つの第２ヒント情報と前記着色処理された着色対象データを前記サーバ装置に送信し、
前記サーバ装置は、前記少なくとも１つの第１ヒント情報が付与された前記着色対象データへの前記着色処理と前記少なくとも１つの第２ヒント情報が付与された前記着色処理された前記着色対象データへの前記再着色処理を行い、
前記サーバ装置は、前記着色処理が行われた前記着色対象データと前記再着色処理が行われた前記着色処理された前記着色対象データを前記クライアント端末に送信する、請求項１７に記載の自動着色システム。

【請求項20】

前記学習済モデルは敵対的生成モデルにより学習された、請求項１１から１９までのいずれか一項に記載の自動着色システム。

【請求項21】

複数の異なるヒント情報の指定方法から選択された第１指定方法によって取得された着色対象データに対する少なくとも１つの第１ヒント情報を使用して、前記着色対象データに着色処理を行うよう、コンピュータを機能させるための学習済モデルであって、
前記複数の異なるヒント情報の指定方法のそれぞれは、ユーザーが前記着色対象データの一部を指定する方法で行われる、
学習済モデル。

【請求項22】

複数の異なるヒント情報の指定方法から選択された第１指定方法によって取得された着色対象データに対する少なくとも１つの第１ヒント情報と、前記複数の異なるヒント情報の指定方法から選択された第３指定方法によって取得された前記着色対象データに対する少なくとも１つの第３ヒント情報を使用して前記着色対象データに対して着色処理を行うよう、コンピュータを機能させるための学習済モデル。

【請求項23】

前記複数の異なるヒント情報の指定方法は、少なくとも、ドット、線分または塗りつぶしのうち、いずれか２つ以上を含む、請求項２１または２２に記載の学習済モデル。

【請求項24】

前記少なくとも１つの第１ヒント情報は異なる色の中から選択された色の情報を含む、請求項２１から２３までのいずれか一項に記載の学習済モデル。

【請求項25】

前記少なくとも１つの第１ヒント情報はペンツールによって取得される、請求項２１から２４までのいずれか一項に記載の学習済モデル。

【請求項26】

前記少なくとも１つの第１ヒント情報は、２つ以上のヒント情報である、請求項２１から２５までのいずれか一項に記載の学習済モデル。

【請求項27】

前記複数の異なるヒント情報の指定方法から選択された第２指定方法によって取得された前記着色処理された前記着色対象データに対する少なくとも１つの第２ヒント情報を使用して、前記着色処理された前記着色対象データに再着色処理を行う、
請求項２１から２６までのいずれか一項に記載の学習済モデル。

【請求項28】

前記第１指定方法の選択はクライアント端末で行われ、前記着色処理はサーバ装置で行われる、請求項２１から２７までのいずれか一項に記載の学習済モデル。

【請求項29】

前記第１指定方法と前記第２指定方法の選択はクライアント端末で行われ、前記着色処理と前記再着色処理はサーバ装置で行われる、請求項２７に記載の学習済モデル。

【請求項30】

学習済モデルは、敵対的生成モデルにより学習された、請求項２１から２９までのいずれか一項に記載の学習済モデル。

【請求項31】

請求項１から１０までのいずれか一項に記載の自動着色方法を用いて着色済画像を生成する方法。

【請求項32】

前記複数の異なるヒント情報の指定方法は、それぞれ色の与え方が異なる請求項１から１０までのいずれか一項に記載の自動着色方法。

【請求項33】

前記複数の異なるヒント情報の指定方法は、それぞれ色の与え方が異なる請求項１１から２０までのいずれか一項に記載の自動着色システム。

【請求項34】

前記複数の異なるヒント情報の指定方法は、それぞれ色の与え方が異なる請求項２１から３０までのいずれか一項に記載の学習済モデル。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、線画画像に対して自動で着色を施すための線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラムに関するものである。

【背景技術】

【0002】

近年、ディープラーニングと呼ばれる多層構造のニューラルネットワークを用いた機械学習が様々な分野において適用されている。画像認識や画像生成といった画像処理の分野においても活用が目立ち、目覚ましい成果を上げている。

【0003】

例えば、非特許文献１は、白黒写真の自動色付けの処理をディープネットワークによって実現したものであり、白黒写真の着色処理を機械学習によって実現している。

【先行技術文献】

【非特許文献】

【0004】

【文献】ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け 飯塚里志、シモセラ エドガー、石川博（http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/）

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、線画画像に対して自動で着色を施したいというニーズがある。従来、画像の閉じた領域に対して選択した色で着色を行う機能を備えたソフトウェアは存在したが、手書きの線画画像などは領域が閉じていない場合が多く、従来のソフトウェアでは簡単には着色できない対象であった。

【0006】

また、前記非特許文献１の白黒写真の場合、各ドットが輝度情報を備えており、輝度情報をヒントとして各ドットの色を決定する処理であると思われるが、線画画像は輝度情報を含まない画像であるといえるため、より着色が難しい対象であった。

【0007】

本発明は、上記問題点に鑑みなされたものであり、線画画像に対して自動で着色が可能な線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る線画自動着色プログラムは、線画データに対して自動で着色を行うための処理をコンピュータに実現させるための線画自動着色プログラムであって、前記コンピュータに、着色対象の線画データを取得する線画データ取得機能と、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理機能と、サンプルデータを用いて前記縮小サイズの線画データに対する着色処理について予め学習させた第１学習済モデルに基づいて、前記縮小線画データに対して着色処理を行う第１着色処理機能と、サンプルデータと、このサンプルデータに対して第１着色処理機能において着色処理を行った着色済縮小サンプルデータとを入力として、サンプルデータに対する着色処理について予め学習させた第２学習済モデルに基づいて、前記第１着色処理機能によって前記縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として元の線画データに対して着色処理を行う第２着色処理機能とを実現させることを特徴とする。

【0009】

また、本発明に係る線画自動着色プログラムは、前記コンピュータに、前記線画データに対する少なくとも１色の着色のヒント情報を取得するヒント情報取得機能を実現させ、前記第１着色処理機能では、前記縮小線画データとヒント情報を入力として着色処理を行う機能を実現させることを特徴とする。

【0010】

また、本発明に係る線画自動着色プログラムは、前記第１学習済モデルは、線画データのみからなるヒントなしサンプルデータと、線画データとこの線画データに対する少なくとも１色の着色のヒント情報とからなるヒントありサンプルデータの両方に基づいて学習を行ったものであることを特徴とする。

【0011】

また、本発明に係る線画自動着色プログラムは、前記第１学習済モデルは、線画データに対する着色を学習するジェネレータと、予め着色が施されたテストデータと前記ジェネレータの生成した着色済縮小データを区別することを学習するディスクリミネータとを交互に学習する敵対的生成モデルによって学習されたものであることを特徴とする。

【0012】

本発明に係る線画自動着色装置は、着色対象の線画データを取得する線画データ取得部と、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理部と、サンプルデータを用いて前記縮小サイズの線画データに対する着色処理について予め学習させた第１学習済モデルに基づいて、前記縮小線画データに対して着色処理を行う第１着色処理部と、サンプルデータと、このサンプルデータに対して第１着色処理部において着色処理を行った着色済縮小サンプルデータとを入力として、サンプルデータに対する着色処理について予め学習させた第２学習済モデルに基づいて、前記第１着色処理部によって前記縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として元の線画データに対して着色処理を行う第２着色処理部とを具備したことを特徴とする。

【0013】

本発明に係るグラフィカルユーザインターフェース用プログラムは、前記線画自動着色プログラムを格納したサーバ装置から通信ネットワークを介して接続されるクライアント端末に対して提供される線画自動着色ツールのためのグラフィカルユーザインターフェース用プログラムであって、前記サーバ装置に、前記クライアント端末を操作するユーザが線画データを入力するためのフォーム領域を表示画面に表示する線画データ入力フォーム表示機能と、入力された線画データが示す線画を表示画面に設けられた線画画像表示領域に表示する線画画像表示機能と、前記線画データに対して前記線画自動着色プログラムによって着色処理を行って得た着色済画像データが示す着色済画像を表示画面に設けられた着色済画像表示領域に表示する着色済画像表示機能とを実現させることで前記クライアント端末のディスプレイに対してグラフィカルユーザインターフェースを提供することを特徴とする。

【0014】

また、本発明に係るグラフィカルユーザインターフェース用プログラムは、前記サーバ装置に、前記線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報入力ツールを表示画面に表示してヒント情報の入力を受け付けるヒント情報入力ツール表示機能と、前記ヒント情報入力ツール表示機能によってヒント情報の入力を受け付けた状態において、ヒント情報を含んだ状態で着色処理を実行させるための着色実行ボタンを表示画面に表示する着色実行ボタン表示機能とを実現させることを特徴とする。

【発明の効果】

【0015】

本発明によれば、取得した元のサイズの線画データを縮小した縮小線画データについて先ず着色処理を行い、得られた着色済縮小データと元のサイズの線画データとを用いて２段階目の着色処理を行って、着色済画像を得るようにしたので、サイズの大きな線画データに対する着色処理を適切に行うことが可能となる。着色に用いる第１学習済モデルの学習過程で着色のヒント情報を含む形で学習を進めることにより、線画データへの着色処理に対して着色のヒント情報を付加して着色処理を実施させることが可能となる。また、サーバ装置からクライアント端末のディスプレイの表示画面に対してＧＵＩを提供して、ＧＵＩによって線画自動着色ツールをユーザに提供するようにし、ＧＵＩの機能として線画画像表示領域と着色済画像表示領域とを同一表示画面内に設けるようにしたので、ユーザは元の線画データと着色済画像を並べて観察できるため、着色の前後で変化する作品の雰囲気を直接対比することができる。また、線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報を入力可能とし、ヒント情報を付した状態で再着色処理を実行できるようにしたので、線画データに対してユーザが自由に着色のヒントを与えて自動着色を実行することができる。

【図面の簡単な説明】

【0016】

【図1】本発明に係る線画自動着色装置１０の構成を表したブロック図である。

【図2】第１学習済モデルの学習方法の一例を示したブロック図である。

【図3】本例の線画自動着色装置１０における処理の流れを表したフローチャート図である。

【図4】本例のグラフィカルユーザインターフェース用プログラムによって表示される表示画面の一例を表した説明図であり、（ａ）は線画データ入力時の表示画面であり、（ｂ）は線画データに対する着色処理後の表示画面である。

【図5】第２の実施の形態に係るＧＵＩに基づいて線画自動着色ツールを提供する場合の処理の流れを表したフローチャート図である。

【発明を実施するための形態】

【0017】

［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係る線画自動着色装置の例について説明する。図１は、本発明に係る線画自動着色装置１０の構成を表したブロック図である。なお、線画自動着色装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、線画自動着色装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の線画自動着色装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。

【0018】

図１に示すように、線画自動着色装置１０は、線画データ取得部１１と、縮小処理部１２と、第１着色処理部１３と、第２着色処理部１４と、記憶部１５とを少なくとも備えている。

【0019】

線画データ取得部１１は、着色対象の線画データを取得する機能を有する。本発明において着色対象とする線画について特に制限はないが、対象としたい線画については、後述する学習モデルの学習過程においてサンプルデータに組み込んで予め学習させておくことが望ましい。線の太さやタッチの種類など様々な線画が存在するが、様々な線画データに基づいて学習を行うことで、着色可能な線画の種類が増える。

【0020】

縮小処理部１２は、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る機能を有する。本例の線画自動着色装置１０では、縮小サイズの線画の着色を第１着色処理部１３で行い、それに基づいて元の線画データのサイズの着色を第２着色処理部１４で行うという２段階で着色処理を行う構成となっているため、先ず、取得した線画データを第１着色処理部１３に入力する所定の縮小サイズに縮小する必要がある。

【0021】

第１着色処理部１３は、縮小線画データに対して着色処理を行う機能を有する。着色処理は、線画データで構成されたサンプルデータを用いて縮小サイズの線画データに対する着色処理について予め学習させた第１学習済モデルに基づいて行われる。

【0022】

第２着色処理部１４は、第１着色処理部１３によって縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として、元の線画データに対して着色処理を行う機能を有する。着色処理は、線画データで構成されたサンプルデータと、このサンプルデータに対して第１着色処理部１３において着色処理を行った着色済縮小サンプルデータとを入力として、サンプルデータに対する着色処理について予め学習させた第２学習済モデルに基づいて行われる。

【0023】

記憶部１５は、線画データ取得部１１、縮小処理部１２、第１着色処理部１３、第２着色処理部１４などを含む線画自動着色装置１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。

【0024】

次に、第１着色処理部１３で用いられる第１学習済モデルの学習方法について説明する。図２は、第１学習済モデルの学習方法の一例を示したブロック図である。第１学習済モデルを学習するためのモデルはどのようなものであってもよいが、例えば、敵対的生成モデルを採用することが好ましい。この敵対的生成モデルは、図２に示すように、線画データであるサンプルデータから着色画像を生成することを学習するジェネレータと、ジェネレータが生成した着色済縮小データと予め用意された着色済のテストデータとを区別することを学習するディスクリミネータとで構成され、ジェネレータはディスクリミネータを騙すように着色を学習し、ディスクリミネータは騙されないように区別することを学習し、これら両方の学習を進めていく。

【0025】

また、ジェネレータの学習に利用する線画データで構成されたサンプルデータは、着色に関するヒント情報のないサンプルデータと、着色に関するヒント情報を含むサンプルデータの両方によって学習が行われるものとする。ヒント情報なしのサンプルデータとヒント情報ありのサンプルデータとの比率については様々なパターンが考えられるが、例えば、ヒント情報なしのサンプルデータを４０％とし、ヒント情報ありのサンプルデータを６０％とすることが考えられる。また、ヒント情報ありのサンプルデータは、ヒント情報としての彩色の色指定の数を１～１２８の間で設定したものであるものとする。また、ヒント情報の与え方としては、彩色指定を１ドットで与えるものや、線分で彩色指定を行うものや、所定範囲を指定の色で塗り潰して指定するものなど、様々なヒント情報の与え方を学習段階で予め行っておくことで、ユーザの様々なヒント情報の与え方に対応できるようにすることが好ましい。

【0026】

このように、ヒント情報なしのサンプルデータと幅広いヒント情報の数に設定されたヒント情報ありのサンプルデータとの両方で学習を行うことで、ヒント情報の有無の何れにおいても着色処理を行うことが可能な第１学習済モデルを得ることができる。なお、この第１学習済モデルの学習に利用されるサンプルデータは、縮小処理部１２において縮小されたことを前提とした所定の縮小サイズのサンプルデータが用いられている。

【0027】

第２着色処理部１３で用いられる第２学習済モデルの学習方法については、第１学習済モデルの場合と同様に、学習するためのモデルはどのようなものであってもよいが、例えば、敵対的生成モデルを採用することができる。第２学習済モデルの学習に利用するサンプルデータは、第１学習済モデルによって生成された着色済縮小データとこの着色済縮小データの元となった線画データ（所定の縮小サイズよりも大きな画像サイズの線画データ）である。これら２つをジェネレータに対する入力とし、ジェネレータにおいて元となった線画データに対して着色処理を行うことを学習する。また、ジェネレータが生成した着色済データと予め用意された着色済のテストデータとを区別することをディスクリミネータにおいて学習する。ジェネレータはディスクリミネータを騙すように着色処理を学習し、ディスクリミネータは騙されないように区別することを学習し、これら両方の学習を進めていくことで、第２学習済モデルを得ることができる。なお、第２学習済モデルの学習に利用する着色済み縮小データについては、元の線画データのサイズと一致するように拡大処理を行ってからジェネレータに入力して学習をさせるようにしてもよい。

【0028】

なお、上記の第１学習済モデル及び第２学習済モデルの学習においては、線画データのサンプルデータと着色済のテストデータの両方を必要とする。そして、これらが全く別々の画像であるよりも、線画データとその線画データに着色処理が施された着色済テストデータとがセットで準備できることが好ましい。そこで、着色済みの画像からエッジ抽出処理等の画像処理を用いて線画を生成して、線画データと着色済画像データをセットで準備するようにしてもよい。そのとき、ヒント情報として利用するために、元の着色済みの画像における着色情報をヒント情報として抽出するようにすることで、ヒント情報ありのサンプルデータの生成も行うことが可能となる。

【0029】

サイズの大きい線画データについて直接着色処理を行うことを学習させようと思うと、学習の収束が上手くいかなかったり学習処理に要する演算時間が膨大になったりなど、問題が生じてしまう可能性がある。しかし、本例のように、所定の縮小サイズに縮小してから第１の着色処理を行い、第１の着色処理の結果を用いて元のサイズの線画データの着色処理を行うというように、２段階で学習を行うことで、サイズの大きな線画データに対する着色処理の学習を上手く行うことができ、学習処理に要する時間も短縮することが可能となる。

【0030】

次に、本例の線画自動着色装置１０における着色処理の流れについて説明する。図３は、本例の線画自動着色装置１０における着色処理の流れを表したフローチャート図である。本例の線画自動着色装置１０における着色処理は、先ず、線画データを取得することで開始される（ステップＳ０１）。例えば、着色処理対象の線画データをユーザが選択することで取得が行われる。このとき、線画データの取得とともに、線画データに対する着色のヒント情報を併せて取得するようにしてもよい。取得した線画データについて、所定の縮小サイズとなるように縮小処理を行う（ステップＳ０２）。このとき、元のサイズの線画データについても別途保持しておく。

【0031】

次に、縮小線画データに対する第１着色処理を行う（ステップＳ０３）。第１着色処理は、縮小サイズの着色処理について予め学習を行った第１学習済モデルに基づいて行われる。このとき、ヒント情報を含む場合には、ヒント情報が付された状態で第１学習済モデルに基づいて着色が行われる。この第１着色処理の結果として、着色済縮小データが得られる。

【0032】

次に、ステップＳ０１で取得した元のサイズの線画データに対する第２着色処理を行う（ステップＳ０４）。第２着色処理は、元のサイズの線画データの着色処理について着色済み縮小データを利用して予め学習を行った第２学習済モデルに基づいて行われる。このとき、着色済み縮小データについて元の線画データのサイズと一致するように拡大処理を行ってから入力するようにしてもよい。得られた着色済データを着色済画像として出力し（ステップＳ０５）、着色処理を終了する。

【0033】

以上のように、第１の実施の形態に係る線画自動着色装置１０によれば、取得した元のサイズの線画データを縮小した縮小線画データについて先ず着色処理を行い、得られた着色済縮小データと元のサイズの線画データとを用いて２段階目の着色処理を行って、着色済画像を得るようにしたので、サイズの大きな線画データに対する着色処理を適切に行うことが可能となる。着色処理に用いる第１学習済モデルの学習過程で着色のヒント情報を含む形で学習を進めることにより、線画データの着色処理に対して着色のヒント情報を付加して着色処理を実施させることが可能となる。

【0034】

［第２の実施の形態］
以下、図面を参照しながら、第２の実施の形態に係る線画自動着色ツールを提供するためのグラフィカルユーザインターフェース用プログラムの例について説明する。第１の実施の形態においては線画自動着色装置１０として説明を行ったが、線画自動着色プログラムをサーバ装置に備えさせ、クライアント端末から通信ネットワークを介して当該サーバ装置にアクセスしてきたユーザに対して線画自動着色ツールを提供するという手法が考えられる。そのような場合には、パッケージのソフトウェアによってクライアント端末に対してツールを提供する場合に限らず、クライアント端末のディスプレイに表示させるブラウザ等においてグラフィカルユーザインターフェース（ＧＵＩ）を機能させて線画自動着色ツールを提供することも可能である。

【0035】

以下の説明においては、サーバ装置に線画自動着色プログラムと線画自動着色プログラムにおいて利用する第１学習済モデル及び第２学習済モデルが格納されており、クライアント端末から通信ネットワークを介してサーバ装置にアクセスして線画自動着色ツールを利用する場合を例として説明を行うが、これらが全て格納されたクライアント端末の場合であっても同様のＧＵＩを利用可能であるため、何れもが本例の対象となるものであることはいうまでもない。

【0036】

図４は、本例のグラフィカルユーザインターフェース用プログラムによって表示される表示画面の一例を表した説明図であり、（ａ）は線画データ入力時の表示画面であり、（ｂ）は線画データに対する着色処理後の表示画面である。サーバ装置からクライアント端末に対して線画自動着色ツールを提供する場合、先ず、図４（ａ）に示すように、ユーザが線画データを入力するためのフォーム領域である線画データ入力フォームをクライアント端末のディスプレイに対して、例えば、Ｗｅｂブラウザ等を介して表示させる。この線画データ入力フォームは、図４（ａ）ではファイルのパスを指定する方法で線画データを入力するものとしているが、これに限定されるものではなく、例えば、ドラッグ＆ドロップで線画データを選択するような手法であってもよい。なお、本例において表示画面とは、グラフィカルユーザインターフェース用プログラムやＷｅｂブラウザなどによってＧＵＩを提供する際にユーザに対して表示される画面のことをいうものとし、サーバ装置で生成された表示画面と、クライアント端末で生成された表示画面のいずれの場合も含むものとする。

【0037】

線画データが指定されると、自動的に着色処理が開始される。選択された線画データはサーバ装置に送信され、サーバ装置において線画自動着色プログラムによって着色処理が行われ、結果として得られた着色済画像データがクライアント端末に送信される。図４（ｂ）に示すように、線画画像表示領域にユーザが選択した線画データが示す線画が表示され、着色済画像表示領域に着色済画像データが示す着色済画像が表示される。選択された線画画像と着色済画像が同一画面に並べて表示されるため、ユーザは着色の前後の画像を同時に観察して確認することができる。

【0038】

また、図４（ｂ）に示すように、線画画像と着色済画像を表示する画面内には、線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報入力ツールが表示される。ヒント情報入力ツールは、図４（ｂ）に示した例では、「作業を１つ戻す」「作業を１つ進める」「ヒント情報を入力するペンの選択」「入力したヒント情報の削除（消しゴム）」「着色する色の選択」となっているが、これに限られるものではない。例えばマウス操作によって、着色する色を選択して、選択した色で線画画像表示領域内の線画画像の着色すべき箇所に対して、実際にポインタでドットの追加、線分の記入、領域の塗り潰し等の手法によって着色行うことでヒント情報を与える。そして、同一画面内に表示された着色実行ボタンをマウス操作等によってクリックすると、ヒント情報を含んだ状態で着色処理が実行され、ヒント情報が反映された着色済画像が着色済画像表示領域に表示される。

【0039】

図５は、第２の実施の形態に係るＧＵＩに基づいて線画自動着色ツールを提供する場合の処理の流れを表したフローチャート図である。線画自動着色ツールの提供の処理の流れは、図５に示すように、サーバ装置からクライアント端末のディスプレイの表示画面に対して、線画データ入力フォームを表示させて線画データの入力を受付けることによって開始される（ステップＳ２１）。ユーザによって線画データの入力が行われると、線画データがサーバ装置に送信され、線画データを取得したサーバ装置において線画データに対する着色処理を実行する（ステップＳ２２）。このステップＳ２２における着色処理の実行は、図３のフローチャートを用いて説明した第１の実施の形態における着色処理の流れと同様であり、図３のステップＳ０１～Ｓ０５のステップと同様の処理がこのステップＳ２２において実行される。

【0040】

着色処理によって得られた着色済画像データはクライアント端末に送信され、クライアント端末では、表示画面に設けられた線画画像表示領域に線画データが示す線画画像を表示させ、着色済画像表示領域に着色済画像データが示す着色済画像を表示させる（ステップＳ２３）。また、表示画面に対してヒント情報入力ツールを表示させ、ヒント情報入力ツールによるヒント情報の入力を受付ける（ステップＳ２４）。着色のヒントを与えて再着色を行いたいユーザは、線画画像表示領域に表示された線画画像に対して着色のヒント情報を与える。そして、着色実行ボタンをクリックして再着色が指示された場合（ステップＳ２５－Ｙ）には、ヒント情報と線画データがサーバ装置に送信され、ヒント情報が付された状態で再着色処理が実行される（ステップＳ２２）。再着色処理によって得られたヒント情報が与えられた着色済画像データがクライアント端末に送信され、着色済画像表示領域にヒント情報が与えられた着色済画像データが示す着色済画像が表示される（ステップＳ２３）。このようにして、ユーザが望む着色済画像データが得られて再着色の必要がなくなった段階（ステップＳ２５－Ｎ）で、線画自動着色ツールが終了される。

【0041】

以上のように、サーバ装置からクライアント端末のディスプレイの表示画面に対してＧＵＩを提供して、ＧＵＩによって線画自動着色ツールをユーザに提供するようにし、ＧＵＩの機能として線画画像表示領域と着色済画像表示領域とを同一表示画面内に設けるようにしたので、ユーザは元の線画画像と着色済画像を並べて観察できるため、着色の前後で変化する作品の雰囲気を直接対比することができる。また、線画画像表示領域に表示された線画データが示す線画画像に対して選択した色で着色すべき箇所を指定するためのヒント情報を入力可能とし、ヒント情報を付した状態で再着色処理を実行できるようにしたので、線画画像に対してユーザが自由に着色のヒントを与えて自動着色を実行することができる。なお、このヒント情報の付加は、その場所を指定した色で塗ることを指定するものではなく、ヒント情報が含まれた状態で学習済モデルに着色を実行させるものであるため、必ずしも指定した色で着色されるとは限らないものであるといえる。線画自動着色プログラムが利用する第１学習済モデル及び第２学習済モデルの学習過程でヒント情報を含ませて学習しているため、学習に利用したサンプルデータ及びヒント情報の傾向によって指定したヒント情報がどのように採用されるかが決まるといえる。この点は、指定した色で着色を行う従来の画像編集ソフト等における着色処理とは全く異なる機能であり、本発明の特徴的部分であるといえる。

【0042】

前記第２の実施の形態において、ＧＵＩ上で線画データ入力フォームによって線画データを入力すると自動で着色処理が行われるようにしていたが、これは一例であり、線画データを入力した段階で線画画像表示領域に線画データが示す線画画像を表示して、ヒント情報の入力を行えるようにしてもよい。このように処理の順序を変更したとしても本発明の効果が失われることはない。

【0043】

前記第１及び第２の実施の形態においては、線画データを所定の縮小サイズに縮小して１段階目の着色処理を第１着色処理部で実行し、結果として得られた着色済縮小データと
元のサイズの線画データとを利用して２段階目の着色処理を第２着色処理部で実行する構成としていた。これは、サイズの大きな線画データに対する着色処理を適切に行うために行っているものであり、本例では２段階に分けて処理を行ったが、これに限定されるものではなく、３段階以上に処理を分けて着色を行うものであってもよい。

【符号の説明】

【0044】

１０ 線画自動着色装置
１１ 線画データ取得部
１２ 縮小処理部
１３ 第１着色処理部
１４ 第２着色処理部
１５ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】