知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024106593
(43)【公開日】2024-08-08
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
G06T 19/20 20110101AFI20240801BHJP
【ＦＩ】
G06T19/20
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023010942
(22)【出願日】2023-01-27
(71)【出願人】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】高瀬 紘一
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050AA09
5B050BA06
5B050BA09
5B050BA18
5B050CA07
5B050CA08
5B050EA04
5B050EA09
5B050EA18
5B050EA26
5B050FA02
5B050FA05
5B050GA08
(57)【要約】
【課題】線画画像の自動着色において一定の着色性能を保ちつつ人手による作業負担を軽減することが可能な画像処理装置、画像処理方法、及びプログラムを提供する。
【解決手段】線画画像を着色した着色画像を得るために必要となる参考着色画像を、ユーザが前記参考着色画像に対応する参考線画画像を手動で着色することで用意する際に着色候補となる複数の参考線画画像について、それぞれの参考線画画像間の類似度を算出する類似度算出部と、算出された前記類似度に基づき、所定の条件を満たす前記類似度に対応する参考線画画像を選択する画像選択部と、選択された参考線画画像を、前記ユーザが前記参考着色画像を用意するために手動で着色する着色対象として前記ユーザへ提示する画像提示部と、を備える画像処理装置。
【選択図】図２
【解決手段】線画画像を着色した着色画像を得るために必要となる参考着色画像を、ユーザが前記参考着色画像に対応する参考線画画像を手動で着色することで用意する際に着色候補となる複数の参考線画画像について、それぞれの参考線画画像間の類似度を算出する類似度算出部と、算出された前記類似度に基づき、所定の条件を満たす前記類似度に対応する参考線画画像を選択する画像選択部と、選択された参考線画画像を、前記ユーザが前記参考着色画像を用意するために手動で着色する着色対象として前記ユーザへ提示する画像提示部と、を備える画像処理装置。
【選択図】図２
【特許請求の範囲】
【請求項1】
線画画像を着色した着色画像を得るために必要となる参考着色画像を、ユーザが前記参考着色画像に対応する参考線画画像を手動で着色することで用意する際に着色候補となる複数の参考線画画像について、それぞれの参考線画画像間の類似度を算出する類似度算出部と、
算出された前記類似度に基づき、所定の条件を満たす前記類似度に対応する参考線画画像を選択する画像選択部と、
選択された参考線画画像を、前記ユーザが前記参考着色画像を用意するために手動で着色する着色対象として前記ユーザへ提示する画像提示部と、
を備える画像処理装置。
算出された前記類似度に基づき、所定の条件を満たす前記類似度に対応する参考線画画像を選択する画像選択部と、
選択された参考線画画像を、前記ユーザが前記参考着色画像を用意するために手動で着色する着色対象として前記ユーザへ提示する画像提示部と、
を備える画像処理装置。
【請求項2】
前記画像選択部は、前記類似度算出部によって算出された前記類似度と、前記参考線画画像を選択する基準となる第１の所定の類似度とを比較し、前記第１の所定の類似度よりも低い前記類似度に対応する前記参考線画画像を選択する、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記類似度算出部は、前記複数の参考線画画像に含まれる参考線画画像ごとに、他の参考線画画像との類似度の代表値を算出し、
前記画像選択部は、前記類似度算出部によって算出された前記代表値と、前記参考線画画像を選択する基準となる第２の所定の類似度とを比較し、前記第２の所定の類似度よりも高い前記代表値に対応する参考線画画像をさらに選択する、
請求項２に記載の画像処理装置。
前記画像選択部は、前記類似度算出部によって算出された前記代表値と、前記参考線画画像を選択する基準となる第２の所定の類似度とを比較し、前記第２の所定の類似度よりも高い前記代表値に対応する参考線画画像をさらに選択する、
請求項２に記載の画像処理装置。
【請求項4】
前記画像提示部は、前記画像選択部によって選択された前記参考線画画像について前記類似度算出部によって算出された前記類似度と、前記参考線画画像を選択する基準となる第３の所定の類似度とを比較し、前記第３の所定の類似度よりも低い前記類似度が存在する場合、前記第３の所定の類似度よりも低い前記類似度に対応する複数の参考線画画像の間を補間する参考線画画像を取得するよう前記ユーザへ提示する、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
複数の参考線画画像の間を補間する参考線画画像を生成する画像補間部、
をさらに備え、
前記類似度算出部は、前記ユーザによって予め用意される前記複数の参考線画画像に前記画像補間部によって生成された前記参考線画画像も含めて、前記類似度を算出する、
請求項１に記載の画像処理装置。
をさらに備え、
前記類似度算出部は、前記ユーザによって予め用意される前記複数の参考線画画像に前記画像補間部によって生成された前記参考線画画像も含めて、前記類似度を算出する、
請求項１に記載の画像処理装置。
【請求項6】
前記画像補間部は、前記複数の参考線画画像に基づき復元された対象物の三次元形状から、所定の視点方向の参考線画画像を生成する、
請求項５に記載の画像処理装置。
請求項５に記載の画像処理装置。
【請求項7】
ユーザが線画画像を着色した着色画像を得るために必要となる参考着色画像を用意するために手動で着色する着色対象として、前記参考着色画像に対応する参考線画画像が示す対象物の三次元形状を取得する三次元形状取得部と、
前記ユーザからの入力に応じて、取得された前記三次元形状を着色する三次元形状着色部と、
前記着色画像を得るための着色対象となる線画画像の視点方向を探索する視点方向探索部と、
前記三次元形状着色部によって着色された前記三次元形状から、前記視点方向探索部によって探索された前記視点方向からの参考着色画像を生成する参考着色画像生成部と、
前記参考着色画像生成部によって生成された前記参考着色画像に基づく前記ユーザからの入力、又は前記参考着色画像の入力に基づき、前記着色画像を得るための着色対象となる線画画像を着色する線画画像着色部と、
を備える画像処理装置。
前記ユーザからの入力に応じて、取得された前記三次元形状を着色する三次元形状着色部と、
前記着色画像を得るための着色対象となる線画画像の視点方向を探索する視点方向探索部と、
前記三次元形状着色部によって着色された前記三次元形状から、前記視点方向探索部によって探索された前記視点方向からの参考着色画像を生成する参考着色画像生成部と、
前記参考着色画像生成部によって生成された前記参考着色画像に基づく前記ユーザからの入力、又は前記参考着色画像の入力に基づき、前記着色画像を得るための着色対象となる線画画像を着色する線画画像着色部と、
を備える画像処理装置。
【請求項8】
前記三次元形状取得部は、複数の参考線画画像に基づき、前記対象物の前記三次元形状を復元する、
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項9】
前記三次元形状取得部は、予め用意される前記対象物の三次元形状データを、前記対象物の前記三次元形状として取得する、
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項10】
類似度算出部が、線画画像を着色した着色画像を得るために必要となる参考着色画像を、ユーザが前記参考着色画像に対応する参考線画画像を手動で着色することで用意する際に着色候補となる複数の参考線画画像について、それぞれの参考線画画像間の類似度を算出する類似度算出過程と、
画像選択部が、算出された前記類似度に基づき、所定の条件を満たす前記類似度に対応する参考線画画像を選択する画像選択過程と、
画像提示部が、選択された参考線画画像を、前記ユーザが前記参考着色画像を用意するために手動で着色する着色対象として前記ユーザへ提示する画像提示過程と、
を含む画像処理方法。
画像選択部が、算出された前記類似度に基づき、所定の条件を満たす前記類似度に対応する参考線画画像を選択する画像選択過程と、
画像提示部が、選択された参考線画画像を、前記ユーザが前記参考着色画像を用意するために手動で着色する着色対象として前記ユーザへ提示する画像提示過程と、
を含む画像処理方法。
【請求項11】
コンピュータを、
線画画像を着色した着色画像を得るために必要となる参考着色画像を、ユーザが前記参考着色画像に対応する参考線画画像を手動で着色することで用意する際に着色候補となる複数の参考線画画像について、それぞれの参考線画画像間の類似度を算出する類似度算出手段と、
算出された前記類似度に基づき、所定の条件を満たす前記類似度に対応する参考線画画像を選択する画像選択手段と、
選択された参考線画画像を、前記ユーザが前記参考着色画像を用意するために手動で着色する着色対象として前記ユーザへ提示する画像提示手段と、
として機能させるためのプログラム。
線画画像を着色した着色画像を得るために必要となる参考着色画像を、ユーザが前記参考着色画像に対応する参考線画画像を手動で着色することで用意する際に着色候補となる複数の参考線画画像について、それぞれの参考線画画像間の類似度を算出する類似度算出手段と、
算出された前記類似度に基づき、所定の条件を満たす前記類似度に対応する参考線画画像を選択する画像選択手段と、
選択された参考線画画像を、前記ユーザが前記参考着色画像を用意するために手動で着色する着色対象として前記ユーザへ提示する画像提示手段と、
として機能させるためのプログラム。
【請求項12】
三次元形状取得部が、ユーザが線画画像を着色した着色画像を得るために必要となる参考着色画像を用意するために手動で着色する着色対象として、前記参考着色画像に対応する参考線画画像が示す対象物の三次元形状を取得する三次元形状取得過程と、
三次元形状着色部が、前記ユーザからの入力に応じて、取得された前記三次元形状を着色する三次元形状着色過程と、
視点方向探索部が、前記着色画像を得るための着色対象となる線画画像の視点方向を探索する視点方向探索過程と、
参考着色画像生成部が、前記三次元形状着色部によって着色された前記三次元形状から、前記視点方向探索部によって探索された前記視点方向からの参考着色画像を生成する参考着色画像生成過程と、
線画画像着色部が、前記参考着色画像生成部によって生成された前記参考着色画像に基づく前記ユーザからの入力、又は前記参考着色画像の入力に基づき、前記着色画像を得るための着色対象となる線画画像を着色する線画画像着色過程と、
を含む画像処理方法。
三次元形状着色部が、前記ユーザからの入力に応じて、取得された前記三次元形状を着色する三次元形状着色過程と、
視点方向探索部が、前記着色画像を得るための着色対象となる線画画像の視点方向を探索する視点方向探索過程と、
参考着色画像生成部が、前記三次元形状着色部によって着色された前記三次元形状から、前記視点方向探索部によって探索された前記視点方向からの参考着色画像を生成する参考着色画像生成過程と、
線画画像着色部が、前記参考着色画像生成部によって生成された前記参考着色画像に基づく前記ユーザからの入力、又は前記参考着色画像の入力に基づき、前記着色画像を得るための着色対象となる線画画像を着色する線画画像着色過程と、
を含む画像処理方法。
【請求項13】
コンピュータを、
ユーザが線画画像を着色した着色画像を得るために必要となる参考着色画像を用意するために手動で着色する着色対象として、前記参考着色画像に対応する参考線画画像が示す対象物の三次元形状を取得する三次元形状取得手段と、
前記ユーザからの入力に応じて、取得された前記三次元形状を着色する三次元形状着色手段と、
前記着色画像を得るための着色対象となる線画画像の視点方向を探索する視点方向探索手段と、
前記三次元形状着色手段によって着色された前記三次元形状から、前記視点方向探索手段によって探索された前記視点方向からの参考着色画像を生成する参考着色画像生成手段と、
前記参考着色画像生成手段によって生成された前記参考着色画像に基づく前記ユーザからの入力、又は前記参考着色画像の入力に基づき、前記着色画像を得るための着色対象となる線画画像を着色する線画画像着色手段と、
として機能させるためのプログラム。
ユーザが線画画像を着色した着色画像を得るために必要となる参考着色画像を用意するために手動で着色する着色対象として、前記参考着色画像に対応する参考線画画像が示す対象物の三次元形状を取得する三次元形状取得手段と、
前記ユーザからの入力に応じて、取得された前記三次元形状を着色する三次元形状着色手段と、
前記着色画像を得るための着色対象となる線画画像の視点方向を探索する視点方向探索手段と、
前記三次元形状着色手段によって着色された前記三次元形状から、前記視点方向探索手段によって探索された前記視点方向からの参考着色画像を生成する参考着色画像生成手段と、
前記参考着色画像生成手段によって生成された前記参考着色画像に基づく前記ユーザからの入力、又は前記参考着色画像の入力に基づき、前記着色画像を得るための着色対象となる線画画像を着色する線画画像着色手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年、ディスプレイを備えたモバイル端末の普及に伴い、当該モバイル端末のディスプレイに表示させて閲覧するための電子書籍も普及している。電子書籍では、書籍、雑誌、漫画、新聞などのコンテンツを閲覧することができる。漫画の電子書籍化においては、既存のモノクロ漫画に対するカラー化の要望がある。既存のモノクロ漫画をカラー化するためには、既存のモノクロ漫画の線画に対して着色する必要があるが、手動で着色することは負担が大きかった。そこで、既存のモノクロ漫画をカラー化する際の負担を軽減するための技術が各種提案されている。
【0003】
例えば、下記特許文献１には、着色対象となる線画画像に類似した着色済みの着色画像を取得し、当該着色画像を参考にユーザが手動で線画画像を着色すること、及び当該着色画像を参考に装置が自動で線画画像を着色することを可能とする技術が開示されている。
また、下記特許文献２には、線画画像と着色画像とをペアとする学習データを用いて機械学習した学習済みモデルを用いて、着色対象となる線画画像を自動で着色する技術が開示されている。
また、下記特許文献２には、線画画像と着色画像とをペアとする学習データを用いて機械学習した学習済みモデルを用いて、着色対象となる線画画像を自動で着色する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－１１７４９２号公報
【特許文献2】特開２０２０－１０７２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献１の技術や特許文献２の技術では、事前に用意する着色画像群や、線画画像と着色画像とのペアの中に、着色対象となる線画画像に類似した線画画像が着色された着色画像（以下、「参考着色画像」とも称される）が存在する必要がある。これは、着色対象の線画画像が参考着色画像をもとに自動で着色されるためである。このため、参考着色画像が存在しない場合、着色対象となる線画画像を自動で着色する際の着色性能が低下してしまう。よって、ユーザは、着色対象となる線画画像に類似した線画画像を手動で着色することで、事前に参考着色画像を手動で用意する必要がある。
しかしながら、線画画像の着色を自動化する場合、着色参考着色画像が存在しないことが判明するたびに参考着色画像を手動で用意することは、着色自動化の妨げとなってしまう。そこで、事前に必要な参考着色画像を用意する必要があるが、一定の着色性能を保つために必要となる参考着色画像の数は不定である。このため、用意する参考着色画像が必要数未満である場合には着色性能が低下してしまう。一方で、必要数以上に参考着色画像を用意する場合にはユーザの作業負担が高くなってしまう。
しかしながら、線画画像の着色を自動化する場合、着色参考着色画像が存在しないことが判明するたびに参考着色画像を手動で用意することは、着色自動化の妨げとなってしまう。そこで、事前に必要な参考着色画像を用意する必要があるが、一定の着色性能を保つために必要となる参考着色画像の数は不定である。このため、用意する参考着色画像が必要数未満である場合には着色性能が低下してしまう。一方で、必要数以上に参考着色画像を用意する場合にはユーザの作業負担が高くなってしまう。
【0006】
上述の課題を鑑み、本発明の目的は、線画画像の自動着色において一定の着色性能を保ちつつ人手による作業負担を軽減することが可能な画像処理装置、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上述の課題を解決するために、本発明の一態様に係る画像処理装置は、線画画像を着色した着色画像を得るために必要となる参考着色画像を、ユーザが前記参考着色画像に対応する参考線画画像を手動で着色することで用意する際に着色候補となる複数の参考線画画像について、それぞれの参考線画画像間の類似度を算出する類似度算出部と、算出された前記類似度に基づき、所定の条件を満たす前記類似度に対応する参考線画画像を選択する画像選択部と、選択された参考線画画像を、前記ユーザが前記参考着色画像を用意するために手動で着色する着色対象として前記ユーザへ提示する画像提示部と、を備える。
【0008】
本発明の一態様に係る画像処理方法は、類似度算出部が、線画画像を着色した着色画像を得るために必要となる参考着色画像を、ユーザが前記参考着色画像に対応する参考線画画像を手動で着色することで用意する際に着色候補となる複数の参考線画画像について、それぞれの参考線画画像間の類似度を算出する類似度算出過程と、画像選択部が、算出された前記類似度に基づき、所定の条件を満たす前記類似度に対応する参考線画画像を選択する画像選択過程と、画像提示部が、選択された参考線画画像を、前記ユーザが前記参考着色画像を用意するために手動で着色する着色対象として前記ユーザへ提示する画像提示過程と、を含む。
【0009】
本発明の一態様に係るプログラムは、コンピュータを、線画画像を着色した着色画像を得るために必要となる参考着色画像を、ユーザが前記参考着色画像に対応する参考線画画像を手動で着色することで用意する際に着色候補となる複数の参考線画画像について、それぞれの参考線画画像間の類似度を算出する類似度算出手段と、算出された前記類似度に基づき、所定の条件を満たす前記類似度に対応する参考線画画像を選択する画像選択手段と、選択された参考線画画像を、前記ユーザが前記参考着色画像を用意するために手動で着色する着色対象として前記ユーザへ提示する画像提示手段と、として機能させる。
【0010】
本発明の一態様に係る画像処理装置は、ユーザが線画画像を着色した着色画像を得るために必要となる参考着色画像を用意するために手動で着色する着色対象として、前記参考着色画像に対応する参考線画画像が示す対象物の三次元形状を取得する三次元形状取得部と、前記ユーザからの入力に応じて、取得された前記三次元形状を着色する三次元形状着色部と、前記着色画像を得るための着色対象となる線画画像の視点方向を探索する視点方向探索部と、前記三次元形状着色部によって着色された前記三次元形状から、前記視点方向探索部によって探索された前記視点方向からの参考着色画像を生成する参考着色画像生成部と、前記参考着色画像生成部によって生成された前記参考着色画像に基づく前記ユーザからの入力、又は前記参考着色画像の入力に基づき、前記着色画像を得るための着色対象となる線画画像を着色する線画画像着色部と、を備える。
【0011】
本発明の一態様に係る画像処理方法は、三次元形状取得部が、ユーザが線画画像を着色した着色画像を得るために必要となる参考着色画像を用意するために手動で着色する着色対象として、前記参考着色画像に対応する参考線画画像が示す対象物の三次元形状を取得する三次元形状取得過程と、三次元形状着色部が、前記ユーザからの入力に応じて、取得された前記三次元形状を着色する三次元形状着色過程と、視点方向探索部が、前記着色画像を得るための着色対象となる線画画像の視点方向を探索する視点方向探索過程と、参考着色画像生成部が、前記三次元形状着色部によって着色された前記三次元形状から、前記視点方向探索部によって探索された前記視点方向からの参考着色画像を生成する参考着色画像生成過程と、線画画像着色部が、前記参考着色画像生成部によって生成された前記参考着色画像に基づく前記ユーザからの入力、又は前記参考着色画像の入力に基づき、前記着色画像を得るための着色対象となる線画画像を着色する線画画像着色過程と、を含む。
【0012】
本発明の一態様に係るプログラムは、コンピュータを、ユーザが線画画像を着色した着色画像を得るために必要となる参考着色画像を用意するために手動で着色する着色対象として、前記参考着色画像に対応する参考線画画像が示す対象物の三次元形状を取得する三次元形状取得手段と、前記ユーザからの入力に応じて、取得された前記三次元形状を着色する三次元形状着色手段と、前記着色画像を得るための着色対象となる線画画像の視点方向を探索する視点方向探索手段と、前記三次元形状着色手段によって着色された前記三次元形状から、前記視点方向探索手段によって探索された前記視点方向からの参考着色画像を生成する参考着色画像生成手段と、前記参考着色画像生成手段によって生成された前記参考着色画像に基づく前記ユーザからの入力、又は前記参考着色画像の入力に基づき、前記着色画像を得るための着色対象となる線画画像を着色する線画画像着色手段と、として機能させる。
【発明の効果】
【0013】
本発明によれば、線画画像の自動着色において一定の着色性能を保ちつつ人手による作業負担を軽減することができる。
【図面の簡単な説明】
【0014】
【図1】本実施形態に係る画像処理システムの構成の一例を示すブロック図である。
【図2】本実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。
【図3】本実施形態に係る参考線画画像の一例を示す図である。
【図4】本実施形態に係る参考線画画像（左向き）と他の参考線画画像との類似度算出の一例を示す図である。
【図5】本実施形態に係る参考線画画像（正面向き（目開））と他の参考線画画像との類似度算出の一例を示す図である。
【図6】本実施形態に係る参考線画画像（正面向き（目閉））と他の参考線画画像との類似度算出の一例を示す図である。
【図7】本実施形態に係る参考線画画像（右向き）と他の参考線画画像との類似度算出の一例を示す図である。
【図8】本実施形態に係る類似度の分散算出の一例を示す図である。
【図9】本実施形態に係る参考線画画像の入力から参考線画画像の着色までの処理の流れの一例を示すシーケンス図である。
【図10】本実施形態に係る参考線画画像補間処理の流れの一例を示すフローチャートである。
【図11】本実施形態に係る手動着色対象選択処理の流れの一例を示すフローチャートである。
【図12】本実施形態に係る手動着色対象候補選択処理の流れの一例を示すフローチャートである。
【図13】本実施形態に係る学習データの生成から線画画像の着色までの処理の流れの一例を示すシーケンス図である。
【図14】本実施形態の変形例に係る画像処理装置の機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【0015】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
【0016】
＜１．画像処理システムの構成＞
図１を参照して、本実施形態に係る画像処理システムの構成について説明する。図１は、本実施形態に係る画像処理システムの構成の一例を示すブロック図である。
図１に示す画像処理システム１は、線画画像を着色した着色画像を得るためのシステムである。画像処理システム１は、例えば、電子書籍をカラー化するために利用される。電子書籍の一例として、書籍、雑誌、漫画、新聞などのコンテンツがある。以下では、画像処理システム１がモノクロの漫画をカラー化する例を一例として、本実施形態について説明する。
図１を参照して、本実施形態に係る画像処理システムの構成について説明する。図１は、本実施形態に係る画像処理システムの構成の一例を示すブロック図である。
図１に示す画像処理システム１は、線画画像を着色した着色画像を得るためのシステムである。画像処理システム１は、例えば、電子書籍をカラー化するために利用される。電子書籍の一例として、書籍、雑誌、漫画、新聞などのコンテンツがある。以下では、画像処理システム１がモノクロの漫画をカラー化する例を一例として、本実施形態について説明する。
【0017】
なお、以下の説明において、参考着色画像は、線画画像を着色した着色画像を得るために必要となる画像である。また、参考線画画像は、参考着色画像に対応する線画画像である。参考線画画像は、ユーザによって予め複数用意される。参考着色画像は、用意した参考線画画像をユーザが手動で着色することで得られる。
画像処理システム１において線画画像の着色を自動化する場合、線画画像を入力として着色画像を出力するよう機械学習した学習済みモデルが用いられる。この場合、参考線画画像と参考着色画像のペアは、学習済みモデルを生成するための学習データ（教師データ）として用いられる。一方、画像処理システム１において線画画像の着色をユーザが手動で行う場合、参考線画画像は、ユーザが参考着色画像を用意するために手動で着色する着色対象として用いられる。また、参考着色画像は、ユーザが着色画像を得るために線画画像を手動で着色する際に着色の参考となる画像として用いられる。
画像処理システム１において線画画像の着色を自動化する場合、線画画像を入力として着色画像を出力するよう機械学習した学習済みモデルが用いられる。この場合、参考線画画像と参考着色画像のペアは、学習済みモデルを生成するための学習データ（教師データ）として用いられる。一方、画像処理システム１において線画画像の着色をユーザが手動で行う場合、参考線画画像は、ユーザが参考着色画像を用意するために手動で着色する着色対象として用いられる。また、参考着色画像は、ユーザが着色画像を得るために線画画像を手動で着色する際に着色の参考となる画像として用いられる。
【0018】
図１に示すように、画像処理システム１は、ユーザ端末１０と、画像処理装置２０とを備える。ユーザ端末１０と画像処理装置２０は、ネットワークＮＷを介して、互いに通信可能に接続されている。ネットワークＮＷには、情報の授受を行うための構成として、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網、インターネット等が適用される。
【0019】
（１）ユーザ端末１０
ユーザ端末１０は、ユーザが有する端末である。ユーザ端末１０は、例えば、スマートフォン、タブレット端末、又はＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの端末である。
ユーザ端末１０は、ユーザが有する端末である。ユーザ端末１０は、例えば、スマートフォン、タブレット端末、又はＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの端末である。
【0020】
ユーザ端末１０には、ユーザが線画画像の着色を行うためのアプリケーション（以下、「線画着色アプリ」とも称される）によって、線画画像を着色するための画面が表示される。ユーザは、線画着色アプリによってユーザ端末１０に表示される画面をもとに、線画画像の着色を行う。例えば、ユーザは、線画画像の着色のために、参考線画画像入力操作、手動着色操作、線画画像入力操作などを線画着色アプリで行う。
【0021】
なお、線画着色アプリの機能は、ユーザ端末１０に線画着色アプリをインストールすること（即ちネイティブアプリ）で提供されてもよいし、Ｗｅｂシステム（即ちＷｅｂアプリ）によって提供されてもよい。Ｗｅｂシステムの場合、線画着色アプリの機能はＷｅｂブラウザを介して提供される。
【0022】
（２）画像処理装置２０
画像処理装置２０は、線画画像を着色するための装置である。画像処理装置２０は、例えば、１つ又は複数のサーバ（例えば、クラウドサーバ）で構成される。
画像処理装置２０は、線画画像を着色するための装置である。画像処理装置２０は、例えば、１つ又は複数のサーバ（例えば、クラウドサーバ）で構成される。
【0023】
＜２．画像処理装置の機能構成＞
以上、本実施形態に係る画像処理システム１の構成について説明した。続いて、図２から図８を参照して、本実施形態に係る画像処理装置２０の機能構成について説明する。図２は、本実施形態に係る画像処理装置２０の機能構成の一例を示すブロック図である。
図２に示すように、画像処理装置２０は、通信部２１０と、記憶部２２０と、制御部２３０とを備える。
以上、本実施形態に係る画像処理システム１の構成について説明した。続いて、図２から図８を参照して、本実施形態に係る画像処理装置２０の機能構成について説明する。図２は、本実施形態に係る画像処理装置２０の機能構成の一例を示すブロック図である。
図２に示すように、画像処理装置２０は、通信部２１０と、記憶部２２０と、制御部２３０とを備える。
【0024】
（１）通信部２１０
通信部２１０は、各種情報を送受信する機能を有する。例えば、通信部２１０は、ネットワークＮＷを介した画像処理装置２０との通信において、ユーザがユーザ端末１０へ入力した操作内容を示す情報、線画画像、参考線画画像などを受信し、手動による着色の対象となる参考線画画像や手動又は自動で着色された着色画像などを送信する。
通信部２１０は、各種情報を送受信する機能を有する。例えば、通信部２１０は、ネットワークＮＷを介した画像処理装置２０との通信において、ユーザがユーザ端末１０へ入力した操作内容を示す情報、線画画像、参考線画画像などを受信し、手動による着色の対象となる参考線画画像や手動又は自動で着色された着色画像などを送信する。
【0025】
（２）記憶部２２０
記憶部２２０は、各種情報を記憶する機能を有する。記憶部２２０は、画像処理装置２０がハードウェアとして備える記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、又はこれらの記憶媒体の任意の組み合わせによって構成される。
記憶部２２０は、各種情報を記憶する機能を有する。記憶部２２０は、画像処理装置２０がハードウェアとして備える記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、又はこれらの記憶媒体の任意の組み合わせによって構成される。
【0026】
図２に示すように、記憶部２２０は、参考線画画像記憶部２２０１と、参考着色画像記憶部２２０２と、線画画像記憶部２２０３と、着色画像記憶部２２０４と、学習済みモデル記憶部２２０５とを備える。
【0027】
（２－１）参考線画画像記憶部２２０１
参考線画画像記憶部２２０１は、参考線画画像を記憶する機能を有する。参考線画画像記憶部２２０１は、例えば、通信部２１０がユーザ端末１０から受信した参考線画画像を記憶する。
参考線画画像記憶部２２０１は、参考線画画像を記憶する機能を有する。参考線画画像記憶部２２０１は、例えば、通信部２１０がユーザ端末１０から受信した参考線画画像を記憶する。
【0028】
【0029】
図３には、着色対象となるキャラクター（対象物の一例）を示す複数の参考線画画像Ｐ（Ｐ１～Ｐｎ（ｎは自然数））が示されている。参考線画画像Ｐ１～Ｐｎには、キャラクターに対する視点方向を多様に変化させた画像や、キャラクターの状態（顔の向き、目や口の開閉状態、手足の動きなど）を多様に変化させた画像などが含まれる。例えば、参考線画画像Ｐ１には、左向きのキャラクターが示されている。参考線画画像Ｐ２には、正面向き（目開）のキャラクターが示されている。参考線画画像Ｐ３には、正面向き（目閉）のキャラクターが示されている。参考線画画像Ｐ４には、右向きのキャラクターが示されている。
【0030】
なお、参考線画画像Ｐ１～Ｐｎの全てをユーザが手動で着色することによって参考着色画像を得ることは、ユーザにとって作業負担が大きくなってしまう。そこで、本実施形態では、複数の参考線画画像Ｐ１～Ｐｎにおける各画像と他の画像との類似度を利用して、参考線画画像Ｐ１～Ｐｎの中から、より少ない枚数でより多くの情報量（例えば色情報）を得ることができる参考線画画像を選択している。即ち、参考線画画像記憶部２２０１に記憶されている参考線画画像は、ユーザが参考着色画像を得るために手動で着色する参考線画画像の候補（着色候補）ともいえる。
【0031】
例えば、類似度が高い参考線画画像同士の場合、一方の参考線画画像があればもう一方の参考線画画像が示す内容を予想することができる。このため、類似度が高い参考線画画像同士の場合、一方の参考線画画像のみを選択して着色すればよいといえる。一方、類似度が低い参考線画画像同士の場合、一方の参考線画画像からもう一方の参考線画画像が示す内容を予想することは難しくなる。このため、類似度が低い参考線画画像同士の場合、両方の参考線画画像を選択して着色した方がよいといえる。即ち、参考線画画像間の類似度が低く差分が大きいほど、より多くの情報量を得ることができるため、着色対象の参考線画画像として選択されやすいともいえる。
ユーザは、複数の参考線画画像Ｐ１～Ｐｎの中から選択された参考線画画像のみを手動で着色することで、手動で着色する参考線画画像の枚数を減らすことができる。これにより、画像処理装置２０は、一定の着色性能を保ちつつ、ユーザが手動で着色することによる作業負担を軽減することができる。
ユーザは、複数の参考線画画像Ｐ１～Ｐｎの中から選択された参考線画画像のみを手動で着色することで、手動で着色する参考線画画像の枚数を減らすことができる。これにより、画像処理装置２０は、一定の着色性能を保ちつつ、ユーザが手動で着色することによる作業負担を軽減することができる。
【0032】
類似度は、例えば次のように算出される。図３に示す参考線画画像Ｐ１と参考線画画像Ｐ２では、顔の向きが異なっているが、どちらも目が開いた状態であり、キャラクターの見えている範囲（情報量）にあまり差分がない。これより、参考線画画像Ｐ１と参考線画画像Ｐ２の類似度は、例えば「中」程度の数値が算出される。また、例えば、参考線画画像Ｐ２と参考線画画像Ｐ３では、目の開閉状態が異なっているが、キャラクターの顔の向きは同じであり、キャラクターの見えている範囲（情報量）はほぼ同じである。これより、参考線画画像Ｐ２と参考線画画像Ｐ３の類似度は、例えば「高」程度の数値が算出される。また、例えば、参考線画画像Ｐ３と参考線画画像Ｐｎでは、顔の向きと目の開閉状態の両方が異なっているが、キャラクターの見えている範囲（情報量）にあまり差分がない。これより、参考線画画像Ｐ３と参考線画画像Ｐｎの類似度は、例えば「中」程度の数値が算出される。また、例えば、参考線画画像Ｐｎと参考線画画像Ｐ１では、目の開閉状態は同じであるが、顔の向きが異なっており、キャラクターの見えている範囲（情報量）の差分が大きい。これより、参考線画画像Ｐｎと参考線画画像Ｐ１の類似度は、例えば「小」程度の数値が算出される。
このように類似度が算出された場合、例えば類似度が「小」程度である参考線画画像Ｐ１（左向き）と参考線画画像Ｐｎ（右向き）が着色される参考線画画像として選択される。これは、この２枚の参考線画画像のように左向きの画像と右向きの画像があれば、正面向き（目開）の画像と正面向き（目閉）の画像を予想することができるためである。
このように類似度が算出された場合、例えば類似度が「小」程度である参考線画画像Ｐ１（左向き）と参考線画画像Ｐｎ（右向き）が着色される参考線画画像として選択される。これは、この２枚の参考線画画像のように左向きの画像と右向きの画像があれば、正面向き（目開）の画像と正面向き（目閉）の画像を予想することができるためである。
【0033】
（２－２）参考着色画像記憶部２２０２
参考着色画像記憶部２２０２は、参考着色画像を記憶する機能を有する。参考着色画像記憶部２２０２は、例えば、参考線画画像記憶部２２０１に記憶された参考線画画像のうち、ユーザによって手動で着色された参考線画画像を参考着色画像として記憶する。
参考着色画像記憶部２２０２は、参考着色画像を記憶する機能を有する。参考着色画像記憶部２２０２は、例えば、参考線画画像記憶部２２０１に記憶された参考線画画像のうち、ユーザによって手動で着色された参考線画画像を参考着色画像として記憶する。
【0034】
（２－３）線画画像記憶部２２０３
線画画像記憶部２２０３は、線画画像を記憶する機能を有する。線画画像記憶部２２０３は、例えば、通信部２１０がユーザ端末１０から受信した線画画像を記憶する。
線画画像記憶部２２０３は、線画画像を記憶する機能を有する。線画画像記憶部２２０３は、例えば、通信部２１０がユーザ端末１０から受信した線画画像を記憶する。
【0035】
（２－４）着色画像記憶部２２０４
着色画像記憶部２２０４は、着色画像を記憶する機能を有する。着色画像記憶部２２０４は、例えば、線画画像記憶部２２０３に記憶された線画画像のうち、ユーザによって手動で着色された線画画像、又は画像処理装置２０によって自動で着色された線画画像を着色画像として記憶する。
着色画像記憶部２２０４は、着色画像を記憶する機能を有する。着色画像記憶部２２０４は、例えば、線画画像記憶部２２０３に記憶された線画画像のうち、ユーザによって手動で着色された線画画像、又は画像処理装置２０によって自動で着色された線画画像を着色画像として記憶する。
【0036】
（２－５）学習済みモデル記憶部２２０５
学習済みモデル記憶部２２０５は、学習済みモデルを記憶する機能を有する。当該学習済みモデルは、参考線画画像と参考着色画像のペアからなる学習データ（教師データ）を用いて、線画画像が入力された際に当該線画画像が着色された着色画像を出力可能に機械学習したモデルである。
学習済みモデル記憶部２２０５は、学習済みモデルを記憶する機能を有する。当該学習済みモデルは、参考線画画像と参考着色画像のペアからなる学習データ（教師データ）を用いて、線画画像が入力された際に当該線画画像が着色された着色画像を出力可能に機械学習したモデルである。
【0037】
（３）制御部２３０
制御部２３０は、画像処理装置２０の動作全般を制御する機能を有する。制御部２３０は、例えば、画像処理装置２０がハードウェアとして備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にプログラムを実行させることによって実現される。
図２に示すように、制御部２３０は、入力受付部２３０１と、画像取得部２３０２と、画像補間部２３０３と、類似度算出部２３０４と、画像選択部２３０５と、画像提示部２３０６と、参考線画画像着色部２３０７と、学習データ生成部２３０８と、学習部２３０９と、線画画像着色部２３１０とを備える。
制御部２３０は、画像処理装置２０の動作全般を制御する機能を有する。制御部２３０は、例えば、画像処理装置２０がハードウェアとして備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にプログラムを実行させることによって実現される。
図２に示すように、制御部２３０は、入力受付部２３０１と、画像取得部２３０２と、画像補間部２３０３と、類似度算出部２３０４と、画像選択部２３０５と、画像提示部２３０６と、参考線画画像着色部２３０７と、学習データ生成部２３０８と、学習部２３０９と、線画画像着色部２３１０とを備える。
【0038】
（３－１）入力受付部２３０１
入力受付部２３０１は、各種入力を受け付ける機能を有する。例えば、入力受付部２３０１は、通信部２１０を介して、ユーザがユーザ端末１０に対して入力した参考線画画像入力操作、手動着色操作、線画画像入力操作などを受け付ける。
入力受付部２３０１は、各種入力を受け付ける機能を有する。例えば、入力受付部２３０１は、通信部２１０を介して、ユーザがユーザ端末１０に対して入力した参考線画画像入力操作、手動着色操作、線画画像入力操作などを受け付ける。
【0039】
（３－２）画像取得部２３０２
画像取得部２３０２は、各種画像を取得する機能を有する。例えば、画像取得部２３０２は、通信部２１０がユーザ端末１０から受信した参考線画画像及び線画画像を取得する。
画像取得部２３０２は、各種画像を取得する機能を有する。例えば、画像取得部２３０２は、通信部２１０がユーザ端末１０から受信した参考線画画像及び線画画像を取得する。
【0040】
（３－３）画像補間部２３０３
画像補間部２３０３は、複数の画像の間を補間する機能を有する。例えば、画像補間部２３０３は、複数の参考線画画像の間を補間する参考線画画像を生成する。参考線画画像の補間は、例えば、モーフィングなどの一般的な画像補間方法によって行われる。
画像補間部２３０３は、複数の画像の間を補間する機能を有する。例えば、画像補間部２３０３は、複数の参考線画画像の間を補間する参考線画画像を生成する。参考線画画像の補間は、例えば、モーフィングなどの一般的な画像補間方法によって行われる。
【0041】
一例として、参考線画画像記憶部２２０１に参考線画画像Ｐ１（左向き）と参考線画画像Ｐｎ（右向き）が記憶されているが、参考線画画像Ｐ２（正面向き（目開））が記憶されていないとする。この場合、画像補間部２３０３は、参考線画画像記憶部２２０１に記憶されている参考線画画像Ｐ１（左向き）と参考線画画像Ｐｎ（右向き）とに基づき、参考線画画像Ｐ２（正面向き（目開））を補間（生成）し、参考線画画像記憶部２２０１に追加する。これにより、参考線画画像記憶部２２０１に記憶されている参考線画画像間の類似度を高めることができる。画像補間部２３０３は、参考線画画像記憶部２２０１に追加した参考線画画像を用いて、さらに補間を行ってもよい。
【0042】
なお、参考線画画像間の類似度が低すぎると、画像間にある色情報が欠落する可能性があり、着色性能が低下する要因となってしまう。このため、画像補間部２３０３によって参考線画画像を補間することで、色情報が欠落する可能性を低減し、着色性能の低下を防止することができる。
【0043】
（３－４）類似度算出部２３０４
類似度算出部２３０４は、複数の参考線画画像の間の類似度を算出する機能を有する。類似度は、例えば、２つの参考線画画像の特性（例えば、模様、形状、外形など）の類似の程度を示す値である。類似度の算出は、例えば、２つの参考線画画像の各々を示す２つのベクトルの方向に基づき行われる。類似度算出部２３０４は、例えば、２つのベクトルの方向が類似するほど、２つの参考線画画像間の類似度を高い値として算出する。２つのベクトルは、ＳＨＩＦＴ特徴量や畳み込みニューラルネットワークによって得られる特徴量から取得可能である。
類似度算出部２３０４は、複数の参考線画画像の間の類似度を算出する機能を有する。類似度は、例えば、２つの参考線画画像の特性（例えば、模様、形状、外形など）の類似の程度を示す値である。類似度の算出は、例えば、２つの参考線画画像の各々を示す２つのベクトルの方向に基づき行われる。類似度算出部２３０４は、例えば、２つのベクトルの方向が類似するほど、２つの参考線画画像間の類似度を高い値として算出する。２つのベクトルは、ＳＨＩＦＴ特徴量や畳み込みニューラルネットワークによって得られる特徴量から取得可能である。
【0044】
例えば、類似度算出部２３０４は、ユーザが参考着色画像に対応する参考線画画像を手動で着色することで参考着色画像を用意する際に着色候補となる複数の参考線画画像について、それぞれの参考線画画像間の類似度を算出する。着色候補となる複数の参考線画画像は、ユーザによって予め用意され、参考線画画像記憶部２２０１に記憶されているすべての参考線画画像である。
なお、画像補間部２３０３によって補間された参考線画画像が有る場合、類似度算出部２３０４は、ユーザによって予め用意される複数の参考線画画像に画像補間部２３０３によって生成された参考線画画像も含めて、類似度を算出する。これにより、類似度算出部２３０４は、参考線画画像記憶部２２０１に記憶されている参考線画画像間の類似度を高め、色情報が欠落する可能性を低減して着色性能の低下を防止することができる。
なお、画像補間部２３０３によって補間された参考線画画像が有る場合、類似度算出部２３０４は、ユーザによって予め用意される複数の参考線画画像に画像補間部２３０３によって生成された参考線画画像も含めて、類似度を算出する。これにより、類似度算出部２３０４は、参考線画画像記憶部２２０１に記憶されている参考線画画像間の類似度を高め、色情報が欠落する可能性を低減して着色性能の低下を防止することができる。
【0045】
ここで、図４から図７を参照して、参考線画画像と他の参考線画画像との類似度算出について説明する。類似度算出部２３０４は、参考線画画像記憶部２２０１に記憶されているすべての参考線画画像について、他の参考線画画像との類似度を算出する。以下では、図３に示した参考線画画像Ｐ１～Ｐｎについて、ｎ＝４とした場合における類似度の算出例を説明する。
【0046】
図４は、本実施形態に係る参考線画画像Ｐ１（左向き）と他の参考線画画像Ｐ２～Ｐ４との類似度算出の一例を示す図である。図４に示すように、類似度算出部２３０４は、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ２（正面向き（目開））との類似度Ｄ１－２と、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ３（正面向き（目閉））との類似度Ｄ１－３と、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ４（右向き）との類似度Ｄ１－４とを算出する。
図５は、本実施形態に係る参考線画画像Ｐ２（正面向き（目開））と他の参考線画画像Ｐ１，Ｐ３，Ｐ４との類似度算出の一例を示す図である。図５に示すように、類似度算出部２３０４は、参考線画画像Ｐ２（正面向き（目開））と参考線画画像Ｐ１（左向き）との類似度Ｄ２－１と、参考線画画像Ｐ２（正面向き（目開））と参考線画画像Ｐ３（正面向き（目閉））との類似度Ｄ２－３と、参考線画画像Ｐ２（正面向き（目開））と参考線画画像Ｐ４（右向き）との類似度Ｄ２－４とを算出する。
図６は、本実施形態に係る参考線画画像Ｐ３（正面向き（目閉））と他の参考線画画像Ｐ１，Ｐ２，Ｐ４との類似度算出の一例を示す図である。図６に示すように、類似度算出部２３０４は、参考線画画像Ｐ３（正面向き（目閉））と参考線画画像Ｐ１（左向き）との類似度Ｄ３－１と、参考線画画像Ｐ３（正面向き（目閉））と参考線画画像Ｐ２（正面向き（目開））との類似度Ｄ３－２と、参考線画画像Ｐ３（正面向き（目閉））と参考線画画像Ｐ４（右向き）との類似度Ｄ３－４とを算出する。
図７は、本実施形態に係る参考線画画像Ｐ４（右向き）と他の参考線画画像Ｐ１～Ｐ３との類似度算出の一例を示す図である。図７に示すように、類似度算出部２３０４は、参考線画画像Ｐ４（右向き）と参考線画画像Ｐ１（左向き）との類似度Ｄ４－１と、参考線画画像Ｐ４（右向き）と参考線画画像Ｐ２（正面向き（目開））との類似度Ｄ４－２と、参考線画画像Ｐ４（右向き）と参考線画画像Ｐ３（正面向き（目閉））との類似度Ｄ４－３とを算出する。
図５は、本実施形態に係る参考線画画像Ｐ２（正面向き（目開））と他の参考線画画像Ｐ１，Ｐ３，Ｐ４との類似度算出の一例を示す図である。図５に示すように、類似度算出部２３０４は、参考線画画像Ｐ２（正面向き（目開））と参考線画画像Ｐ１（左向き）との類似度Ｄ２－１と、参考線画画像Ｐ２（正面向き（目開））と参考線画画像Ｐ３（正面向き（目閉））との類似度Ｄ２－３と、参考線画画像Ｐ２（正面向き（目開））と参考線画画像Ｐ４（右向き）との類似度Ｄ２－４とを算出する。
図６は、本実施形態に係る参考線画画像Ｐ３（正面向き（目閉））と他の参考線画画像Ｐ１，Ｐ２，Ｐ４との類似度算出の一例を示す図である。図６に示すように、類似度算出部２３０４は、参考線画画像Ｐ３（正面向き（目閉））と参考線画画像Ｐ１（左向き）との類似度Ｄ３－１と、参考線画画像Ｐ３（正面向き（目閉））と参考線画画像Ｐ２（正面向き（目開））との類似度Ｄ３－２と、参考線画画像Ｐ３（正面向き（目閉））と参考線画画像Ｐ４（右向き）との類似度Ｄ３－４とを算出する。
図７は、本実施形態に係る参考線画画像Ｐ４（右向き）と他の参考線画画像Ｐ１～Ｐ３との類似度算出の一例を示す図である。図７に示すように、類似度算出部２３０４は、参考線画画像Ｐ４（右向き）と参考線画画像Ｐ１（左向き）との類似度Ｄ４－１と、参考線画画像Ｐ４（右向き）と参考線画画像Ｐ２（正面向き（目開））との類似度Ｄ４－２と、参考線画画像Ｐ４（右向き）と参考線画画像Ｐ３（正面向き（目閉））との類似度Ｄ４－３とを算出する。
【0047】
また、類似度算出部２３０４は、算出した複数の類似度に基づき、当該複数の類似度の分散を算出する機能を有する。類似度算出部２３０４は、後述する画像選択部２３０５において第１の所定の類似度に基づき選択されなかった参考線画画像が存在する場合に、選択された参考線画画像と選択されなかった参考線画画像との類似度の分散を算出する。算出された分散は、第１の所定の類似度に基づき選択されなかった参考線画画像の中から、着色性能の向上のために選択した方がよい参考線画画像を選択するために用いられる。
【0048】
ここで、図８を参照して、類似度の分散の算出について説明する。図８は、本実施形態に係る類似度の分散算出の一例を示す図である。以下では、図３に示した参考線画画像Ｐ１～Ｐｎについて、ｎ＝４とした場合において第１の所定の類似度に基づき参考線画画像Ｐ１と参考線画画像Ｐ４が選択された際の類似度の分散の算出例を説明する。
【0049】
図８に示すように、類似度算出部２３０４は、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ２（正面向き（目開））との類似度Ｄ１－２と、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ３（正面向き（目閉））との類似度Ｄ１－３とに基づき、分散Ｅ１－２３を算出する。また、類似度算出部２３０４は、参考線画画像Ｐ４（右向き）と参考線画画像Ｐ２（正面向き（目開））との類似度Ｄ４－２と、参考線画画像Ｐ４（右向き）と参考線画画像Ｐ３（正面向き（目閉））との類似度Ｄ４－３とに基づき、分散Ｅ４－２３を算出する。
【0050】
また、類似度算出部２３０４は、複数の参考線画画像に含まれる参考線画画像ごとに、他の参考線画画像との類似度の代表値を算出する機能を有する。代表値は、複数の類似度の平均値、中央値、又は最頻値である。代表値が高い参考線画画像は、他の参考線画画像と類似しているため、その１枚を着色するだけでも色のカバー率を高めることができる。即ち、代表値が高い参考線画画像も選択することで、着色性能を高めることができる。このため、類似度算出部２３０４は、後述する画像選択部２３０５において第１の所定の類似度に基づき選択されなかった参考線画画像が存在する場合に、選択されなかった参考線画画像と他の参考線画画像との類似度の代表値を算出する。算出された代表値は、第１の所定の類似度に基づき選択されなかった参考線画画像の中から、着色性能の向上のために選択した方がよい参考線画画像を選択するために用いられる。
【0051】
（３－５）画像選択部２３０５
画像選択部２３０５は、算出された前記類似度に基づき、所定の条件を満たす類似度に対応する参考線画画像を選択する機能を有する。
画像選択部２３０５は、類似度算出部２３０４によって算出された類似度と、参考線画画像を選択する基準となる第１の所定の類似度とを比較し、第１の所定の類似度よりも低い類似度に対応する参考線画画像を選択する。第１の所定の類似度には、ユーザによって設定される値、又はすべての参考線画画像の類似度の平均値などが設定される。第１の所定の類似度は、色情報が欠落する可能性を低減して着色性能の低下を防止することを目的として、類似度が「高」程度の参考線画画像ではなく類似度が「小」程度の参考線画画像が選択されるように設定される。
画像選択部２３０５は、算出された前記類似度に基づき、所定の条件を満たす類似度に対応する参考線画画像を選択する機能を有する。
画像選択部２３０５は、類似度算出部２３０４によって算出された類似度と、参考線画画像を選択する基準となる第１の所定の類似度とを比較し、第１の所定の類似度よりも低い類似度に対応する参考線画画像を選択する。第１の所定の類似度には、ユーザによって設定される値、又はすべての参考線画画像の類似度の平均値などが設定される。第１の所定の類似度は、色情報が欠落する可能性を低減して着色性能の低下を防止することを目的として、類似度が「高」程度の参考線画画像ではなく類似度が「小」程度の参考線画画像が選択されるように設定される。
【0052】
第１の所定の類似度に基づき選択されなかった参考線画画像が存在する場合、画像選択部２３０５は、類似度算出部２３０４によって算出された代表値と、参考線画画像を選択する基準となる第２の所定の類似度とを比較し、第２の所定の類似度よりも高い代表値に対応する参考線画画像をさらに選択する。これにより、画像選択部２３０５は、第１の所定の類似度に基づき選択されなかった参考線画画像の中から、着色性能の向上のために選択した方がよい参考線画画像を選択することができる。
【0053】
第１の所定の類似度に基づき選択されなかった参考線画画像が存在する場合、画像選択部２３０５は、類似度算出部２３０４によって算出された分散に基づき、参考線画画像をさらに選択する。例えば、画像選択部２３０５は、分散が最低である参考線画画像と、第１の所定の類似度に基づき選択された各参考線画画像との類似度のうち、最高値の類似度を取得して第１の所定の類似度と比較する。最高値の類似度が第１の所定の類似度よりも低い（即ち選択済みの参考線画画像と類似していない）場合、最高値の類似度に対応する参考線画画像をさらに選択する。これにより、画像選択部２３０５は、第１の所定の類似度に基づき選択されなかった参考線画画像の中から、着色性能の向上のために選択した方がよい参考線画画像を選択することができる。
【0054】
（３－６）画像提示部２３０６
画像提示部２３０６は、選択された参考線画画像を、ユーザが参考着色画像を用意するために手動で着色する着色対象としてユーザへ提示する機能を有する。例えば、画像提示部２３０６は、画像選択部２３０５によって選択された参考線画画像を、通信部２１０からユーザ端末１０へ送信し、ユーザ端末１０に表示させる。
画像提示部２３０６は、選択された参考線画画像を、ユーザが参考着色画像を用意するために手動で着色する着色対象としてユーザへ提示する機能を有する。例えば、画像提示部２３０６は、画像選択部２３０５によって選択された参考線画画像を、通信部２１０からユーザ端末１０へ送信し、ユーザ端末１０に表示させる。
【0055】
なお、画像提示部２３０６は、画像選択部２３０５によって選択された参考線画画像について類似度算出部２３０４によって算出された類似度と、参考線画画像を選択する基準となる第３の所定の類似度とを比較し、第３の所定の類似度よりも低い類似度が存在する場合、第３の所定の類似度よりも低い類似度に対応する複数の参考線画画像の間を補間する参考線画画像を取得するようユーザへ提示する。第３の所定の類似度は、例えば第１の所定の類似度よりも低い値であるが、これに限定されず、第１の所定の類似度よりも高い値であってもよい。
例えば、画像選択部２３０５によって、第１の所定の類似度よりも類似度が低い参考線画画像として、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ４（右向き）が選択されたとする。さらに、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ４（右向き）との類似度（類似度Ｄ１－４又は類似度Ｄ４－１が第３の所定の類似度よりも低かったとする。この場合、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ４（右向き）との類似度の小ささより、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ４（右向き）との間の色情報が欠落する可能性がある。このため、画像提示部２３０６は、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ４（右向き）との間の参考線画画像を補間するようユーザへ提示して促すことで、色情報が欠落する可能性を低減することができる。
例えば、画像選択部２３０５によって、第１の所定の類似度よりも類似度が低い参考線画画像として、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ４（右向き）が選択されたとする。さらに、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ４（右向き）との類似度（類似度Ｄ１－４又は類似度Ｄ４－１が第３の所定の類似度よりも低かったとする。この場合、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ４（右向き）との類似度の小ささより、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ４（右向き）との間の色情報が欠落する可能性がある。このため、画像提示部２３０６は、参考線画画像Ｐ１（左向き）と参考線画画像Ｐ４（右向き）との間の参考線画画像を補間するようユーザへ提示して促すことで、色情報が欠落する可能性を低減することができる。
【0056】
（３－７）参考線画画像着色部２３０７
参考線画画像着色部２３０７は、参考線画画像を着色する機能を有する。例えば、参考線画画像着色部２３０７は、ユーザがユーザ端末１０に入力した手動着色操作に応じて、入力受付部２３０１がユーザ端末１０から入力を受け付けた着色内容に応じて、参考線画画像を着色する。
参考線画画像着色部２３０７は、参考線画画像を着色する機能を有する。例えば、参考線画画像着色部２３０７は、ユーザがユーザ端末１０に入力した手動着色操作に応じて、入力受付部２３０１がユーザ端末１０から入力を受け付けた着色内容に応じて、参考線画画像を着色する。
【0057】
（３－８）学習データ生成部２３０８
学習データ生成部２３０８は、学習データを生成する機能を有する。例えば、学習データ生成部２３０８は、画像選択部２３０５によって選択された参考線画画像と、参考線画画像着色部２３０７によって当該参考線画画像が着色された参考着色画像とをペアとして、学習データを生成する。
学習データ生成部２３０８は、学習データを生成する機能を有する。例えば、学習データ生成部２３０８は、画像選択部２３０５によって選択された参考線画画像と、参考線画画像着色部２３０７によって当該参考線画画像が着色された参考着色画像とをペアとして、学習データを生成する。
【0058】
（３－９）学習部２３０９
学習部２３０９は、学習済みモデルを生成する機能を有する。学習部２３０９は、学習データ生成部２３０８によって生成された学習データに基づき、参考線画画像と参考着色画像との関係から線画画像に対する着色方法を機械学習した学習済みモデルを生成する。具体的に、学習部２３０９は、学習データに含まれる特徴量情報（特徴量）と正解データの組を入力として、その関係性を機械学習することで学習済みモデルを生成する。
学習部２３０９は、学習済みモデルを生成する機能を有する。学習部２３０９は、学習データ生成部２３０８によって生成された学習データに基づき、参考線画画像と参考着色画像との関係から線画画像に対する着色方法を機械学習した学習済みモデルを生成する。具体的に、学習部２３０９は、学習データに含まれる特徴量情報（特徴量）と正解データの組を入力として、その関係性を機械学習することで学習済みモデルを生成する。
【0059】
（３－１０）線画画像着色部２３１０
線画画像着色部２３１０は、線画画像を着色する機能を有する。例えば、線画画像着色部２３１０は、学習済みモデル記憶部２２０５に記憶されている学習済みモデルを用いて、線画画像を着色する。具体的に、線画画像着色部２３１０は、ユーザがユーザ端末１０に入力した線画画像入力操作に応じて、入力受付部２３０１がユーザ端末１０から入力を受け付けた線画画像を、学習済みモデル記憶部２２０５に記憶されている学習済みモデルに入力する。そして、線画画像着色部２３１０は、当該学習済みモデルによって線画画像が着色されて出力される着色画像を取得する。
線画画像着色部２３１０は、線画画像を着色する機能を有する。例えば、線画画像着色部２３１０は、学習済みモデル記憶部２２０５に記憶されている学習済みモデルを用いて、線画画像を着色する。具体的に、線画画像着色部２３１０は、ユーザがユーザ端末１０に入力した線画画像入力操作に応じて、入力受付部２３０１がユーザ端末１０から入力を受け付けた線画画像を、学習済みモデル記憶部２２０５に記憶されている学習済みモデルに入力する。そして、線画画像着色部２３１０は、当該学習済みモデルによって線画画像が着色されて出力される着色画像を取得する。
【0060】
＜３．処理の流れ＞
以上、本実施形態に係る画像処理装置２０の機能構成について説明した。続いて、図９から図１３を参照して、本実施形態に係る処理の流れについて説明する。以下では、複数の参考線画画像が参考線画画像Ｐ１～Ｐ４である例を一例に説明する。
以上、本実施形態に係る画像処理装置２０の機能構成について説明した。続いて、図９から図１３を参照して、本実施形態に係る処理の流れについて説明する。以下では、複数の参考線画画像が参考線画画像Ｐ１～Ｐ４である例を一例に説明する。
【0061】
（１）参考線画画像の入力から参考線画画像の着色までの処理の流れ
図９を参照して、参考線画画像の入力から参考線画画像の着色までの処理の流れについて説明する。図９は、本実施形態に係る参考線画画像の入力から参考線画画像の着色までの処理の流れの一例を示すシーケンス図である。
図９を参照して、参考線画画像の入力から参考線画画像の着色までの処理の流れについて説明する。図９は、本実施形態に係る参考線画画像の入力から参考線画画像の着色までの処理の流れの一例を示すシーケンス図である。
【0062】
図９に示すように、まず、ユーザは、ユーザ端末１０に対して、参考線画画像入力操作を入力する（ステップＳ１０１）。
ユーザ端末１０は、ユーザから参考線画画像入力操作を受けて、複数の参考線画画像を画像処理装置２０へ送信する（ステップＳ１０２）。
ユーザ端末１０は、ユーザから参考線画画像入力操作を受けて、複数の参考線画画像を画像処理装置２０へ送信する（ステップＳ１０２）。
【0063】
画像処理装置２０の画像取得部２３０２は、通信部２１０がユーザ端末１０から受信した複数の参考線画画像を取得し、参考線画画像記憶部２２０１に記憶させる（ステップＳ１０３）。
次いで、画像処理装置２０は、参考線画画像補間処理を実行する（ステップＳ１０４）。参考線画画像補間処理の詳細については、後述する。
次いで、画像処理装置２０は、手動着色対象選択処理を実行する（ステップＳ１０５）。手動着色対象選択処理の詳細については、後述する。
次いで、画像処理装置２０の画像提示部２３０６は、手動着色対象選択処理にて選択された手動による着色の対象となる参考線画画像を、通信部２１０からユーザ端末１０へ送信する（ステップＳ１０６）。
次いで、画像処理装置２０は、参考線画画像補間処理を実行する（ステップＳ１０４）。参考線画画像補間処理の詳細については、後述する。
次いで、画像処理装置２０は、手動着色対象選択処理を実行する（ステップＳ１０５）。手動着色対象選択処理の詳細については、後述する。
次いで、画像処理装置２０の画像提示部２３０６は、手動着色対象選択処理にて選択された手動による着色の対象となる参考線画画像を、通信部２１０からユーザ端末１０へ送信する（ステップＳ１０６）。
【0064】
ユーザ端末１０は、画像処理装置２０から受信した参考線画画像を表示する（ステップＳ１０７）。
ユーザは、ユーザ端末１０に対して、ユーザ端末１０に表示された参考線画画像に対する手動着色操作を入力する（ステップＳ１０８）。
ユーザ端末１０は、ユーザから手動着色操作を受けて、着色内容を画像処理装置２０へ送信する（ステップＳ１０９）。
ユーザは、ユーザ端末１０に対して、ユーザ端末１０に表示された参考線画画像に対する手動着色操作を入力する（ステップＳ１０８）。
ユーザ端末１０は、ユーザから手動着色操作を受けて、着色内容を画像処理装置２０へ送信する（ステップＳ１０９）。
【0065】
画像処理装置２０の入力受付部２３０１は、通信部２１０はユーザ端末１０から受信した着色内容の入力を受け付ける（ステップＳ１１０）。
次いで、画像処理装置２０の参考線画画像着色部２３０７は、入力受付部２３０１がユーザ端末１０から入力を受け付けた着色内容に応じて、参考線画画像を着色する（ステップＳ１１１）。
着色後、参考線画画像着色部２３０７は、参考線画画像を着色した参考着色画像を参考着色画像記憶部２２０２に記憶させる（ステップＳ１１２）。
次いで、画像処理装置２０の参考線画画像着色部２３０７は、入力受付部２３０１がユーザ端末１０から入力を受け付けた着色内容に応じて、参考線画画像を着色する（ステップＳ１１１）。
着色後、参考線画画像着色部２３０７は、参考線画画像を着色した参考着色画像を参考着色画像記憶部２２０２に記憶させる（ステップＳ１１２）。
【0066】
【0067】
図１０に示すように、まず、画像処理装置２０の類似度算出部２３０４は、画像取得部２３０２によって取得された複数の参考線画画像について、すべての参考線画画像の組み合わせごとの類似度を算出する（ステップＳ２０１）。例えば、類似度算出部２３０４は、図４から図７に示したように参考線画画像Ｐ１～Ｐ４の各参考線画画像と他の参考線画画像との類似度を算出する。
次いで、画像処理装置２０の画像補間部２３０３は、複数の参考線画画像の中から、未選択の参考線画画像を１枚選択する（ステップＳ２０２）。例えば、画像補間部２３０３は、参考線画画像Ｐ１～Ｐ４を参考線画画像Ｐ１から順に選択する。
次いで、画像補間部２３０３は、選択した参考線画画像との類似度が最も高い参考線画画像を選択する（ステップＳ２０３）。
次いで、画像補間部２３０３は、ステップＳ２０３において最も高い類似度が第３の所定の類似度よりも高いか否かを確認する（ステップＳ２０４）。第３の所定の類似度よりも高い場合（ステップＳ２０４／ＹＥＳ）、処理をステップＳ２０５へ進める。一方、第３の所定の類似度よりも低い場合（ステップＳ２０４／ＮＯ）、処理をステップＳ２０２から繰り返す。
処理がステップＳ２０５へ進んだ場合、画像補間部２３０３は、ステップＳ２０２で選択した参考線画画像とステップＳ２０３で選択した参考線画画像との間を補間する参考線画画像を生成する（ステップＳ２０５）。
生成後、すべての参考線画画像についてステップＳ２０２における選択が完了しているか否かを確認する（ステップＳ２０６）。完了している場合（ステップＳ２０６／ＹＥＳ）、処理を終了する。一方、完了していない場合（ステップＳ２０６／ＮＯ）、処理をステップＳ２０２から繰り返す。例えば、画像補間部２３０３は、参考線画画像Ｐ２～Ｐ４について参考線画画像Ｐ１と同様に処理を繰り返す。
次いで、画像処理装置２０の画像補間部２３０３は、複数の参考線画画像の中から、未選択の参考線画画像を１枚選択する（ステップＳ２０２）。例えば、画像補間部２３０３は、参考線画画像Ｐ１～Ｐ４を参考線画画像Ｐ１から順に選択する。
次いで、画像補間部２３０３は、選択した参考線画画像との類似度が最も高い参考線画画像を選択する（ステップＳ２０３）。
次いで、画像補間部２３０３は、ステップＳ２０３において最も高い類似度が第３の所定の類似度よりも高いか否かを確認する（ステップＳ２０４）。第３の所定の類似度よりも高い場合（ステップＳ２０４／ＹＥＳ）、処理をステップＳ２０５へ進める。一方、第３の所定の類似度よりも低い場合（ステップＳ２０４／ＮＯ）、処理をステップＳ２０２から繰り返す。
処理がステップＳ２０５へ進んだ場合、画像補間部２３０３は、ステップＳ２０２で選択した参考線画画像とステップＳ２０３で選択した参考線画画像との間を補間する参考線画画像を生成する（ステップＳ２０５）。
生成後、すべての参考線画画像についてステップＳ２０２における選択が完了しているか否かを確認する（ステップＳ２０６）。完了している場合（ステップＳ２０６／ＹＥＳ）、処理を終了する。一方、完了していない場合（ステップＳ２０６／ＮＯ）、処理をステップＳ２０２から繰り返す。例えば、画像補間部２３０３は、参考線画画像Ｐ２～Ｐ４について参考線画画像Ｐ１と同様に処理を繰り返す。
【0068】
【0069】
図１１に示すように、まず、画像処理装置２０の類似度算出部２３０４は、画像取得部２３０２によって取得された複数の参考線画画像の中から、未選択の参考線画画像を１枚選択する（ステップＳ３０１）。例えば、類似度算出部２３０４は、参考線画画像Ｐ１～Ｐ４を参考線画画像Ｐ１から順に選択する。
次いで、類似度算出部２３０４は、手動着色対象候補選択処理を実行する（ステップＳ３０２）。手動着色対象候補選択処理の詳細については、後述する。
次いで、類似度算出部２３０４は、すべての参考線画画像についてステップＳ３０１における選択が完了しているか否かを確認する（ステップＳ３０３）。完了している場合（ステップＳ３０３／ＹＥＳ）、処理をステップＳ３０４へ進める。一方、完了していない場合（ステップＳ３０３／ＮＯ）、処理をステップＳ３０１から繰り返す。例えば、類似度算出部２３０４は、参考線画画像Ｐ２～Ｐ４について参考線画画像Ｐ１と同様に処理を繰り返す。
処理がステップＳ３０４へ進んだ場合、画像処理装置２０の画像選択部２３０５は、手動着色対象候補選択処理にて選択された参考線画画像を、ユーザが参考着色画像を用意するために手動で着色する着色対象となる参考線画画像として選択し（ステップＳ３０４）、処理を終了する。例えば、画像選択部２３０５は、ユーザの作業負担軽減を優先する場合には、ユーザが着色する参考線画画像を少なくするため、着色対象となる参考線画画像が最小枚数となるように選択する。また、画像選択部２３０５は、着色性能を優先する場合には、色情報が欠落する可能性をより低くするため、着色対象となる参考線画画像が最多枚数となるように参考線画画像を選択、又は類似度の代表値が最高値である参考線画画像を選択する。また、画像選択部２３０５は、ユーザがユーザ端末１０においてＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）で比較して選択した結果に応じて、着色対象となる参考線画画像を選択してもよい。
次いで、類似度算出部２３０４は、手動着色対象候補選択処理を実行する（ステップＳ３０２）。手動着色対象候補選択処理の詳細については、後述する。
次いで、類似度算出部２３０４は、すべての参考線画画像についてステップＳ３０１における選択が完了しているか否かを確認する（ステップＳ３０３）。完了している場合（ステップＳ３０３／ＹＥＳ）、処理をステップＳ３０４へ進める。一方、完了していない場合（ステップＳ３０３／ＮＯ）、処理をステップＳ３０１から繰り返す。例えば、類似度算出部２３０４は、参考線画画像Ｐ２～Ｐ４について参考線画画像Ｐ１と同様に処理を繰り返す。
処理がステップＳ３０４へ進んだ場合、画像処理装置２０の画像選択部２３０５は、手動着色対象候補選択処理にて選択された参考線画画像を、ユーザが参考着色画像を用意するために手動で着色する着色対象となる参考線画画像として選択し（ステップＳ３０４）、処理を終了する。例えば、画像選択部２３０５は、ユーザの作業負担軽減を優先する場合には、ユーザが着色する参考線画画像を少なくするため、着色対象となる参考線画画像が最小枚数となるように選択する。また、画像選択部２３０５は、着色性能を優先する場合には、色情報が欠落する可能性をより低くするため、着色対象となる参考線画画像が最多枚数となるように参考線画画像を選択、又は類似度の代表値が最高値である参考線画画像を選択する。また、画像選択部２３０５は、ユーザがユーザ端末１０においてＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）で比較して選択した結果に応じて、着色対象となる参考線画画像を選択してもよい。
【0070】
【0071】
図１２に示すように、まず、画像処理装置２０の類似度算出部２３０４は、ステップＳ３０１にて選択した参考線画画像を、選択画像群に追加する（ステップＳ４０１）。例えば、ステップＳ３０１にて参考線画画像Ｐ１が選択された場合、類似度算出部２３０４は、参考線画画像Ｐ１を選択画像群に追加する。
次いで、類似度算出部２３０４は、選択した参考線画画像と他の参考線画画像との間の類似度を算出する（ステップＳ４０２）。例えば、ステップＳ３０１にて参考線画画像Ｐ１が選択された場合、類似度算出部２３０４は、図４に示したように参考線画画像Ｐ１と参考線画画像Ｐ２～Ｐ４との類似度を算出する。
算出後、画像選択部２３０５は、類似度算出部２３０４によって算出された類似度のうち、最低類似度が第１の所定の類似度よりも高いか否かを確認する（ステップＳ４０３）。高い場合（ステップＳ４０３／ＹＥＳ）、処理を終了する。一方、高くない場合（ステップＳ４０３／ＮＯ）、処理をステップＳ４０４へ進める。
処理がステップＳ４０４へ進んだ場合、画像選択部２３０５は、第１の所定の類似度よりも低かった最低類似度に対応する参考線画画像の組み合わせを、選択画像群に追加する（ステップＳ４０４）。例えば、参考線画画像Ｐ１と参考線画画像Ｐ４との類似度が最低類似度であり第１の所定の類似度よりも低かった場合、類似度算出部２３０４は、参考線画画像Ｐ１はステップＳ４０１にて既に選択画像群に追加されているため、参考線画画像Ｐ４を選択画像群へさらに追加する。
次いで、類似度算出部２３０４は、選択画像群と他の参考線画画像との間の類似度の分散を算出する（ステップＳ４０５）。例えば、類似度算出部２３０４は、図８に示したように、参考線画画像Ｐ１と参考線画画像Ｐ２の類似度と参考線画画像Ｐ１と参考線画画像Ｐ３の類似度との分散と、参考線画画像Ｐ４と参考線画画像Ｐ２の類似度と参考線画画像Ｐ４と参考線画画像Ｐ３の類似度との分散を算出する。
次いで、画像選択部２３０５は、分散が最低である参考線画画像と、第１の所定の類似度に基づき選択された各参考線画画像との類似度のうち、最高値の類似度を取得する（ステップＳ４０６）。なお、最高値の類似度ではなく、平均の類似度を用いてもよい。
次いで、画像選択部２３０５は、取得した最高値の類似度が第１の所定の類似度よりも高いか否かを確認する（ステップＳ４０７）。高い場合（ステップＳ４０７／ＹＥＳ）、処理を終了する。一方、高くない場合（ステップＳ４０７／ＮＯ）、処理をステップＳ４０８へ進める。
処理がステップＳ４０８へ進んだ場合、画像選択部２３０５は、最高値の類似度に対応する参考線画画像の組み合わせを選択画像群に追加し（ステップＳ４０８）、処理を終了する。
次いで、類似度算出部２３０４は、選択した参考線画画像と他の参考線画画像との間の類似度を算出する（ステップＳ４０２）。例えば、ステップＳ３０１にて参考線画画像Ｐ１が選択された場合、類似度算出部２３０４は、図４に示したように参考線画画像Ｐ１と参考線画画像Ｐ２～Ｐ４との類似度を算出する。
算出後、画像選択部２３０５は、類似度算出部２３０４によって算出された類似度のうち、最低類似度が第１の所定の類似度よりも高いか否かを確認する（ステップＳ４０３）。高い場合（ステップＳ４０３／ＹＥＳ）、処理を終了する。一方、高くない場合（ステップＳ４０３／ＮＯ）、処理をステップＳ４０４へ進める。
処理がステップＳ４０４へ進んだ場合、画像選択部２３０５は、第１の所定の類似度よりも低かった最低類似度に対応する参考線画画像の組み合わせを、選択画像群に追加する（ステップＳ４０４）。例えば、参考線画画像Ｐ１と参考線画画像Ｐ４との類似度が最低類似度であり第１の所定の類似度よりも低かった場合、類似度算出部２３０４は、参考線画画像Ｐ１はステップＳ４０１にて既に選択画像群に追加されているため、参考線画画像Ｐ４を選択画像群へさらに追加する。
次いで、類似度算出部２３０４は、選択画像群と他の参考線画画像との間の類似度の分散を算出する（ステップＳ４０５）。例えば、類似度算出部２３０４は、図８に示したように、参考線画画像Ｐ１と参考線画画像Ｐ２の類似度と参考線画画像Ｐ１と参考線画画像Ｐ３の類似度との分散と、参考線画画像Ｐ４と参考線画画像Ｐ２の類似度と参考線画画像Ｐ４と参考線画画像Ｐ３の類似度との分散を算出する。
次いで、画像選択部２３０５は、分散が最低である参考線画画像と、第１の所定の類似度に基づき選択された各参考線画画像との類似度のうち、最高値の類似度を取得する（ステップＳ４０６）。なお、最高値の類似度ではなく、平均の類似度を用いてもよい。
次いで、画像選択部２３０５は、取得した最高値の類似度が第１の所定の類似度よりも高いか否かを確認する（ステップＳ４０７）。高い場合（ステップＳ４０７／ＹＥＳ）、処理を終了する。一方、高くない場合（ステップＳ４０７／ＮＯ）、処理をステップＳ４０８へ進める。
処理がステップＳ４０８へ進んだ場合、画像選択部２３０５は、最高値の類似度に対応する参考線画画像の組み合わせを選択画像群に追加し（ステップＳ４０８）、処理を終了する。
【0072】
（５）学習データの生成から線画画像の着色までの処理の流れ
図１３を参照して、学習データの生成から線画画像の着色までの処理の流れについて説明する。図１３は、本実施形態に係る学習データの生成から線画画像の着色までの処理の流れの一例を示すシーケンス図である。
図１３を参照して、学習データの生成から線画画像の着色までの処理の流れについて説明する。図１３は、本実施形態に係る学習データの生成から線画画像の着色までの処理の流れの一例を示すシーケンス図である。
【0073】
図１３に示すように、まず、画像処理装置２０の学習データ生成部２３０８は、学習データを生成する（ステップＳ５０１）。
次いで、画像処理装置２０の学習部２３０９は、学習データに基づく機械学習によって学習済みモデルを生成する（ステップＳ５０２）。
生成後、学習部２３０９は、生成しが学習済みモデルを学習済みモデル記憶部２２０５に記憶させる（ステップＳ５０３）。
次いで、画像処理装置２０の学習部２３０９は、学習データに基づく機械学習によって学習済みモデルを生成する（ステップＳ５０２）。
生成後、学習部２３０９は、生成しが学習済みモデルを学習済みモデル記憶部２２０５に記憶させる（ステップＳ５０３）。
【0074】
次いで、ユーザは、ユーザ端末１０に対して、線画画像入力操作を入力する（ステップＳ５０４）。
ユーザ端末１０は、ユーザから線画画像入力操作を受けて、線画画像を画像処理装置２０へ送信する（ステップＳ５０５）。
ユーザ端末１０は、ユーザから線画画像入力操作を受けて、線画画像を画像処理装置２０へ送信する（ステップＳ５０５）。
【0075】
画像処理装置２０の画像取得部２３０２は、通信部２１０がユーザ端末１０から受信した線画画像を取得し、線画画像記憶部２２０３に記憶させる（ステップＳ５０６）。
次いで、画像処理装置２０の線画画像着色部２３１０は、学習済みモデル記憶部２２０５に記憶されている学習済みモデルを用いて、画像取得部２３０２によって取得された線画画像を着色する（ステップＳ５０７）。
着色後、線画画像着色部２３１０は、着色した着色画像を着色画像記憶部２２０４に記憶させる（ステップＳ５０８）。
次いで、画像提示部２３０６は、線画画像着色部２３１０によって着色された着色画像を、通信部２１０からユーザ端末１０へ送信する（ステップＳ５０９）。
次いで、画像処理装置２０の線画画像着色部２３１０は、学習済みモデル記憶部２２０５に記憶されている学習済みモデルを用いて、画像取得部２３０２によって取得された線画画像を着色する（ステップＳ５０７）。
着色後、線画画像着色部２３１０は、着色した着色画像を着色画像記憶部２２０４に記憶させる（ステップＳ５０８）。
次いで、画像提示部２３０６は、線画画像着色部２３１０によって着色された着色画像を、通信部２１０からユーザ端末１０へ送信する（ステップＳ５０９）。
【0076】
ユーザ端末１０は、画像処理装置２０から受信した着色画像を表示する（ステップＳ５１０）。
ユーザは、ユーザ端末１０に表示された着色画像を確認する（ステップＳ５１１）。
ユーザは、ユーザ端末１０に表示された着色画像を確認する（ステップＳ５１１）。
【0077】
以上説明したように、本実施形態に係る画像処理装置２０は、線画画像を着色した着色画像を得るために必要となる参考着色画像を、ユーザが参考着色画像に対応する参考線画画像を手動で着色することで用意する際に着色候補となる複数の参考線画画像について、それぞれの参考線画画像間の類似度を算出する類似度算出部２３０４と、算出された類似度に基づき、所定の条件を満たす類似度に対応する参考線画画像を選択する画像選択部２３０５と、選択された参考線画画像を、ユーザが参考着色画像を用意するために手動で着色する着色対象としてユーザへ提示する画像提示部２３０６と、を備える。
【0078】
かかる構成により、ユーザは、線画画像の着色を自動化するにあたり、画像処理装置２０から提示される参考線画画像のみを手動で着色して参考着色画像を用意することで、一定の着色性能を保つために必要数以上に参考着色画像を着色せずに済む。このため、ユーザの作業負担が軽減される。
よって、本実施形態に係る画像処理装置２０は、線画画像の自動着色において一定の着色性能を保ちつつ人手による作業負担を軽減することを可能とする。
よって、本実施形態に係る画像処理装置２０は、線画画像の自動着色において一定の着色性能を保ちつつ人手による作業負担を軽減することを可能とする。
【0079】
＜４．変形例＞
以上、実施形態について説明した。続いて、上述した実施形態の変形例について説明する。なお、以下に説明する各変形例は、単独で実施形態に適用されてもよいし、組み合わせで実施形態に適用されてもよい。また、各変形例は、実施形態で説明した構成に代えて適用されてもよいし、実施形態で説明した構成に対して追加的に適用されてもよい。
以上、実施形態について説明した。続いて、上述した実施形態の変形例について説明する。なお、以下に説明する各変形例は、単独で実施形態に適用されてもよいし、組み合わせで実施形態に適用されてもよい。また、各変形例は、実施形態で説明した構成に代えて適用されてもよいし、実施形態で説明した構成に対して追加的に適用されてもよい。
【0080】
上述した実施形態では、画像処理装置２０が二次元データ（参考線画画像や参考着色画像など）に基づき各処理を行う例について説明したが、かかる例に限定されない。例えば、画像処理装置２０は、三次元データに基づき、各処理を行ってもよい。以下では、図１４を参照して、本変形例について説明する。図１４は、本実施形態の変形例に係る画像処理装置２０ａの機能構成の一例を示すブロック図である。
【0081】
図１４に示すように、画像処理装置２０ａは、図２に示した画像処理装置２０の機能構成に加え、記憶部２２０ａの三次元形状記憶部２２０６と、制御部２３０ａの三次元形状取得部と２３１１と、三次元形状着色部２３１２と、視点方向探索部２３１３と、参考着色画像生成部２３１４とをさらに備える。
【0082】
三次元形状記憶部２２０６は、三次元形状取得部２３１１によって復元された三次元形状（三次元データの一例）を記憶する機能を有する。
【0083】
三次元形状取得部２３１１は、対象物の三次元形状を取得する機能を有する。例えば、三次元形状取得部２３１１は、ユーザが参考着色画像を用意するために手動で着色する着色対象として、参考線画画像が示す対象物の三次元形状を取得する。参考線画画像が示す対象物は、例えば、上述した実施形態における参考線画画像Ｐ１～Ｐｎが示すキャラクターである。
三次元形状取得部２３１１は、例えば、複数の参考線画画像に基づき、対象物の三次元形状を復元する。三次元形状取得部２３１１は、例えば、参考線画画像記憶部２２０１に一定数の参考線画画像が記憶されていれば、多視点三次元形状復元手法によって対象物の三次元形状を復元することができる。
また、三次元形状取得部２３１１は、予め用意される対象物の三次元形状データを、対象物の三次元形状として取得してもよい。三次元形状データは、例えばＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データである。例えば、対象物がキャラクターである場合、そのキャラクターのフィギュアなどが製造・販売されていることがある。このため、モノクロ漫画をカラー化する場合には、その漫画のキャラクターについて既に製造・販売されているフィギュアなどのＣＡＤデータを利用可能である。この場合、三次元形状取得部２３１１は、三次元形状を復元する処理を省くことができる。
三次元形状取得部２３１１は、例えば、複数の参考線画画像に基づき、対象物の三次元形状を復元する。三次元形状取得部２３１１は、例えば、参考線画画像記憶部２２０１に一定数の参考線画画像が記憶されていれば、多視点三次元形状復元手法によって対象物の三次元形状を復元することができる。
また、三次元形状取得部２３１１は、予め用意される対象物の三次元形状データを、対象物の三次元形状として取得してもよい。三次元形状データは、例えばＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データである。例えば、対象物がキャラクターである場合、そのキャラクターのフィギュアなどが製造・販売されていることがある。このため、モノクロ漫画をカラー化する場合には、その漫画のキャラクターについて既に製造・販売されているフィギュアなどのＣＡＤデータを利用可能である。この場合、三次元形状取得部２３１１は、三次元形状を復元する処理を省くことができる。
【0084】
本変形例において、画像補間部２３０３は、三次元形状取得部２３１１によって取得された三次元形状（三次元形状データ）から、所定の視点方向の参考線画画像を生成する。例えば、画像補間部２３０３は、コンピュータグラフィックス技術のレンダリングを用いて、三次元形状取得部２３１１によって取得された三次元形状から任意の視点方向の参考線画画像を生成する。
【0085】
三次元形状着色部２３１２は、三次元形状を着色する機能を有する。例えば、三次元形状着色部２３１２は、ユーザからの入力に応じて、三次元形状取得部２３１１によって取得された三次元形状を着色する。一例として、三次元形状着色部２３１２は、ユーザがユーザ端末１０に入力した手動着色操作に応じて、入力受付部２３０１がユーザ端末１０から入力を受け付けた着色内容に応じて、三次元形状を着色する。着色された三次元形状は、後述する参考着色画像生成部２３１４による参考着色画像の生成に利用される。
【0086】
上述した実施形態では、ユーザは、参考着色画像を用意するにあたり、画像選択部２３０５によって選択された参考線画画像を１枚１枚手動で着色する必要があった。これに対して、本変形例では、ユーザは、参考着色画像を用意するにあたり、三次元形状取得部２３１１によって取得された三次元形状を着色するだけでよい。
よって、本変形例では、上述した実施形態と比較して、ユーザが参考着色画像を用意するための作業負担をより軽減することができる。
よって、本変形例では、上述した実施形態と比較して、ユーザが参考着色画像を用意するための作業負担をより軽減することができる。
【0087】
視点方向探索部２３１３は、視点方向を探索する機能を有する。例えば、視点方向探索部２３１３は、着色画像を得るための着色対象となる線画画像の視点方向を探索する。即ち、視点方向探索部２３１３は、線画画像を着色する際の参考となる参考着色画像を取得するための視点方向を探索する。この時、視点方向探索部２３１３は、線画画像と類似度が最も高くなる視点方向を三次元形状において探索する。例えば、視点方向探索部２３１３は、三次元形状におけるあらゆる視点方向の画像をレンダリングして、類似度算出部２３０４に線画画像との類似度を算出させる。
【0088】
参考着色画像生成部２３１４は、参考着色画像を生成する機能を有する。例えば、参考着色画像生成部２３１４は、三次元形状着色部２３１２によって着色された三次元形状から、視点方向探索部２３１３によって探索された視点方向からの参考着色画像を生成する。例えば、参考着色画像生成部２３１４は、視点方向探索部２３１３によって線画画像との類似度が最も高くなる視点方向が探索された場合、当該視点方向の画像をレンダリングして参考着色画像として生成する。生成された参考着色画像は、参考着色画像記憶部２２０２に記憶される。
【0089】
本変形例において、線画画像着色部２３１０は、参考着色画像生成部２３１４によって生成された参考着色画像に基づくユーザからの入力（手動で着色する場合）、又は参考着色画像の入力（自動で着色する場合）に基づき、着色画像を得るための着色対象となる線画画像を着色する。
手動で着色する場合、線画画像着色部２３１０は、ユーザが参考着色画像を参考にユーザ端末１０に入力した手動着色操作に応じて、入力受付部２３０１がユーザ端末１０から入力を受け付けた着色内容に応じて、線画画像を着色する。なお、ユーザが手動で線画画像を着色する際に参考とする参考着色画像は、ユーザが着色する線画画像を画像処理装置２０へ入力すると、入力された線画画像との類似度が高い参考着色画像が参考着色画像記憶部２２０２から取得され、ユーザ端末１０へ表示される。
また、自動で着色する場合、線画画像着色部２３１０は、参考着色画像生成部２３１４に生成された参考着色画像と、当該参考着色画像に対応する参考線画画像（三次元形状から生成）とをペアとする学習データに基づき生成された学習済みモデルを用いて、線画画像を着色する。具体的に、線画画像着色部２３１０は、ユーザがユーザ端末１０に入力した線画画像入力操作に応じて、入力受付部２３０１がユーザ端末１０から入力を受け付けた線画画像を、学習済みモデル記憶部２２０５に記憶されている学習済みモデルに入力する。そして、線画画像着色部２３１０は、当該学習済みモデルによって線画画像が着色されて出力される着色画像を取得する。
手動で着色する場合、線画画像着色部２３１０は、ユーザが参考着色画像を参考にユーザ端末１０に入力した手動着色操作に応じて、入力受付部２３０１がユーザ端末１０から入力を受け付けた着色内容に応じて、線画画像を着色する。なお、ユーザが手動で線画画像を着色する際に参考とする参考着色画像は、ユーザが着色する線画画像を画像処理装置２０へ入力すると、入力された線画画像との類似度が高い参考着色画像が参考着色画像記憶部２２０２から取得され、ユーザ端末１０へ表示される。
また、自動で着色する場合、線画画像着色部２３１０は、参考着色画像生成部２３１４に生成された参考着色画像と、当該参考着色画像に対応する参考線画画像（三次元形状から生成）とをペアとする学習データに基づき生成された学習済みモデルを用いて、線画画像を着色する。具体的に、線画画像着色部２３１０は、ユーザがユーザ端末１０に入力した線画画像入力操作に応じて、入力受付部２３０１がユーザ端末１０から入力を受け付けた線画画像を、学習済みモデル記憶部２２０５に記憶されている学習済みモデルに入力する。そして、線画画像着色部２３１０は、当該学習済みモデルによって線画画像が着色されて出力される着色画像を取得する。
【0090】
また、上述した実施形態の画像処理システム１は、複数のシステムによって実現されてもよい。また、上述した実施形態の画像処理装置２０が有する機能は、複数のシステム又は装置によって実現されてもよい。
例えば、画像処理システム１は、線画選択システム、着色学習システム、線画着色システムによって実現される。この場合、線画選択システムは、画像処理装置２０が有する機能のうち、複数の参考線画画像からユーザが手動で着色する対象となる参考線画画像を選択する機能を有する。また、着色学習システムは、線画選択システムによって選択された参考線画画像と当該参考線画画像がユーザによって手動で着色された参考着色画像とを学習データとして用いた機械学習によって学習済みモデルを生成する機能を有する。また、線画着色システムは、着色学習システムによって生成された学習済みモデルを用いて線画画像を自動で着色して着色画像を生成する機能を有する。線画選択システム、着色学習システム、及び線画着色システムの各システムは、ユーザ端末やサーバなどの１つ又は複数の装置によって実現される。
例えば、画像処理システム１は、線画選択システム、着色学習システム、線画着色システムによって実現される。この場合、線画選択システムは、画像処理装置２０が有する機能のうち、複数の参考線画画像からユーザが手動で着色する対象となる参考線画画像を選択する機能を有する。また、着色学習システムは、線画選択システムによって選択された参考線画画像と当該参考線画画像がユーザによって手動で着色された参考着色画像とを学習データとして用いた機械学習によって学習済みモデルを生成する機能を有する。また、線画着色システムは、着色学習システムによって生成された学習済みモデルを用いて線画画像を自動で着色して着色画像を生成する機能を有する。線画選択システム、着色学習システム、及び線画着色システムの各システムは、ユーザ端末やサーバなどの１つ又は複数の装置によって実現される。
【0091】
なお、上述した実施形態における画像処理システム１及び画像処理装置２０の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0092】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0093】
１…画像処理システム、１０…ユーザ端末、２０，２０ａ…画像処理装置、２１０…通信部、２２０，２２０ａ…記憶部、２３０，２３０ａ…制御部、２２０１…参考線画画像記憶部、２２０２…参考着色画像記憶部、２２０３…線画画像記憶部、２２０４…着色画像記憶部、２２０５…モデル記憶部、２２０６…三次元形状記憶部、２３０１…入力受付部、２３０２…画像取得部、２３０３…画像補間部、２３０４…類似度算出部、２３０５…画像選択部、２３０６…画像提示部、２３０７…参考線画画像着色部、２３０８…学習データ生成部、２３０９…学習部、２３１０…線画画像着色部、２３１１…三次元形状取得部、２３１２…三次元形状着色部、２３１３…視点方向探索部、２３１４…参考着色画像生成部、ＮＷ…ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】