特開 2024-29442 画像着色装置、画像着色方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024029442

(43)【公開日】2024-03-06

(54)【発明の名称】画像着色装置、画像着色方法、およびプログラム

(51)【国際特許分類】

   G06T 11/60 20060101AFI20240228BHJP

   G06T 1/00 20060101ALI20240228BHJP

【ＦＩ】

G06T11/60 100E

G06T1/00 200C

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022131704

(22)【出願日】2022-08-22

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】阿部 敬由

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA09

5B050BA06

5B050BA20

5B050CA07

5B050EA09

5B050FA02

5B050FA05

5B050FA13

5B050GA08

(57)【要約】

【課題】画像間における着色の不整合を抑制する。
【解決手段】本開示の一態様は、ユーザの操作を受け付ける受付部と、前記受付部により受け付けた操作に基づいて対象物に着色を行う着色部と、前記対象物が含まれる複数の画像を表示する第１領域と、前記対象物が含まれる参照用の画像を表示する第２領域と、前記対象物が含まれる着色対象の画像を表示する第３領域と、を並べて表示部の表示領域に設定する表示制御部と、を備える、画像着色装置、である。
【選択図】図４

【特許請求の範囲】

【請求項1】

ユーザの操作を受け付ける受付部と、
前記受付部により受け付けた操作に基づいて対象物に着色を行う着色部と、
前記対象物が含まれる複数の画像を表示する第１領域と、前記対象物が含まれる参照用の画像を表示する第２領域と、前記対象物が含まれる着色対象の画像を表示する第３領域と、を並べて表示部の表示領域に設定する表示制御部と、
を備える、画像着色装置。

【請求項2】

画像から前記対象物を検出する対象物検出部を備え、
前記表示制御部は、前記対象物検出部により前記対象物が検出された複数の画像を前記第１領域に表示させる、請求項１に記載の画像着色装置。

【請求項3】

前記対象物検出部により検出された前記対象物と前記画像とを関連付けてデータベースに登録する対象物登録部と、
前記対象物と前記着色部により着色が行われた色情報とを関連付けて前記データベースに登録する色情報登録部とを備え、
前記着色部は、前記データベースに登録された前記対象物に関連付けられた前記色情報を、未着色の前記対象物に複製する、
請求項２に記載の画像着色装置。

【請求項4】

前記着色部は、前記対象物検出部により前記対象物を含む画像を複数検出した場合、前記対象物を検出した画像のうち着色された前記対象物の色を、前記対象物を検出した画像のうち未着色の対象物に複製する、請求項３に記載の画像着色装置。

【請求項5】

前記着色部は、前記対象物を検出した画像のうち未着色の対象物に着色を行った場合に、着色が行われた前記対象物と同じ対象物に、着色が行われた前記対象物と同じ色を着色する、請求項３に記載の画像着色装置。

【請求項6】

前記表示制御部は、前記対象物検出部により前記対象物を含む画像を複数検出した場合、前記複数の画像を前記第１領域に表示させ、
前記着色部は、前記受付部により前記第１領域に表示された画像のうち着色された対象物を含む画像を選択する操作を受け付けた場合、選択された画像に含まれる対象物に着色された色を、未着色の対象物に複製する、請求項３に記載の画像着色装置。

【請求項7】

前記着色部は、着色された対象物を含む画像を教師データとして機械学習され、前記対象物を含む画像を入力した場合に着色された前記対象物を含む画像を出力する機械学習モデルに基づいて着色を行う、請求項３に記載の画像着色装置。

【請求項8】

前記着色部は、着色された対象物を含む画像、ユーザの操作に基づいて対象物の色が修正された場合における修正前の色情報および修正後の色情報を教師データとして機械学習され、前記対象物を含む画像を入力した場合に着色された前記対象物を含む画像を出力する機械学習モデルに基づいて着色を行う、請求項３に記載の画像着色装置。

【請求項9】

表示部の第１領域に対象物が含まれる複数の画像を表示するステップと、
前記第１領域に表示された画像のうち参照用の画像を、前記第１領域に並んだ前記表示部の第２領域に表示するステップと、
前記第１領域および前記第２領域に並んだ前記表示部の第３領域に着色対象の画像を表示するステップと、
ユーザの操作に基づいて前記着色対象の画像に着色を行うステップと、
を含む、画像着色方法。

【請求項10】

画像着色装置のコンピュータに、
表示部の第１領域に対象物が含まれる複数の画像を表示させるステップと、
前記第１領域に表示された画像のうち参照用の画像を、前記第１領域に並んだ前記表示部の第２領域に表示させるステップと、
前記第１領域および前記第２領域に並んだ前記表示部の第３領域に着色対象の画像を表示させるステップと、
ユーザの操作に基づいて前記着色対象の画像に着色を行わせるステップと、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像着色装置、画像着色方法、およびプログラムに関する。

【背景技術】

【0002】

近年、電子配信アプリケーションにより着色された漫画を配信することが行われている。過去に発行された着色されていない漫画を電子配信アプリケーションにより配信する場合、漫画に着色する作業が必要となる。また、アニメーションを作成するときにも、多くのフレームに対して着色する作業が必要となる。漫画に半自動で着色を行う技術は、例えば、下記の非特許文献１に記載されている。非特許文献１には、入力画像に対して自動でコマに分割を行い、着色の見本となる参照画像を用意することで複数のコマに着色を実施している。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】古澤 知英、２章 漫画・線画の着色技術「２－１ 漫画の半自動着色手法Comicolorization」、映像情報メディア学会誌 Vol.72, No 3、pp. 347～352 (2018)

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１は、ＡＩ（artificial intelligence、人工知能）により自動で着色した場合、誤った領域に着色することや、同じ対象物に異なる着色を行ってしまうことがある。例えば、人の肌の領域に、人の肌に隣接した髪の色で着色してしまうことや、同じキャラクターの同じ服に異なった色で着色してしまうことや、ムラが発生することがある。

【0005】

本開示は、このような事情に鑑みてなされたもので、画像間における着色の不整合を抑制することができる画像着色装置、画像着色方法、およびプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本開示は上述した課題を解決するためになされたもので、本開示の一態様は、ユーザの操作を受け付ける受付部と、前記受付部により受け付けた操作に基づいて対象物に着色を行う着色部と、前記対象物が含まれる複数の画像を表示する第１領域と、前記対象物が含まれる参照用の画像を表示する第２領域と、前記対象物が含まれる着色対象の画像を表示する第３領域と、を並べて表示部の表示領域に設定する表示制御部と、を備える、画像着色装置、である。

【0007】

本開示の他の態様は、表示部の第１領域に対象物が含まれる複数の画像を表示するステップと、前記第１領域に表示された画像のうち参照用の画像を、前記第１領域に並んだ前記表示部の第２領域に表示するステップと、前記第１領域および前記第２領域に並んだ前記表示部の第３領域に着色対象の画像を表示するステップと、ユーザの操作に基づいて前記着色対象の画像に着色を行うステップと、を含む、画像着色方法、である。

【0008】

本開示の他の態様は、画像着色装置のコンピュータに、表示部の第１領域に対象物が含まれる複数の画像を表示させるステップと、前記第１領域に表示された画像のうち参照用の画像を、前記第１領域に並んだ前記表示部の第２領域に表示させるステップと、前記第１領域および前記第２領域に並んだ前記表示部の第３領域に着色対象の画像を表示させるステップと、ユーザの操作に基づいて前記着色対象の画像に着色を行わせるステップと、を実行させる、プログラム、である。

【発明の効果】

【0009】

本発明の一態様によれば、画像間における着色の不整合を抑制することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態における画像着色装置の一構成例を示すブロック図である。

【図2】実施の形態のＡＩ着色部の一例を示すブロック図である。

【図3】実施の形態の補正部の一例を示すブロック図である。

【図4】表示部に表示する着色用画面の一例を示す図である。

【図5】実施の形態における画像着色装置の処理手順の一例を示すフローチャートである。

【図6】着色対象コマ領域に着色対象コマ画像を表示した着色用画面の一例を示す図である。

【図7】関連コマ領域に関連コマ画像を表示した着色用画面の一例を示す図である。

【図8】着色対象コマ画像と参照コマ画像とを並べて表示した着色用画面の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明を適用した画像着色装置、画像着色方法、およびプログラムを、図面を参照して説明する。

【0012】

[画像着色装置の構成例]
図１は、実施の形態における画像着色装置の一構成例を示すブロック図である。画像着色装置１００は、例えば、ユーザが操作するパーソナルコンピュータ等の情報処理装置である。画像着色装置１００は、例えば、コンテンツ記憶装置２００と接続され、漫画、アニメーションなどのコンテンツを取得する。画像着色装置１００は、コンテンツに含まれる画像に含まれる対象物に着色を行う処理を行う。本実施の形態において、コンテンツは、一つの作品に多数のコマが含まれ、各コマ内に対象物が線画で描かれた白黒漫画であるが、これに限定されず、複数のフレームを含むアニメーションであってよい。対象物は、漫画に登場する人物、物体、背景等である。コマは、白黒漫画の各ページに一または複数含まれ、枠線で囲まれた画像である。

【0013】

画像着色装置１００は、例えば、ユーザインターフェース部１１０と、関連アイテム検出部１２０と、着色部１３０と、記憶部１４０とを備える。ユーザインターフェース部１１０、関連アイテム検出部１２０、および着色部１３０は、例えば、後述する処理を行うためのアプリケーションソフトウェアをＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）等のプロセッサがプログラムメモリに格納されたプログラムを実行することで実現される機能部であってよい。記憶部１４０は、例えば、メモリ、ハードディスクドライブ等のストレージ装置により実現されてよい。また、ユーザインターフェース部１１０、関連アイテム検出部１２０、着色部１３０、および記憶部１４０は、一部が他の装置に分散されて構成されてよい。

【0014】

ユーザインターフェース部１１０は、例えば、表示部１１２と、表示制御部１１４と、受付部１１６とを備える。表示部１１２は、液晶ディスプレイ等であり、映像信号を入力したことに応じて画像を表示する。表示制御部１１４は、表示部１１２に表示する画像を制御する。受付部１１６は、マウス等のポインティングデバイス、キーボード等の入力装置である。

【0015】

関連アイテム検出部１２０は、例えば、コマ検出部１２２と、対象物検出部１２４とを備える。コマ検出部１２２は、白黒漫画に含まれるコマを検出する。対象物検出部１２４は、コマに含まれる対象物を検出する。コマ検出部１２２により検出されたコマ画像を示すコマ情報と対象物検出部１２４により検出された対象物を示す対象物情報との関係は記憶部１４０に構築されたデータベースに登録される。これにより記憶部１４０は、対象物登録部として機能する。コマ情報は、例えば漫画中のコマを一意に特定する情報である。対象物情報は、例えば漫画中の対象物を一意に特定する情報である。対象物情報は、対象物の部分領域を一意に特定する情報を含んでよい。関連アイテム検出部１２０は着色処理ための関連アイテムとしてコマおよび対象物を検出するが、関連アイテムとして、ページ、アニメーションにおけるフレームなどの他の要素を検出してよい。また、対象物検出部１２４は、線のみで構成された画像（線画）の他、線に加えベタまたはトーンが併用された画像、線画の下書きとなるラフ画像等を対象物として検出してよい。

【0016】

関連アイテム検出部１２０は、コマ、ページ、キャラクター、物、背景等を含む漫画学習データセット等を学習データとして学習させた機械学習モデルを用いて実現してよい。機械学習モデルは、例えばInstance Segmentation、Panoptic Segmentationといった教師有り学習技術により学習されたニューラルネットワークにより実現される。関連アイテム検出部１２０は、特定の漫画を対象として着色する場合、特定の漫画により作成した学習データを用いて追加の学習を行った機械学習モデルを用いることが望ましい。これにより関連アイテム検出部１２０は、特定の漫画に対する関連アイテムの検出精度を向上させることができる。

【0017】

着色部１３０は、例えば、手動着色部１３２と、自動着色部１３４と、ＡＩ着色部１３６と、補正部１３８とを備える。手動着色部１３２は、ユーザの操作を受け付けた結果に基づいて対象物に着色を行う。自動着色部１３４は、既に着色された対象物の色を、自動的に未着色の対象物に複製する。ＡＩ着色部１３６は、機械学習された着色モデルに基づいて処理を行うことで未着色の対象物に着色を行う。補正部１３８は、機械学習された補正モデルに基づいて処理を行うことで対象物に着色された色を補正する。コマ検出部１２２により検出されたコマおよび対象物検出部１２４により検出された対象物に対する、着色部１３０により着色された結果としての色情報の関係は、記憶部１４０に構築されたデータベースに登録される。これにより記憶部１４０は、色情報登録部として機能する。色情報は、対象物または対象物の一部の色を示す情報であるが、これに限定されず、補正前の色を示す情報および補正後の色を示す情報を含んでよい。

【0018】

図２は、実施の形態のＡＩ着色部１３６の一例を示すブロック図である。ＡＩ着色部１３６は、機械学習モデルとしての着色モデル１３６Ａに未着色画像を入力し、着色モデル１３６Ａから着色済画像を出力する。着色モデル１３６Ａは、機械学習モデルであり、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。ＡＩ着色部１３６は、着色済画像を示す画像データを出力してよいが、コマ情報、対象物情報、対象物の各部に着色された色を示す色情報を含むデータを出力してよい。

【0019】

着色モデル１３６Ａは、モデル構築部１３６Ｂにより学習される。モデル構築部１３６Ｂは、教師データ（学習データ）としてデータセットを取得し、学習時において、着色モデル１３６Ａにデータセットを入力する。データセットには、例えば着色済画像を含むが、これに限定されず、着色済画像および未着色画像の双方を含んでよい。着色モデル１３６Ａは、データセットが入力された場合に、着色結果を出力する。

【0020】

モデル構築部１３６Ｂは、着色モデル１３６Ａから出力された着色結果が、学習データと一致するように着色モデル１３６Ａの処理パラメータを再帰的に更新する。処理パラメータは、例えば、畳み込みニューラルネットワークにおける、層数、各層のノード数、各層間のノードの結合方式、活性化関数、誤差関数、及び勾配降下アルゴリズム、プーリングの領域、カーネル、重み係数、および重み行列の少なくとも一つである。これにより、モデル構築部１３６Ｂは、処理パラメータを取得するために、例えば、深層学習を行う。深層学習とは、多層構造、特に３層以上のニューラルネットワークを用いた機械学習である。なお、モデル構築部１３６Ｂは、ＡＩ着色部１３６に含まれていなくてもよく、画像着色装置１００の初期設定時やメンテナンス時に着色モデル１３６Ａを画像着色装置１００に導入することができればよい。着色モデル１３６Ａは、着色時において、未着色画像を入力し、処理結果として着色済画像を出力する。

【0021】

モデル構築部１３６Ｂは、事前に公開されている漫画学習データセット等を例えばImate to Image Translation with Conditional Adversarial Networksといった画像変換の敵対的学習技術によりニューラルネットワークを学習することにより着色モデル１３６Ａを実現してよい。ただし、特定の漫画を対象として着色を行う場合、特定の漫画により作成した学習データのみを用いて学習してよく、公開されている漫画学習データセットで学習したニューラルネットワークに対して追加の学習を行うことで着色モデル１３６Ａの着色精度を向上させることができる。モデル構築部１３６Ｂは、着色されていないベタまたはトーンを含む画像、あるいは線画といったモノクロおよびグレースケールの画像を着色モデル１３６Ａに入力してよく、着色モデル１３６Ａから着色されたカラー画像を出力させるよう学習させてよい。また、モデル構築部１３６Ｂは、モノクロおよびグレースケール画像の他に、物体検出やセグメンテーションによって自動で取得した補助情報を更に別のチャンネルとして結合して着色モデル１３６Ａに入力してよい。

【0022】

図３は、実施の形態の補正部１３８の一例を示すブロック図である。補正部１３８は、機械学習モデルとしての補正モデル１３８Ａに補正前の着色済画像を入力し、補正モデル１３８Ａから補正後の着色済画像を出力する。補正モデル１３８Ａは、機械学習モデルであり、例えば、畳み込みニューラルネットワークである。補正部１３８は、補正後の着色済画像を示す画像データを出力してよいが、コマ情報、対象物情報、対象物の各部に着色された色を示す色情報を含むデータを出力してよい。

【0023】

補正モデル１３８Ａは、モデル構築部１３８Ｂにより学習される。モデル構築部１３８Ｂは、教師データ（学習データ）として補正前データおよび補正後データのデータセットを取得し、学習時において、補正モデル１３８Ａにデータセットを入力する。データセットには、ユーザの操作に基づいて着色された着色済画像、正しく補正されたデータ、および誤って補正されたデータを含んでよい。補正モデル１３８Ａは、データセットが入力された場合に、着色結果を出力する。

【0024】

モデル構築部１３８Ｂは、補正モデル１３８Ａから出力された着色結果が、学習データと一致するように補正モデル１３８Ａの処理パラメータを再帰的に更新する。処理パラメータは、例えば、畳み込みニューラルネットワークにおける、層数、各層のノード数、各層間のノードの結合方式、活性化関数、誤差関数、及び勾配降下アルゴリズム、プーリングの領域、カーネル、重み係数、および重み行列の少なくとも一つである。これにより、モデル構築部１３８Ｂは、処理パラメータを取得するために、例えば、深層学習を行う。深層学習とは、多層構造、特に３層以上のニューラルネットワークを用いた機械学習である。なお、モデル構築部１３８Ｂは、補正部１３８に含まれていなくてもよく、画像着色装置１００の初期設定時やメンテナンス時に補正モデル１３８Ａを画像着色装置１００に導入することができればよい。補正モデル１３８Ａは、着色時において、補正前の画像を入力し、処理結果として補正後の画像を出力する。

【0025】

補正部１３８は、手動により着色した対象物の色情報を未着色の対象物に複製した結果、着色済の対象物の色情報を未着色の対象物に複製した結果、およびＡＩ着色部１３６により着色した結果が、着色済の対象物間で異なる場合または所望の着色結果と異なる場合に、着色結果を補正する。補正部１３８は、手動着色機能または半自動着色機能により色を補正することができる。半自動着色機能は、敵対的学習技術を用いた補正モデル１３８Ａに補正後の色を示すためのカラー画像を入力して学習させることにより実現することができる。カラー画像は、対象物の領域の一部分のみがストロークや点等で着色されたものであり、対象物の領域全部や、対象物全部、コマ全部が着色されていなくてよい。モデル構築部１３６Ｂは、対象物に対して着色または色補正されたときに着色された色と、補正前の色と補正後の色を対象物と関連付けてデータベースに保存して、補正モデル１３８Ａを学習させることにより、補正精度を向上させることができる。

【0026】

図４は、表示部１１２に表示する着色用画面の一例を示す図である。表示制御部１１４は、着色用画面３００を表示するように表示部１１２を制御する。着色用画面３００には、着色対象コマ領域３１０と、参照コマ領域３２０とを含む着色作業領域と、関連コマ領域３３０とが含まれる。

【0027】

関連コマ領域３３０は、対象物が含まれる複数の画像を表示する第１領域に相当する。関連コマ領域３３０には、コマ検出部１２２により検出された複数のコマのうち対象物検出部１２４により対象物が検出されたコマに相当する画像（関連コマ画像）が表示される。関連コマ画像は、コマ画像を縮小化したサムネイル画像であってよい。関連コマ領域３３０にはスクロールバー３３０ａが含まれる。関連コマ領域３３０に表示される関連コマ画像はスクロールバー３３０ａの操作に従ってスクロール表示される。

【0028】

参照コマ領域３２０は、対象物が含まれる参照用のコマ画像を表示する第２領域に相当する。参照用のコマ画像は、例えば、ユーザが対象物に着色するために参照および比較される着色済の対象物を含むコマに相当する画像である。参照コマ領域３２０には、例えばユーザの操作に基づいて関連コマ領域３３０に表示されたコマのうち一つのコマに相当するコマ画像が表示される。

【0029】

着色対象コマ領域３１０は、対象物が含まれる着色対象のコマ画像を表示する第３領域に相当する。着色対象のコマ画像は、例えば、ユーザがこれから着色しようとする未着色の対象物を含むコマに相当するコマ画像である。

【0030】

着色対象コマ領域３１０と、参照コマ領域３２０と、関連コマ領域３３０とは、表示画面に並べて設定される。本実施の形態において着色対象コマ領域３１０、参照コマ領域３２０、および関連コマ領域３３０は、横方向に並べて設定されているが、これに限定されず、縦方向に並べられてよく、３つの領域のうち２つが横または縦に並べられてよい。

【0031】

表示制御部１１４は、着色用画面３００に、色複製ボタン３２２と、色複製ボタン３１２と、ＡＩ着色ボタン３１４と、補正ボタン３１６を表示させる。色複製ボタン３２２は、参照コマ領域３２０に表示された参照コマ画像に含まれる対象物の色情報を、着色対象コマ領域３１０に表示された着色対象コマ画像に含まれる対象物のうち参照コマ画像に含まれる対象物に複製するためのボタンである。色複製ボタン３１２は、着色対象コマ領域３１０に表示された着色対象コマ画像に含まれる対象物の色情報を、関連コマ領域３３０に表示された関連コマ画像に含まれる対象物のうち着色対象コマ画像に含まれる対象物に複製するためのボタンである。ＡＩ着色ボタン３１４は、着色対象コマ領域３１０に表示された着色対象コマ画像に含まれる対象物に、ＡＩ着色部１３６により着色を行うためのボタンである。補正ボタン３１６は、着色対象コマ領域３１０に表示された着色対象コマ画像に含まれる対象物に、補正部１３８により着色の補正を行うためのボタンである。

【0032】

図５は、実施の形態における画像着色装置１００の処理手順の一例を示すフローチャートである。画像着色装置１００は、例えばユーザの操作に従ってコンテンツ記憶装置２００からコンテンツを取得し、コマ検出部１２２は、取得したコンテンツに含まれるコマを検出し、検出したコマ情報を記憶部１４０に登録する（ステップＳ１００）。

【0033】

次にユーザインターフェース部１１０は、検出したコマのコマ画像を表示部１１２に表示する。受付部１１６は、コマ画像を選択する操作を受け付け、選択されたコマ画像を、着色対象コマ画像として着色対象コマ領域３１０に表示する（ステップＳ１０２）。図６は、着色対象コマ領域３１０に着色対象コマ画像を表示した着色用画面３００の一例を示す図である。

【0034】

次に対象物検出部１２４は、記憶部１４０に登録されたコマ情報のコマ画像から着色対象コマ画像に含まれる対象物と同じ対象物を検出し、検出されたコマ画像を、関連コマ画像として関連コマ領域３３０にサムネイル表示する（ステップＳ１０６）。図７は、関連コマ領域３３０に関連コマ画像を表示した着色用画面３００の一例を示す図である。

【0035】

次に受付部１１６は、サムネイル表示された関連コマ画像から一つのコマ画像を選択する操作を受け付け、表示制御部１１４は、選択されたコマ画像を、参照コマ画像として参照コマ領域３２０に表示させる（ステップＳ１０８）。これにより表示部１１２は、着色対象コマ画像と参照コマ画像とを並べて表示することができる。ユーザは、着色対象コマ画像と参照コマ画像を目視で比較して色の整合性を保ちながら着色をすることができる。なお、画像着色装置１００は、着色されたコマ画像がない場合、参照コマ領域３２０にコマ画像を表示しなくてよい。また、表示制御部１１４は、着色対象コマ領域３１０と参照コマ領域３２０との領域サイズを自由に変更可能にすることが望ましい。図８は、着色対象コマ画像と参照コマ画像とを並べて表示した着色用画面３００の一例を示す図である。

【0036】

次に着色部１３０は、着色対象コマ画像に着色処理を行う（ステップＳ１１０）。手動着色部１３２は、例えば、着色対象コマ画像のうち対象物の一部を選択する操作を受付部１１６が受け付けたときに、色を選択するためのパレット画像を表示部１１２に表示させる。手動着色部１３２は、パレット画像に含まれる色のうちいずれかの色が選択された場合、選択された色の色情報を、対象物の一部の色情報として記憶部１４０に登録する。手動着色部１３２には、着色対象コマ領域３１０のキャンバス領域として設定し、ペン型のポインタデバイスにより対象物に直接的に色を塗るように着色してよい。着色部１３０により着色された色情報は、コマ情報および対象物情報に関連付けられてデータベースに登録される。

【0037】

自動着色部１３４は、受付部１１６により受け付けた操作に基づいて色複製ボタン３１２が選択された場合に、データベースを参照して、着色対象コマ画像に含まれる対象物の色情報を関連コマ画像に含まれる対象物に複製することができる。これにより着色部１３０は、手動またはＡＩを利用して着色対象コマ画像に着色された色情報を、関連コマ領域の未着色の対象物に複製することがきできる。

【0038】

自動着色部１３４は、受付部１１６により受け付けた操作に基づいて色複製ボタン３２２が選択された場合に、データベースを参照して、参照コマ画像に含まれる対象物の色情報を着色対象コマ画像に含まれる対象物に複製することができる。これにより着色部１３０は、関連コマ領域に含まれる着色済のコマ画像が参照コマ画像として選択された場合に、選択された参照コマ画像の色情報を、関連コマ領域の未着色の対象物に複製することがきできる。

【0039】

ＡＩ着色部１３６は、受付部１１６により受け付けた操作に基づいてＡＩ着色ボタン３１４が選択された場合に、着色対象コマ画像を着色モデル１３６Ａに入力し、着色モデル１３６Ａから出力された着色済画像を着色対象コマ領域３１０に表示させることができる。補正部１３８は、受付部１１６により受け付けた操作に基づいて補正ボタン３１６が選択された場合に、着色対象コマ画像を補正モデル１３８Ａに入力し、補正モデル１３８Ａから出力された着色済画像を着色対象コマ領域３１０に表示させることができる。補正部１３８は、対象物の色（補正前）をパレットに含まれる色のうちいずれかの色（補正後）に指定し、補正ボタン３１６が操作された場合、関連コマ画像の色を、補正前の対象物の色から補正後の色に補正してよい。

【0040】

次に着色部１３０は、全てのコマに着色を完了したか否かを判定し（ステップＳ１１２）、全てのコマに着色を完了していない場合には（ステップＳ１１２：ＮＯ）、ステップＳ１０２以降の処理を繰り返し、全てのコマに着色を完了した場合には（ステップＳ１１２：ＹＥＳ）、処理を終了する。

【0041】

なお、図５の処理に限定されず、画像着色装置１００は、ステップＳ１００においてコンテンツからコマ画像を検出してデータベースに登録すると共に、コマ画像に含まれる対象物を検出し、着色済の対象物の色情報を検出してデータベースに登録してよい。画像着色装置１００は、コマ画像に未着色の対象物が含まれている場合、データベースを参照して、着色済の対象物の色情報を未着色の対象物に複製してよい。

【0042】

[実施の形態の効果]
以上説明したように、実施の形態の画像着色装置１００によれば、対象物が含まれる複数の画像を表示する第１領域と、対象物が含まれる参照用の画像を表示する第２領域と、対象物が含まれる着色対象の画像を表示する第３領域と、を並べて表示部１１２の表示領域に設定することができる。画像着色装置１００によれば、着色対象コマ画像と参照コマ画像とを並べて表示させることできるので、漫画のコマ、ページ、話を横断した色の比較を行うことができる。この結果、画像着色装置１００は、画像間における着色の不整合を抑制することができる。

【0043】

実施の形態の画像着色装置１００によれば、対象物検出部１２４により対象物が検出されたときに対象物を含むコマ画像を関連コマ領域３３０に表示させることができる。これにより画像着色装置１００によれば、着色対象コマ画像を着色するための参照コマ画像を容易に選択して、画像間における着色の不整合を抑制することができる。

【0044】

実施の形態の画像着色装置１００によれば、対象物検出部１２４により検出された対象物とコマ画像とを関連付けてデータベースに登録し、対象物と色情報とを関連付けてデータベースに登録し、着色部１３０により、データベースに登録された対象物に関連付けられた色情報を、未着色の前記対象物に複製することができる。これにより画像着色装置１００によれば、データベースに登録された対象物情報および色情報を用いてコマ画像間で同じ対象物に同じ色を着色することができる。また、画像着色装置１００によれば、関連アイテム検出部１２０により検出したコマ、ページ、対象物、対象物の一部領域をデータベースに保存することにより、一括して入力したコマまたはページだけでなく、過去に登録したコマまたはページについても、着色対象コマ画像に含まれる対象物と同じ対象物が描かれている参照コマ画像を並置することができる。

【0045】

実施の形態の画像着色装置１００によれば、着色部１３０により、対象物検出部１２４により対象物を含むコマ画像を複数検出した場合、対象物を検出したコマ画像のうち着色された対象物の色を、対象物を検出したコマ画像のうち未着色の対象物に複製することができる。これにより画像着色装置１００によれば、ユーザの着色のための作業負荷を軽減しつつ、コマ画像間で同じ対象物に同じ色を着色することができる。画像着色装置１００は、例えば、コマ検出部１２２および対象物検出部１２４によりコマおよび対象物が検出された時点でバッチ処理等により自動で着色を実行することができる。

【0046】

実施の形態の画像着色装置１００によれば、着色部１３０により、対象物を検出した画像のうち未着色の対象物に着色を行った場合に、着色が行われた対象物と同じ対象物に、着色が行われた対象物と同じ色を着色することができる。これにより画像着色装置１００によれば、ユーザの着色のための作業負荷を軽減しつつ、コマ画像間で同じ対象物に同じ色を着色することができる。

【0047】

実施の形態の画像着色装置１００によれば、表示制御部１１４により、対象物検出部１２４により対象物を含む画像を複数検出した場合、複数の画像を関連コマ領域３３０に表示させ、受付部１１６により関連コマ領域３３０に表示された画像のうち着色された対象物を含む画像を選択する操作を受け付けた場合、着色部１３０により、選択された画像に含まれる対象物に着色された色を、未着色の対象物に複製することができる。

【0048】

実施の形態の画像着色装置１００によれば、ＡＩ着色部１３６により、着色された対象物を含む画像を教師データとして機械学習され、対象物を含む画像を入力した場合に着色された対象物を含む画像を出力する着色モデル１３６Ａに基づいて着色を行うことができる。これにより画像着色装置１００によれば、ユーザの着色のための作業負荷を軽減しつつ、コマ画像間で同じ対象物に同じ色を着色することができる。

【0049】

実施の形態の画像着色装置１００によれば、補正部１３８により、着色された対象物を含む画像、ユーザの操作に基づいて対象物の色が修正された場合における修正前の色情報および修正後の色情報を教師データとして機械学習され、対象物を含む画像を入力した場合に着色された対象物を含む画像を出力する補正モデル１３８Ａに基づいて着色を行うことができる。これにより画像着色装置１００によれば、ユーザの着色補正のための作業負荷を軽減しつつ、コマ画像間で同じ対象物に同じ色を着色することができる。

【0050】

なお、各実施の形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施の形態や各変形例のうちのいずれかや、各実施の形態の一部や各変形例の一部を、他の１または複数の実施の形態や他の１または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

【符号の説明】

【0051】

１００…画像着色装置
１１０…ユーザインターフェース部
１１２…表示部
１１４…表示制御部
１１６…受付部
１２０…関連アイテム検出部
１２２…コマ検出部
１２４…対象物検出部
１３０…着色部
１３２…手動着色部
１３４…自動着色部
１３６…ＡＩ着色部
１３６Ａ…着色モデル
１３６Ｂ、１３８Ｂ…モデル構築部
１３８…補正部
１３８Ａ…補正モデル
１４０…記憶部
２００…コンテンツ記憶装置
３００…着色用画面
３１０…着色対象コマ領域
３１２、３２２…色複製ボタン
３１４…ＡＩ着色ボタン
３１６…補正ボタン
３２０…参照コマ領域
３３０…関連コマ領域
３３０ａ…スクロールバー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】