特開 2022-117492 漫画のスケッチイメージを自動的に彩色するための装置、方法、及び実行されるプログラムを格納するコンピュータ読取可能な非一時的格納媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022117492

(43)【公開日】2022-08-10

(54)【発明の名称】漫画のスケッチイメージを自動的に彩色するための装置、方法、及び実行されるプログラムを格納するコンピュータ読取可能な非一時的格納媒体

(51)【国際特許分類】

   G06T 11/80 20060101AFI20220803BHJP

【ＦＩ】

G06T11/80 A

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022012065

(22)【出願日】2022-01-28

(31)【優先権主張番号】10-2021-0013380

(32)【優先日】2021-01-29

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】522040643

【氏名又は名称】アイコード－ラボ コーポレーション

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】ソ，ヒュン

(72)【発明者】

【氏名】ジョン，スンウォン

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA09

5B050BA06

5B050BA18

5B050CA08

5B050DA03

5B050EA09

5B050EA18

5B050FA05

5B050GA08

(57)【要約】

【課題】 予め彩色された彩色イメージの中から、スケッチイメージの彩色に適した参照彩色イメージを決定できる装置および方法を提供する。
【解決手段】 装置は、ユーザ端末から漫画のスケッチイメージを受信するように構成される通信部と、スケッチイメージおよび彩色された彩色イメージを格納するように構成される格納部と、格納された彩色イメージの中から、スケッチイメージの彩色に参照される参照彩色イメージを決定する制御部とを含み、制御部は、彩色イメージと彩色イメージ各々間の類似度に基づいて、参照彩色イメージを決定する。
【選択図】 図４

【特許請求の範囲】

【請求項1】

ユーザ端末から漫画のスケッチイメージを受信するように構成される通信部と、
前記スケッチイメージおよび彩色された彩色イメージを格納するように構成される格納部と、
前記格納された彩色イメージの中から、前記スケッチイメージの彩色に参照される参照彩色イメージを決定する制御部と、を含み、
前記制御部は、前記スケッチイメージと前記彩色イメージ各々間の類似度に基づいて、前記参照彩色イメージを決定する、ことを特徴とする装置。

【請求項2】

前記制御部は、
前記スケッチイメージおよび前記彩色イメージ各々から、前記スケッチイメージおよび前記彩色イメージ各々の特性を示すベクトルを計算するように構成されるベクトル計算部と、
前記ベクトルを用いて、前記スケッチイメージおよび前記彩色イメージ各々間の類似度を計算するように構成される類似度計算部と、
前記類似度に基づいて、前記彩色イメージの中から、前記参照彩色イメージを決定するように構成されるイメージ決定部と、を含む、ことを特徴とする請求項１に記載の装置。

【請求項3】

前記類似度計算部は、
前記スケッチイメージのベクトルおよび前記彩色イメージ各々のベクトルの方向に基づいて、前記類似度を計算する、ことを特徴とする請求項２に記載の装置。

【請求項4】

前記イメージ決定部は、
前記スケッチイメージと前記彩色イメージ各々間の類似度と基準値とを比較し、比較結果に応じて、前記彩色イメージの中から、前記スケッチイメージと類似の彩色イメージを前記参照彩色イメージとして決定する、ことを特徴とする請求項２に記載の装置。

【請求項5】

前記格納部は、前記彩色イメージおよび前記彩色イメージ各々の漫画内の順序を示す順序情報を格納し、
前記イメージ決定部は、
前記類似度に基づいて、前記彩色イメージの中から、前記スケッチイメージと類似の類似彩色イメージを選択し、
前記類似彩色イメージ各々の前記順序情報に基づいて、前記類似彩色イメージの中から、前記参照彩色イメージを決定する、ことを特徴とする請求項４に記載の装置。

【請求項6】

前記順序情報は、前記彩色イメージが含まれた漫画のエピソードまたはカットに関する情報を含む、ことを特徴とする請求項５に記載の装置。

【請求項7】

前記制御部は、
前記決定された参照彩色イメージを用いて、前記スケッチイメージを彩色することにより、最終イメージを生成するように構成されるイメージ処理部をさらに含む、ことを特徴とする請求項２に記載の装置。

【請求項8】

前記イメージ処理部は、
前記スケッチイメージを複数のセグメントに分割し、分割された各セグメントを識別するための情報を含むセグメント情報を生成し、
前記スケッチイメージに関する前記セグメント情報を用いて、前記最終イメージを複数のセグメントに分割し、
前記最終イメージの複数のセグメント各々の色彩を単色化処理する、ことを特徴とする請求項７に記載の装置。

【請求項9】

コンピューティング装置により行われる方法において、
漫画のスケッチイメージを受信するステップと、
前記スケッチイメージおよび彩色された彩色イメージを格納するステップと、
前記スケッチイメージと前記彩色イメージ各々間の類似度に基づいて、前記格納された彩色イメージの中から、前記スケッチイメージの彩色に参照される参照彩色イメージを決定するステップと、を含む、ことを特徴とする方法。

【請求項10】

前記参照彩色イメージを決定するステップは、
前記スケッチイメージおよび前記彩色イメージ各々から、前記スケッチイメージおよび前記彩色イメージ各々の特性を示すベクトルを計算するステップと、
前記ベクトルを用いて、前記スケッチイメージおよび前記彩色イメージ各々間の類似度を計算するステップと、
前記類似度に基づいて、前記彩色イメージの中から、前記参照彩色イメージを決定するステップと、を含む、ことを特徴とする請求項９に記載の方法。

【請求項11】

前記参照彩色イメージを決定するステップは、
前記スケッチイメージと前記彩色イメージ各々間の類似度と基準値とを比較し、比較結果に応じて、前記彩色イメージの中から、前記スケッチイメージと類似の彩色イメージを前記参照彩色イメージとして決定するステップをさらに含む、ことを特徴とする請求項９に記載の方法。

【請求項12】

前記方法は、前記彩色イメージおよび前記彩色イメージ各々の漫画内の順序を示す順序情報を格納するステップをさらに含み、
前記参照彩色イメージを決定するステップは、
前記類似度に基づいて、前記彩色イメージの中から、前記スケッチイメージと類似の類似彩色イメージを選択するステップと、
前記類似彩色イメージ各々の順序情報に基づいて、前記類似彩色イメージの中から、前記参照彩色イメージを決定するステップと、をさらに含む、ことを特徴とする請求項９に記載の方法。

【請求項13】

前記方法は、
前記決定された参照彩色イメージを用いて、前記スケッチイメージを彩色することにより、最終イメージを生成するステップと、
前記スケッチイメージを複数のセグメントに分割し、分割された各セグメントを識別するための情報を含むセグメント情報を生成するステップと、
前記スケッチイメージに関する前記セグメント情報を用いて、前記最終イメージを複数のセグメントに分割するステップと、
前記最終イメージの複数のセグメント各々の色彩を単色化処理するステップと、をさらに含む、ことを特徴とする請求項９に記載の方法。

【請求項14】

請求項９に記載の方法を行うように構成され、コンピューティング装置により実行されるプログラムを格納することを特徴とするコンピュータ読取可能な非一時的格納媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、漫画のスケッチイメージを自動的に彩色するための装置および方法に関する。

【背景技術】

【0002】

一般的に、漫画は、物語（意味）がある絵、または当該絵を並べて一つの大きな物語を表現する表現形式を意味する。かつては、作家が手で下絵を描き、彩色をすることで漫画を完成していたので、漫画の完成に多くの時間がかかっていた。一方、最近は、コンピュータ技術の発達により、多くの作家がコンピュータのような電子装置を用いて漫画を制作したりする。例えば、入力装置を用いて漫画の下絵を描いたり、または入力装置を用いて下絵を彩色する。しかし、このような過程も作家の介入を必要とするので、少なからぬ時間がかかる問題があった。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－０４４５９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、予め彩色された彩色イメージの中から、スケッチイメージの彩色に適した参照彩色イメージを決定できる装置および方法を提供することである。
本発明の目的は、決定された参照彩色イメージを用いてスケッチイメージを彩色できる装置および方法を提供することである。

【課題を解決するための手段】

【0005】

本発明の実施例による装置は、ユーザ端末から漫画のスケッチイメージを受信するように構成される通信部と、前記スケッチイメージおよび彩色された彩色イメージを格納するように構成される格納部と、前記格納された彩色イメージの中から、前記スケッチイメージの彩色に参照される参照彩色イメージを決定する制御部と、を含み、前記制御部は、前記スケッチイメージと前記彩色イメージ各々間の類似度に基づいて、前記参照彩色イメージを決定する。

【0006】

本発明の実施例によるコンピューティング装置により行われる方法は、漫画のスケッチイメージを受信するステップと、前記スケッチイメージおよび彩色された彩色イメージを格納するステップと、前記スケッチイメージと前記彩色イメージ各々間の類似度に基づいて、前記格納された彩色イメージの中から、前記スケッチイメージの彩色に参照される参照彩色イメージを決定するステップと、を含む。

【0007】

本発明の実施例による方法は、コンピューティング装置により実行されるプログラムの形態で実現可能であり、プログラムは、コンピュータ読取可能な非一時的格納媒体に格納される。

【発明の効果】

【0008】

本発明の実施例によれば、装置は、スケッチイメージを受信し、格納された彩色イメージの中から、スケッチイメージの彩色に用いられる参照彩色イメージを決定し、決定された参照彩色イメージをユーザに提供するか、または、参照彩色イメージを用いてスケッチイメージを彩色することができる。これにより、スケッチイメージの彩色にかかる時間が減少できるので、漫画完成時にかかる時間が減少できる効果がある。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例による彩色システムを示す。

【図2】本発明の実施例による制御部を示す。

【図3】本発明の実施例による装置の動作を説明するための図である。

【図4】本発明の実施例による装置の作動方法を示すフローチャートである。

【図5】本発明の実施例による参照彩色イメージを決定することを説明するための図である。

【図6】本発明の実施例による参照彩色イメージを決定することを説明するための図である。

【図7】本発明の実施例による参照彩色イメージを決定することを説明するための図である。

【図8】本発明の実施例による参照彩色イメージを決定することを説明するための図である。

【図9】本発明の実施例によるスケッチイメージを彩色する方法を示すフローチャートである。

【図10】本発明の実施例によるスケッチイメージを彩色する方法を示す。

【図11】本発明の実施例によるスケッチイメージを彩色する方法を示す。

【図12】本発明の実施例によるスケッチイメージを彩色する方法を示す。

【発明を実施するための形態】

【0010】

本発明を明確に説明するために説明と関係のない部分は省略し、明細書全体にわたって同一または類似の構成要素については同一の参照符号を付す。

【0011】

特に定義しないが、ここに使う技術用語および科学用語を含むすべての用語は、本発明の属する技術分野における通常の知識を有する者が一般的に理解する意味と同一の意味を有する。通常使われる辞書に定義された用語は、関連技術文献と現在開示された内容に符合する意味を有すると追加解釈され、定義されない限り、理想的または非常に公式的な意味で解釈されない。

【0012】

以下、添付した図面を参照して、本発明の実施例について、本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳細に説明する。しかし、本発明は種々の異なる形態で実現可能であり、ここで説明する実施例に限定されない。

【0013】

図１は、本発明の実施例による彩色システムを示す。彩色システムは、ユーザ端末１００と、装置２００とを含むことができる。

【0014】

ユーザ端末１００は、ユーザの操作によって、彩色対象になるスケッチイメージを装置２００に伝送することができる。例えば、スケッチイメージは、漫画内のオブジェクト（例えば、登場キャラクター、周辺物体など）を示す外郭線を含むことができる。スケッチイメージは、線画イメージと称されることもある。

【0015】

実施例によると、ユーザ端末１００は、彩色対象になるスケッチイメージを生成または格納することができる。例えば、スケッチイメージは、彩色が完成していないイメージであってもよい。すなわち、スケッチイメージは、彩色されていない部分を含むイメージであってもよい。

【0016】

ユーザ端末１００は、装置２００から彩色に参照するための参照彩色イメージを受信するか、または、参照彩色イメージに基づいて彩色されたスケッチイメージを受信することができる。実施例により、ユーザ端末１００は、装置２００から伝送された参照彩色イメージを用いて、彩色されていないスケッチイメージを彩色することもできる。

【0017】

ユーザ端末１００は、演算処理機能を有するコンピューティング装置であって、移動型装置であるか、または固定型装置であってもよい。例えば、ユーザ端末１００は、コンピュータ、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、スマートフォン、ナビゲーション、ラップトップコンピュータ、タブレットコンピュータ、ウェアラブル装置またはタブレットなどを意味することができるが、本発明の実施例がこれに限定されるものではない。

【0018】

ユーザ端末１００は、通信方式を用いて装置２００と通信可能である。実施例によると、ユーザ端末１００は、無線通信方式または有線通信方式により装置２００とイメージデータをやり取りすることができる。

【0019】

例えば、前記無線通信方式は、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ（ＷＬＡＮ））、ワイブロ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ（Ｗｉｂｒｏ））、ＷＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ ＣＤＭＡ）、ＩＥＥＥ８０２．１６、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ））、ＬＴＥ－Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ－Ａｄｖａｎｃｅｄ）、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）、ＵＷＢ（Ｕｌｔｒａ－Ｗｉｄｅｂａｎｄ）、ジグビー（登録商標）（ＺｉｇＢｅｅ（登録商標））、隣接磁場通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＮＦＣ））、超音波通信（Ｕｌｔｒａ Ｓｏｕｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＵＳＣ））、可視光通信（Ｖｉｓｉｂｌｅ Ｌｉｇｈｔ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＶＬＣ））、ワイファイ（登録商標）（Ｗｉ－Ｆｉ（登録商標））などを含むことができるが、これに限定されるものではない。

【0020】

例えば、有線通信プロトコルは、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、有線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、電力線通信（Ｐｏｗｅｒ Ｌｉｎｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＰＬＣ））、ＵＳＢ（登録商標）通信、イーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ（登録商標））、シリアル通信（ｓｅｒｉａｌ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、光／同軸ケーブル通信などを含むことができるが、これに限定されるものではない。

【0021】

装置２００は、彩色イメージを格納することができる。彩色イメージは、漫画を構成するイメージであってもよい。例えば、彩色イメージは、漫画内のオブジェクト（例えば、登場キャラクター、周辺物体など）を示す外郭線と色彩を含むことができる。

【0022】

実施例によれば、装置２００は、漫画から彩色イメージを抽出（または収集）することができる。例えば、装置２００は、漫画が掲示されたウェブ（ｗｅｂ）上のウェブページのアドレスを用いて、掲示された漫画から彩色イメージを抽出（または収集）することができるが、これに限定されるものではない。

【0023】

実施例によれば、装置２００は、彩色イメージおよび彩色イメージの順序情報を併せて格納することができる。この時、順序情報は、彩色イメージ各々の漫画内での順序を示すことができる。例えば、順序情報は、彩色イメージが含まれた漫画のエピソード（ｅｐｉｓｏｄｅ）または彩色イメージが含まれたカット（ｃｕｔ）に関する情報を意味することができる。

【0024】

装置２００は、ユーザ端末１００から彩色対象になるスケッチイメージを受信し、予め格納された彩色イメージの中から、スケッチイメージの彩色に用いられる参照彩色イメージを決定することができる。この時、参照彩色イメージは、スケッチイメージと類似のイメージであってもよい。

【0025】

装置２００は、決定された参照彩色イメージをユーザ端末１００に伝送するか、または、参照彩色イメージを用いてスケッチイメージを彩色することができる。例えば、装置２００は、スケッチイメージに含まれたオブジェクト各々を、参照彩色イメージに含まれた類似のオブジェクトの色彩で彩色することができる。

【0026】

装置２００は、演算処理機能を有するコンピューティング装置であってもよい。例えば、装置２００は、ユーザ端末１００と通信可能なサーバコンピュータであってもよいが、これに限定されるものではない。

【0027】

装置２００は、通信部２１０と、制御部２２０と、格納部２３０とを含むことができる。

【0028】

通信部２１０は、ユーザ端末１００とデータをやり取りすることができる。実施例によれば、通信部２１０は、無線通信方式または有線通信方式により装置２００とイメージデータをやり取りすることができる。

【0029】

制御部２２０は、装置２００の全般的な動作を制御することができる。実施例によれば、制御部２２０は、予め格納された彩色イメージの中から、スケッチイメージの彩色に用いられる参照彩色イメージを決定することができる。

【0030】

すなわち、制御部２２０は、装置２００の動作のための一連の演算または判断を行える装置を意味することができる。例えば、制御部２２０は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＭＣＵ（ｍｉｃｒｏ ｃｏｎｔｒｏｌｌｅｒ ｕｎｉｔ）、ＧＰＵ（ｇｒａｐｈｉｃａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）であってもよいが、これに限定されるものではない。

【0031】

格納部２３０は、装置２００の動作に必要なデータを格納することができる。実施例によれば、格納部２３０は、彩色対象になるスケッチイメージおよびスケッチイメージの彩色時に参照するための彩色イメージを格納することができる。

【0032】

また、格納部２３０は、装置２００により行われる一連の動作を行うための命令語からなるプログラムを格納することができる。

【0033】

格納部２３０は、不揮発性メモリ装置または揮発性メモリ装置を含むことができる。実施例により、格納部２３０は、制御部２２０に含まれて構成されてもよいが、これに限定されるものではない。

【0034】

図２は、本発明の実施例による制御部を示す。図２を参照すれば、制御部２２０は、ベクトル計算部２２１と、類似度計算部２２３と、イメージ決定部２２５と、イメージ処理部２２７とを含むことができる。

【0035】

図２に示した制御部２２０の各構成２２１、２２３、２２５および２２７は、物理的に区別されたハードウェアであってもよい。この時、各構成２２１、２２３、２２５および２２７の少なくとも２つ以上の構成は、一体で実現されてもよい。また、各構成２２１、２２３、２２５および２２７は、機能的に区別されたモジュールであってもよい。すなわち、各構成２２１、２２３、２２５および２２７は、制御部２２０の各機能を行う機能ブロックを意味することができ、この時、各構成２２１、２２３、２２５および２２７は、１つのハードウェア（例えば、プロセッサ）で実現可能である。

【0036】

ベクトル計算部２２１は、イメージから前記イメージを示すベクトルを生成（または計算）することができる。実施例によれば、ベクトル計算部２２１は、格納されたスケッチイメージおよび彩色イメージ各々から、スケッチイメージおよび彩色イメージ各々を示すベクトルを計算することができる。

【0037】

実施例によれば、ベクトル計算部２２１は、イメージが有する特徴を示すベクトルを生成することができる。すなわち、生成されたベクトルは、イメージが有する模様、形状、外形などを示す値を有することができる。ベクトルの値によってベクトルの方向が決定されるので、結果的に、互いに類似の模様、形状、外形などを示す２つのイメージは、互いに類似の方向を有する２つのベクトルを有することができる。このように、イメージからイメージを示すベクトルを生成（または計算）することを、イメージ埋め込み（ｅｍｂｅｄｄｉｎｇ）といえる。この時、ベクトルは、多次元空間の元素であり得る。

【0038】

実施例によれば、ベクトル計算部２２１は、ディープラーニングアルゴリズムに基づいて、イメージから前記イメージを示すベクトルを計算することができる。例えば、前記ディープラーニングアルゴリズムは、予め用意された学習用イメージを学習データセットとして、互いに類似の特性（模様、形状、外形など）を有するイメージに対するベクトルは、互いに類似の方向をもたせる学習により生成されたアルゴリズムであってもよい。

【0039】

類似度計算部２２３は、ベクトル計算部２２１によって生成されたイメージに対するベクトルを用いて、イメージ間の類似度を計算することができる。実施例によれば、類似度計算部２２３は、スケッチイメージと彩色イメージとの間の類似度を計算することができる。例えば、類似度計算部２２３は、スケッチイメージに関連付けられたベクトルおよび彩色イメージに関連付けられたベクトルに基づいて、スケッチイメージと彩色イメージとの間の類似度を計算することができる。

【0040】

類似度は、２つのイメージの特性（模様、形状、外形など）の類似の程度を示す値であって、実施例によれば、２つのイメージに含まれたスケッチの類似の程度を示す値であってもよい。

【0041】

類似度計算部２２３は、２つのベクトルの方向に基づいて類似度を計算することができる。実施例によれば、類似度計算部２２３は、２つのイメージ各々を示す２つのベクトルの方向が類似するほど、２つのイメージ間の類似度を高い値として計算することができる。例えば、類似度計算部２２３は、イメージを示すベクトル間のコサイン類似度（ｃｏｓｉｎｅ ｓｉｍｉｌａｒｉｔｙ）を計算することにより、イメージ間の類似度を計算することができるが、本発明の実施例がこれに限定されるものではない。

【0042】

イメージ決定部２２５は、彩色イメージの中から、スケッチイメージの彩色に用いられる（あるいは用いられるのに適した）参照彩色イメージを決定することができる。

【0043】

イメージ決定部２２５は、類似度計算部２２３によって計算された類似度に基づいて、彩色イメージの中から、スケッチイメージと類似の類似彩色イメージを決定することができる。例えば、類似彩色イメージは、スケッチイメージに含まれたキャラクターと同一のキャラクターを含むイメージであるか、スケッチイメージに含まれたオブジェクトと同一または類似のオブジェクトを含むイメージであるか、または、スケッチイメージに含まれた境界と同一または類似の形状を有する境界を含むイメージであってもよい。

【0044】

実施例によれば、イメージ決定部２２５は、格納された彩色イメージとスケッチイメージとの間の類似度と基準値とを比較し、比較結果に応じて、彩色イメージの中から、基準値以上の類似度を有する彩色イメージを類似彩色イメージとして決定することができる。この時、類似彩色イメージは、１つまたは１つ以上であってもよい。

【0045】

また、イメージ決定部２２５は、類似彩色イメージの中から、参照彩色イメージを決定することができる。実施例によれば、イメージ決定部２２５は、類似彩色イメージ各々の順序情報に基づいて、類似彩色イメージの中から、参照彩色イメージを決定することができる。

【0046】

イメージ決定部２２５は、類似彩色イメージの中から、相対的に最近のエピソードまたは最近のカットに含まれた類似彩色イメージを参照彩色イメージとして決定することができる。例えば、イメージ決定部２２５は、基準順序以内のエピソード（またはカット）に含まれた類似彩色イメージを参照彩色イメージとして決定することができる。

【0047】

また、装置２００は、相対的により最新のエピソード（またはカット）に含まれた類似彩色イメージを優先的に参照彩色イメージとして決定することができる。すなわち、参照彩色イメージが複数個存在する場合、装置２００は、参照彩色イメージの順序情報に応じて参照彩色イメージの優先順位を設定することができる。例えば、装置２００は、最も最新のエピソード（またはカット）に含まれた参照彩色イメージの優先順位を最も高い順位に設定することができる。

【0048】

イメージ処理部２２７は、決定された参照彩色イメージをユーザ端末１００に伝送することができる。あるいは、イメージ処理部２２７は、決定された参照彩色イメージをユーザに視覚的に表示することもできる。例えば、イメージ処理部２２７は、参照彩色イメージが複数の時、参照彩色イメージを優先順位に応じて順次に表示することができる。

【0049】

イメージ処理部２２７は、決定された参照彩色イメージを用いてスケッチイメージを彩色することができる。例えば、イメージ処理部２２７は、参照彩色イメージが複数の時、ユーザによって選択された参照彩色イメージ、または優先順位が最も高い参照彩色イメージを用いてスケッチイメージを彩色することができる。

【0050】

実施例によれば、イメージ処理部２２７は、決定された参照彩色イメージに含まれた色彩に対応する色彩を用いてスケッチイメージを彩色することができる。例えば、イメージ処理部２２７は、スケッチイメージの領域（例えば、閉曲線からなる領域）の色彩を、参照彩色イメージの対応する領域の色彩を用いて彩色することができる。例えば、イメージ処理部２２７は、スケッチイメージの領域内のピクセル各々の色座標を、参照彩色イメージの領域内の対応するピクセル各々の色座標と同一の値に設定することにより、スケッチイメージを彩色することができる。

【0051】

本発明の実施例によれば、装置２００は、スケッチイメージを受信し、格納された彩色イメージの中から、スケッチイメージの彩色に用いられる参照彩色イメージを決定し、決定された参照彩色イメージをユーザに提供するか、または、参照彩色イメージを用いてスケッチイメージを彩色することができる。これにより、スケッチイメージの彩色にかかる時間が減少できるので、漫画完成時にかかる時間が減少できる。

【0052】

図３は、本発明の実施例による装置の動作を説明するための図である。図３を参照すれば、装置２００は、スケッチイメージＳと彩色イメージＰ１～ＰＮ（Ｎは１以上の自然数）とを格納することができる。

【0053】

ベクトル計算部２２１は、スケッチイメージＳからスケッチイメージＳに関連付けられたベクトルＶ_Ｓを計算することができる。また、ベクトル計算部２２１は、彩色イメージＰ１～ＰＮから彩色イメージＰ１～ＰＮに関連付けられたベクトルＶ_Ｐ１～Ｖ_ＰＮを計算することができる。ベクトルＶ_ＳおよびＶ_Ｐ１～Ｖ_ＰＮは、スケッチイメージおよび彩色イメージ各々が有する特徴を示す変数であり得る。

【0054】

類似度計算部２２３は、ベクトル計算部２２１によって生成されたイメージに対するベクトルＶ_ＳおよびＶ_Ｐ１～Ｖ_ＰＮを用いて、スケッチイメージと彩色イメージとの間の類似度を計算することができる。例えば、類似度計算部２２３は、スケッチイメージＳと彩色イメージＰ１～ＰＮ各々の類似度ＳＩＭ_１～ＳＩＭ_Ｎを計算することができる。

【0055】

イメージ決定部２２５は、彩色イメージＰ１～ＰＮの中から、参照彩色イメージＲＰＭを決定することができる。実施例によれば、イメージ決定部２２５は、類似度計算部２２３によって計算された類似度ＳＩＭ_１～ＳＩＭ_Ｎに基づいて、彩色イメージＰ１～ＰＮの中から、スケッチイメージＳと類似の類似彩色イメージを決定することができる。この時、類似彩色イメージは、１つまたは１つ以上であってもよい。

【0056】

また、イメージ決定部２２５は、類似彩色イメージの中から、参照彩色イメージを決定することができる。実施例によれば、イメージ決定部２２５は、類似彩色イメージの中から、スケッチイメージＳの彩色に用いられる参照彩色イメージＲＰＭを決定することができる。

【0057】

図４は、本発明の実施例による装置の作動方法を示すフローチャートである。図４を参照すれば、装置２００は、彩色イメージを受信することができる（Ｓ１１０）。実施例によれば、装置２００は、漫画から彩色イメージを抽出（または取得）することができる。この時、装置２００は、受信された彩色イメージを格納することができる。実施例により、装置２００は、彩色イメージと前記彩色イメージの順序情報を併せて格納することができる。

【0058】

装置２００は、スケッチイメージを受信することができる（Ｓ１２０）。実施例によれば、装置２００は、ユーザ端末１００からスケッチイメージを受信し、受信したスケッチイメージを格納することができる。例えば、スケッチイメージは、ユーザ端末１００に連動した入力装置の操作によって生成されて、ユーザ端末１００に格納されたものであってもよい。

【0059】

装置２００は、格納された彩色イメージの中から、スケッチイメージと類似の類似彩色イメージを選択することができる（Ｓ１３０）。類似彩色イメージは、スケッチイメージと類似の形態を有するイメージであってもよい。例えば、類似彩色イメージは、スケッチイメージに含まれたキャラクターと同一のキャラクターを含むイメージであるか、スケッチイメージに含まれたオブジェクトと同一または類似のオブジェクトを含むイメージであるか、または、スケッチイメージに含まれた境界と同一または類似の形状を有する境界を含むイメージであってもよい。

【0060】

実施例により、装置２００は、スケッチイメージと彩色イメージ各々に関連付けられたベクトルを計算し、計算されたベクトルを用いてスケッチイメージと彩色イメージ各々間の類似度を計算することができる。装置２００は、計算された類似度に基づいて、類似彩色イメージを選択することができる。

【0061】

装置２００は、類似彩色イメージの中から、スケッチイメージの彩色に参照される参照彩色イメージを決定することができる（Ｓ１４０）。実施例によれば、装置２００は、類似彩色イメージの中から、参照彩色イメージを決定することができる。例えば、装置２００は、類似彩色イメージの順序情報に基づいて、類似彩色イメージの中から、参照彩色イメージを決定することができる。

【0062】

装置２００は、決定された参照彩色イメージをユーザに提供することができる（Ｓ１５０）。実施例により、装置２００は、参照彩色イメージを視覚的に表示するか、または、参照彩色イメージをユーザ端末１００に伝送することができる。

【0063】

装置２００は、決定された参照彩色イメージを用いてスケッチイメージを彩色することができる（Ｓ１６０）。実施例により、装置２００は、決定された参照彩色イメージに含まれた色彩を用いて、スケッチイメージを彩色することにより、最終イメージを生成することができる。

【0064】

図５～図８は、本発明の実施例による参照彩色イメージを決定することを説明するための図である。

【0065】

図５を参照すれば、装置２００は、彩色イメージＰ１～Ｐ８を格納することができる。上述のように、彩色イメージＰ１～Ｐ８は、漫画を構成するイメージであってもよい。図５に示すように、彩色イメージＰ１～Ｐ８各々は、漫画の特定のエピソードおよび特定のカットに相当するイメージであってもよい。

【0066】

例えば、第１彩色イメージＰ１は、１番目のエピソードの１番目のカットのイメージであり、第２彩色イメージＰ２は、１番目のエピソードの２番目のカットのイメージであり、第３彩色イメージＰ３は、１番目のエピソードの３番目のカットのイメージであってもよい。また、例えば、第４彩色イメージＰ４は、２番目のエピソードの１番目のカットのイメージであり、第５彩色イメージＰ５は、２番目のエピソードの２番目のカットのイメージであってもよい。さらに、例えば、第６彩色イメージＰ６は、３番目のエピソードの１番目のカットのイメージであり、第７彩色イメージＰ７は、３番目のエピソードの２番目のカットのイメージであり、第８彩色イメージＰ８は、３番目のエピソードの３番目のカットのイメージであってもよい。

【0067】

図６を参照すれば、装置２００は、彩色イメージＰ１～Ｐ８および彩色イメージＰ１～Ｐ８の順序情報を併せて格納することができる。彩色イメージＰ１～Ｐ８の順序情報は、彩色イメージが含まれた漫画のエピソードまたは彩色イメージが含まれたカットに関する情報を意味することができる。例えば、第１彩色イメージＰ１の順序情報は、第１彩色イメージＰ１が１番目のエピソードの１番目のカットのイメージに相当することを示す情報であってもよい。

【0068】

図７を参照すれば、装置２００は、スケッチイメージＳを格納することができる。実施例により、装置２００は、ユーザ端末１００からスケッチイメージＳを受信することができる。

【0069】

スケッチイメージＳは、複数のキャラクター（またはオブジェクト）を示すことができる。例えば、スケッチイメージＳは、キャラクターＣＨＡＲ１およびＣＨＡＲ２を示すことができる。装置２００は、スケッチイメージＳを処理し、処理結果に応じて、スケッチイメージＳのキャラクターＣＨＡＲ１およびＣＨＡＲ２を認識することができる。例えば、装置２００は、イメージ処理アルゴリズムによって、スケッチイメージＳに表現されたキャラクターＣＨＡＲ１およびＣＨＡＲ２を区分して認識し、キャラクターＣＨＡＲ１およびＣＨＡＲ２を識別するための情報（例えば、座標など）を計算することができる。また、装置２００は、スケッチイメージＳに表現されたキャラクターＣＨＡＲ１およびＣＨＡＲ２を認識し、スケッチイメージＳを、認識されたキャラクターＣＨＡＲ１およびＣＨＡＲ２各々を含む領域にクロップすることができるが、これに限定されるものではない。

【0070】

装置２００は、スケッチイメージＳに含まれたキャラクターＣＨＡＲ１およびＣＨＡＲ２を認識することができるので、スケッチイメージＳに含まれたキャラクターＣＨＡＲ１およびＣＨＡＲ２各々の彩色に用いられる参照彩色イメージを決定することができる。

【0071】

図８を参照すれば、装置２００は、彩色イメージＰ１～Ｐ８の中から、スケッチイメージＳの彩色に参照される参照彩色イメージを決定することができる。実施例によれば、装置２００は、彩色イメージＰ１～Ｐ８の中から、スケッチイメージＳと類似の類似彩色イメージＳＰを選択し、類似彩色イメージの中から、参照彩色イメージＲＰＭを決定することができる。

【0072】

例えば、装置２００は、彩色イメージＰ１～Ｐ８の中から、スケッチイメージＳの第１キャラクターＣＨＡＲ１と類似の類似彩色イメージＳＰを選択することができる。例えば、装置２００は、第１キャラクターＣＨＡＲ１と類似の人物が表された第２彩色イメージＰ２、第３彩色イメージＰ３、第４彩色イメージＰ４および第７彩色イメージＰ７を類似彩色イメージＳＰとして選択することができる。

【0073】

また、例えば、装置２００は、類似彩色イメージＰ２、Ｐ３、Ｐ４およびＰ７の順序情報に基づいて、類似彩色イメージＰ２、Ｐ３、Ｐ４およびＰ７の中から、参照彩色イメージＲＰＭを決定することができる。この時、装置２００は、類似彩色イメージＰ２、Ｐ３、Ｐ４およびＰ７の中から、最も最新のエピソードまたは最新のカットに含まれた類似彩色イメージを参照彩色イメージＲＰＭとして決定することができる。

【0074】

図５～図８の例示の場合、第７彩色イメージＰ７が３番目のエピソードの２番目のカットで、類似彩色イメージＰ２、Ｐ３、Ｐ４およびＰ７の中から、最も最新のエピソードまたは最新のカットに含まれた類似彩色イメージであるので、装置２００は、第７彩色イメージＰ７を参照彩色イメージＲＰＭとして決定することができる。

【0075】

本発明の実施例によれば、装置２００は、スケッチイメージＳを受信し、格納された彩色イメージＰ１～Ｐ８の中から、スケッチイメージＳと最も類似かつ、最も最新の彩色イメージを参照彩色イメージＲＰＭとして決定することができる。

【0076】

図９は、本発明の実施例によるスケッチイメージを彩色する方法を示すフローチャートである。図９を参照して説明される動作は、装置２００またはイメージ処理部２２７によって行われる。

【0077】

図９を参照すれば、装置２００は、決定された参照彩色イメージを用いてスケッチイメージを彩色し、彩色結果に応じて、最終イメージを生成することができる（Ｓ１６１）。実施例によれば、装置２００は、スケッチイメージの領域（例えば、閉曲線からなる領域）の色彩を、参照彩色イメージの対応する領域の色彩を用いて彩色することができる。

【0078】

装置２００は、（彩色されていない）スケッチイメージをセグメンテーションしてセグメント情報を生成することができる（Ｓ１６３）。実施例によれば、装置２００は、スケッチイメージを各々が閉曲線からなる複数の領域に分割（すなわち、セグメンテーション）し、分割された各領域に関するセグメント情報を生成することができる。この時、セグメント情報は、分割された各領域を識別するための情報であってもよい。例えば、セグメント情報は、分割された各領域の座標情報を含むことができるが、これに限定されるものではない。

【0079】

装置２００は、スケッチイメージから生成されたセグメント情報を用いて、最終イメージのセグメント各々の色相を単色化することができる（Ｓ１６５）。実施例によれば、最終イメージは、スケッチイメージを彩色したものであるので、下絵（すなわち、外郭線）は同一である。したがって、スケッチイメージのセグメント情報を用いると、最終イメージのセグメンテーションが可能である。また、彩色なしに輪郭線のみ存在するスケッチイメージのセグメント情報を用いて最終イメージをセグメンテーションするのが、最終イメージそのものをセグメンテーションすることよりはるかにより正確な効果がある。

【0080】

したがって、装置２００は、スケッチイメージから生成されたセグメント情報を用いて、最終イメージをセグメンテーションして、最終イメージの各セグメントを認識することができ、認識されたセグメント各々の色彩を単色（１つの色）で彩色することができる。例えば、装置２００は、最終イメージの特定のセグメント内のピクセルの色座標を１つの値に設定することができる。

【0081】

実施例によれば、装置２００は、最終イメージに含まれたセグメント各々に含まれたピクセルの色座標を、ピクセルの色座標値を代表する代表値に変更することができる。この時、代表値は、平均値、最大値、最頻値または最小値などであってもよいが、これに限定されるものではない。

【0082】

実施例によれば、装置２００は、最終イメージに含まれたセグメント各々の色彩を、基準色彩のいずれか１つに設定することができる。この時、基準色彩は、ユーザによって事前に設定された色であってもよいが、これに限定されるものではない。例えば、装置２００は、最終イメージに含まれたセグメント各々の色彩を、基準色彩の中から、セグメント各々の既存の色彩と最も類似の基準色彩に設定することができる。例えば、装置２００は、基準色彩の中から、セグメント各々内のピクセルの色座標（または色座標の平均、最頻値、最大値など）と最も類似の類似基準色彩を選択し、当該セグメント内のピクセルの色座標を、選択された類似基準色彩に設定することができる。

【0083】

これにより、最終イメージの色彩のにじみが消えることができ、漫画に適した色彩を表現することができる。

【0084】

図１０～図１２は、本発明の実施例によるスケッチイメージを彩色する方法を示す。

【0085】

図１０を参照すれば、参照彩色イメージを用いてスケッチイメージを彩色することにより、生成された最終イメージＦＩを示している。実施例により、装置２００は、スケッチイメージの領域（例えば、閉曲線からなる領域）の色彩を、参照彩色イメージの対応する領域の色彩を用いて彩色することができる。この時、図１０に示すように、参照彩色イメージの形態に応じて、彩色のにじみ（ｂｌｕｒ）部分が最終イメージＦＩに現れることがある（例えば、Ａ部分）。

【0086】

図１１を参照すれば、装置２００は、スケッチイメージをセグメンテーションしてセグメント情報を生成し、セグメント情報を用いて最終イメージＦＩをセグメンテーションすることができる。実施例により、装置２００は、最終イメージＦＩをセグメンテーションすることにより、最終イメージをセグメントＳＥＧ１およびＳＥＧ２を含む複数のセグメントに分割することができる。各セグメント（例えば、ＳＥＧ１およびＳＥＧ２）は、閉曲線からなる領域を意味することができる。

【0087】

図１２を参照すれば、装置２００は、最終イメージＦＩのセグメント（例えば、ＳＥＧ１およびＳＥＧ２）の色彩を単色（１つの色）で彩色することにより、補正された最終イメージＣＦＩを生成することができる。例えば、装置２００は、最終イメージＦＩの各セグメント内のピクセルの色座標を１つの値に設定することができる。

【0088】

実施例によれば、装置２００は、最終イメージＦＩの各セグメント内のピクセルの色座標を、各セグメント内のピクセルの色座標値を代表する代表値に設定することができる。また、装置２００は、最終イメージＦＩに含まれたセグメント各々の色彩を、所定の基準色彩のいずれか１つに設定することができる。

【0089】

本発明の実施例による単色化過程により、最終イメージＦＩに現れる色彩のにじみ（例えば、図１０のＡ部分）が消えることができ、漫画に適した色彩を表現できる効果がある。

【0090】

以上、本発明による好ましい実施例について説明したが、多様な形態に変形可能であり、本技術分野における通常の知識を有する者であれば、本発明の特許請求の範囲を逸脱することなく多様な変形例および修正例を実施できることが理解される。

【符号の説明】

【0091】

１００ ユーザ端末
２００ 装置
２１０ 通信部
２２０ 制御部
２２１ ベクトル計算部
２２３ 類似度計算部
２２５ イメージ決定部
２２７ イメージ処理部
２３０ 格納部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】