特開 2022-93240 着色処理装置、着色処理プログラム、着色処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022093240

(43)【公開日】2022-06-23

(54)【発明の名称】着色処理装置、着色処理プログラム、着色処理方法

(51)【国際特許分類】

   G06T 7/174 20170101AFI20220616BHJP

【ＦＩ】

G06T7/174

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021100381

(22)【出願日】2021-06-16

(31)【優先権主張番号】63/124,371

(32)【優先日】2020-12-11

(33)【優先権主張国・地域又は機関】US

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和２年８月１７日に下記ウェブサイト ｈｔｔｐｓ：／／ｄｌ．ａｃｍ．ｏｒｇ／ｄｏｉ／１０．１１４５／３３８８７７０．３４０７４１８？ｆｂｃｌｉｄ＝ｌｗＡＲ１ＶＶＦＫＥ１Ｋｌｊ４ｘ５ＤＲｈｅ７＿ｘ９７ｂ４８８５ＨＥＫＲｙＣｂｓ５Ｈｉ０９ｎ４ＬＤＮ５２ＦＢｈＶｔｖＧＴｌＱにて掲載。 令和３年１月１０日に下記ウェブサイト ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ａｂｓｔｒａｃｔ／ｄｏｃｕｍｅｎｔ／９４１２５０７にて掲載。

(71)【出願人】

【識別番号】519112818

【氏名又は名称】株式会社シナモン

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ特許業務法人

(72)【発明者】

【氏名】ティエン・ド

(72)【発明者】

【氏名】ヴァン・ファム

(72)【発明者】

【氏名】アイン・グエン

(72)【発明者】

【氏名】ツァン・ダン

(72)【発明者】

【氏名】コック・グエン

(72)【発明者】

【氏名】バック・ホアン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA08

5L096DA01

5L096FA06

5L096HA08

5L096JA03

5L096JA11

5L096JA18

(57)【要約】      （修正有）

【課題】自動着色などの作業を行うために参照される参照画像から、着色対象画像中の任意の着色対象部分に対応する部分を自動で見つけ出すことが容易な自動着色装置、着色処理方法及びプログラムを提供する。
【解決手段】自動着色装置１００は、着色を行う対象である着色対象画像データおよび参照画像データを取得する画像データ取得部と、前記着色対象画像データ及び前記参照画像データの各画像データから部分を抽出するコンポーネント抽出部と、前記コンポーネント抽出部により抽出された前記着色対象画像データの抽出部分と前記参照画像データの抽出部分を比較して、所定の条件を満たす抽出部分同士をマッチングするマッチング処理部と、前記マッチング処理部によりマッチングされた前記抽出部分のペアに含まれる前記参照画像データの抽出部分のカラーを参照して、当該ペアに含まれる前記着色対象画像データの抽出部分を着色する着色処理部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

着色を行う対象である着色対象画像データおよび参照画像データを取得する画像データ取得部と、
前記着色対象画像データ及び前記参照画像データの各画像データから部分を抽出するコンポーネント抽出部と、
前記コンポーネント抽出部により抽出された前記着色対象画像データの抽出部分と前記参照画像データの抽出部分を比較して、所定の条件を満たす抽出部分同士をマッチングするマッチング処理部と、
前記マッチング処理部によりマッチングされた前記抽出部分のペアに含まれる前記参照画像データの抽出部分のカラーを参照して、当該ペアに含まれる前記着色対象画像データの抽出部分を着色する着色処理部と、
を備える着色処理装置。

【請求項2】

前記マッチング処理部は、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分の形状に関する特徴に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する、請求項１に記載の着色処理装置。

【請求項3】

前記マッチング処理部は、前記抽出部分の画像データを学習済モデルに入力することにより得られた抽出部分の特徴量に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する、請求項２に記載の着色処理装置。

【請求項4】

前記マッチング処理部は、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分の位置に関する情報に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する、請求項１乃至３のいずれか１項に記載の着色処理装置。

【請求項5】

前記マッチング処理部は、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分の面積に関する情報に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する、請求項１乃至４のいずれか１項に記載の着色処理装置。

【請求項6】

前記マッチング処理部は、
前記着色対象画像データの１つの抽出部分及び前記参照画像データの１つの抽出部分の情報に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する第１のマッチング処理部と、
記着色対象画像データの２つの抽出部分及び前記参照画像データの２つの抽出部分の情報に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する第２のマッチング処理部と、を備え、
前記第１のマッチング処理部による比較処理でマッチングできなかった抽出部分に対して前記第２のマッチング処理部による比較処理を行う、
請求項１乃至５のいずれか１項に記載の着色処理装置。

【請求項7】

着色を行う対象である着色対象画像データおよび参照画像データを取得するステップと、
前記着色対象画像データ及び前記参照画像データの各画像データから部分を抽出するステップと、
抽出された前記着色対象画像データの抽出部分と前記参照画像データの抽出部分を比較して、所定の条件を満たす抽出部分同士をマッチングするステップと、
マッチングされた前記抽出部分のペアに含まれる前記参照画像データの抽出部分のカラーを参照して、当該ペアに含まれる前記着色対象画像データの抽出部分を着色するステップと、
をコンピュータに実行させる着色処理プログラム。

【請求項8】

着色を行う対象である着色対象画像データおよび参照画像データを取得するステップと、
前記着色対象画像データ及び前記参照画像データの各画像データから部分を抽出するステップと、
抽出された前記着色対象画像データの抽出部分と前記参照画像データの抽出部分を比較して、所定の条件を満たす抽出部分同士をマッチングするステップと、
マッチングされた前記抽出部分のペアに含まれる前記参照画像データの抽出部分のカラーを参照して、当該ペアに含まれる前記着色対象画像データの抽出部分を着色するステップと、
を備える着色処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、着色処理装置、着色処理プログラム、着色処理方法に関する。

【背景技術】

【0002】

従来からディープラーニング技術が様々な用途に適用されており、近年、画像処理の用途にディープラーニング技術を適用して線画を着色する技術が開発されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１３３３０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このようなディープラーニング技術を適用して線画を着色する技術として、例えば特許文献１のような技術が提案されている。しかし、自動着色などの作業を行うために参照される参照画像から、着色対象画像中の任意の着色対象部分に対応する部分を自動で見つけ出すことは容易では無かった。

【0005】

本発明はこのような背景を鑑みてなされたものであり、参照画像と対象画像との間で対応する部分を自動で見つけ出すことができる情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の主たる発明は、着色を行う対象である着色対象画像データおよび参照画像データを取得する画像データ取得部と、前記着色対象画像データ及び前記参照画像データの各画像データから部分を抽出するコンポーネント抽出部と、前記コンポーネント抽出部により抽出された前記着色対象画像データの抽出部分と前記参照画像データの抽出部分を比較して、所定の条件を満たす抽出部分同士をマッチングするマッチング処理部と、前記マッチング処理部によりマッチングされた前記抽出部分のペアに含まれる前記参照画像データの抽出部分のカラーを参照して、当該ペアに含まれる前記着色対象画像データの抽出部分を着色する着色処理部と、を備える。

【0007】

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

【発明の効果】

【0008】

本発明によれば、参照画像と対象画像との間で対応する部分を自動で見つけ出すことができる情報処理装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態の自動着色装置１００の機能構成の一例を示す機能ブロック図である。

【図2】本実施形態の自動着色装置１００のシステム構成の一例を示した図である。

【図3】本実施形態の自動着色装置１００における着色処理の流れを示したフローチャート図を示す図である。

【図4】本実施形態の自動着色装置１００におけるコンポーネント抽出処理結果の一例を示した図である。

【図5】本実施形態の自動着色装置１００における第１マッチング処理結果の一例を示した図である。

【図6】本実施形態の自動着色装置１００における第２マッチング処理結果に基づいた着色処理の一例を示した図である。

【発明を実施するための形態】

【0010】

本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を備える。

【0011】

[項目１]
着色を行う対象である着色対象画像データおよび参照画像データを取得する画像データ取得部と、前記着色対象画像データ及び前記参照画像データの各画像データから部分を抽出するコンポーネント抽出部と、前記コンポーネント抽出部により抽出された前記着色対象画像データの抽出部分と前記参照画像データの抽出部分を比較して、所定の条件を満たす抽出部分同士をマッチングするマッチング処理部と、前記マッチング処理部によりマッチングされた前記抽出部分のペアに含まれる前記参照画像データの抽出部分のカラーを参照して、当該ペアに含まれる前記着色対象画像データの抽出部分を着色する着色処理部と、を備える着色処理装置。
[項目２]
前記マッチング処理部は、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分の形状に関する特徴に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する、項目１に記載の着色処理装置。
[項目３]
前記マッチング処理部は、前記抽出部分の画像データを学習済モデルに入力することにより得られた抽出部分の特徴量に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する、項目２に記載の着色処理装置。
[項目４]
前記マッチング処理部は、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分の位置に関する情報に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する、項目１乃至３のいずれか１項に記載の着色処理装置。
[項目５]
前記マッチング処理部は、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分の面積に関する情報に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する、項目１乃至４のいずれか１項に記載の着色処理装置。
[項目６]
前記マッチング処理部は、前記着色対象画像データの１つの抽出部分及び前記参照画像データの１つの抽出部分の情報に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する第１のマッチング処理部と、記着色対象画像データの２つの抽出部分及び前記参照画像データの２つの抽出部分の情報に基づいて、前記着色対象画像データの抽出部分及び前記参照画像データの抽出部分を比較する第２のマッチング処理部と、を備え、前記第１のマッチング処理部による比較処理でマッチングできなかった抽出部分に対して前記第２のマッチング処理部による比較処理を行う、
項目１乃至５のいずれか１項に記載の着色処理装置。
[項目７]
着色を行う対象である着色対象画像データおよび参照画像データを取得するステップと、前記着色対象画像データ及び前記参照画像データの各画像データから部分を抽出するステップと、抽出された前記着色対象画像データの抽出部分と前記参照画像データの抽出部分を比較して、所定の条件を満たす抽出部分同士をマッチングするステップと、マッチングされた前記抽出部分のペアに含まれる前記参照画像データの抽出部分のカラーを参照して、当該ペアに含まれる前記着色対象画像データの抽出部分を着色するステップと、をコンピュータに実行させる着色処理プログラム。
[項目８]
着色を行う対象である着色対象画像データおよび参照画像データを取得するステップと、前記着色対象画像データ及び前記参照画像データの各画像データから部分を抽出するステップと、抽出された前記着色対象画像データの抽出部分と前記参照画像データの抽出部分を比較して、所定の条件を満たす抽出部分同士をマッチングするステップと、マッチングされた前記抽出部分のペアに含まれる前記参照画像データの抽出部分のカラーを参照して、当該ペアに含まれる前記着色対象画像データの抽出部分を着色するステップと、を備える着色処理方法。

【0012】

＜実施の形態の詳細＞
本発明の一実施形態に係る情報処理装置１００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

【0013】

＜自動着色装置１００の全体構成＞
図１は、本実施形態の自動着色装置１００の機能構成の一例を示す機能ブロック図である。図１に示されるように、本実施形態の自動着色装置１００は、入力部１０１、記憶部１０２、参照画像データ取得部１０３、着色対象画像データ取得部１０４、第１のコンポーネント抽出部１０５、第２のコンポーネント抽出部１０６、第１のコンポーネントマッチング部１０７、着色処理部１０９、表示部１１０、操作部１１１を有している。

【0014】

自動着色装置１００は、一般的なコンピュータによって実現することが可能である。このように一般的なコンピュータで実現する場合には、参照画像データ取得部１０３、線画データ取得部１０４、第１のコンポーネント抽出部１０５、第２のコンポーネント抽出部１０６、第１のコンポーネントマッチング部１０７、着色処理部１０９は、中央演算処理装置（CPU）、画像処理装置（GPU）等によって実現される。

【0015】

図２は、自動着色装置１００についてのシステム構成の一例を示した図である。図２において、情報処理サーバ装置２００とユーザ端末装置３００は、通信ネットワーク４００を介して通信可能に接続されている。ここで、情報処理サーバ装置２００とユーザ端末装置３００はそれぞれ通信ネットワークを介して接続される複数の装置で構成することも可能である。

【0016】

図１に示した自動着色装置１００を構成する各機能ブロックは、情報処理サーバ装置２００とユーザ端末装置３００のいずれかに実装されていればよく、情報処理サーバ装置２００とユーザ端末装置３００がそれぞれ複数の装置で構成される場合には、図１に示す各機能ブロックを複数の装置に分散して実装することで実現可能である。

【0017】

データ入力部１０１は、外部装置から着色済の画像データ及び未着色の線画データを含む画像データを取得する機能を有する。ここで、データ入力部１０１により外部から取り込まれる画像データは、線分により描写された線画の画像データ、白黒などの単色のモノトーンで陰影が表現された画像データ、一部の領域に着色が行われた一部着色済の画像データ、画像全体に着色が行われた着色済の画像データが含まれる。

【0018】

データ入力部１０１により取得される画像データには、後述する着色処理で参照される参照画像データであるか、または当該着色処理で着色が行われる対象となる着色対象画像データであるか、の種別情報が予め付与されていても良い。あるいは、外部装置から取得した画像データを、参照画像データとするか、または着色対象画像データとするかの種別情報をユーザに選択させることができるユーザインターフェースの機能をデータ入力部１０１に設けることも可能である。

【0019】

記憶部１０２は、データ入力部１０１で取得された画像データを、予め付与された種別情報、またはデータ入力部１０１で選択された種別情報と共に記録する機能を有する。ここで、データ入力部１０１は、記憶部１０２から読みだした画像データの種別情報をユーザが更新できる機能を有していても良い。

【0020】

参照画像データ取得部１０３は、データ入力部１０１または記憶部１０２から参照画像データとして種別／選択された画像データを取得する機能を有する。着色対象画像データ取得部１０４は、データ入力部１０１または記憶部１０２から着色対象画像データとして種別／選択された画像データを取得する機能を有する。

【0021】

第１のコンポーネント抽出部１０５は、参照画像データ取得部１０３から取得した参照画像データに対して線分または色彩の異なる領域の境界線を抽出する線分抽出機能と、抽出した線分または境界線の輪郭を閉じる機能と、着色単位となる複数の領域（部分）を抽出する部分抽出機能と、を有する。輪郭を閉じる機能は、例えば、線分または境界線の先端が他の線分または境界線と接近している場合に、線分または境界線の先端を延長して近接する他の線分または境界線と接続させる処理を行う。また、部分抽出機能は、例えば、線分又は境界線により閉じられた領域を着色単位の領域（部分）として抽出する処理を行う。

【0022】

第２のコンポーネント抽出部１０６は、着色対象画像データ取得部１０４から取得した着色対象画像データに対して、線分または色彩の異なる領域の境界線を抽出する線分抽出機能と、抽出した線分または境界線の輪郭を閉じる機能と、着色単位となる複数の領域（部分）を抽出する部分抽出機能と、を有する。上記各機能は第１のコンポーネント抽出部１０５と同様の機能を有する。

【0023】

第１のコンポーネントマッチング部１０７は、まず、第１のコンポーネント抽出部で抽出された複数の領域（部分）と、第２のコンポーネント抽出部で抽出された複数の領域（部分）のそれぞれについて、外観の特徴情報を取得する機能を有する。外観の特徴情報を取得する具体的な方法として、画像データから抽出された複数の領域（部分）の画像データに基づいてディープラーニング技術等を利用して機械学習された学習済モデルを準備しておき、第１のコンポーネント抽出部と第２のコンポーネント抽出部で抽出された複数の領域の画像データを当該学習済モデルに入力して、深層学習させることにより、入力した領域に対する特徴量の情報を取得することができる。このように、各領域について取得した特徴量の情報を比較して特徴量が所定値よりも近い領域同士を対応するペアとして決定する。

【0024】

ここで、第１のコンポーネントマッチング部１０７では、画像データに含まれる各領域（部分）の特徴情報の近さに加えて、当該領域の位置と面積の情報に基づいてマッチングを行う手法である。そのため、マッチングを行う参照画像と着色対象画像の間で、対応する領域の形状、位置、面積が変化している場合には、当該領域同士のマッチングを正しく行うことが難しい。そのため、第１のコンポーネントマッチング部１０７におけるマッチング処理では対応するペアの領域が決定せずに残った複数の領域について、第２のコンポーネントマッチング部１０８によるマッチングを行う。

【0025】

第２のコンポーネントマッチング部１０８には、第１のコンポーネント抽出部と第２のコンポーネント抽出部で抽出された複数の領域（部分）であって、第１のコンポーネントマッチング部１０７でマッチングが成立しなかった各領域のデータが入力される。第２のコンポーネントマッチング部１０８は、入力された各領域のデータに対して、外観特徴を示すノードと、当該ノード間の差異を示すエッジを含むグラフを作成する。マッチング処理は、グラフ間の整合性を計測した値が最大となった領域同士をマッチングさせる。

【0026】

着色処理部１０９では、第１のコンポーネントマッチング部１０７でマッチングが成立した着色対象画像の領域に対して、当該マッチング処理で対応付けられた参照画像の領域と同じ色で着色を行う機能を有する。同様に、第２のコンポーネントマッチング部１０８でマッチングが成立した着色対象画像の領域に対して、当該マッチング処理で対応付けられた参照画像の領域と同じ色で着色を行う機能を有する。

【0027】

表示部１１０は、着色処理部１０９により着色処理を行った着色済の着色対象画像の画像データを表示する機能を有する。表示部１１０は、更に、着色処理が完了するまでの中間データ（例えば、参照画像データ取得部１０３と着色対象画像データ取得部１０４でそれぞれ取得された画像データ、第１のコンポーネント抽出部１０５と第２のコンポーネント抽出部１０６で抽出される各領域の画像、第１のコンポーネントマッチング部１０７と第２のコンポーネントマッチング部で実行されたマッチング処理の結果などを含む）を表示する機能を有しても良い。

【0028】

操作部１１１は、ユーザが操作入力を行うことができる機能を有している。そのため、ユーザは表示部に表示された各中間データを確認して、中間データを選択して記憶部に保存させる操作入力を行うことができる。また、ユーザは、着色処理部１０９による着色処理が完了した着色済の着色対象画像を表示部で確認して、色を変更した方が良い領域を発見した場合には、手動で任意の領域を選択して任意の色に着色する操作を行うことが可能である。また、部分間のマッチングが成立せずに自動着色ができなかった部分を表示部で確認して、当該部分を選択して任意の色に着色する操作を行うことも可能である。

【0029】

図３は、本実施形態の自動着色装置１００における着色処理の流れを示したフローチャート図である。本実施形態の自動着色処理は、参照画像データを取得すること（S101）、または着色対象線画データを取得すること（S105）で開始される。図３では、参照データの処理に関するS101～S104と着色対象線画データの処理に関するS105～S108が、同時並行でパラレルに実行される例を示しているが、参照データの処理S101～S104を実行した後に、着色対象線画データの処理S105～S108を実行するようにしても良いし、逆に、着色対象線画データの処理S105～S108を実行した後に、参照データの処理S101～S104を実行するようにしても良い。いずれの場合にも、CNNによる領域間の第１マッチング処理（S109）を実行する前に、参照データの処理S101～S104及び着色対象線画データの処理S105～S108が完了していれば良い。

【0030】

S101において参照画像データ取得部１０３より参照画像データが取得された後、自動着色装置は参照画像データの前処理を行う（S102）。この前処理は、参照画像データに対して線分または色彩の異なる領域の境界線を抽出する線分抽出処理と、抽出した線分または境界線の輪郭を閉じる処理を含んでいる。輪郭を閉じる機能は、例えば、線分または境界線の幅が１ピクセルとなるまで線の幅を減少させ、線を構成する画素であって隣接するピクセルが一つしかないピクセルを検出することにより、線の終点を検出することができる。検出した複数の終点の間の距離が所定値以下である場合に、それらの終点を線で接続して所定の面積の制約を満たす新しい領域ができるかどうかを判断し、制約を満たす領域ができていれば、当該接続線を採用する。

【0031】

S102において前処理を行った後、第１のコンポーネント抽出部１０５により参照画像から複数の領域が抽出される（S103）。この領域の抽出処理では、線分又は境界線により閉じられた閉領域を単一の領域（部分）として抽出する処理を繰り返して、参照画像から複数の閉領域を抽出する。上述したS101～S103と同様の処理は、着色対象線画に対しても実施される（S104～S106）。

【0032】

図４は、本実施形態の自動着色装置１００におけるコンポーネント抽出処理結果の一例を示した図である。S103及びS106において参照画像と着色対象画像の双方から領域（部分）の抽出を行った結果の一例として、図４に示すような複数の閉領域の部分が抽出される。S103及びS106において複数の領域が抽出された後、当該複数の領域同士の第１マッチング処理が実行される（S107）。

【0033】

S107における第１マッチング処理では、まず着色対象画像から抽出された部分ｉの形状の特徴量を抽出するために、例えば、ディープニューラルネットワークの深層学習モデルを複数の領域（部分）の画像データで予め機械学習させた学習済モデルに着色対象画像の部分ｉの画像データを入力して、特徴量ｆｔｉを得る。次に、前記学習済モデルを用いて参照画像から抽出された部分ｊの特徴量ｆｒｊを取得し、下記数式１を用いて、特徴量ｆｔｉと特徴量ｆｒｊの間のユークリッド距離が計算される。また数式１により、参照画像の各部分について、着色対象画像の部分ｉとの間のユークリッド距離が計算される。

【0034】

【数1】

【0035】

次に、着色対象画像の部分と参照画像の部分のマッチングの精度を向上させるために、数式２に示すような制約条件によりマッチングの成否を判定する。

【数2】

【0036】

一つ目の制約条件は、比較する部分ｉと部分ｊの中心座標の間の距離Ｄが閾値ｔｄよりも小さいこと、二つ目の制約条件は、比較する部分ｉと部分ｊの面積比が所定の範囲内、例えばｔａ_ｍｉｎとｔａ_ｍａｘの間の範囲内であること、三つ目の制約条件は、比較する部分ｉと部分ｊの特徴量のユーグリッド距離がｔｆよりも小さいことである。これらの制約条件を全て満たす二つの部分はマッチングするペアとして判断される。図５は、本実施形態の自動着色装置１００における第１マッチング処理結果の一例を示した図である。図５に示す通り、上記したマッチング処理により、例えば、襟、首、左腕、黒目部分等がマッチングできた部分として判断される。一方、これらの制約条件を満たす部分を見つけられない場合には、残った複数の部分は、S108のグラフによる第２マッチング処理に移行する。

【0037】

S108における第２マッチング処理では、各成分の外観の特徴量を示すノード（着色対象画像ｔの部分ｉの特徴量ｆｔｉ、参照画像ｒの部分ｊの特徴量ｆｒｊ）と、各成分の中心位置間の距離（着色対象画像ｔの部分ｉ１と部分ｉ２間の距離はｄｔｉ１ｉ２）と各成分の面積の積（着色対象画像ｔの部分ｉ１と部分ｉ２の面積の積はａｔｉ１・ａｔｉ２）を示すエッジを含むグラフを用いてマッチング処理を行う。着色対象画像のエッジｉ１ｉ２と参照画像のエッジｊ１ｊ２の整合性を示すエッジ親和性マトリックスＱedgeは、下記の数式３～数式５により定義することができる。ここで、係数α、βはコスト関数においてそれぞれ距離、面積の影響を示している。

【0038】

【数3】

【数4】

【数5】

【0039】

これらの数式においては、着色対象画像の部分のペアｉ１ｉ２と参照画像の部分のペアｊ１ｊ２が類似していれば、Ｑedgeの値は高い値となります。次に、着色対象画像ｔの部分ｉ１と部分ｉ２、参照画像ｒの部分ｊ１と部分ｊ２の間の形状の類似性マトリクスＱnodeを下記の数式６～数式８で定義する。ここで、係数γはコスト関数において形状の影響を示している。

【0040】

【数6】

【数7】

【数8】

【0041】

そして、下記の数式９に定義する通り、親和性要素Ｑ（ｉ１，ｉ２，ｊ１，ｊ２）は、エッジＱedge（ｉ１，ｉ２，ｊ１，ｊ２）とノードＱnode（ｉ１，ｉ２，ｊ１，ｊ２）の両方の類似性を組み合わせ定義されるので、２つのグラフの２つの部分間の外観、位置、面積の要素を有している。

【数9】

【0042】

親和性行列Ｑは、下記数式１０に示す通り、Ｎ×Ｎ次元の正方対象行列である。参照画像側のグラフGrと着色対象画像側のグラフGtのNrとNtが等しくない場合に、Ｎ＝max(Nt, Nr)としたときに、Ｎよりも成分の少ないグラフにダミーノードを追加して、両グラフの寸法が同じとなるようにする。ここでダミーノードのＱ（ｉ１，ｉ２，ｊ１，ｊ２）はゼロに設定される。

【0043】

【数10】

【0044】

その後、数式１２に示すように、Ｘのベクトルを列ごとに連結することでｘにベクトル化して、二次形式を適用できるようにします。また、数式１１に示すエネルギー関数をマッピングを制約する行列に対して最大化する最適解ｘ^＊は数式１３のように定義されます。

【数11】

【数12】

【数13】

【0045】

数式１３の解はＱの主な固有ベクトルである。数式１３で求めたＱは連続的な形のため、離散的な形にするために、数式１４を満たすように二値化する必要がある。

【数14】

【0046】

S108において、上述した方法により第２マッチング処理が完了すると、第２のコンポーネントマッチング部１０８は、マッチング処理により判定された部分のペア情報を着色処理部１０９に入力する。着色処理部１０９は、受け取ったペア情報に基づいて、着色対象画像の部分ｉを、これにマッチングした参照画像の部分ｊの色に着色する処理を全ての着色対象画像の部分に対して実行する（S109）。図６は、本実施形態の自動着色装置１００における第２マッチング処理結果に基づいた着色処理の一例を示した図である。図６に示す通り、参照画像の着色された部分に対応する、着色対象画像のすべての部分に対して着色処理を自動で実行することができる。

【0047】

もし、着色対象画像のある部分について、マッチする参照画像の部分を見つけられない場合は、当該着色対象画像の部分には着色を行わず処理を完了させる。部分間のマッチングが成立せずに自動着色ができなかった部分を表示部で確認して、当該部分を選択して任意の色に着色する操作を行うことも可能である。当該S109における着色処理が完了したら自動着色制御を完了する。

【0048】

ここで、S109において、着色処理部は第２マッチング処理が完了する前に、第１マッチング処理の結果であるマッチした部分のペア情報に基づいて、着色処理を実行することもできる。更にこの結果を表示部に表示することもできる。第１マッチング処理の結果に基づく着色処理結果の表示画像の例は図５に示す通りである。これにより、第１マッチング処理でマッチングが完了した部分と、第２マッチング処理でマッチング相手を探す必要がある部分を表示部により確認することができる。

【0049】

上述したように、マッチング処理を複数段階に分けて、第１マッチング処理により、位置や面積の変化量に制限を設けて、位置や面積の変化量が少ない部分同士、つまり固定成分の部分同士を先にマチングさせ、第１マッチング処理でマッチングする部分が見つからなかった複数の部分を第２マッチング処理によりグラフベースのマッチング手法で比較することにより、マッチング精度を維持したまま、第２マッチング処理の演算対象となる部分の数を減らして、第２マッチング処理の計算負荷を軽減し、より高速に自動着色処理を行うことができる。第２マッチング処理では、着色対象画像の２つの部分と参照画像の２つの部分の位置、面積の情報を含んだＱｅｄｇｅと、着色対象画像の２つの部分と参照画像の２つの部分の形状の特徴量を含んだＱｎｏｄｅの両方の類似性を組み合わせているため、着色対象画像の１つの部分と参照画像の１つの部分を比較する第１のマッチング処理と比較して、より精度の高いマッチング結果を得ることができる。一方で、第１のマッチング処理と比較して計算負荷が大きくなる。そのため、計算負荷の小さな第１のマッチング処置を行った後で、第１マッチング処理でマッチングする部分が見つからなかった複数の部分に対して第２のマッチング処理を実行する方法がより望ましい。

【0050】

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

【符号の説明】

【0051】

１００ 自動着色装置
１０１ データ入力部
１０２ 記憶部
１０３ 参照画像データ取得部
１０４ 着色対象画像データ取得部
１０５ 第１のコンポーネント抽出部
１０６ 第２のコンポーネント抽出部
１０７ 第１のコンポーネントマッチング部
１０８ 第２のコンポーネントマッチング部
１０９ 着色処理部
１１０ 表示部
１１１ 操作部
２００ 情報処理サーバ装置
３００ ユーザ端末装置
４００ 通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】